CN113724731B - 利用音频判别模型进行音频判别的方法和装置 - Google Patents
利用音频判别模型进行音频判别的方法和装置 Download PDFInfo
- Publication number
- CN113724731B CN113724731B CN202111007671.7A CN202111007671A CN113724731B CN 113724731 B CN113724731 B CN 113724731B CN 202111007671 A CN202111007671 A CN 202111007671A CN 113724731 B CN113724731 B CN 113724731B
- Authority
- CN
- China
- Prior art keywords
- audio
- neural network
- delay neural
- cough
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000013528 artificial neural network Methods 0.000 claims abstract description 147
- 206010011224 Cough Diseases 0.000 claims abstract description 140
- 239000013598 vector Substances 0.000 claims abstract description 49
- 206010035664 Pneumonia Diseases 0.000 claims abstract description 37
- 241000711573 Coronaviridae Species 0.000 claims abstract description 30
- 230000006870 function Effects 0.000 claims description 44
- 230000004913 activation Effects 0.000 claims description 33
- 230000005284 excitation Effects 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 7
- 238000001125 extrusion Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 230000004044 response Effects 0.000 claims description 4
- 230000003111 delayed effect Effects 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 2
- 201000010099 disease Diseases 0.000 description 10
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- FMGBNISRFNDECK-CZSBRECXSA-N Coronatine Chemical compound CC[C@H]1C[C@]1(C(O)=O)NC(=O)C1=C[C@H](CC)C[C@@H]2C(=O)CC[C@H]12 FMGBNISRFNDECK-CZSBRECXSA-N 0.000 description 2
- 241000282414 Homo sapiens Species 0.000 description 2
- 206010044565 Tremor Diseases 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- FMGBNISRFNDECK-UHFFFAOYSA-N coronatine Natural products CCC1CC1(C(O)=O)NC(=O)C1=CC(CC)CC2C(=O)CCC12 FMGBNISRFNDECK-UHFFFAOYSA-N 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- 206010013952 Dysphonia Diseases 0.000 description 1
- 208000010473 Hoarseness Diseases 0.000 description 1
- 206010036790 Productive cough Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 208000017574 dry cough Diseases 0.000 description 1
- 230000030279 gene silencing Effects 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 201000009240 nasopharyngitis Diseases 0.000 description 1
- 238000002601 radiography Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 208000024794 sputum Diseases 0.000 description 1
- 210000003802 sputum Anatomy 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/24—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being the cepstrum
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4803—Speech analysis specially adapted for diagnostic purposes
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
- G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/66—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for extracting parameters related to health condition
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Epidemiology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本说明书实施例提供了一种利用音频判别模型进行音频判别的方法和装置。该方法用于判别音频中的咳嗽音频属于新型冠状病毒肺炎的概率，该方法的一具体实施方式包括：首先，从采集的音频中获取多帧待判别咳嗽音频，并从各帧待判别咳嗽音频中提取特征向量。而后，利用至少一个第一时延神经网络，对多帧待判别咳嗽音频的特征向量进行信息提取，得到音频信息。之后，利用至少一个残差时延神经网络，从多个维度提取音频信息的多维度信息，并利用至少一个第二时延神经网络，从多维度信息获得固定长度的音频特征。最后，将固定长度的音频特征输入全连接层得到待判别咳嗽音频属于新冠肺炎的概率。
Description
技术领域
本说明书实施例涉及计算机技术领域，尤其涉及一种利用音频判别模型进行音频判别的方法和装置。
背景技术
随着数据处理技术的进步，计算机技术被广泛地运用于各个领域，其中，包括音频处理领域。而通过对人类发出的音频进行分析可以得到多种信息。例如，通过对音频进行声纹识别可以得到发声者的身份信息。人类发出的咳嗽声作为多种疾病的生理表征，不同疾病所表现出的咳嗽声的特点也各不相同，因此，医生通过对患者咳嗽声的分析，可以得到患者的患病信息。对于一些传染性强、致死率高的疾病，例如新型冠状病毒肺炎(简称，新冠肺炎)，为了防止疾病的扩散，往往需要花费大量的人力、物力等进行疾病检测。新冠肺炎患者患病期间一般会伴有咳嗽的发生，而咳嗽声也比较容易采集，所以如果能够通过咳嗽声自动生成某个患者是新冠肺炎患者的概率，并将该概率进行显示以辅助用户进行进一步的疾病诊断，将会对抑制疾病的扩散带来极大帮助。
发明内容
本说明书的实施例描述了一种利用音频判别模型进行音频判别的方法和装置，本方法用于判别音频中的咳嗽音属于新冠肺炎的概率，基于新冠肺炎症状的咳嗽声的特点构建并训练相应的音频判别模型，从而使音频判别模型输出的概率更加准确。
根据第一方面，提供了一种利用音频判别模型进行音频判别的方法，用于判别音频中的咳嗽音频属于新型冠状病毒肺炎的概率；上述音频判别模型包括至少一个第一时延神经网络、至少一个第二时延神经网络、至少一个残差时延神经网络和全连接层，上述方法包括：从采集的音频中获取多帧待判别咳嗽音频；从各帧待判别咳嗽音频中提取特征向量；利用至少一个第一时延神经网络，对上述多帧待判别咳嗽音频的特征向量进行信息提取，得到音频信息；利用至少一个残差时延神经网络，从多个维度提取上述音频信息的多维度信息；利用至少一个第二时延神经网络，从上述多维度信息获得固定长度的音频特征；将上述音频特征输入上述全连接层，得到上述待判别咳嗽音频属于新型冠状病毒肺炎的概率。
在一个实施例中，上述至少一个残差时延神经网络中的各残差时延神经网络包括挤压激励模块和至少一个时延神经网络，其中，上述挤压激励模块包括第一线性层、第一激活函数、第二线性层和第二激活函数；以及上述至少一个残差时延神经网络中的各残差时延神经网络通过以下方式对输入信息进行处理：利用上述第一线性层，对上述至少一个时延神经网络提取的信息进行降维，以去除新型冠状病毒肺炎的咳嗽音和非新型冠状病毒肺炎的咳嗽音的通用信息；利用上述第二线性层，对上述第一激活函数的输出进行升维，以提升网络参数量；将上述第二激活函数的输出与该残差时延神经网络中最后一个时延神经网络的输出相乘，相乘结果与该残差时延神经网络的输入信息进行加权，将加权结果作为该残差时延神经网络的输出。
在一个实施例中，上述至少一个第一时延神经网络包括两个第一时延神经网络；上述至少一个第二时延神经网络包括两个第二时延神经网络；上述至少一个残差时延神经网络包括三个残差时延神经网络。
在一个实施例中，上述方法还包括：输出上述概率，以辅助用户判断上述待判别咳嗽音频的发声者是否为新型冠状病毒肺炎的患者。
在一个实施例中，上述音频判别模型是通过以下方式训练得到的：获取样本集，其中，上述样本集的样本包括正样本和负样本，正样本包括上述新冠肺炎对应的咳嗽音频的特征向量和概率值1，负样本包括非新冠肺炎对应的咳嗽音频的特征向量和概率值0；将样本的特征向量作为输入，将与输入的特征向量对应的概率值作为期望输出，训练得到音频判别模型。
在一个实施例中，上述从采集的音频中获取多帧待判别咳嗽音频，包括：对音频采集设备采集的音频进行预处理，得到处理后音频；使用预先训练的咳嗽声判别模型，确定上述处理后音频中是否包括咳嗽声音频；响应于确定上述处理后音频中包括咳嗽声音频，提取咳嗽声音频作为待判别咳嗽音频。
在一个实施例中，上述从各帧待判别咳嗽音频中提取特征向量上述，包括：从上述待判别咳嗽音频中提取梅尔频率倒谱系数，作为特征向量。
根据第二方面，提供了一种利用音频判别模型进行音频判别的装置，用于判别音频中的咳嗽音频属于新型冠状病毒肺炎的概率；上述装置包括：获取模块，配置为，从音频采集设备采集的音频中获取多帧待判别咳嗽音频；提取模块，配置为，从各帧待判别咳嗽音频中提取特征向量；第一时延神经网络模块，包括至少一个第一时延神经网络，配置为，接收上述提取模块输出的特征向量，对上述多帧待判别咳嗽音频的特征向量进行信息提取，得到音频信息；残差时延神经网络模块，包括至少一个残差时延神经网络，配置为，接收上述第一时延神经网络模块输出的音频信息，从多个维度提取上述音频信息的多维度信息；第二时延神经网络模块，包括至少一个第二时延神经网络，配置为，接收上述残差时延神经网络模块输出的多维度信息，从上述多维度信息获得固定长度的音频特征；全连接层模块，配置为，接收上述第二时延神经网络模块输出的固定长度的音频特征，得到上述待判别咳嗽音频属于新型冠状病毒肺炎的概率。
根据第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当上述计算机程序在计算机中执行时，令计算机执行如第一方面中任一项的上述的方法。
根据第四方面，提供了一种计算设备，包括存储器和处理器，其特征在于，上述存储器中存储有可执行代码，上述处理器执行上述可执行代码时，实现如第一方面中任一项上述的方法。
根据本说明书实施例提供的利用音频判别模型进行音频判别的方法和装置，首先，从采集的音频中获取多帧待判别咳嗽音频，并从各帧待判别咳嗽音频中提取特征向量。而后，利用至少一个第一时延神经网络，对多帧待判别咳嗽音频的特征向量进行信息提取，得到音频信息。之后，利用至少一个残差时延神经网络，从多个维度提取音频信息的多维度信息，并利用至少一个第二时延神经网络，从多维度信息获得固定长度的音频特征。最后，将固定长度的音频特征输入全连接层得到待判别咳嗽音频属于新冠肺炎的概率。从而，实现了根据待判别咳嗽音频自动生成该待判别咳嗽音频属于新冠肺炎的概率，以辅助用户进行新冠病毒的诊断。
附图说明
图1示出了根据一个实施例的利用音频判别模型进行音频判别的方法的流程图；
图2示出了音频判别模型的一种实现方式的结构示意图；
图3示出了残差时延神经网络的一种实现方式的结构示意图；
图4示出了根据一个实施例的利用音频判别模型进行音频判别的装置的示意性框图。
具体实施方式
下面结合附图和实施例，对本说明书提供的技术方案做进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。需要说明的是，在不冲突的情况下，本说明书的实施例及实施例中的特征可以相互组合。
如图1所示，图1示出了根据一个实施例的利用音频判别模型进行音频判别的方法的流程图。可以理解，该方法可以通过任何具有计算、处理能力的装置、设备、平台、设备集群等来执行。
图1所示的利用音频判别模型进行音频判别的方法，用于判别音频中的咳嗽音频属于新冠肺炎的概率。该方法所使用的音频判别模型包括至少一个第一时延神经网络(Time Delay Neural Network,TDNN)、至少一个第二时延神经网络、至少一个残差时延神经网络(Residual Time Delay Neural Network,RES_TDNN)和全连接层。
在一种实现方式中，上述至少一个第一时延神经网络可以包括两个第一时延神经网络，上述至少一个第二时延神经网络可以包括两个第二时延神经网络，上述至少一个残差时延神经网络可以包括三个残差时延神经网络。由此，构建的音频判别模型可以如图2所示，图2示出了本实现方式中音频判别模型的结构示意图。
实践中，经分析发现，相比于普通感冒的咳嗽音频，新冠肺炎的咳嗽音频有断断续续的颤动，咳嗽的持续时间上也比较长。因此，本实现方式的音频判别模型使用两个第一时延神经网络，以提取更多时间上的音频信息。另外，经研究发现，新冠肺炎患者的咳嗽声的能量通常集中在低频和中频区域，此外，新冠肺炎患者的咳嗽声通常比较嘶哑和干燥，通常也伴有痰音。因此，本实现方式的音频判别模型在第一时延神经网络后面挂接三个残差时延神经网络，以从多个维度来提取咳嗽声中的多维度信息，来扩充咳嗽音的整体信息。之后，在残差时延神经网络后挂接两层第二时延神经网络，以获得固定长度的鲁棒的音频特征。最后，第二时延神经网络后端挂接一层包含一个隐藏节点的全连接层，并使用softmax函数作为激活函数，来判断咳嗽音属于新冠肺炎患者的概率。本实现方式在分析新冠肺炎患者咳嗽声特点的基础上构建音频判别模型，从而使构建的音频判别模型更加符合新冠肺炎患者咳嗽声的特点，使音频判别模型的输出结果更加准确。
在一种实现方式中，上述至少一个残差时延神经网络中的各残差时延神经网络可以包括挤压激励(Squeeze-and-Excitation，SE)模块和至少一个时延神经网络，其中，上述挤压激励模块可以包括第一线性层、第一激活函数、第二线性层和第二激活函数。作为示例，图3示出了包括挤压激励模块(如虚线框所示)和三个时延神经网络的残差时延神经网络的结构示意图。在图3的示例中，三个时延神经网络串接在一起，最后一个时延神经网络的输出作为第一线性层的输入，第一线性层的输出作为第一激活函数的输入，第一激活函数的输出作为第二线性层的输入，第二线性层的输出作为第二激活函数的输入，第二激活函数的输出与最后一个时延神经网络的输出相乘。最后，将相乘结果与整个残差时延神经网络的输入组成残差网络。可以理解，图3中的残差时延神经网络仅仅是示意性的，而非对残差时延神经网络中的时延神经网络数量等的限定，实践中可以根据实际需要确定时延神经网络的数量。
在本实现方式中，上述至少一个残差时延神经网络中的各个残差时延神经网络可以通过以下方式对输入信息进行处理：首先，利用上述第一线性层，对上述至少一个时延神经网络提取的信息进行降维，以去除新型冠状病毒肺炎的咳嗽音和非新型冠状病毒肺炎的咳嗽音的通用信息。之后，利用上述第二线性层，对上述第一激活函数的输出进行升维，以提升网络参数量。最后，将上述第二激活函数的输出与该残差时延神经网络中最后一个时延神经网络的输出相乘，相乘结果与该残差时延神经网络的输入信息进行加权，将加权结果作为该残差时延神经网络的输出。
经实践分析发现，新冠肺炎患者在患病初期通常以干咳为主，随着病情的加重，咳嗽持续时间和频率也会逐渐增强。因此，本实现方式在残差时延神经网络中可以使用多个(例如，三个)时延神经网络，尽可能增大感受野，以更多的利用咳嗽音频的前后文信息。此外，新冠肺炎患者的咳嗽音频还有一些典型的特点，例如咳嗽声音比较嘶哑、干燥和断断续续的颤动，因此，本实现方式在多个时延神经网络后挂接挤压激励模块，从多个维度提取新冠肺炎咳嗽音频的特征信息。实践中，挤压激励模块可以包括第一线性层、第一激活函数、第二线性层和第二激活函数，其网络结构可以如图3中虚线所示。作为示例，第一线性层可以选择一个较小的隐藏节点数，以对音频信息进行降维，去除新冠咳嗽音和普通患者咳嗽音的通用信息。第二线性层可以用于对信息进行升维，其目的是提高整体网络的参数量以提高网络的建模能力和判别能力，增加对咳嗽音频建模的精确性。在本实现方式中，第二线性层可以采用sigmoid函数作为第二激活函数，以得到加权激励系数，加权激励函数与最后一个时延神经网络的输出相乘，以得到咳嗽音各个维度的音频信息。最后，将相乘结果与整个残差时延神经网络的输入组成残差网络，这种残差网络可以使得神经网络在对咳嗽音进行降维的同时也能更好的保证整体咳嗽声音的频谱信息。本实现方式在分析新冠肺炎患者咳嗽声特点的基础上构建残差时延神经网络，从而使构建的残差时延神经网络更加符合新冠肺炎患者咳嗽声的特点，使残差时延神经网络提取的信息更加准确，进而使音频判别模型的输出结果更加准确。
作为示例，实际使用中，第一激活函数可以为ReLu激活函数，第二激活函数可以为sigmoid函数。其中，ReLu激活函数为：
sigmoid函数为：
其中，sigmoid函数中s(x)的值在0-1之间，且具有很好的对称性。所以，在音频判别模型中可以选择sigmoid函数作为分类器。
网络中的tanh激活函数为：
网络中的BatchNorm函数为：
其中，gamma和beta为可学习的参数向量。
在一种实现方式中，上述音频判别模型可以是用于训练音频判别模型的设备通过以下方式训练得到的：
首先，获取样本集。
在本实现方式中，用于训练音频判别模型的设备可以获取样本集。这里，样本集中的样本可以包括正样本和负样本。其中，正样本可以包括新冠肺炎对应的咳嗽音频的特征向量和概率值1。负样本可以包括非新冠肺炎对应的咳嗽音频的特征向量和概率值0。
然后，将样本的特征向量作为输入，将与输入的特征向量对应的概率值作为期望输出，训练得到音频判别模型。
在本实现方式中，可以将样本的特征向量作为输入，输入到音频判别模型，得到该样本的特征向量的预测概率值，以输入的特征向量对应的概率值作为期望输出，利用机器学习方法训练音频判别模型。举例来说，可以首先利用预设的损失函数计算所得到的预测概率值与期望输出之间的差异。然后，可以基于计算所得的差异，调整音频判别模型的网络参数，并在满足预设的训练结束条件的情况下，结束训练。例如，这里预设的训练结束条件可以包括但不限于以下至少一项：训练时间超过预设时长；训练次数超过预设次数；计算所得的差异小于预设差异阈值等等。这里，可以采用各种实现方式基于预测概率值与期望输出之间的差异调整音频判别模型的网络参数。例如，可以采用BP(Back Propagation，反向传播)算法或者SGD(Stochastic Gradient Descent，随机梯度下降)算法来调整音频判别模型的网络参数。
本实现方式中，使用正样本和负样本两种样本进行模型训练，可以使训练得到的音频判别模型的输出更加准确。
回到图1，如图1所示，该利用音频判别模型进行音频判别的方法，可以包括以下步骤：
步骤101，从采集的音频中获取多帧待判别咳嗽音频。
在本实施例中，用于执行利用音频判别模型进行音频判别的方法的设备，可以从音频采集设备(例如，麦克风)采集的音频中获取多帧待判别咳嗽音频。作为示例，可以使用各种方法对音频采集设备采集的音频进行识别，从中识别出那些音频帧为咳嗽声的音频帧，并将咳嗽声的音频帧作为待判别咳嗽音频。
在一种实现方式中，上述步骤101可以具体如下进行：
首先，对音频采集设备采集的音频进行预处理，得到处理后音频。举例来说，可以对音频采集设备采集的音频进行去噪、去静音等预处理，得到处理后音频。
然后，使用预先训练的咳嗽声判别模型，确定处理后音频中是否包括咳嗽声音频。这里，上述咳嗽声判别模型可以用于从音频中判别哪些音频帧为咳嗽声的音频帧，作为示例，上述咳嗽声判别模型可以为二分类模型。
最后，响应于确定处理后音频中包括咳嗽声音频，提取咳嗽声音频作为待判别咳嗽音频。通过本实现方式，可以从采集的音频中获取多帧待判别咳嗽音频，用于后续的处理。从而去除了音频中噪声、静音、非咳嗽音频等的影响，使后续的处理结果更加准确。
步骤102，从各帧待判别咳嗽音频中提取特征向量。
在本实施例中，对于步骤101中获取的多帧待判别咳嗽音频中的每一帧待判别咳嗽音频，可以从该帧待判别咳嗽音频中提取特征向量。这里，特征向量可以是与音频相关的各种特征向量。
在一种实现方式中，上述步骤102可以具体如下进行：从各帧待判别咳嗽音频中提取梅尔频率倒谱系数(Mel-Frequency Cepstral Coefficients，MFCC)，作为特征向量。
步骤103，利用至少一个第一时延神经网络，对多帧待判别咳嗽音频的特征向量进行信息提取，得到音频信息。
在本实施例中，可以利用音频判别模型中的至少一个第一时延神经网络，对上述多帧待判别咳嗽音频的特征向量进行信息提取，得到音频信息。
步骤104，利用至少一个残差时延神经网络，从多个维度提取音频信息的多维度信息。
步骤105，利用至少一个第二时延神经网络，从多维度信息获得固定长度的音频特征。
步骤106，将音频特征输入全连接层，得到待判别咳嗽音频属于新型冠状病毒肺炎的概率。
在本实施例中，音频判别模型的全连接层输出的概率，可以是一个0-1之间的数值，数值越大表示待判别咳嗽音频属于新冠肺炎的可能性越大。
在一种实现方式中，上述利用音频判别模型进行音频判别的方法还可以包括图1中未示出的以下步骤：输出概率，以辅助用户判断待判别咳嗽音频的发声者是否为新型冠状病毒肺炎的患者。
在本实现方式中，执行利用音频判别模型进行音频判别的方法的设备，还可以输出音频判别模型生成的概率，以供显示。以辅助用户判别上述待判别咳嗽音频的发声者是否为新冠肺炎患者。作为示例，上述用户可以是使用上述设备的用户，该用户可以与发声者是同一人，也可以与发声者是不同人。可以理解，上述概率用于辅助判断发声者是否为新冠肺炎患者，实践中，为了更准确的判断，还可以结合胸透、CT(Computed Tomography，电子计算机断层扫描)等的检查结果综合判断发声者是否为新冠肺炎患者。通过本实现方式，可以实现音频判别模型所生成概率的输出和显示，以供用户查看。
本说明书的上述实施例提供的利用音频判别模型进行音频判别的方法，使用音频判别模型对待判别咳嗽音频进行判别，实现了根据待判别咳嗽音频自动生成该待判别咳嗽音频属于新冠肺炎的概率。此外，由于所使用的音频判别模型是基于新冠肺炎症状的咳嗽声特点构建的，因此，音频判别模型输出的概率更准确。
根据另一方面的实施例，提供了一种利用音频判别模型进行音频判别的装置。上述利用音频判别模型进行音频判别的装置可以部署在任何具有计算、处理能力的设备、平台或者设备集群中。
图4示出了根据一个实施例的利用音频判别模型进行音频判别的装置的示意性框图。如图4所示，该利用音频判别模型进行音频判别的装置400，用于判别音频中的咳嗽音频属于新型冠状病毒肺炎的概率；上述装置400包括：获取模块401，配置为，从采集的音频中获取多帧待判别咳嗽音频；提取模块402，配置为，从各帧待判别咳嗽音频中提取特征向量；第一时延神经网络模块403，包括至少一个第一时延神经网络，配置为，接收上述提取模块402输出的特征向量，对上述多帧待判别咳嗽音频的特征向量进行信息提取，得到音频信息；残差时延神经网络模块404，包括至少一个残差时延神经网络，配置为，接收上述第一时延神经网络模块403输出的音频信息，从多个维度提取上述音频信息的多维度信息；第二时延神经网络模块405，包括至少一个第二时延神经网络，配置为，接收上述残差时延神经网络模块404输出的多维度信息，从上述多维度信息获得固定长度的音频特征；全连接层模块406，配置为，接收上述第二时延神经网络模块405输出的固定长度的音频特征，得到上述待判别咳嗽音频属于新型冠状病毒肺炎的概率。
在本实施例的一些可选的实现方式中，上述至少一个残差时延神经网络中的各残差时延神经网络包括挤压激励模块和至少一个时延神经网络，其中，上述挤压激励模块包括第一线性层、第一激活函数、第二线性层和第二激活函数；以及上述至少一个残差时延神经网络中的各残差时延神经网络通过以下方式对输入信息进行处理：利用上述第一线性层，对上述至少一个时延神经网络提取的信息进行降维，以去除新型冠状病毒肺炎的咳嗽音和非新型冠状病毒肺炎的咳嗽音的通用信息；利用上述第二线性层，对上述第一激活函数的输出进行升维，以提升网络参数量；将上述第二激活函数的输出与该残差时延神经网络中最后一个时延神经网络的输出相乘，相乘结果与该残差时延神经网络的输入信息进行加权，将加权结果作为该残差时延神经网络的输出。
在本实施例的一些可选的实现方式中，上述至少一个第一时延神经网络包括两个第一时延神经网络；上述至少一个第二时延神经网络包括两个第二时延神经网络；上述至少一个残差时延神经网络包括三个残差时延神经网络。
在本实施例的一些可选的实现方式中，上述装置400还包括：输出模块(图中未示出)，配置为，输出上述概率，以辅助用户判断上述待判别咳嗽音频的发声者是否为新型冠状病毒肺炎的患者。
在本实施例的一些可选的实现方式中，上述音频判别模型是通过以下方式训练得到的：获取样本集，其中，上述样本集的样本包括正样本和负样本，正样本包括新冠肺炎对应的咳嗽音频的特征向量和概率值1，负样本包括非新冠肺炎对应的咳嗽音频的特征向量和概率值0；将样本的特征向量作为输入，将与输入的特征向量对应的概率值作为期望输出，训练得到音频判别模型。
在本实施例的一些可选的实现方式中，上述获取模块401进一步配置为：对音频采集设备采集的音频进行预处理，得到处理后音频；使用预先训练的咳嗽声判别模型，确定上述处理后音频中是否包括咳嗽声音频；响应于确定上述处理后音频中包括咳嗽声音频，提取咳嗽声音频作为待判别咳嗽音频。
在本实施例的一些可选的实现方式中，上述提取模块402进一步配置为：从待判别咳嗽音频中提取梅尔频率倒谱系数，作为特征向量。
本领域普通技术人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执轨道，取决于技术方案的特定应用和设计约束条件。本领域普通技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执轨道的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种利用音频判别模型进行音频判别的方法，用于判别音频中的咳嗽音频属于新型冠状病毒肺炎的概率；所述音频判别模型包括至少一个第一时延神经网络、至少一个第二时延神经网络、至少一个残差时延神经网络和全连接层，所述方法包括：
从采集的音频中获取多帧待判别咳嗽音频；
从各帧待判别咳嗽音频中提取特征向量；
利用所述至少一个第一时延神经网络，对所述多帧待判别咳嗽音频的特征向量进行信息提取，得到音频信息；
利用所述至少一个残差时延神经网络，从多个维度提取所述音频信息的多维度信息；所述至少一个残差时延神经网络中的各残差时延神经网络包括挤压激励模块和至少一个时延神经网络，其中，所述挤压激励模块包括第一线性层、第一激活函数、第二线性层和第二激活函数；以及所述至少一个残差时延神经网络中的各残差时延神经网络通过以下方式对输入信息进行处理：利用所述第一线性层，对所述至少一个时延神经网络提取的信息进行降维，以去除新型冠状病毒肺炎的咳嗽音和非新型冠状病毒肺炎的咳嗽音的通用信息；利用所述第二线性层，对所述第一激活函数的输出进行升维，以提升网络参数量；将所述第二激活函数的输出与该残差时延神经网络中最后一个时延神经网络的输出相乘，相乘结果与该残差时延神经网络的输入信息进行加权，将加权结果作为该残差时延神经网络的输出；
利用所述至少一个第二时延神经网络，从所述多维度信息获得固定长度的音频特征；
将所述音频特征输入所述全连接层，得到所述待判别咳嗽音频属于新型冠状病毒肺炎的概率。
2.根据权利要求1所述的方法，其中，所述至少一个第一时延神经网络包括两个第一时延神经网络；所述至少一个第二时延神经网络包括两个第二时延神经网络；所述至少一个残差时延神经网络包括三个残差时延神经网络。
3.根据权利要求1所述的方法，其中，所述方法还包括：
输出所述概率，以辅助用户判断所述待判别咳嗽音频的发声者是否为新型冠状病毒肺炎的患者。
4.根据权利要求1所述的方法，其中，所述音频判别模型是通过以下方式训练得到的：
获取样本集，其中，所述样本集的样本包括正样本和负样本，正样本包括新冠肺炎对应的咳嗽音频的特征向量和概率值1，负样本包括非新冠肺炎对应的咳嗽音频的特征向量和概率值0；
将样本的特征向量作为输入，将与输入的特征向量对应的概率值作为期望输出，训练得到音频判别模型。
5.根据权利要求1所述的方法，其中，所述从采集的音频中获取多帧待判别咳嗽音频，包括：
对音频采集设备采集的音频进行预处理，得到处理后音频；
使用预先训练的咳嗽声判别模型，确定所述处理后音频中是否包括咳嗽声音频；
响应于确定所述处理后音频中包括咳嗽声音频，提取咳嗽声音频作为待判别咳嗽音频。
6.根据权利要求1所述的方法，其中，所述从各帧待判别咳嗽音频中提取特征向量，包括：
从待判别咳嗽音频中提取梅尔频率倒谱系数，作为特征向量。
7.一种利用音频判别模型进行音频判别的装置，用于判别音频中的咳嗽音频属于新型冠状病毒肺炎的概率；所述装置包括：
获取模块，配置为，从采集的音频中获取多帧待判别咳嗽音频；
提取模块，配置为，从各帧待判别咳嗽音频中提取特征向量；
第一时延神经网络模块，包括至少一个第一时延神经网络，配置为，接收所述提取模块输出的特征向量，对所述多帧待判别咳嗽音频的特征向量进行信息提取，得到音频信息；
残差时延神经网络模块，包括至少一个残差时延神经网络，配置为，接收所述第一时延神经网络模块输出的音频信息，从多个维度提取所述音频信息的多维度信息；所述至少一个残差时延神经网络中的各残差时延神经网络包括挤压激励模块和至少一个时延神经网络，其中，所述挤压激励模块包括第一线性层、第一激活函数、第二线性层和第二激活函数；以及所述至少一个残差时延神经网络中的各残差时延神经网络通过以下方式对输入信息进行处理：利用所述第一线性层，对所述至少一个时延神经网络提取的信息进行降维，以去除新型冠状病毒肺炎的咳嗽音和非新型冠状病毒肺炎的咳嗽音的通用信息；利用所述第二线性层，对所述第一激活函数的输出进行升维，以提升网络参数量；将所述第二激活函数的输出与该残差时延神经网络中最后一个时延神经网络的输出相乘，相乘结果与该残差时延神经网络的输入信息进行加权，将加权结果作为该残差时延神经网络的输出；
第二时延神经网络模块，包括至少一个第二时延神经网络，配置为，接收所述残差时延神经网络模块输出的多维度信息，从所述多维度信息获得固定长度的音频特征；
全连接层模块，配置为，接收所述第二时延神经网络模块输出的固定长度的音频特征，得到所述待判别咳嗽音频属于新型冠状病毒肺炎的概率。
8.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-7中任一项的所述的方法。
9.一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111007671.7A CN113724731B (zh) | 2021-08-30 | 2021-08-30 | 利用音频判别模型进行音频判别的方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111007671.7A CN113724731B (zh) | 2021-08-30 | 2021-08-30 | 利用音频判别模型进行音频判别的方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113724731A CN113724731A (zh) | 2021-11-30 |
| CN113724731B true CN113724731B (zh) | 2024-01-05 |
Family
ID=78679342
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111007671.7A Active CN113724731B (zh) | 2021-08-30 | 2021-08-30 | 利用音频判别模型进行音频判别的方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113724731B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115497502A (zh) * | 2022-11-07 | 2022-12-20 | 图灵人工智能研究院（南京）有限公司 | 基于人体表征判别新冠感染的方法、系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109065033A (zh) * | 2018-09-19 | 2018-12-21 | 华南理工大学 | 一种基于随机深度时延神经网络模型的自动语音识别方法 |
| CN110232932A (zh) * | 2019-05-09 | 2019-09-13 | 平安科技（深圳）有限公司 | 基于残差时延网络的说话人确认方法、装置、设备及介质 |
| CN111400540A (zh) * | 2020-03-11 | 2020-07-10 | 金陵科技学院 | 一种基于挤压和激励残差网络的歌声检测方法 |
| CN112472065A (zh) * | 2020-11-18 | 2021-03-12 | 天机医用机器人技术(清远)有限公司 | 基于咳嗽声识别的病症检测方法及其相关设备 |
| CN112927682A (zh) * | 2021-04-16 | 2021-06-08 | 西安交通大学 | 一种基于深度神经网络声学模型的语音识别方法及系统 |
| CN112992157A (zh) * | 2021-02-08 | 2021-06-18 | 贵州师范大学 | 一种基于残差和批量归一化的神经网络带噪声纹识别方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11430424B2 (en) * | 2019-11-13 | 2022-08-30 | Meta Platforms Technologies, Llc | Generating a voice model for a user |
-
2021
- 2021-08-30 CN CN202111007671.7A patent/CN113724731B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109065033A (zh) * | 2018-09-19 | 2018-12-21 | 华南理工大学 | 一种基于随机深度时延神经网络模型的自动语音识别方法 |
| CN110232932A (zh) * | 2019-05-09 | 2019-09-13 | 平安科技（深圳）有限公司 | 基于残差时延网络的说话人确认方法、装置、设备及介质 |
| CN111400540A (zh) * | 2020-03-11 | 2020-07-10 | 金陵科技学院 | 一种基于挤压和激励残差网络的歌声检测方法 |
| CN112472065A (zh) * | 2020-11-18 | 2021-03-12 | 天机医用机器人技术(清远)有限公司 | 基于咳嗽声识别的病症检测方法及其相关设备 |
| CN112992157A (zh) * | 2021-02-08 | 2021-06-18 | 贵州师范大学 | 一种基于残差和批量归一化的神经网络带噪声纹识别方法 |
| CN112927682A (zh) * | 2021-04-16 | 2021-06-08 | 西安交通大学 | 一种基于深度神经网络声学模型的语音识别方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| 《A Deep Neural Network Based Method of Source Localization in a Shallow Water Environment》;Zhaoqiong Huang et al.;《 2018 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)》;全文 * |
| 《基于时延神经网络的口语理解方法研究》;张振;《中国优秀硕士学位论文全文数据库 信息科技辑》(第07期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113724731A (zh) | 2021-11-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Nilanon et al. | Normal/abnormal heart sound recordings classification using convolutional neural network | |
| CN105023573B (zh) | 使用听觉注意力线索的语音音节/元音/音素边界检测 | |
| CN110123367B (zh) | 计算机设备、心音识别装置、方法、模型训练装置及存储介质 | |
| CN106251880A (zh) | 识别生理声音的方法以及系统 | |
| WO2019024861A1 (zh) | 心电信号的检测 | |
| CN109044396B (zh) | 一种基于双向长短时记忆神经网络的智能心音识别方法 | |
| CN112971802B (zh) | 基于深度学习模型的心音信号检测方法及系统 | |
| CN105726018A (zh) | 一种与rr间期无关的房颤自动检测方法 | |
| Tiwari et al. | Phonocardiogram signal based multi-class cardiac diagnostic decision support system | |
| WO2016117358A1 (ja) | 検査データ処理装置および検査データ処理方法 | |
| Chen et al. | Heart sound segmentation via duration long–short term memory neural network | |
| KR20170064960A (ko) | 파동신호를 활용한 질병 진단 장치 및 그 방법 | |
| Singh et al. | Short unsegmented PCG classification based on ensemble classifier | |
| CN113724731B (zh) | 利用音频判别模型进行音频判别的方法和装置 | |
| CN113409771B (zh) | 一种伪造音频的检测方法及其检测系统和存储介质 | |
| CN112336369B (zh) | 一种多通道心音信号的冠心病风险指数评估系统 | |
| JP5974901B2 (ja) | 有音区間分類装置、有音区間分類方法、及び有音区間分類プログラム | |
| JP5994639B2 (ja) | 有音区間検出装置、有音区間検出方法、及び有音区間検出プログラム | |
| Wei et al. | A novel method for automatic heart murmur diagnosis using phonocardiogram | |
| Xiao et al. | AMResNet: An automatic recognition model of bird sounds in real environment | |
| CN111938691B (zh) | 一种基础心音识别方法及设备 | |
| CN113409825A (zh) | 健康智能检测方法、装置、电子设备及可读存储介质 | |
| Touahria et al. | Discrete Wavelet based Features for PCG Signal Classification using Hidden Markov Models. | |
| Hamidah et al. | Effective heart sounds detection method based on signal's characteristics | |
| CN113823326B (zh) | 一种高效语音关键词检测器训练样本使用方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |