CN114049898A - 一种音频提取方法、装置、设备和存储介质 - Google Patents
一种音频提取方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN114049898A CN114049898A CN202111328474.5A CN202111328474A CN114049898A CN 114049898 A CN114049898 A CN 114049898A CN 202111328474 A CN202111328474 A CN 202111328474A CN 114049898 A CN114049898 A CN 114049898A
- Authority
- CN
- China
- Prior art keywords
- audio
- similarity
- window segment
- current window
- target object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification
- G10L17/02—Preprocessing operations, e.g. segment selection; Pattern representation or modelling, e.g. based on linear discriminant analysis [LDA] or principal components; Feature selection or extraction
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
Abstract
本发明提供一种音频提取方法、装置、设备和存储介质，在音频提取过程中，由将待处理音频中一段目标对象的语音音频作为注册音频，对所述待处理音频进行切分，得到多个窗口片段，再对窗口片段与注册音频进行相似度分析，最后基于当前窗口片段以及与当前窗口片段相邻的窗口片段与所述注册音频的相似度，判断所述当前窗口片段是否为目标对象的语音音频，从而实现了目标对象的语音音频的精准提取。
Description
技术领域
本发明涉及音频处理技术领域，具体涉及一种基于声纹模型的特定说话人音频的音频提取方法、装置、设备和存储介质。
背景技术
为了得到一段语音中的目标对象的语音音频，需要通过特定的技术手段将由该段语音中提取目标对象的语音音频。
在现有方案中，通常采用语音分割聚类方法对目标对象的音频信息进行提取，该方法基本应用于多人接连说话的场景。但是语音分割聚类方法的目标在于将所有说话人的音频都区分开，将原有音频分割聚类成多段音频。而原有音频中说话人个数是不确定的，在获取到多段待处理音频的声纹信息特征后，聚类算法并不指定聚类的类数，因此实际应用中的聚类效果并不理想，可能会将两人对话的音频聚成多类，而且聚类后的音频也并不纯净，会混有他人的声音。
如何从录音中准确的提取目标对象的音频内容，成为本领域亟待解决的技术问题之一。
发明内容
有鉴于此，本发明实施例提供一种音频提取方法、装置、设备和存储介质，以实现对目标对象的语音音频的提取。
为实现上述目的，本发明实施例提供如下技术方案：
一种音频提取方法，包括：
获取待处理音频和注册音频，所述注册音频为所述待处理音频中的一段目标对象的语音音频；
对所述待处理音频进行切分，得到多个窗口片段；
提取所述注册音频以及所述窗口片段的特征向量；
对所述窗口片段的特征向量与所述注册音频的特征向量进行相似度分析；
基于当前窗口片段以及与当前窗口片段相邻的窗口片段与所述注册音频的特征向量的相似度，判断所述当前窗口片段是否为目标对象的语音音频；
将目标对象的语音音频确定为提取音频。
可选的，上述音频提取方法中，基于当前窗口片段以及与当前窗口片段相邻的窗口片段与所述注册音频的特征向量的相似度，判断所述当前窗口片段是否为目标对象的语音音频，包括：
计算当前窗口片段与所述注册音频的特征向量的相似度，记为第一相似度；
判断第一相似度是否大于预设分数阈值；
当不大于预设分数阈值时，则确定所述当前窗口片段不为目标对象的语音音频；
当大于预设分数阈值时，获取第二相似度和第三相似度，所述第二相似度为与所述当前窗口片段相邻且位于所述当前窗口片段之前的一个窗口片段与所述注册音频的特征向量的相似度，所述第三相似度为与所述当前窗口片段相邻且位于所述当前窗口片段之后的一个窗口片段与所述注册音频的特征向量的相似度；
基于所述第一相似度、所述第二相似度和所述第三相似度判断所述当前窗口片段是否为目标对象的语音音频。
可选的，上述音频提取方法中，基于所述第一相似度、所述第二相似度和所述第三相似度判断所述当前窗口片段是否为目标对象的语音音频，包括：
判断所述第一相似度是否大于预设分数阈值，当所述第一相似度不大于所述预设分数阈值时，则确定所述当前窗口片段不是目标对象的语音音频；
当所述第一相似度大于所述预设分数阈值时，判断所述第二相似度和所述第三相似度是否满足第一预设条件和第二预设条件；
所述第一预设条件为：所述当前窗口片段和与其相邻的窗口片段之间的声纹相似度均低于设定值；
所述第二预设条件为：所述第二相似度和所述第三相似度的值均小于所述预设分数阈值；
当满足所述第一预设条件和所述第二预设条件中的任意一项时，则确定所述当前窗口片段不是目标对象的语音音频，否则，则确定所述当前窗口片段是目标对象的语音音频。
可选的，上述音频提取方法中，所述第一预设条件具体为：所述第一相似度和所述第二相似度的差值、以及所述第一相似度和所述第三相似度的差值均大于预设分差阈值。
可选的，上述音频提取方法中，对所述待处理音频进行切分，包括：
对所述待处理音频进行语音活动检测，去除所述待处理音频中的静音期；
使用滑动窗口对去除静音期后的待处理音频进行切分。
可选的，上述音频提取方法中，提取所述注册音频以及所述窗口片段的特征向量，包括：
提取数据增强后的注册音频的特征向量；
提取数据增强后的窗口片段的特征向量。
一种音频提取装置，包括：
音频获取单元，用于获取待处理音频和注册音频，所述注册音频为所述待处理音频中的一段目标对象的语音音频；
音频处理单元，用于对所述待处理音频进行切分，得到多个窗口片段；
特征向量提取单元，用于提取所述注册音频以及所述窗口片段的特征向量；
相似度计算单元，用于对所述窗口片段的特征向量与所述注册音频的特征向量进行相似度分析；
目标音频检测单元，用于基于当前窗口片段以及与当前窗口片段相邻的窗口片段与所述注册音频的特征向量的相似度，判断所述当前窗口片段是否为目标对象的语音音频；将目标对象的语音音频确定为提取音频。
可选的，上述音频提取装置中，所述目标音频检测单元在基于当前窗口片段以及与当前窗口片段相邻的窗口片段与所述注册音频的特征向量的相似度，判断所述当前窗口片段是否为目标对象的语音音频时，具体用于：
计算当前窗口片段与所述注册音频的特征向量的相似度，记为第一相似度；
判断第一相似度是否大于预设分数阈值；
当不大于预设分数阈值时，则确定所述当前窗口片段不为目标对象的语音音频；
当大于预设分数阈值时，获取第二相似度和第三相似度，所述第二相似度为与所述当前窗口片段相邻且位于所述当前窗口片段之前的一个窗口片段与所述注册音频的特征向量的相似度，所述第三相似度为与所述当前窗口片段相邻且位于所述当前窗口片段之后的一个窗口片段与所述注册音频的特征向量的相似度；
基于所述第一相似度、所述第二相似度和所述第三相似度判断所述当前窗口片段是否为目标对象的语音音频。
一种音频提取设备，包括：存储器和处理器；
所述存储器，用于存储程序；
所述处理器，用于执行所述程序，实现上述任一项所述的音频提取方法的各个步骤。
一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如
上述任意一项所述的音频提取方法的各个步骤。
基于上述技术方案，本发明实施例提供的上述方案，在音频提取过程中，由将待处理音频中一段目标对象的语音音频作为注册音频，对所述待处理音频进行切分，得到多个窗口片段，再对窗口片段与注册音频进行相似度分析，最后基于当前窗口片段以及与当前窗口片段相邻的窗口片段与所述注册音频的相似度，判断所述当前窗口片段是否为目标对象的语音音频，从而实现了目标对象的语音音频的精准提取。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例公开的音频提取方法的流程示意图；
图2为本申请另一实施例公开的音频提取方法的流程示意图；
图3为本申请实施例公开的音频提取装置的结构示意图；
图4为本申请实施例公开的音频提取设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请实施例公开了一种音频提取方案，在提取过程中，由将待处理音频中一段目标对象的语音音频作为注册音频，对所述待处理音频进行切分，得到多个窗口片段，再对窗口片段与注册音频进行相似度分析，最后基于当前窗口片段以及与当前窗口片段相邻的窗口片段与所述注册音频的相似度，判断所述当前窗口片段是否为目标对象的语音音频，从而实现了目标对象的语音音频的精准提取。
具体的，参见图1，图1为本申请实施例公开的一种音频提取方法的流程示意图，该方法可以包括步骤S101-S106。
步骤S101：获取待处理音频和注册音频，所述注册音频为所述待处理音频中的一段目标对象的语音音频。
在本方案中，所述待处理音频，为记载有目标对象的语音音频的一段音频，该段音频中，除了具有目标对象的语音音频之外，还可能具有其他非目标对象的语音音频，或者是其他音频。
所述注册音频为由所述待处理音频中提取到的一段目标对象的语音音频，所述注册音频可以由用户由所述待处理音频中识别并提取。
步骤S102：对所述待处理音频进行切分，得到多个窗口片段。
在本步骤中，可以将所述待处理音频划分问多个窗口片段，分别判断每一个窗口片段是否为目标对象对应的语音音频，在对所述待处理音频进行切分时，可以使用滑动窗口对所述待处理音频进行切分，其中每个窗口片段的窗口长度(例如0.8s)和滑动重叠率(例如0.5)均可灵活设置，将每个窗口内音频数据写入二维数组，其中，所述待处理音频数据是一维数据，按窗口长度切分后多的一维就是第几个窗口的数据。
步骤S103：提取所述注册音频以及所述窗口片段的特征向量。
在本步骤中，在对窗口片段与注册音频进行相似度分析时，具体的是对特征向量的相似度分析，因此，在进行相似度分析之前，需要预先提取所述注册音频以及每个所述窗口片段的特征向量。其中，所述注册音频以及所述窗口片段的特征向量可以由声纹模型对所述注册音频以及所述窗口片段进行处理得到。
步骤S104：对所述窗口片段的特征向量与所述注册音频的特征向量进行相似度分析。
在本步骤中，将每个窗口片段对应的特征向量都分别与注册音频特征向量进行相似度打分，存入记录每个窗口片段得分的数组，该得分用于表征窗口片段与所述注册音频的相似度。
步骤S105：基于当前窗口片段以及与当前窗口片段相邻的窗口片段与所述注册音频的特征向量的相似度，判断所述当前窗口片段是否为目标对象的语音音频。
在本步骤中，所述当前窗口片段指的是正在进行判断是否为目标对象的语音音频的窗口片段，在本方案中，基于当前窗口片段以及与当前窗口片段相邻的窗口片段与所述注册音频的特征向量的相似度，判断所述当前窗口片段是否为目标对象的语音音频，在判断当前窗口片段是否为目标对象的语音音频时，将相拼窗口片段与所述注册音频的特征向量的相似度作为参考因素，提高了判断结果的可靠性。
步骤S106：将目标对象的语音音频确定为提取音频。
在本步骤中，当确定某个窗口片段为目标对象的语音音频时，提取所述目标对象的语音音频，并对基于目标对象的语音音频所在时间轴的顺序对提取的目标对象的语音音频进行拼接。
由上述方案可见，本申请通过对所述待处理音频进行切分，得到多个窗口片段，再对窗口片段与注册音频进行相似度分析，最后基于当前窗口片段以及与当前窗口片段相邻的窗口片段与所述注册音频的相似度，判断所述当前窗口片段是否为目标对象的语音音频，从而实现了目标对象的语音音频的精准提取。
在本申请另一实施例公开的技术方案中，考虑到待处理音频中存在静音期，所述静音期为待处理音频中不存在语音音频的时间段，这些静音期对应的待处理音频是无需进行识别的，因此为了提高待处理效率，在本方案中，可以先去除所述待处理音频中的静音期，具体的，本申请上述方案中，对所述待处理音频进行切分，具体可以包括：
对所述待处理音频进行语音活动检测，去除所述待处理音频中的静音期；
使用滑动窗口对去除静音期后的待处理音频进行切分。
其中，上述步骤中，具体可以采用VAD模块对所述待处理音频进行处理，识别并处理所述待处理音频中的静音期，然后对去除静音期后的待处理音频进行拼接，最后再使用滑动窗口对拼接后的待处理音频进行切分。
在本申请另一实施例公开的技术方案中，为了提高相似度的计算精度，可以先对所述注册音频和切分得到的所述窗口片段进行数据增强处理，在相似度计算时，实际是对增强处理后的注册音频和窗口片段进行相似度计算，对此，上述方案中，提取所述注册音频以及所述窗口片段的特征向量，包括：提取数据增强后的注册音频的特征向量；提取数据增强后的窗口片段的特征向量。
在本申请实施例公开的技术方案中，为了能够精准的判断窗口片段是否为目标对象的语音音频，在本方案中，公开了一种具体的判断流程，具体的，参见图2，上述方法中，基于当前窗口片段以及与当前窗口片段相邻的窗口片段与所述注册音频的特征向量的相似度，判断所述当前窗口片段是否为目标对象的语音音频，具体可以包括：
步骤S201：计算当前窗口片段与所述注册音频的特征向量的相似度，记为第一相似度。
在本步骤中，基于时间轴的顺序，依次判断各个窗口片段是否为目标对象的语音音频，在该过程中，将正在判断的窗口片段作为当前窗口片段，将当前窗口片段的特征向量与所述注册音频的特征向量的相似度，记为第一相似度。
步骤S202：判断第一相似度是否大于预设分数阈值。
在本方案中，预先设置一个预设分数阈值，首先将第一相似度与所述预设分数阈值进行对比，其中，所述预设分数阈值的大小可以根据用户需求自行设置，例如，所述预设分数阈值可以为0.5，当所述第一相似度小于预设分数阈值时，则确定当前窗口片段与注册音频的声纹差别过大，当前窗口片段不是目标对象的语音音频，否则，继续执行步骤S204继续进行判断。
步骤S203：当不大于预设分数阈值时，则确定所述当前窗口片段不是目标对象的语音音频。
步骤S204：当大于预设分数阈值时，获取第二相似度和第三相似度，所述第二相似度为与所述当前窗口片段相邻且位于所述当前窗口片段之前的至少一个窗口片段与所述注册音频的特征向量的相似度，所述第三相似度为与所述当前窗口片段相邻且位于所述当前窗口片段之后的至少一个窗口片段与所述注册音频的特征向量的相似度；
在本步骤中，当第一相似度大于预设分数阈值时，采用与当前窗口片段相邻的其他窗口继续判断当前窗口片段是否为目标对象的语音音频，此时，获取与当前窗口片段相邻的两个窗口片段与所述注册音频的特征向量的相似度，分别记为第二相似度和第三相似度，其中，所述第二相似度为位于所述当前窗口片段之前的窗口片段与所述注册音频的特征向量的相似度，所述第三相似度为位于所述当前窗口片段之后的窗口片段与所述注册音频的特征向量的相似度。当然，这种情况是针对于当前窗口片段具有两个相邻窗口片段时，需要获取第二相似度和第三相似度，如果当前窗口片段仅具有一个相邻窗口片段时，仅需获取一个相似度即可。
步骤S205：基于所述第一相似度、所述第二相似度和所述第三相似度判断所述当前窗口片段是否为目标对象的语音音频。
当所述当前窗口片段具有两个相邻窗口片段时，基于所述第一相似度、所述第二相似度和所述第三相似度判断所述当前窗口片段是否为目标对象的语音音频；
当所述当前窗口片段仅具有1个相邻窗口片段时，基于所述第一相似度、所述第二相似度判断所述当前窗口片段是否为目标对象的语音音频。
在本申请实施例公开的技术方案中，基于所述第一相似度、所述第二相似度和所述第三相似度判断所述当前窗口片段是否为目标对象的语音音频，具体可以包括：
判断所述第一相似度、所述第二相似度和所述第三相似度是否满足第一预设条件和第二预设条件；当满足所述第一预设条件和所述第二预设条件中的任意一项时，则确定所述当前窗口片段不是目标对象的语音音频，否则，则确定所述当前窗口片段是目标对象的语音音频，即，所述第一相似度、所述第二相似度和所述第三相似度同时不满足所述第一预设条件和所述第二预设条件时，则确定所述当前窗口片段是目标对象的语音音频。
其中，所述第一预设条件为：所述当前窗口片段和与其相邻的窗口片段之间的声纹相似度均低于设定值；在本方案中，在判断所述当前窗口片段和与其相邻的窗口片段之间的声纹相似度时，所采用的技术手段可以根据用户需求自行选择，例如，可以直接提取并比较当前窗口片段和与其相邻的窗口片段之间声纹特征，通过该声纹特征判断所述当前窗口片段和与其相邻的窗口片段之间声纹相似度，在本申请另一实施例公开的技术方案中，第一相似度表征的是当前窗口片段与注册音频的相似度，所述第二相似度和所述第三相似度分别表示的当前窗口片段的相邻的窗口片段与注册音频的相似度，因此，可以通过比较第一相似度、所述第二相似度和所述第三相似度的方式来判断当前窗口片段和与其相邻的窗口片段之间的声纹相似度是否低于设定值，当所述第一相似度和所述第二相似度的差值大于预设分差阈值，表明所述当前窗口片段和与其相邻的前一窗口片段之间的声纹相似度均低于设定值，当所述第一相似度和所述第三相似度的差值大于预设分差阈值，表明所述当前窗口片段和与其相邻的后一窗口片段之间的声纹相似度均低于设定值。
所述第二预设条件为：所述第二相似度和所述第三相似度的值均小于所述预设分数阈值；当所述当前窗口片段仅具有1个相邻窗口片段时，所述第二预设条件中仅需判断该相邻窗口片段的对应的相似度是否小于所述预设分数阈值即可。
当前窗口片段不具备前一个窗口片段时，直接默认为所述当前窗口片段和与其相邻的前一窗口片段之间的声纹相似度高于设定值，当前窗口片段不具备后至少一个窗口片段时，直接默认为所述当前窗口片段和与其相邻的后一窗口片段之间的声纹相似度高于设定值。
在本申请实施例公开的技术方案中，当判断某个窗口片段为目标对象的语音音频时，判断该窗口是否为滑动窗口中第一个判断为目标对象的语音音频的窗口片段，如果其是，将该窗口片段中的全部音频数据写入新的提取音频中，如果不是第一个判断为目标对象的语音音频的窗口片段，只需附加向前滑动的时长的音频数据到新的音频当中。例如，第一个判断为目标对象的语音音频的窗口片段的时间点是0～0.8秒，第二个判断为目标对象的语音音频的窗口片段的时间点为0.5～1.3秒，因为两个窗口片段之间有重合，所以只需将该窗口片段的滑动唯一部分附加写入该新音频即可，从而得到0.8～1.3秒的音频数据。
本实施例中公开了一种音频提取装置，装置中的各个单元的具体工作内容，请参见上述方法实施例的内容。
下面对本发明实施例提供的音频提取装置进行描述，下文描述的音频提取装置与上文描述的音频提取方法可相互对应参照。
参见图3，本申请实施例公开的音频提取装置，可以包括：
音频获取单元A，其与上述方法中步骤S101相对应，用于获取待处理音频和注册音频，所述注册音频为所述待处理音频中的一段目标对象的语音音频；
音频处理单元B，其与上述方法中步骤S102相对应，用于对所述待处理音频进行切分，得到多个窗口片段；
特征向量提取单元C，其与上述方法中步骤S103相对应，用于提取所述注册音频以及所述窗口片段的特征向量；
相似度计算单元D，其与上述方法中步骤S104相对应，用于对所述窗口片段的特征向量与所述注册音频的特征向量进行相似度分析；
目标音频检测单元E，其与上述方法中步骤S105-S106相对应，用于基于当前窗口片段以及与当前窗口片段相邻的窗口片段与所述注册音频的特征向量的相似度，判断所述当前窗口片段是否为目标对象的语音音频；将目标对象的语音音频确定为提取音频。
与上述方法相对应，所述目标音频检测单元在基于当前窗口片段以及与当前窗口片段相邻的窗口片段与所述注册音频的特征向量的相似度，判断所述当前窗口片段是否为目标对象的语音音频时，具体用于：
计算当前窗口片段与所述注册音频的特征向量的相似度，记为第一相似度；
判断当前窗口片段与所述注册音频的特征向量的相似度是否大于预设分数阈值；
当不大于预设分数阈值时，则确定所述当前窗口片段不是目标对象的语音音频；
当大于预设分数阈值时，获取第二相似度和第三相似度，所述第二相似度为与所述当前窗口片段相邻且位于所述当前窗口片段之前的至少一个窗口片段与所述注册音频的特征向量的相似度，所述第三相似度为与所述当前窗口片段相邻且位于所述当前窗口片段之后的至少一个窗口片段与所述注册音频的特征向量的相似度；
基于所述第一相似度、所述第二相似度和所述第三相似度判断所述当前窗口片段是否为目标对象的语音音频。
与上述方法相对应，所述目标音频检测单元在基于所述第一相似度、所述第二相似度和所述第三相似度判断所述当前窗口片段是否为目标对象的语音音频时，具体用于：
判断所述第一相似度、所述第二相似度和所述第三相似度是否满足第一预设条件和第二预设条件；
所述第一预设条件为：所述第一相似度小于所述第二相似度，且所述第一相似度和所述第二相似度的差值大于预设分差阈值；
所述第二预设条件为：所述第二相似度和所述第三相似度的值均小于所述预设分数阈值；
当所述第二相似度和所述第三相似度满足所述第一预设条件和所述第二预设条件中的任意一项时，则确定所述当前窗口片段不是目标对象的语音音频，否则，则确定所述当前窗口片段是目标对象的语音音频。
参见图4，图4为本发明实施例提供的音频提取设备的硬件结构图，参见图4所示，设备可以包括：至少一个处理器100，至少一个通信接口200，至少一个存储器300和至少一个通信总线400；
在本发明实施例中，处理器100、通信接口200、存储器300、通信总线400的数量为至少一个，且处理器100、通信接口200、存储器300通过通信总线400完成相互间的通信；显然，图4所示的处理器100、通信接口200、存储器300和通信总线400所示的通信连接示意仅是可选的；
可选的，通信接口200可以为通信模块的接口，如GSM模块的接口；
处理器100可能是一个中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。
存储器300可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
其中，处理器100具体用于：
获取待处理音频和注册音频，所述注册音频为所述待处理音频中的一段目标对象的语音音频；
对所述待处理音频进行切分，得到多个窗口片段；
提取所述注册音频以及所述窗口片段的特征向量；
对所述窗口片段的特征向量与所述注册音频的特征向量进行相似度分析；
基于当前窗口片段以及与当前窗口片段相邻的窗口片段与所述注册音频的特征向量的相似度，判断所述当前窗口片段是否为目标对象的语音音频；
将目标对象的语音音频确定为提取音频。
所述处理器还用于执行本申请上述实施例公开的音频提取方法中的其他步骤，具体不在累述。
对应于上述方法，本申请还公开了一种计算机可读存储介质，该介质上存储有计算机城需，所述计算机程序被处理器执行时，实现上述任意一项所述的音频提取方法的各个步骤。
例如，所述计算机程序在被处理器执行时，用于：
获取待处理音频和注册音频，所述注册音频为所述待处理音频中的一段目标对象的语音音频；
对所述待处理音频进行切分，得到多个窗口片段；
提取所述注册音频以及所述窗口片段的特征向量；
对所述窗口片段的特征向量与所述注册音频的特征向量进行相似度分析；
基于当前窗口片段以及与当前窗口片段相邻的窗口片段与所述注册音频的特征向量的相似度，判断所述当前窗口片段是否为目标对象的语音音频；
将目标对象的语音音频确定为提取音频。
为了描述的方便，描述以上系统时以功能分为各种模块分别描述。当然，在实施本发明时可以把各模块的功能在同一个或多个软件和/或硬件中实现。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种音频提取方法，其特征在于，包括：
获取待处理音频和注册音频，所述注册音频为所述待处理音频中的一段目标对象的语音音频；
对所述待处理音频进行切分，得到多个窗口片段；
提取所述注册音频以及所述窗口片段的特征向量；
对所述窗口片段的特征向量与所述注册音频的特征向量进行相似度分析；
基于当前窗口片段以及与当前窗口片段相邻的窗口片段与所述注册音频的特征向量的相似度，判断所述当前窗口片段是否为目标对象的语音音频；
将目标对象的语音音频确定为提取音频。
2.根据权利要求1所述的音频提取方法，其特征在于，基于当前窗口片段以及与当前窗口片段相邻的窗口片段与所述注册音频的特征向量的相似度，判断所述当前窗口片段是否为目标对象的语音音频，包括：
计算当前窗口片段与所述注册音频的特征向量的相似度，记为第一相似度；
判断第一相似度是否大于预设分数阈值；
当不大于预设分数阈值时，则确定所述当前窗口片段不为目标对象的语音音频；
当大于预设分数阈值时，获取第二相似度和第三相似度，所述第二相似度为与所述当前窗口片段相邻且位于所述当前窗口片段之前的一个窗口片段与所述注册音频的特征向量的相似度，所述第三相似度为与所述当前窗口片段相邻且位于所述当前窗口片段之后的一个窗口片段与所述注册音频的特征向量的相似度；
基于所述第一相似度、所述第二相似度和所述第三相似度判断所述当前窗口片段是否为目标对象的语音音频。
3.根据权利要求2所述的音频提取方法，其特征在于，基于所述第一相似度、所述第二相似度和所述第三相似度判断所述当前窗口片段是否为目标对象的语音音频，包括：
判断所述第一相似度、所述第二相似度和所述第三相似度是否满足第一预设条件和第二预设条件；
所述第一预设条件为：所述当前窗口片段和与其相邻的窗口片段之间的声纹相似度均低于设定值；
所述第二预设条件为：所述第二相似度和所述第三相似度的值均小于所述预设分数阈值；
当满足所述第一预设条件和所述第二预设条件中的任意一项时，则确定所述当前窗口片段不是目标对象的语音音频，否则，则确定所述当前窗口片段是目标对象的语音音频。
4.根据权利要求3所述的音频提取方法，其特征在于，所述第一预设条件具体为：所述第一相似度和所述第二相似度的差值、以及所述第一相似度和所述第三相似度的差值均大于预设分差阈值。
5.根据权利要求1-4任一项所述的音频提取方法，其特征在于，对所述待处理音频进行切分，包括：
对所述待处理音频进行语音活动检测，去除所述待处理音频中的静音期；
使用滑动窗口对去除静音期后的待处理音频进行切分。
6.根据权利要求1-4任一项所述的音频提取方法，其特征在于，提取所述注册音频以及所述窗口片段的特征向量，包括：
提取数据增强后的注册音频的特征向量；
提取数据增强后的窗口片段的特征向量。
7.一种音频提取装置，其特征在于，包括：
音频获取单元，用于获取待处理音频和注册音频，所述注册音频为所述待处理音频中的一段目标对象的语音音频；
音频处理单元，用于对所述待处理音频进行切分，得到多个窗口片段；
特征向量提取单元，用于提取所述注册音频以及所述窗口片段的特征向量；
相似度计算单元，用于对所述窗口片段的特征向量与所述注册音频的特征向量进行相似度分析；
目标音频检测单元，用于基于当前窗口片段以及与当前窗口片段相邻的窗口片段与所述注册音频的特征向量的相似度，判断所述当前窗口片段是否为目标对象的语音音频；将目标对象的语音音频确定为提取音频。
8.根据权利要求7所述的音频提取装置，其特征在于，所述目标音频检测单元在基于当前窗口片段以及与当前窗口片段相邻的窗口片段与所述注册音频的特征向量的相似度，判断所述当前窗口片段是否为目标对象的语音音频时，具体用于：
计算当前窗口片段与所述注册音频的特征向量的相似度，记为第一相似度；
判断第一相似度是否大于预设分数阈值；
当不大于预设分数阈值时，则确定所述当前窗口片段不为目标对象的语音音频；
当大于预设分数阈值时，获取第二相似度和第三相似度，所述第二相似度为与所述当前窗口片段相邻且位于所述当前窗口片段之前的一个窗口片段与所述注册音频的特征向量的相似度，所述第三相似度为与所述当前窗口片段相邻且位于所述当前窗口片段之后的一个窗口片段与所述注册音频的特征向量的相似度；
基于所述第一相似度、所述第二相似度和所述第三相似度判断所述当前窗口片段是否为目标对象的语音音频。
9.一种音频提取设备，其特征在于，包括：存储器和处理器；
所述存储器，用于存储程序；
所述处理器，用于执行所述程序，实现如权利要求1-6中任一项所述的音频提取方法的各个步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1-6任意一项所述的音频提取方法的各个步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111328474.5A CN114049898A (zh) | 2021-11-10 | 2021-11-10 | 一种音频提取方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111328474.5A CN114049898A (zh) | 2021-11-10 | 2021-11-10 | 一种音频提取方法、装置、设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114049898A true CN114049898A (zh) | 2022-02-15 |
Family
ID=80208230
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111328474.5A Pending CN114049898A (zh) | 2021-11-10 | 2021-11-10 | 一种音频提取方法、装置、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114049898A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115910042A (zh) * | 2023-01-09 | 2023-04-04 | 百融至信(北京)科技有限公司 | 识别格式化音频文件的信息种类的方法和装置 |
-
2021
- 2021-11-10 CN CN202111328474.5A patent/CN114049898A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115910042A (zh) * | 2023-01-09 | 2023-04-04 | 百融至信(北京)科技有限公司 | 识别格式化音频文件的信息种类的方法和装置 |
| CN115910042B (zh) * | 2023-01-09 | 2023-05-05 | 百融至信(北京)科技有限公司 | 识别格式化音频文件的信息种类的方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109473123B (zh) | 语音活动检测方法及装置 | |
| CN111128223B (zh) | 一种基于文本信息的辅助说话人分离方法及相关装置 | |
| CN106973305B (zh) | 一种视频中不良内容的检测方法及装置 | |
| CN111145737B (zh) | 语音测试方法、装置和电子设备 | |
| CN107562760B (zh) | 一种语音数据处理方法及装置 | |
| CN110718228B (zh) | 语音分离方法、装置、电子设备及计算机可读存储介质 | |
| CN110390946A (zh) | 一种语音信号处理方法、装置、电子设备和存储介质 | |
| CN108039181B (zh) | 一种声音信号的情感信息分析方法和装置 | |
| CN110717067B (zh) | 视频中音频聚类的处理方法和装置 | |
| CN109410956B (zh) | 一种音频数据的对象识别方法、装置、设备及存储介质 | |
| WO2023088448A1 (zh) | 语音处理方法、设备及存储介质 | |
| CN111462758A (zh) | 智能会议角色分类的方法、装置、设备及存储介质 | |
| CN114141252A (zh) | 声纹识别方法、装置、电子设备和存储介质 | |
| CN111081223A (zh) | 一种语音识别方法、装置、设备和存储介质 | |
| CN114049898A (zh) | 一种音频提取方法、装置、设备和存储介质 | |
| CN109800299B (zh) | 一种说话人聚类方法及相关装置 | |
| US7571093B1 (en) | Method of identifying duplicate voice recording | |
| CN112992175B (zh) | 一种语音区分方法及其语音记录装置 | |
| CN114038487A (zh) | 一种音频提取方法、装置、设备和可读存储介质 | |
| CN114822557A (zh) | 课堂中不同声音的区分方法、装置、设备以及存储介质 | |
| CN111681671B (zh) | 异常音识别方法、装置及计算机存储介质 | |
| CN114218428A (zh) | 音频数据聚类方法、装置、设备及存储介质 | |
| CN113420178A (zh) | 一种数据处理方法以及设备 | |
| CN111986657A (zh) | 音频识别方法和装置、录音终端及服务器、存储介质 | |
| Rahman et al. | Blocking black area method for speech segmentation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |