CN111382302B - 一种基于变速模板的音频样例检索方法 - Google Patents

一种基于变速模板的音频样例检索方法 Download PDF

Info

Publication number
CN111382302B
CN111382302B CN201811619717.9A CN201811619717A CN111382302B CN 111382302 B CN111382302 B CN 111382302B CN 201811619717 A CN201811619717 A CN 201811619717A CN 111382302 B CN111382302 B CN 111382302B
Authority
CN
China
Prior art keywords
audio
short
template
value
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811619717.9A
Other languages
English (en)
Other versions
CN111382302A (zh
Inventor
李超
王佩
张学帅
邹学强
刘建
徐杰
胡琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Acoustics CAS
National Computer Network and Information Security Management Center
Original Assignee
Institute of Acoustics CAS
National Computer Network and Information Security Management Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Acoustics CAS, National Computer Network and Information Security Management Center filed Critical Institute of Acoustics CAS
Priority to CN201811619717.9A priority Critical patent/CN111382302B/zh
Publication of CN111382302A publication Critical patent/CN111382302A/zh
Application granted granted Critical
Publication of CN111382302B publication Critical patent/CN111382302B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种基于变速模板的音频样例检索方法,该方法具体包括:针对长度5秒以上的变速模板的待检音频拆分为多个短音频片段,获取各个短音频片段的二进制音频指纹序列值,查找预先建立的哈希表;查找出各个短音频片段的二进制音频指纹序列值对应的模板音频的音频指纹序列值;计算各个短音频片段和模板音频之间指纹序列差异数D和模板音频与短音频片段之间允许指纹序列差异数的阈值Reject;如果D<Reject,则认为短音频片段与模板音频相似;如果D>Reject,则认为短音频片段存在错误,并提取该短音频片段。

Description

一种基于变速模板的音频样例检索方法
技术领域
本发明属于音频检索技术领域,具体涉及一种基于变速模板的音频样例检索方法。
背景技术
音频样例检索是指从音频数据库中检索出与用户提交查询样例具有相似内容的音频信息并反馈给用户。其核心内容包括两部分:特征提取和特征检索。其中,音频特征提取比较关键,只有选取了合适的音频特征,才能继续后面的检索方法设计。在大多数的音频样例检索方法中,大部分都是通过音频指纹实现的。其中,音频指纹,可以理解为音频信号的独一无二标识,是通过提取算法,针对音频提取特定特征而形成的序列。因此,一段音频指纹就是一段音频内容的概括,并且能够唯一的表达这段音频信号。在音频指纹提取方面,有很多大量的提取算法。其中Haitsma等人提出了一阶相邻能量差的方法。该方法通过对音频信号进行短时傅里叶变化,然后利用相邻音频帧的一阶能量差是否大于零来形成音频指纹,接着将音频指纹转换成32位比特关键字序列,形成哈希表并构建索引来进行样例检索。除此之外,还有很多其他科研机构提出的音频指纹算法。
在上述现有的算法中,一阶相邻能量差的方法由于指纹内容简单、容易实现、复杂度小、检索效率高等优点被广泛使用。但是,在实际应用中用户获取的音频片段容易遭受环境噪声和传输噪声的干扰,或有的应用场景中要求进行匹配的语音样例很短或者样例中噪声的存在可能会导致音频指纹间误码率超过阈值而导致无法命中。另外,由于静音帧的指纹容易出现不稳定性,在音频模板比较短时,很容易出现音频的误检和漏检。
目前,传统的检索匹配算法是采用比特误差率(Bit Error,BER),即比较两个音频片段数字音频指纹间的相似度来决定候选结果,其计算方法如下:
其中,F(n,m)和F'(n,m)分别代表查询音频和待检音频第n帧音频指纹的第m位的值,N为总帧数,M为指纹的位数,BER为预设的比特误差率,一般预设为0.35。当比对误差低于预设的门限时,则表明找到了目标音频文件。
但是,该比对方法并没有考虑到在一段音频片段中不同的指纹片段在音频中出现的错误概率并不相同。例如,在静音段中,音频指纹容易出现较高的误码率。在正常连续说话的语音段中,音频指纹则会有较低的误码率。因此,在短时音频模板匹配时,上面对所有帧差异比特(bit)数相加的方法,会导致大量的虚警存在。
发明内容
本发明的目的在于,为解决现有的检索方法存在上述缺陷,本发明提出了一种基于变速模板的音频样例检索方法,在相邻能量差音频检索系统的基础上,将长模板音频拆分成短的音频模板进行检索,有效增加了系统对变速模板的鲁棒性;克服传统音频检索在待检音频变速时性能出现明显下降的问题。
为了实现上述目的,本发明提供了一种基于变速模板的音频样例检索方法,把一段较长的音频流拆分成N个较短的音频片段,对N各较短的音频片段依次进行音频检索。由于拆分后的音频片段比较短,因此针对短音频检索时,计算各个短音频静音能量的比例来进行命中结果筛检;最后,将所有命中结果进行组合,从而有效提高算法对变速音频的精度和召回。该方法具体包括:
针对长度5秒以上的变速模板的待检音频拆分为多个短音频片段,获取各个短音频片段的二进制音频指纹序列值,查找预先建立的哈希表;查找出各个短音频片段的二进制音频指纹序列值对应的模板音频的音频指纹序列值;计算各个短音频片段和模板音频之间指纹序列差异数D和模板音频与短音频片段之间允许指纹序列差异数的阈值Reject;如果D<Reject,则认为短音频片段与模板音频相似;如果D>Reject,则认为短音频片段存在错误,并提取该短音频片段。
作为上述方法的改进之一,所述哈希表的预先建立的步骤具体包括:
步骤1)获取音频样例的音频指纹;
步骤2)根据步骤1)中获取的音频指纹,提取音频指纹的二进制音频指纹序列值,以二进制音频指纹序列值为关键字建立哈希表。
作为上述方法的改进之一,所述步骤1)具体包括:
通过对音频信号进行频域变换和特征分析,通过频域特征,保留与音频听觉相关的重要信息,提取二进制音频指纹序列值,形成音频指纹。具体地,
步骤1-1)将音频样例的音频信号降低到适合人耳特性的音频信号,获得第一音频信号;
步骤1-2)将步骤1-1)获得的第一音频信号,以每0.064秒为一帧,对其进行分帧,获得多帧音频,帧与帧之间保持50%的重叠率,根据公式(2),对每一帧音频用相同的汉明窗长度进行加权,加权方式如公式(3),以获得每一帧音频的第n个样点的第二音频信号x(n)
其中,N为汉明窗长度,即每一帧音频的样点数;x'(n)为原始的第n个音频样点的值;w(n)为第n个音频样点的权重值;x(n)为加权后的第n个音频样点的值;
步骤1-3)针对步骤1-2)获得的每一帧音频的第n个样点的音频信号,采用一阶FIR高通滤波器,根据公式(4),进行预加重,获得预加重后的输出信号y(n);
y(n)=x(n)-ax(n-1) (4)
其中,x(n)为每一帧音频的第n个样点的原始信号;y(n)为预加重后的输出信号;a为预加重系数,0.9<a<1.0;
步骤1-4)采用快速傅里叶算法,对步骤1-3)中的输出信号y(n),利用公式(5),进行离散傅立叶变换,获得音频帧经傅里叶变化后的频点值X(k);
其中,X(k)为音频帧经傅里叶变化后的频点值;N'为傅里叶变化采取的音频点数;k为频点编号;j为虚数;
步骤1-5)在频域,针对步骤1-4)中的X(k)在梅尔域进行子带划分,一共分成33个子带,根据公式(6),获得第m子带的起始频率,即第m-1子带的终止频率f(m)的计算方式如下:
其中:Fmin为映射下限;Fmax为映射上限;M为子带个数;
步骤1-6)利用公式(7),计算第m子带所包含的能量e(m);假设第m子带的起始频率为f(m),第m+1子带的终止频率为f(m+1);
其中,音频帧经离散傅里叶变化后的频点值X(k)的绝对值的平方为第m子带所包含的能量e(m);
步骤1-7)假定第i帧音频信号的第m子带的能量为eim,其对应的二进制音频指纹序列值为tim,则音频指纹的每个比特定义为:
其中,sim为第i帧音频信号的第m子带与第i-1帧音频信号的第m+1子带之间的一阶相邻能量差;tim为第i帧音频信号第m子带的二进制音频指纹序列值;
根据获得的tim,获得第i帧音频信号的音频指纹。
作为上述方法的改进之一,所述步骤2)具体包括:
根据音频样例的音频指纹的二进制音频指纹序列值,建立哈希表,作为索引机构,用于储存音频指纹。
具体的,
所述步骤1)中每帧音频信号的音频指纹均由32位二进制序列值表示,记为key,也就是,所述步骤1)中每帧音频信号的音频指纹均对应一个key值。所以在进行建立索引时可以选用哈希表来存放音频指纹,即按照key值来建立哈希表。若存在多帧音频信号的音频指纹对应的key值相等,则通过在哈希表表项后添加链表来存放,每个链表节点保存一些必要信息:音频帧所在音频文件的标志,音频帧在音频文件中的位置信息。
作为上述方法的改进之一,所述查找出短音频的音频指纹的二进制音频指纹序列值对应的模板音频的音频指纹序列值具体包括:
设一段音频时常为L秒的待检音频A,按2秒长度,将待检音频A拆分为多个短音频片段,如公式(10),形成短音频片段组合;其中,拆分待检音频A后,剩余的待检音频A不够2秒的短音频片段单独成为短音频片段:
(A1,A2,A3,A4...Ak) (10)
其中,Ak表示待检音频A拆分后的第k个短音频片段;
针对每一个短音频片段,根据步骤1)的提取步骤,提取出各个短音频片段的音频指纹,进而提取各个短音频片段的音频指纹的二进制音频指纹序列值,查找预先建立的哈希表,查找出各个短音频片段的音频指纹的二进制音频指纹序列值对应的模板音频的音频指纹序列值。
作为上述方法的改进之一,所述计算各个短音频和模板音频之间指纹序列差异数D具体包括:
针对短音频片段组合(A1,A2,A3,A4...Ak)中的各个短音频片段,根据按公式(11),
计算每个短音频片段与模板音频之间指纹序列差异数D:
其中,t(i,m)为待检音频第i帧音频指纹序列中第m位的二进制音频指纹序列值。t'(i,m)为模板音频第i帧音频指纹序列中第m位的二进制音频指纹序列值;
M为子带数,即一共多少个子带;R为模板音频与短音频片段之间应比较的帧音频指纹总数。
作为上述方法的改进之一,所述计算模板音频与短音频片段之间允许指纹序列差异数的阈值Reject;
再根据公式(12),依次对其中的各个短音频片段,计算模板音频与短音频片段之间允许指纹序列差异数的阈值Reject;
其中,R表示模板音频与待检音频之间应比较的帧音频指纹总数,T表示预先设置好的比例值,一般取0.35;
计算短音频片段与模板音频之间指纹序列差异数D和模板音频与短音频片段之间允许指纹序列差异数的阈值Reject;
如果D<Reject,则认为待检音频与模板音频相似;如果D>Reject,则认为待检音频存在错误,并提取该短音频片段。
当D>Reject时,针对提取的短音频片段,按照该短音频片段在模板音频中命中的结束时间进行排序,获得短音频序列,如公式(13);
(B11,B12,B13...B1j;B21,B22,B23...B2j;....;Bk1,Bk2,Bk3...Bkj) (13)
其中,Bkj表示第Ak个短音频片段在模板音频中出现的第j个结果;
利用短音频序列中的Bkj进行判定,如果发现某一组合Bij与Bi-1l满足公式(14),则认为命中的短音频片段是连续的,并提取该组合Bij和Bi-1l,形成命中短音频片段组合(B1q;B2r;......;Bkt),获得最终命中的长时模板长度:
|Bij-Bi-1l|≤θ (14)
其中,||符号为取绝对值的含义;θ为拆分的短音频片段的长度,p的取值
为预先设置好的长度秒数,一般可以设置为2秒;Bij表示第Ai个短音频片段在模板音频中出现的第j个结果。Bi-1l表示第Ai-1个短音频片段在模板中出现的第l个结果;B1q表示第A1个音频片段在模板中出现的第q个结果;B2r代表第A2个音频片段在模板中出现的第r个结果;Bkt表示第Ak个音频片段在模板中出现的第t个结果。
本发明的优点在于:
在实际应用场景中,当待检音频流数据通过解码或者压缩后会经常出现音频缺失、变速等情况。此时待检音频流的二进制指纹序列值与模板音频的二进制指纹序列值不会一一对应,此时按照原来的阈值匹配方法会造成很多音频的漏检。本发明针对较长的待检音频流按照拆分为多个短音频来进行二进制指纹序列值对比的思想来进行匹配检索,通过短音频分批检索匹配的方式再进行结果合并,即可解决在待检音频流较长时因为时域拉伸、变速或频谱缺失等环境下导致二进制指纹序列值匹配不上的问题。有效的增加了对变速、缺帧等环境下的鲁棒性;克服了传统音频检索在待检音频变速、缺帧时性能出现明显下降的问题。
附图说明
图1是正常的待检音频的二进制指纹序列值与模板音频的二进制指纹序列值对应图;
图2是变速或拉伸后的待检音频的二进制指纹序列值与模板音频的二进制指纹
序列值对应图;
图3是将待检音频拆分为多个短音频片段后的二进制指纹序列值与模板音频的
二进制指纹序列值的对应图;
图4是本发明的一种基于变速模板的音频样例检索方法的流程图。
具体实施方式
现结合附图对本发明作进一步的描述。
本发明提供了一种基于变速模板的音频样例检索方法,把一段较长的音频流拆分成N个较短的音频片段,对N各较短的音频片段依次进行音频检索。由于拆分后的音频片段比较短,因此针对短音频检索时,计算各个短音频静音能量的比例来进行命中结果筛检;最后,将所有命中结果进行组合,从而有效提高算法对变速音频的精度和召回。如图4所示,该方法具体包括:
步骤1)获取音频样例的音频指纹;通过对音频信号进行频域变换和特征分析,通过频域特征,保留与音频听觉相关的重要信息,提取二进制音频指纹序列值,形成音频指纹。
所述步骤1)具体包括:
步骤1-1)将音频样例的音频信号降低到适合人耳特性的音频信号,获得第一音频信号;一般来说,人耳能听见的声音频率在20-20000HZ之间,但是人耳对频率为4KHz左右的声音最敏感,所以为了满足人耳特性和降低程序的计算复杂度,通常把音频降采样到5KHz;
步骤1-2)将步骤1-1)获得的第一音频信号,以每0.064秒为一帧,对其进行分帧,获得多帧音频,帧与帧之间保持50%的重叠率,根据公式(2),对每一帧音频用相同的汉明窗长度进行加权,加权方式如公式(3),以获得每一帧音频的第n个样点的第二音频信号x(n)
其中,N为汉明窗长度,即每一帧音频的样点数;x'(n)为原始的第n个音频样点的值;w(n)为第n个音频样点的权重值;x(n)为加权后的第n个音频样点的值;
步骤1-3)针对步骤1-2)获得的每一帧音频的第n个样点的音频信号,采用一阶FIR高通滤波器,根据公式(4),进行预加重,获得预加重后的输出信号y(n);
y(n)=x(n)-ax(n-1) (4)
其中,x(n)为每一帧音频的第n个样点的原始信号;y(n)为预加重后的输出信号;a为预加重系数,0.9<a<1.0;
步骤1-4)采用快速傅里叶算法,对步骤1-3)中的输出信号y(n),利用公式(5),进行离散傅立叶变换,获得音频帧经傅里叶变化后的频点值X(k);
其中,X(k)为音频帧经傅里叶变化后的频点值;N'为傅里叶变化采取的音频点数;k为频点编号;j为虚数,即j2=-1;
步骤1-5)在频域,针对步骤1-4)中的X(k)在梅尔域进行子带划分,一共分成33个子带,根据公式(6),获得第m子带的起始频率,即第m-1子带的终止频率f(m)的计算方式如下:
其中:Fmin为映射下限,此处为300HZ;Fmax为映射上限,此处为2000HZ;M为子带个数,此处为33;
步骤1-6)利用公式(7),计算第m子带所包含的能量e(m);假设第m子带的起始频率为f(m),第m+1子带的终止频率为f(m+1);
其中,音频帧经离散傅里叶变化后的频点值X(k)的绝对值的平方为第m子带所包含的能量e(m);
步骤1-7)假定第i帧音频信号的第m子带的能量为eim,其对应的二进制音频指纹序列值为tim,则音频指纹的每个比特定义为:
其中,sim为第i帧音频信号的第m子带与第i-1帧音频信号的第m+1子带之间的一阶相邻能量差;tim为第i帧音频信号第m子带的二进制音频指纹序列值;
根据获得的tim,获得第i帧音频信号的音频指纹。
步骤2)根据步骤1)中获取的音频指纹,提取音频指纹的二进制音频指纹序列值,以二进制音频指纹序列值为关键字建立哈希表;所述步骤2)具体包括:
根据音频样例的音频指纹的二进制音频指纹序列值,建立哈希表,作为索引机构,用于储存音频指纹。具体地,
所述步骤1)中每帧音频信号的音频指纹均由32位二进制序列值表示,记为key,也就是,所述步骤1)中每帧音频信号的音频指纹均对应一个key值。所以在进行建立索引时可以选用哈希表来存放音频指纹,即按照key值来建立哈希表。若存在多帧音频信号的音频指纹对应的key值相等,则通过在哈希表表项后添加链表来存放,每个链表节点保存一些必要信息:音频帧所在音频文件的标志,音频帧在音频文件中的位置信息。
步骤3)针对长度5秒以上的变速模板的待检音频拆分为多个短音频片段,获取各个短音频片段的二进制音频指纹序列值,查找预先建立的哈希表;查找出各个短音频片段的二进制音频指纹序列值对应的模板音频的音频指纹序列值;具体地,
设一段音频时常为L秒的待检音频A,按2秒长度,将待检音频A拆分为多个短音频片段,如公式(10),形成短音频片段组合;其中,拆分待检音频A后,剩余的待检音频A不够2秒的短音频片段单独成为短音频片段:
(A1,A2,A3,A4...Ak) (10)
其中,Ak表示待检音频A拆分后的第k个短音频片段;
针对每一个短音频片段,根据步骤1)的提取步骤,提取出各个短音频片段的音频指纹,进而提取各个短音频片段的音频指纹的二进制音频指纹序列值,查找预先建立的哈希表,查找出各个短音频片段的音频指纹的二进制音频指纹序列值对应的模板音频的音频指纹序列值。
步骤4)计算各个短音频片段和模板音频之间指纹序列差异数D、模板音频与短音频片段之间允许指纹序列差异数的阈值Reject;具体地,
针对短音频片段组合(A1,A2,A3,A4...Ak)中的各个短音频片段,根据按公式(11),计算每个短音频片段与模板音频之间指纹序列差异数D:
其中,t(i,m)为待检音频第i帧音频指纹序列中第m位的二进制音频指纹序列值。t'(i,m)为模板音频第i帧音频指纹序列中第m位的二进制音频指纹序列值;M为子带数,即一共多少个子带,一般取值为33,R为模板音频与短音频片段之间应比较的帧音频指纹总数;
再根据公式(12),依次对其中的各个短音频片段,计算模板音频与短音频片段之间允许指纹序列差异数的阈值Reject;
其中,R表示模板音频与待检音频之间应比较的帧音频指纹总数,T表示预先设置好的比例值,一般取0.35;
计算短音频片段与模板音频之间指纹序列差异数D和模板音频与短音频片段之间允许指纹序列差异数的阈值Reject;
如果D<Reject,则认为待检音频与模板音频相似;如果D>Reject,则认为待检音频存在错误,并提取该短音频片段。
当D>Reject时,针对提取的短音频片段,按照该短音频片段在模板音频中命中的结束时间进行排序,获得短音频序列,如公式(13);
(B11,B12,B13...B1j;B21,B22,B23...B2j;....;Bk1,Bk2,Bk3...Bkj) (13)
其中,Bkj表示第Ak个短音频片段在模板音频中出现的第j个结果;
利用短音频序列中的Bkj进行判定,如果发现某一组合Bij和Bi-1l满足公式(14)的要求,则认为命中的短音频片段是连续的,并提取该组合Bij和Bi-1l,形成命中短音频片段组合(B1q;B2r;......;Bkt),获得最终命中的长时模板长度:
|Bij-Bi-1l|≤θ (14)
其中,||符号为取绝对值的含义;θ为拆分的短音频片段的长度,p的取值为预先设置好的长度秒数,一般可以设置为2秒;Bij表示第Ai个短音频片段在模板音频中出现的第j个结果。Bi-1l表示第Ai-1个短音频片段在模板中出现的第l个结果;B1q表示第A1个音频片段在模板中出现的第q个结果;B2r代表第A2个音频片段在模板中出现的第r个结果;Bkt表示第Ak个音频片段在模板中出现的第t个结果。
如图1所示,实时待检音频与模板音频之间的指纹二进制流的正常比对方式,在理想情况下待检音频的二进制指纹与模板之间的指纹二进制流是一一对应的。此时通过阈值匹配能够很好的进行模板音频的检出。
如图2所示,是经过变速或者音频帧缺失后待检音频流的二进制指纹与模板音频之间的音频指纹二进制流的对应情况,此时如果按照原来阈值匹配一一对应比较的方法会造成指纹差异数大于预先设置的阈值而造成音频的漏检。
如图3所示,是按照长音频拆分为短音频后比对的示意图。不同于原来指纹序列值一一比较的方法。每个待检音频在比对时分成多个短的比对区间,每个区间的音频指纹流单独与模板音频进行音频指纹匹配,最后进行结果组合和阈值判定待检音频流是否可以检出。
当待检实时音频流长度要求5秒以上时,传统的二进制指纹序列值对比如图1所示;图1中DNA即为二进制指纹序列值。当待检音频流数据发生不同程度的时域拉伸或者变速后,实时待检音频流的二进制指纹序列值与模板音频的二进制指纹序列值可能如图2所示,并非一一对应。此时通过二进制指纹差异数进行比较会造成大量的漏检。本发明对较长的待检音频流拆分为多个短音频来进行二进制指纹序列值对比,此时待检音频与模板音频的二进制指纹序列值对应关系如图3所示。最后,
针对检索出的结果进行合并,形成长模板音频,即可解决在待检音频流较长时因为拉伸或者变速导致二进制指纹序列值匹配不上的问题。其中,图1、图2、图3中的DNA均代表整个待检音频流的二进制指纹的序列值。
最后所应说明的是,以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,对本发明的技术方案进行修改或者等同替换,都不脱离本发明技术方案的精神和范围,其均应涵盖在本发明的权利要求范围当中。

Claims (5)

1.一种基于变速模板的音频样例检索方法,其特征在于,该方法具体包括:
针对长度5秒以上的变速模板的待检音频拆分为多个短音频片段,获取各个短音频片段的二进制音频指纹序列值,查找预先建立的哈希表;查找出各个短音频片段的二进制音频指纹序列值对应的模板音频的音频指纹序列值;计算各个短音频片段和模板音频之间指纹序列差异数D和模板音频与短音频片段之间允许指纹序列差异数的阈值Reject;如果D<Reject,则认为短音频片段与模板音频相似;如果D>Reject,则认为短音频片段存在错误,并提取该短音频片段;
所述哈希表的预先建立的步骤具体包括:
步骤1)获取音频样例的音频指纹;
步骤2)根据步骤1)中获取的音频指纹,提取音频指纹的二进制音频指纹序列值,以二进制音频指纹序列值为关键字建立哈希表;
所述步骤1)具体包括:
步骤1-1)将音频样例的音频信号降低到适合人耳特性的音频信号,获得第一音频信号;
步骤1-2)将步骤1-1)获得的第一音频信号,以每0.064秒为一帧,对其进行分帧,获得多帧音频,根据公式(2),对每一帧音频用相同的汉明窗长度进行加权,加权方式如公式(3),以获得每一帧音频的加权后的第n个音频样点的值x(n);
其中,N为汉明窗长度,即每一帧音频的样点数;x'(n)为原始的第n个音频样点的值;w(n)为第n个音频样点的权重值;x(n)为加权后的第n个音频样点的值;
步骤1-3)针对步骤1-2)获得的每一帧音频的第n个音频样点的值x(n),采用一阶FIR高通滤波器,根据公式(4),进行预加重,获得预加重后的输出信号的值y(n);
y(n)=x(n)-ax(n-1) (4)
其中,a为预加重系数,0.9<a<1.0;x(n-1)为加权后的第n-1个音频样点的值;
步骤1-4)采用快速傅里叶算法,对步骤1-3)中的输出信号的值y(n),利用公式(5),进行离散傅立叶变换,获得音频帧经傅里叶变化后的频点值X(k);
其中,X(k)为音频帧经傅里叶变化后的频点值;N'为傅里叶变化采取的音频点数;k为频点编号;j为虚数;
步骤1-5)在频域,针对步骤1-4)中的X(k),在梅尔域进行子带划分,一共分成M个子带,根据公式(6),获得第m子带的起始频率f(m):
其中,Fmin为映射下限;Fmax为映射上限;M为子带个数;
步骤1-6)利用公式(7),计算第m子带所包含的能量e(m);假设第m子带的起始频率为f(m),第m+1子带的终止频率为f(m+1);
其中,音频帧经离散傅里叶变化后的频点值X(k)的绝对值的平方为第m子带所包含的能量e(m);
步骤1-7)假定第i帧音频信号的第m子带的能量为eim,其对应的二进制音频指纹序列值为tim,则音频指纹的每个比特定义为:
其中,sim为第i帧音频信号的第m子带与第i-1帧音频信号的第m+1子带之间的一阶相邻能量差;tim为第i帧音频信号第m子带的二进制音频指纹序列值;
根据获得的tim,获得第i帧音频信号的音频指纹。
2.根据权利要求1所述的基于变速模板的音频样例检索方法,其特征在于,所述查找出短音频的音频指纹的二进制音频指纹序列值对应的模板音频的音频指纹序列值具体包括:
设一段音频时常为L秒的待检音频A,按2秒长度,将待检音频A拆分为多个短音频片段,如公式(10),形成短音频片段组合;其中,拆分待检音频A后,剩余的待检音频A不够2秒的短音频片段单独成为短待检片段:
(A1,A2,A3,A4...Ak)(10)其中,Ak表示待检音频A拆分后的第k个短音频片段;
针对每一个短音频片段,根据步骤1)的提取步骤,提取出各个短音频片段的音频指纹,进而提取各个短音频片段的音频指纹的二进制音频指纹序列值,查找预先建立的哈希表,查找出各个短音频片段的音频指纹的二进制音频指纹序列值对应的模板音频的音频指纹序列值。
3.根据权利要求1所述的基于变速模板的音频样例检索方法,其特征在于,所述计算各个短音频和模板音频之间指纹序列差异数D具体包括:
针对(A1,A2,A3,A4...Ak)中的各个短音频片段,依次对其中的各个短音频片段,根据按公式(11),计算每个短音频片段与模板音频之间指纹序列差异数D:
其中,t(i,m)为待检音频第i帧音频指纹序列中第m位的二进制音频指纹序列值;t'(i,m)为模板音频第i帧音频指纹序列中第m位的二进制音频指纹序列值;
M为子带数,即一共多少个子带,R为模板音频与短音频片段之间应比较的帧音频指纹总数。
4.根据权利要求1所述的基于变速模板的音频样例检索方法,其特征在于,所述计算模板音频与短音频片段之间允许指纹序列差异数的阈值Reject;
再根据公式(12),依次对其中的各个短音频片段,计算模板音频与短音频片段之间允许指纹序列差异数的阈值Reject;
其中,R表示模板音频与待检音频之间应比较的帧音频指纹总数,T表示预先设置好的比例值;
计算短音频片段与模板音频之间指纹序列差异数D和模板音频与短音频片段之间允许指纹序列差异数的阈值Reject;
如果D<Reject,则认为待检音频与模板音频相似;如果D>Reject,则认为待检音频存在错误。
5.根据权利要求1所述的基于变速模板的音频样例检索方法,其特征在于,所述方法还包括:
当D>Reject时,针对提取的短音频片段,按照该短音频片段在模板音频中命中的结束时间进行排序,获得短音频序列,如公式(13);
(B11,B12,B13...B1j;B21,B22,B23...B2j;....;Bk1,Bk2,Bk3...Bkj)(13)其中,Bkj表示第Ak个短音频片段在模板音频中出现的第j个结果;
利用短音频序列中的Bkj进行判定,如果发现某一组合Bij与Bi-1l满足公式(14),则认为命中的短音频片段是连续的,并提取该组合Bij和Bi-1l,形成命中短音频片段组合(B1q;B2r;......;Bkt),获得最终命中的长时模板长度:
Bij-Bi-1l≤θ (14)
其中,θ为拆分的短音频片段的长度,p的取值为预先设置好的长度秒数;Bij表示第Ai个短音频片段在模板音频中出现的第j个结果;Bi-1l表示第Ai-1个短音频片段在模板中出现的第l个结果;B1q表示第A1个音频片段在模板中出现的第q个结果;B2r代表第A2个音频片段在模板中出现的第r个结果;Bkt表示第Ak个音频片段在模板中出现的第t个结果。
CN201811619717.9A 2018-12-28 2018-12-28 一种基于变速模板的音频样例检索方法 Active CN111382302B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811619717.9A CN111382302B (zh) 2018-12-28 2018-12-28 一种基于变速模板的音频样例检索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811619717.9A CN111382302B (zh) 2018-12-28 2018-12-28 一种基于变速模板的音频样例检索方法

Publications (2)

Publication Number Publication Date
CN111382302A CN111382302A (zh) 2020-07-07
CN111382302B true CN111382302B (zh) 2023-08-11

Family

ID=71214505

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811619717.9A Active CN111382302B (zh) 2018-12-28 2018-12-28 一种基于变速模板的音频样例检索方法

Country Status (1)

Country Link
CN (1) CN111382302B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113421585A (zh) * 2021-05-10 2021-09-21 云境商务智能研究院南京有限公司 一种音频指纹库生成方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106802960A (zh) * 2017-01-19 2017-06-06 湖南大学 一种基于音频指纹的分片音频检索方法
CN107577773A (zh) * 2017-09-08 2018-01-12 科大讯飞股份有限公司 一种音频匹配方法与装置、电子设备
CN108763492A (zh) * 2018-05-29 2018-11-06 四川远鉴科技有限公司 一种音频模板提取方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4318119B2 (ja) * 2004-06-18 2009-08-19 国立大学法人京都大学 音響信号処理方法、音響信号処理装置、音響信号処理システム及びコンピュータプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106802960A (zh) * 2017-01-19 2017-06-06 湖南大学 一种基于音频指纹的分片音频检索方法
CN107577773A (zh) * 2017-09-08 2018-01-12 科大讯飞股份有限公司 一种音频匹配方法与装置、电子设备
CN108763492A (zh) * 2018-05-29 2018-11-06 四川远鉴科技有限公司 一种音频模板提取方法及装置

Also Published As

Publication number Publication date
CN111382302A (zh) 2020-07-07

Similar Documents

Publication Publication Date Title
CN1121681C (zh) 语言处理
TWI480855B (zh) 聲音訊號之特徵指紋擷取與匹配
US9208790B2 (en) Extraction and matching of characteristic fingerprints from audio signals
CN107369439B (zh) 一种语音唤醒方法和装置
CN106802960B (zh) 一种基于音频指纹的分片音频检索方法
KR20120064582A (ko) 멀티미디어 컨텐츠 검색 방법 및 장치
TWI569263B (zh) 聲頻訊號的訊號擷取方法與裝置
CN110647656B (zh) 一种利用变换域稀疏化和压缩降维的音频检索方法
CN103871424A (zh) 一种基于贝叶斯信息准则的线上说话人聚类分析方法
CN111583957B (zh) 基于五音阶乐律声谱图和级联神经网络的戏曲分类方法
CN108399913B (zh) 高鲁棒性音频指纹识别方法及系统
CN110767248B (zh) 一种抗变调干扰的音频指纹提取方法
CN111429943B (zh) 音频中音乐及音乐相对响度的联合检测方法
CN110610722B (zh) 短时能量及梅尔倒谱系数联合新型矢量量化的低复杂度危险声场景判别方法
CN111382303B (zh) 一种基于指纹权重的音频样例检索方法
CN111382302B (zh) 一种基于变速模板的音频样例检索方法
CN105741853B (zh) 一种基于共振峰频率的数字语音感知哈希方法
US7680654B2 (en) Apparatus and method for segmentation of audio data into meta patterns
CN111145761B (zh) 模型训练的方法、声纹确认的方法、系统、设备及介质
WO2018001125A1 (zh) 一种音频识别方法和装置
CN116129909A (zh) 一种基于聚类的声纹数据自动采集方法
CN112951237B (zh) 一种基于人工智能的自动语音识别方法及系统
Wang et al. Robust audio fingerprint extraction algorithm based on 2-D chroma
CN116230012B (zh) 一种基于元数据对比学习预训练的两阶段异音检测方法
Thiruvengatanadhan Music genre classification using mfcc and aann

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant