CN104091595B - 一种音频处理方法及装置 - Google Patents

一种音频处理方法及装置 Download PDF

Info

Publication number
CN104091595B
CN104091595B CN201310482804.5A CN201310482804A CN104091595B CN 104091595 B CN104091595 B CN 104091595B CN 201310482804 A CN201310482804 A CN 201310482804A CN 104091595 B CN104091595 B CN 104091595B
Authority
CN
China
Prior art keywords
frame
audio frequency
voice data
frame signal
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310482804.5A
Other languages
English (en)
Other versions
CN104091595A (zh
Inventor
赵伟峰
李深远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Kugou Computer Technology Co Ltd
Original Assignee
Guangzhou Kugou Computer Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Kugou Computer Technology Co Ltd filed Critical Guangzhou Kugou Computer Technology Co Ltd
Priority to CN201310482804.5A priority Critical patent/CN104091595B/zh
Publication of CN104091595A publication Critical patent/CN104091595A/zh
Application granted granted Critical
Publication of CN104091595B publication Critical patent/CN104091595B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Auxiliary Devices For Music (AREA)

Abstract

本发明实施例提供了一种音频处理方法及装置,其中的方法可包括:从待处理的音频文件中选取区间音频数据;构建所述区间音频数据的特征参数序列,所述特征参数序列包括能量序列和Pitch序列;根据所述区间音频数据的特征参数序列,定位所述音频文件的副歌。本发明可以对音频文件进行副歌定位,提升音频处理的智能性。

Description

一种音频处理方法及装置
技术领域
本发明涉及互联网技术领域,具体涉及音频处理技术领域,尤其涉及一种音频处理方法及装置。
背景技术
副歌,通常指音频文件(如歌曲、音乐等等)的高潮部分。以歌曲为例,一首歌曲通常采用AA’BA’Form(音乐结构),A代表主歌,而B代表副歌;也即时说,通常一首歌曲由“前奏+两段主歌+一段副歌+过门音乐+一段副歌+一段主歌+结尾音乐”按顺序连接构成。副歌定位对音频文件的分析和处理起着重要作用,因此,如何在音频文件中进行副歌定位,成为音频处理领域的一个亟待解决的重要问题。
发明内容
本发明实施例提供一种音频处理方法及装置,可以对音频文件进行副歌定位,提升音频处理的智能性。
本发明第一方面提供一种音频处理方法,可包括:
从待处理的音频文件中选取区间音频数据;
构建所述区间音频数据的特征参数序列,所述特征参数序列包括能量序列和Pitch(音高)序列;
根据所述区间音频数据的特征参数序列,定位所述音频文件的副歌。
本发明第二方面提供一种音频处理装置,可包括:
选取模块,用于从待处理的音频文件中选取区间音频数据;
构建模块,用于构建所述区间音频数据的特征参数序列,所述特征参数序列包括能量序列和Pitch序列;
定位模块,用于根据所述区间音频数据的特征参数序列,定位所述音频文件的副歌。
实施本发明实施例,具有如下有益效果:
本发明实施例可从待处理的音频文件中选取区间音频数据,构建区间音频数据的特征参数序列,以实现音频文件的副歌定位,提升了音频处理的智能性;另外,由于仅需要从音频文件中选取区间音频数据进行音频处理,可有效提升音频处理的效率,进一步提升音频处理的智能性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种音频处理方法的流程图;
图2为本发明实施例提供的图1所示的步骤S101的实施例的流程图;
图3为本发明实施例提供的图1所示的步骤S102的实施例的部分流程图;
图4为本发明实施例提供的图1所示的步骤S102的实施例的另一部分流程图;
图5为本发明实施例提供的图1所示的步骤S103的实施例的流程图;
图6为本发明实施例提供的一种音频处理装置的结构示意图;
图7为本发明实施例提供的选取模块的实施例的结构示意图;
图8为本发明实施例提供的构建模块的实施例的部分结构示意图;
图9为本发明实施例提供的构建模块的实施例的另一部分结构示意图;
图10为本发明实施例提供的预处理单元的实施例的结构示意图;
图11为本发明实施例提供的定位模块的实施例的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例中,音频文件可以包括但不限于:歌曲、歌曲片段、音乐、音乐片段、演奏乐、演奏乐片段、哼唱歌曲、哼唱歌曲片段等文件。本发明实施例的音频处理方案可以应用于互联网领域的多个场景中,例如:可以应用于对互联网音频库中的音频文件进行分析处理的场景,包括:可应用于主音查找的场景中进行副歌的快速定位和准确提取,也可应用于哼唱搜索的场景中进行副歌的快速定位和准确提取,还可应用于乐曲识别的场景中进行副歌的快速定位和准确提取等等;或者,可以应用于对互联网音频库中的音频文件进行试听的场景,包括:可提供副歌进行在线播放或音乐下载前的试听;或者,可以应用于彩铃下载或试听场景,包括:快速定位和准确提取副歌,将副歌作为彩铃提供给用户进行下载或试听,等等。
下面将结合附图1-附图5,对本发明实施例提供的音频处理方法进行详细介绍。需要说明的是,附图1-附图5所示的音频处理方法可以由本发明实施例提供的音频处理装置所执行,该音频处理装置可运行于终端设备或服务器中,其中,终端设备可包括但不限于:PC(Personal Computer,个人计算机)、PAD(平板电脑)、手机、智能手机、笔记本电脑等设备。
请参见图1,为本发明实施例提供的一种音频处理方法的流程图;该方法可包括以下步骤S101-步骤S103。
S101,从待处理的音频文件中选取区间音频数据。
本发明实施例中,区间音频数据指从音频文件中所选取的、某个时长区间范围所确定的音频数据,例如:假设音频文件的时长为T,[T/5,3T/5]的时长区间范围可确定一个区间音频数据,[T/2,T]的时长区间范围又可确定另一个区间音频数据,等等。本步骤中,可根据实际情况从音频文件中选取合理的区间音频数据,例如:根据对大量音频文件的统计数据,从音频文件中选取区间音频数据;或者根据对音频文件进行分析处理获得的实验数据,从音频文件中选取区间音频数据。
S102,构建所述区间音频数据的特征参数序列,所述特征参数序列包括能量序列和Pitch序列。
Pitch指各种不同高低的声音,即音的高度,音的基本特征的一种。一个区间音频数据可以表示为多帧音频帧信号组成的一个帧序列,该区间音频数据的每帧音频帧信号均具备能量和Pitch值。本步骤中,可以对该区间音频数据的每一帧音频帧信号进行能量计算,获得该区间音频数据的每一帧音频帧信号的能量,从而构建该区间音频数据的能量序列;可以对该区间音频数据的每一帧音频帧信号进行Pitch检测,获得该区间音频数据的每一帧音频帧信号的Pitch值,从而构建该区间音频数据的Pitch序列。
S103,根据所述区间音频数据的特征参数序列,定位所述音频文件的副歌。
副歌,通常指音频文件的高潮部分。以歌曲为例,一首歌曲通常采用AA’BA’Form,A代表主歌,而B代表副歌;也即时说,通常一首歌曲由“前奏+两段主歌+一段副歌+过门音乐+一段副歌+一段主歌+结尾音乐”按顺序连接构成。本步骤可基于所选取的区间音频数据的特征参数序列,定位音频文件的副歌。
下面将结合附图2-附图5,对图1所示的音频处理方法中的各步骤进行详细介绍。
请参见图2,为本发明实施例提供的图1所示的步骤S101的实施例的流程图;该步骤S101可包括以下步骤s1101-步骤s1103。
s1101,获取所述待处理的音频文件的时长。本实施例可假设音频文件的时长为T,即所述音频文件的时长区间为[0,T]。
s1102,按照预设的时间比范围,计算所选取的时长区间。
时间比范围可表示为[RL,RH],其中RL和RH分别代表时间占比,[RL,RH]的取值为[0,1],且RL<RH。时间比范围[RL,RH]可以根据实际情况进行设定,例如:时间比范围可根据对大量音频文件的统计数据进行设定;或者时间比范围可根据对音频文件进行分析处理获得的实验数据进行设定。假设预设的时间比范围为[1/5,3/5],即RL=1/5,RH=3/5,本步骤计算获得所选取的时长区间则为[T/5,3T/5]。
s1103,根据所述时长区间,从所述音频文件中选取区间音频数据。
参照步骤s1102所示例子,本步骤可从音频文件中选取[T/5,3T/5]这一时长区间所确定的区间音频数据。
下面将结合图3-图4,对图1所示的步骤S102进行详细介绍。需要说明的是,该步骤S102由两个构建过程组成,其中一个构建过程为“构建所述区间音频数据的能量序列”的过程,该构建过程具体可参见下述图3所示实施例的描述;另一个构建过程为“构建所述区间音频数据的Pitch序列”的过程,该构建过程具体可参见下述图4所示实施例的描述。
请参见图3,为本发明实施例提供的图1所示的步骤S102的实施例的部分流程图;该步骤S102可包括以下步骤s1201-步骤s1203。
s1201,对所述区间音频数据进行分帧处理,获得至少一帧音频帧信号。
一个区间音频数据可以表示为多帧音频帧信号组成的一个帧序列,本步骤中,假设该区间音频数据包含的任一帧音频帧信号可表示为xi(n),每帧音频帧信号的帧长为Ts,进行分帧处理可获得的音频帧信号的数量为FN。其中,i表示该区间音频数据中该帧音频帧信号的顺序,i为正整数且i=1,2,...FN-1;n为正整数且n=0,1,2,N-1,其中N为该帧音频帧信号的长度,即N为该帧音频帧信号的采样点数。
s1202,计算所述至少一帧音频帧信号中的各帧音频帧信号的能量。
本步骤可基于下述(1)所示的能量公式,计算FN帧音频帧信号中的各帧音频帧信号的能量。
上述(1)式中,Ei(n)表示音频帧信号xi(n)的能量。
s1203,按照所述至少一帧音频帧信号中的各帧音频帧信号的顺序,对所述各帧音频帧信号的能量进行排列,构建所述区间音频数据的能量序列。
所述至少一帧音频帧信号中的各帧音频帧信号的顺序,即指所述至少一帧音频帧信号中的各帧音频帧信号组成所述区间音频帧数据的帧序列时的顺序。本步骤中,按照所述至少一帧音频帧信号中的各帧音频帧信号的顺序,对所述各帧音频帧信号的能量进行排列,可构建所述区间音频数据的能量序列为Ei(n)。
请参见图4,为本发明实施例提供的图1所示的步骤S102的实施例的另一部分流程图;该S102可包括以下步骤s1211-步骤s1215。
s1211,对所述区间音频数据进行分帧处理,获得至少一帧音频帧信号。
本步骤可参见图3所示实施例中的步骤s1201,在此不赘述。
s1212,对所述至少一帧音频帧信号的各帧音频帧信号进行预处理。
本步骤对xi(n)的预处理过程可包括以下A-B两个步骤:
A、对所述各帧音频帧信号进行加窗处理。
步骤A可采用矩形窗函数据ω(n)对xi(n)进行加窗处理,加窗处理后的各帧音频帧信号可表示为如下公式(2):
xiω(n)=ω(n)*xi(n) (2)
B、对所述加窗处理后的各帧音频帧信号进行带通滤波处理。
步骤B中,采用bpf(n)表示带通滤波器,该带通滤波器的下截止频率可表示为wl,上截止频率可表示为wh。对加窗处理后的每一帧音频帧信号xiω(n)进行带通滤波处理后,可得到如下公式(3):
xiaω(n)=xiω(n)·bpf(n) (3)
上述公式(3)中,“·”表示卷积操作;优选地,wl可设置为50,wh可设置为1500。
s1213,对所述预处理后的各帧音频帧信号进行自相关计算,获得所述各帧音频帧信号的自相关函数。
本步骤中,所述预处理后的各帧音频帧信号的自相关函数(AutocorrelationFunction,ACF)Ri(k)可以采用下述公式(4)进行计算:
上述(4)式中,k为正整数且k=0,1,2,N-1。
s1214,根据所述各帧音频帧信号的自相关函数,计算所述各帧音频帧信号的Pitch值。
本步骤中,根据音频帧信号的频率特征,可以假设所述各帧音频帧信号的Pitch值均位于[pl,ph]的区间范围,其中,pl为所述各帧音频帧信号的Pitch值的下限,ph为所述各帧音频帧信号的Pitch值的上限。音频文件的采样率可表示为fs,即所述区间音频数据的采样率也为fs,采用fs可以确定检索该区间音频数据的各帧音频帧信号的位置,该位置可位于[DL,DH]的区间范围,其中,DL为该区间音频数据的每一帧音频帧信号的Pitch值的检索位置下限,DH为该区间音频数据的各帧音频帧信号的Pitch值的检索位置上限,且DL满足下述公式(5):
DL=fs/ph,DL>=wl (5)
DH满足下述公式(6):
DH=fs/pl,DH<=wh (6)
在所述区间音频数据的各帧音频帧信号的自相关函数Ri(k)中,将[DL,DH]区间范围作为检索区域,查找最大值Ti(DL<=Ti<=DH),再根据下述公式(7),即可得到所述区间音频数据的各帧音频帧信号的Pitch值pi(n),该公式(7)可表示如下:
pi(n)=fs/Ti (7)
s1215,按照所述至少一帧音频帧信号中的各帧音频帧信号的顺序,对所述各帧音频帧信号的Pitch值进行排列,构建所述区间音频数据的Pitch序列。
所述至少一帧音频帧信号中的各帧音频帧信号的顺序,即指所述至少一帧音频帧信号中的各帧音频帧信号组成所述区间音频帧数据的帧序列时的顺序。本步骤中,按照所述至少一帧音频帧信号中的各帧音频帧信号的顺序,对所述各帧音频帧信号的Pitch值进行排列,可构建所述区间音频数据的Pitch序列为pi(n)。
请参见图5,为本发明实施例提供的图1所示的步骤S103的实施例的流程图;该步骤S103可包括以下步骤s1301-步骤s1303。
s1301,分别对所述区间音频数据的能量序列和Pitch序列进行归一化处理。
按照图3-图4所示实施例的描述,所述区间音频数据的能量序列可表示为Ei(n),所述区间音频数据的Pitch序列可表示为pi(n)。本步骤可采用下述公式(8),对所述Ei(n)进行归一化处理,获得归一化后的能量序列为Emi(n),该公式(8)可表示如下:
上述公式(8)中,Emi(n)为归一化后的能量序列,(Ei(n))max为能量序列Ei(n)中的最大值。
本步骤可采用下述公式(9),对所述pi(n)进行归一化处理,获得归一化后的Pitch序列为Pmi(n),该公式(9)可表示如下:
上述公式(9)中,Pmi(n)为归一化后的Pitch序列,(pi(n))max为Pitch序列pi(n)中的最大值。
s1302,根据所述归一化后的能量序列、所述归一化后的Pitch序列以及预设的副歌时长,计算副歌在所述区间音频数据中的位置。
本步骤的计算过程具体可包括以下步骤C-H:
C、计算Emi(n)序列和Pmi(n)序列的和,获得Si(n)序列,该Si(n)序列可表示如下公式(10)所示:
Si(n)=Emi(n)+Pmi(n) (10)
D、假设副歌时长为T',需要说明的是,副歌时长可以根据用户的实际需要进行设定,例如可以为10s,20s等等。由于该区间音频数据包含的任一帧音频帧信号xi(n)的帧长为Ts,步骤D则可计算获得副歌时长相对于每帧音频帧信号的比值L,该L可表示如下公式(11)所示:
L=T'/Ts (11)
E、对Si(n)序列进行均值滤波处理,获得Smi(n)序列。需要说明的是,步骤E对Si(n)序列进行均值滤波处理时,所采用的阶数tap为可表示为下述公式(12)。
tap=(L-1)/2 (12)
F、查找Smi(n)序列中的最大值,并获取该最大值对应的n的取值,假设此时n的取值为IND。
G、确定副歌在所述区间音频数据中的帧起止位置,其中,帧起始位置str可表示如下公式(13)所示:
str=IND-tap (13)
其中,帧终止位置end可表示如下公式(14)所示:
end=IND+tap (14)
H、确定副歌在所述区间音频数据中的时间起止位置,其中,副歌在所述区间音频数据中的时间起始位置tstr可表示如下公式(15)所示:
tstr=str*Ts (15)
其中,所述副歌在所述区间音频数据中的时间终止位置tend可表示如下公式(16)所示:
tend=end*Ts (16)
s1303,根据所述副歌在所述区间音频数据中的位置,在所述音频文件中定位所述副歌。
本步骤中,根据所述副歌在所述区间音频数据中的时间起止位置,可在所述音频文件中定位所述副歌的时间起止位置,其中,副歌在所述音频文件中的时间起始位置Tstr可表示如下公式(17)所示:
Tstr=RL*T+tstr (17)
其中,副歌在所述音频文件中的时间终端位置Tend可表示如下公式(18)所示:
Tend=RH*T+tend (18)
上述(17)和(18)中,RL和RH分别为预设的时间比范围[RL,RH]的两个端点值,T为所述音频文件的时长。
通过上述附图1-附图5所示实施例的描述,本发明实施例可从待处理的音频文件中选取区间音频数据,构建区间音频数据的特征参数序列,以实现音频文件的副歌定位,提升了音频处理的智能性;另外,由于仅需要从音频文件中选取区间音频数据进行音频处理,可有效提升音频处理的效率,进一步提升音频处理的智能性。
下面将结合附图6-附图11,对本发明实施例提供的音频处理装置进行详细介绍。需要说明的是,附图6-附图11所示的音频处理装置可运行于终端设备或服务器中,用于执行附图1-附图5所示的音频处理方法。其中,终端设备可包括但不限于:PC、PAD、手机、智能手机、笔记本电脑等设备。
请参见图6,为本发明实施例提供的一种音频处理装置的结构示意图;该装置可包括:选取模块101、构建模块102和定位模块103。
选取模块101,用于从待处理的音频文件中选取区间音频数据。
本发明实施例中,区间音频数据指从音频文件中所选取的、某个时长区间范围所确定的音频数据,例如:假设音频文件的时长为T,[T/5,3T/5]的时长区间范围可确定一个区间音频数据,[T/2,T]的时长区间范围又可确定另一个区间音频数据,等等。所述选取模块101可根据实际情况从音频文件中选取合理的区间音频数据,例如:根据对大量音频文件的统计数据,从音频文件中选取区间音频数据;或者根据对音频文件进行分析处理获得的实验数据,从音频文件中选取区间音频数据。
构建模块102,用于构建所述区间音频数据的特征参数序列,所述特征参数序列包括能量序列和Pitch序列。
Pitch指各种不同高低的声音,即音的高度,音的基本特征的一种。一个区间音频数据可以表示为多帧音频帧信号组成的一个帧序列,该区间音频数据的每帧音频帧信号均具备能量和Pitch值。所述构建模块102可以对该区间音频数据的每一帧音频帧信号进行能量计算,获得该区间音频数据的每一帧音频帧信号的能量,从而构建该区间音频数据的能量序列;所述构建模块102可以对该区间音频数据的每一帧音频帧信号进行Pitch检测,获得该区间音频数据的每一帧音频帧信号的Pitch值,从而构建该区间音频数据的Pitch序列。
定位模块103,用于根据所述区间音频数据的特征参数序列,定位所述音频文件的副歌。
副歌,通常指音频文件的高潮部分。以歌曲为例,一首歌曲通常采用AA’BA’Form,A代表主歌,而B代表副歌;也即时说,通常一首歌曲由“前奏+两段主歌+一段副歌+过门音乐+一段副歌+一段主歌+结尾音乐”按顺序连接构成。所述定位模块103可基于所选取的区间音频数据的特征参数序列,定位音频文件的副歌。
下面将结合附图7-附图11,对图6所示的音频处理装置的各模块进行详细介绍。
请参见图7,为本发明实施例提供的选取模块的实施例的结构示意图;该选取模块101可包括:时长获取单元1101、区间计算单元1102和选取单元1103。
时长获取单元1101,用于获取所述待处理的音频文件的时长。本实施例可假设音频文件的时长为T,即所述音频文件的时长区间为[0,T]。
区间计算单元1102,用于按照预设的时间比范围,计算所选取的时长区间。
时间比范围可表示为[RL,RH],其中RL和RH分别代表时间占比,[RL,RH]的取值为[0,1],且RL<RH。时间比范围[RL,RH]可以根据实际情况进行设定,例如:时间比范围可根据对大量音频文件的统计数据进行设定;或者时间比范围可根据对音频文件进行分析处理获得的实验数据进行设定。假设预设的时间比范围为[1/5,3/5],即RL=1/5,RH=3/5,所述区间计算单元1102计算获得所选取的时长区间则为[T/5,3T/5]。
选取单元1103,用于根据所述时长区间,从所述音频文件中选取区间音频数据。
参照本实施例所示例子,所述选取单元1103可从音频文件中选取[T/5,3T/5]这一时长区间所确定的区间音频数据。
下面将结合图8-图10,对图7所示的构建模块102的结构和功能进行详细介绍。需要说明的是,该构建模块102可实现两个构建过程,其中一个构建过程为“构建所述区间音频数据的能量序列”的过程,实现该构建过程时该构建模块102的结构具体可参见下述图8所示实施例的描述;另一个构建过程为“构建所述区间音频数据的Pitch序列”的过程,实现该构建过程时该构建模块102的结构具体可参见下述图9-图10所示实施例的描述。
请参见图8,为本发明实施例提供的构建模块的实施例的部分结构示意图;该构建模块102可包括:分帧处理单元1201、能量计算单元1202和能量序列构建单元1203。
分帧处理单元1201,用于对所述区间音频数据进行分帧处理,获得至少一帧音频帧信号。
一个区间音频数据可以表示为多帧音频帧信号组成的一个帧序列,假设该区间音频数据包含的任一帧音频帧信号可表示为xi(n),每帧音频帧信号的帧长为Ts,所述分帧处理单元1201进行分帧处理可获得的音频帧信号的数量为FN。其中,i表示该区间音频数据中该帧音频帧信号的顺序,i为正整数且i=1,2,...FN-1;n为正整数且n=0,1,2,N-1,其中N为该帧音频帧信号的长度,即N为该帧音频帧信号的采样点数。
能量计算单元1202,用于计算所述至少一帧音频帧信号中的各帧音频帧信号的能量。
所述能量计算单元1202可采用图3所示实施例中的公式(1)所示的能量公式,计算FN帧音频帧信号中的各帧音频帧信号的能量Ei(n)。
能量序列构建单元1203,用于按照所述至少一帧音频帧信号中的各帧音频帧信号的顺序,对所述各帧音频帧信号的能量进行排列,构建所述区间音频数据的能量序列。
所述至少一帧音频帧信号中的各帧音频帧信号的顺序,即指所述至少一帧音频帧信号中的各帧音频帧信号组成所述区间音频帧数据的帧序列时的顺序。所述能量序列构建单元1203按照所述至少一帧音频帧信号中的各帧音频帧信号的顺序,对所述各帧音频帧信号的能量进行排列,可构建所述区间音频数据的能量序列为Ei(n)。
请参见图9,为本发明实施例提供的构建模块的实施例的另一部分结构示意图;该构建模块102可包括:分帧处理单元1201、预处理单元1204、自相关计算单元1205、音高计算单元1206和音高序列构建单元1207。其中,分帧处理单元1201可参见图8所示实施例的相关描述,在此不赘述。
预处理单元1204,用于对所述至少一帧音频帧信号的各帧音频帧信号进行预处理。
实际应用中,请一并参见图10,为本发明实施例提供的预处理单元的实施例的结构示意图;该预处理单元1204可包括:加窗处理子单元1241和滤波处理子单元1242。
加窗处理子单元1241,用于对所述各帧音频帧信号进行加窗处理。
所述加窗处理子单元1241可采用矩形窗函数据ω(n)对xi(n)进行加窗处理,加窗处理后的各帧音频帧信号可表示为图4所示实施例中的公式(2)。
滤波处理子单元1242,用于对所述加窗处理后的各帧音频帧信号进行带通滤波处理。
其中,可采用bpf(n)表示带通滤波器,该带通滤波器的下截止频率可表示为wl,上截止频率可表示为wh。所述滤波处理子单元1242对加窗处理后的每一帧音频帧信号xiω(n)进行带通滤波处理后,可获得图4所示实施例中的公式(3)。
自相关计算单元1205,用于对所述预处理后的各帧音频帧信号进行自相关计算,获得所述各帧音频帧信号的自相关函数。
所述自相关计算单元1205可以采用图4所示实施例中的公式(4)计算算得到所述预处理后的各帧音频帧信号的自相关函数Ri(k)。
音高计算单元1206,用于根据所述各帧音频帧信号的自相关函数,计算所述各帧音频帧信号的Pitch值。
根据音频帧信号的频率特征,可以假设所述各帧音频帧信号的Pitch值均位于[pl,ph]的区间范围,其中,pl为所述各帧音频帧信号的Pitch值的下限,ph为所述各帧音频帧信号的Pitch值的上限。音频文件的采样率可表示为fs,即所述区间音频数据的采样率也为fs,采用fs可以确定检索该区间音频数据的各帧音频帧信号的位置,该位置可位于[DL,DH]的区间范围,其中,DL为该区间音频数据的每一帧音频帧信号的Pitch值的检索位置下限,DH为该区间音频数据的各帧音频帧信号的Pitch值的检索位置上限,且DL满足图4所示实施例中的公式(5),DH满足图4所示实施例中的公式(6)。
所述音高计算单元1206可在所述区间音频数据的各帧音频帧信号的自相关函数Ri(k)中,将[DL,DH]区间范围作为检索区域,查找最大值Ti(DL<=Ti<=DH),再根据图4所示实施例中的公式(7),即可得到所述区间音频数据的各帧音频帧信号的Pitch值pi(n)。
音高序列构建单元1207,用于按照所述至少一帧音频帧信号中的各帧音频帧信号的顺序,对所述各帧音频帧信号的Pitch值进行排列,构建所述区间音频数据的Pitch序列。
所述至少一帧音频帧信号中的各帧音频帧信号的顺序,即指所述至少一帧音频帧信号中的各帧音频帧信号组成所述区间音频帧数据的帧序列时的顺序。所述音高序列构建单元1207按照所述至少一帧音频帧信号中的各帧音频帧信号的顺序,对所述各帧音频帧信号的Pitch值进行排列,可构建所述区间音频数据的Pitch序列为pi(n)。
请参见图11,为本发明实施例提供的定位模块的实施例的结构示意图;该定位模块103可包括:归一化处理单元1301、位置计算单元1302和定位单元1303。
归一化处理单元1301,用于分别对所述区间音频数据的能量序列和频谱滚降序列进行归一化处理。
按照图8-图10所示实施例的描述,所述区间音频数据的能量序列可表示为Ei(n),所述区间音频数据的Pitch序列可表示为pi(n)。所述归一化处理单元1301可采用图5所示实施例中的公式(8),对所述Ei(n)进行归一化处理,获得归一化后的能量序列为Emi(n);所述归一化处理单元1301可采用图5所示实施例中的公式(9),对所述pi(n)进行归一化处理,获得归一化后的Pitch序列为Pmi(n)。
位置计算单元1302,用于根据所述归一化后的能量序列、所述归一化后的频谱滚降序列以及预设的副歌时长,计算副歌在所述区间音频数据中的位置。
所述位置计算单元1302的计算过程具体可包括以下步骤C’-H’:
C’、计算Emi(n)序列和Pmi(n)序列的和,获得Si(n)序列,该Si(n)序列可表示为图5所示实施例中的公式(10)。
D’、假设副歌时长为T',需要说明的是,副歌时长可以根据用户的实际需要进行设定,例如可以为10s,20s等等。由于该区间音频数据包含的任一帧音频帧信号xi(n)的帧长为Ts,则可计算获得副歌时长相对于每帧音频帧信号的比值L,该L可表示为图5所示实施例中的公式(11)。
E’、对Si(n)序列进行均值滤波处理,获得Smi(n)序列。需要说明的是,对Si(n)序列进行均值滤波处理时,所采用的阶数tap为可表示为图5所示实施例中的公式(12)。
F’、查找Smi(n)序列中的最大值,并获取该最大值对应的n的取值,假设此时n的取值为IND。
G’、确定副歌在所述区间音频数据中的帧起止位置,其中,帧起始位置str可表示为图5所示实施例中的公式(13),帧终止位置end可表示为图5所示实施例中的公式(14)。
H’、确定副歌在所述区间音频数据中的时间起止位置,其中,副歌在所述区间音频数据中的时间起始位置tstr可表示为图5所示实施例中的公式(15),所述副歌在所述区间音频数据中的时间终止位置tend可表示为图5所示实施例中的公式(16)。
定位单元1303,用于根据所述副歌在所述区间音频数据中的位置,在所述音频文件中定位所述副歌。
所述定位单元1303根据所述副歌在所述区间音频数据中的时间起止位置,可在所述音频文件中定位所述副歌的时间起止位置,其中,副歌在所述音频文件中的时间起始位置Tstr可表示为图5所示实施例中的公式(17),副歌在所述音频文件中的时间终端位置Tend可表示为图5所示实施例中的公式(18)。
通过上述附图6-附图11所示实施例的描述,本发明实施例可从待处理的音频文件中选取区间音频数据,构建区间音频数据的特征参数序列,以实现音频文件的副歌定位,提升了音频处理的智能性;另外,由于仅需要从音频文件中选取区间音频数据进行音频处理,可有效提升音频处理的效率,进一步提升音频处理的智能性。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,附图6-附图11所示音频处理装置的模块或单元对应的程序可存储在终端设备或服务器的可读存储介质内,并被该终端设备或服务器中的至少一个处理器执行,以实现上述音频处理方法,该方法包括图1至图5中各方法实施例所述的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random AccessMemory,RAM)等。
以上所揭露的仅为本发明较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。

Claims (10)

1.一种音频处理方法,其特征在于,包括:
从待处理的音频文件中选取区间音频数据;
构建所述区间音频数据的特征参数序列,所述特征参数序列包括能量序列和音高Pitch序列,其中,所述能量序列由所述区间音频数据的每一帧音频帧信号的能量排列而成,所述Pitch序列是由所述区间音频数据的每一帧音频帧信号的Pitch值排列而成;
分别对所述区间音频数据的能量序列和Pitch序列进行归一化处理;
根据所述归一化后的能量序列、所述归一化后的Pitch序列以及预设的副歌时长,计算副歌在所述区间音频数据中的位置;
根据所述副歌在所述区间音频数据中的位置,在所述音频文件中定位所述副歌。
2.如权利要求1所述的方法,其特征在于,所述从待处理的音频文件中选取区间音频数据,包括:
获取所述待处理的音频文件的时长;
按照预设的时间比范围,计算所选取的时长区间;
根据所述时长区间,从所述音频文件中选取区间音频数据。
3.如权利要求2所述的方法,其特征在于,所述构建所述区间音频数据的特征参数序列,包括:
对所述区间音频数据进行分帧处理,获得至少一帧音频帧信号;
计算所述至少一帧音频帧信号中的各帧音频帧信号的能量;
按照所述至少一帧音频帧信号中的各帧音频帧信号的顺序,对所述各帧音频帧信号的能量进行排列,构建所述区间音频数据的能量序列。
4.如权利要求3所述的方法,其特征在于,所述构建所述区间音频数据的特征参数序列,还包括:
对所述至少一帧音频帧信号的各帧音频帧信号进行预处理;
对所述预处理后的各帧音频帧信号进行自相关计算,获得所述各帧音频帧信号的自相关函数;
根据所述各帧音频帧信号的自相关函数,计算所述各帧音频帧信号的Pitch值;
按照所述至少一帧音频帧信号中的各帧音频帧信号的顺序,对所述各帧音频帧信号的Pitch值进行排列,构建所述区间音频数据的Pitch序列。
5.如权利要求4所述的方法,其特征在于,所述对所述至少一帧音频帧信号的各帧音频帧信号进行预处理,包括:
对所述各帧音频帧信号进行加窗处理;
对所述加窗处理后的各帧音频帧信号进行带通滤波处理。
6.一种音频处理装置,其特征在于,包括:
选取模块,用于从待处理的音频文件中选取区间音频数据;
构建模块,用于构建所述区间音频数据的特征参数序列,所述特征参数序列包括能量序列和音高Pitch序列,其中,所述能量序列由所述区间音频数据的每一帧音频帧信号的能量排列而成,所述Pitch序列是由所述区间音频数据的每一帧音频帧信号的Pitch值排列而成;
定位模块,用于根据所述区间音频数据的特征参数序列,定位所述音频文件的副歌;
其中,所述定位模块包括:
归一化处理单元,用于分别对所述区间音频数据的能量序列和Pitch序列进行归一化处理;
位置计算单元,用于根据所述归一化后的能量序列、所述归一化后的Pitch序列以及预设的副歌时长,计算副歌在所述区间音频数据中的位置;
定位单元,用于根据所述副歌在所述区间音频数据中的位置,在所述音频文件中定位所述副歌。
7.如权利要求6所述的装置,其特征在于,所述选取模块包括:
时长获取单元,用于获取所述待处理的音频文件的时长;
区间计算单元,用于按照预设的时间比范围,计算所选取的时长区间;
选取单元,用于根据所述时长区间,从所述音频文件中选取区间音频数据。
8.如权利要求7所述的装置,其特征在于,所述构建模块包括:
分帧处理单元,用于对所述区间音频数据进行分帧处理,获得至少一帧音频帧信号;
能量计算单元,用于计算所述至少一帧音频帧信号中的各帧音频帧信号的能量;
能量序列构建单元,用于按照所述至少一帧音频帧信号中的各帧音频帧信号的顺序,对所述各帧音频帧信号的能量进行排列,构建所述区间音频数据的能量序列。
9.如权利要求8所述的装置,其特征在于,所述构建模块还包括:
预处理单元,用于对所述至少一帧音频帧信号的各帧音频帧信号进行预处理;
自相关计算单元,用于对所述预处理后的各帧音频帧信号进行自相关计算,获得所述各帧音频帧信号的自相关函数;
音高计算单元,用于根据所述各帧音频帧信号的自相关函数,计算所述各帧音频帧信号的Pitch值;
音高序列构建单元,用于按照所述至少一帧音频帧信号中的各帧音频帧信号的顺序,对所述各帧音频帧信号的Pitch值进行排列,构建所述区间音频数据的Pitch序列。
10.如权利要求9所述的装置,其特征在于,所述预处理单元包括:
加窗处理子单元,用于对所述各帧音频帧信号进行加窗处理;
滤波处理子单元,用于对所述加窗处理后的各帧音频帧信号进行带通滤波处理。
CN201310482804.5A 2013-10-15 2013-10-15 一种音频处理方法及装置 Active CN104091595B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310482804.5A CN104091595B (zh) 2013-10-15 2013-10-15 一种音频处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310482804.5A CN104091595B (zh) 2013-10-15 2013-10-15 一种音频处理方法及装置

Publications (2)

Publication Number Publication Date
CN104091595A CN104091595A (zh) 2014-10-08
CN104091595B true CN104091595B (zh) 2017-02-15

Family

ID=51639305

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310482804.5A Active CN104091595B (zh) 2013-10-15 2013-10-15 一种音频处理方法及装置

Country Status (1)

Country Link
CN (1) CN104091595B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104599681B (zh) * 2014-12-31 2017-08-01 广州酷狗计算机科技有限公司 音频处理的方法和装置
CN106782601B (zh) * 2016-12-01 2019-12-13 腾讯音乐娱乐(深圳)有限公司 一种多媒体数据处理方法及其装置
CN108962286B (zh) * 2018-10-15 2020-12-01 腾讯音乐娱乐科技(深圳)有限公司 音频识别方法、装置及存储介质
CN111243618B (zh) * 2018-11-28 2024-03-19 阿里巴巴集团控股有限公司 用于确定音频中的特定人声片段的方法、装置和电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102568454A (zh) * 2011-12-13 2012-07-11 北京百度网讯科技有限公司 一种分析音乐bpm的方法和装置
CN102568457A (zh) * 2011-12-23 2012-07-11 深圳市万兴软件有限公司 一种基于哼唱输入的乐曲合成方法及装置
CN102754159A (zh) * 2009-10-19 2012-10-24 杜比国际公司 指示音频对象的部分的元数据时间标记信息
CN102903357A (zh) * 2011-07-29 2013-01-30 华为技术有限公司 一种提取歌曲副歌的方法、装置和系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101796580B1 (ko) * 2011-11-28 2017-11-14 한국전자통신연구원 음악 하이라이트 구간 추출 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102754159A (zh) * 2009-10-19 2012-10-24 杜比国际公司 指示音频对象的部分的元数据时间标记信息
CN102903357A (zh) * 2011-07-29 2013-01-30 华为技术有限公司 一种提取歌曲副歌的方法、装置和系统
CN102568454A (zh) * 2011-12-13 2012-07-11 北京百度网讯科技有限公司 一种分析音乐bpm的方法和装置
CN102568457A (zh) * 2011-12-23 2012-07-11 深圳市万兴软件有限公司 一种基于哼唱输入的乐曲合成方法及装置

Also Published As

Publication number Publication date
CN104091595A (zh) 2014-10-08

Similar Documents

Publication Publication Date Title
CN104091595B (zh) 一种音频处理方法及装置
CN104620313B (zh) 音频信号分析
CN103971689B (zh) 一种音频识别方法及装置
CN104091591B (zh) 一种音频处理方法及装置
CN104464726B (zh) 一种相似音频的确定方法及装置
CN104282322B (zh) 一种移动终端及其识别歌曲高潮部分的方法和装置
CN103885987B (zh) 一种音乐推荐方法和系统
CN103347070B (zh) 推送语音数据的方法、终端、服务器及系统
CN105404642B (zh) 一种音频播放方法及用户终端
CN106708990A (zh) 一种音乐片段提取方法和设备
CN104599663A (zh) 歌曲伴奏音频数据处理方法和装置
CN108021635A (zh) 一种音频相似度的确定方法、装置和存储介质
CN104978961B (zh) 一种音频处理方法、装置及终端
CN109920446A (zh) 一种音频数据处理方法、装置及计算机存储介质
CN111640411A (zh) 音频合成方法、装置及计算机可读存储介质
CN108469633B (zh) 一种地层品质因子的计算方法及装置
CN103903625A (zh) 音频的混音方法和装置
Kamaladas et al. Fingerprint extraction of audio signal using wavelet transform
CN105047202B (zh) 一种音频处理方法、装置及终端
CN110136735A (zh) 一种音频修复方法、设备及可读存储介质
CN106782601A (zh) 一种多媒体数据处理方法及其装置
Loweimi et al. Source-filter separation of speech signal in the phase domain
CN108597527A (zh) 多声道音频处理方法、装置、计算机可读存储介质和终端
US10283129B1 (en) Audio matching using time-frequency onsets
CN103390403A (zh) Mfcc特征的提取方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20161124

Address after: 510000 Guangzhou, Tianhe District branch Yun Yun Road, No. 16, self built room 2, building 1301

Applicant after: Guangzhou KuGou Networks Co., Ltd.

Address before: Shenzhen Futian District City, Guangdong province 518000 Zhenxing Road, SEG Science Park 2 East Room 403

Applicant before: Tencent Technology (Shenzhen) Co., Ltd.

C14 Grant of patent or utility model
GR01 Patent grant
CP02 Change in the address of a patent holder
CP02 Change in the address of a patent holder

Address after: No. 315, Huangpu Avenue middle, Tianhe District, Guangzhou City, Guangdong Province

Patentee after: GUANGZHOU KUGOU COMPUTER TECHNOLOGY Co.,Ltd.

Address before: 510000 room 1301, building 2, No.16 Keyun Road, Tianhe District, Guangzhou City, Guangdong Province

Patentee before: GUANGZHOU KUGOU COMPUTER TECHNOLOGY Co.,Ltd.