CN104053120A - 一种立体声音频的处理方法和装置 - Google Patents

一种立体声音频的处理方法和装置 Download PDF

Info

Publication number
CN104053120A
CN104053120A CN201410263446.3A CN201410263446A CN104053120A CN 104053120 A CN104053120 A CN 104053120A CN 201410263446 A CN201410263446 A CN 201410263446A CN 104053120 A CN104053120 A CN 104053120A
Authority
CN
China
Prior art keywords
frequency
channel
fft
region signal
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410263446.3A
Other languages
English (en)
Other versions
CN104053120B (zh
Inventor
王子亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian Star Net eVideo Information Systems Co Ltd
Original Assignee
Fujian Star Net eVideo Information Systems Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian Star Net eVideo Information Systems Co Ltd filed Critical Fujian Star Net eVideo Information Systems Co Ltd
Priority to CN201410263446.3A priority Critical patent/CN104053120B/zh
Publication of CN104053120A publication Critical patent/CN104053120A/zh
Application granted granted Critical
Publication of CN104053120B publication Critical patent/CN104053120B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Stereophonic System (AREA)

Abstract

本发明披露了一种立体声音频的处理方法，包括步骤：分别将左声道和右声道的时域信号变换为频域信号；计算左声道频域信号与右声道频域信号相应频点对的幅度比值，将幅度比值在预设范围内的频点列为待衰减的频点，和/或计算左声道频域信号与右声道频域信号相应频点对的相位差值，将相位差值在预设范围内的频点列为待衰减的频点；对待衰减的频点进行衰减；将经上述衰减处理的频域信号逆变换为时域信号。本发明还披露了实现该方法的一种装置；利用左右声道之间伴奏与人声的特定差异性，对伴奏进行抑制，从而增强人声，或对人声进行抑制从而提取伴奏。所得到的处理结果能够为对歌曲中人声或伴奏信息的分析奠定良好的基础。

Description

一种立体声音频的处理方法和装置
技术领域
本发明涉及音频处理领域，更具体地涉及一种立体声音频的处理方法和装置。
背景技术
从立体声中将人声和伴奏分离的技术在音频处理领域有重要而广泛的应用，例如歌词的自动识别和校正，就需要以先期的人声分离作为基础来进行。歌词自动识别通常要求输入处理系统的是单独的人声，有伴奏干扰的情况下很难完成，但因为大多数歌曲都同时包含歌声与乐器伴奏，直接进行是不实际的。
现有技术中涉及从歌曲中提取伴奏、提取人声或分离伴奏和人声的方法往往利用的是多数立体声歌曲中人声在左右两个声道中基本相同的特点，例如，采用将两个声道中的信号直接对减的方法来消除人声。从歌曲中提取人声的研究还相对较少。其中，利用立体声歌曲左右声道信号之间的相关性来提取人声或伴奏是立体声音频研究的一个重要方向。
一种现有的基于立体声相关声道提取人声的技术是对左右声道相应频点对的均值信号加权人声增益，人声增益与当前频点对的归一化互相关值成正比例取值；将加权人声增益后的左声道和右声道的均值信号由频域转换为时域提取出人声。该方法仅仅利用互相关这一特性来区分伴奏与人声，虽然可以一定程度地抑制伴奏，但结果会残余伴奏。
因此，如何较大程度地抑制伴奏或人声部分，成为本领域人员迫切解决的一个技术问题。
发明内容
为此，需要提供一种准确有效地提取音场中不同区域的音频信号的方法和技术。
为实现上述目的，发明人提供的技术方案如下：
一种立体声音频的处理方法，包括步骤：
分别将左声道和右声道的时域信号变换为频域信号；
利用变换得到的频域信号计算左声道频域信号与右声道频域信号相应频点对的幅度比值，将幅度比值在预设范围内的频点列为待衰减的频点；
对待衰减的频点进行衰减处理；
将处理后的频域信号逆变换为时域信号。
进一步地，所述的立体声音频的处理方法还包括步骤：利用变换得到的频域信号计算左声道频域信号与右声道频域信号相应频点对的相位差，将相位差差值在预设范围内的频点也列为待衰减的频点。
发明人还提供了另一种立体声音频的处理方法，包括步骤：
分别将左声道和右声道的时域信号变换为频域信号；
利用变换得到的频域信号计算左声道频域信号与右声道频域信号相应频点对的相位差，将相位差差值在预设范围内的频点列为待衰减的频点。对待衰减的频点进行衰减处理；
再将处理后的频域信号逆变换为时域信号。
进一步地，所述的立体声音频的处理方法还包括步骤：利用变换得到的频域信号计算左声道频域信号与右声道频域信号相应频点对的幅度比值，将幅度比值在预设范围内的频点也列为待衰减的频点；
在应用上述方法的各实施例中，当只选择一个条件(幅度比值或相位差)时，可以遍历所有频点，当满足该条件时，直接对该频点进行衰减处理；当选择多个条件(幅度比值与相位差)时，可以先筛选出所有符合条件的频点，然后一并对这些频点进行衰减处理，比如，先按不同的条件筛选出各自的频点集合，然后将这些集合取并集，从而得到所有待衰减的点；再比如，先以某个条件筛选出符合条件的频点集合，然后以其他条件筛选，如果有新的符合条件的频点，再加入之前那个频点集合，从而得到所有待衰减的点。
进一步地，所述的立体声音频的处理方法中，所述左声道频域信号与右声道频域信号相应频点对的幅度比值计算公式如下：kn(i)＝abs(fft_frameRn(i))/abs(fft_framLn(i))*(2/π)；其中fft_frameRn(i)与fft_framLn(i)分别表示右声道与左声道的频谱；
公式中n＝0,1,2,…,N-1；N表示帧数；
i＝0,1,2,…,FN/2；FN表示傅里叶变换的点数。
并将幅度比值在预设范围内的频点列为待衰减的频点。
进一步地，所述的立体声音频的处理方法中，计算左右声道相应频点对的相位差的公式为：
pn(i)＝angel(fft_frameLn(i))-angel(fft_frameRn(i))；其中fft_frameRn(i)与fft_framLn(i)分别表示右声道与左声道的频谱；
公式中n＝0,1,2,…,N-1；N表示帧数；
i＝0,1,2,…,FN/2；FN表示傅里叶变换的点数。
并将相位差差值在预设范围内的频点也列为待衰减的频点。
进一步地，所述的立体声音频的处理方法中，对待衰减的频点作衰减处理公式为：fft_frameRn(i)＝0或fft_frameLn(i)＝0；公式中，i为待衰减的频点。
进一步地，所述的立体声音频的处理方法中，在步骤“分别将左声道和右声道的时域信号变换为频域信号”之前还包括步骤：
对左声道和右声道的时域信号进行归一化处理；
将左声道和右声道的时域信号分别划分为若干帧，每帧包括预设数量的声音采样点，并且相邻帧之间有预设数量的重合采样点。
进一步地，所述的立体声音频的处理方法中，在步骤“将左声道和右声道的时域信号分别划分为若干帧”之后以及步骤“分别将左声道和右声道的时域信号变换为频域信号”之前还包括步骤：
对每帧进行加汉宁窗滤波处理。
一种立体声音频的处理装置，包括变换单元、计算单元、抑制单元以及逆变换单元；
所述变换单元用于将左声道和右声道的时域信号变换为频域信号；
所述计算单元用于计算左声道频域信号与右声道频域信号相应频点对的幅度比值，将幅度比值在预设范围内的频点列为待衰减的频点；或用于计算左声道频域信号与右声道频域信号相应频点对的相位差，将相位差差值在预设范围内的频点列为待衰减的频点；
所述抑制单元用于对待衰减的频点进行衰减处理；
所述逆变换单元用于将频域信号逆变换为时域信号。
进一步地，所述的立体声音频的处理装置中，计算单元既用于计算左声道频域信号与右声道频域信号相应频点对的幅度比值，将幅度比值在预设范围内的频点列为待衰减的频点，也用于计算左声道频域信号与右声道频域信号相应频点对的相位差，将相位差差值在预设范围内的频点也列为待衰减的频点。
进一步地，所述的立体声音频的处理装置中，计算单元计算所述左声道频域信号与右声道频域信号相应频点对的幅度比值计算公式如下：kn(i)＝abs(fft_frameRn(i))/abs(fft_framLn(i))*(2/π)；
公式中n＝0,1,2,…,N-1；N表示帧数；
i＝0,1,2,…,FN/2；FN表示傅里叶变换的点数；
进一步地，所述的立体声音频的处理装置中，计算单元计算左右声道相应频点对的相位差的公式为：
pn(i)＝angel(fft_frameLn(i))-angel(fft_frameRn(i))；
公式中n＝0,1,2,…,N-1；N表示帧数；
i＝0,1,2,…,FN/2；FN表示傅里叶变换的点数；
进一步地，所述的立体声音频的处理装置中，抑制单元对待衰减的频点进行衰减处理，公式为：fft_frameRn(i)＝0或fft_frameLn(i)＝0；公式中，i表示待衰减的频点。
进一步地，所述的立体声音频的处理装置还包括归一化单元和分帧单元；
所述归一化单元用于对左声道和右声道的时域信号进行归一化处理；
所述分帧单元用于将左声道和右声道的时域信号分别划分为若干帧，每帧包括预设数量的声音采样点，并且相邻帧之间有预设数量的重合采样点；
进一步地，所述的立体声音频的处理装置还包括滤波单元，用于对每帧进行加汉宁窗滤波处理。
本发明利用左右声道之间伴奏与人声的特定差异性，对伴奏(人声)进行抑制，从而提取人声(伴奏)，所得到的处理结果能够为对歌曲中人声(伴奏)信息的分析奠定良好的基础。
附图说明
图1为本发明第一实施方式所述立体声音频的处理方法的流程图；
图2为立体声歌曲《wonderful world》的时域波形；
图3为立体声歌曲《wonderful world》经本发明第一实施方式所述立体声音频的处理方法提取人声所得时域波形；
图4为立体声歌曲《wonderful world》经本发明第二实施方式所述立体声音频的处理方法提取人声所得时域波形；
图5为立体声歌曲《wonderful world》经本发明第三实施方式所述立体声音频的处理方法提取人声所得时域波形；
图6为立体声歌曲《wonderful world》经本发明第四实施方式所述立体声音频的处理方法提取伴奏所得时域波形；
图7为本发明第三实施方式中一种立体声音频的处理装置的功能模块示意图。
附图标记说明：
1-变换单元
2-计算单元
3-抑制单元
4-逆变换单元
5-归一化单元
6-分帧单元
7-滤波单元
具体实施方式
为详细说明本发明的技术内容、构造特征、所实现目的及效果，以下结合实施方式并配合附图详予说明。
请参阅图1，为本发明第一实施方式中一种立体声音频的处理方法的流程图；所述方法包括步骤：
S1、对左声道和右声道的时域信号进行归一化处理；
S2、将经归一化处理的左声道和右声道的时域信号分别划分为若干帧，每帧包括预设数量的声音采样点，并且相邻帧之间有预设数量的重合采样点；
S3、对每帧进行加汉宁窗滤波处理；
S4、将经滤波处理后的每帧时域信号变换为频域信号；
S5、计算左声道频域信号与右声道频域信号相应频点对的幅度比值，对幅度比值在预设范围内的频点列为待衰减的频点，并将待衰减的频点进行衰减处理；
S6、将经衰减处理的频域信号逆变换为时域信号；
S7、连接经逆变换的每帧时域信号。
以下以一具体案例对本方法流程进行详细阐述：
对一首立体声歌曲音频进行处理，首先分别对该立体声歌曲音频的左声道和右声道信号进行归一化处理，所述归一化处理的方式是找出信号绝对值的最大值，将原信号除以该最大值，处理结果是使信号的正负幅值位于-1与+1之间。
随后，分别将归一化后的左声道信号和右声道信号划分为N个帧，每帧包括8192个声音采样点，并且相邻帧之间有2048个重合的采样点。这样的划分方式目的是使帧与帧之间具有平滑过渡的效果。
接下来，对划分后的每个帧进行加汉宁窗滤波处理。本步骤的加汉宁窗滤波处理能够有效减少后续时域到频域的变换过程中可能造成的频谱泄露。
然后，对经加窗滤波处理的每帧音频信号进行8192个点的快速傅里叶变换(Fast Fourier Transform，FFT)，得到表征右声道的频谱：fft_frameRn(i)以及表征左声道的频谱：fft_frameLn(i)。其中，i＝0,1,2,...,4096；n＝0,1,2,...,N-1。4096表示傅里叶变换的点数的一半，N表示帧数。本实施方式利用傅里叶变换的对称性特征，为节省计算量，只需要计算傅里叶变换点数的一半。
继而进行的是伴奏抑制步骤。
本实施方式中的抑制为基于幅度比值的抑制，可以用于伴奏抑制，包括步骤：计算左声道频域信号与右声道频域信号所有帧相应频点对的幅度比值，对幅度比值在预设范围内的频点进行衰减处理。
具体做法如下：
遍历所有的帧(n＝0,1,…,N-1)；每帧再遍历所有的频率点(i＝0,1,2,...,4096)；
计算左声道和右声道所有对应帧中相应频点对的幅度比值，公式为kn(i)＝abs(fft_frameRn(i))/abs(fft_frameLn(i))*(2/π)，并对比值落在预设范围的频点进行抑制，上述比值落在预设范围的频点即为待衰减的频点，衰减的公式为fft_frameRn(i)＝0或fft_frameLn(i)＝0，公式中，i为待衰减的频点。
幅度比值一般在(0,1)的范围内，对于人声信号，该比值在0.5左右；对于伴奏信号，该比值一般远离0.5而接近0或接近1。本实施方式的目的是抑制伴奏提取人声，频点i符合kn(i)＜α或kn(i)＞β，0＜α＜0.5,0.5＜β＜1；α取0.4，β取0.6。在不同的实施例中，α、β的取值可以根据实际情况调整。
在另外一些用于抑制人声提取伴奏的实施例中，本步骤实质上为上述步骤相对应的抑制步骤，即在上述步骤中被抑制的频点范围不进行抑制处理，而对上述步骤中没有进行抑制的频点进行抑制处理，这样被抑制的频点事实上对应的是人声频点，保留下的频点对应的是伴奏频点；相对应的，对公式的参数取值进行调整，公式中频点(即待衰减的频点)i符合α＜kn(i)＜β，0＜α＜0.5,0.5＜β＜1。α取0.4，β取0.6。
经过基于幅度比值伴奏抑制(或人声抑制)之后，将所有帧的频域信号逆变换为时域信号，最后连接起来，即可得到纯净的人声(或伴奏)信号。
请参阅图3，为立体声歌曲《wonderful world》经本实施方式所述立体声音频的处理方法提取人声所得时域波形；与图2中的该歌曲原始波形对比，可以看出经伴奏抑制后的时域波形在一定程度上消除了伴奏成分，具体表现为各图横坐标约为3s～5s，7s～8.5s，10s～12s等处(实际上为歌曲中基本上只有伴奏而没有人声的段落)振幅得到一定的衰减，说明伴奏得到了一定的抑制。
在本发明第二实施方式中，抑制步骤的处理方式与第一实施方式不同；
本实施方式中的抑制为基于相位差的抑制，可以用于伴奏抑制，包括步骤：计算左声道频域信号与右声道频域信号相应频点对的相位差，对相位差在预设范围内的频点进行衰减处理。
具体做法如下：
遍历所有的帧(n＝0,1,...,N-1)；每帧再遍历所有的频率点(i＝0,1,…,4096)；
计算左右声道中所有对应帧中相应频点对的相位差，公式为pn(i)＝angel(fft_frameLn(i))-angel(fft_frameRn(i))，并对相位差差值落在预设范围的频点(即待衰减的频点)进行抑制，公式为fft_frameRn(i)＝0或fft_frameLn(i)＝0，公式中，i为待衰减的频点。
相位差值一般位于(-1,1)的范围；对于人声信号，该差值接近0；对于伴奏信号，该差值远离0而接近-1或1。本实施方式的目的是抑制伴奏提取人声，频点i符合pn(i)＜φ或这里φ取-0.1，取0.1。在不同的实施例中，φ，的取值可以根据实际情况调整。
在另外一些用于抑制人声提取伴奏的实施例中，本步骤实质上为人声抑制步骤；公式中频点i符合φ取-0.1，取0.1。对于立体声音频而言，一般人声位于声场中央，伴奏位于声场外围，这样处理获得的音频实际上是去除声场中央位置声音，而保留声场外围声音。
请参阅图4，为立体声歌曲《wonderful world》经本实施方式所述立体声音频的处理方法提取人声所得时域波形；与图2中的该歌曲原始波形对比，可以看出经提取伴奏后的时域波形在一定程度上消除了人声成分，具体表现为各图横坐标时间点3s～5s，7s～8.5s，10s～12s等处(实际上为歌曲中基本上只有伴奏而没有人声的段落)振幅得到一定衰减，说明伴奏得到了一定的抑制。
在本发明第三实施方式可以用于伴奏抑制，其中，伴奏抑制步骤之外其他步骤的处理方式与第一实施方式类似；在伴奏抑制步骤中，结合了幅度比值抑制与相位差抑制，其伴奏抑制步骤的具体做法为：
遍历所有的帧(n＝0,1,…,N-1)；每帧再遍历所有的频率点(i＝0,1,2,...,4096)；
计算左声道和右声道所有对应帧中相应频点对的幅度比值，公式为kn(i)＝abs(fft_frameRn(i))/abs(fft_frameLn(i))*(2/π)；并对比值落在一定范围(频点i符合kn(i)＜α或kn(i)＞β，0＜α＜0.5,0.5＜β＜1；α取0.4，β取0.6)的频点标记为1，表示待衰减的频点；未落入指定范围的频点标记为0，并将标记值保存至缓存：flagA(i),i＝0,1,...4096。
计算左右声道中所有对应帧中相应频点对的相位差，公式为pn(i)＝angel(fft_frameLn(i))-angel(fft_frameRn(i))；并对相位差差值落在一定范围(i符合pn(i)＜φ或这里φ取-0.1，取0.1)的频点标记为1，表示待衰减的频点；未落入该范围的频点标记为0，并将标记值保存至缓存：flagB(i),i＝0,1,...4096。
然后，对标记缓存flagA与flagB作或运算，即flag(i)＝flagA(i)□flagB(i),i＝0,1...4096；然后对所有标记为1的频点进行抑制，公式为：
fft_frameRn(i)＝0或fft_frameLn(i)＝0；其中i满足flag(i)＝＝1,i＝0,1,2...4096。
上述幅度比值计算与相位差计算都是基于原音频时域信号转变的频域信号。对于原始频域信号的所有频点，只要满足幅度比值的条件与相位差条件中任意一个，就对其进行抑制。这样，由于有两个条件进行筛选，可以减少被遗漏的频点，使音频处理的效果更接近预期。并且，幅度比值抑制与相位差抑制二者可以同时进行，也可以先后进行，先后进行的话，顺序可以调换。
请参阅图5，为立体声歌曲《wonderful world》经本实施方式所述立体声音频的处理方法提取人声所得时域波形；与图2中的该歌曲原始波形对比，可以看出经提取伴奏后的时域波形在相当程度上消除了人声成分，具体表现为各图横坐标时间点3s～5s，7s～8.5s，10s～12s等处(实际上为歌曲中基本上只有伴奏而没有人声的段落)振幅得到明显衰减，说明伴奏得到了明显抑制。
本实施方式实际上是第一实施方式与第二实施方式中伴奏抑制步骤采取的基于对左声道和右声道所有对应帧中相应频点对的幅度比值与基于对左声道和右声道所有对应帧中相应频点对的相位差这两种处理方法的结合，具有彼此补强增益的作用，因而图5与图3或图4相比，各图横坐标时间点3s～5s，7s～8.5s，10s～12s等处(实际上为歌曲中只有伴奏而没有人声的段落)振幅得到的衰减更明显，说明伴奏得到了更为彻底的抑制。
相对于现有技术，例如包括下述步骤的方法：分别将左声道信号和右声道信号由时域信号转换为频域信号；依次计算左声道信号和右声道信号的相应频点对的归一化互相关值；对左声道信号和右声道信号相应频点对的均值信号加权人声增益；其中，所述人声增益与当前频点对的归一化互相关值成正比例取值；将加权人声增益后的左声道和右声道的均值信号由频域信号转换为时域信号，提取出人声。相比之下，采用上述本发明的方法伴奏抑制效果更彻底。
在本发明第四实施方式中，可以用于人声抑制，具体的，在人声抑制时结合了幅度比值抑制与相位差抑制；本实施方式中对应于第三实施方式中伴奏抑制步骤的是人声抑制步骤，做法是去除声场中央的声音，而保留声场周围的声音，具体为：
遍历所有的帧(n＝0,1,…,N-1)；每帧再遍历所有的频率点(i＝0,1,2,...,4096；n＝0,1,2,...,N-1)；
计算左声道和右声道所有对应帧中相应频点对的幅度比值，公式为kn(i)＝abs(fft_frameRn(i))/abs(fft_frameLn(i))*(2/π)；并对比值落在预设范围的频点标记为1，表示待衰减的频点；未落入指定范围的频点标记为0，并将标记值保存至缓存：flagA(i),i＝0,1,...4096。本实施例中，比值范围为：α＜kn(i)＜β，0＜α＜0.5,0.5＜β＜1。α取0.4，β取0.6。
计算左右声道中所有对应帧中相应频点对的相位差，公式为pn(i)＝angel(fft_frameLn(i))-angel(fft_frameRn(i))；并对相位差差值落在预设范围的频点标记为1，表示待衰减的频点；未落入该范围的频点标记为0，并将标记值保存至缓存：flagB(i),i＝0,1,...4096。本实施例中，差值范围：这里φ取-0.1，取0.1。
然后，对标记缓存flagA与flagB作或运算，即flag(i)＝flagA(i)□flagB(i),i＝0,1...4096；然后对所有标记为1的频点进行抑制，公式为：
fft_frameRn(i)＝0或fft_frameLn(i)＝0；
其中i满足flag(i)＝＝1,i＝0,1,2...4096。
事实上，本实施方式中进行人声抑制同样是基于幅度比值和基于相位差两种抑制方案的结合，所以与第三实施方式类似地，也可以单独采取本实施方式中基于幅度比值进行人声抑制或基于相位差进行人声抑制的方案。
请参阅图6，为立体声歌曲《wonderful world》经本实施方式所述立体声音频的处理方法提取伴奏所得时域波形。
由于人声往往在声场中央，在左右声道差异较小；而乐器的伴奏信号往往左右声道差异较大。具体地，伴奏在左右两个声道中对应的频点幅值相差较大，而人声在左右两个声道中对应的频点幅值相差较小；同时伴奏在左右两个声道中的对应频点相位差值较大，而人声在左右两个声道中对应的频点相位差值较小。本发明上述几种实施方式的原理就是利用左右声道之间伴奏与人声的这种差异性，对伴奏或人声进行抑制，从而提取人声或伴奏，所得到的处理结果能够为对歌曲中人声或伴奏信息的分析奠定良好的基础。
请参阅图7，为本发明另一实施方式中一种立体声音频的处理装置的功能模块示意图。所述装置包括变换单元1、计算单元2、抑制单元3以及逆变换单元4；
所述变换单元1用于将左声道和右声道的时域信号变换为频域信号；
所述计算单元2用于计算左声道频域信号与右声道频域信号相应频点对的幅度比值，将幅度比值在预设范围内的频点列为待衰减的频点；或用于计算左声道频域信号与右声道频域信号相应频点对的相位差，将相位差差值在预设范围内的频点列为待衰减的频点；
所述抑制单元3用于对待衰减的频点进行衰减处理；
所述逆变换单元4用于将经抑制单元处理的频域信号逆变换为时域信号。
进一步地，所述的立体声音频的处理装置中，计算单元2既用于计算左声道频域信号与右声道频域信号相应频点对的幅度比值，将幅度比值在预设范围内的频点列为待衰减的频点，也用于计算左声道频域信号与右声道频域信号相应频点对的相位差，将相位差差值在预设范围内的频点也列为待衰减的频点；
抑制单元3对待衰减的频点振幅强度进行衰减处理。
进一步地，所述的立体声音频的处理装置中，计算单元2计算所述左声道频域信号与右声道频域信号相应频点对的幅度比值计算公式如下：kn(i)＝abs(fft_frameRn(i))/abs(fft_framLn(i))*(2/π)；
公式中n＝0,1,2,…,N-1；N表示帧数；
i＝0,1,2,…,FN/2；FN表示傅里叶变换的点数；
进一步地，所述的立体声音频的处理装置中，计算单元2计算所述左右声道相应频点对的相位差的公式为：
pn(i)＝angel(fft_frameLn(i))-angel(fft_frameRn(i))；
公式中n＝0,1,2,…,N-1；N表示帧数；
i＝0,1,2,…,FN/2；FN表示傅里叶变换的点数；
进一步地，所述的立体声音频的处理装置中，所述抑制单元3对待衰减的频点进行衰减处理，公式为：fft_frameRn(i)＝0或fft_frameLn(i)＝0；公式中，i表示待衰减的频点。
进一步地，所述的立体声音频的处理装置还包括归一化单元5和分帧单元6；
所述归一化单元5用于对左声道和右声道的时域信号进行归一化处理；
所述分帧单元6用于将左声道和右声道的时域信号分别划分为若干帧，每帧包括预设数量的声音采样点，并且相邻帧之间有预设数量的重合采样点；
进一步地，所述的立体声音频的处理装置还包括滤波单元7，用于对每帧进行加汉宁窗滤波处理。
以下以一具体案例对所述提取音频信号的装置的工作原理进行详细阐述：
对一首立体声歌曲音频进行提取人声操作，首先由归一化单元5分别对该立体声歌曲音频的左声道和右声道信号进行归一化处理，所述归一化处理的方式是找出信号绝对值的最大值，将原信号除以该最大值，处理结果是使信号的正负幅值位于-1与+1之间。
随后，分帧单元6分别将归一化后的左声道信号和右声道信号划分为N个帧，每帧包括8192个声音采样点，并且相邻帧之间有2048个重合的采样点。这样的划分方式目的是使帧与帧之间具有平滑过渡的效果。
接下来，滤波单元7对划分后的每个帧进行加汉宁窗滤波处理。本步骤的加汉宁窗滤波处理能够有效减少后续时域到频域的变换过程中可能造成的频谱泄露。
然后，变换单元1对经加窗滤波处理的每帧音频信号进行从时域到频域的快速傅里叶变换(Fast Fourier Transform，FFT)，得到表征左声道的频谱：fft_frameRn(i),i＝0,1,2...4096,n＝0,1,2...N-1以及表征右声道的频谱：fft_frameLn(i),i＝0,1,2...4096,n＝0,1,2...N-1。其中，4096表示傅里叶变换的点数，N表示帧数。本实施方式中考虑到傅里叶变换的对称性特征，为节省计算量，只需要计算8192个声音采样点的一半即可。
计算单元2遍历所有的帧(n＝0,1,...,N-1)；每帧再遍历所有的频率点(i＝0,1,2,...,4096)；计算左声道和右声道所有对应帧中相应频点对的幅度比值，公式为:
kn(i)＝abs(fft_frameRn(i))/abs(fft_frameLn(i))*(2/π)；
公式中n＝0,1,2,…,N-1；i＝0,1,2,…,4096。
进一步地，计算单元2计算左右声道中所有对应帧中相应频点对的相位差，公式为pn(i)＝angel(fft_frameLn(i))-angel(fft_frameRn(i))；
公式中n＝0,1,2,…,N-1；i＝0,1,2,…,4096。
接着，筛选出待衰减的频点，也就是将幅度比值落在一定范围的频点(频点i符合kn(i)＜α或kn(i)＞β，0＜α＜0.5,0.5＜β＜1；α取0.4，β取0.6)或将相位差值落在一定范围的频点(i符合pn(i)＜φ或这里φ取-0.1，取0.1)列为待衰减的频点。
然后，抑制单元3对待衰减的频点进行衰减处理，公式为：
fft_frameRn(i)＝0或fft_frameLn(i)＝0；公式中，i为待衰减的频点。
此外，抑制单元3也可以按预设的比例衰减或衰减至预设的幅度进行衰减处理。
在用于提取伴奏抑制人声时，计算幅度比值和相位差差值时与上述步骤相同，筛选待衰减的频点时，将幅度比值落在一定范围的频点(i符合α＜kn(i)＜β，0＜α＜0.5,0.5＜β＜1。α取0.4，β取0.6)或将相位差值落在一定范围的频点(i符合α取0.4，β取0.6)列为待衰减的频点。对待衰减的频点进行衰减的处理也与上述步骤相同。
最后，由逆变换单元4将所有帧的频域信号逆变换为时域信号，并连接起来，即可得到纯净的人声(伴奏)信号。
由于人声往往在声场中央，在左右声道差异较小；而乐器的伴奏信号往往在左右声道差异较大。具体地，伴奏在左右两个声道中对应的频点幅值相差较大，而人声在左右两个声道中对应的频点幅值相差较小；同时伴奏在左右两个声道中的对应频点相位差值较大，而人声在左右两个声道中对应的频点相位差值较小。本实施方式的原理就是利用左右声道之间伴奏与人声的这种差异性，对伴奏或人声进行抑制，从而提取人声或伴奏，所得到的处理结果能够为对歌曲中人声或伴奏信息的分析奠定良好的基础。
上述实施例涉及的方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机设备可读取的存储介质中，用于执行上述各实施例方法所述的全部或部分步骤。所述计算机设备，例如：个人计算机、服务器、网络设备、智能移动终端、智能家居设备、穿戴式智能设备、车载智能设备等；所述的存储介质，例如：RAM、ROM、磁碟、磁带、光盘、闪存、U盘、移动硬盘、存储卡、记忆棒、网络服务器存储、网络云存储等。
以上所述仅为本发明的实施例，并非因此限制本发明的专利保护范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种立体声音频的处理方法，其特征在于，包括步骤：
分别将左声道和右声道的时域信号变换为频域信号；
利用变换得到的频域信号计算左声道频域信号与右声道频域信号相应频点对的幅度比值，将幅度比值在预设范围内的频点列为待衰减的频点；和/或利用变换得到的频域信号计算左声道频域信号与右声道频域信号相应频点对的相位差，将相位差差值在预设范围内的频点列为待衰减的频点；
对待衰减的频点进行衰减处理；
再将处理后的频域信号逆变换为时域信号。
2.如权利要求1所述的立体声音频的处理方法，其特征在于，
计算左右声道相应频点对的相位差的公式为：
pn(i)＝angel(fft_frameLn(i))-angel(fft_frameRn(i))，
其中fft_frameRn(i)与fft_framLn(i)分别表示右声道与左声道的频谱；
公式中n＝0,1,2,…,N-1；N表示帧数；
i＝0,1,2,…,FN/2；FN表示傅里叶变换的点数。
3.如权利要求1所述的立体声音频的处理方法，其特征在于，所述左声道频域信号与右声道频域信号相应频点对的幅度比值计算公式如下：kn(i)＝abs(fft_frameRn(i))/abs(fft_framLn(i))*(2/π)，其中fft_frameRn(i)与fft_framLn(i)分别表示右声道与左声道的频谱；
公式中n＝0,1,2,…,N-1；N表示帧数；
i＝0,1,2,…,FN/2；FN表示傅里叶变换的点数。
4.如权利要求1所述的立体声音频的处理方法，其特征在于，在步骤“分别将左声道和右声道的时域信号变换为频域信号”之前还包括步骤：
对左声道和右声道的时域信号进行归一化处理；
将左声道和右声道的时域信号分别划分为若干帧，每帧包括预设数量的声音采样点，并且相邻帧之间有预设数量的重合采样点；
对每帧进行加汉宁窗滤波处理。
5.一种立体声音频的处理装置，其特征在于，包括变换单元、计算单元、抑制单元以及逆变换单元；
所述变换单元用于将左声道和右声道的时域信号变换为频域信号；
所述计算单元用于计算左声道频域信号与右声道频域信号相应频点对的幅度比值，将幅度比值在预设范围内的频点列为待衰减的频点；和/或用于计算左声道频域信号与右声道频域信号相应频点对的相位差，将相位差差值在预设范围内的频点列为待衰减的频点；
所述抑制单元用于对计算单元计算所得待衰减的频点进行衰减处理；
所述逆变换单元用于将频域信号逆变换为时域信号。
6.如权利要求5所述的立体声音频的处理装置，其特征在于，计算单元用于计算左右声道相应频点对的相位差的公式为：
pn(i)＝angel(fft_frameLn(i))-angel(fft_frameRn(i))；
其中fft_frameRn(i)与fft_framLn(i)分别表示右声道与左声道的频谱；
公式中n＝0,1,2,…,N-1；N表示帧数；
i＝0,1,2,…,FN/2；FN表示傅里叶变换的点数。
7.如权利要求5所述的立体声音频的处理装置，其特征在于，所述计算单元用于计算左声道频域信号与右声道频域信号相应频点对的幅度比值计算公式如下：
kn(i)＝abs(fft_frameRn(i))/abs(fft_framLn(i))*(2/π)，
其中fft_frameRn(i)与fft_framLn(i)分别表示右声道与左声道的频谱；
公式中n＝0,1,2,…,N-1；N表示帧数；
i＝0,1,2,…,FN/2；FN表示傅里叶变换的点数。
8.如权利要求5所述的立体声音频的处理装置，其特征在于，还包括归一化单元、分帧单元和滤波单元；
所述归一化单元，用于对左声道和右声道的时域信号进行归一化处理；
所述分帧单元，用于将左声道和右声道的时域信号分别划分为若干帧，每帧包括预设数量的声音采样点，并且相邻帧之间有预设数量的重合采样点；
所述滤波单元，用于对每帧进行加汉宁窗滤波处理。
CN201410263446.3A 2014-06-13 2014-06-13 一种立体声音频的处理方法和装置 Active CN104053120B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410263446.3A CN104053120B (zh) 2014-06-13 2014-06-13 一种立体声音频的处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410263446.3A CN104053120B (zh) 2014-06-13 2014-06-13 一种立体声音频的处理方法和装置

Publications (2)

Publication Number Publication Date
CN104053120A true CN104053120A (zh) 2014-09-17
CN104053120B CN104053120B (zh) 2016-03-02

Family

ID=51505395

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410263446.3A Active CN104053120B (zh) 2014-06-13 2014-06-13 一种立体声音频的处理方法和装置

Country Status (1)

Country Link
CN (1) CN104053120B (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106328159A (zh) * 2016-09-12 2017-01-11 合网络技术（北京）有限公司 一种音频流的处理方法及装置
CN106486128A (zh) * 2016-09-27 2017-03-08 腾讯科技（深圳）有限公司 一种双音源音频数据的处理方法及装置
WO2017206794A1 (zh) * 2016-05-31 2017-12-07 华为技术有限公司 一种声道间相位差参数的提取方法及装置
CN108231091A (zh) * 2018-01-24 2018-06-29 广州酷狗计算机科技有限公司 一种检测音频的左右声道是否一致的方法和装置
CN108281152A (zh) * 2018-01-18 2018-07-13 腾讯音乐娱乐科技（深圳）有限公司 音频处理方法、装置及存储介质
CN108810737A (zh) * 2018-04-02 2018-11-13 青岛海信电器股份有限公司 信号处理的方法、装置和虚拟环绕声播放设备
CN108962268A (zh) * 2018-07-26 2018-12-07 广州酷狗计算机科技有限公司 确定单声道的音频的方法和装置
CN108962277A (zh) * 2018-07-20 2018-12-07 广州酷狗计算机科技有限公司 语音信号分离方法、装置、计算机设备以及存储介质
CN110139206A (zh) * 2019-04-28 2019-08-16 北京雷石天地电子技术有限公司 一种立体声音频的处理方法及系统
CN110232931A (zh) * 2019-06-18 2019-09-13 广州酷狗计算机科技有限公司 音频信号的处理方法、装置、计算设备及存储介质
CN110827843A (zh) * 2018-08-14 2020-02-21 Oppo广东移动通信有限公司 音频处理方法、装置、存储介质及电子设备
CN111615045A (zh) * 2020-06-23 2020-09-01 腾讯音乐娱乐科技（深圳）有限公司 音频处理方法、装置、设备及存储介质
CN112053669A (zh) * 2020-08-27 2020-12-08 海信视像科技股份有限公司 一种人声消除方法、装置、设备及介质
CN112133332A (zh) * 2020-09-23 2020-12-25 腾讯音乐娱乐科技（深圳）有限公司 播放音频的方法、装置及设备
CN112669811A (zh) * 2020-12-23 2021-04-16 腾讯音乐娱乐科技（深圳）有限公司 一种歌曲处理方法、装置、电子设备及可读存储介质
CN113518299A (zh) * 2021-04-30 2021-10-19 电子科技大学 一种改进的源分量及环境分量提取方法、设备及计算机可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6405163B1 (en) * 1999-09-27 2002-06-11 Creative Technology Ltd. Process for removing voice from stereo recordings
CN101577117A (zh) * 2009-03-12 2009-11-11 北京中星微电子有限公司 伴奏音乐提取方法及装置
CN101894559A (zh) * 2010-08-05 2010-11-24 展讯通信（上海）有限公司 音频处理方法及其装置
CN102419981A (zh) * 2011-11-02 2012-04-18 展讯通信（上海）有限公司 音频信号时间尺度和频率尺度缩放处理方法及设备
CN103402169A (zh) * 2006-09-20 2013-11-20 哈曼国际工业有限公司 用于提取和改变音频输入信号的混响内容的方法和装置
CN103680517A (zh) * 2013-11-20 2014-03-26 华为技术有限公司 一种音频信号的处理方法、装置及设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6405163B1 (en) * 1999-09-27 2002-06-11 Creative Technology Ltd. Process for removing voice from stereo recordings
CN103402169A (zh) * 2006-09-20 2013-11-20 哈曼国际工业有限公司 用于提取和改变音频输入信号的混响内容的方法和装置
CN101577117A (zh) * 2009-03-12 2009-11-11 北京中星微电子有限公司 伴奏音乐提取方法及装置
CN101894559A (zh) * 2010-08-05 2010-11-24 展讯通信（上海）有限公司 音频处理方法及其装置
CN102419981A (zh) * 2011-11-02 2012-04-18 展讯通信（上海）有限公司 音频信号时间尺度和频率尺度缩放处理方法及设备
CN103680517A (zh) * 2013-11-20 2014-03-26 华为技术有限公司 一种音频信号的处理方法、装置及设备

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107452387B (zh) * 2016-05-31 2019-11-12 华为技术有限公司 一种声道间相位差参数的提取方法及装置
WO2017206794A1 (zh) * 2016-05-31 2017-12-07 华为技术有限公司 一种声道间相位差参数的提取方法及装置
CN107452387A (zh) * 2016-05-31 2017-12-08 华为技术有限公司 一种声道间相位差参数的提取方法及装置
US11393480B2 (en) 2016-05-31 2022-07-19 Huawei Technologies Co., Ltd. Inter-channel phase difference parameter extraction method and apparatus
US11915709B2 (en) 2016-05-31 2024-02-27 Huawei Technologies Co., Ltd. Inter-channel phase difference parameter extraction method and apparatus
CN106328159A (zh) * 2016-09-12 2017-01-11 合网络技术（北京）有限公司 一种音频流的处理方法及装置
CN106486128A (zh) * 2016-09-27 2017-03-08 腾讯科技（深圳）有限公司 一种双音源音频数据的处理方法及装置
WO2018059342A1 (zh) * 2016-09-27 2018-04-05 腾讯科技（深圳）有限公司 一种双音源音频数据的处理方法及装置
US10776422B2 (en) 2016-09-27 2020-09-15 Tencent Technology (Shenzhen) Company Limited Dual sound source audio data processing method and apparatus
CN108281152A (zh) * 2018-01-18 2018-07-13 腾讯音乐娱乐科技（深圳）有限公司 音频处理方法、装置及存储介质
CN108231091A (zh) * 2018-01-24 2018-06-29 广州酷狗计算机科技有限公司 一种检测音频的左右声道是否一致的方法和装置
CN108810737B (zh) * 2018-04-02 2020-11-27 海信视像科技股份有限公司 信号处理的方法、装置和虚拟环绕声播放设备
CN108810737A (zh) * 2018-04-02 2018-11-13 青岛海信电器股份有限公司 信号处理的方法、装置和虚拟环绕声播放设备
CN108962277A (zh) * 2018-07-20 2018-12-07 广州酷狗计算机科技有限公司 语音信号分离方法、装置、计算机设备以及存储介质
CN108962268A (zh) * 2018-07-26 2018-12-07 广州酷狗计算机科技有限公司 确定单声道的音频的方法和装置
CN108962268B (zh) * 2018-07-26 2020-11-03 广州酷狗计算机科技有限公司 确定单声道的音频的方法和装置
CN110827843A (zh) * 2018-08-14 2020-02-21 Oppo广东移动通信有限公司 音频处理方法、装置、存储介质及电子设备
CN110827843B (zh) * 2018-08-14 2023-06-20 Oppo广东移动通信有限公司 音频处理方法、装置、存储介质及电子设备
CN110139206A (zh) * 2019-04-28 2019-08-16 北京雷石天地电子技术有限公司 一种立体声音频的处理方法及系统
CN110139206B (zh) * 2019-04-28 2020-11-27 北京雷石天地电子技术有限公司 一种立体声音频的处理方法及系统
CN110232931A (zh) * 2019-06-18 2019-09-13 广州酷狗计算机科技有限公司 音频信号的处理方法、装置、计算设备及存储介质
CN110232931B (zh) * 2019-06-18 2022-03-22 广州酷狗计算机科技有限公司 音频信号的处理方法、装置、计算设备及存储介质
CN111615045A (zh) * 2020-06-23 2020-09-01 腾讯音乐娱乐科技（深圳）有限公司 音频处理方法、装置、设备及存储介质
CN111615045B (zh) * 2020-06-23 2021-06-11 腾讯音乐娱乐科技（深圳）有限公司 音频处理方法、装置、设备及存储介质
CN112053669B (zh) * 2020-08-27 2023-10-27 海信视像科技股份有限公司 一种人声消除方法、装置、设备及介质
CN112053669A (zh) * 2020-08-27 2020-12-08 海信视像科技股份有限公司 一种人声消除方法、装置、设备及介质
CN112133332A (zh) * 2020-09-23 2020-12-25 腾讯音乐娱乐科技（深圳）有限公司 播放音频的方法、装置及设备
CN112669811A (zh) * 2020-12-23 2021-04-16 腾讯音乐娱乐科技（深圳）有限公司 一种歌曲处理方法、装置、电子设备及可读存储介质
CN112669811B (zh) * 2020-12-23 2024-02-23 腾讯音乐娱乐科技（深圳）有限公司 一种歌曲处理方法、装置、电子设备及可读存储介质
CN113518299A (zh) * 2021-04-30 2021-10-19 电子科技大学 一种改进的源分量及环境分量提取方法、设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN104053120B (zh) 2016-03-02

Similar Documents

Publication Publication Date Title
CN104053120B (zh) 一种立体声音频的处理方法和装置
KR102635469B1 (ko) 컨볼루션 뉴럴 네트워크에 기반한 음향 이벤트 인식 방법 및 장치
CN104134444B (zh) 一种基于mmse的歌曲去伴奏方法和装置
US20170154636A1 (en) Signal processing apparatus for enhancing a voice component within a multi-channel audio signal
CN104078051B (zh) 一种人声提取方法、系统以及人声音频播放方法及装置
CN106024005A (zh) 一种音频数据的处理方法及装置
JP6793706B2 (ja) 音声信号を検出するための方法および装置
CN109102822A (zh) 一种基于固定波束形成的滤波方法及装置
CN104900238B (zh) 一种基于感知滤波的音频实时比对方法
CN108461081B (zh) 语音控制的方法、装置、设备和存储介质
CN103943113A (zh) 一种歌曲去伴奏的方法和装置
CN110880329A (zh) 一种音频识别方法及设备、存储介质
CN103680517A (zh) 一种音频信号的处理方法、装置及设备
CN105469807B (zh) 一种多基频提取方法及装置
CN103456312A (zh) 一种基于计算听觉场景分析的单通道语音盲分离方法
US11107492B1 (en) Omni-directional speech separation
CN105719660B (zh) 一种基于量化特性的语音篡改定位检测方法
WO2021248522A1 (zh) 气流杂音检测方法、装置、终端及存储介质
CN107527624B (zh) 一种声纹识别方法及装置
CN106571146A (zh) 噪音信号确定方法、语音去噪方法及装置
Bello et al. Novelty detection
CN103390403B (zh) Mfcc特征的提取方法及装置
US20060195500A1 (en) Determination of a common fundamental frequency of harmonic signals
Zeremdini et al. A comparison of several computational auditory scene analysis (CASA) techniques for monaural speech segregation
CN103440870A (zh) 一种音频降噪方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant