CN107808655B - 音频信号处理方法、装置、电子设备及存储介质 - Google Patents

音频信号处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN107808655B
CN107808655B CN201711041844.0A CN201711041844A CN107808655B CN 107808655 B CN107808655 B CN 107808655B CN 201711041844 A CN201711041844 A CN 201711041844A CN 107808655 B CN107808655 B CN 107808655B
Authority
CN
China
Prior art keywords
audio signal
signal
time length
time
duration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711041844.0A
Other languages
English (en)
Other versions
CN107808655A (zh
Inventor
肖纯智
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Kugou Computer Technology Co Ltd
Original Assignee
Guangzhou Kugou Computer Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Kugou Computer Technology Co Ltd filed Critical Guangzhou Kugou Computer Technology Co Ltd
Priority to CN201711041844.0A priority Critical patent/CN107808655B/zh
Publication of CN107808655A publication Critical patent/CN107808655A/zh
Application granted granted Critical
Publication of CN107808655B publication Critical patent/CN107808655B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H5/00Instruments in which the tones are generated by means of electronic generators
    • G10H5/02Instruments in which the tones are generated by means of electronic generators using generation of basic tones
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H5/00Instruments in which the tones are generated by means of electronic generators
    • G10H5/02Instruments in which the tones are generated by means of electronic generators using generation of basic tones
    • G10H5/06Instruments in which the tones are generated by means of electronic generators using generation of basic tones tones generated by frequency multiplication or division of a basic tone

Abstract

本发明公开了一种音频信号处理方法、装置、电子设备及存储介质,属于网络技术领域。所述方法包括:获取待处理的音频信号;确定所述音频信号的基音信号以及所述基音信号的多个周期的时长;按照所述基音信号的多个周期的时间顺序,对所述多个周期的时长中两个相邻时长进行比较;当第一时长与第二时长的差值小于预设时长时,用所述第一时长所对应的音频信号替换所述第二时长所对应的音频信号,用所述第一时长替换所述第二时长,并基于替换后的第二时长继续进行比较,直到对所述多个周期的时长均比较结束。本发明实现了音频信号的音高局部稳定,从而可以产生明显的电音音效。

Description

音频信号处理方法、装置、电子设备及存储介质
技术领域
本发明涉及网络技术领域,特别涉及一种音频信号处理方法、装置、电子设备及存储介质。
背景技术
随着网络技术的发展和终端功能的多样化,人们可以通过终端进行录音,并采用音频信号处理方法对录音进行处理,产生各种各样的音效,例如,电音音效。其中,电音是指电子音乐,电子音乐是使用电子乐器以及电子音乐技术来制作的音乐。人们发出的声音具有抖动性,因而该声音的音高可能会忽上忽下,而电子音乐中每个音符所对应的音高是平稳的。
为了生成电音音效,目前的音频信号处理方法是通过预设的采样频率对音频信号进行采样,将音频信号划分为多帧音频信号,可以通过计算每帧音频信号的基音频率,该基音频率即对应于音高,然后通过比较相邻的多帧信号的基音频率,将相邻的具有相近的基音频率作为一个音符所对应的多帧音频信号,每个音符对应于一个音高,并计算该音符所对应的多帧音频信号的平均基音频率,然后可以确定每个音符所对应的音频信号的时长,并对每个音符所对应的音频信号进行变调处理,例如重采样,使得该音符内的多帧音频信号的基音频率都等于平均基音频率,也即是每个音符所对应的音频信号的音高一致,从而产生电音音效。
在实现本发明的过程中,发明人发现现有技术至少存在以下问题:
以音符为单位来对音频信号进行处理时,当该音符所对应的多帧音频信号的平均基音频率不够准确,且变调处理的精度不够高时,处理后的音频信号的音高不平稳,使得电音音效不够明显。
发明内容
本发明实施例提供了一种音频信号处理方法、装置、电子设备及存储介质,可以解决现有技术中电音音效不够明显的问题。所述技术方案如下:
第一方面,提供了一种音频信号处理方法,所述方法包括:
获取待处理的音频信号;
确定所述音频信号的基音信号以及所述基音信号的多个周期的时长;
按照所述基音信号的多个周期的时间顺序,对所述多个周期的时长中两个相邻时长进行比较;
当第一时长与第二时长的差值小于预设时长时,用所述第一时长所对应的音频信号替换所述第二时长所对应的音频信号,用所述第一时长替换所述第二时长,并基于替换后的第二时长继续进行比较,直到对所述多个周期的时长均比较结束,所述第一时长为所述两个相邻时长中时间在前的时长,所述第二时长为所述两个相邻时长中时间在后的时长。
在一种可能实现方式中,所述确定所述音频信号的基音信号以及所述基音信号的多个周期的时长包括:
对所述音频信号进行滤波处理,得到基音信号;
根据所述基音信号的波形,确定所述基音信号的多个周期的时长。
在一种可能实现方式中,所述对所述音频信号进行滤波处理,得到基音信号包括:
将所述音频信号输入带通滤波器中,由所述带通滤波器对所述音频信号进行滤波处理;
输出第一频率与第二频率之间的音频信号,将所述第一频率和所述第二频率之间的音频信号作为基音信号。
在一种可能实现方式中,所述根据所述基音信号的波形,确定所述基音信号的多个周期的时长包括:
确定所述基音信号的波形与时间坐标轴的多个交点的信号方向,将所述信号方向与预设信号方向相同的多个交点确定为所述基音信号的多个零交叉点;
计算所述多个零交叉点中任两个相邻零交叉点之间的时间差值,将所述任两个相邻零交叉点之间的时间差值确定为所述任两个相邻零交叉点之间的基音信号所对应的周期的时长。
在一种可能实现方式中,所述按照所述基音信号的多个周期的时间顺序,对所述多个周期的时长中两个相邻时长进行比较之后,所述方法还包括:当所述第一时长与所述第二时长的差值大于或等于预设时长时,保留所述第二时长所对应的音频信号,按照所述基音信号的多个周期的时间顺序,将所述第二时长作为第一时长继续进行比较。
第二方面,提供了一种音频信号处理装置,所述装置包括:
获取模块,用于获取待处理的音频信号;
确定模块,用于确定所述音频信号的基音信号以及所述基音信号的多个周期的时长;
比较模块,用于按照所述基音信号的多个周期的时间顺序,对所述多个周期的时长中两个相邻时长进行比较;
替换模块,用于当第一时长与第二时长的差值小于预设时长时,用所述第一时长所对应的音频信号替换所述第二时长所对应的音频信号,用所述第一时长替换所述第二时长,并基于替换后的第二时长继续进行比较,直到对所述多个周期的时长均比较结束,所述第一时长为所述两个相邻时长中时间在前的时长,所述第二时长为所述两个相邻时长中时间在后的时长。
在一种可能实现方式中,所述装置还包括:
滤波模块,用于对所述音频信号进行滤波处理,得到基音信号;
所述确定模块,用于根据所述基音信号的波形,确定所述基音信号的多个周期的时长。
在一种可能实现方式中,所述装置还包括:
输入模块,用于将所述音频信号输入带通滤波器中,由所述带通滤波器对所述音频信号进行滤波处理;
输出模块,用于输出第一频率与第二频率之间的音频信号,将所述第一频率和第二频率之间的音频信号作为基音信号。
在一种可能实现方式中,所述确定模块用于:
确定所述基音信号的波形与时间坐标轴的多个交点的信号方向,将所述信号方向与预设信号方向相同的多个交点确定为所述基音信号的多个零交叉点;
计算所述多个零交叉点中任两个相邻零交叉点之间的时间差值,将所述任两个相邻零交叉点之间的时间差值确定为所述任两个相邻零交叉点之间的基音信号所对应的周期的时长。
在一种可能实现方式中,所述比较模块用于:
比较模块,用于当所述第一时长与所述第二时长的差值大于或等于预设时长时,保留所述第二时长所对应的音频信号,按照所述基音信号的多个周期的时间顺序,将所述第二时长作为第一时长继续进行比较。
第三方面,提供了一种电子设备,包括处理器和存储器;所述存储器,用于存放计算机程序;所述处理器,用于执行所述存储器上所存放的计算机程序,实现第一方面所述的方法步骤。
第四方面,提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现第一方面所述的方法步骤。
本发明实施例提供的技术方案带来的有益效果是:
本发明实施例通过获取待处理的音频信号,对音频信号进行滤波处理得到基音信号,可以确定该基音信号的多个周期,并计算得到每个周期的时长,可以通过比较相邻的周期的时长,并对相邻的时长相近的音频信号进行替换处理,从而可以使得连续的周期的时长相近,也即是音高相近的音频信号均统一为该连续的周期中第一个周期的音高,从而实现了该音频信号的音高局部稳定,从而可以产生明显的电音音效。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种音频信号处理方法流程图;
图2是本发明实施例提供的一种音频信号处理方法流程图;
图3是本发明实施例提供的一种带通滤波器的幅度特性曲线图;
图4是本发明实施例提供的一种基音信号的示意图;
图5是本发明实施例提供的一种待处理的音频信号的示意图;
图6是本发明实施例提供的一种处理后的音频信号的示意图;
图7是本发明实施例提供的一种音频信号比较和替换处理方法的流程图;
图8是本发明实施例提供的一种音频信号处理装置的结构示意图;
图9是本发明实施例提供的一种音频信号处理装置的结构示意图;
图10是本发明实施例提供的一种音频信号处理装置的结构示意图;
图11是本发明实施例提供的一种终端1100的结构示意图;
图12是本发明实施例提供的一种音频信号处理装置1200的框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
图1是本发明实施例提供的一种音频信号处理方法流程图,该音频信号处理方法应用于电子设备中,该电子设备可以是终端,该电子设备也可以是服务器。参见图1,该方法包括:
101、电子设备获取待处理的音频信号。
102、电子设备确定该音频信号的基音信号以及该基音信号的多个周期的时长。
103、按照该基音信号的多个周期的时间顺序,对该多个周期的时长中两个相邻时长进行比较。
104、当第一时长与第二时长的差值小于预设时长时,用该第一时长所对应的音频信号替换该第二时长所对应的音频信号,用该第一时长替换该第二时长,并基于替换后的第二时长继续进行比较,直到对该多个周期的时长均比较结束,该第一时长为该两个相邻时长中时间在前的时长,该第二时长为该两个相邻时长中时间在后的时长。
本发明实施例通过获取待处理的音频信号,对音频信号进行滤波处理得到基音信号,可以确定该基音信号的多个周期,并计算得到每个周期的时长,可以通过比较相邻的周期的时长,并对相邻的时长相近的音频信号进行替换处理,从而可以使得连续的周期的时长相近,也即是音高相近的音频信号均统一为该连续的周期中第一个周期的音高,从而实现了该音频信号的音高局部稳定,从而可以产生明显的电音音效。
可选地,该确定该音频信号的基音信号以及该基音信号的多个周期的时长包括:
对该音频信号进行滤波处理,得到基音信号;
根据该基音信号的波形,确定该基音信号的多个周期的时长。
可选地,该对该音频信号进行滤波处理,得到基音信号包括:
将该音频信号输入带通滤波器中,由该带通滤波器对该音频信号进行滤波处理;
输出第一频率与第二频率之间的音频信号,将该第一频率和第二频率之间的音频信号作为基音信号。
可选地,该根据该基音信号的波形,确定该基音信号的多个周期的时长包括:
确定该基音信号的波形与时间坐标轴的多个交点的信号方向,将该信号方向与预设信号方向相同的多个交点确定为该基音信号的多个零交叉点;
计算该多个零交叉点中任两个相邻零交叉点之间的时间差值,将该任两个相邻零交叉点之间的时间差值确定为该任两个相邻零交叉点之间的基音信号所对应的周期的时长。
可选地,该按照该基音信号的多个周期的时间顺序,对该多个周期的时长中两个相邻时长进行比较之后,该方法还包括:当该第一时长与该第二时长的差值大于或等于预设时长时,保留该第二时长所对应的音频信号,按照该基音信号的多个周期的时间顺序,将该第二时长作为第一时长继续进行比较。
图2是本发明实施例提供的一种音频信号处理方法流程图,该方法应用于电子设备中,该电子设备可以是终端,也可以是服务器。在下述实施例中,仅以终端对音频信号进行处理为例进行说明。参见图2,该方法包括以下步骤:
201、终端获取待处理的音频信号。
终端可以由该终端所配置的声音采集器件来采集声音,生成该待处理的音频信号,也可以通过外接其他声音采集设备采集,并将生成的待处理的音频信号发送至该终端,由该终端对该待处理的音频信号进行处理。且,该终端可以实时采集声音来生成该待处理的音频信号,也可以事先采集声音来生成该待处理的音频信号,并在之后的任意时刻对该音频信号进行处理。
在本发明实施例中,以该终端通过所配置的声音采集器件采集声音,并生成音频信号为例进行说明,该终端所配置的声音采集器件可以采集周围的声音,该声音可以人发出的声音,也可以是环境中的其它声音,例如噪声、乐器发出的声音。需要说明的是,该待处理的音频信号是指人发出的声音,该待处理的音频信号为不包括伴奏、噪声等声音。因此,该终端采集到声音,生成音频信号后,需要对该音频信号进行信号放大、噪声识别、信号去噪等处理,得到该音频信号中人的声音,从而获取到该待处理的音频信号。
在一种可能场景中,上述过程的应用场景可以是:该终端的用户对该终端的麦克风进行演唱,由该终端对该用户演唱的声音进行采集以及处理,使得后续或当时播放时,可以产生明显的电音效果。具体地,该终端的用户可以开启该终端的声音采集功能,以触发该终端所配置的声音采集器件对周围的声音进行采集,上述步骤可以通过用户点击该终端所安装的应用中预设的功能按钮来实现。然后,用户可以在该终端所安装的应用中点击相应的功能按钮来选择播放音效,以触发该终端获取音频信号,并对该音频信号进行处理。
202、终端对该音频信号进行滤波处理,得到基音信号。
人在发声音时,根据声带是否震动可以将人发出的声音分为清音和浊音,人在发清音时声带不震动,人在发浊音时声带震动,清音信号与白噪声同理,没有明显的准周期特性,而浊音信号在时域上明显体现出准周期特性,也即是,该浊音信号为准周期信号。需要说明的是,本发明实施例涉及的基音信号即为浊音信号,除了上述清音信号、基音信号(浊音信号),该音频信号中还可以包括谐波信号而浊音信号的频率即对应于音频的音高,从而需要将音频信号中的清音信号和谐波信号去除,得到基音信号,从而可以基于该音频的音高对该音频信号进行处理,使得该音频信号的音高局部稳定,可以产生明显的电音音效。
由于基音信号的频率一般在一定频率范围内,且,该频率范围为中低频范围,因而可以利用带通滤波器对该音频信号进行滤波处理,得到基音信号。具体地,该滤波过程可以为:将该音频信号输入带通滤波器中,由该带通滤波器对该音频信号进行滤波处理;输出第一频率与第二频率之间的音频信号,将该第一频率和第二频率之间的音频信号作为基音信号。
该带通滤波器的频率范围可以预先设置,以使得只允许该频率范围内的音频信号通过该带通滤波器,也即是该频率范围为第一频率至第二频率。在具体实施中,该第一频率可以为80Hz至100Hz,第二频率可以为500Hz至600Hz,当该第一频率取值为100Hz时,该第二频率取值为600Hz时,通过该带通滤波器的音频信号也即是基音信号的频率范围可以为100Hz至600Hz。以上频率取值仅为此举例,当然该第一频率和第二频率的具体取值可以根据实验数据进行分析得出,并预设于该终端的带通滤波器中,本发明对此不作限定。
需要说明的是,在该步骤202中,通过带通滤波器滤除掉的为高次谐波信号和清音信号,得到的音频信号其实大部分是基音信号,但还有小部分的频率范围在上述预先设置的频率范围内的谐波信号,但是这小部分的谐波信号对该音频信号处理过程的影响程度不大,因而可以将该滤波后得到的音频信号作为基音信号。
例如,图3是本发明实施例提供的一种带通滤波器的幅度特性曲线图,如图3所示,该幅度特性曲线图的横轴为频率,纵轴为幅度,第一频率用f1表示,第二频率用f2表示,则可以通过该带通滤波器的音频信号的频率f的频率范围为f1<f<f2,也即是第一频率f1与第二频率f2之间。
203、终端根据该基音信号的波形,确定该基音信号的多个周期的时长。
该终端可以确定该基音信号的波形与时间坐标轴的多个交点的信号方向,将该信号方向与预设信号方向相同的多个交点确定为该基音信号的多个零交叉点。该多个零交叉点均各自对应于一个时间坐标轴上的时间,因而,终端可以计算该多个零交叉点中任两个相邻零交叉点之间的时间差值,将该任两个相邻零交叉点之间的时间差值确定为该任两个相邻零交叉点之间的基音信号所对应的周期的时长,该周期即为基音周期。
例如,图4是本发明实施例提供的一种基音信号的示意图,如图4所示,该坐标系的横轴为时间坐标轴,纵轴为振幅,该基音信号与时间坐标轴有T1,T2,T3,T4,T5,T6,T7,T8,而T1,T3,T5,T7的信号方向相同,都是由负到正,T2,T4,T6,T8的信号方向相同,都是由正到负,可以预先设置预设信号方向,例如,由负到正,将上述信号方向与预设信号方向相同的多个交点确定为该基音信号的多个零交叉点,例如,当预设信号方向为由负到正时,T1,T3,T5,T7即为多个零交叉点。而由于该基音信号为准周期信号,因而可以根据确定的多个零交叉点,确定该基音信号的多个周期,每个周期即对应于每两个相邻的零交叉点之间,每个周期的时长可以通过该周期所对应的两个零交叉点所对应的时间差值来确定。例如,该T1,T3之间即为一个周期,该周期的时长为T3-T1
上述步骤202和步骤203是确定该音频信号的基音信号以及该基音信号的多个周期的时长的过程,可以通过对待处理的音频信号进行滤波处理,得到基音信号,并通过该基音信号的波形来确定该基音信号的多个周期以及每个周期的时长,从而可以在后续基于该多个周期的时长确定对该音频信号的处理方式,并对该音频信号进行处理,达到预想的电音效果。需要说明的是,该步骤202和步骤203在实际实施中,还可以采用任一种基音检测算法对待处理的音频信号进行检测,从而可以根据检测结果得到基音信号,再采用任一种基音周期检测算法来确定该基音信号的多个周期,并基于检测到的多个周期计算每个周期的时长,本发明对如何确定基音信号的多个周期的时长的过程不作限定。
204、终端按照基音信号的多个周期的时间顺序,对该多个周期的时长中两个相邻时长进行比较,当第一时长与第二时长的差值小于预设时长时,用该第一时长所对应的音频信号替换该第二时长所对应的音频信号,用该第一时长替换该第二时长,并基于替换后的第二时长继续进行比较,直到对该多个周期的时长均比较结束。
该第一时长为该两个相邻时长中时间在前的时长,该第二时长为该两个相邻时长中时间在后的时长。该基音信号的多个周期的时间顺序即为该基音信号的多个周期的波形在时间坐标轴上所对应的时间段的时间顺序,时间在前的先进行比较,时间在后的后进行比较。
首先,以该基音信号的第一个周期的时长作为第一时长,以该基音信号的第二个周期的时长作为第二时长,用第二时长减去第一时长,得到的差值,对该差值取绝对值,得到大于或等于零的差值,并将该差值与预设时长进行比较,比较结果可能有以下两种情况,在这两种情况中,该终端对该音频信号做的处理方式不同,具体参见下述每种情况的说明。
第一种情况:当该第一时长与该第二时长之间的差值小于预设时长时,可以用该第一时长所对应的音频信号替换第二时长所对应的音频信号,用第一时长替换第二时长。
该差值小于预设时长,说明该第一时长所对应的基音信号的基音频率和该第二时长所对应的基音信号的基音频率之间差距非常小,因而可以看作二者均对应于同一个基音频率,也即,该第一时长所对应的音频信号对应的音高与该第二时长所对应的音频信号的音高非常相近,则可以对上述非常小的差距进行处理,使得该第二时长所对应的音频信号与第二时长所对应的音频信号的音高完全相同,从而可以使得在该时间段,该音频信号的音高平稳,从而产生明显的电音音效。
例如,该相邻时长为上述第一时长与第二时长的差值小于预设时长可以用公式来表示:|t1-t2|<T0,其中,t1表示第一时长,t2表示第二时长,t0表示预设时长,t0>0。当第一时长与第二时长满足上面这个公式时,终端可以用第一时长所对应的音频信号替换该第二时长所对应的音频信号,用第一时长替换第二时长。图5是本发明实施例提供的一种待处理的音频信号的示意图,图6是本发明实施例提供的一种处理后的音频信号的示意图。参见图5和图6,终端对该音频信号进行替换处理,使得第二时长所对应的音频信号与第一时长所对应的音频信号相同。
第二种情况:当该第一时长与该第二时长之间的差值大于或等于预设时长时,保留该第二时长所对应的音频信号,按照该基音信号的多个周期的时间顺序,将该第二时长作为第一时长继续进行比较过程。
该差值大于或等于预设时长时,该第一时长所对应的基音信号的基音频率与该第二时长所对应的基音信号的基音频率之间差距较大,不能将该第一时长所对应的音频信号和第二时长所对应的音频信号看作是同一个音高所对应的音频信号,因而,可以不对该第二时长所对应的音频信号进行处理,保留该第二时长所对应的音频信号,可以按照基音信号的多个周期的时间顺序,对时间在后的其它时长继续进行比较。
例如,该相邻时长为上述第一时长与第二时长的差值大于或等于预设时长可以用公式来表示:|T1-T2|≥T0,其中,T1表示第一时长,T2表示第二时长,T0表示预设时长,T0>0。当第一时长与第二时长满足上面这个公式时,终端不对该音频信号进行处理。
然后,该第一时长和第二时长比较结束后,如果对该第二时长进行处理,则以替换后的第二时长作为第一时长,如果没有对该第二时长进行处理,则以该第二时长作为第一时长,再以该第二时长后的第一个周期的时长作为第二时长,继续上述比较过程。
最后,当该基音信号的多个周期的时长均比较结束,则该终端对该基音信号所对应的音频信号的替换处理过程结束。
具体地,上述第一种情况对该音频信号进行替换处理的过程可以为:对该第一时长所对应的音频信号进行复制,将该第二时长所对应的音频信号去除;将复制得到的该第一时长所对应的音频信号插入到该第二时长所对应的音频信号所在位置。
具体地,上述第一种情况对该音频信号进行替换处理的过程还可以为:在该第一周期时长所对应的音频信号后重复该第一周期时长所对应的音频信号;将该第二周期时长所对应的音频信号去除。
具体地,上述第一种情况对该音频信号进行替换处理的过程还可以为:对该第二周期时长所对应的音频信号进行变调处理,使得变调处理后的该第二周期时长所对应的音频信号与该第一周期时长所对应的音频信号的所对应的周期时长相同。该变调处理可以是现有技术中任一种变调处理方法,本发明对此不作限定。
该步骤204是按照该基音信号的多个周期的时间顺序,对该多个周期的时长中两个相邻时长进行比较;当第一时长与第二时长的差值小于预设时长时,用该第一时长所对应的音频信号替换该第二时长所对应的音频信号,用该第一时长替换该第二时长,并基于替换后的第二时长继续进行比较,直到对该多个周期的时长均比较结束的过程,该过程涉及到的具体比较和替换处理流程还可以参考图7,图7是本发明实施例提供的一种音频信号比较和替换处理方法的流程图,如图7所示,终端对每个相邻时长进行比较,通过确定第一时长与第二时长的差值是否小于预设时长,来确定是否对第二时长所对应的音频信号进行替换处理,从而实现对音频信号的处理。
上述步骤201至步骤204是终端获取待处理的音频信号,并对该音频信号进行处理的过程,且在具体实施时,该处理过程中可以为实时以周期为单位对音频信号进行替换处理,提高了对音频信号处理的实时性和精度。在另一种可能实现方式中,该终端可以采集声音并转换为音频信号,并在联网状态下将该音频信号发送至服务器,由服务器执行与上述步骤202至步骤204同理的步骤来对音频信号进行处理,再将处理后的音频信号发送至终端,从而实现对音频信号的处理过程。
205、终端播放该处理后的音频信号。
终端对待处理的音频信号进行上述替换处理后,可以由该终端所配置的音频播放器件对该处理后的音频信号进行播放,该处理后的音频信号在进行播放时,由于上述替换处理,使得局部的音高很平稳,因而可以有明显的电音音效。当然,该终端还可以将该处理后的音频信号发送至音频播放设备,由音频播放设备对该处理后的音频信号进行播放。
在实际实施中,该终端还可以将该处理后的音频信号进行存储,并在后续想要播放该音频信号的时候,可以播放该处理后的音频信号。当然,在存储该处理后的音频信号时,可以将该处理后的音频信号与该处理前的音频信号对应存储,后续既可以播放原音频信号,也可以播放处理后的音频信号。
本发明实施例通过获取待处理的音频信号,对音频信号进行滤波处理得到基音信号,可以确定该基音信号的多个周期,并计算得到每个周期的时长,可以通过比较相邻的周期的时长,并对相邻的时长相近的音频信号进行替换处理,从而可以使得连续的周期的时长相近,也即是音高相近的音频信号均统一为该连续的周期中第一个周期的音高,从而实现了该音频信号的音高局部稳定,从而可以产生明显的电音音效。进一步地,本发明实施例可以实时对音频信号以周期为单位进行替换处理,可以提高对音频信号处理的实时性和精度。
上述所有可选技术方案,可以采用任意结合形成本发明的可选实施例,在此不再一一赘述。
图8是本发明实施例提供的一种音频信号处理装置的结构示意图,参见图8,该装置包括:
获取模块801,用于获取待处理的音频信号;
确定模块802,用于确定该音频信号的基音信号以及该基音信号的多个周期的时长;
比较模块803,用于按照基音信号的多个周期的时间顺序,对该多个周期的时长中两个相邻时长进行比较;
替换模块804,用于当第一时长与第二时长的差值小于预设时长时,用该第一时长所对应的音频信号替换该第二时长所对应的音频信号,用该第一时长替换该第二时长,并基于替换后的第二时长继续进行比较,直到对该多个周期的时长均比较结束,该第一时长为该两个相邻时长中时间在前的时长,该第二时长为该两个相邻时长中时间在后的时长。
在一种可能实现方式中,如图9所示,该装置还包括:
滤波模块805,用于对该音频信号进行滤波处理,得到基音信号;
该确定模块802,用于根据该基音信号的波形,确定该基音信号的多个周期的时长。
在一种可能实现方式中,如图10所示,该装置还包括:
输入模块806,用于将该音频信号输入带通滤波器中,由该带通滤波器对该音频信号进行滤波处理;
输出模块807,用于输出第一频率与第二频率之间的音频信号,将该第一频率和第二频率之间的音频信号作为基音信号。
在一种可能实现方式中,该确定模块802用于:
确定该基音信号的波形与时间坐标轴的多个交点的信号方向,将该信号方向与预设信号方向相同的多个交点确定为该基音信号的多个零交叉点;
计算该多个零交叉点中任两个相邻零交叉点之间的时间差值,将该任两个相邻零交叉点之间的时间差值确定为该任两个相邻零交叉点之间的基音信号所对应的周期的时长。
在一种可能实现方式中,该比较模块803用于:当该第一时长与该第二时长的差值大于或等于预设时长时,保留该第二时长所对应的音频信号,按照该基音信号的多个周期的时间顺序,将该第二时长作为第一时长继续进行比较。
本发明实施例提供的装置通过获取待处理的音频信号,对音频信号进行滤波处理得到基音信号,可以确定该基音信号的多个周期,并计算得到每个周期的时长,可以通过比较相邻的周期的时长,并对相邻的时长相近的音频信号进行替换处理,从而可以使得连续的周期的时长相近,也即是音高相近的音频信号均统一为该连续的周期中第一个周期的音高,从而实现了该音频信号的音高局部稳定,从而可以产生明显的电音音效。
需要说明的是:上述实施例提供的音频信号处理装置在处理音频信号时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的音频信号处理装置与音频信号处理方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
图11是本发明实施例提供的一种电子设备1100的结构示意图。例如,该电子设备1100可以被提供为一终端,该终端可以用于执行上述各个实施例中提供的任务处理方法。参见图11,该电子设备1100包括:
电子设备1100可以包括RF(Radio Frequency,射频)电路1110、包括有一个或一个以上计算机可读存储介质的存储器1120、输入单元1130、显示单元1140、传感器1150、音频电路1160、WiFi(Wireless Fidelity,无线保真)模块1170、包括有一个或者一个以上处理核心的处理器1180、以及电源1190等部件。本领域技术人员可以理解,图11中示出的终端结构并不构成对终端的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
RF电路1110可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,交由一个或者一个以上处理器1180处理;另外,将涉及上行的数据发送给基站。通常,RF电路1110包括但不限于天线、至少一个放大器、调谐器、一个或多个振荡器、用户身份模块(SIM)卡、收发信机、耦合器、LNA(Low Noise Amplifier,低噪声放大器)、双工器等。此外,RF电路1110还可以通过无线通信与网络和其他设备通信。该无线通信可以使用任一通信标准或协议,包括但不限于GSM(Global System of Mobile communication,全球移动通讯系统)、GPRS(General Packet Radio Service,通用分组无线服务)、CDMA(CodeDivision Multiple Access,码分多址)、WCDMA(Wideband Code Division MultipleAccess,宽带码分多址)、LTE(Long Term Evolution,长期演进)、电子邮件、SMS(ShortMessaging Service,短消息服务)等。
存储器1120可用于存储软件程序以及模块,处理器1180通过运行存储在存储器1120的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器1120可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据电子设备1100的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器1120可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器1120还可以包括存储器控制器,以提供处理器1180和输入单元1130对存储器1120的访问。
输入单元1130可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地,输入单元1130可包括触敏表面1131以及其他输入设备1132。触敏表面1131,也称为触摸显示屏或者触控板,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面1131上或在触敏表面1131附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触敏表面1131可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器1180,并能接收处理器1180发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面1131。除了触敏表面1131,输入单元1130还可以包括其他输入设备1132。具体地,其他输入设备1132可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元1140可用于显示由用户输入的信息或提供给用户的信息以及电子设备1100的各种图形用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元1140可包括显示面板1141,可选的,可以采用LCD(Liquid CrystalDisplay,液晶显示器)、OLED(Organic Light-Emitting Diode,有机发光二极管)等形式来配置显示面板1141。进一步的,触敏表面1131可覆盖显示面板1141,当触敏表面1131检测到在其上或附近的触摸操作后,传送给处理器1180以确定触摸事件的类型,随后处理器1180根据触摸事件的类型在显示面板1141上提供相应的视觉输出。虽然在图11中,触敏表面1131与显示面板1141是作为两个独立的部件来实现输入和输入功能,但是在某些实施例中,可以将触敏表面1131与显示面板1141集成而实现输入和输出功能。
电子设备1100还可包括至少一种传感器1150,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板1141的亮度,接近传感器可在电子设备1100移动到耳边时,关闭显示面板1141和/或背光。作为运动传感器的一种,重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于电子设备1100还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
音频电路1160、扬声器1161,传声器1162可提供用户与电子设备1100之间的音频接口。音频电路1160可将接收到的音频数据转换后的电信号,传输到扬声器1161,由扬声器1161转换为声音信号输出;另一方面,传声器1162将收集的声音信号转换为电信号,由音频电路1160接收后转换为音频数据,再将音频数据输出处理器1180处理后,经RF电路1111以发送给比如另一终端,或者将音频数据输出至存储器1120以便进一步处理。音频电路1160还可能包括耳塞插孔,以提供外设耳机与电子设备1100的通信。
WiFi属于短距离无线传输技术,电子设备1100通过WiFi模块1170可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图11示出了WiFi模块1170,但是可以理解的是,其并不属于电子设备1100的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
处理器1180是电子设备1100的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器1120内的软件程序和/或模块,以及调用存储在存储器1120内的数据,执行电子设备1100的各种功能和处理数据,从而对手机进行整体监控。可选的,处理器1180可包括一个或多个处理核心;优选的,处理器1180可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器1180中。
电子设备1100还包括给各个部件供电的电源1190(比如电池),优选的,电源可以通过电源管理系统与处理器1180逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源1190还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
尽管未示出,电子设备1100还可以包括摄像头、蓝牙模块等,在此不再赘述。具体在本实施例中,终端的显示单元是触摸屏显示器,终端还包括有存储器,以及一个或者一个以上的程序,其中一个或者一个以上程序存储于存储器中,且经配置以由一个或者一个以上处理器执行。该一个或者一个以上程序包含用于执行上述音频信号处理方法。
图12是本发明实施例提供的一种音频信号处理装置1200的框图。例如,装置1200可以被提供为一服务器。参照图12,装置1200包括处理组件1222,其进一步包括一个或多个处理器,以及由存储器1232所代表的存储器资源,用于存储可由处理部件1222的执行的指令,例如应用程序。存储器1232中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外,处理组件1222被配置为执行指令,以执行上述音频信号处理方法。
装置1200还可以包括一个电源组件1226被配置为执行装置1200的电源管理,一个有线或无线网络接口1250被配置为将装置1200连接到网络,和一个输入输出(I/O)接口1258。装置1200可以操作基于存储在存储器1232的操作系统,例如Windows ServerTM,MacOS XTM,UnixTM,LinuxTM,FreeBSDTM或类似。
在示例性实施例中,还提供了一种存储有计算机程序的计算机可读存储介质,例如存储有计算机程序的存储器,上述计算机程序被处理器执行时实现上述的音频信号处理方法。例如,该计算机可读存储介质可以是只读内存(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、只读光盘(Compact Disc Read-Only Memory,CD-ROM)、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,该程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
上述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种音频信号处理方法,其特征在于,所述方法包括:
获取待处理的音频信号;
确定所述音频信号的基音信号以及所述基音信号的多个周期中的每个周期的时长;
按照所述基音信号的多个周期的时间顺序,对所述多个周期的时长中两个相邻时长进行比较;
当第一时长与第二时长的差值小于预设时长时,用所述第一时长所对应的音频信号替换所述第二时长所对应的音频信号,用所述第一时长替换所述第二时长,并基于替换后的第二时长继续进行比较,直到对所述多个周期的时长均比较结束,所述第一时长为所述两个相邻时长中时间在前的时长,所述第二时长为所述两个相邻时长中时间在后的时长。
2.根据权利要求1所述的方法,其特征在于,所述确定所述音频信号的基音信号以及所述基音信号的多个周期中的每个周期的时长包括:
对所述音频信号进行滤波处理,得到基音信号;
根据所述基音信号的波形,确定所述基音信号的多个周期中的每个周期的时长。
3.根据权利要求2所述的方法,其特征在于,所述对所述音频信号进行滤波处理,得到基音信号包括:
将所述音频信号输入带通滤波器中,由所述带通滤波器对所述音频信号进行滤波处理;
输出第一频率与第二频率之间的音频信号,将所述第一频率和所述第二频率之间的音频信号作为基音信号。
4.根据权利要求2所述的方法,其特征在于,所述根据所述基音信号的波形,确定所述基音信号的多个周期中的每个周期的时长包括:
确定所述基音信号的波形与时间坐标轴的多个交点的信号方向,将所述信号方向与预设信号方向相同的多个交点确定为所述基音信号的多个零交叉点;
计算所述多个零交叉点中任两个相邻零交叉点之间的时间差值,将所述任两个相邻零交叉点之间的时间差值确定为所述任两个相邻零交叉点之间的基音信号所对应的周期的时长。
5.根据权利要求1所述的方法,其特征在于,所述按照所述基音信号的多个周期的时间顺序,对所述多个周期的时长中两个相邻时长进行比较之后,所述方法还包括:
当所述第一时长与所述第二时长的差值大于或等于预设时长时,保留所述第二时长所对应的音频信号,按照所述基音信号的多个周期的时间顺序,将所述第二时长作为第一时长继续进行比较。
6.一种音频信号处理装置,其特征在于,所述装置包括:
获取模块,用于获取待处理的音频信号;
确定模块,用于确定所述音频信号的基音信号以及所述基音信号的多个周期中的每个周期的时长;
比较模块,用于按照所述基音信号的多个周期的时间顺序,对所述多个周期的时长中两个相邻时长进行比较;
替换模块,用于当第一时长与第二时长的差值小于预设时长时,用所述第一时长所对应的音频信号替换所述第二时长所对应的音频信号,用所述第一时长替换所述第二时长,并基于替换后的第二时长继续进行比较,直到对所述多个周期的时长均比较结束,所述第一时长为所述两个相邻时长中时间在前的时长,所述第二时长为所述两个相邻时长中时间在后的时长。
7.根据权利要求6所述的装置,其特征在于,所述装置还包括:
滤波模块,用于对所述音频信号进行滤波处理,得到基音信号;
所述确定模块,用于根据所述基音信号的波形,确定所述基音信号的多个周期中的每个周期的时长。
8.根据权利要求7所述的装置,其特征在于,所述确定模块用于:
确定所述基音信号的波形与时间坐标轴的多个交点的信号方向,将所述信号方向与预设信号方向相同的多个交点确定为所述基音信号的多个零交叉点;
计算所述多个零交叉点中任两个相邻零交叉点之间的时间差值,将所述任两个相邻零交叉点之间的时间差值确定为所述任两个相邻零交叉点之间的基音信号所对应的周期的时长。
9.一种电子设备,其特征在于,包括处理器和存储器;所述存储器,用于存放计算机程序;所述处理器,用于执行所述存储器上所存放的计算机程序,实现权利要求1-5任一项所述的方法步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-5任一项所述的方法步骤。
CN201711041844.0A 2017-10-27 2017-10-27 音频信号处理方法、装置、电子设备及存储介质 Active CN107808655B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711041844.0A CN107808655B (zh) 2017-10-27 2017-10-27 音频信号处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711041844.0A CN107808655B (zh) 2017-10-27 2017-10-27 音频信号处理方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN107808655A CN107808655A (zh) 2018-03-16
CN107808655B true CN107808655B (zh) 2021-02-12

Family

ID=61582377

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711041844.0A Active CN107808655B (zh) 2017-10-27 2017-10-27 音频信号处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN107808655B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116312431B (zh) * 2023-03-22 2023-11-24 广州资云科技有限公司 电音基调控制方法、装置、计算机设备和存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1162113A (zh) * 1996-01-16 1997-10-15 雅马哈株式会社 音调检测装置
US20060136247A1 (en) * 2004-12-17 2006-06-22 Fujitsu Limited Sound reproducing apparatus
CN101030374A (zh) * 2007-03-26 2007-09-05 北京中星微电子有限公司 基音周期提取方法及装置
CN103854649A (zh) * 2012-11-29 2014-06-11 中兴通讯股份有限公司 一种变换域的丢帧补偿方法及装置
US20140350937A1 (en) * 2013-05-23 2014-11-27 Fujitsu Limited Voice processing device and voice processing method
CN104599677A (zh) * 2014-12-29 2015-05-06 中国科学院上海高等研究院 基于语音重建的瞬态噪声抑制方法
CN105722221A (zh) * 2014-12-05 2016-06-29 联想(北京)有限公司 时分双工系统中传输语音数据的方法和用户设备
US20160329043A1 (en) * 2014-01-21 2016-11-10 Lg Electronics Inc. Emotional-speech synthesizing device, method of operating the same and mobile terminal including the same
CN106547797A (zh) * 2015-09-23 2017-03-29 腾讯科技(深圳)有限公司 音频生成方法和装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1162113A (zh) * 1996-01-16 1997-10-15 雅马哈株式会社 音调检测装置
US20060136247A1 (en) * 2004-12-17 2006-06-22 Fujitsu Limited Sound reproducing apparatus
CN101030374A (zh) * 2007-03-26 2007-09-05 北京中星微电子有限公司 基音周期提取方法及装置
CN103854649A (zh) * 2012-11-29 2014-06-11 中兴通讯股份有限公司 一种变换域的丢帧补偿方法及装置
US20140350937A1 (en) * 2013-05-23 2014-11-27 Fujitsu Limited Voice processing device and voice processing method
US20160329043A1 (en) * 2014-01-21 2016-11-10 Lg Electronics Inc. Emotional-speech synthesizing device, method of operating the same and mobile terminal including the same
CN105722221A (zh) * 2014-12-05 2016-06-29 联想(北京)有限公司 时分双工系统中传输语音数据的方法和用户设备
CN104599677A (zh) * 2014-12-29 2015-05-06 中国科学院上海高等研究院 基于语音重建的瞬态噪声抑制方法
CN106547797A (zh) * 2015-09-23 2017-03-29 腾讯科技(深圳)有限公司 音频生成方法和装置

Also Published As

Publication number Publication date
CN107808655A (zh) 2018-03-16

Similar Documents

Publication Publication Date Title
CN109256146B (zh) 音频检测方法、装置及存储介质
CN103440862B (zh) 一种语音与音乐合成的方法、装置以及设备
CN109194796B (zh) 屏幕发声方法、装置、电子装置及存储介质
CN107705778B (zh) 音频处理方法、装置、存储介质以及终端
CN106782600B (zh) 音频文件的评分方法及装置
EP3614383A1 (en) Audio data processing method and apparatus, and storage medium
CN111210021B (zh) 一种音频信号处理方法、模型训练方法以及相关装置
CN106782613B (zh) 信号检测方法及装置
CN108470571B (zh) 一种音频检测方法、装置及存储介质
CN107731241B (zh) 处理音频信号的方法、装置和存储介质
CN107993672B (zh) 频带扩展方法及装置
CN106782627B (zh) 音频文件的重录方法及装置
CN109616135B (zh) 音频处理方法、装置及存储介质
CN107507628B (zh) 唱歌评分方法、装置及终端
CN106847307B (zh) 信号检测方法及装置
CN109189362B (zh) 发声控制方法、装置、电子设备及存储介质
CN110568926B (zh) 一种声音信号处理方法及终端设备
CN109872710B (zh) 音效调制方法、装置及存储介质
CN110830368B (zh) 即时通讯消息发送方法及电子设备
CN112270913B (zh) 音高调节方法、装置及计算机存储介质
CN109817241B (zh) 音频处理方法、装置及存储介质
CN109756818B (zh) 双麦克风降噪方法、装置、存储介质及电子设备
CN110796918A (zh) 一种训练方法、装置及移动终端
CN108492837B (zh) 音频突发白噪声的检测方法、装置及存储介质
CN104092809A (zh) 通话录音方法、通话录音播放方法及其相应装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant