CN108335703B - 确定音频数据的重音位置的方法和装置 - Google Patents

确定音频数据的重音位置的方法和装置 Download PDF

Info

Publication number
CN108335703B
CN108335703B CN201810268786.3A CN201810268786A CN108335703B CN 108335703 B CN108335703 B CN 108335703B CN 201810268786 A CN201810268786 A CN 201810268786A CN 108335703 B CN108335703 B CN 108335703B
Authority
CN
China
Prior art keywords
audio data
determining
stress
peak value
domain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810268786.3A
Other languages
English (en)
Other versions
CN108335703A (zh
Inventor
王征韬
赵伟峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Music Entertainment Technology Shenzhen Co Ltd
Original Assignee
Tencent Music Entertainment Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Music Entertainment Technology Shenzhen Co Ltd filed Critical Tencent Music Entertainment Technology Shenzhen Co Ltd
Priority to CN201810268786.3A priority Critical patent/CN108335703B/zh
Publication of CN108335703A publication Critical patent/CN108335703A/zh
Application granted granted Critical
Publication of CN108335703B publication Critical patent/CN108335703B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • G10L21/0324Details of processing therefor
    • G10L21/034Automatic adjustment
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/21Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being power information
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal

Abstract

本公开是关于一种确定音频数据的重音位置的方法和装置,属于音频技术领域。所述方法包括获取待确定的音频数据;基于谐波源分离算法,在所述音频数据中提取冲击音频数据;基于小波分析算法,确定所述冲击音频数据对应的小波域,其中,所述小波域为所述冲击音频数据经过小波分析算法得到的波形数据;根据所述小波域中的波峰位置,确定所述音频数据的重音位置。采用本公开,确定音频数据的重音位置时,不仅可以应用在具有打击乐器演奏的音频数据,还可以应用在不具有打击乐器演奏的音频数据中,进而,其应用场景更加广泛。

Description

确定音频数据的重音位置的方法和装置
技术领域
本公开是关于音频技术领域,尤其是关于一种确定音频数据的重音位置的方法和装置。
背景技术
一首歌曲的重音位置是指具有突出听感的部分在歌曲的播放时间轴上对应的时间点,简单的说就是歌曲中声强较大的位置,如锣、鼓等打击乐器的演奏时刻。
在大部分音乐中,重音位置通常出现在鼓等打击乐器的演奏时刻,因此,相关技术中通常通过鼓点检测的方法确定音乐的重音位置,
在实现本公开的过程中,发明人发现至少存在以下问题:
检测鼓点等打击乐器的方法只适用于具有打击乐器演奏的音乐,不适用于没有打击乐器演奏的音乐,导致使用该方法确定歌曲中的重音位置具有一定的局限性。
发明内容
本公开提供了一种确定音频数据的重音位置的方法和装置,以克服相关技术中存在的问题。所述技术方案如下:
根据本公开实施例,提供一种确定音频数据的重音位置的方法,所述方法包括:
获取待确定的音频数据;
基于谐波源分离算法,在所述音频数据中提取冲击音频数据;
基于小波分析算法,确定所述冲击音频数据对应的小波域,其中,所述小波域为所述冲击音频数据经过小波分析算法得到的波形数据;
根据所述小波域中的波峰位置,确定所述音频数据的重音位置。
可选的,所述基于谐波源分离算法,在音频数据中提取冲击音频数据,包括:
基于短时傅里叶变换,将时域内的音频数据转换为频域内的音频数据;
基于谐波源分离算法,在频域内的音频数据中提取冲击音频数据,其中,傅里叶变换公式为:
Figure BDA0001611705630000021
F(ω)表示频域内的音频数据,f(t)表示时域内的音频数据,t表示时间,ω表示频率。
可选的,所述基于谐波源分离算法,在音频数据中提取冲击音频数据,包括:
基于预设的截止频率,对音频数据,进行低通滤波,得到滤波后的音频数据;
基于谐波源分离技术,在所述滤波后的音频数据中提取冲击音频数据。
可选的,所述根据所述小波域中的波峰位置,确定所述音频数据的重音位置,包括:
基于预设的振幅阈值,对所述小波域,进行阈值过滤,得到阈值过滤后的小波域;
根据所述阈值过滤后的小波域的波峰位置,确定所述音频数据的重音位置。
可选的,所述方法还包括:
根据预设的波峰值范围与重音等级的对应关系,以及所述阈值过滤后的小波域中的每个波峰位置对应的波峰值,确定每个重音位置对应的重音等级。
可选的,所述根据预设的波峰值范围与重音等级的对应关系,以及所述阈值过滤后的小波域中的每个波峰位置对应的波峰值,确定每个重音位置对应的重音等级,包括:
根据所述阈值过滤后的小波域中的每个波峰位置对应的波峰值,确定最大波峰值和最小波峰值;
根据所述最大波峰值、最小波峰值以及最大最小归一化算法,将每个重音位置对应的波峰值转换为0至1范围内的归一化值;
根据每个重音位置的波峰值对应的归一化值,以及预设的归一化值范围与重音等级的对应关系,确定每个重音位置对应的重音等级。
可选的,所述最大最小归一化算法的公式为:
Figure BDA0001611705630000031
其中,A(max)表示最大波峰值,A(min)表示最小波峰值,A(i)表示任一重音位置对应的波峰值,a(i)表示A(i)对应的归一化值。
根据本公开实施例,提供一种确定音频数据的重音位置的装置,所述装置包括:
获取模块,用于获取待确定的音频数据;
提取模块,用于基于谐波源分离算法,在所述音频数据中提取冲击音频数据;
第一确定模块,用于基于小波分析算法,确定所述冲击音频数据对应的小波域,其中,所述小波域为所述冲击音频数据经过小波分析算法得到的波形数据;
第二确定模块,用于根据所述小波域中的波峰位置,确定所述音频数据的重音位置。
可选的,所述提取模块,包括:
第一转换单元,用于基于短时傅里叶变换,将时域内的音频数据转换为频域内的音频数据;
第一提取单元,用于基于谐波源分离算法,在频域内的音频数据中提取冲击音频数据,其中,傅里叶变换公式为:
Figure BDA0001611705630000032
F(ω)表示频域内的音频数据,f(t)表示时域内的音频数据,t表示时间,ω表示频率。
可选的,所述提取模块,包括:
滤波单元,用于基于预设的截止频率,对音频数据,进行低通滤波,得到滤波后的音频数据;
第二提取单元,用于基于谐波源分离技术,在所述滤波后的音频数据中提取冲击音频数据。
可选的,所述第二确定模块,用于:
基于预设的振幅阈值,对所述小波域,进行阈值过滤,得到阈值过滤后的小波域;
根据所述阈值过滤后的小波域的波峰位置,确定所述音频数据的重音位置。
可选的,所述装置还包括:
第三确定模块,用于根据预设的波峰值范围与重音等级的对应关系,以及所述阈值过滤后的小波域中的每个波峰位置对应的波峰值,确定每个重音位置对应的重音等级。
可选的,所述第三确定模块包括:
第一确定单元,用于根据所述阈值过滤后的小波域中的每个波峰位置对应的波峰值,确定最大波峰值和最小波峰值;
第二转换单元,用于根据所述最大波峰值、最小波峰值以及最大最小归一化算法,将每个重音位置对应的波峰值转换为0至1范围内的归一化值;
第二确定单元,用于根据每个重音位置的波峰值对应的归一化值,以及预设的归一化值范围与重音等级的对应关系,确定每个重音位置对应的重音等级。
可选的,所述最大最小归一化算法的公式为:
Figure BDA0001611705630000041
其中,A(max)表示最大波峰值,A(min)表示最小波峰值,A(i)表示任一重音位置对应的波峰值,a(i)表示A(i)对应的归一化值。
根据本公开实施例,还提供了一种设备,所述设备包括处理器和存储器,所述存储器中存储有至少一条指令,所述指令由所述处理器加载并执行以实现上述所述的确定音频数据的重音位置的方法。
根据本公开实施例,还提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令,所述指令由处理器加载并执行以实现上述所述的确定音频数据的重音位置的方法。
本公开的实施例提供的技术方案可以包括以下有益效果:
本公开实施例中,不论是对于具有打击乐器演奏的音频数据,还是对于不具有打击乐器演奏的音频数据,在确定其重音位置时,都可以在其音频数据中提取到相对具有突出听感的冲击音频数据,且整个音频数据的各部分都会存在相对具有突出听感的冲击音频数据,其中,音频数据的重音位置通常是分布在上述具有突出听感的冲击音频数据中。之后,再利用小波分析算法,将冲击音频数据中不是重音位置的音频数据衰减掉,以突出重音位置,进而,可以准确确定音频数据的重音位置。可见,上述确定音频数据的重音位置的方法不仅可以应用在具有打击乐器演奏的音频数据,还可以应用在不具有打击乐器演奏的音频数据中,进而,其应用场景更加广泛。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。在附图中:
图1是根据实施例示出的一种确定音频数据的重音位置的方法流程图;
图2是根据实施例示出的一种音频数据的原始声谱图的示意图;
图3是根据实施例示出的一种冲击音频数据对应的声谱图的示意图;
图4是根据实施例示出的一种小波图形示意图;
图5是根据实施例示出的一种经过“最大最小归一化”算法处理后,确定的重音位置的示意图;
图6是根据实施例示出的一种确定音频数据的重音位置的装置示意图;
图7是根据实施例示出的一种确定音频数据的重音位置的装置示意图;
图8是根据实施例示出的一种确定音频数据的重音位置的装置示意图;
图9是根据实施例示出的一种确定音频数据的重音位置的装置示意图;
图10是根据实施例示出的一种确定音频数据的重音位置的装置示意图;
图11是根据实施例示出的一种确定音频数据的重音位置的装置示意图;
图12是根据实施例示出的一种确定音频数据的重音位置的装置示意图。
通过上述附图,已示出本公开明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围,而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
本公开实施例提供了一种确定音频数据的重音位置的方法,该方法可以由服务器实现,也可以由终端实现。其中,终端可以是手机、平板电脑、台式计算机、笔记本计算机等,服务器可以是音频类应用程序或音频网站的后台服务器。为方便介绍,本实施例中以服务器为执行主体来介绍,终端作为执行主体的原理与之类似。
服务器可以包括收发器、处理器、存储器等部件。收发器,可以用于与终端进行数据传输,例如,可以接收终端发送的音频数据的重音位置获取请求,等处理。收发器可以包括蓝牙部件、WiFi(Wireless-Fidelity,无线高保真技术)部件、天线、匹配电路、调制解调器等。处理器,可以为CPU(Central Processing Unit,中央处理单元)等,可以基于谐波源分离算法,在音频数据中提取冲击音频数据,等处理。存储器,可以为RAM(RandomAccessMemory,随机存取存储器),Flash(闪存)等,可以用于存储接收到的数据、处理过程所需的数据、处理过程中生成的数据等,如可以用于存储音频数据的重音位置等。
终端可以包括收发器、处理器、存储器等部件。收发器,可以用于与服务器进行数据传输,例如,可以向服务器发送音频数据的重音位置获取请求,收发器可以包括蓝牙部件、WiFi(Wireless-Fidelity,无线高保真技术)部件、天线、匹配电路、调制解调器等。处理器,可以为CPU(Central Processing Unit,中央处理单元)等,可以用于当检测到获取重音位置的触发操作时,向服务器发送音频数据的重音位置获取请求,等处理。存储器,可以为RAM(Random Access Memory,随机存取存储器),Flash(闪存)等,可以用于存储接收到的数据、处理过程所需的数据、处理过程中生成的数据等。
终端还可以包括输入部件、显示部件、音频输出部件等。输入部件可以是触摸屏、键盘、鼠标等。音频输出部件可以是音箱、耳机等。
如图1所示,该方法的处理流程可以包括如下的步骤:
在步骤101中,获取待确定的音频数据。
在实施中,技术人员操作的本地终端上可以安装有各种应用程序,例如可以安装有多媒体应用程序,该应用程序中具有获取重音位置的选项。这样,当技术人员需要确定某一首歌曲的重音位置时,可以在上述应用程序中操作对应该歌曲的获取重音位置选项。本地终端检测到用户的操作之后,向服务器发送重音位置请求。服务器接收到终端发送的重音位置请求之后,先获取该歌曲的音频数据,该歌曲的音频数据即为待确定的音频数据。其中,重音位置请求中携带有该歌曲的标识以及本地终端的登录账户,登录账户可以是技术人员在应用程序中登录的账户。
在步骤102中,基于谐波源分离算法,在音频数据中提取冲击音频数据。
其中,谐波源分离算法,简称HPSS(Harmonic Percussive Source Separation)算法,应用在音频数据处理的预处理过程中,通常应用在人声分离技术领域中,将音频数据中的谐波音频数据分离,得到冲击音频数据。谐波音频数据,简称H(Harmonic,谐波)部,是指在频谱图上呈现出沿时间轴连续平滑分布的音频数据,在听觉上表现出比较平缓的声音。如笛子、筝等管弦乐器产生的音频数据。冲击音频数据简称P(Percussion,冲击)部,是指在频谱图上呈现出沿频率轴连续平滑分布的音频数据,在局部音频数据范围内,听觉上表现出相对突出的声音。例如,在具有打击乐器演奏的音乐中,可以是打击乐器产生的音频数据;又例如,在没有打击乐器演奏的音乐中,可以是乐器刚开始发声时对应的起始音频数据,还可以是节拍发生变化时对应的音频数据。
音频数据的重音位置通常落在冲击音频数据P部中,所以,HPSS算法是确定重音位置的预处理过程。而且HPSS算法对即使没有鼓等打击乐器演奏的音乐,如在听觉上比较舒缓的音乐,也能够提取到相对具有突出听感的P部。对于一首音乐其音频数据中,HPSS算法在各部分都可以提取到P部,那么最后确定的重音位置在各部分都有,例如,在音乐的前奏部分、中间部分、后半部分都可以找到重音位置,这样找出的重音位置分布比较均匀,不会出现相关技术中确定的重音位置集中在中间部分,前半部分和后半部分较少甚至没有的情况。
在实施中,HPSS算法通常是在频谱数据中对音频数据进行处理,相应的,服务器接收到任一待处理音频数据时,首先,对音频数据进行短时傅里叶变换,将时域内的音频数据转换为频域内的音频数据,然后,服务器在频域内利用HPSS算法对音频数据进行谐波分离,得到冲击音频数据,其中,傅里叶公式如下:
Figure BDA0001611705630000071
式中,F(ω)表示频域内的音频数据,f(t)表示时域内的音频数据,t表示时间,ω表示频率。
其中,各时间点的频谱数据可以组成声谱图(也称语谱图),可以记为原始声谱图,声谱图的横坐标是时间,纵坐标是频率,坐标点值为音频数据能量。其中,利用HPSS算法对音频数据进行谐波分离,得到冲击音频数据的原理可以如下:
在实施中,根据冲击音频数据在时间轴上不连贯,在频率轴上连贯,而谐波音频数据在时间轴上连贯,在频率轴上不连贯的特点,可以在原始声谱图中利用中值滤波器分别沿着时间轴和频率轴对音频数据进行中值滤波,得到沿着时间轴过滤后的声谱图和沿着频率轴过滤后的声谱图。声谱图即为一维为时间、一维为频率的二维矩阵,其中,二维矩阵中任一元素(i,j)表示第i帧时间窗内通过快速傅里叶变换(Fast Fourier Transformation,FFT)计算出的第j个频率点的傅里叶变换值。为方便描述,原始声谱图对应的矩阵记为矩阵M0,沿着时间轴进行中值滤波后的声谱图对应的矩阵记为矩阵MH,沿着频率轴进行中值滤波后的声谱图对应的矩阵记为矩阵MP,其中,矩阵M0、矩阵MH、矩阵MP的维度均相等,如三者均是m行,h列的矩阵。根据冲击音频数据和谐波音频数据的特点,那么在频率轴上进行过滤之后,能够将谐波音频数据滤除而保留冲击音频数据,相应的,可以通过比较矩阵MH、矩阵MP中的元素值来确定冲击音频数据P部,也即是,如果MP中的元素P(i,j)值大于或者等于β的MH中的元素H(i,j)值,则矩阵M0中对应的M(i,j)属于P部,其中,β值是经验值,如可以是2或者3等。通过上述元素值的比较确定出P部之后,可以将矩阵M0中的属于H部的元素置为零,得到冲击音频数据P部。
其中,对原始声谱图中利用中值滤波器沿着时间轴进行过滤后得到的矩阵MH为:
MH(i,j)=median[M(i-γh,j),......M(i+γh,j)],其在时间轴上的滤波范围是(i-γh)至(i+γh)。
对原始声谱图中利用中值滤波器沿着频率轴进行过滤后得到的矩阵MP为:
MP(i,j)=median[M(i,j-γp),......M(i,j+γp)],其在频率轴上的滤波范围是(j-γ p)至(j+γp)。
上述式中,i表示时间;j表示频率;γh表示时间段,其值由中值滤波器决定;γp表示频率段,其值由中值滤波器决定。
如图2所示,是原始声谱图,图3是经过HPSS算法得到的冲击音频数据对应的声谱图,由图3可知,音频数据的重音位置落在冲击音频数据中,但是冲击音频数据中还包括一些非重音位置对应的音频数据,需要对冲击音频数据进行进一步处理,以提取其中的重音位置。
在步骤103中,基于小波分析算法,确定所述冲击音频数据对应的小波域,其中,小波域为所述冲击音频数据经过小波分析算法得到的波形数据。
其中,小波指的是小的波形,小是指其具有衰减性,波是指其具有波动性。通俗地讲,小波分析算法也即是利用有限长且具有衰减性的小波基,对不稳定的信号进行平滑处理,以去除信号中波动值较小的毛刺部分,得到信号变化较为稳定的小波域。小波分析算法的公式可以如下,小波分析算法中使用的小波基的图形可以如图4所示:
Figure BDA0001611705630000091
其中,式中α是尺度因子,相当于傅里叶变换中的频率ω,都是反映信号的频率信息。
在实施中,由上述小波分析算法的公式可知,小波分析算法是时域上的信号处过程,由于上述HPSS算法是在频域数据中进行,所以对冲击音频数据进行小波分析之前,需要先进行逆傅里叶变换,转换成时域内的冲击音频数据。在实际应用中,为了得到较为稳定的小波域,需要进行多次小波分析算法,每次小波分析算法对应一个小波窗口。例如,进行三次小波分析算法,每一次小波分析算法对应一个小波窗口,这样可以对冲击音频数据P部经过多次小波分析算法,使最后得到的小波域比较平滑。
在步骤104中,根据小波域中的波峰位置,确定音频数据的重音位置。
在实施中,有些波峰位置由于其峰值较小,经过小波分析算法之后,可以衰减至更小,甚至衰减掉,而经过小波分析算法之后,在小波域中如果某一个波峰位置m还是波峰,则该波峰位置m可以记为重音位置。如上述所述,在实际应用中,为了将使得到的重音位置更加准确,相应的,可以进行多次小波分析算法,这样,经过多次小波分析算法之后,可以将不是重音位置对应的非波峰值衰减掉,将重音位置对应的波峰突出,进而可以很容易的确定重音位置。
可选的,冲击音频数据通常处于人们能够听到的低频段中,相应的,在HPSS算法之前,还可以基于预设的截止频率,对音频数据,进行低通滤波,得到滤波后的音频数据,然后,再基于谐波源分离技术,在滤波后的音频数据中提取冲击音频数据。
在实施中,使用低通滤波器对音频数据进行低通滤波,其截止频率可以根据实际应用设置,例如可以设置为600赫兹,以滤除不太可能产生重音位置的高频段音频数据。在实际应用中,对于在听觉上表现为比较平缓的音频数据,为了确定相对重音位置,那么所使用的低通滤波器需要具有平缓的过渡带,例如可以使用一阶巴特沃斯滤波器。
可选的,经过小波分析算法得到的小波域,其波形图中可能还具有一些不是重音位置的峰值,那么为了将这些不是重音位置的峰值过滤掉,相应的,基于预设的振幅阈值,对小波域,进行阈值过滤,得到阈值过滤后的小波域;根据阈值过滤后的小波域的波峰位置,确定音频数据的重音位置。
在实施中,经过小波分析算法得到的小波域中还可能具有一些峰值很小的波峰,为了避免将这些峰值很小的波峰位置确定为重音位置,相应的,可以通过阈值过滤,将不是重音位置的波峰过滤掉,其中,振幅阈值可以根据实际需要设置,例如可以根据小波域中最大波峰值而确定,如可以是最大波峰值的三分之一等。
可选的,使用上述方法确定音频数据的重音位置具有多个,每个重音位置对应一个波峰位置,而每个波峰位置对应的波峰值不一定相等,那么可以根据波峰值的大小对重音位置进行等级划分,相应的可以是,根据预设的波峰值范围与重音等级的对应关系,以及阈值过滤后的小波域中的每个波峰位置对应的波峰值,确定每个重音位置对应的重音等级。
在实施中,为了统一波峰值与重音等级的对应关系,经过上述方法确定重音位置之后,可以对重音位置对应的波峰值进行归一化处理。相应的可以是,在经过多次小波分析算法以及阈值过滤之后的小波域中,首先,将非波峰处对应的非波峰值全部置零,波峰位置处对应的波峰值保留其原值;然后,在经过阈值过滤后的小波域中的每个波峰位置对应的波峰值中,确定最大波峰值和最小波峰值,并利用“最大最小归一化算法”将每个波峰位置对应的波峰值A(i)转换为0至1中的归一化值a(i);最后,根据预设的归一化值范围与重音等级的对应关系,确定每一个重音位置对应的重音等级。
其中“最大最小归一化算法”的计算公式是:
Figure BDA0001611705630000101
如图5所示,是利用最大最小归一化算法之后,确定出的重音位置的示意图,横轴表示时间(单位为毫秒),纵轴表示归一化值a(i)。
在实施中,重音等级的等级数量可以任意设置,例如可以设置四级,其中,一级对应的归一化值范围可以是0至0.25,二级对应的归一化值范围可以是0.25至0.5,三级对应的归一化值范围可以是0.5至0.75,四级对应的归一化值范围可以是0.75至1。
这样,服务器计算出每个重音位置对应的重音等级之后,可以将重音位置以及对应的重音等级储存起来,如可以储存在对应重音位置的数据库中。这样,在视频制作中,当技术人员需要获取某一首音乐的重音位置时,可以向服务器发送重音位置获取请求,服务器接收到重音位置获取请求之后,向终端发送储存有重音位置以及对应的重音等级的文件。
本公开实施例中,不论是对于具有打击乐器演奏的音频数据,还是对于不具有打击乐器演奏的音频数据,在确定其重音位置时,都可以在其音频数据中提取到相对具有突出听感的冲击音频数据,且整个音频数据的各部分都会存在相对具有突出听感的冲击音频数据,其中,音频数据的重音位置通常是分布在上述具有突出听感的冲击音频数据中。之后,再利用小波分析算法,将冲击音频数据中不是重音位置的音频数据衰减掉,以突出重音位置,进而,可以准确确定音频数据的重音位置。可见,上述确定音频数据的重音位置的方法不仅可以应用在具有打击乐器演奏的音频数据,还可以应用在不具有打击乐器演奏的音频数据中,进而,其应用场景更加广泛。
本公开实施例还提供了一种确定音频数据的重音位置的装置,如图6所述装置包括:
获取模块600,用于获取待确定的音频数据;
提取模块610,用于基于谐波源分离算法,在音频数据中提取冲击音频数据;
第一确定模块620,用于基于小波分析算法,确定所述冲击音频数据对应的小波域,其中,所述小波域为所述冲击音频数据经过小波分析算法得到的波形数据;
第二确定模块630,用于根据所述小波域中的波峰位置,确定所述音频数据的重音位置。
可选的,如图7所示,提取模块610包括:
第一转换单元611,用于基于短时傅里叶变换,将时域内的音频数据转换为频域内的音频数据;
第一提取单元612,用于基于谐波源分离算法,在频域内的音频数据中提取冲击音频数据,其中,傅里叶变换公式为:
Figure BDA0001611705630000121
F(ω)表示频域内的音频数据,f(t)表示时域内的音频数据,t表示时间,ω表示频率。
可选的,如图8所示,提取模块610包括:
滤波单元613,用于基于预设的截止频率,对音频数据,进行低通滤波,得到滤波后的音频数据;
第二提取单元614,用于基于谐波源分离技术,在所述滤波后的音频数据中提取冲击音频数据。
可选的,所述第二确定模块630,用于:
基于预设的振幅阈值,对所述小波域,进行阈值过滤,得到阈值过滤后的小波域;
根据所述阈值过滤后的小波域的波峰位置,确定所述音频数据的重音位置。
可选的,如图9所示,所述装置还包括:
第三确定模块640,用于根据预设的波峰值范围与重音等级的对应关系,以及所述阈值过滤后的小波域中的每个波峰位置对应的波峰值,确定每个重音位置对应的重音等级。
可选的,如图10所示,第三确定模块640包括:
第一确定单元341,用于根据所述阈值过滤后的小波域中的每个波峰位置对应的波峰值,确定最大波峰值和最小波峰值;
第二转换单元342,用于根据所述最大波峰值、最小波峰值以及最大最小归一化算法,将每个重音位置对应的波峰值转换为0至1范围内的归一化值;
第二确定单元343,用于根据每个重音位置的波峰值对应的归一化值,以及预设的归一化值范围与重音等级的对应关系,确定每个重音位置对应的重音等级。
可选的,所述最大最小归一化算法的公式为:
Figure BDA0001611705630000122
其中,A(max)表示最大波峰值,A(min)表示最小波峰值,A(i)表示任一重音位置对应的波峰值,a(i)表示A(i)对应的归一化值。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
本公开实施例中,当确定音频数据的重音位置时,首先,基于谐波源分离算法,在音频数据中提取冲击音频数据;然后,基于小波分析算法,确定所述冲击音频数据对应的小波域,其中,所述小波域为所述冲击音频数据经过小波分析算法得到的波形数据;最后,根据所述小波域中的波峰位置,确定所述音频数据的重音位置。上述装置中谐波源分离算法对于没有鼓等打击乐器演奏的音频数据,也可以提取到相对具有突出听感的取冲击音频数据,然后再利用小波分析算法确定音频数据的重音位置。因此,上述方法不仅可以在具有鼓等打击乐器演奏的音乐中确定其重音位置,还可以在没有打击乐器演奏的音乐中确定其重音位置,进而,该方法可以扩大确定音频数据的重音位置的应用场景。
需要说明的是:上述实施例提供的确定音频数据的重音位置的装置在确定音频数据的重音位置时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的确定音频数据的重音位置的装置与确定音频数据的重音位置的方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
本公开实施例,还提供了一种设备,该设备可以是服务器还可以是终端,该设备包括处理器和存储器,所述存储器中存储有至少一条指令,所述指令由所述处理器加载并执行以实现确定音频数据的重音位置的方法:
获取待确定的音频数据;
基于谐波源分离算法,在所述音频数据中提取冲击音频数据;
基于小波分析算法,确定所述冲击音频数据对应的小波域,其中,所述小波域为所述冲击音频数据经过小波分析算法得到的波形数据;
根据所述小波域中的波峰位置,确定所述音频数据的重音位置。
本公开实施例中,不论是对于具有打击乐器演奏的音频数据,还是对于不具有打击乐器演奏的音频数据,在确定其重音位置时,都可以在其音频数据中提取到相对具有突出听感的冲击音频数据,且整个音频数据的各部分都会存在相对具有突出听感的冲击音频数据,其中,音频数据的重音位置通常是分布在上述具有突出听感的冲击音频数据中。之后,再利用小波分析算法,将冲击音频数据中不是重音位置的音频数据衰减掉,以突出重音位置,进而,可以准确确定音频数据的重音位置。可见,上述确定音频数据的重音位置的方法不仅可以应用在具有打击乐器演奏的音频数据,还可以应用在不具有打击乐器演奏的音频数据中,进而,其应用场景更加广泛。
图11是本发明实施例提供的一种计算机设备的结构示意图,该计算机设备可以是上述所述的服务器,该计算机设备1100可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(central processing units,CPU)1101和一个或一个以上的存储器1102,其中,所述存储器1102中存储有至少一条指令,所述至少一条指令由所述处理器1101加载并执行以实现下述确定用户特征数据的方法步骤:
获取待确定的音频数据;
基于谐波源分离算法,在所述音频数据中提取冲击音频数据;
基于小波分析算法,确定所述冲击音频数据对应的小波域,其中,所述小波域为所述冲击音频数据经过小波分析算法得到的波形数据;
根据所述小波域中的波峰位置,确定所述音频数据的重音位置。
可选的,所述至少一条指令由所述处理器1101加载并执行以实现下述方法步骤:
基于短时傅里叶变换,将时域内的音频数据转换为频域内的音频数据;
基于谐波源分离算法,在频域内的音频数据中提取冲击音频数据,其中,傅里叶变换公式为:
Figure BDA0001611705630000141
F(ω)表示频域内的音频数据,f(t)表示时域内的音频数据,t表示时间,ω表示频率。
可选的,所述至少一条指令由所述处理器1101加载并执行以实现下述方法步骤:
基于预设的截止频率,对音频数据,进行低通滤波,得到滤波后的音频数据;
基于谐波源分离技术,在所述滤波后的音频数据中提取冲击音频数据。
可选的,所述至少一条指令由所述处理器1101加载并执行以实现下述方法步骤:
基于预设的振幅阈值,对所述小波域,进行阈值过滤,得到阈值过滤后的小波域;
根据所述阈值过滤后的小波域的波峰位置,确定所述音频数据的重音位置。
可选的,所述至少一条指令由所述处理器1101加载并执行以实现下述方法步骤:
根据预设的波峰值范围与重音等级的对应关系,以及所述阈值过滤后的小波域中的每个波峰位置对应的波峰值,确定每个重音位置对应的重音等级。
可选的,所述至少一条指令由所述处理器1101加载并执行以实现下述方法步骤:
根据所述阈值过滤后的小波域中的每个波峰位置对应的波峰值,确定最大波峰值和最小波峰值;
基于所述最大波峰值、最小波峰值以及最大最小归一化算法,将每个重音位置对应的波峰值转换为0至1范围内的归一化值;
根据每个重音位置的波峰值对应的归一化值,以及预设的归一化值范围与重音等级的对应关系,确定每个重音位置对应的重音等级。
可选的,所述最大最小归一化算法的公式为:
Figure BDA0001611705630000151
其中,A(max)表示最大波峰值,A(min)表示最小波峰值,A(i)表示任一重音位置对应的波峰值,a(i)表示A(i)对应的归一化值。
本公开实施例中,不论是对于具有打击乐器演奏的音频数据,还是对于不具有打击乐器演奏的音频数据,在确定其重音位置时,都可以在其音频数据中提取到相对具有突出听感的冲击音频数据,且整个音频数据的各部分都会存在相对具有突出听感的冲击音频数据,其中,音频数据的重音位置通常是分布在上述具有突出听感的冲击音频数据中。之后,再利用小波分析算法,将冲击音频数据中不是重音位置的音频数据衰减掉,以突出重音位置,进而,可以准确确定音频数据的重音位置。可见,上述确定音频数据的重音位置的方法不仅可以应用在具有打击乐器演奏的音频数据,还可以应用在不具有打击乐器演奏的音频数据中,进而,其应用场景更加广泛。
图12示出了本发明一个示例性实施例提供的终端1200的结构框图。该终端1200可以是:智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio LayerIII,动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group AudioLayer IV,动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端1200还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常,终端1200包括有:处理器1201和存储器1202。
处理器1201可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器1201可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1201也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器1201可以在集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器1201还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器1202可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器1202还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器1202中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器1201所执行以实现本申请中方法实施例提供的确定音频数据的重音位置的方法。
在一些实施例中,终端1200还可选包括有:外围设备接口1203和至少一个外围设备。处理器1201、存储器1202和外围设备接口1203之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1203相连。具体地,外围设备包括:射频电路1204、触摸显示屏1205、摄像头1206、音频电路1207、定位组件1208和电源1209中的至少一种。
外围设备接口1203可被用于将I/O(Input/Output,输入/输出)相关的至少一个外围设备连接到处理器1201和存储器1202。在一些实施例中,处理器1201、存储器1202和外围设备接口1203被集成在同一芯片或电路板上;在一些其他实施例中,处理器1201、存储器1202和外围设备接口1203中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路1204用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路1204通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1204将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路1204包括:天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1204可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路1204还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏1205用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1205是触摸显示屏时,显示屏1205还具有采集在显示屏1205的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1201进行处理。此时,显示屏1205还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏1205可以为一个,设置终端1200的前面板;在另一些实施例中,显示屏1205可以为至少两个,分别设置在终端1200的不同表面或呈折叠设计;在再一些实施例中,显示屏1205可以是柔性显示屏,设置在终端1200的弯曲表面上或折叠面上。甚至,显示屏1205还可以设置成非矩形的不规则图形,也即异形屏。显示屏1205可以采用LCD(Liquid Crystal Display,液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件1206用于采集图像或视频。可选地,摄像头组件1206包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件1206还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路1207可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器1201进行处理,或者输入至射频电路1204以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端1200的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1201或射频电路1204的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路1207还可以包括耳机插孔。
定位组件1208用于定位终端1200的当前地理位置,以实现导航或LBS(LocationBased Service,基于位置的服务)。定位组件1208可以是基于美国的GPS(GlobalPositioning System,全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
电源1209用于为终端1200中的各个组件进行供电。电源1209可以是交流电、直流电、一次性电池或可充电电池。当电源1209包括可充电电池时,该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中,终端1200还包括有一个或多个传感器1210。该一个或多个传感器1210包括但不限于:加速度传感器1211、陀螺仪传感器1212、压力传感器1213、指纹传感器1214、光学传感器1215以及接近传感器1216。
加速度传感器1211可以检测以终端1200建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器1211可以用于检测重力加速度在三个坐标轴上的分量。处理器1201可以根据加速度传感器1211采集的重力加速度信号,控制触摸显示屏1205以横向视图或纵向视图进行用户界面的显示。加速度传感器1211还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器1212可以检测终端1200的机体方向及转动角度,陀螺仪传感器1212可以与加速度传感器1211协同采集用户对终端1200的3D动作。处理器1201根据陀螺仪传感器1212采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器1213可以设置在终端1200的侧边框和/或触摸显示屏1205的下层。当压力传感器1213设置在终端1200的侧边框时,可以检测用户对终端1200的握持信号,由处理器1201根据压力传感器1213采集的握持信号进行左右手识别或快捷操作。当压力传感器1213设置在触摸显示屏1205的下层时,由处理器1201根据用户对触摸显示屏1205的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器1214用于采集用户的指纹,由处理器1201根据指纹传感器1214采集到的指纹识别用户的身份,或者,由指纹传感器1214根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器1201授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器1214可以被设置终端1200的正面、背面或侧面。当终端1200上设置有物理按键或厂商Logo时,指纹传感器1214可以与物理按键或厂商Logo集成在一起。
光学传感器1215用于采集环境光强度。在一个实施例中,处理器1201可以根据光学传感器1215采集的环境光强度,控制触摸显示屏1205的显示亮度。具体地,当环境光强度较高时,调高触摸显示屏1205的显示亮度;当环境光强度较低时,调低触摸显示屏1205的显示亮度。在另一个实施例中,处理器1201还可以根据光学传感器1215采集的环境光强度,动态调整摄像头组件1206的拍摄参数。
接近传感器1216,也称距离传感器,通常设置在终端1200的前面板。接近传感器1216用于采集用户与终端1200的正面之间的距离。在一个实施例中,当接近传感器1216检测到用户与终端1200的正面之间的距离逐渐变小时,由处理器1201控制触摸显示屏1205从亮屏状态切换为息屏状态;当接近传感器1216检测到用户与终端1200的正面之间的距离逐渐变大时,由处理器1201控制触摸显示屏1205从息屏状态切换为亮屏状态。
本领域技术人员可以理解,图12中示出的结构并不构成对终端1200的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
本领域技术人员在考虑说明书及实践这里公开的公开后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由上面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (12)

1.一种确定音频数据的重音位置的方法,其特征在于,所述方法包括:
获取待确定的音频数据;
基于谐波源分离算法,在所述音频数据中提取冲击音频数据;
基于小波分析算法,确定所述冲击音频数据对应的小波域,其中,所述小波域为所述冲击音频数据经过小波分析算法得到的波形数据;
基于预设的振幅阈值,对所述小波域,进行阈值过滤,得到阈值过滤后的小波域;
根据所述小波域中的波峰位置,确定所述音频数据的重音位置;
根据预设的波峰值范围与重音等级的对应关系,以及所述阈值过滤后的小波域中的每个波峰位置对应的波峰值,确定每个重音位置对应的重音等级。
2.根据权利要求1所述的方法,其特征在于,所述基于谐波源分离算法,在音频数据中提取冲击音频数据,包括:
基于短时傅里叶变换,将时域内的音频数据转换为频域内的音频数据;
基于谐波源分离算法,在频域内的音频数据中提取冲击音频数据,其中,傅里叶变换公式为:
Figure FDA0002626327700000011
F(ω)表示频域内的音频数据,f(t)表示时域内的音频数据,t表示时间,ω表示频率。
3.根据权利要求1所述的方法,其特征在于,所述基于谐波源分离算法,在音频数据中提取冲击音频数据,包括:
基于预设的截止频率,对音频数据,进行低通滤波,得到滤波后的音频数据;
基于谐波源分离技术,在所述滤波后的音频数据中提取冲击音频数据。
4.根据权利要求1所述的方法,其特征在于,所述根据预设的波峰值范围与重音等级的对应关系,以及所述阈值过滤后的小波域中的每个波峰位置对应的波峰值,确定每个重音位置对应的重音等级,包括:
根据所述阈值过滤后的小波域中的每个波峰位置对应的波峰值,确定最大波峰值和最小波峰值;
根据所述最大波峰值、最小波峰值以及最大最小归一化算法,将每个重音位置对应的波峰值转换为0至1范围内的归一化值;
根据每个重音位置的波峰值对应的归一化值,以及预设的归一化值范围与重音等级的对应关系,确定每个重音位置对应的重音等级。
5.根据权利要求4所述的方法,其特征在于,所述最大最小归一化算法的公式为:
Figure FDA0002626327700000021
其中,A(max)表示最大波峰值,A(min)表示最小波峰值,A(i)表示任一重音位置对应的波峰值,a(i)表示A(i)对应的归一化值。
6.一种确定音频数据的重音位置的装置,其特征在于,所述装置包括:
获取模块,用于获取待确定的音频数据;
提取模块,用于基于谐波源分离算法,在所述音频数据中提取冲击音频数据;
第一确定模块,用于基于小波分析算法,确定所述冲击音频数据对应的小波域,其中,所述小波域为所述冲击音频数据经过小波分析算法得到的波形数据;
第二确定模块,用于基于预设的振幅阈值,对所述小波域,进行阈值过滤,得到阈值过滤后的小波域;根据所述小波域中的波峰位置,确定所述音频数据的重音位置;
第三确定模块,用于根据预设的波峰值范围与重音等级的对应关系,以及所述阈值过滤后的小波域中的每个波峰位置对应的波峰值,确定每个重音位置对应的重音等级。
7.根据权利要求6所述的装置,其特征在于,所述提取模块,包括:
第一转换单元,用于基于短时傅里叶变换,将时域内的音频数据转换为频域内的音频数据;
第一提取单元,用于基于谐波源分离算法,在频域内的音频数据中提取冲击音频数据,其中,傅里叶变换公式为:
Figure FDA0002626327700000022
F(ω)表示频域内的音频数据,f(t)表示时域内的音频数据,t表示时间,ω表示频率。
8.根据权利要求6所述的装置,其特征在于,所述提取模块,包括:
滤波单元,用于基于预设的截止频率,对音频数据,进行低通滤波,得到滤波后的音频数据;
第二提取单元,用于基于谐波源分离技术,在所述滤波后的音频数据中提取冲击音频数据。
9.根据权利要求6所述的装置,其特征在于,所述第三确定模块包括:
第一确定单元,用于根据所述阈值过滤后的小波域中的每个波峰位置对应的波峰值,确定最大波峰值和最小波峰值;
第二转换单元,用于根据所述最大波峰值、最小波峰值以及最大最小归一化算法,将每个重音位置对应的波峰值转换为0至1范围内的归一化值;
第二确定单元,用于根据每个重音位置的波峰值对应的归一化值,以及预设的归一化值范围与重音等级的对应关系,确定每个重音位置对应的重音等级。
10.根据权利要求9所述的装置,其特征在于,所述最大最小归一化算法的公式为:
Figure FDA0002626327700000031
其中,A(max)表示最大波峰值,A(min)表示最小波峰值,A(i)表示任一重音位置对应的波峰值,a(i)表示A(i)对应的归一化值。
11.一种确定音频数据的重音位置的设备,其特征在于,所述设备包括处理器和存储器,所述存储器中存储有至少一条指令,所述指令由所述处理器加载并执行以实现如权利要求1-5任一项所述的确定音频数据的重音位置的方法。
12.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一条指令,所述指令由处理器加载并执行以实现如权利要求1-5任一项所述的确定音频数据的重音位置的方法。
CN201810268786.3A 2018-03-28 2018-03-28 确定音频数据的重音位置的方法和装置 Active CN108335703B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810268786.3A CN108335703B (zh) 2018-03-28 2018-03-28 确定音频数据的重音位置的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810268786.3A CN108335703B (zh) 2018-03-28 2018-03-28 确定音频数据的重音位置的方法和装置

Publications (2)

Publication Number Publication Date
CN108335703A CN108335703A (zh) 2018-07-27
CN108335703B true CN108335703B (zh) 2020-10-09

Family

ID=62931705

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810268786.3A Active CN108335703B (zh) 2018-03-28 2018-03-28 确定音频数据的重音位置的方法和装置

Country Status (1)

Country Link
CN (1) CN108335703B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109256146B (zh) * 2018-10-30 2021-07-06 腾讯音乐娱乐科技(深圳)有限公司 音频检测方法、装置及存储介质
CN109346044B (zh) * 2018-11-23 2023-06-23 广州酷狗计算机科技有限公司 音频处理方法、装置及存储介质
CN110070856A (zh) * 2019-03-26 2019-07-30 天津大学 一种基于谐波冲击源分离数据增强的音频场景识别方法
CN112259088A (zh) * 2020-10-28 2021-01-22 瑞声新能源发展(常州)有限公司科教城分公司 音频重音识别方法、装置、设备和介质
CN112289344A (zh) * 2020-10-30 2021-01-29 腾讯音乐娱乐科技(深圳)有限公司 鼓点波形确定方法、装置及计算机存储介质
CN112435687A (zh) * 2020-11-25 2021-03-02 腾讯科技(深圳)有限公司 一种音频检测方法、装置、计算机设备和可读存储介质
CN113905177B (zh) * 2021-09-29 2024-02-02 北京字跳网络技术有限公司 视频生成方法、装置、设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2659480A1 (en) * 2010-12-30 2013-11-06 Dolby Laboratories Licensing Corporation Repetition detection in media data
CN103680517A (zh) * 2013-11-20 2014-03-26 华为技术有限公司 一种音频信号的处理方法、装置及设备
CN104217729A (zh) * 2013-05-31 2014-12-17 杜比实验室特许公司 音频处理方法和音频处理装置以及训练方法
CN104620313A (zh) * 2012-06-29 2015-05-13 诺基亚公司 音频信号分析
CN104616663A (zh) * 2014-11-25 2015-05-13 重庆邮电大学 一种结合hpss的mfcc-多反复模型的音乐分离方法
CN105409243A (zh) * 2013-07-12 2016-03-16 耳蜗有限公司 通道化音乐信号的预处理
CN105513583A (zh) * 2015-11-25 2016-04-20 福建星网视易信息系统有限公司 一种歌曲节奏的显示方法及其系统
CN106782612A (zh) * 2016-12-08 2017-05-31 腾讯音乐娱乐(深圳)有限公司 一种逆向爆音检测方法及其装置
CN107316653A (zh) * 2016-04-27 2017-11-03 南京理工大学 一种基于改进的经验小波变换的基频检测方法
CN107682654A (zh) * 2017-09-30 2018-02-09 北京金山安全软件有限公司 视频录制方法、拍摄装置、电子设备及介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006135986A1 (en) * 2005-06-24 2006-12-28 Monash University Speech analysis system

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2659480A1 (en) * 2010-12-30 2013-11-06 Dolby Laboratories Licensing Corporation Repetition detection in media data
CN104620313A (zh) * 2012-06-29 2015-05-13 诺基亚公司 音频信号分析
CN104217729A (zh) * 2013-05-31 2014-12-17 杜比实验室特许公司 音频处理方法和音频处理装置以及训练方法
CN105409243A (zh) * 2013-07-12 2016-03-16 耳蜗有限公司 通道化音乐信号的预处理
CN103680517A (zh) * 2013-11-20 2014-03-26 华为技术有限公司 一种音频信号的处理方法、装置及设备
CN104616663A (zh) * 2014-11-25 2015-05-13 重庆邮电大学 一种结合hpss的mfcc-多反复模型的音乐分离方法
CN105513583A (zh) * 2015-11-25 2016-04-20 福建星网视易信息系统有限公司 一种歌曲节奏的显示方法及其系统
CN107316653A (zh) * 2016-04-27 2017-11-03 南京理工大学 一种基于改进的经验小波变换的基频检测方法
CN106782612A (zh) * 2016-12-08 2017-05-31 腾讯音乐娱乐(深圳)有限公司 一种逆向爆音检测方法及其装置
CN107682654A (zh) * 2017-09-30 2018-02-09 北京金山安全软件有限公司 视频录制方法、拍摄装置、电子设备及介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于节奏的鼓声识别;尹琦卿 等;《软件导刊》;20130630;第12卷(第6期);第140-143页 *

Also Published As

Publication number Publication date
CN108335703A (zh) 2018-07-27

Similar Documents

Publication Publication Date Title
CN108335703B (zh) 确定音频数据的重音位置的方法和装置
CN108538311B (zh) 音频分类方法、装置及计算机可读存储介质
CN109994127B (zh) 音频检测方法、装置、电子设备及存储介质
CN111445901B (zh) 音频数据获取方法、装置、电子设备及存储介质
CN109887494B (zh) 重构语音信号的方法和装置
CN110931053B (zh) 检测录音时延、录制音频的方法、装置、终端及存储介质
CN109192218B (zh) 音频处理的方法和装置
CN110688082B (zh) 确定音量的调节比例信息的方法、装置、设备及存储介质
CN109065068B (zh) 音频处理方法、装置及存储介质
CN111048111B (zh) 检测音频的节奏点的方法、装置、设备及可读存储介质
CN109003621B (zh) 一种音频处理方法、装置及存储介质
CN109243479B (zh) 音频信号处理方法、装置、电子设备及存储介质
WO2021139535A1 (zh) 播放音频的方法、装置、系统、设备及存储介质
CN109192223B (zh) 音频对齐的方法和装置
CN109102811B (zh) 音频指纹的生成方法、装置及存储介质
CN108053832B (zh) 音频信号处理方法、装置、电子设备及存储介质
CN108364660B (zh) 重音识别方法、装置及计算机可读存储介质
CN111092991B (zh) 歌词显示方法及装置、计算机存储介质
CN109961802B (zh) 音质比较方法、装置、电子设备及存储介质
CN112086102B (zh) 扩展音频频带的方法、装置、设备以及存储介质
CN112133332B (zh) 播放音频的方法、装置及设备
CN109360582B (zh) 音频处理方法、装置及存储介质
CN113192531B (zh) 检测音频是否是纯音乐音频方法、终端及存储介质
CN111508513B (zh) 音频处理方法及装置、计算机存储介质
CN111916105B (zh) 语音信号处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant