CN117037837B - 基于音轨分离技术的噪声分离方法和装置 - Google Patents

Abstract

本发明涉及音频数据处理技术领域，具体涉及基于音轨分离技术的噪声分离方法和装置。包括获取多个待处理音频片段；识别多个待处理音频片段中的音乐噪声；确定该待处理音频片段中音乐噪声的噪声时长，截取待处理音频片段并设定为目标音频；对目标音频进行音轨噪声分离；创建相似度比对区间；判定所属方并生成调控指令，以调控指令对相似度比对区间进行序列调控，通过在相似度比对区间内识别待处理音频片段。通过截取存在音乐噪声的待处理音频片段，并结合音乐噪声特征，创建相似度比对区间，以相似度比对区间对后续的待处理音频片段进行对照，从而加快对待处理音频片段中的音乐噪声特征确定，提升对音轨噪声的分离或消除效率。

Description

基于音轨分离技术的噪声分离方法和装置

技术领域

本发明涉及音频数据处理技术领域，具体涉及基于音轨分离技术的噪声分离方法和装置。

背景技术

噪声通常包括多种，例如：音乐噪声、碰撞噪声、喇叭噪声等，噪声的存在给一些音频的使用造成了一定的影响，例如，当在一段录音中存在噪声和人声时，便需要对该录音进行噪声的消除或分离，才便于对该录音进行使用。

中国专利公开号为CN102117618B，就公开了一种消除音乐噪声的方法，包括：计算含噪语音信号在低频带的信噪比；当所述信噪比满足设定阈值时，对所述含噪语音信号的幅度谱估计参数进行修正；利用修正后的幅度谱估计参数对所述含噪语音信号进行噪声抑制。本发明实施例还提供了一种消除音乐噪声的装置及系统。由于在进行噪声抑制之前，对含噪语音信号进行检测，检测出可能产生音乐噪声的含噪语音信号并对其进行幅度谱估计参数的修正，从而提高了音乐噪声检测的精度，进而有效消除音乐噪声。

上述方案中，通过对音乐噪声的消除以便于含噪语音信号使用，但是在对于初始选取该含噪语音信号或语音片段（以下统称为含噪语音片段）时，目前并没有做出优化改进，以至于在对含噪语音片段处理时，依据所选取的含噪语音片段对其进行整体的噪声消除或分离，但当含噪语音片段中的一些时段不存在音乐噪声时，对整体含噪语音片段的处理延缓了消除或分离音乐噪声的整体效率；

基于上述，如何依据该音乐噪声的数据特征实现对目前含噪语音片段中音乐噪声的快速分离或消除是目前需要解决的问题。

发明内容

针对现有技术所存在的上述缺点，本发明提供了基于音轨分离技术的噪声分离方法和装置，能够有效解决现有技术含噪语音信号中的一些时段不存在音乐噪声时，对整体含噪语音信号的处理延缓了消除或分离音乐噪声整体效率的问题。

为实现以上目的，本发明通过以下技术方案予以实现：

本发明提供基于音轨分离技术的噪声分离方法，至少包括：

S1、获取多个待处理音频片段，确定待处理音频片段中存在噪声；

S2、依据音乐旋律识别多个待处理音频片段中的音乐噪声，所述音乐噪声为音乐项目；

S3、通过音乐项目确定该待处理音频片段中音乐噪声的噪声时长，依据噪声时长截取包括音乐噪声的待处理音频片段，并将截取后的待处理音频片段设定为目标音频；

S4、依据确定的音乐项目对截取后的目标音频进行音轨噪声分离；

S5、根据音乐项目的旋律和曲风创建相似度比对区间，所述相似度比对区间包含与音乐项目的旋律和曲风相似的歌曲；

S6、判定多个目标音频中的音乐项目是否存在相同的所属方，当存在且所属方所占的比值大时，生成调控指令，以调控指令对相似度比对区间内的歌曲进行序列并重新生成相似度比对区间，通过后续在相似度比对区间内识别待处理音频片段中的音乐噪声，并重复执行上述S2-S5步骤。

进一步地，多个所述待处理音频片段通过数据库获取，所述数据库包括音频噪声库和音频存储库，通过获取音频噪声库内附带噪声的待处理音频片段，并将处理完成后的待处理音频片段输入至音频存储库。

进一步地，所述音乐项目形成时，依据音乐项目确定其所存在的时长，以时长确定待处理音频片段中的噪声时长，以噪声时长对待处理音频片段进行截取。

进一步地，所述音乐项目确定时，将音乐项目所对应的旋律和曲风设定为对比特征，以对比特征确定与其相似的歌曲，并以此创建相似度比对区间。

进一步地，所述对比特征在确定与其相似的歌曲时，通过确定曲调和或曲风进行判定相似歌曲。

进一步地，所述所属方包括唱作方和版权方，依据唱作方和版权方对目标音频进行比例判定，其判定方式为：

其中的一个唱作方/版权方的比值高于其他的唱作方/版权方：；

式中，为其中的一个唱作方/版权方所对应音乐项目的数量，/>为其他的唱作方/版权方所对应音乐项目的数量，M为唱作方/版权方所对应音乐项目的总量。

进一步地，所述调控指令对相似度比对区间序列调整的方式为：

存在相同的曲调、曲风且所属方比值大时，将该类音乐项目设定为优级对照序列；

存在相同的曲调或曲风且所属方比值大时，将该类音乐项目设定为中级对照序列；

存在相同的曲调或曲风且不存在判定比值，或存在相同的比值且不存在相同的曲调或曲风时，将该类音乐项目设定为次级对照序列；

对照顺序按照优级、中级及次级依次对照。

本发明还提供了基于音轨分离技术的噪声分离装置，应用于所述的基于音轨分离技术的噪声分离方法，至少包括：

数据获取单元，用于获取多个待处理音频片段；

数据识别单元，依据音乐旋律识别多个待处理音频片段中的音乐噪声；

数据处理单元，确定该待处理音频片段中音乐噪声的噪声时长，依据噪声时长截取待处理音频片段，将截取后的待处理音频片段设定为目标音频；

音轨分离单元，对截取后的目标音频进行音轨噪声分离；

对照区间判定单元，根据音乐项目的旋律和曲风创建相似度比对区间，判定目标音频中音乐项目相同的所属方，并生成调控指令，以此对相似度比对区间内的歌曲进行序列调整，使后续在相似度比对区间内识别待处理音频片段中的音乐噪声。

本发明提供的技术方案，与已知的现有技术相比，具有如下有益效果：

1、依据待处理音频片段中音乐噪声的噪声时长数值对待处理音频片段进行适当截取，以获取仅需要进行音乐噪声分离的待处理音频片段，摒弃目前对待处理音频片段音乐噪声消除或分离的方式为整体处理，以此提升目前对待处理音频片段中音轨噪声分离或消除的整体速率。

2、通过结合待处理音频片段中的音乐噪声特征，来获取与音乐噪声特征相同及与其有关的音乐项目，并以此创建相似度比对区间，且依据音乐项目中的所属方再次形成对照特征，以此由对照特征改变相似度比对区间内的音乐项目序列，再结合相似度比对区间对后续的待处理音频片段进行对照，从而加快对待处理音频片段中的音乐噪声特征确定，进一步提升对音轨噪声的分离或消除效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的整体方法流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合实施例对本发明作进一步的描述。

参阅图1，实施例：基于音轨分离技术的噪声分离方法，至少包括：

S1、获取多个待处理音频片段，确定待处理音频片段中存在噪声；

S2、依据音乐旋律识别多个待处理音频片段中的音乐噪声，音乐噪声为音乐项目；

S3、通过音乐项目确定该待处理音频片段中音乐噪声的噪声时长，依据噪声时长截取包括音乐噪声的待处理音频片段，并将截取后的待处理音频片段设定为目标音频；

S4、依据确定的音乐项目对截取后的目标音频进行音轨噪声分离；

S5、根据音乐项目的旋律和曲风创建相似度比对区间，相似度比对区间包含与音乐项目的旋律和曲风相似的歌曲；

S6、判定多个目标音频中的音乐项目是否存在相同的所属方，当存在且所属方所占的比值大时，生成调控指令，以调控指令对相似度比对区间内的歌曲进行序列并重新生成相似度比对区间，通过后续在相似度比对区间内识别待处理音频片段中的音乐噪声，并重复执行上述S2-S5步骤。通过获取需要进行音轨噪声分离的待处理音频片段，因待处理音频片段中的音轨为噪声，因此本方案中待处理音频片段通常为语音中存在音乐噪声，进而，借助音乐旋律在音乐网站中识别该多个待处理音频片段中的音乐噪声（目前对音乐音律识别的软件具有多种，如：QQ音乐、酷狗音乐均可，因此，在本文中就不具体的阐述了），因此，就能确定音乐噪声所对应的音乐项目，从而确定该音乐项目中的音乐时长，该音乐时长就是在待处理音频片段中的噪声时长；

通过借助噪声时长对该待处理音频片段进行时长截取，后在待处理音频片段中截取到存在音乐噪声的剩余音频片段，此时就将剩余音频片段标记为目标音频，此时，便可与音乐项目对目标音频进行音轨分离操作（音轨分离可借助于目前的SpleeterGui、Stems等进行处理，在此不做具体的限定要求），摒弃了目前直接对整个待处理音频片段进行音轨噪声分离的操作，通过仅选取存在音乐噪声的目标音频，实现对目前较长待处理音频片段中音乐噪声的快速分离，加快目前对语音中音轨噪声的分离速率与便捷性；

参照上述，为了再次提高后续待处理音频片段分离音轨噪声的速率：通过上述多个待处理音频片段中的音乐项目来建立与该音乐项目中存在相似旋律和曲风的相似度比对区间，相似度比对区间包括旋律、曲风均与初始音乐项目相似的多首歌曲，因此，上述中识别音乐旋律的音乐网站便可替换为此处的相似度比对区间（因当某处位置中的噪声频繁的为旋律或曲风相似，便可预测该位置后续会频繁的出现此情况，对上述示例：学校中的课间铃声通常包括学生的说话声和课间音乐，在常规情况下，课间音乐通常会选取一些放松、令人心情愉悦的歌曲，不会选取一些沉闷、失落的歌曲（当地区受自然灾害影响时除外，如地震），这是为了确保歌曲不会引导年龄幼小的学生心理出现负面变化，如给学生造成心理负担或负面影响），以此，摒弃了目前直接在音乐网站中海量检索识别的操作，以相似度比对区间加快对该音乐旋律的识别效率；

紧接着，根据上述，当相似度比对区间生成时，通过确定该音乐项目所对应的所属方，以此，在多个音乐项目中判定是否存在相同的所属方，当存在且该所属方所占比值大时，生成调控指令，以对相似度比对区间内的歌曲进行优先查找序列，以此改变相似度比对区间内歌曲的查找顺序，以此对存在多点特征的歌曲进行预先对照识别，以再次提高本方案对待处理音频片段中音乐噪声的处理效率。

综上，示出本发明噪声分离方法的具体实现过程，为了确保本方案可进行具体的实施，如下逐步展开详细阐述：

多个待处理音频片段通过数据库获取，数据库包括音频噪声库和音频存储库，通过获取音频噪声库内附带噪声的待处理音频片段，并将处理完成后的待处理音频片段输入至音频存储库。通常在数据库中，其分别包括音频噪声库和音频存储库，音频噪声库是存储音频中带有噪声的存储空间，音频存储库则是不带噪声或噪声经过分离处理后的音频所存储的空间，因此，通过直接采集音频噪声库内的多个待处理音频片段，便可对该待处理音频片段进行噪声的后续分离处理。

其中，音乐项目形成时，依据音乐项目确定其所存在的时长，以时长确定待处理音频片段中的噪声时长，以噪声时长对待处理音频片段进行截取；本实施例中，通过旋律识别软件确定该待处理音频片段中音乐噪声所对应的音乐项目（歌曲），通过获悉该音乐项目的时长，便可在待处理音频片段中确定该音乐噪声所影响的时长，此时确定噪声时长，以此，就能选取该待处理音频片段中包含此噪声时长的片段，并以此进行截取（目标音频），将此噪声时长以外的片段定义为未存在噪声片段，因此，便可通过所截取的噪声片段设定为目标音频，后续仅通过对目标音频中的噪声分离即可，以实现更为快捷的音轨噪声分离操作。

其次，音乐项目确定时，将音乐项目所对应的旋律和曲风设定为对比特征，以对比特征确定与其相似的歌曲，并以此创建相似度比对区间，对比特征在确定与其相似的歌曲时，通过确定曲调和或曲风进行判定相似歌曲；对于曲调和曲风来说，目前均可通过现有的音乐软件识别出，因此，在本案中不对此类技术进行深层的剖析，可直接借助于目前的音乐软件来分析，以曲调（对应上述旋律）和或曲风相同的判定方式来在音乐网站中确定一些与音乐项目相同的歌曲，此时，本案中的相似度比对区间所包含的歌曲就形成了，进而，后续便可以相似度比对区间来比对需要分析的待处理音频片段，以此提高后续对待处理音频片段的分析处理效率；在本案中，通过选出曲调与曲风相似的歌曲来说，是基于多个目标音频中所涵盖的数据进行确定的，因此，通过在多个待处理音频片段中确定该曲调与曲风，判定该环境下通常存在一些音乐时，其音乐噪声所属的具体类别，以此，使本噪声处理方法可应用于频繁存在音乐噪声的环境中，实现对该环境下音频音乐噪声的处理效率。

具体的，所属方包括唱作方和版权方，依据唱作方和版权方对目标音频进行比例判定，其判定方式如下：

其中的一个唱作方/版权方的比值高于其他的唱作方/版权方：；

式中，为其中的一个唱作方/版权方所对应音乐项目的数量，/>为其他的唱作方/版权方所对应音乐项目的数量，M为唱作方/版权方所对应音乐项目的总量，根据上述，便可确定在其中的一个唱作方所唱作的数量或版权方所对应的数量占比高于其他的唱作方或版权方时，生成调控指令，便可对该相似度比对区间内的歌曲进行序列调整，其中，调控指令对相似度比对区间序列调整的方式为：

存在相同的曲调、曲风且所属方比值大时，将该类音乐项目设定为优级对照序列；

存在相同的曲调或曲风且所属方比值大时，将该类音乐项目设定为中级对照序列；

存在相同的曲调或曲风且不存在判定比值，或存在相同的比值且不存在相同的曲调或曲风时，将该类音乐项目设定为次级对照序列；

对照顺序按照优级、中级及次级依次对照，以此，通过上述多种比对特征，便可将相似度比对区间中的数据进行等级划分，以此，在后续通过对音乐噪声进行识别时，以加快对音乐噪声的识别效率，以此提高本方案对音频中音轨噪声的整体分离速率；其中，不存在判定比值及存在相同的比值是指：多个所属方比值均衡，不存在某一个较大的情况。

基于上述，本发明还提供了基于音轨分离技术的噪声分离装置，至少包括：

数据获取单元，用于获取多个待处理音频片段；

数据识别单元，依据音乐旋律识别多个待处理音频片段中的音乐噪声；

数据处理单元，确定该待处理音频片段中音乐噪声的噪声时长，依据噪声时长截取待处理音频片段，将截取后的待处理音频片段设定为目标音频；

音轨分离单元，对截取后的目标音频进行音轨噪声分离；

对照区间判定单元，根据音乐项目的旋律和曲风创建相似度比对区间，判定目标音频中音乐项目相同的所属方，并生成调控指令，以此对相似度比对区间内的歌曲进行序列调整，使后续在相似度比对区间内识别待处理音频片段中的音乐噪声，因本装置是基于上述方法进行实现的，因此，参照上述方法即可，在此处就不进行一一赘述了。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不会使相应技术方案的本质脱离本发明各实施例技术方案的保护范围。

Claims (6)

1.基于音轨分离技术的噪声分离方法，其特征在于，至少包括：

S1、获取多个待处理音频片段，确定待处理音频片段中存在噪声；

S2、依据音乐旋律识别多个待处理音频片段中的音乐噪声，所述音乐噪声为音乐项目；

S3、通过音乐项目确定该待处理音频片段中音乐噪声的噪声时长，依据噪声时长截取包括音乐噪声的待处理音频片段，并将截取后的待处理音频片段设定为目标音频；

S4、依据确定的音乐项目对截取后的目标音频进行音轨噪声分离；

S5、根据音乐项目的旋律和曲风创建相似度比对区间，所述相似度比对区间包含与音乐项目的旋律和曲风相似的歌曲；

S6、判定多个目标音频中的音乐项目是否存在相同的所属方，当存在且所属方所占的比值大时，生成调控指令，以调控指令对相似度比对区间内的歌曲进行序列并重新生成相似度比对区间，通过后续在相似度比对区间内识别待处理音频片段中的音乐噪声，并重复执行上述S2-S5步骤；

所述所属方包括唱作方和版权方，依据唱作方和版权方对目标音频进行比例判定，其判定方式为：

其中的一个唱作方/版权方的比值高于其他的唱作方/版权方：；

式中，为其中的一个唱作方/版权方所对应音乐项目的数量，/>为其他的唱作方/版权方所对应音乐项目的数量，M为唱作方/版权方所对应音乐项目的总量；

所述调控指令对相似度比对区间序列调整的方式为：

存在相同的曲调、曲风且所属方比值大时，将该类音乐项目设定为优级对照序列；

存在相同的曲调或曲风且所属方比值大时，将该类音乐项目设定为中级对照序列；

存在相同的曲调或曲风且不存在判定比值，或存在相同的比值且不存在相同的曲调或曲风时，将该类音乐项目设定为次级对照序列；

对照顺序按照优级、中级及次级依次对照；

其中，不存在判定比值及存在相同的比值是指：多个所属方比值均衡。

2.根据权利要求1所述的基于音轨分离技术的噪声分离方法，其特征在于，多个所述待处理音频片段通过数据库获取，所述数据库包括音频噪声库和音频存储库，通过获取音频噪声库内附带噪声的待处理音频片段，并将处理完成后的待处理音频片段输入至音频存储库。

3.根据权利要求1所述的基于音轨分离技术的噪声分离方法，其特征在于，所述音乐项目形成时，依据音乐项目确定其所存在的时长，以时长确定待处理音频片段中的噪声时长，以噪声时长对待处理音频片段进行截取。

4.根据权利要求1所述的基于音轨分离技术的噪声分离方法，其特征在于，所述音乐项目确定时，将音乐项目所对应的旋律和曲风设定为对比特征，以对比特征确定与其相似的歌曲，并以此创建相似度比对区间。

5.根据权利要求4所述的基于音轨分离技术的噪声分离方法，其特征在于，所述对比特征在确定与其相似的歌曲时，通过确定曲调和或曲风进行判定相似歌曲。

6.基于音轨分离技术的噪声分离装置，应用于权利要求1-5中任一项所述的基于音轨分离技术的噪声分离方法，其特征在于，至少包括：

数据获取单元，用于获取多个待处理音频片段；

数据识别单元，依据音乐旋律识别多个待处理音频片段中的音乐噪声；

数据处理单元，确定该待处理音频片段中音乐噪声的噪声时长，依据噪声时长截取待处理音频片段，将截取后的待处理音频片段设定为目标音频；

音轨分离单元，对截取后的目标音频进行音轨噪声分离；

对照区间判定单元，根据音乐项目的旋律和曲风创建相似度比对区间，判定目标音频中音乐项目相同的所属方，并生成调控指令，以此对相似度比对区间内的歌曲进行序列调整，使后续在相似度比对区间内识别待处理音频片段中的音乐噪声。