CN113284501A - 歌手识别方法、装置、设备及存储介质 - Google Patents

歌手识别方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113284501A
CN113284501A CN202110542271.XA CN202110542271A CN113284501A CN 113284501 A CN113284501 A CN 113284501A CN 202110542271 A CN202110542271 A CN 202110542271A CN 113284501 A CN113284501 A CN 113284501A
Authority
CN
China
Prior art keywords
fused
features
singer
feature
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110542271.XA
Other languages
English (en)
Other versions
CN113284501B (zh
Inventor
张旭龙
王健宗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202110542271.XA priority Critical patent/CN113284501B/zh
Publication of CN113284501A publication Critical patent/CN113284501A/zh
Application granted granted Critical
Publication of CN113284501B publication Critical patent/CN113284501B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/02—Preprocessing operations, e.g. segment selection; Pattern representation or modelling, e.g. based on linear discriminant analysis [LDA] or principal components; Feature selection or extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/63—Querying
    • G06F16/635—Filtering based on additional data, e.g. user or group profiles
    • G06F16/636—Filtering based on additional data, e.g. user or group profiles by using biological or physiological data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/04—Training, enrolment or model building
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/06—Decision making techniques; Pattern matching strategies
    • G10L17/14—Use of phonemic categorisation or speech recognition prior to speaker recognition or verification
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/12—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being prediction coefficients
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/24—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being the cepstrum

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Data Mining & Analysis (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Game Theory and Decision Science (AREA)
  • Business, Economics & Management (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Physiology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及人工智能技术领域，揭示了一种歌手识别方法、装置、设备及存储介质，其中方法包括：根据待识别的歌曲音频得到待融合的梅尔频谱、待融合的声纹特征、待融合的音乐中层特征；根据待融合的梅尔频谱和待融合的声纹特征得到待分析的融合特征；对待分析的融合特征进行降维处理和特征提取得到待处理的抽象特征；将待处理的抽象特征进行时间序列维度特征的提取得到待融合的时间序列维度特征；根据待融合的时间序列维度特征和待融合的音乐中层特征得到待预测分类的特征数据；根据待预测分类的特征数据进行分类概率预测和歌手确定得到目标歌手。通过声纹特征有效消除伴奏的影响、音乐中层特征增加对歌曲类型或风格的识别，提高歌手识别的准确率。

Description

歌手识别方法、装置、设备及存储介质
技术领域
本申请涉及到人工智能技术领域，特别是涉及到一种歌手识别方法、装置、设备及存储介质。
背景技术
歌手识别是音乐信息检索领域的一个重要任务，它的目的是在给定的音频中识别出歌手，以便于音乐库的管理。经过适当训练后，歌手识别模型还可以应用于有关歌唱的其他任务，如相似度搜索、播放列表生成或歌声合成等。歌手识别任务主要的两大挑战是伴奏影响与人类发声机制相似。随着深度学习技术的发展，许多学者将深度学习技术应用于歌手识别任务，但是识别准确率还有待提高。
发明内容
本申请的主要目的为提供一种歌手识别方法、装置、设备及存储介质，旨在解决现有技术的将深度学习技术应用于歌手识别任务，但是识别准确率还有待提高的技术问题。
为了实现上述发明目的，本申请提出一种歌手识别方法，所述方法包括：
获取待识别的歌曲音频；
对所述待识别的歌曲音频进行梅尔频谱提取，得到待融合的梅尔频谱；
对所述待识别的歌曲音频进行声纹特征提取，得到待融合的声纹特征；
对所述待融合的梅尔频谱和所述待融合的声纹特征进行融合处理，得到待分析的融合特征；
对所述待分析的融合特征进行降维处理和特征提取，得到待处理的抽象特征；
将所述待处理的抽象特征进行时间序列维度特征的提取，得到待融合的时间序列维度特征；
对所述待识别的歌曲音频进行音乐中层特征的提取，得到待融合的音乐中层特征；
对所述待融合的时间序列维度特征和所述待融合的音乐中层特征进行融合处理，得到待预测分类的特征数据；
根据所述待预测分类的特征数据进行分类概率预测和歌手确定，得到所述待识别的歌曲音频对应的目标歌手。
进一步的，所述对所述待识别的歌曲音频进行声纹特征提取，得到待融合的声纹特征的步骤，包括：
将所述待识别的歌曲音频输入目标歌声分离模型进行人声特征分离，得到待分析的人声特征；
将所述待分析的人声特征输入目标声纹识别模型进行声纹特征提取，得到所述待融合的声纹特征，其中，所述目标声纹识别模型在训练时采用包含噪声和混响的数据增强策略。
进一步的，所述对所述待融合的梅尔频谱和所述待融合的声纹特征进行融合处理，得到待分析的融合特征的步骤，包括：
采用concat方法，对所述待融合的梅尔频谱和所述待融合的声纹特征进行融合处理，得到所述待分析的融合特征。
进一步的，所述对所述待分析的融合特征进行降维处理和特征提取，得到待处理的抽象特征的步骤，包括：
将所述待分析的融合特征输入第一卷积块进行卷积，得到第一卷积特征；
将所述第一卷积特征输入第二卷积块进行卷积，得到第二卷积特征；
将所述第二卷积特征输入第三卷积块进行卷积，得到第三卷积特征；
将所述第三卷积特征输入第四卷积块进行卷积，得到所述待处理的抽象特征；
其中，所述第一卷积块包括：第一卷积层、第一最大池化层和第一随机失活层，所述第一卷积层的卷积核为3×3、通道数为64和激活函数为ELU函数，所述第二卷积块包括：第二卷积层、第二最大池化层和第二随机失活层，所述第二卷积层的卷积核为3×3、通道数为128和激活函数为ELU函数，所述第三卷积块包括：第三卷积层、第三最大池化层和第三随机失活层，所述第三卷积层的卷积核为3×3、通道数为128和激活函数为ELU函数，所述第四卷积块包括：第四卷积层、第四最大池化层和第四随机失活层，所述第四卷积层的卷积核为3×3、通道数为128和激活函数为ELU函数。
进一步的，所述将所述待处理的抽象特征进行时间序列维度特征的提取，得到待融合的时间序列维度特征的步骤，包括：
将所述待处理的抽象特征输入第一门控循环单元进行时间序列维度特征的提取，得到待处理的时间序列维度特征；
将所述待处理的时间序列维度特征输入第二门控循环单元进行时间序列维度特征的提取，得到所述待融合的时间序列维度特征。
进一步的，所述对所述待识别的歌曲音频进行音乐中层特征的提取，得到待融合的音乐中层特征的步骤，包括：
将所述待识别的歌曲音频输入目标音乐中层特征提取模型进行音乐中层特征的提取，得到所述待融合的音乐中层特征，其中，所述目标音乐中层特征提取模型是基于预训练Inception V3网络训练得到的模型。
进一步的，所述根据所述待预测分类的特征数据进行分类概率预测和歌手确定，得到所述待识别的歌曲音频对应的目标歌手的步骤，包括：
将所述待预测分类的特征数据输入分类概率预测模块进行分类概率的预测，得到分类概率预测结果，其中，所述分类概率预测模块采用全连接层结合softmax激活函数进行分类概率预测；
从所述分类概率预测结果中获取最大概率，得到目标概率；
将目标概率对应的歌手作为所述待识别的歌曲音频对应的所述目标歌手。
本申请还提出了一种歌手识别装置，所述装置包括：
歌曲音频获取模块，用于获取待识别的歌曲音频；
待融合的梅尔频谱确定模块，用于对所述待识别的歌曲音频进行梅尔频谱提取，得到待融合的梅尔频谱；
待融合的声纹特征确定模块，用于对所述待识别的歌曲音频进行声纹特征提取，得到待融合的声纹特征；
待分析的融合特征确定模块，用于对所述待融合的梅尔频谱和所述待融合的声纹特征进行融合处理，得到待分析的融合特征；
待处理的抽象特征确定模块，用于对所述待分析的融合特征进行降维处理和特征提取，得到待处理的抽象特征；
待融合的时间序列维度特征确定模块，用于将所述待处理的抽象特征进行时间序列维度特征的提取，得到待融合的时间序列维度特征；
待融合的音乐中层特征确定模块，用于对所述待识别的歌曲音频进行音乐中层特征的提取，得到待融合的音乐中层特征；
待预测分类的特征数据确定模块，用于对所述待融合的时间序列维度特征和所述待融合的音乐中层特征进行融合处理，得到待预测分类的特征数据；
目标歌手确定模块，用于根据所述待预测分类的特征数据进行分类概率预测和歌手确定，得到所述待识别的歌曲音频对应的目标歌手。
本申请还提出了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
本申请还提出了.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
本申请的歌手识别方法、装置、设备及存储介质，通过对待识别的歌曲音频进行梅尔频谱提取，得到待融合的梅尔频谱；对待识别的歌曲音频进行声纹特征提取，得到待融合的声纹特征；对待融合的梅尔频谱和待融合的声纹特征进行融合处理，得到待分析的融合特征；对待分析的融合特征进行降维处理和特征提取，得到待处理的抽象特征；将待处理的抽象特征进行时间序列维度特征的提取，得到待融合的时间序列维度特征；对待识别的歌曲音频进行音乐中层特征的提取，得到待融合的音乐中层特征；对待融合的时间序列维度特征和待融合的音乐中层特征进行融合处理，得到待预测分类的特征数据；根据待预测分类的特征数据进行分类概率预测和歌手确定，得到待识别的歌曲音频对应的目标歌手，通过提取声纹特征有效消除了伴奏的影响，通过提取音乐中层特征可以增加对歌曲类型或风格的识别，从而提高了歌手识别的准确率，有利于音乐库的管理。
附图说明
图1为本申请一实施例的歌手识别方法的流程示意图；
图2为本申请一实施例的歌手识别装置的结构示意框图；
图3为本申请一实施例的计算机设备的结构示意框图。
本申请目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
为了解决现有技术的将深度学习技术应用于歌手识别任务，但是识别准确率还有待提高的技术问题，本申请提出了一种歌手识别方法，所述方法应用于人工智能技术领域，所述方法进一步应用于人工智能的语音处理技术领域。所述歌手识别方法，通过首先根据歌曲音频识别出梅尔频谱、声纹特征、音乐中层特征，然后将梅尔频谱和声纹特征进行融合处理，对融合处理的结果进行降维处理和特征提取以得到抽象特征，将抽象特征进行时间序列维度特征的提取后和音乐中层特征进行融合处理以得到待预测分类的特征，最后根据待预测分类的特征进行分类概率预测和歌手确定以确定歌曲音频对应的歌手，通过提取声纹特征有效消除了伴奏的影响，通过提取音乐中层特征可以增加对歌曲类型或风格的识别，从而提高了歌手识别的准确率，有利于音乐库的管理。
参照图1，本申请实施例中提供一种歌手识别方法，所述方法包括：
S1：获取待识别的歌曲音频；
S2：对所述待识别的歌曲音频进行梅尔频谱提取，得到待融合的梅尔频谱；
S3：对所述待识别的歌曲音频进行声纹特征提取，得到待融合的声纹特征；
S4：对所述待融合的梅尔频谱和所述待融合的声纹特征进行融合处理，得到待分析的融合特征；
S5：对所述待分析的融合特征进行降维处理和特征提取，得到待处理的抽象特征；
S6：将所述待处理的抽象特征进行时间序列维度特征的提取，得到待融合的时间序列维度特征；
S7：对所述待识别的歌曲音频进行音乐中层特征的提取，得到待融合的音乐中层特征；
S8：对所述待融合的时间序列维度特征和所述待融合的音乐中层特征进行融合处理，得到待预测分类的特征数据；
S9：根据所述待预测分类的特征数据进行分类概率预测和歌手确定，得到所述待识别的歌曲音频对应的目标歌手。
本实施例通过对待识别的歌曲音频进行梅尔频谱提取，得到待融合的梅尔频谱；对待识别的歌曲音频进行声纹特征提取，得到待融合的声纹特征；对待融合的梅尔频谱和待融合的声纹特征进行融合处理，得到待分析的融合特征；对待分析的融合特征进行降维处理和特征提取，得到待处理的抽象特征；将待处理的抽象特征进行时间序列维度特征的提取，得到待融合的时间序列维度特征；对待识别的歌曲音频进行音乐中层特征的提取，得到待融合的音乐中层特征；对待融合的时间序列维度特征和待融合的音乐中层特征进行融合处理，得到待预测分类的特征数据；根据待预测分类的特征数据进行分类概率预测和歌手确定，得到待识别的歌曲音频对应的目标歌手，通过提取声纹特征有效消除了伴奏的影响，通过提取音乐中层特征可以增加对歌曲类型或风格的识别，从而提高了歌手识别的准确率，有利于音乐库的管理。
对于S1，可以从数据库中获取待识别的歌曲音频，也可以获取用户输入的待识别的歌曲音频，还可以从第三方应用系统中获取待识别的歌曲音频。
待识别的歌曲音频，也就是需要识别出歌手的歌曲音频。
对于S2，梅尔频谱，是由Stevens、Volkmann和Newman在1937年命名。我们知道，频率的单位是赫兹(Hz)，人耳能听到的频率范围是20-20000Hz，但人耳对Hz这种标度单位并不是线性感知关系。比如，如果我们适应了1000Hz的音调，如果把音调频率提高到2000Hz，我们的耳朵只能觉察到频率提高了一点点，根本察觉不到频率提高了一倍。针对上述的这种非线性感知关系提出了梅尔频谱，梅尔频谱表示声音信息的基本特征。
对所述待识别的歌曲音频进行梅尔频谱提取的方法步骤在此不做赘述。
对于S3，首先从所述待识别的歌曲音频中分离出人声特征，然后再从人声特征中提取出声纹特征，将提取得到的声纹特征作为待融合的声纹特征。从而使待融合的声纹特征中消除了伴奏的影响。
对于S4，对所述待融合的梅尔频谱和所述待融合的声纹特征进行融合处理，以实现将所述待融合的梅尔频谱和所述待融合的声纹特征的合并，合并后得到一个矩阵，将得到的矩阵作为待分析的融合特征。
比如，所述待融合的梅尔频谱是128x512的图像数据，所述待融合的声纹特征是1x512的数据，对所述待融合的梅尔频谱和所述待融合的声纹特征进行融合处理，得到一个129x512的矩阵，将得到的129x512的矩阵作为待分析的融合特征，在此举例不做具体限定。
对于S5，对所述待分析的融合特征进行多次特征捕获操作，每次特征捕获操作依次包括卷积运算、最大池化运算、随机失活运算，以实现降维处理和特征提取，最后得到图像在不同尺度的抽象特征，将得到的抽象特征作为待处理的抽象特征。
对于S6，采用门控循环单元(GRU，Gated Recurrent Unit)，对所述待处理的抽象特征进行时间序列维度特征的提取，将提取得到的时间序列维度特征作为待融合的时间序列维度特征。待融合的梅尔频谱虽然是一张图像，但仍然存在时序特征，通过门控循环单元可以更好处理所述待处理的抽象特征中的时序特征。
门控循环单元是LSTM(长短期记忆人工神经网络)的一种变体，它保持了LSTM的效果同时又使结构更加简单。GRU主要由两部分组成，分别是更新门和重置门。更新门用于控制前一时刻的状态信息被带入到当前状态中的程度，更新门的值越大说明前一时刻的状态信息带入越多。重置门用于控制忽略前一时刻的状态信息的程度，重置门的值越小说明忽略得越多。
对于S7，音乐领域的特征可以粗略的分为三个层级。其中，明确定义的概念，比如节拍、和弦等称为音乐低层特征；没有明确定义的、主观的概念，比如情绪、流派、相似性等称为音乐高层特征，音乐高层特征只有通过考虑音乐的各个方面才能被定义；而介于音乐低层特征与音乐高层特征之间的被称为音乐中层特征，比如音乐的速度、节奏的稳定性等称为音乐中层特征。音乐中层特征的概念最早由Aljanaki提出，用于改进音乐情感识别、音乐检索和音乐分类。
其中，对所述待识别的歌曲音频进行音乐中层特征的提取，将提取的音乐中层特征作为待融合的音乐中层特征。
对于S8，对所述待融合的时间序列维度特征和所述待融合的音乐中层特征进行融合处理，以实现将所述待融合的时间序列维度特征和所述待融合的音乐中层特征的合并，合并后得到一个矩阵，将得到的矩阵作为待预测分类的特征数据。
采用concat方法，对所述待融合的时间序列维度特征和所述待融合的音乐中层特征进行融合处理。
concat是Python(计算机编程语言)中一种数据合并的方法，concat方法相当于数据库中的全连接(UNION ALL),可以指定按某个轴进行连接,也可以指定连接的方式join(outer,inner只有这两种)。
对于S9，首先根据所述待预测分类的特征数据进行分类概率预测，然后从分类概率预测得到的概率中找出最大值，将找出的最大值对应的概率对应的歌手作为所述待识别的歌曲音频对应的目标歌手。也就是说，进行分类概率预测时，分类标签对应的是歌手，分类概率预测的结果就是各个分类标签各自对应的歌手是所述待识别的歌曲音频的歌手的概率。
在一个实施例中，上述对所述待识别的歌曲音频进行声纹特征提取，得到待融合的声纹特征的步骤，包括：
S31：将所述待识别的歌曲音频输入目标歌声分离模型进行人声特征分离，得到待分析的人声特征；
S32：将所述待分析的人声特征输入目标声纹识别模型进行声纹特征提取，得到所述待融合的声纹特征，其中，所述目标声纹识别模型在训练时采用包含噪声和混响的数据增强策略。
本实施例实现了先进行人声特征分离，然后再进行声纹特征提取，通过提取声纹特征有效消除了伴奏的影响，从而提高了歌手识别的准确率；因所述目标声纹识别模型在训练时采用包含噪声和混响的数据增强策略，提高了目标声纹识别模型对于噪声和混响干扰的鲁棒性，进一步提高了歌手识别的准确率。
对于S31，将所述待识别的歌曲音频输入目标歌声分离模型进行人声特征分离，将分离出的人声特征作为待分析的人声特征。
目标歌声分离模型是基于open-unmix(开源音乐音源分离项目)得到的模型。
对于S32，将所述待分析的人声特征输入目标声纹识别模型进行声纹特征提取，将提取到的声纹特征作为所述待融合的声纹特征。
所述目标声纹识别模型是基于X-vectors得到的模型。X-vectors是声纹识别领域主流的模型框架，X-vectors可接受任意长度的输入并且转化为固定长度的特征表达。
其中，获取多个训练样本，所述多个训练样本中每个训练样本包括：音频样本、声纹特征标定值，音频样本是在歌曲音频中加入噪声和混响得到的音频；根据X-vectors得到初始模型；采用所述多个训练样本对所述初始模型进行训练，将训练结束的所述初始模型作为所述目标声纹识别模型。因为音频样本是在歌曲音频中加入噪声和混响得到的音频，实现了在训练时采用包含噪声和混响的数据增强策略，从而提高了目标声纹识别模型对于噪声和混响干扰的鲁棒性。
在同一个训练样本中，声纹特征标定值是对音频样本的声纹特征的标定的结果。
在一个实施例中，上述对所述待融合的梅尔频谱和所述待融合的声纹特征进行融合处理，得到待分析的融合特征的步骤，包括：
S41：采用concat方法，对所述待融合的梅尔频谱和所述待融合的声纹特征进行融合处理，得到所述待分析的融合特征。
本实施例实现了采用concat方法对所述待融合的梅尔频谱和所述待融合的声纹特征进行融合处理，实现了将梅尔频谱的图像数据和声纹特征进行融合，为后续同时对梅尔频谱的图像数据和声纹特征进行降维处理和特征提取提供了基础。
对于S41，采用concat方法，对所述待融合的梅尔频谱和所述待融合的声纹特征进行融合处理，以实现将所述待融合的梅尔频谱和所述待融合的声纹特征的合并，合并后得到一个矩阵，将得到的矩阵作为所述待分析的融合特征。
在一个实施例中，上述对所述待分析的融合特征进行降维处理和特征提取，得到待处理的抽象特征的步骤，包括：
S51：将所述待分析的融合特征输入第一卷积块进行卷积，得到第一卷积特征；
S52：将所述第一卷积特征输入第二卷积块进行卷积，得到第二卷积特征；
S53：将所述第二卷积特征输入第三卷积块进行卷积，得到第三卷积特征；
S54：将所述第三卷积特征输入第四卷积块进行卷积，得到所述待处理的抽象特征；
其中，所述第一卷积块包括：第一卷积层、第一最大池化层和第一随机失活层，所述第一卷积层的卷积核为3×3、通道数为64和激活函数为ELU函数，所述第二卷积块包括：第二卷积层、第二最大池化层和第二随机失活层，所述第二卷积层的卷积核为3×3、通道数为128和激活函数为ELU函数，所述第三卷积块包括：第三卷积层、第三最大池化层和第三随机失活层，所述第三卷积层的卷积核为3×3、通道数为128和激活函数为ELU函数，所述第四卷积块包括：第四卷积层、第四最大池化层和第四随机失活层，所述第四卷积层的卷积核为3×3、通道数为128和激活函数为ELU函数。
本实施例实现了采用4个卷积块进行降维处理和特征提取，得到了对图像在不同尺度的抽象特征，为后续进行时间序列维度特征的提取提供了基础。
对于S51，将所述待分析的融合特征输入第一卷积块进行卷积，将卷积得到的特征作为第一卷积特征。
对于S52，将所述第一卷积特征输入第二卷积块进行卷积，将卷积得到的特征作为第二卷积特征。
对于S53，将所述第二卷积特征输入第三卷积块进行卷积，将卷积得到的特征作为第三卷积特征。
对于S54，将所述第三卷积特征输入第四卷积块进行卷积，将卷积得到的特征作为所述待处理的抽象特征。
可以理解的是，第一卷积层、第二卷积层、第三卷积层、第四卷积层还可以采用其他激活函数，比如，sigmoid函数，tanh函数，ReLU函数，在此不做具体限定。
第一最大池化层采用(2，2)，第二最大池化层采用(4，2)，第三最大池化层采用(4，2)，第四最大池化层采用(4，2)，其中，括号中前一个数是池化矩阵的行数，括号中后一个数是池化矩阵的列数。
第一随机失活层、第二随机失活层、第三随机失活层、第四随机失活层都是随机失活层(Dropout)。第一随机失活层、第二随机失活层、第三随机失活层、第四随机失活层的机失活参数设置为0.1。可以理解的是，第一随机失活层、第二随机失活层、第三随机失活层、第四随机失活层的机失活参数还可以设置为其他数值，在此不做限定。
在一个实施例中，上述将所述待处理的抽象特征进行时间序列维度特征的提取，得到待融合的时间序列维度特征的步骤，包括：
S61：将所述待处理的抽象特征输入第一门控循环单元进行时间序列维度特征的提取，得到待处理的时间序列维度特征；
S62：将所述待处理的时间序列维度特征输入第二门控循环单元进行时间序列维度特征的提取，得到所述待融合的时间序列维度特征。
本实施例实现了采用两个门控循环单元进行时间序列维度特征的提取，为后续准确进行分类概率预测提供了支持，进一步提高了歌手识别的准确率。
对于S61，将所述待处理的抽象特征输入第一门控循环单元进行时间序列维度特征的提取，将提取到的时间序列维度特征作为待处理的时间序列维度特征。
对于S62，将所述待处理的时间序列维度特征输入第二门控循环单元进行时间序列维度特征的提取，将提取到的时间序列维度特征作为所述待融合的时间序列维度特征。
第一门控循环单元和第二门控循环单元完全相同，结构都采用32个单元，随机失活参数都设置为0.3。
在一个实施例中，上述对所述待识别的歌曲音频进行音乐中层特征的提取，得到待融合的音乐中层特征的步骤，包括：
S71：将所述待识别的歌曲音频输入目标音乐中层特征提取模型进行音乐中层特征的提取，得到所述待融合的音乐中层特征，其中，所述目标音乐中层特征提取模型是基于预训练Inception V3网络训练得到的模型。
本实施例实现了基于预训练Inception V3网络训练得到的模型进行音乐中层特征的提取，从而有利于提高提取的音乐中层特征的准确性，进一步提高了歌手识别的准确率。
对于S71，将所述待识别的歌曲音频输入目标音乐中层特征提取模型进行音乐中层特征的提取，将提取的音乐中层特征作为所述待融合的音乐中层特征。
Inception卷积神经网络应用的核心领域的计算机视觉的模型。Inception V3是Inception模型的V3版本。
在一个实施例中，上述根据所述待预测分类的特征数据进行分类概率预测和歌手确定，得到所述待识别的歌曲音频对应的目标歌手的步骤，包括：
S91：将所述待预测分类的特征数据输入分类概率预测模块进行分类概率的预测，得到分类概率预测结果，其中，所述分类概率预测模块采用全连接层结合softmax激活函数进行分类概率预测；
S92：从所述分类概率预测结果中获取最大概率，得到目标概率；
S93：将目标概率对应的歌手作为所述待识别的歌曲音频对应的所述目标歌手。
本实施例采用全连接层结合softmax激活函数进行分类概率预测，再从所述分类概率预测结果中获取最大概率，将最大概率对应的歌手作为目标歌手，从而准确的识别出了待识别的歌曲音频的歌手。
对于S91，所述分类概率预测模块的全连接层的神经元的数量和分类标签的数量相同，每个分类标签对应一个神经元，每个分类标签对应一个歌手。
对于S92，从所述分类概率预测结果中获取最大概率，将提取的最大概率作为目标概率。
对于S93，将目标概率对应的分类标签对应的歌手作为所述待识别的歌曲音频对应的所述目标歌手。
参照图2，本申请还提出了一种歌手识别装置，所述装置包括：
歌曲音频获取模块100，用于获取待识别的歌曲音频；
待融合的梅尔频谱确定模块200，用于对所述待识别的歌曲音频进行梅尔频谱提取，得到待融合的梅尔频谱；
待融合的声纹特征确定模块300，用于对所述待识别的歌曲音频进行声纹特征提取，得到待融合的声纹特征；
待分析的融合特征确定模块400，用于对所述待融合的梅尔频谱和所述待融合的声纹特征进行融合处理，得到待分析的融合特征；
待处理的抽象特征确定模块500，用于对所述待分析的融合特征进行降维处理和特征提取，得到待处理的抽象特征；
待融合的时间序列维度特征确定模块600，用于将所述待处理的抽象特征进行时间序列维度特征的提取，得到待融合的时间序列维度特征；
待融合的音乐中层特征确定模块700，用于对所述待识别的歌曲音频进行音乐中层特征的提取，得到待融合的音乐中层特征；
待预测分类的特征数据确定模块800，用于对所述待融合的时间序列维度特征和所述待融合的音乐中层特征进行融合处理，得到待预测分类的特征数据；
目标歌手确定模块900，用于根据所述待预测分类的特征数据进行分类概率预测和歌手确定，得到所述待识别的歌曲音频对应的目标歌手。
本实施例通过对待识别的歌曲音频进行梅尔频谱提取，得到待融合的梅尔频谱；对待识别的歌曲音频进行声纹特征提取，得到待融合的声纹特征；对待融合的梅尔频谱和待融合的声纹特征进行融合处理，得到待分析的融合特征；对待分析的融合特征进行降维处理和特征提取，得到待处理的抽象特征；将待处理的抽象特征进行时间序列维度特征的提取，得到待融合的时间序列维度特征；对待识别的歌曲音频进行音乐中层特征的提取，得到待融合的音乐中层特征；对待融合的时间序列维度特征和待融合的音乐中层特征进行融合处理，得到待预测分类的特征数据；根据待预测分类的特征数据进行分类概率预测和歌手确定，得到待识别的歌曲音频对应的目标歌手，通过提取声纹特征有效消除了伴奏的影响，通过提取音乐中层特征可以增加对歌曲类型或风格的识别，从而提高了歌手识别的准确率，有利于音乐库的管理。
参照图3，本申请实施例中还提供一种计算机设备，该计算机设备可以是服务器，其内部结构可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于储存歌手识别方法等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种歌手识别方法。所述歌手识别方法，包括：获取待识别的歌曲音频；对所述待识别的歌曲音频进行梅尔频谱提取，得到待融合的梅尔频谱；对所述待识别的歌曲音频进行声纹特征提取，得到待融合的声纹特征；对所述待融合的梅尔频谱和所述待融合的声纹特征进行融合处理，得到待分析的融合特征；对所述待分析的融合特征进行降维处理和特征提取，得到待处理的抽象特征；将所述待处理的抽象特征进行时间序列维度特征的提取，得到待融合的时间序列维度特征；对所述待识别的歌曲音频进行音乐中层特征的提取，得到待融合的音乐中层特征；对所述待融合的时间序列维度特征和所述待融合的音乐中层特征进行融合处理，得到待预测分类的特征数据；根据所述待预测分类的特征数据进行分类概率预测和歌手确定，得到所述待识别的歌曲音频对应的目标歌手。
本实施例通过对待识别的歌曲音频进行梅尔频谱提取，得到待融合的梅尔频谱；对待识别的歌曲音频进行声纹特征提取，得到待融合的声纹特征；对待融合的梅尔频谱和待融合的声纹特征进行融合处理，得到待分析的融合特征；对待分析的融合特征进行降维处理和特征提取，得到待处理的抽象特征；将待处理的抽象特征进行时间序列维度特征的提取，得到待融合的时间序列维度特征；对待识别的歌曲音频进行音乐中层特征的提取，得到待融合的音乐中层特征；对待融合的时间序列维度特征和待融合的音乐中层特征进行融合处理，得到待预测分类的特征数据；根据待预测分类的特征数据进行分类概率预测和歌手确定，得到待识别的歌曲音频对应的目标歌手，通过提取声纹特征有效消除了伴奏的影响，通过提取音乐中层特征可以增加对歌曲类型或风格的识别，从而提高了歌手识别的准确率，有利于音乐库的管理。
本申请一实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现一种歌手识别方法，包括步骤：获取待识别的歌曲音频；对所述待识别的歌曲音频进行梅尔频谱提取，得到待融合的梅尔频谱；对所述待识别的歌曲音频进行声纹特征提取，得到待融合的声纹特征；对所述待融合的梅尔频谱和所述待融合的声纹特征进行融合处理，得到待分析的融合特征；对所述待分析的融合特征进行降维处理和特征提取，得到待处理的抽象特征；将所述待处理的抽象特征进行时间序列维度特征的提取，得到待融合的时间序列维度特征；对所述待识别的歌曲音频进行音乐中层特征的提取，得到待融合的音乐中层特征；对所述待融合的时间序列维度特征和所述待融合的音乐中层特征进行融合处理，得到待预测分类的特征数据；根据所述待预测分类的特征数据进行分类概率预测和歌手确定，得到所述待识别的歌曲音频对应的目标歌手。
上述执行的歌手识别方法，通过对待识别的歌曲音频进行梅尔频谱提取，得到待融合的梅尔频谱；对待识别的歌曲音频进行声纹特征提取，得到待融合的声纹特征；对待融合的梅尔频谱和待融合的声纹特征进行融合处理，得到待分析的融合特征；对待分析的融合特征进行降维处理和特征提取，得到待处理的抽象特征；将待处理的抽象特征进行时间序列维度特征的提取，得到待融合的时间序列维度特征；对待识别的歌曲音频进行音乐中层特征的提取，得到待融合的音乐中层特征；对待融合的时间序列维度特征和待融合的音乐中层特征进行融合处理，得到待预测分类的特征数据；根据待预测分类的特征数据进行分类概率预测和歌手确定，得到待识别的歌曲音频对应的目标歌手，通过提取声纹特征有效消除了伴奏的影响，通过提取音乐中层特征可以增加对歌曲类型或风格的识别，从而提高了歌手识别的准确率，有利于音乐库的管理。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种歌手识别方法，其特征在于，所述方法包括：
获取待识别的歌曲音频；
对所述待识别的歌曲音频进行梅尔频谱提取，得到待融合的梅尔频谱；
对所述待识别的歌曲音频进行声纹特征提取，得到待融合的声纹特征；
对所述待融合的梅尔频谱和所述待融合的声纹特征进行融合处理，得到待分析的融合特征；
对所述待分析的融合特征进行降维处理和特征提取，得到待处理的抽象特征；
将所述待处理的抽象特征进行时间序列维度特征的提取，得到待融合的时间序列维度特征；
对所述待识别的歌曲音频进行音乐中层特征的提取，得到待融合的音乐中层特征；
对所述待融合的时间序列维度特征和所述待融合的音乐中层特征进行融合处理，得到待预测分类的特征数据；
根据所述待预测分类的特征数据进行分类概率预测和歌手确定，得到所述待识别的歌曲音频对应的目标歌手。
2.根据权利要求1所述的歌手识别方法，其特征在于，所述对所述待识别的歌曲音频进行声纹特征提取，得到待融合的声纹特征的步骤，包括：
将所述待识别的歌曲音频输入目标歌声分离模型进行人声特征分离，得到待分析的人声特征；
将所述待分析的人声特征输入目标声纹识别模型进行声纹特征提取，得到所述待融合的声纹特征，其中，所述目标声纹识别模型在训练时采用包含噪声和混响的数据增强策略。
3.根据权利要求1所述的歌手识别方法，其特征在于，所述对所述待融合的梅尔频谱和所述待融合的声纹特征进行融合处理，得到待分析的融合特征的步骤，包括：
采用concat方法，对所述待融合的梅尔频谱和所述待融合的声纹特征进行融合处理，得到所述待分析的融合特征。
4.根据权利要求1所述的歌手识别方法，其特征在于，所述对所述待分析的融合特征进行降维处理和特征提取，得到待处理的抽象特征的步骤，包括：
将所述待分析的融合特征输入第一卷积块进行卷积，得到第一卷积特征；
将所述第一卷积特征输入第二卷积块进行卷积，得到第二卷积特征；
将所述第二卷积特征输入第三卷积块进行卷积，得到第三卷积特征；
将所述第三卷积特征输入第四卷积块进行卷积，得到所述待处理的抽象特征；
其中，所述第一卷积块包括：第一卷积层、第一最大池化层和第一随机失活层，所述第一卷积层的卷积核为3×3、通道数为64和激活函数为ELU函数，所述第二卷积块包括：第二卷积层、第二最大池化层和第二随机失活层，所述第二卷积层的卷积核为3×3、通道数为128和激活函数为ELU函数，所述第三卷积块包括：第三卷积层、第三最大池化层和第三随机失活层，所述第三卷积层的卷积核为3×3、通道数为128和激活函数为ELU函数，所述第四卷积块包括：第四卷积层、第四最大池化层和第四随机失活层，所述第四卷积层的卷积核为3×3、通道数为128和激活函数为ELU函数。
5.根据权利要求1所述的歌手识别方法，其特征在于，所述将所述待处理的抽象特征进行时间序列维度特征的提取，得到待融合的时间序列维度特征的步骤，包括：
将所述待处理的抽象特征输入第一门控循环单元进行时间序列维度特征的提取，得到待处理的时间序列维度特征；
将所述待处理的时间序列维度特征输入第二门控循环单元进行时间序列维度特征的提取，得到所述待融合的时间序列维度特征。
6.根据权利要求1所述的歌手识别方法，其特征在于，所述对所述待识别的歌曲音频进行音乐中层特征的提取，得到待融合的音乐中层特征的步骤，包括：
将所述待识别的歌曲音频输入目标音乐中层特征提取模型进行音乐中层特征的提取，得到所述待融合的音乐中层特征，其中，所述目标音乐中层特征提取模型是基于预训练Inception V3网络训练得到的模型。
7.根据权利要求1所述的歌手识别方法，其特征在于，所述根据所述待预测分类的特征数据进行分类概率预测和歌手确定，得到所述待识别的歌曲音频对应的目标歌手的步骤，包括：
将所述待预测分类的特征数据输入分类概率预测模块进行分类概率的预测，得到分类概率预测结果，其中，所述分类概率预测模块采用全连接层结合softmax激活函数进行分类概率预测；
从所述分类概率预测结果中获取最大概率，得到目标概率；
将目标概率对应的歌手作为所述待识别的歌曲音频对应的所述目标歌手。
8.一种歌手识别装置，其特征在于，所述装置包括：
歌曲音频获取模块，用于获取待识别的歌曲音频；
待融合的梅尔频谱确定模块，用于对所述待识别的歌曲音频进行梅尔频谱提取，得到待融合的梅尔频谱；
待融合的声纹特征确定模块，用于对所述待识别的歌曲音频进行声纹特征提取，得到待融合的声纹特征；
待分析的融合特征确定模块，用于对所述待融合的梅尔频谱和所述待融合的声纹特征进行融合处理，得到待分析的融合特征；
待处理的抽象特征确定模块，用于对所述待分析的融合特征进行降维处理和特征提取，得到待处理的抽象特征；
待融合的时间序列维度特征确定模块，用于将所述待处理的抽象特征进行时间序列维度特征的提取，得到待融合的时间序列维度特征；
待融合的音乐中层特征确定模块，用于对所述待识别的歌曲音频进行音乐中层特征的提取，得到待融合的音乐中层特征；
待预测分类的特征数据确定模块，用于对所述待融合的时间序列维度特征和所述待融合的音乐中层特征进行融合处理，得到待预测分类的特征数据；
目标歌手确定模块，用于根据所述待预测分类的特征数据进行分类概率预测和歌手确定，得到所述待识别的歌曲音频对应的目标歌手。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202110542271.XA 2021-05-18 2021-05-18 歌手识别方法、装置、设备及存储介质 Active CN113284501B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110542271.XA CN113284501B (zh) 2021-05-18 2021-05-18 歌手识别方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110542271.XA CN113284501B (zh) 2021-05-18 2021-05-18 歌手识别方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113284501A true CN113284501A (zh) 2021-08-20
CN113284501B CN113284501B (zh) 2024-03-08

Family

ID=77279696

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110542271.XA Active CN113284501B (zh) 2021-05-18 2021-05-18 歌手识别方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113284501B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113744759A (zh) * 2021-09-17 2021-12-03 广州酷狗计算机科技有限公司 音色模板定制方法及其装置、设备、介质、产品

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102723079A (zh) * 2012-06-07 2012-10-10 天津大学 基于稀疏表示的音乐和弦自动识别方法
US20170140260A1 (en) * 2015-11-17 2017-05-18 RCRDCLUB Corporation Content filtering with convolutional neural networks
CN109308901A (zh) * 2018-09-29 2019-02-05 百度在线网络技术（北京）有限公司 歌唱者识别方法和装置
CN110503961A (zh) * 2019-09-03 2019-11-26 北京字节跳动网络技术有限公司 音频识别方法、装置、存储介质及电子设备
CN110853618A (zh) * 2019-11-19 2020-02-28 腾讯科技（深圳）有限公司 一种语种识别的方法、模型训练的方法、装置及设备
CN111091800A (zh) * 2019-12-25 2020-05-01 北京百度网讯科技有限公司 歌曲生成方法和装置
CN111145763A (zh) * 2019-12-17 2020-05-12 厦门快商通科技股份有限公司 一种基于gru的音频中的人声识别方法及系统
CN112562691A (zh) * 2020-11-27 2021-03-26 平安科技（深圳）有限公司 一种声纹识别的方法、装置、计算机设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102723079A (zh) * 2012-06-07 2012-10-10 天津大学 基于稀疏表示的音乐和弦自动识别方法
US20170140260A1 (en) * 2015-11-17 2017-05-18 RCRDCLUB Corporation Content filtering with convolutional neural networks
CN109308901A (zh) * 2018-09-29 2019-02-05 百度在线网络技术（北京）有限公司 歌唱者识别方法和装置
CN110503961A (zh) * 2019-09-03 2019-11-26 北京字节跳动网络技术有限公司 音频识别方法、装置、存储介质及电子设备
CN110853618A (zh) * 2019-11-19 2020-02-28 腾讯科技（深圳）有限公司 一种语种识别的方法、模型训练的方法、装置及设备
CN111145763A (zh) * 2019-12-17 2020-05-12 厦门快商通科技股份有限公司 一种基于gru的音频中的人声识别方法及系统
CN111091800A (zh) * 2019-12-25 2020-05-01 北京百度网讯科技有限公司 歌曲生成方法和装置
CN112562691A (zh) * 2020-11-27 2021-03-26 平安科技（深圳）有限公司 一种声纹识别的方法、装置、计算机设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113744759A (zh) * 2021-09-17 2021-12-03 广州酷狗计算机科技有限公司 音色模板定制方法及其装置、设备、介质、产品
CN113744759B (zh) * 2021-09-17 2023-09-22 广州酷狗计算机科技有限公司 音色模板定制方法及其装置、设备、介质、产品

Also Published As

Publication number Publication date
CN113284501B (zh) 2024-03-08

Similar Documents

Publication Publication Date Title
Purwins et al. Deep learning for audio signal processing
Li et al. An attention pooling based representation learning method for speech emotion recognition
CN111587455A (zh) 利用机器学习的文本语音合成方法、装置及计算机可读存储介质
Sultana et al. Bangla speech emotion recognition and cross-lingual study using deep CNN and BLSTM networks
Kumar et al. Multilayer Neural Network Based Speech Emotion Recognition for Smart Assistance.
Carbonneau et al. Feature learning from spectrograms for assessment of personality traits
Kurpukdee et al. Speech emotion recognition using convolutional long short-term memory neural network and support vector machines
Koumura et al. Automatic recognition of element classes and boundaries in the birdsong with variable sequences
CN110796231B (zh) 数据处理方法、装置、计算机设备和存储介质
Sefara The effects of normalisation methods on speech emotion recognition
Jahangir et al. Convolutional neural network-based cross-corpus speech emotion recognition with data augmentation and features fusion
Shahriar et al. Classifying maqams of Qur’anic recitations using deep learning
Bharti et al. A hybrid machine learning model for emotion recognition from speech signals
Swain et al. A DCRNN-based ensemble classifier for speech emotion recognition in Odia language
Madanian et al. Speech emotion recognition using machine learning—A systematic review
Chachadi et al. Voice-based gender recognition using neural network
CN112183106A (zh) 一种基于音素联想及深度学习的语义理解方法及装置
CN113284501B (zh) 歌手识别方法、装置、设备及存储介质
Gupta et al. Understanding human emotions through speech spectrograms using deep neural network
Tanveer et al. Ensemble deep learning in speech signal tasks: A review
Yasmin et al. A rough set theory and deep learning-based predictive system for gender recognition using audio speech
Chachadi et al. Gender recognition from speech signal using 1-D CNN
Wieser et al. Understanding auditory representations of emotional expressions with neural networks
Mande et al. EMOTION DETECTION USING AUDIO DATA SAMPLES.
Brueckner et al. Be at odds? deep and hierarchical neural networks for classification and regression of conflict in speech

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant