CN112948623B - 音乐热度预测方法、装置、计算设备以及介质 - Google Patents

音乐热度预测方法、装置、计算设备以及介质 Download PDF

Info

Publication number
CN112948623B
CN112948623B CN202110215097.8A CN202110215097A CN112948623B CN 112948623 B CN112948623 B CN 112948623B CN 202110215097 A CN202110215097 A CN 202110215097A CN 112948623 B CN112948623 B CN 112948623B
Authority
CN
China
Prior art keywords
music
time period
heat
determining
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110215097.8A
Other languages
English (en)
Other versions
CN112948623A (zh
Inventor
黄安麒
曹偲
刘华平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Netease Cloud Music Technology Co Ltd
Original Assignee
Hangzhou Netease Cloud Music Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Netease Cloud Music Technology Co Ltd filed Critical Hangzhou Netease Cloud Music Technology Co Ltd
Priority to CN202110215097.8A priority Critical patent/CN112948623B/zh
Publication of CN112948623A publication Critical patent/CN112948623A/zh
Application granted granted Critical
Publication of CN112948623B publication Critical patent/CN112948623B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/65Clustering; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本公开实施例提供了一种音乐热度预测方法、装置、计算设备以及介质。该方法包括:提取待预测音乐的各个时间段的音乐片段的音乐特征;对各个时间段的音乐片段的音乐特征进行时序位置识别,得到各个时间段的音乐片段的时序特征;基于各个时间段的音乐片段的时序特征,对各个时间段的音乐片段进行分类,得到各个时间段的音乐片段的结构类型;基于时序特征以及结构类型,确定待预测音乐的各个时间段的音乐片段的热度值。根据本公开实施例的技术方案,不仅能够对音乐的局部热度进行预测,而且不需要积累用户历史行为数据就能对音乐热度进行预测,降低了音乐热度预测的人力成本和时间成本。

Description

音乐热度预测方法、装置、计算设备以及介质
技术领域
本公开的实施方式涉及机器学习技术领域,更具体地,本公开的实施方式涉及音乐热度预测方法、音乐热度预测装置、计算设备以及介质。
背景技术
本部分旨在为权利要求书中陈述的本公开的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
随着数字音乐行业的发展,音乐流媒体平台上的音乐内容越来越多,如何确定音乐在未来的热度成为了关注的焦点。
在相关技术方案中,获取音乐流媒体平台上该音乐的用户历史行为数据,例如(播放数、收藏率、完整播放率、重复播放率、艺人热度等),根据用户历史行为数据,预测音乐在未来的歌曲热度。
发明内容
但是,上述技术方案中仅能对整曲音乐在未来的热度进行预测,不能对音乐的局部热度进行预测。
为此,非常需要一种改进的音乐热度预测方法,以使能够预测音乐在未来的局部热度。
在本公开实施例的第一方面中,提供了一种音乐热度预测方法,包括:提取待预测音乐的各个时间段的音乐片段的音乐特征;对各个时间段的音乐片段的音乐特征进行时序位置识别,得到各个时间段的音乐片段的时序特征;基于各个时间段的音乐片段的时序特征,对各个时间段的音乐片段进行分类,得到各个时间段的音乐片段的结构类型;基于所述时序特征以及所述结构类型,确定所述待预测音乐的各个时间段的音乐片段的热度值。
在本公开的一些示例实施例中,所述方法还包括:基于所述结构类型,确定各个时间段的所述音乐片段的热度权重;基于所述热度权重对各个时间段的所述音乐片段的所述热度值进行加权运算,确定所述待预测音乐的音乐整曲热度。
在本公开的一些示例实施例中,所述音乐特征包括多种类型的音频特征,所述提取待预测音乐的各个时间段的音乐片段的音乐特征,包括:确定所述待预测音乐的各种类型的音频特征,所述音频特征包括频谱特征、旋律特征、和旋特征以及乐器特征中的一种或多种;通过第一循环神经网络确定所述待预测音乐的各个时间段的音乐片段的所述多种类型的音频特征;对各个时间段的所述多种类型中各种类型的音频特征进行特征拼接处理,生成所述待预测音乐的各个所述时间段的所述音乐特征。
在本公开的一些示例实施例中,所述对各个时间段的音乐片段的音乐特征进行时序位置识别,得到各个时间段的音乐片段的时序特征,包括: 通过第二循环神经网络对各个时间段的音乐片段的音乐特征进行时序特征关联,确定各个时间段的音乐片段的音乐特征的时序位置;基于所述时序位置,确定各个时间段的音乐片段的时序特征;
所述基于各个时间段的音乐片段的时序特征,对各个时间段的音乐片段进行分类,包括:将各个时间段的音乐片段的时序特征输入片段分类神经网络;通过所述片段分类神经网络对各个时间段的音乐片段进行分类;
所述基于所述时序特征以及所述结构类型,确定所述待预测音乐的各个时间段的音乐片段的热度值,包括:将各个时间段的音乐片段的所述时序特征以及所述结构类型输入到片段热度预测网络;通过所述片段热度预测网络确定所述待预测音乐的各个时间段的音乐片段的热度值。
在本公开的一些示例实施例中,所述第二循环神经网络为长短期记忆LSTM网络,所述片段分类神经网络以及所述片段热度预测网络均为卷积神经网络。
在本公开的一些示例实施例中,所述第二循环神经网络与所述片段分类神经网络均属于音乐结构预测网络的一部分,所述方法还包括:确定样本音乐的各个时间段的音乐片段的音乐特征以及结构类型,所述结构类型包括主歌、副歌以及桥段中的一种或多种;基于所述音乐特征以及所述结构类型对所述音乐结构预测网络进行训练。
在本公开的一些示例实施例中,所述片段热度预测网络属于整曲热度预测网络的一部分,所述方法还包括:确定样本音乐的热度标签以及各个时间段的音乐片段的音乐特征;基于所述样本音乐的各个时间段的音乐片段的音乐特征,通过所述音乐结构预测网络确定各个时间段的音乐片段的结构类型;基于所述样本音乐的热度标签以及各个时间段的音乐片段的音乐特征与结构类型,对所述整曲热度预测网络进行训练。
在本公开的一些示例实施例中,所述确定样本音乐的热度标签,包括:对目标音乐平台上的所述样本音乐的用户行为数据进行统计,确定多个热度评估指标,所述热度评估指标包括点播量、收藏量以及评论量中的一种或多种;对各个所述热度评估指标进行加权运算,确定所述样本音乐的热度评估值;基于预定热度阈值对所述热度评估值进行分级,确定所述样本音乐的所述热度标签。
在本公开的一些示例实施例中,所述音乐特征还包括歌词特征,所述方法还包括:提取所述待预测音乐的歌词特征,所述歌词特征包括词袋特征、词向量特征以及句向量特征。
在本公开实施例的第二方面中,提供了一种音乐热度预测装置,包括:音乐特征提取模块,用于提取待预测音乐的各个时间段的音乐片段的音乐特征;时序特征确定模块,用于对各个时间段的音乐片段的音乐特征进行时序位置识别,得到各个时间段的音乐片段的时序特征;结构类型确定模块,用于基于各个时间段的音乐片段的时序特征,对各个时间段的音乐片段进行分类,得到各个时间段的音乐片段的结构类型;片段热度确定模块,用于基于所述时序特征以及所述结构类型,确定所述待预测音乐的各个时间段的音乐片段的热度值。
在本公开的一些示例实施例中,所述装置还包括:热度权重确定模块,用于基于所述结构类型,确定各个时间段的所述音乐片段的热度权重;整曲热度确定模块,用于基于所述热度权重对各个时间段的所述音乐片段的所述热度值进行加权运算,确定所述待预测音乐的音乐整曲热度。
在本公开的一些示例实施例中,所述音乐特征包括多种类型的音频特征,所述音乐特征提取模块还用于:确定所述待预测音乐的各种类型的音频特征,所述音频特征包括频谱特征、旋律特征、和旋特征以及乐器特征中的一种或多种;通过第一循环神经网络确定所述待预测音乐的各个时间段的音乐片段的所述多种类型的音频特征;对各个时间段的所述多种类型中各种类型的音频特征进行特征拼接处理,生成所述待预测音乐的各个所述时间段的所述音乐特征。
在本公开的一些示例实施例中,所述音乐特征提取模块还用于: 通过第二循环神经网络对各个时间段的音乐片段的音乐特征进行时序特征关联,确定各个时间段的音乐片段的音乐特征的时序位置;基于所述时序位置,确定各个时间段的音乐片段的时序特征;
所述结构类型确定模块还用于:将各个时间段的音乐片段的时序特征输入片段分类神经网络;通过所述片段分类神经网络对各个时间段的音乐片段进行分类;
所述片段热度确定模块还用于:将各个时间段的音乐片段的所述时序特征以及所述结构类型输入到片段热度预测网络;通过所述片段热度预测网络确定所述待预测音乐的各个时间段的音乐片段的热度值。
在本公开的一些示例实施例中,所述第二循环神经网络为长短期记忆LSTM网络,所述片段分类神经网络以及所述片段热度预测网络均为卷积神经网络。
在本公开的一些示例实施例中,所述第二循环神经网络与所述片段分类神经网络均属于音乐结构预测网络的一部分,所述装置还包括:第一样本确定模块,用于确定样本音乐的各个时间段的音乐片段的音乐特征以及结构类型,所述结构类型包括主歌、副歌以及桥段中的一种或多种;第一训练模块,用于基于所述音乐特征以及所述结构类型对所述音乐结构预测网络进行训练。
在本公开的一些示例实施例中,所述片段热度预测网络属于整曲热度预测网络的一部分,所述装置还包括:第二样本确定模块,用于确定样本音乐的热度标签以及各个时间段的音乐片段的音乐特征;样本结构预测模块,用于基于所述样本音乐的各个时间段的音乐片段的音乐特征,通过所述音乐结构预测网络确定各个时间段的音乐片段的结构类型;第二训练模块,用于基于所述样本音乐的热度标签以及各个时间段的音乐片段的音乐特征与结构类型,对所述整曲热度预测网络进行训练。
在本公开的一些示例实施例中,所述第二样本确定模块还用于:对目标音乐平台上的所述样本音乐的用户行为数据进行统计,确定多个热度评估指标,所述热度评估指标包括点播量、收藏量以及评论量中的一种或多种;对各个所述热度评估指标进行加权运算,确定所述样本音乐的热度评估值;基于预定热度阈值对所述热度评估值进行分级,确定所述样本音乐的所述热度标签。
在本公开的一些示例实施例中,所述音乐特征还包括歌词特征,所述装置还包括:特征特征提取模块,用于提取所述待预测音乐的歌词特征,所述歌词特征包括词袋特征、词向量特征以及句向量特征。
在本公开实施例的第三方面中,提供了一种计算设备,包括:处理器和存储器,所述存储器存储有可执行指令,所述处理器用于调用所述存储器存储的可执行指令执行如上述第一方面中任一项所述的方法。
在本公开实施例的第四方面中,提供了一种介质,其上存储有程序,该程序被处理器执行时实现如上述第一方面中任一项所述的方法。
根据本公开实施例的技术方案,一方面,基于各个时间段的音乐片段的时序特征,确定各个时间段的音乐片段的结构类型,能够对各个时间段的音乐片段进行分类;另一方面,基于各个时间段的音乐片段的时序特征以及结构类型,确定待预测音乐的各个时间段的音乐片段的热度值,不仅能够对音乐的局部热度进行预测,而且不需要积累用户历史行为数据就能对音乐热度进行预测;再一方面,由于相同的音乐内容出现在不同音乐结构的位置会对音乐的热度有不同的影响,本方案通过精细化的预测音乐片段的局部热度,且考量到音乐片段的结构类型因素,能够提高音乐热度预测的准确性,避免了对高成本人力评估方式的依赖。
附图说明
通过参考附图阅读下文的详细描述,本公开示例性实施例的上述以及其他目的、特征和优点将变得易于理解。在附图中,以示例性而非限制性的方式示出了本公开的若干实施方式,其中:
图1示意性地示出了根据本公开实施例的音乐热度预测方法的应用场景的示意图;
图2示意性地示出了根据本公开的一些实施例的音乐热度预测方法的流程图;
图3示意性地示出了应用根据本公开的一些实施例的音乐热度预测装置的结构框图;
图4示意性示出了根据本公开的又一些实施例的音乐特征的示意图;
图5示意性地示出了根据本公开的一些实施例的音乐结构预测网络的结构框图;
图6示意性地示出了根据本公开的一些实施例的音乐结构概率矩阵的示意图;
图7示意性地示出了根据本公开的另一些实施例的音乐热度预测网络的结构框图;
图8示意性地示出了根据本公开的一些实施例的确定整曲热度的示意图;
图9示意性地示出了根据本公开的一些实施例的计算机可读存储介质的示意图;
图10示意性示出了根据本公开的一些实施例的音乐热度预测装置的结构框图;
图11示意性示出了根据本公开的一些实施例的计算设备的结构框图。
在附图中,相同或对应的标号表示相同或对应的部分。
具体实施方式
下面将参考若干示例性实施例来描述本公开的原理和精神。应当理解,给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本公开,而并非以任何方式限制本公开的范围。相反,提供这些实施方式是为了使本公开更加透彻和完整,并且能够将本公开的范围完整地传达给本领域的技术人员。
本领域技术人员知道,本公开的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此,本公开可以具体实现为以下形式,即:完全的硬件、完全的软件(包括固件、驻留软件、微代码等),或者硬件和软件结合的形式。
根据本公开的实施方式,提出了一种音乐热度预测方法、装置、计算设备和介质。
在本文中,需要理解的是,所涉及的术语:
音乐片段的结构类型:一般歌曲的主要结构类型包括,主歌、副歌、桥段、过度句等。
音乐热度:音乐或歌曲在音乐流媒体平台上的播放量表现。
音乐热度预测:输入歌曲音频、歌词等信息,输出歌曲在未来的音乐热度的算法。
音乐热度预测曲线:音乐或歌曲中,不同时间点的音乐片段的热度预测值,所形成的曲线。
此外,附图中的任何元素数量均用于示例而非限制,以及任何命名都仅用于区分,而不具有任何限制含义。
下面参考本公开的若干代表性实施方式,详细阐释本公开的原理和精神。
发明概述
本发明人发现,为了解决如何对音乐的热度进行预测的问题,在一种技术方案中,通过专业人员在音乐平台上对音乐进行热度预测打分,音乐平台收集人工打分进行数据整理,输出热度预测结果。然而,在这种技术方案中,不仅人工成本较高,而且难以对音乐的局部热度进行预测。
基于上述内容,本公开的基本思想在于:提取待预测音乐的各个时间段的音乐片段的时序特征;基于各个时间段的音乐片段的时序特征,确定各个时间段的音乐片段的结构类型,结合各个时间段的时序特征和结构类型确定各个时间段的热度值。根据本公开实施例的技术方案,一方面,基于各个时间段的音乐片段的时序特征,确定各个时间段的音乐片段的结构类型,能够对各个时间段的音乐片段进行分类;另一方面,基于各个时间段的音乐片段的时序特征以及结构类型,确定待预测音乐的各个时间段的音乐片段的热度值,不仅能够对音乐的局部热度进行预测,而且不需要积累用户历史行为数据就能对音乐热度进行预测;再一方面,由于相同的音乐内容出现在不同音乐结构的位置会对音乐的热度有不同的影响,本方案通过精细化的预测音乐片段的局部热度,且考量到音乐片段的结构类型因素,能够提高音乐热度预测的准确性,避免了对高成本人力评估方式的依赖。
在介绍了本公开的基本原理之后,下面具体介绍本公开的各种非限制性实施方式。
应用场景总览
需要注意的是,下述应用场景仅是为了便于理解本公开的精神和原理而示出,本公开的实施方式在此方面不受任何限制。相反,本公开的实施方式可以应用于适用的任何场景。
图1示意性地示出了根据本公开实施例的音乐热度预测方法的应用场景的示意图。
参照图1所示,该应用场景可以包括:至少一个客户端110以及服务器端120,其中,客户端110安装有音乐应用程序。客户端110与服务器端120之间通过网络130进行通信。用户打开客户端110上安装的音乐应用程序,点击音乐应用程序上的音乐A进行播放时,向服务器端120发送音乐A的播放请求。服务器端120响应于音乐A的播放请求,确定音乐A的各个时间段的音乐片段的时序特征以及结构类型,基于各个时间段的音乐片段的时序特征以及结构类型,确定音乐A的各个时间段的音乐片段的热度和/或音乐A的整曲热度,将音乐A的各个时间段的音乐片段的热度和/或整曲热度返回给客户端110。
需要说明的是,客户端110可以为手机、平板电脑、台式计算机、便携笔记本式计算机或车载式终端等。服务器端120可以为包含独立主机的物理服务器,或者为主机集群承载的虚拟服务器,或者为云服务器。网络130可以为有线网络或无线网络,例如,网络130可以为PSTN(Public Switched Telephone Network,公共交换电话网络)或因特网。
示例性方法
下面结合上述的应用场景,参考图2来描述根据本公开示例性实施例的音乐热度预测方法。本公开实施例提供的音乐热度预测方法的执行主体可以是具有计算处理功能的设备,比如图1中的服务器端120等。需要注意的是,上述应用场景仅是为了便于理解本公开的精神和原理而示出,本公开的实施例在此方面不受任何限制。相反,本公开的实施例可以应用于适用的任何场景。
参照图2所示,在步骤S210中,提取待预测音乐的各个时间段的音乐片段的音乐特征。
在示例实施例中,音乐特征包括多种音频特征,音频特征可以包括频谱特征、旋律特征、和弦特征以及乐器特征中的一种或多种。在一些示例实施例中,可以以预定时间间隔例如500ms将待预测音乐划分为多个时间段,得到各个时间段的音乐片段,通过各种音频特征对应的提取算法或者提取工具提取各个音乐片段的多种音频特征,对一个音乐片段的多种音频特征进行拼接处理,得到各个时间段的音乐片段的音乐特征。
举例而言,在一些示例实施例中,通过时频转换算法例如傅里叶变换提取音乐片段的频率特征,通过旋律提取运算例如shazam算法提取音乐片的旋律特征;通过傅里叶变换得到音乐的声谱图,将声谱图转换为PCP(Pitch Class Profile,音级轮廓图)特征,再根据准备好的和弦模版与PCP特征进行模式匹配,得到音乐的和旋特征;通过乐器分类模型得到音乐的乐器特征。在另一些实施例中,可以通过现有的音频提取工具例如Aubio或Librosa等工具提取音乐片段的音频特征。
需要说明的是,虽然以上述音频特征为例进行说明,但是本领域技术人员应该理解的是,本公开实施例中的音频特征不限于此,例如,音频特征还可以包括节拍特征等,这同样在本公开的保护范围内。
在步骤S220中,对各个时间段的音乐片段的音乐特征进行时序位置识别,得到各个时间段的音乐片段的时序特征。
在示例实施例中,通过循环神经网络例如LSTM(Long Short-Term Memory,长短期记忆)神经网络对各个时间段的音乐片段的音乐特征进行时序位置识别,得到各个时间段的音乐片段的时序特征。
需要说明的是,虽然以循环神经网络为LSTM网络进行说明,但是本领域技术人员应该理解的是,循环神经网络还可以为其他适当的网络例如GRU(Gated Recurrent Units,门控循环单元)网络,这同样在本公开的保护范围内。
在步骤S230中,基于各个时间段的音乐片段的时序特征,对各个时间段的音乐片段进行分类,得到各个时间段的音乐片段的结构类型。
在示例实施例中,音乐片段的结构类型包括主歌、副歌以及桥段中的一种或多种。需要说明的是,音乐片段的结构类型不限于上述几种,例如结构类型还可以包括流行句或过渡句等,这同样在本公开的保护范围内。
进一步地,在示例实施例中,通过循环神经网络确定各个时间段的音乐片段的时序特征,时序特征可以为以下形式[步长,时序位置,音乐特征]的形式;基于各个时间段的音乐片段的时序特征,通过片段分类神经网络对各个时间段的音乐片段进行分类,得到各个时间段的音乐片段的结构类型。
在一些示例实施例中,循环神经网络和片段分类神经网络为音乐结构预测网络的一部分,可以通过预先训练音乐结构预测网络来训练该循环神经网络和片段分类神经网络。举例而言,在示例实施例中,获取样本音乐,确定样本音乐的各个时间段的音乐片段的音乐特征以及结构类型,结构类型包括主歌、副歌以及桥段中的一种或多种;基于音乐特征以及结构类型对音乐结构预测网络进行训练。
在步骤S240中,基于各个时间段的音乐片段的时序特征以及结构类型,确定待预测音乐的各个时间段的音乐片段的热度值。
在示例实施例中,基于各个时间段的音乐片段的时序特征以及结构类型,通过片段热度预测网络确定待预测音乐的各个时间段的音乐片段的热度值。举例而言,设音乐片段的时序特征以及结构类型为以下向量形式[步长,时序位置,音乐特征、结构类型],可以将各个时间段的音乐片段的时序特征和结构类型,输入到片段热度预测网络,通过该片段热度预测网络确定待预测音乐的各个时间段的音乐片段的热度值。
根据图2的示例实施例中的技术方案,一方面,基于各个时间段的音乐片段的时序特征,确定各个时间段的音乐片段的结构类型,能够对各个时间段的音乐片段进行分类;另一方面,基于各个时间段的音乐片段的时序特征以及结构类型,确定待预测音乐的各个时间段的音乐片段的热度值,不仅能够对音乐的局部热度进行预测,而且不需要积累用户历史行为数据就能对音乐热度进行预测;再一方面,由于相同的音乐内容出现在不同音乐结构的位置会对音乐的热度有不同的影响,本方案通过精细化的预测音乐片段的局部热度,且考量到音乐片段的结构类型因素,能够提高音乐热度预测的准确性,避免了对高成本人力评估方式的依赖。
进一步地,在一些示例实施例中,片段热度预测网络属于整曲热度预测网络的一部分,可以通过预先训练整曲热度预测网络来训练片段热度预测网络。
举例而言,在示例实施例中,确定样本音乐的热度标签以及各个时间段的音乐片段的音乐特征;基于样本音乐的各个时间段的音乐片段的音乐特征,通过音乐结构预测网络确定各个时间段的音乐片段的结构类型;基于样本音乐的热度标签以及各个时间段的音乐片段的音乐特征与结构类型,对整曲热度预测网络进行训练。片段热度预测网络是整曲热度预测网络的子网络,因此,片段热度预测网络的参数可以从训练好的整曲热度预测网络获取。
图3示意性地示出了应用根据本公开的一些实施例的音乐热度预测装置的结构框图。
参照图3所示,该音乐热度预测装置包括:音频输入模块310、音频特征提取模块315、音乐结构带标签数据集模块322、音乐结构预测网络模块320、音乐结构预测网络训练模块324、音乐热度带标签数据模块332、整曲热度预测网络训练模块334、整曲热度预测网络模块330、片段热度预测网络模块336。可选地,该音乐热度预测装置还可以包括:歌词提取模块340、歌词输入模块345以及歌词特征提取模块350。
其中,音频输入模块310用于对音频文件进行解码处理,提取音频信号数据,音频文件可以为MP3(Moving Picture Experts Group Audio Layer III,动态影像专家压缩标准音频层面3)文件、AVI(Audio Video Interleaved,音频视频交错格式)文件、WMA(Windows Media Audio,视窗媒体音频)文件等。
音频特征提取模块315用于从音频信号数据中提取多种类型的音频特征,例如,音频特征可以包括频谱特征、旋律特征、和弦特征以及乐器特征中的一种或多种。音频特征提取模块315包括多个音频分析处理单元,例如,音频特征提取模块315包括时频转换单元,用于提取音乐的频谱特征;旋律提取单元,用于提取音乐的旋律特征;和弦提取单元,用于提取音乐的和弦特征;乐器提取单元,用于提取音乐的演奏乐器特征。将音频信号数据输入到音频特征提取模块315,得到上述音频特征对应的特征矩阵(特征矩阵的一轴为时间,一轴为特征),将各种音频特征的特征矩阵合并为音频特征组。参照图4所所示,该音频特征组包括:旋律特征矩阵、频谱特征矩阵以及乐器特征矩阵等。
音乐结构预测网络模块320用于对音乐的各个时间段的音乐片段的结构类型进行预测,得到音乐结构概率矩阵。在示例实施例中,音乐结构预测网络模块320是一个神经网络模块,该神经网络模块的输入是音乐特征组中的各个矩阵,经过多层CNN(ConvolutionalNeural Networks,卷积神经网络)进行特征提取,通过LSTM网络进行时序特征关联,得到各个时间段的音乐片段的时序特征,基于各个时间段的音乐片段的时序特征,对各个时间段的音乐片段进行分类,输出音乐的各个时间段的音乐片段的结构类型。
音乐结构带标签数据集模块322用于生成音乐结构预测网络的带标签的训练样本数据。举例而言,可以以预设的时间长度例如500ms为一帧数据,标记每帧数据的音乐结构类型例如主歌、副歌以及桥段,顺序记录一首音乐的上述标记序列,即生成一份带音乐结构类型的样本音乐数据。对若干首例如10000首样本音乐进行打标,即生成带音乐结构类型的样本音乐数据集C。
音乐结构预测网络训练模块324用于对音乐结构预测网络模块320进行训练。举例而言,获取样本音乐数据集C,通过音频特征提取模块315确定样本音乐的各个时间段的音乐片段的音乐特征,基于音乐特征以及结构类型对音乐结构预测网络模块320进行训练,结构类型包括主歌、副歌以及桥段中的一种或多种。
音乐热度带标签数据集模块332用于生成带热度标签的样本音乐数据集。举例而言,可以通过收集流媒体平台上音乐的用户历史行为数据,对音乐进行音乐热度的打标。打标方式可以为以下方式:对音乐在流媒体平台上的多个用户历史行为数据(收藏量、点播量等)进行加权,得到加权结果x。预设高热阈值m(例如m为100000),低热阈值n(例如n为100),若x>m,则此音乐的热度标签y为高热;若n<x<m,则此音乐的热度标签y为中热;若x<n,则此音乐的热度标签d为低热。在该示例实施例中,将热度标签通过两个阈值分为高中低三档,实际上也可以通过更多阈值划分为更多档。进一步地,打标若干首(例如10000首)音乐的数据,即为带热度标签的样本音乐数据集D。
整曲热度预测网络模块330用于对音乐的整曲热度进行预测,生成音乐整曲热度预测曲线。
整曲热度预测网络训练模块334用于对整曲热度预测网络模块330进行训练。举例而言,以样本音乐数据集D为训练数据集,通过音频特征提取模块315提取样本音乐的音乐特征,通过音乐结构预测网络模块320提取样本音乐的各个时间段的音乐片段的结构类型特征,通过整曲热度预测网络训练模块334,训练整曲热度预测网络模块330的参数。
片段热度预测网络模块336用于对音乐的各个时间段的音乐片段的热度进行预测,输出音乐片段热度预测曲线。片段热度预测网络模块336是整曲热度预测网络模块330的子模块或子网络,因此,片段热度预测网络模块336的参数可以从训练好的整曲热度预测网络模块330获取。
根据图3的示例实施例中的技术方案,片段热度预测网络模块336是整曲热度预测网络模块330的子网络,因此,片段热度预测网络模块336的参数可以从训练好的整曲热度预测网络模块330获取,不需要单独整理数据集,不需要单独训练片段热度预测网络模块336,因此,能够降低模型训练的成本。
歌词提取模块340用于从音频文件中提取音乐的歌词数据。例如,如果音乐没有现成的歌词文件,则通过歌词提取模块340,对音乐的音频信号数据进行语音识别,提取音乐的歌词文本数据。
歌词输入模块345用于对输入的歌词文件进行解码,得到音乐的歌词文本数据。
歌词特征提取模块350用于从歌词文本数据中提取歌词特征,歌词特征可以包括词袋特征、词向量特征以及句向量特征。举例而言,歌词特征提取模块350可以包含若干个现有的文本分析技术,从歌词文本数据中提取音乐的歌词的词袋特征矩阵、词向量特征矩阵以及句向量特征矩阵,矩阵的一轴为时间,一轴为歌词特征,将结果合并到音乐的音乐特征中。
图5示意性地示出了根据本公开的一些实施例的音乐结构预测网络的结构框图。
参照图5所示,音乐结构预测网络包括:CNN结构510、LSTM网络520、特征拼接网络530、LSTM网络540、CNN结构550。其中,CNN结构510用于从输入待预测音乐的音频特征矩阵例如频谱特征矩阵中提取对应的音频特征,将提取的音频特征例如频谱特征输入到LSTM网络520。LSTM网络520用于确定待预测音乐的各个时间段的音乐片段的音频特征,例如,对提取的频谱特征进行时序位置识别,确定各个时间段的音乐片段的频谱特征。LSTM网络520包括多个LSTM结构以及h1、h2、h3、h4结构,其中,LSTM结构是一种特殊的RNN(RecurrentNeural Network,循环神经网络)结构,主要是为了解决长序列训练过程中的梯度消失和梯度爆炸问题;h1、h2、h3、h4用于表示LSTM网络520输出的各个时间段的音乐片段的音频特征,以频谱特征为例,h1、h2、h3、h4用于表示LSTM网络520输出的各个时间段的音乐片段的频谱特征。
进一步地,特征拼接网络530用于对各个时间段的多种类型的音频特征进行特征拼接处理,生成待预测音乐的各个时间段的音乐片段的音频特征。LSTM网络540用于对各个时间段的音乐片段的音乐特征进行时序特征关联,确定各个时间段的音乐片段的音乐特征的时序位置,基于时序位置,确定各个时间段的音乐片段的时序特征,时序特征可以为以下形式[步长,时序位置,音乐特征]的形式。LSTM网络540包括多个LSTM结构以及h5、h6、h7、h8,其中,h5、h6、h7、h8用于表示LSTM网络540输出的各个时间段的音乐片段的时序特征。
CNN结构550用于基于各个时间段的音乐片段的时序特征,对各个时间段的音乐片段进行分类,得到各个时间段的音乐片段的音乐结构概率例如主歌、副歌或桥段等。例如,CNN结构550为片段分类神经网络,将各个时间段的音乐片段的时序特征输入到片段分类神经网络,通过片段分类神经网络对各个时间段的音乐片段进行分类,得到各个时间段的音乐片段的音乐结构概率矩阵。参照图6所述,该音乐结构概率矩阵的一轴为时间,一轴为各个时间段的音乐片段所属结构类型的概率。
图7示意性地示出了根据本公开的另一些实施例的音乐热度预测网络的结构框图。
参照图7所示,整曲热度预测网络包括片段热度预测网络710以及热度权重预测网络720。片段热度预测网络710用于对音乐的各个时间段的音乐片段的热度进行预测,输出音乐片段热度曲线。片段热度预测网络710是整曲热度预测网络的子模块或子网络,因此,片段热度预测网络的参数可以从训练好的整曲热度预测网络获取。片段热度预测网络710与音乐结构预测网络的结构类型,在此不再赘述。
热度权重预测网络720用于确定各个时间段的音乐片段的结构类型对整曲热度的热度权重,例如,主歌部分的热度权重高占60%,副歌的热度权重占30%,桥段等的热度权重占10。
进一步地,在本示例实施例中,将热度权重预测网络720确定的各个时间段的音乐片段的热度权重与片段热度预测网络710确定的对应的音乐片段的热度值进行加权运算,得到待预测音乐的整曲热度。参照图8所示,上部分为热度权重预测网络720输出的片段热度权重的矩阵,下部分为片段热度预测网络710输出的片段热度值的矩阵,各个时间段可以为1000ms、2000ms、3000ms等时间段,将各个时间段对应的热度权重与热度值进行加权运算,得到待预测音乐的整曲热度。
根据图7的示例实施例中的技术方案,一方面,通过确定各个时间段的音乐片段的热度权重,能够反映相同的音乐内容出现在音乐的不同结构位置对音乐的热度的影响;另一方面,由于热度权重能够反映相同的音乐内容出现在不同音乐结构的位置对音乐的热度的影响,因此,本方案能够精细化的预测音乐片段的局部热度,且考量到音乐片段的结构类型因素,能够提高音乐热度预测的准确性,避免了对高成本人力评估方式的依赖。
示例性介质
在介绍了本公开示例性实施例的方法之后,接下来,对本公开示例性实施例的介质进行说明。
在一些可能的实施例中,本公开的各个方面还可以实现为一种介质,其上存储有程序代码,当所述程序代码被设备的处理器执行时用于实现本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施例的音乐热度预测方法中的步骤。
在一些可能的实施例中,所述设备的处理器执行所述程序代码时用于实现如下步骤:步骤S210,提取待预测音乐的各个时间段的音乐片段的音乐特征;步骤S220,对各个时间段的音乐片段的音乐特征进行时序位置识别,得到各个时间段的音乐片段的时序特征;步骤S230,基于各个时间段的音乐片段的时序特征,对各个时间段的音乐片段进行分类,得到各个时间段的音乐片段的结构类型;步骤S240中,基于各个时间段的音乐片段的时序特征以及结构类型,确定待预测音乐的各个时间段的音乐片段的热度值。
参考图9所示,描述了根据本公开的实施例的用于实现上述数据处理方法的程序产品900,其可以采用便携式紧凑盘只读存储器并包括程序代码,并可以在终端设备,例如个人电脑上运行。然而,本公开的程序产品不限于此。
需要说明的是:上述的介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于:电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器、只读存储器、可擦式可编程只读存储器、光纤、便携式紧凑盘只读存储器、光存储器件、磁存储器件、或者上述的任意合适的组合。
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于:电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、有线、光缆、射频信号等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络——包括局域网或广域网—连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
示例性装置
在介绍了本公开示例性实施例的介质之后,接下来,参考图9对本公开示例性实施例的音乐热度预测装置进行说明。
参照图10所示,音乐热度预测装置1000包括:音乐特征提取模块1010,用于提取待预测音乐的各个时间段的音乐片段的音乐特征;时序特征确定模块1020,用于对各个时间段的音乐片段的音乐特征进行时序位置识别,得到各个时间段的音乐片段的时序特征;结构类型确定模块1030,用于基于各个时间段的音乐片段的时序特征,对各个时间段的音乐片段进行分类,得到各个时间段的音乐片段的结构类型;片段热度确定模块1040,用于基于所述时序特征以及所述结构类型,确定所述待预测音乐的各个时间段的音乐片段的热度值。
在本公开的一些示例实施例中,所述装置1000还包括:热度权重确定模块,用于基于所述结构类型,确定各个时间段的所述音乐片段的热度权重;整曲热度确定模块,用于基于所述热度权重对各个时间段的所述音乐片段的所述热度值进行加权运算,确定所述待预测音乐的音乐整曲热度。
在本公开的一些示例实施例中,所述音乐特征包括多种类型的音频特征,所述音乐特征提取模块1010还用于:确定所述待预测音乐的各种类型的音频特征,所述音频特征包括频谱特征、旋律特征、和旋特征以及乐器特征中的一种或多种;通过第一循环神经网络确定所述待预测音乐的各个时间段的音乐片段的所述多种类型的音频特征;对各个时间段的所述多种类型中各种类型的音频特征进行特征拼接处理,生成所述待预测音乐的各个所述时间段的所述音乐特征。
在本公开的一些示例实施例中,所述音乐特征提取模块1010还用于: 通过第二循环神经网络对各个时间段的音乐片段的音乐特征进行时序特征关联,确定各个时间段的音乐片段的音乐特征的时序位置;基于所述时序位置,确定各个时间段的音乐片段的时序特征;
所述结构类型确定模块1030还用于:将各个时间段的音乐片段的时序特征输入片段分类神经网络;通过所述片段分类神经网络对各个时间段的音乐片段进行分类;
所述片段热度确定模块1040还用于:将各个时间段的音乐片段的所述时序特征以及所述结构类型输入到片段热度预测网络;通过所述片段热度预测网络确定所述待预测音乐的各个时间段的音乐片段的热度值。
在本公开的一些示例实施例中,所述第二循环神经网络为长短期记忆LSTM网络,所述片段分类神经网络以及所述片段热度预测网络均为卷积神经网络。
在本公开的一些示例实施例中,所述第二循环神经网络与所述片段分类神经网络均属于音乐结构预测网络的一部分,所述装置1000还包括:第一样本确定模块,用于确定样本音乐的各个时间段的音乐片段的音乐特征以及结构类型,所述结构类型包括主歌、副歌以及桥段中的一种或多种;第一训练模块,用于基于所述音乐特征以及所述结构类型对所述音乐结构预测网络进行训练。
在本公开的一些示例实施例中,所述片段热度预测网络属于整曲热度预测网络的一部分,所述装置1000还包括:第二样本确定模块,用于确定样本音乐的热度标签以及各个时间段的音乐片段的音乐特征;样本结构预测模块,用于基于所述样本音乐的各个时间段的音乐片段的音乐特征,通过所述音乐结构预测网络确定各个时间段的音乐片段的结构类型;第二训练模块,用于基于所述样本音乐的热度标签以及各个时间段的音乐片段的音乐特征与结构类型,对所述整曲热度预测网络进行训练。
在本公开的一些示例实施例中,所述第二样本确定模块还用于:对目标音乐平台上的所述样本音乐的用户行为数据进行统计,确定多个热度评估指标,所述热度评估指标包括点播量、收藏量以及评论量中的一种或多种;对各个所述热度评估指标进行加权运算,确定所述样本音乐的热度评估值;基于预定热度阈值对所述热度评估值进行分级,确定所述样本音乐的所述热度标签。
在本公开的一些示例实施例中,所述音乐特征还包括歌词特征,所述装置1000还包括:特征特征提取模块,用于提取所述待预测音乐的歌词特征,所述歌词特征包括词袋特征、词向量特征以及句向量特征。
由于本公开的示例实施例的音乐热度预测装置的各个功能模块与上述音乐热度预测方法的示例实施例的步骤对应,因此对于本公开装置实施例中未披露的细节,请参照本公开上述的音乐热度预测方法的实施例。
示例性计算设备
在介绍了本公开示例性实施例的方法、介质和装置之后,接下来,介绍根据本公开的另一示例性实施例的计算设备。
所属技术领域的技术人员能够理解,本公开的各个方面可以实现为系统、方法或程序产品。因此,本公开的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“系统”。
在一些可能的实施例中,根据本公开实施例的计算设备可以至少包括至少一个处理器、以及至少一个存储器。其中,所述存储器存储有程序代码,当所述程序代码被所述处理器执行时,使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施例的音乐热度预测方法中的步骤。例如,所述处理器可以执行如图2中所示的步骤:步骤S210,提取待预测音乐的各个时间段的音乐片段的音乐特征;步骤S220,对各个时间段的音乐片段的音乐特征进行时序位置识别,得到各个时间段的音乐片段的时序特征;步骤S230,基于各个时间段的音乐片段的时序特征,对各个时间段的音乐片段进行分类,得到各个时间段的音乐片段的结构类型;步骤S240中,基于各个时间段的音乐片段的时序特征以及结构类型,确定待预测音乐的各个时间段的音乐片段的热度值。
下面参照图11来描述根据本公开的示例实施例的电子设备1100。图11所示的电子设备1100仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图11所示,电子设备1100以通用计算设备的形式表现。电子设备1100的组件可以包括但不限于:上述至少一个处理单元1110、上述至少一个存储单元1120、连接不同系统组件(包括存储单元1120和处理单元1110)的总线1130。
总线1130表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器、外围总线、图形加速端口、处理器或者使用多种总线结构中的任意总线结构的局域总线。
存储单元1120可以包括易失性存储器形式的可读介质,例如RAM(Random AccessMemory,随机存取存储器)1121和/或高速缓存存储器1122,还可以进一步包括ROM(Read-Only Memory,只读存储器)1123。
存储单元1120还可以包括具有一组(至少一个)程序模块1124的程序/实用工具1125,这样的程序模块1124包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
电子设备1100也可以与一个或多个外部设备1140(例如键盘、指向设备、蓝牙设备等)通信,还可与一个或者多个使得用户能与电子设备1100交互的设备通信,和/或与使得电子设备1100能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口1150进行。并且,电子设备1100还可以通过网络适配器1160与一个或者多个网络(例如局域网,广域网和/或公共网络,例如因特网)通信。如图所示,网络适配器1160通过总线1130与电子设备1100的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备1100使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID(Redundant Arrays ofIndependent Disks,独立冗余磁盘阵列)系统、磁带驱动器以及数据备份存储系统等。
应当注意,尽管在上文详细描述中提及了音乐热度预测装置的若干单元或子单元,但是这种划分仅仅是示例性的,并非是强制性的。实际上,根据本公开的实施方式,上文描述的两个或更多模块或单元的特征和功能可以在一个模块或单元中具体化。反之,上文描述的一个模块或单元的特征和功能可以进一步划分为由多个模块或单元来具体化。
此外,尽管在附图中以特定顺序描述了本公开方法的操作,但是,这并非要求或者暗示必须按照该特定顺序来执行这些操作,或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地,可以省略某些步骤,将多个步骤合并为一个步骤执行,和/或将一个步骤分解为多个步骤执行。
虽然已经参考若干具体实施方式描述了本公开的精神和原理,但是应该理解,本公开并不限于所公开的具体实施方式,对各方面的划分也不意味着这些方面中的特征不能组合以进行受益,这种划分仅是为了表述的方便。本公开旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。

Claims (18)

1.一种音乐热度预测方法,其特征在于,包括:
确定待预测音乐的各种类型的音频特征;通过第一循环神经网络确定所述待预测音乐的各个时间段的音乐片段的多种类型的音频特征;对各个时间段的所述多种类型中各种类型的音频特征进行特征拼接处理,生成所述待预测音乐的各个所述时间段的音乐特征;其中,所述音乐特征包括多种类型的音频特征,所述音频特征包括频谱特征、旋律特征、和旋特征以及乐器特征中的一种或多种;
以预定时间间隔将所述待预测音乐划分为多个时间段,并对各个时间段的音乐片段的音乐特征进行时序位置识别,得到各个时间段的音乐片段的时序特征;
基于各个时间段的音乐片段的时序特征,对各个时间段的音乐片段进行分类,得到各个时间段的音乐片段的结构类型;其中,所述结构类型包括主歌、副歌、桥段以及过渡句中的一种或多种;
基于所述时序特征以及所述结构类型,确定所述待预测音乐的各个时间段的音乐片段的热度值。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
基于所述结构类型,确定各个时间段的所述音乐片段的热度权重;
基于所述热度权重对各个时间段的所述音乐片段的所述热度值进行加权运算,确定所述待预测音乐的音乐整曲热度。
3.根据权利要求1所述的方法,其特征在于,所述对各个时间段的音乐片段的音乐特征进行时序位置识别,得到各个时间段的音乐片段的时序特征,包括:
通过第二循环神经网络对各个时间段的音乐片段的音乐特征进行时序特征关联,确定各个时间段的音乐片段的音乐特征的时序位置;
基于所述时序位置,确定各个时间段的音乐片段的时序特征;
所述基于各个时间段的音乐片段的时序特征,对各个时间段的音乐片段进行分类,包括:
将各个时间段的音乐片段的时序特征输入片段分类神经网络;
通过所述片段分类神经网络对各个时间段的音乐片段进行分类;
所述基于所述时序特征以及所述结构类型,确定所述待预测音乐的各个时间段的音乐片段的热度值,包括:
将各个时间段的音乐片段的所述时序特征以及所述结构类型输入到片段热度预测网络;
通过所述片段热度预测网络确定所述待预测音乐的各个时间段的音乐片段的热度值。
4.根据权利要求3所述的方法,其特征在于,所述第二循环神经网络为长短期记忆LSTM网络,所述片段分类神经网络以及所述片段热度预测网络均为卷积神经网络。
5.根据权利要求3或4所述的方法,其特征在于,所述第二循环神经网络与所述片段分类神经网络均属于音乐结构预测网络的一部分,所述方法还包括:
确定样本音乐的各个时间段的音乐片段的音乐特征以及结构类型;
基于所述音乐特征以及所述结构类型对所述音乐结构预测网络进行训练。
6.根据权利要求5所述的方法,其特征在于,所述片段热度预测网络属于整曲热度预测网络的一部分,所述方法还包括:
确定样本音乐的热度标签以及各个时间段的音乐片段的音乐特征;
基于所述样本音乐的各个时间段的音乐片段的音乐特征,通过所述音乐结构预测网络确定各个时间段的音乐片段的结构类型;
基于所述样本音乐的热度标签以及各个时间段的音乐片段的音乐特征与结构类型,对所述整曲热度预测网络进行训练。
7.根据权利要求6所述的方法,其特征在于,所述确定样本音乐的热度标签,包括:
对目标音乐平台上的所述样本音乐的用户行为数据进行统计,确定多个热度评估指标,所述热度评估指标包括点播量、收藏量以及评论量中的一种或多种;
对各个所述热度评估指标进行加权运算,确定所述样本音乐的热度评估值;
基于预定热度阈值对所述热度评估值进行分级,确定所述样本音乐的所述热度标签。
8.根据权利要求1所述的方法,其特征在于,所述音乐特征还包括歌词特征,所述方法还包括:
提取所述待预测音乐的歌词特征,所述歌词特征包括词袋特征、词向量特征以及句向量特征。
9.一种音乐热度预测装置,其特征在于,包括:
音乐特征提取模块,用于确定待预测音乐的各种类型的音频特征;通过第一循环神经网络确定所述待预测音乐的各个时间段的音乐片段的多种类型的音频特征;对各个时间段的所述多种类型中各种类型的音频特征进行特征拼接处理,生成所述待预测音乐的各个所述时间段的音乐特征;其中,所述音乐特征包括多种类型的音频特征,所述音频特征包括频谱特征、旋律特征、和旋特征以及乐器特征中的一种或多种;
时序特征确定模块,用于以预定时间间隔将所述待预测音乐划分为多个时间段,并对各个时间段的音乐片段的音乐特征进行时序位置识别,得到各个时间段的音乐片段的时序特征;
结构类型确定模块,用于基于各个时间段的音乐片段的时序特征,对各个时间段的音乐片段进行分类,得到各个时间段的音乐片段的结构类型;其中,所述结构类型包括主歌、副歌、桥段以及过渡句中的一种或多种;
片段热度确定模块,用于基于所述时序特征以及所述结构类型,确定所述待预测音乐的各个时间段的音乐片段的热度值。
10.根据权利要求9所述的装置,其特征在于,所述装置还包括:
热度权重确定模块,用于基于所述结构类型,确定各个时间段的所述音乐片段的热度权重;
整曲热度确定模块,用于基于所述热度权重对各个时间段的所述音乐片段的所述热度值进行加权运算,确定所述待预测音乐的音乐整曲热度。
11.根据权利要求9所述的装置,其特征在于,所述音乐特征提取模块还用于:
通过第二循环神经网络对各个时间段的音乐片段的音乐特征进行时序特征关联,确定各个时间段的音乐片段的音乐特征的时序位置;
基于所述时序位置,确定各个时间段的音乐片段的时序特征;
所述结构类型确定模块还用于:
将各个时间段的音乐片段的时序特征输入片段分类神经网络;
通过所述片段分类神经网络对各个时间段的音乐片段进行分类;
所述片段热度确定模块还用于:
将各个时间段的音乐片段的所述时序特征以及所述结构类型输入到片段热度预测网络;
通过所述片段热度预测网络确定所述待预测音乐的各个时间段的音乐片段的热度值。
12.根据权利要求11所述的装置,其特征在于,所述第二循环神经网络为长短期记忆LSTM网络,所述片段分类神经网络以及所述片段热度预测网络均为卷积神经网络。
13.根据权利要求11或12所述的装置,其特征在于,所述第二循环神经网络与所述片段分类神经网络均属于音乐结构预测网络的一部分,所述装置还包括:
第一样本确定模块,用于确定样本音乐的各个时间段的音乐片段的音乐特征以及结构类型;
第一训练模块,用于基于所述音乐特征以及所述结构类型对所述音乐结构预测网络进行训练。
14.根据权利要求13所述的装置,其特征在于,所述片段热度预测网络属于整曲热度预测网络的一部分,所述装置还包括:
第二样本确定模块,用于确定样本音乐的热度标签以及各个时间段的音乐片段的音乐特征;
样本结构预测模块,用于基于所述样本音乐的各个时间段的音乐片段的音乐特征,通过所述音乐结构预测网络确定各个时间段的音乐片段的结构类型;
第二训练模块,用于基于所述样本音乐的热度标签以及各个时间段的音乐片段的音乐特征与结构类型,对所述整曲热度预测网络进行训练。
15.根据权利要求14所述的装置,其特征在于,所述第二样本确定模块还用于:
对目标音乐平台上的所述样本音乐的用户行为数据进行统计,确定多个热度评估指标,所述热度评估指标包括点播量、收藏量以及评论量中的一种或多种;
对各个所述热度评估指标进行加权运算,确定所述样本音乐的热度评估值;
基于预定热度阈值对所述热度评估值进行分级,确定所述样本音乐的所述热度标签。
16.根据权利要求9所述的装置,其特征在于,所述音乐特征还包括歌词特征,所述装置还包括:
特征提取模块,用于提取所述待预测音乐的歌词特征,所述歌词特征包括词袋特征、词向量特征以及句向量特征。
17.一种计算设备,包括:处理器和存储器,所述存储器存储有可执行指令,所述处理器用于调用所述存储器存储的可执行指令执行如权利要求1至8中任一项所述的方法。
18.一种介质,其上存储有程序,该程序被处理器执行时实现如权利要求1至8中任一项所述的方法。
CN202110215097.8A 2021-02-25 2021-02-25 音乐热度预测方法、装置、计算设备以及介质 Active CN112948623B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110215097.8A CN112948623B (zh) 2021-02-25 2021-02-25 音乐热度预测方法、装置、计算设备以及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110215097.8A CN112948623B (zh) 2021-02-25 2021-02-25 音乐热度预测方法、装置、计算设备以及介质

Publications (2)

Publication Number Publication Date
CN112948623A CN112948623A (zh) 2021-06-11
CN112948623B true CN112948623B (zh) 2022-08-16

Family

ID=76246383

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110215097.8A Active CN112948623B (zh) 2021-02-25 2021-02-25 音乐热度预测方法、装置、计算设备以及介质

Country Status (1)

Country Link
CN (1) CN112948623B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114297419A (zh) * 2021-12-31 2022-04-08 北京卓越乐享网络科技有限公司 多媒体对象的预测方法、装置、设备、介质和程序产品
CN114595361B (zh) * 2022-03-08 2023-09-08 北京字跳网络技术有限公司 一种音乐热度的预测方法、装置、存储介质及电子设备
CN114758637A (zh) * 2022-04-13 2022-07-15 天津大学 一种对当代流行音乐和弦进行分类的方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102640149A (zh) * 2009-12-04 2012-08-15 索尼计算机娱乐公司 乐曲推荐系统、信息处理装置及信息处理方法
CN103186527A (zh) * 2011-12-27 2013-07-03 北京百度网讯科技有限公司 建立音乐分类模型的系统、推荐音乐的系统及相应方法
CN105138541A (zh) * 2015-07-08 2015-12-09 腾讯科技(深圳)有限公司 音频指纹匹配查询的方法和装置
CN110264984A (zh) * 2019-05-13 2019-09-20 北京奇艺世纪科技有限公司 模型训练方法、音乐生成方法、装置和电子设备
CN111611431A (zh) * 2020-04-16 2020-09-01 北京邮电大学 一种基于深度学习的音乐分类方法
CN111858943A (zh) * 2020-07-30 2020-10-30 杭州网易云音乐科技有限公司 音乐情感识别方法及装置、存储介质和电子设备
CN112199548A (zh) * 2020-09-28 2021-01-08 华南理工大学 一种基于卷积循环神经网络的音乐音频分类方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9280598B2 (en) * 2010-05-04 2016-03-08 Soundhound, Inc. Systems and methods for sound recognition

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102640149A (zh) * 2009-12-04 2012-08-15 索尼计算机娱乐公司 乐曲推荐系统、信息处理装置及信息处理方法
CN103186527A (zh) * 2011-12-27 2013-07-03 北京百度网讯科技有限公司 建立音乐分类模型的系统、推荐音乐的系统及相应方法
CN105138541A (zh) * 2015-07-08 2015-12-09 腾讯科技(深圳)有限公司 音频指纹匹配查询的方法和装置
CN110264984A (zh) * 2019-05-13 2019-09-20 北京奇艺世纪科技有限公司 模型训练方法、音乐生成方法、装置和电子设备
CN111611431A (zh) * 2020-04-16 2020-09-01 北京邮电大学 一种基于深度学习的音乐分类方法
CN111858943A (zh) * 2020-07-30 2020-10-30 杭州网易云音乐科技有限公司 音乐情感识别方法及装置、存储介质和电子设备
CN112199548A (zh) * 2020-09-28 2021-01-08 华南理工大学 一种基于卷积循环神经网络的音乐音频分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于BP神经网络的音乐分类模型;刘明星;《现代电子技术》;20180301;第41卷(第5期);全文 *

Also Published As

Publication number Publication date
CN112948623A (zh) 2021-06-11

Similar Documents

Publication Publication Date Title
CN112948623B (zh) 音乐热度预测方法、装置、计算设备以及介质
CN112819099B (zh) 网络模型的训练方法、数据处理方法、装置、介质及设备
CN111858943A (zh) 音乐情感识别方法及装置、存储介质和电子设备
Alonso-Jiménez et al. Tensorflow audio models in essentia
CN109240875B (zh) 一种卡顿分析方法及系统
US20170116533A1 (en) Automatic prediction of acoustic attributes from an audio signal
CN102073636A (zh) 节目高潮检索方法和系统
Wang et al. Towards time-varying music auto-tagging based on cal500 expansion
CN111462761A (zh) 声纹数据生成方法、装置、计算机装置及存储介质
CN111598678A (zh) 基于增量学习的用户金融风险识别方法、装置及电子设备
CN112037764A (zh) 一种音乐结构的确定方法、装置、设备及介质
CN113298634A (zh) 基于时序特征和图神经网络的用户风险预测方法及装置
CN112489623A (zh) 语种识别模型的训练方法、语种识别方法及相关设备
CN113672758B (zh) 歌单生成方法、装置、介质和计算设备
CN110782128B (zh) 一种用户职业标签生成方法、装置和电子设备
US20210150215A1 (en) Intelligent performance rating
CN113673561B (zh) 基于多模态的音乐标签自动分类方法、装置及介质
CN111026908A (zh) 歌曲标签确定方法、装置、计算机设备以及存储介质
CN115129922A (zh) 搜索词生成方法、模型训练方法、介质、装置和设备
CN117223010A (zh) 基于音频数据标识音乐属性
CN115329105B (zh) 多媒体数据匹配方法及装置、存储介质、电子设备
Tavares et al. Automatic music genre classification in small and ethnic datasets
CN113595999B (zh) 基于单向特征筛选的用户设备认证方法、装置及电子设备
CN115602154B (zh) 音频识别方法、装置、存储介质和计算设备
CN112182069B (zh) 代理人留存预测方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant