CN108986842A - 音乐风格识别处理方法及终端 - Google Patents
音乐风格识别处理方法及终端 Download PDFInfo
- Publication number
- CN108986842A CN108986842A CN201810922926.4A CN201810922926A CN108986842A CN 108986842 A CN108986842 A CN 108986842A CN 201810922926 A CN201810922926 A CN 201810922926A CN 108986842 A CN108986842 A CN 108986842A
- Authority
- CN
- China
- Prior art keywords
- music style
- information
- special
- audio data
- music
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 25
- 238000000034 method Methods 0.000 claims abstract description 32
- 238000005516 engineering process Methods 0.000 claims abstract description 29
- 230000015654 memory Effects 0.000 claims description 19
- 230000004044 response Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 6
- 230000033764 rhythmic process Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 14
- 230000000694 effects Effects 0.000 description 6
- 230000003190 augmentative effect Effects 0.000 description 5
- 230000004927 fusion Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
- G10H2210/071—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for rhythm pattern analysis or rhythm style recognition
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种音乐风格识别处理方法及终端，通过获取用户在当前场景中播放的音频数据，根据音频数据中的音频特征信息确定音频数据对应的音乐风格，采用AR技术在三维空间向用户展示音乐风格对应的特效信息。通过上述过程，实现在播放音频数据的同时，将与音频数据音乐风格对应的特效信息叠加展示在显示界面，提高了用户的视听体验。
Description
技术领域
本发明实施例涉及信息识别与增强现实技术领域，尤其涉及一种音乐风格识别处理方法及终端。
背景技术
随着智能终端应用软件的快速发展，用户可随时随地通过应用软件在互联网上查询、下载、播放感兴趣的音频文件，满足不同用户的听歌需求，极大地方便了用户。
目前用户可以在手机、电脑等智能终端上播放音频文件，并在智能终端的显示界面上查看该音频文件的相关信息，例如音频文件为歌曲文件，用户点击查看该歌曲的歌曲名称、歌手信息、专辑名称、歌曲风格、歌词等信息。另外，用户还可以通过手机等智能终端在音乐类应用程序上查询其他智能终端播放的音频文件的相关信息。
然而，现有技术方案中用户需要手动点击相关应用程序查看音频文件的相关信息，且在显示界面上的展示形式死板，用户视听体验不佳。
发明内容
本发明提供的音乐风格识别处理方法及终端，实现在播放音频数据的同时，将与音频数据音乐风格对应的特效信息叠加展示在显示界面，提高了用户的视听体验。
本发明第一方面提供一种音乐风格识别处理方法，包括：
获取用户在当前场景中播放的音频数据；
根据所述音频数据中的音频特征信息确定所述音频数据对应的音乐风格；
采用AR技术在三维空间向用户展示所述音乐风格对应的特效信息。
可选的，所述根据所述音频数据中的音频特征信息确定所述音频数据对应的音乐风格之前，还包括：
提取所述音频数据中的音频特征信息，所述音频特征信息包括旋律特征、音调频率特征、节奏特征的至少一项。
可选的，所述根据所述音频数据中的音频特征信息确定所述音频数据对应的音乐风格，包括：
将所述音频特征信息输入至预先训练好的音乐风格识别模型中，得到所述音频数据对应的音乐风格。
可选的，所述根据所述音频数据中的音频特征信息确定所述音频数据对应的音乐风格，包括：
将所述音频特征信息输入至歌曲识别模型中，得到所述音频数据对应的歌曲信息；
根据所述歌曲信息确定所述音频数据对应的音乐风格。
可选的，所述歌曲信息包括歌曲名称和/或歌手信息；所述根据所述歌曲信息确定所述音频数据对应的音乐风格，包括：
根据所述歌曲信息查询音乐风格数据库，确定所述歌曲信息对应的音乐风格，将所述音乐风格作为所述音频数据对应的音乐风格；其中，
所述音乐风格数据库中包括歌曲名称与音乐风格的对应关系，和/或，歌手信息与音乐风格的对应关系。
可选的，所述采用AR技术在三维空间向用户展示所述音乐风格对应的特效信息之前，还包括：
向网络服务器发送特效信息请求，所述特效信息请求中包括所述音乐风格的标签；
接收所述网络服务器发送的特效信息的响应消息，所述响应消息包括所述音乐风格的标签对应的特效信息。
可选的，所述采用AR技术在三维空间向用户展示所述音乐风格对应的特效信息之前，还包括：
从预存特效信息数据库中获取所述音乐风格对应的特效信息，其中，所述预存特效信息数据库中包括音乐风格与特效信息的对应关系。
可选的，所述采用AR技术在三维空间向用户展示所述音乐风格对应的特效信息，包括：
通过摄像头采集用户在当前场景中的视频信息；
在显示界面上显示所述视频信息，并采用AR技术将所述特效信息叠加在所述视频信息上进行显示。
可选的，所述特效信息包括特效视频、特效动画、特效贴图的至少一项。
本发明第二方面提供一种终端，包括：
获取模块，用于获取用户在当前场景中播放的音频数据；
确定模块，用于根据所述音频数据中的音频特征信息确定所述音频数据对应的音乐风格；
展示模块，用于采用AR技术在三维空间向用户展示所述音乐风格对应的特效信息。
可选的，所述终端还包括：
提取模块，用于提取所述音频数据中的音频特征信息，所述音频特征信息包括旋律特征、音调频率特征、节奏特征的至少一项。
可选的，所述确定模块，具体用于：
将所述音频特征信息输入至预先训练好的音乐风格识别模型中，得到所述音频数据对应的音乐风格。
可选的，所述确定模块，具体用于：
将所述音频特征信息输入至歌曲识别模型中，得到所述音频数据对应的歌曲信息；
根据所述歌曲信息确定所述音频数据对应的音乐风格。
可选的，所述歌曲信息包括歌曲名称和/或歌手信息；所述确定模块，具体用于：
根据所述歌曲信息查询音乐风格数据库，确定所述歌曲信息对应的音乐风格，将所述音乐风格作为所述音频数据对应的音乐风格；其中，
所述音乐风格数据库中包括歌曲名称与音乐风格的对应关系，和/或，歌手信息与音乐风格的对应关系。
可选的，所述终端还包括：
发送模块，用于向网络服务器发送特效信息请求，所述特效信息请求中包括所述音乐风格的标签；
接收模块，用于接收所述网络服务器发送的特效信息的响应消息，所述响应消息包括所述音乐风格的标签对应的特效信息。
可选的，所述获取模块，还用于：
从预存特效信息数据库中获取所述音乐风格对应的特效信息，其中，所述预存特效信息数据库中包括音乐风格与特效信息的对应关系。
可选的，所述终端还包括：
采集模块，用于采集用户在当前场景中的视频信息；
所述展示模块，具体用于在显示界面上显示所述视频信息，并采用AR技术将所述特效信息叠加在所述视频信息上进行显示。
可选的，所述特效信息包括特效视频、特效动画、特效贴图的至少一项。
本发明第三方面提供一种终端，包括：
存储器；
处理器；以及
计算机程序；
其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如本发明第一方面任一项所述的方法。
本发明第四方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现如本发明第一方面任一项所述的方法。
本发明实施例提供一种音乐风格识别处理方法及终端，通过获取用户在当前场景中播放的音频数据，根据音频数据中的音频特征信息确定音频数据对应的音乐风格，采用AR技术在三维空间向用户展示音乐风格对应的特效信息。通过上述过程，实现在播放音频数据的同时，将与音频数据音乐风格对应的特效信息叠加展示在显示界面，提高了用户的视听体验。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1为本发明实施例提供的音乐风格识别处理方法的应用场景图；
图2为本发明一实施例提供的音乐风格识别处理方法的流程示意图；
图3为本发明另一实施例提供的音乐风格识别处理方法的流程示意图；
图4为本发明又一实施例提供的音乐风格识别处理方法的流程示意图；
图5为本发明一实施例提供的终端的结构示意图；
图6为本发明另一实施例提供的终端的结构示意图；
图7为本发明一实施例提供的终端的硬件结构示意图。
通过上述附图，已示出本发明明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本发明构思的范围，而是通过参考特定实施例为本领域技术人员说明本发明的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
本发明的说明书和权利要求书中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明中的“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
本发明的说明书中通篇提到的“一实施例”或“另一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一实施例中”或“本实施例中”未必一定指相同的实施例。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
首先对本实施例中的技术术语进行如下说明。
增强现实(Augmented Reality，简称AR)，是通过计算机系统提供的信息增加用户对现实世界感知的技术，将虚拟的信息应用到真实世界，并将计算机生成的虚拟物体、场景或系统提示信息叠加到真实场景中，从而实现对现实的增强。
增强现实技术包含了多媒体、三维建模、实时视频显示及控制、多传感器融合、实时跟踪及注册、场景融合等新技术与新手段。增强现实提供了在一般情况下，不同于人类可以感知的信息。
图1为本发明实施例提供的音乐风格识别处理方法的应用场景图，如图1所示，本实施例提供的音乐风格识别处理系统包括网络服务器11和终端12。其中，
网络服务器11上设置有预先训练好的音乐风格识别模型和/或歌曲识别模型。其中，音乐风格识别模型用于根据音频数据识别音频数据的音乐风格，歌曲识别模型用于根据音频数据识别音频数据的歌曲信息，歌曲信息包括歌曲名称和/或歌手信息等。
网络服务器11的音乐风格数据库中存储有音乐风格与音乐风格对应的特效信息。
终端12可以为移动终端，例如智能手机、AR眼镜、头盔显示器、车载设备等，终端12也可以为固定终端，对此本实施例不作具体限定。
终端12上设置有音乐风格识别模型和/或歌曲识别模型，终端12通过音乐风格识别模型确定音频数据的音乐风格，通过歌曲识别模型确定音频数据的歌曲信息。终端12周期性地对音乐风格识别模型和/或歌曲识别模型进行更新，确保对音频数据识别的准确性。在终端12无法识别音频数据时，可以向网络服务器11发送音频数据识别请求，以获取音频数据的音乐风格和/或歌曲信息。
终端12的预存特效信息数据库中存储有音乐风格与音乐风格对应的特效信息，在终端12未查询到音乐风格对应的特效信息时，可以向网路服务器11发送特效信息请求，以获取音乐风格对应的特效信息。
本实施例提供的音乐风格识别处理方法采用AR技术将音频数据对应音乐风格的特效信息叠加显示在三维空间中，实现音乐与AR的结合，提高用户的视听体验。
下面以具体的实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
图2为本发明一实施例提供的音乐风格识别处理方法的流程示意图，该方法可以由任意执行音乐风格识别处理方法的终端来执行，该终端可以通过软件和/或硬件实现。
如图2所示，本实施例提供的音乐风格识别处理方法包括如下步骤：
S201、获取用户在当前场景中播放的音频数据；
在本实施例中，终端获取用户在当前场景中播放的音频数据，该音频数据可以是歌曲、舞曲、轻音乐、交响乐等音乐音频，也可以是包含背景音乐的有声书等，对此本实施例不作具体限定。
播放音频数据的设备可以是终端设备本机播放，也可以是其他播放设备播放，对此本实施例不作具体限定。
在本实施例中，终端可以是移动终端，例如智能手机、AR眼镜、车载设备等，也可以是固定终端，对此本实施例不作具体限定。
终端获取用户在当前场景中播放的音频数据之后，提取音频数据中的音频特征信息，其中，音频特征信息包括旋律特征、音调频率特征、节奏特征的至少一项。终端根据提取的音频特征信息识别该音频数据对应的音乐风格。
S202、根据音频数据中的音频特征信息确定音频数据对应的音乐风格；
其中，音乐风格包括流行、摇滚、金属、爵士、嘻哈说唱、民谣、轻音乐、古典等等。
终端根据音频数据中的音频特征信息确定音频数据对应的音乐风格有如下几种实现方式：
在一种可能的实现方式中，终端将提取的音频特征信息输入至预先训练好的音乐风格识别模型中，得到音频数据对应的音乐风格。其中，音乐风格识别模型是通过如下方法训练得到的：
根据多个音频训练样本中每一个音频训练样本的音频特征信息，构建每个音频训练样本对应的特征向量；根据每个音频训练样本对应的特征向量和在每个音频训练样本中标记的音乐风格，确定音乐风格识别模型。
具体的，本实施例的音乐风格识别模型是采用深度学习方法对每个音频训练样本对应的特征向量和在每个音频训练样本中标记的音乐风格进行训练得到的。训练好的音乐风格识别模型具有识别音频数据中音乐的音乐风格的功能，该模型以音频数据的音频特征信息作为输入，以音乐风格的标签为输出。
在另一种可能的实现方式中，终端将提取的音频特征信息输入至歌曲识别模型中，得到音频数据对应的歌曲信息；其中，歌曲信息包括歌曲名称和/或歌手信息。例如当前播放的音频数据为某歌手的成名曲，终端首先通过歌曲识别模型确定该歌曲的歌曲名称和/或歌手信息。其中，歌曲识别模型是通过大量歌曲样本训练得到的，该模型以音频数据的音频特征信息作为输入，以歌曲名称和/或歌手信息为输出。
通过歌曲识别模型确定音频数据的歌曲信息之后，终端再根据歌曲信息查询音乐风格数据库，确定歌曲信息对应的音乐风格，将该音乐风格作为音频数据对应的音乐风格。
其中，音乐风格数据库中包括歌曲名称与音乐风格的对应关系，和/或，歌手信息与音乐风格的对应关系。
终端的音乐风格数据库中预存有网络热点歌曲名称与音乐风格的对应关系，终端通过查询本地的音乐风格数据库确认歌曲的音乐风格。
可选的，若终端在本地的音乐风格数据库中未查询到某歌曲信息对应的音乐风格，则向网络服务器发送歌曲音乐风格查询请求，网络服务器根据歌曲信息确定该歌曲信息对应的音乐风格，并将该音乐风格的标签发送给终端。
S203、采用AR技术在三维空间向用户展示音乐风格对应的特效信息。
在本实施例中，特效信息包括特效视频、特效动画、特效贴图的至少一项，不同音乐风格的特效信息不同。
具体的，终端通过摄像头采集用户在当前场景中的视频信息；在显示界面上显示视频信息，并采用AR技术将特效信息叠加在视频信息上进行显示。
本发明实施例提供的音乐风格识别处理方法，通过获取用户在当前场景中播放的音频数据，根据音频数据中的音频特征信息确定音频数据对应的音乐风格，采用AR技术在三维空间向用户展示音乐风格对应的特效信息。通过上述过程，实现在播放音频数据的同时，将与音频数据音乐风格对应的特效信息叠加展示在显示界面，提高了用户的视听体验。
可选的，终端在获取用户在当前场景中播放的音频数据后，提取该音频数据中的音频特征信息，可将该音频特征信息直接发送给网路侧服务器，由网络侧服务器确定该音频数据对应的音乐风格，并将音乐风格的标签发送给终端，以使终端根据音乐风格的标签向用户展示该标签对应的特效信息。
上述实施例中示出了终端如何根据音频数据确定该音频数据对应的音乐风格的技术方案，在上述实施例的基础上，下述两个实施例提供的音乐风格识别处理方法分别对终端如何获取音乐风格对应的特效信息进行详细说明，用户可在终端的显示界面上观看音乐特效视频、动画或贴图等。
下面结合附图对本实施例提供的音乐风格识别处理方法做详细说明。
图3为本发明另一实施例提供的音乐风格识别处理方法的流程示意图，在图2所述实施例的基础上，如图3所示，本实施例提供的音乐风格识别处理方法包括以下步骤：
S301、获取用户在当前场景中播放的音频数据；
S302、根据音频数据中的音频特征信息确定音频数据对应的音乐风格；
本实施例的S301、S302与上述实施例的S201、S202的实现原理和技术效果相同，具体可参见上述实施例，此处不再赘述。
S303、向网络服务器发送特效信息请求，特效信息请求中包括音乐风格的标签；
在本实施例中，当终端确定音频数据对应的音乐风格之后，向网络服务器发送特效信息请求，该特效信息请求中包括音乐风格的标签，网络服务器根据音乐风格的标签确定该标签对应的特效信息。
具体的，网络服务器中存储有不同音乐风格对应的特效信息，其中，特效信息包括特效视频、特效动画、特效贴图的至少一项。不同音乐风格的特效信息不同。
S304、接收网络服务器发送的特效信息的响应消息，响应消息包括音乐风格的标签对应的特效信息。
S305、采用AR技术在三维空间向用户展示音乐风格对应的特效信息。
本实施例的S305与上述实施例的S203的实现原理和技术效果相同，具体可参见上述实施例，此处不再赘述。
本实施例提供的音乐风格识别处理方法，通过获取用户在当前场景中播放的音频数据，根据音频数据中的音频特征信息确定音频数据对应的音乐风格，从网络服务器获取音乐风格对应的特效信息，并将该特效信息叠加在显示界面当前显示的视频信息上。通过上述过程，实现在播放音频数据的同时，将与音频数据音乐风格对应的特效信息叠加展示在显示界面，提高了用户的视听体验。
图4为本发明又一实施例提供的音乐风格识别处理方法的流程示意图，在图1所述实施例的基础上，如图4所示，本实施例提供的音乐风格识别处理方法包括以下步骤：
S401、获取用户在当前场景中播放的音频数据；
S402、根据音频数据中的音频特征信息确定音频数据对应的音乐风格；
本实施例的S401、S402与上述实施例的S201、S202的实现原理和技术效果相同，具体可参见上述实施例，此处不再赘述。
S403、从预存特效信息数据库中获取所述音乐风格对应的特效信息，预存特效信息数据库中包括音乐风格与特效信息的对应关系。
在本实施例中，终端的预存特效信息数据库中包括音乐风格与特效信息的对应关系，终端在确定音频数据对应的音乐风格之后，直接从预存特效信息数据库中确定该音乐风格对应的特效信息，无需向网络服务器发送特效信息请求，解决了获取特效信息的时延问题。
S404、采用AR技术在三维空间向用户展示音乐风格对应的特效信息。
本实施例的S404与上述实施例的S203的实现原理和技术效果相同，具体可参见上述实施例，此处不再赘述。
本发明本实施例提供的音乐风格识别处理方法，通过获取用户在当前场景中播放的音频数据，根据音频数据中的音频特征信息确定音频数据对应的音乐风格，从预存特效信息数据库中获取音乐风格对应的特效信息，并将该特效信息叠加在显示界面当前显示的视频信息上。通过上述过程，实现在播放音频数据的同时，将与音频数据音乐风格对应的特效信息叠加展示在显示界面，提高了用户的视听体验。
本发明实施例还提供一种终端，参见图5所示，本发明实施例仅以图5为例进行说明，并不表示本发明仅限于此。
图5为本发明一实施例提供的终端的结构示意图，如图5所示，本实施例提供的终端50包括：
获取模块51，用于获取用户在当前场景中播放的音频数据；
确定模块52，用于根据所述音频数据中的音频特征信息确定所述音频数据对应的音乐风格；
展示模块53，用于采用AR技术在三维空间向用户展示所述音乐风格对应的特效信息。
本发明实施例提供的终端包括获取模块、确定模块和展示模块，其中，获取模块用于获取用户在当前场景中播放的音频数据，确定模块用于根据音频数据中的音频特征信息确定音频数据对应的音乐风格，展示模块用于采用AR技术在三维空间向用户展示音乐风格对应的特效信息。通过上述终端，实现在播放音频数据的同时，将与音频数据音乐风格对应的特效信息叠加展示在显示界面，提高了用户的视听体验。
图6为本发明另一实施例提供的终端的结构示意图，在图5所示终端的基础上，如图6所示，本实施例提供的终端50，还包括：
提取模块54，用于提取所述音频数据中的音频特征信息，所述音频特征信息包括旋律特征、音调频率特征、节奏特征的至少一项。
可选的，所述确定模块52，具体用于：
将所述音频特征信息输入至预先训练好的音乐风格识别模型中，得到所述音频数据对应的音乐风格。
可选的，所述确定模块52，具体用于：
将所述音频特征信息输入至歌曲识别模型中，得到所述音频数据对应的歌曲信息；
根据所述歌曲信息确定所述音频数据对应的音乐风格。
可选的，所述歌曲信息包括歌曲名称和/或歌手信息；所述确定模块52，具体用于：
根据所述歌曲信息查询音乐风格数据库，确定所述歌曲信息对应的音乐风格，将所述音乐风格作为所述音频数据对应的音乐风格；其中，
所述音乐风格数据库中包括歌曲名称与音乐风格的对应关系，和/或，歌手信息与音乐风格的对应关系。
可选的，所述终端50还包括：
发送模块55，用于向网络服务器发送特效信息请求，所述特效信息请求中包括所述音乐风格的标签；
接收模块56，用于接收所述网络服务器发送的特效信息的响应消息，所述响应消息包括所述音乐风格的标签对应的特效信息。
可选的，所述获取模块51，还用于：
从预存特效信息数据库中获取所述音乐风格对应的特效信息，其中，所述预存特效信息数据库中包括音乐风格与特效信息的对应关系。
可选的，所述终端50还包括：
采集模块57，用于采集用户在当前场景中的视频信息；
所述展示模块53，具体用于在显示界面上显示所述视频信息，并采用AR技术将所述特效信息叠加在所述视频信息上进行显示。
可选的，所述特效信息包括特效视频、特效动画、特效贴图的至少一项。
本实施例提供的终端，可以执行上述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
本发明实施例还提供一种终端，参见图7所示，本发明实施例仅以图7为例进行说明，并不表示本发明仅限于此。
图7为本发明一实施例提供的终端的硬件结构示意图，如图7所示，本实施例提供的终端70包括：
存储器71；
处理器72；以及
计算机程序；
其中，计算机程序存储在存储器71中，并被配置为由处理器72执行以实现如前述任一项方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
可选的，存储器71既可以是独立的，也可以跟处理器72集成在一起。
当存储器71是独立于处理器72之外的器件时，终端70还包括：
总线73，用于连接存储器71和处理器72。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器72执行以实现如上方法实施例中终端70所执行的各个步骤。
应理解，上述处理器可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：Application Specific Integrated Circuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，还可以为U盘、移动硬盘、只读存储器、磁盘或光盘等。
总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component，PCI)总线或扩展工业标准体系结构(ExtendedIndustry Standard Architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。
上述存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。
一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于专用集成电路(Application Specific Integrated Circuits，简称：ASIC)中。当然，处理器和存储介质也可以作为分立组件存在于电子设备或主控设备中。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (20)
1.一种音乐风格识别处理方法，其特征在于，包括：
获取用户在当前场景中播放的音频数据；
根据所述音频数据中的音频特征信息确定所述音频数据对应的音乐风格；
采用AR技术在三维空间向用户展示所述音乐风格对应的特效信息。
2.根据权利要求1所述的方法，其特征在于，所述根据所述音频数据中的音频特征信息确定所述音频数据对应的音乐风格之前，还包括：
提取所述音频数据中的音频特征信息，所述音频特征信息包括旋律特征、音调频率特征、节奏特征的至少一项。
3.根据权利要求2所述的方法，其特征在于，所述根据所述音频数据中的音频特征信息确定所述音频数据对应的音乐风格，包括：
将所述音频特征信息输入至预先训练好的音乐风格识别模型中，得到所述音频数据对应的音乐风格。
4.根据权利要求2所述的方法，其特征在于，所述根据所述音频数据中的音频特征信息确定所述音频数据对应的音乐风格，包括：
将所述音频特征信息输入至歌曲识别模型中，得到所述音频数据对应的歌曲信息；
根据所述歌曲信息确定所述音频数据对应的音乐风格。
5.根据权利要求4所述的方法，其特征在于，所述歌曲信息包括歌曲名称和/或歌手信息；所述根据所述歌曲信息确定所述音频数据对应的音乐风格，包括：
根据所述歌曲信息查询音乐风格数据库，确定所述歌曲信息对应的音乐风格，将所述音乐风格作为所述音频数据对应的音乐风格；其中，
所述音乐风格数据库中包括歌曲名称与音乐风格的对应关系，和/或，歌手信息与音乐风格的对应关系。
6.根据权利要求1所述的方法，其特征在于，所述采用AR技术在三维空间向用户展示所述音乐风格对应的特效信息之前，还包括：
向网络服务器发送特效信息请求，所述特效信息请求中包括所述音乐风格的标签；
接收所述网络服务器发送的特效信息的响应消息，所述响应消息包括所述音乐风格的标签对应的特效信息。
7.根据权利要求1所述的方法，其特征在于，所述采用AR技术在三维空间向用户展示所述音乐风格对应的特效信息之前，还包括：
从预存特效信息数据库中获取所述音乐风格对应的特效信息，其中，所述预存特效信息数据库中包括音乐风格与特效信息的对应关系。
8.根据权利要求1所述的方法，其特征在于，所述采用AR技术在三维空间向用户展示所述音乐风格对应的特效信息，包括：
通过摄像头采集用户在当前场景中的视频信息；
在显示界面上显示所述视频信息，并采用AR技术将所述特效信息叠加在所述视频信息上进行显示。
9.根据权利要求1-8任一项所述的方法，其特征在于，所述特效信息包括特效视频、特效动画、特效贴图的至少一项。
10.一种终端，其特征在于，包括：
获取模块，用于获取用户在当前场景中播放的音频数据；
确定模块，用于根据所述音频数据中的音频特征信息确定所述音频数据对应的音乐风格；
展示模块，用于采用AR技术在三维空间向用户展示所述音乐风格对应的特效信息。
11.根据权利要求10所述的终端，其特征在于，所述终端还包括：
提取模块，用于提取所述音频数据中的音频特征信息，所述音频特征信息包括旋律特征、音调频率特征、节奏特征的至少一项。
12.根据权利要求11所述的终端，其特征在于，所述确定模块，具体用于：
将所述音频特征信息输入至预先训练好的音乐风格识别模型中，得到所述音频数据对应的音乐风格。
13.根据权利要求11所述的终端，其特征在于，所述确定模块，具体用于：
将所述音频特征信息输入至歌曲识别模型中，得到所述音频数据对应的歌曲信息；
根据所述歌曲信息确定所述音频数据对应的音乐风格。
14.根据权利要求13所述的终端，其特征在于，所述歌曲信息包括歌曲名称和/或歌手信息；所述确定模块，具体用于：
根据所述歌曲信息查询音乐风格数据库，确定所述歌曲信息对应的音乐风格，将所述音乐风格作为所述音频数据对应的音乐风格；其中，
所述音乐风格数据库中包括歌曲名称与音乐风格的对应关系，和/或，歌手信息与音乐风格的对应关系。
15.根据权利要求10所述的终端，其特征在于，所述终端还包括：
发送模块，用于向网络服务器发送特效信息请求，所述特效信息请求中包括所述音乐风格的标签；
接收模块，用于接收所述网络服务器发送的特效信息的响应消息，所述响应消息包括所述音乐风格的标签对应的特效信息。
16.根据权利要求10所述的终端，其特征在于，所述获取模块，还用于：
从预存特效信息数据库中获取所述音乐风格对应的特效信息，其中，所述预存特效信息数据库中包括音乐风格与特效信息的对应关系。
17.根据权利要求10所述的终端，其特征在于，所述终端还包括：
采集模块，用于采集用户在当前场景中的视频信息；
所述展示模块，具体用于在显示界面上显示所述视频信息，并采用AR技术将所述特效信息叠加在所述视频信息上进行显示。
18.根据权利要求10-17任一项所述的终端，其特征在于，所述特效信息包括特效视频、特效动画、特效贴图的至少一项。
19.一种终端，其特征在于，包括：
存储器；
处理器；以及
计算机程序；
其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如权利要求1-9任一项所述的方法。
20.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行以实现如权利要求1-9任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810922926.4A CN108986842B (zh) | 2018-08-14 | 2018-08-14 | 音乐风格识别处理方法及终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810922926.4A CN108986842B (zh) | 2018-08-14 | 2018-08-14 | 音乐风格识别处理方法及终端 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108986842A true CN108986842A (zh) | 2018-12-11 |
| CN108986842B CN108986842B (zh) | 2019-10-18 |
Family
ID=64553073
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810922926.4A Active CN108986842B (zh) | 2018-08-14 | 2018-08-14 | 音乐风格识别处理方法及终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108986842B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110570841A (zh) * | 2019-09-12 | 2019-12-13 | 腾讯科技（深圳）有限公司 | 多媒体播放界面的处理方法、装置、客户端及介质 |
| CN111326132A (zh) * | 2020-01-22 | 2020-06-23 | 北京达佳互联信息技术有限公司 | 音频处理方法、装置、存储介质及电子设备 |
| CN111625685A (zh) * | 2019-02-27 | 2020-09-04 | 阿里巴巴集团控股有限公司 | 音乐电台呈现方法与装置、视频数据分类方法与装置 |
| CN111753125A (zh) * | 2020-06-22 | 2020-10-09 | 腾讯音乐娱乐科技（深圳）有限公司 | 歌曲音频显示的方法和装置 |
| CN111813970A (zh) * | 2020-07-14 | 2020-10-23 | 广州酷狗计算机科技有限公司 | 多媒体内容展示方法、装置、终端及存储介质 |
| CN112259062A (zh) * | 2020-10-20 | 2021-01-22 | 北京字节跳动网络技术有限公司 | 特效展示方法、装置、电子设备及计算机可读介质 |
| CN112464019A (zh) * | 2020-12-03 | 2021-03-09 | 广州酷狗计算机科技有限公司 | 音频播放方法、装置、终端及存储介质 |
| CN113747233A (zh) * | 2021-08-24 | 2021-12-03 | 北京达佳互联信息技术有限公司 | 一种音乐替换方法、装置、电子设备及存储介质 |
| CN113923517A (zh) * | 2021-09-30 | 2022-01-11 | 北京搜狗科技发展有限公司 | 一种背景音乐生成方法、装置及电子设备 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102455864A (zh) * | 2010-10-25 | 2012-05-16 | Lg电子株式会社 | 信息处理装置及其方法 |
| CN105007053A (zh) * | 2015-06-03 | 2015-10-28 | 维融集团有限公司 | 一种音频播放方法及设备 |
| CN105632263A (zh) * | 2016-03-29 | 2016-06-01 | 罗昆 | 一种基于增强现实的音乐启蒙学习装置及方法 |
| CN105893404A (zh) * | 2015-11-11 | 2016-08-24 | 乐视云计算有限公司 | 基于自然信息识别的推送系统和方法及一种客户端 |
| CN107249080A (zh) * | 2017-06-26 | 2017-10-13 | 维沃移动通信有限公司 | 一种调整音效的方法、装置及移动终端 |
| CN107731220A (zh) * | 2017-10-18 | 2018-02-23 | 北京达佳互联信息技术有限公司 | 音频识别方法、装置和服务器 |
| CN108322802A (zh) * | 2017-12-29 | 2018-07-24 | 广州市百果园信息技术有限公司 | 视频图像的贴图处理方法、计算机可读存储介质及终端 |
| CN108366319A (zh) * | 2018-03-30 | 2018-08-03 | 京东方科技集团股份有限公司 | 智能音箱及其语音控制方法 |
-
2018
- 2018-08-14 CN CN201810922926.4A patent/CN108986842B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102455864A (zh) * | 2010-10-25 | 2012-05-16 | Lg电子株式会社 | 信息处理装置及其方法 |
| CN105007053A (zh) * | 2015-06-03 | 2015-10-28 | 维融集团有限公司 | 一种音频播放方法及设备 |
| CN105893404A (zh) * | 2015-11-11 | 2016-08-24 | 乐视云计算有限公司 | 基于自然信息识别的推送系统和方法及一种客户端 |
| CN105632263A (zh) * | 2016-03-29 | 2016-06-01 | 罗昆 | 一种基于增强现实的音乐启蒙学习装置及方法 |
| CN107249080A (zh) * | 2017-06-26 | 2017-10-13 | 维沃移动通信有限公司 | 一种调整音效的方法、装置及移动终端 |
| CN107731220A (zh) * | 2017-10-18 | 2018-02-23 | 北京达佳互联信息技术有限公司 | 音频识别方法、装置和服务器 |
| CN108322802A (zh) * | 2017-12-29 | 2018-07-24 | 广州市百果园信息技术有限公司 | 视频图像的贴图处理方法、计算机可读存储介质及终端 |
| CN108366319A (zh) * | 2018-03-30 | 2018-08-03 | 京东方科技集团股份有限公司 | 智能音箱及其语音控制方法 |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111625685A (zh) * | 2019-02-27 | 2020-09-04 | 阿里巴巴集团控股有限公司 | 音乐电台呈现方法与装置、视频数据分类方法与装置 |
| CN111625685B (zh) * | 2019-02-27 | 2023-04-07 | 阿里巴巴集团控股有限公司 | 音乐电台呈现方法与装置、视频数据分类方法与装置 |
| CN110570841A (zh) * | 2019-09-12 | 2019-12-13 | 腾讯科技（深圳）有限公司 | 多媒体播放界面的处理方法、装置、客户端及介质 |
| CN111326132A (zh) * | 2020-01-22 | 2020-06-23 | 北京达佳互联信息技术有限公司 | 音频处理方法、装置、存储介质及电子设备 |
| CN111326132B (zh) * | 2020-01-22 | 2021-10-22 | 北京达佳互联信息技术有限公司 | 音频处理方法、装置、存储介质及电子设备 |
| US11636836B2 (en) | 2020-01-22 | 2023-04-25 | Beijing Dajia Internet Information Technology Co., Ltd. | Method for processing audio and electronic device |
| CN111753125A (zh) * | 2020-06-22 | 2020-10-09 | 腾讯音乐娱乐科技（深圳）有限公司 | 歌曲音频显示的方法和装置 |
| CN111813970A (zh) * | 2020-07-14 | 2020-10-23 | 广州酷狗计算机科技有限公司 | 多媒体内容展示方法、装置、终端及存储介质 |
| CN112259062B (zh) * | 2020-10-20 | 2022-11-04 | 北京字节跳动网络技术有限公司 | 特效展示方法、装置、电子设备及计算机可读介质 |
| CN112259062A (zh) * | 2020-10-20 | 2021-01-22 | 北京字节跳动网络技术有限公司 | 特效展示方法、装置、电子设备及计算机可读介质 |
| WO2022083148A1 (zh) * | 2020-10-20 | 2022-04-28 | 北京字节跳动网络技术有限公司 | 特效展示方法、装置、电子设备及计算机可读介质 |
| CN112464019A (zh) * | 2020-12-03 | 2021-03-09 | 广州酷狗计算机科技有限公司 | 音频播放方法、装置、终端及存储介质 |
| CN113747233A (zh) * | 2021-08-24 | 2021-12-03 | 北京达佳互联信息技术有限公司 | 一种音乐替换方法、装置、电子设备及存储介质 |
| CN113923517A (zh) * | 2021-09-30 | 2022-01-11 | 北京搜狗科技发展有限公司 | 一种背景音乐生成方法、装置及电子设备 |
| CN113923517B (zh) * | 2021-09-30 | 2024-05-07 | 北京搜狗科技发展有限公司 | 一种背景音乐生成方法、装置及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108986842B (zh) | 2019-10-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108986842B (zh) | 音乐风格识别处理方法及终端 | |
| CN110019600B (zh) | 一种地图处理方法、装置及存储介质 | |
| US20160041981A1 (en) | Enhanced cascaded object-related content provision system and method | |
| US20120143679A1 (en) | Associating information with a portion of media content | |
| US20150138385A1 (en) | Digital annotation-based visual recognition book pronunciation system and related method of operation | |
| CA3084021A1 (en) | Blockchain-based music originality analysis method and apparatus | |
| CN111182358B (zh) | 视频处理方法、视频播放方法、装置、设备和存储介质 | |
| CN110337011A (zh) | 视频处理方法、装置及设备 | |
| TW201113825A (en) | Video content-aware advertisement placement | |
| JP2023533457A (ja) | マルチメディアコンテンツの投稿と返信の方法、装置、及びデバイス | |
| CN105930485A (zh) | 一种音频媒体播放方法、通信设备及网络系统 | |
| CN107872685A (zh) | 一种多媒体数据的播放方法、装置和计算机装置 | |
| CN110569429B (zh) | 一种内容选择模型的生成方法、装置和设备 | |
| CN110851538A (zh) | 基于区块链的内容生成方法、装置、设备及存储介质 | |
| CN114073854A (zh) | 基于多媒体文件的游戏方法和系统 | |
| Bennett | Popular music, media and the narrativization of place | |
| CN109618229A (zh) | 音视频的关联播放方法、装置、服务器及存储介质 | |
| CN109309757A (zh) | 备忘录提醒方法及终端 | |
| CN109241329A (zh) | 用于ar场景的音乐检索方法、装置、设备及存储介质 | |
| CN109241385A (zh) | 搜索方法、设备以及存储介质 | |
| CN113140230B (zh) | 音符音高值的确定方法、装置、设备及存储介质 | |
| CN112528049A (zh) | 视频合成方法、装置、电子设备及计算机可读存储介质 | |
| CN115209211A (zh) | 字幕显示方法、装置、电子设备、存储介质及程序产品 | |
| CN104933592B (zh) | 包含结合有广告信息的复合内容的移动存储介质及利用其的广告方法 | |
| CN104462151B (zh) | 评估网页发布时间的方法和相关装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20181211 Assignee: Beijing Intellectual Property Management Co.,Ltd. Assignor: BEIJING BAIDU NETCOM SCIENCE AND TECHNOLOGY Co.,Ltd. Contract record no.: X2023110000098 Denomination of invention: Music Style Recognition Processing Method and Terminal Granted publication date: 20191018 License type: Common License Record date: 20230822 |