CN109257499B - 一种歌词的动态展示方法及装置 - Google Patents
一种歌词的动态展示方法及装置 Download PDFInfo
- Publication number
- CN109257499B CN109257499B CN201811160374.4A CN201811160374A CN109257499B CN 109257499 B CN109257499 B CN 109257499B CN 201811160374 A CN201811160374 A CN 201811160374A CN 109257499 B CN109257499 B CN 109257499B
- Authority
- CN
- China
- Prior art keywords
- song
- data
- lyric
- sound wave
- word
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
- H04M1/72442—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for playing music files
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
- H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
- H04M1/72439—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for image or video messaging
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
- H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Environmental & Geological Engineering (AREA)
- Reverberation, Karaoke And Other Acoustics (AREA)
Abstract
本申请公开了一种歌词的动态展示方法及装置。该方法包括:获取目标歌曲及歌曲播放类型,所述目标歌曲包括音频数据和歌词数据;确定所述目标歌曲的歌词数据;对所述目标歌曲的音频数据进行频谱分析,获得在播放时间内所述目标歌曲的声波数据,所述播放时间为所述歌词数据的播放时间段;根据所述声波数据及所述歌曲播放类型,显示所述目标歌曲对应的歌词数据。还公开了相应的装置。本申请通过对歌曲的音频数据进行频谱分析,得到歌曲在任意时间戳下的声波数据,再基于声波数据和选择的歌曲播放类型可对任意歌曲的歌词进行显示。
Description
技术领域
本申请涉及计算机技术领域,尤其涉及一种歌词的动态展示方法及装置。
背景技术
随着人们对娱乐休闲方式的需求不断增加、计算机技术不断的开发和完善,手机和平板电脑等终端已经成为了人们生活中不可或缺的一部分。通过在终端中安装的各种应用功能,可以实现用户的不同需求,例如:通信、游戏、听音乐等,提供音乐播放、歌曲录制等服务的音乐软件即为其中的一种。为了提供更优化的服务,歌词显示方式也在不断变化和改进。
一种显示歌词的方式是歌词染色,该种方式可根据演唱者的性别进行划分,男生演唱的歌词用蓝色显示,女生演唱的歌词用红色显示,还可根据歌曲的进度进行逐步染色,未唱歌词为灰色显示,已唱歌词为蓝色或者红色显示。
在实现本发明过程中,发明人发现现有技术至少存在如下问题:通过歌词染色的显示方式较为单一。
发明内容
本申请提供了一种歌词的动态展示方法及装置,以实现对歌词进行动态效果展示。
第一方面,提供了一种歌词的动态展示方法,包括:获取目标歌曲及歌曲播放类型,所述目标歌曲包括音频数据和歌词数据;确定所述目标歌曲的歌词数据;对所述目标歌曲的音频数据进行频谱分析,获得在播放时间内所述目标歌曲的声波数据,所述播放时间为所述歌词数据的播放时间段;根据所述声波数据及所述歌曲播放类型,显示所述目标歌曲对应的歌词数据。
在一种可能实现的方式中,所述歌词数据包括:一句歌词或者单字歌词。
在另一种可能实现的方式中,所述对所述目标播放歌曲进行频谱分析,获得在播放时间内所述目标播放歌曲的声波数据,所述播放时间为所述歌词数据的播放时间段,包括:将所述音频数据的频率分量按频率关系在时域上展开,得到与时间戳对应的频谱信息,所述时间戳为所述播放时间的时间戳;将所述频谱信息转换至频域信号,获得与所述时间戳对应的声波数据;从所述与所述时间戳对应的声波数据中获得在所述播放时间内所述目标播放歌曲的声波数据。
在又一种可能实现的方式中,所述歌曲播放类型包括:声波的幅度大于第一阈值时,在正在播放的一句歌词数据首端显示动态图形和/或静态图形,和/或,声波的幅度大于第二阈值时,在正在播放的歌词数据的单字周围显示动态图形和/或静态图形。
在又一种可能实现的方式中,所述歌曲播放类型包括:声波的幅度大于第三阈值时,正在播放的一句歌词数据的字体大小与声波的幅度大小正相关;声波的幅度大于第四阈值时,正在播放的单字歌词数据的字体大小与声波的幅度正相关。
在又一种可能实现的方式中,所述歌曲播放类型包括:在括号中歌词数据逐字或逐词显示;在下划线上歌词数据逐字或逐词显示,以及以渐现的方式显示歌词数据中的任意一项。
在又一种可能实现的方式中,所述方法还包括:获取所述播放时间的目标播放图像;对所述目标播放图像进行人脸识别,确定与所述人脸不重叠的区域作为所述歌词数据的显示区域。
在又一种可能实现的方式中,所述方法还包括:接收视频指示信息,获得所述视频指示信息所指定的视频;将所述视频作为所述歌词数据的背景显示。
第二方面,提供了一种歌词的动态展示装置,包括:第一获取单元,用于获取目标歌曲及歌曲播放类型,所述目标歌曲包括音频数据和歌词数据;确定单元,用于确定所述目标歌曲的歌词数据;分析单元,用于对所述目标歌曲的音频数据进行频谱分析,获得在播放时间内所述目标歌曲的声波数据,所述播放时间为所述歌词数据的播放时间段;第一显示单元,用于根据所述声波数据及所述歌曲播放类型,显示所述目标歌曲对应的歌词数据。
在一种可能实现的方式中,所述歌词数据包括:一句歌词或者单字歌词。
在另一种可能实现的方式中,所述分析单元包括:第一处理子单元,用于将所述音频数据的频率分量按频率关系在时域上展开,得到与时间戳对应的频谱信息,所述时间戳为所述播放时间的时间戳;第二处理子单元,用于将所述频谱信息转换至频域信号,获得与所述时间戳对应的声波数据;获取子单元,用于从所述与所述时间戳对应的声波数据中获得在所述播放时间内所述目标播放歌曲的声波数据。
在又一种可能实现的方式中,所述歌曲播放类型包括:声波的幅度大于第一阈值时,在正在播放的一句歌词数据首端显示动态图形和/或静态图形,和/或,声波的幅度大于第二阈值时,在正在播放的歌词数据的单字周围显示动态图形和/或静态图形。
在又一种可能实现的方式中,所述歌曲播放类型包括:声波的幅度大于第三阈值时,正在播放的一句歌词数据的字体大小与声波的幅度大小正相关;声波的幅度大于第四阈值时,正在播放的单字歌词数据的字体大小与声波的幅度正相关。
在又一种可能实现的方式中,所述歌曲播放类型包括:在括号中歌词数据逐字或逐词显示;在下划线上歌词数据逐字或逐词显示,以及以渐现的方式显示歌词数据中的任意一项。
在又一种可能实现的方式中,所述歌词的动态展示装置还包括:第二获取单元,用于获取所述播放时间的目标播放图像;识别单元,用于对所述目标播放图像进行人脸识别,确定与所述人脸不重叠的区域作为所述歌词数据的显示区域。
在又一种可能实现的方式中,所述歌词的动态展示装置还包括:接收单元,用于接收视频指示信息,获得所述视频指示信息所指定的视频;第二显示单元,用于将所述视频作为所述歌词数据的背景显示。
第三方面,提供了一种歌词的动态展示装置,包括:包括处理器、存储器;所述处理器被配置为支持所述装置执行上述第一方面及其任一种可能的实现方式的方法中相应的功能。存储器用于与处理器耦合,其保存所述装置必要的程序(指令)和数据。可选的,所述装置还可以包括输入/输出接口,用于支持所述装置与其他装置之间的通信。
第四方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述第一方面及其任一种可能的实现方式的方法。
第五方面,提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述第一方面及其任一种可能的实现方式的方法。
本申请通过对歌曲的音频数据进行频谱分析,得到歌曲在任意时间戳下的声波数据,再基于声波数据和选择的歌曲播放类型可对任意歌曲的歌词进行显示,可使歌词展示效果与音乐的旋律更贴合,同时能更准确的传递歌曲及歌词表达的情感,给用户带来更佳的听歌体验。
附图说明
为了更清楚地说明本申请实施例或背景技术中的技术方案,下面将对本申请实施例或背景技术中所需要使用的附图进行说明。
图1为本申请实施例提供的一种歌词的动态展示方法的流程示意图;
图2为本申请实施例提供的另一种歌词的动态展示方法的流程示意图;
图3a为本申请实施例提供的一种在歌曲播放界面选择歌曲播放类型的示意图;
图3b为本申请实施例提供的一种触发歌曲播放类型选择面板的显示界面示意图;
图3c为本申请实施例提供的一种特效一的预览显示示意图;
图4为本申请实施例提供的一种动态星光粒子特效示意图;
图5为本申请实施例提供的一种字体放大特效示意图;
图6a为本申请实施例提供的一种基于人脸检测结果动态歌词示意图;
图6b为本申请实施例提供的另一种基于人脸检测结果动态歌词示意图;
图7为本申请实施例提供的一种歌词的动态展示装置的结构示意图;
图8为本申请实施例提供的一种歌词的动态展示装置的硬件结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
下面结合本申请实施例中的附图对本申请实施例进行描述。
请参阅图1,图1是本申请实施例提供的一种歌词的动态展示方法的流程示意图。
101、获取目标歌曲及歌曲播放类型,所述目标歌曲包括音频数据和歌词数据。
本申请实施例提供的方法还包括获取目标歌曲文件的过程。该歌曲文件可以存储在终端(如:MP3、手机、电脑、平板电脑等)本地,即用户可直接从本地获取。该歌曲文件也可以存储于服务器上,用户可通过终端从服务器下载获取。
为了能够使歌词的显示更为丰富,本申请实施例在显示歌词之前,提供可选的歌曲播放类型。上述歌曲播放类型包括以下至少一种:第一类型(动态星光粒子特效)、第二类型(字体放大特效)、第三类型(出现方式特效)。用户可从中选择任意一种作为目标歌曲对应的播放类型。
需要说明的是,关于确定被选歌曲以及确定被选的歌曲播放类型的先后顺序,本发明的实施例不做具体限定。
102、确定所述目标歌曲的歌词数据。
在用户选择了歌曲之后,终端将自动获取与用户所选择的歌曲匹配的歌词数据。与目标歌曲文件一样,该歌词数据可以存储在终端(如:MP3、手机、电脑、平板电脑等)本地,即用户可直接从本地获取。该歌词数据也可以存储于服务器上,用户可通过终端从服务器下载获取。
103、对所述目标歌曲的音频数据进行频谱分析,获得在播放时间内所述目标歌曲的声波数据,所述播放时间为所述歌词数据的播放时间段。
将音频数据的频率分量按频率关系在时域上展开,得到与时间戳对应的频谱信息,对上述频谱信息进行快速傅里叶变换,将时域上的频谱信息转换至频域信号,获得与时间戳对应的声波数据,从与时间戳对应的声波数据中获得在所述播放时间内所述目标播放歌曲的声波数据。可选地,上述声波数据为目标歌曲的音量大小,这样,通过对目标歌曲的音频数据进行频谱分析,即可获得在播放时间内目标歌曲的音量大小。
104、根据所述声波数据及所述歌曲播放类型,显示所述目标歌曲对应的歌词数据。
在本申请实施例中,在上述播放时间内上述歌曲播放类型的幅度与上述音量大小匹配,即歌曲播放类型的幅度和音量大小成正相关,歌曲中音量越大的时间戳对应的播放类型的幅度也越大,反之,音量越小的时间戳对应的播放类型的幅度也越小。这样,基于被用户选择的歌曲播放类型和目标歌曲的音量大小,生成目标歌曲在不同时间戳的播放类型。
歌曲和歌词携带的时间信息中包括:至少一句歌词中每句歌词的起始时间戳以及持续时间段、每个字的时间戳,根据上述时间信息从上述频谱分析结果中获取用户所选择的歌曲的在不同时间戳下的音量大小,也就是不同时间戳下的歌词对应的音量大小。结合上述歌曲的歌曲播放类型即可得到不同时间戳下的歌词对应的歌曲播放类型,再依据时间戳的先后顺序,依次将歌词对应的歌曲播放类型串联起来,并通过终端进行显示,即可实现对歌词的动态展示。
本申请实施例通过对歌曲的音频数据进行频谱分析,得到歌曲在任意时间戳下的音量大小,再基于音量大小和选择的歌曲播放类型可对任意歌曲的歌词进行显示。
请参阅图2,图2是本申请实施例提供的另一种歌词的动态展示方法的流程示意图。
201、获取目标歌曲及歌曲播放类型,所述目标歌曲包括音频数据和歌词数据。
为了能够使歌词的显示更加丰富,本申请实施例在显示歌词之前,提供可选的歌曲播放类型,从而确定被选的歌曲播放类型。在提供可选的歌曲播放类型时,本申请实施例提供的方法采用在歌词显示界面中显示歌曲播放类型选择入口方式。当检测到歌曲播放类型选择入口的选中操作时,展示歌曲播放类型选择面板,歌曲播放类型选择面板上显示有多个歌曲播放类型选项,不同的歌曲播放类型选项对应不同的动态展示效果。获取歌曲播放类型选择面板上的选择操作,将选择操作所选中的歌曲播放类型选项对应的歌曲播放类型作为被选的歌曲播放类型。
为了便于理解,以图3a-图3c所示的显示界面为例。其中,图3a的显示界面为歌曲播放界面,该播放界面除了包括播放开始键、选择上一首歌曲的虚拟按键和选择下一首歌曲的虚拟按键之外,还包括歌曲播放类型选择入口。当检测到该歌曲播放类型选择入口的选中操作后,触发展示歌曲播放类型选择面板,如图3b的显示界面所示。该歌曲播放类型选择面板中包括多个歌曲播放类型选项,每个歌曲播放类型选项对应一个歌词的显示效果。当任意歌曲播放类型选项选中后,该歌曲播放类型选项对应的显示效果即为目标歌曲的歌词的歌曲播放类型。以图3b所示为例,“特效一”对应的歌曲播放类型即为被选择的歌曲播放类型。
为了进一步确认所选的歌曲播放类型,本申请实施例提供的方法还包括:对选择操作所选中的歌曲播放类型对应的动态显示效果进行预览显示。当“特效一”对应的歌曲播放类型被选中后,可对“特效一”所对应的动态显示效果进行预览显示(特效一为对歌词中的字进行相应倍数的放大),如图3c的显示界面所示。
当确定所选的歌曲播放类型及歌曲后,可以点击视频录制界面的空白处,以触发收起歌曲播放类型选择面板。
此外,除了确定被选的歌曲播放类型,本申请实施例提供的方法还包括获取歌曲文件的过程。该歌曲文件可以存储在终端本地,即用户可直接从本地获取。该歌曲文件也可以存储于服务器上,用户可通过终端从服务器下载获取。
需要说明的是,关于确定被选的歌曲播放类型以及确定被选歌曲的先后顺序,本申请实施例不做具体限定。
在用户选择了目标歌曲之后,终端将自动抓取出该歌曲的音频数据,在本申请实施例中,音频数据为音轨。对歌曲来说,每一条音轨可以定义为一种乐器的演奏,歌曲可以由多条音轨组成,而不同的音轨可以同时播放。
所以音轨包括了歌曲的所有声音信息,通过软件对歌曲进行解码可获得的一条一条的平行“轨道”,即音轨。每条音轨分别定义了该条音轨的属性,如音轨的音色、音色库、通道数、输入或输出端口、音量等。
202、将所述音频数据的频率分量按频率关系在时域上展开,得到与时间戳对应的频谱信息,所述时间戳为所述播放时间的时间戳。
通过终端上安装的相关音乐播放器的处理单元可实现对上述音轨的频率分量按频率关系在时域上展开,但音轨经过播放器中的不同单元时,其各个频谱分量的相速不同,各个单元对各频谱分量的响应也不一样,这都会引起到最终输出的信号因各频率分量的相移或时延不同而产生相位关系的紊乱,即相位失真。相位失真是以一群频率分量之间的时延差值来衡量的,故称之为群时延。
处理单元具有色散群时延特性,且其群时延与频率呈线性关系,处理单元对各频率分量进行处理。在本实施例中,播放器中的处理单元具有色散群时延特性,其群时延和频率呈正线性关系(即群时延响应斜率为正)。因此,输入信号中的各不同频率分量中,低频分量时延小,在输出信号中出现的较早,高频分量时延大,在输出信号中出现的晚,从而可以将各频率分量在时域上展开。处理单元的群时延和频率的线性斜率越大,各频率分量对应的时延越大,从而确保各频率分量能够在时域上彻底分开,有利于提高音轨处理的变换精度。通过处理单元将音轨的频率分量按频率关系在时域上展开,得到时域频谱结果,即与时间戳对应的频谱信息,上述时间戳为上述播放时间的时间戳。时域频谱结果中包含目标歌曲中的任意时间戳对应的频谱信息,因此根据时域频谱结果可得到与播放时间的时间戳对应的频谱信息。
203、将所述频谱信息转换至频域信号,获得与所述时间戳对应的声波数据。
对于信号的分析来说,从时域看几个信号是叠加在一起的,不易分离出需要的信号。而从频域来看几个信号就是分开的,易将需要的信号分离出来,可以更加精确的了解信号的“构造”,通过将时域信号转换到频域更利于对信号的分析和计算。
音乐播放器通过数字处理技术对时域频谱结果进行傅里叶变换,以将上述时域频谱结果从时域变换到频域信号,获得与上述时间戳对应的声波数据。根据声波数据中的目标歌曲的幅度信息可获得与上述时间戳对应的音量大小,因此,结合频域频谱结果中目标歌曲的音量大小和上述时声波数据中的时间戳信息,即可从上述与上述时间戳对应的音量大小中获得在上述播放时间上述目标歌曲的音量大小。
204、根据所述声波数据及所述歌曲播放类型,显示所述目标歌曲对应的歌词数据。
在本申请实施例中,在上述播放时间上述播放效果类型的幅度与上述音量大小匹配,即歌曲播放类型的幅度和音量大小成正相关,简而言之,就是歌曲中音量越大的时间戳对应的歌曲播放类型的幅度也越大,反之,音量越小的时间戳对应的歌曲播放类型的幅度也越小。这样,基于用户选择的歌曲播放类型和目标歌曲的音量大小,生成目标歌曲在不同时间戳的歌曲播放类型。歌曲播放类型包括:第一类型(动态星光粒子特效)、第二类型(字体放大特效)、第三类型(歌词出现方式特效)。
在一种可能实现的方式中,当用户选择的歌曲播放类型为动态星光粒子特效时,通过201~203的处理,可获得目标歌曲中任意一句歌词音量的平均值,而当该平均值大于第一阈值时,在正在播放该句歌词时首端显示动态星光粒子(如图4所示)。图4所示为在歌词首端展示动态星光粒子,可选的,还可根据在歌词末端显示动态星光粒子;由203可获得在播放时间上目标歌曲的音量大小,即目标歌曲播放到具体单个字时的音量大小,当该音量大于第二阈值时,在正在播放的歌词的单字周围显示动态星光粒子。可选的,单字周围显示的动态星光粒子的大小可与该单字的音量大小成正相关。
在另一种可能实现的方式中,当用户选择的歌曲播放类型为字体放大特效时,在目标歌曲中任意一句歌词音量的平均值大于第三阈值时,正在播放的一句歌词字体大小与音量的大小正相关,即将该句歌词中的任意一个字进行放大(如图5中的“寞”字),放大倍数与该句歌词音量的平均值正相关。当目标歌曲播放到具体单个字时的音量大小大于第四阈值时,正在播放的单字歌词的字体大小也将放大,放大倍数与该单字音量的大小正相关。
需要指出的是,上述第一阈值、第二阈值、第三阈值及第四阈值均可以根据经验值设置或者提供设置选项由用户设置。
在又一种可能实现的方式中,还可对歌词的出现方式进行特殊处理,如:在括号中歌词逐字或逐词显示,即目标歌曲中的每一句歌词都用一个括号包含,对应与目标歌曲的播放进度,将正在播放的歌词添加至括号内的末端,直至整句歌词播放完毕。另一种歌词的出现方式为:在下划线上歌词逐字或逐词显示,即在以播放完的歌词的右端(或下端)添加一个下划线光标,并将正在播放的歌词在下划线上进行显示,同时将下划线光标向右(或向下)移动。另一种歌词的出现方式为:以渐现的方式显示歌词,一句目标歌曲的播放进度,对正在播放的歌词以渐现的方式进行显示。可选的,上述任一种歌词的出现方式都可搭配动态星光粒子特效和字体放大特效进行显示。
在播放歌曲、展示歌词的同时,辅以视频短片作为背景可更好地烘托歌曲的情感,本申请实施例根据用户所选择的歌曲,可自动匹配相应的音乐短片(music video,MV)。该MV可以是预先存储于终端本地的,也可以是通过网络从存储器中下载的。
此外,用户还可自主选择视频作为目标歌曲歌词动态展示的背景。具体的,接收用户的视频指示信息,获得该视频指示信息所指定的视频,再将上述视频作为上述歌词的背景显示。这样,用户可将任意视频配合任意一首歌曲的歌词动态展示效果进行展示,如:用户可用自拍视频作为上述歌词的背景进行显示。
在另一种实现方式中,针对在视频录制(如:拍摄视频、视频聊天等)过程中显示歌词的场景,除了对当前播放的歌词按照歌曲播放类型进行动态展示时,考虑歌词的播放进度之外,有些动态展示效果还涉及人脸识别。针对该种歌曲播放类型,本申请实施例提供的方法还包括:对采集的视频画面进行人脸识别,得到人脸识别结果。相应的,对当前播放的歌词按照歌曲播放类型进行动态展示,包括:基于人脸识别结果,对当前播放的歌词按照歌曲播放类型进行动态展示。其中,人脸识别的方式可以采用任意一款成熟的人脸识别技术,本申请实施例对此不做具体限定。人脸识别结果为人脸区域,基于人脸识别结果,如图6a所示,在人脸周围任意选取与上述人脸不重叠的区域作为在上述播放时间上述歌词的显示区域。根据当前播放的歌词对应的播放进度对当前播放的歌词按照歌曲播放类型进行处理,将歌曲播放类型建立在人脸识别结果基础上,将歌词放到上述显示区域中进行动态展示。需要指出的是,如图6b所示,在视频录制的过程中,若目标图像中人脸的位置的变化,对显示区域进行相应地调整,避免显示区域与人脸区域重叠。
音乐是一种善于表现和激发感情的艺术,可以说,音乐欣赏的过程就是感情体验的过程,它既是欣赏者对音乐的感情内涵进行体验的过程,同时也是欣赏者自己的感情和音乐中表现的感情相互交融、发生共鸣的过程。对于歌曲而言,歌词表达了歌曲的宗旨和灵魂,阐述了一首歌所要表达的感情和主旨。本申请实施例通过对歌曲的音频数据进行频谱分析,得到歌曲在任意时间戳下的声波数据,再基于声波数据和选择的歌曲播放类型可对任意歌曲的歌词进行显示,可使歌词展示效果与音乐的旋律更贴合,同时能更准确的传递歌曲及歌词表达的情感,给用户带来更佳的听歌体验。
上述详细阐述了本申请实施例的方法,下面提供了本申请实施例的装置。
请参阅图7,图7为本申请实施例提供的歌词的动态展示装置的结构示意图,该装置1000包括:第一获取单元11、确定单元12、分析单元13、第一显示单元14、第二获取单元15、识别单元16、接收单元17及第二显示单元18。其中:
第一获取单元11,用于获取目标歌曲及歌曲播放类型,上述目标歌曲包括音频数据和歌词数据;
确定单元12,用于确定上述目标歌曲的歌词数据;
分析单元13,用于对上述目标歌曲的音频数据进行频谱分析,获得在播放时间内所述目标歌曲的声波数据,所述播放时间为上述歌词数据的播放时间段;
第一显示单元14,用于根据上述声波数据及上述歌曲播放类型,显示上述目标歌曲对应的歌词数据。
在一种可能实现的方式中,上述歌词数据包括:一句歌词或者单字歌词。
在另一种可能实现的方式中,上述分析单元13包括:第一处理子单元131,用于将上述音频数据的频率分量按频率关系在时域上展开,得到与时间戳对应的频谱信息,上述时间戳为所述播放时间的时间戳;第二处理子单元132,用于将上述频谱信息转换至频域信号,获得与上述时间戳对应的声波数据;获取子单元133,用于从上述与上述时间戳对应的声波数据中获得在上述播放时间内上述目标播放歌曲的声波数据。
在又一种可能实现的方式中,上述歌曲播放类型包括:声波的幅度大于第一阈值时,在正在播放的一句歌词数据首端显示动态图形和/或静态图形,和/或,声波的幅度大于第二阈值时,在正在播放的歌词数据的单字周围显示动态图形和/或静态图形。
在又一种可能实现的方式中,上述歌曲播放类型包括:声波的幅度大于第三阈值时,正在播放的一句歌词数据的字体大小与声波的幅度大小正相关;声波的幅度大于第四阈值时,正在播放的单字歌词数据的字体大小与声波的幅度正相关。
在又一种可能实现的方式中,上述歌曲播放类型包括:在括号中歌词数据逐字或逐词显示;在下划线上歌词数据逐字或逐词显示,以及以渐现的方式显示歌词数据中的任意一项。
在又一种可能实现的方式中,上述歌词的动态展示装置还包括:第二获取单元15,用于获取上述播放时间的目标播放图像;识别单元16,用于对上述目标播放图像进行人脸识别,确定与上述人脸不重叠的区域作为上述歌词数据的显示区域。
在又一种可能实现的方式中,上述歌词的动态展示装置还包括:接收单元17,用于接收视频指示信息,获得上述视频指示信息所指定的视频;第二显示单元18,用于将上述视频作为所述歌词数据的背景显示。
本申请实施例通过对歌曲的音频数据进行频谱分析,得到歌曲在任意时间戳下的声波数据,再基于声波数据和选择的歌曲播放类型可对任意歌曲的歌词进行显示,可使歌词展示效果与音乐的旋律更贴合,同时能更准确的传递歌曲及歌词表达的情感,给用户带来更佳的听歌体验。
图8为本申请实施例提供的一种歌词的动态展示装置的硬件结构示意图。如图4所示,上述歌词的动态展示装置2000可以包括:至少一个处理器21,例如CPU,至少一个网络接口24,用户接口23,存储器25,至少一个通信总线22。其中,通信总线22用于实现这些组件之间的连接通信。其中,用户接口23可以包括显示屏(Display)、键盘(Keyboard),可选用户接口23还可以包括标准的有线接口、无线接口。网络接口24可选的可以包括标准的有线接口、无线接口(如Wi-Fi接口)。存储器25可以是高速RAM存储器,也可以是非不稳定的存储器(non-volatitle memory),例如至少一个磁盘存储器。存储器25可选的还可以是至少一个位于远离前述处理器21的存储装置。如图8所示,作为一种计算机存储介质的存储器25中可以包括操作系统、网络通信模块、用户接口模块以及数据匹配应用程序。在图8所示的歌词的动态展示装置2000中,用户接口23主要用于为用户提供输入的接口,获取用户输入的数据;而处理器21可以用于调用存储器25中存储的数据匹配应用程序,并具体执行以下操作:
获取目标歌曲及歌曲播放类型,所述目标歌曲包括音频数据和歌词数据;
确定所述目标歌曲的歌词数据;
对所述目标歌曲的音频数据进行频谱分析,获得在播放时间内所述目标歌曲的声波数据,所述播放时间为所述歌词数据的播放时间段;
根据所述声波数据及所述歌曲播放类型,显示所述目标歌曲对应的歌词数据。
在一个实现方式中,所述歌词数据包括:一句歌词或者单字歌词。
在另一个实现方式中,上述处理器21在执行对所述目标播放歌曲进行频谱分析,获得在播放时间内所述目标播放歌曲的声波数据,所述播放时间为所述歌词数据的播放时间段,具体执行以下操作:
将所述音频数据的频率分量按频率关系在时域上展开,得到与时间戳对应的频谱信息,所述时间戳为所述播放时间的时间戳;
将所述频谱信息转换至频域信号,获得与所述时间戳对应的声波数据;
从所述与所述时间戳对应的声波数据中获得在所述播放时间内所述目标播放歌曲的声波数据。
在又一个实现方式中,所述歌曲播放类型包括:声波的幅度大于第一阈值时,在正在播放的一句歌词数据首端显示动态图形和/或静态图形,和/或,声波的幅度大于第二阈值时,在正在播放的歌词数据的单字周围显示动态图形和/或静态图形。
在又一个实现方式中,所述歌曲播放类型包括:
声波的幅度大于第三阈值时,正在播放的一句歌词数据的字体大小与声波的幅度大小正相关;
声波的幅度大于第四阈值时,正在播放的单字歌词数据的字体大小与声波的幅度正相关。
在又一个实现方式中,所述歌曲播放类型包括:
在括号中歌词数据逐字或逐词显示;
在下划线上歌词数据逐字或逐词显示,以及以渐现的方式显示歌词数据中的任意一项。
在又一个实现方式中,上述处理器21还用于执行以下操作:
获取所述播放时间的目标播放图像;
对所述目标播放图像进行人脸识别,确定与所述人脸不重叠的区域作为所述歌词数据的显示区域。
在又一个实现方式中,上述处理器21还用于执行以下操作:
接收视频指示信息,获得所述视频指示信息所指定的视频;
将所述视频作为所述歌词数据的背景显示。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,该单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。所显示或讨论的相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时,全部或部分地产生按照本申请实施例的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中,或者通过该计算机可读存储介质进行传输。该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line,DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是只读存储器(read-onlymemory,ROM),或随机存储存储器(random access memory,RAM),或磁性介质,例如,软盘、硬盘、磁带、磁碟、或光介质,例如,数字通用光盘(digital versatile disc,DVD)、或者半导体介质,例如,固态硬盘(solid state disk,SSD)等。
Claims (11)
1.一种歌词的动态展示方法,其特征在于,包括:
获取目标歌曲及歌曲播放类型,所述目标歌曲包括音频数据和歌词数据;所述歌曲播放类型包括歌词出现方式特效;
确定所述目标歌曲的歌词数据;
将所述目标歌曲的音频数据的频率分量按频率关系在时域上展开,得到与时间戳对应的频谱信息,所述时间戳为播放时间的时间戳;
将所述频谱信息转换至频域信号,获得与所述时间戳对应的声波数据;
从所述与所述时间戳对应的声波数据中获得在所述播放时间内所述目标歌曲的声波数据;
根据所述声波数据及所述歌词出现方式特效,显示所述目标歌曲对应的歌词数据;所述歌词出现方式特效包括:歌词数据所对应的音频数据的声波幅度大于第一阈值时,在正在播放的歌词数据首端显示动态图形和/或静态图形,和/或,歌词数据所对应的音频数据的声波幅度大于第二阈值时,在正在播放的歌词数据的单字周围显示动态图形和/或静态图形,其中,所述歌词出现方式特效的幅度和音量呈正相关。
2.根据权利要求1所述的方法,其特征在于,所述歌词数据包括:一句歌词或者单字歌词。
3.根据权利要求1或2所述的方法,其特征在于,所述歌曲播放类型包括:
声波的幅度大于第三阈值时,正在播放的一句歌词数据的字体大小与声波的幅度大小正相关;
声波的幅度大于第四阈值时,正在播放的单字歌词数据的字体大小与声波的幅度正相关。
4.根据权利要求1或2所述的方法,其特征在于,所述歌曲播放类型包括:
在括号中歌词数据逐字或逐词显示;
在下划线上歌词数据逐字或逐词显示,以及以渐现的方式显示歌词数据中的任意一项。
5.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:
获取所述播放时间的目标播放图像;
对所述目标播放图像进行人脸识别,确定与所述人脸不重叠的区域作为所述歌词数据的显示区域。
6.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:
接收视频指示信息,获得所述视频指示信息所指定的视频;
将所述视频作为所述歌词数据的背景显示。
7.一种歌词的动态展示装置,其特征在于,包括:
第一获取单元,用于获取目标歌曲及歌曲播放类型,所述目标歌曲包括音频数据和歌词数据;所述歌曲播放类型包括歌词出现方式特效;
确定单元,用于确定所述目标歌曲的歌词数据;
分析单元包括第一处理子单元、第二处理子单元、获取子单元,
所述第一处理子单元,用于将所述目标歌曲的音频数据的频率分量按频率关系在时域上展开,得到与时间戳对应的频谱信息,所述时间戳为播放时间的时间戳;
所述第二处理子单元,用于将所述频谱信息转换至频域信号,获得与所述时间戳对应的声波数据;
所述获取子单元,用于从所述与所述时间戳对应的声波数据中获得在所述播放时间内所述目标歌曲的声波数据;所述声波数据包括所述目标歌曲的音量;
第一显示单元,用于根据所述声波数据及所述歌词出现方式特效,显示所述目标歌曲对应的歌词数据;所述歌词出现方式特效包括:歌词数据所对应的音频数据的声波幅度大于第一阈值时,在正在播放的歌词数据首端显示动态图形和/或静态图形,和/或,歌词数据所对应的音频数据的声波幅度大于第二阈值时,在正在播放的歌词数据的单字周围显示动态图形和/或静态图形,其中,所述歌词出现方式特效的幅度和音量呈正相关。
8.根据权利要求7所述的装置,其特征在于,所述歌曲播放类型包括:
声波的幅度大于第三阈值时,正在播放的一句歌词数据的字体大小与声波的幅度大小正相关;
声波的幅度大于第四阈值时,正在播放的单字歌词数据的字体大小与声波的幅度正相关。
9.根据权利要求7所述的装置,其特征在于,所述歌曲播放类型包括:
在括号中歌词数据逐字或逐词显示;
在下划线上歌词数据逐字或逐词显示,以及以渐现的方式显示歌词数据中的任意一项。
10.一种歌词的动态展示装置,其特征在于,包括:处理器、存储器;所述处理器被配置为支持所述歌词的动态展示装置执行如权利要求1至6中任意一项的方法;所述存储器用于与所述处理器耦合,所述存储器保存所述装置必要的程序和数据。
11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行如权利要求1至6任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811160374.4A CN109257499B (zh) | 2018-09-30 | 2018-09-30 | 一种歌词的动态展示方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811160374.4A CN109257499B (zh) | 2018-09-30 | 2018-09-30 | 一种歌词的动态展示方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109257499A CN109257499A (zh) | 2019-01-22 |
CN109257499B true CN109257499B (zh) | 2021-07-27 |
Family
ID=65045036
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811160374.4A Active CN109257499B (zh) | 2018-09-30 | 2018-09-30 | 一种歌词的动态展示方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109257499B (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110377208B (zh) * | 2019-07-17 | 2023-04-07 | 广州酷狗计算机科技有限公司 | 音频播放方法、装置、终端和计算机可读存储介质 |
CN112395825A (zh) * | 2019-08-01 | 2021-02-23 | 北京字节跳动网络技术有限公司 | 文字特效处理方法及装置 |
CN110990623B (zh) * | 2019-12-04 | 2024-03-01 | 广州酷狗计算机科技有限公司 | 音频字幕的显示方法及装置、计算机设备及存储介质 |
CN111026907B (zh) * | 2019-12-09 | 2023-10-27 | 腾讯音乐娱乐科技(深圳)有限公司 | 音频播放过程中音频信息的显示方法及装置 |
CN111552836A (zh) * | 2020-04-29 | 2020-08-18 | 咪咕文化科技有限公司 | 歌词显示方法、装置及存储介质 |
CN112256176B (zh) * | 2020-10-23 | 2022-04-05 | 北京字节跳动网络技术有限公司 | 文字显示方法、装置、电子设备以及计算机可读存储介质 |
CN112423107B (zh) | 2020-11-18 | 2022-05-17 | 北京字跳网络技术有限公司 | 歌词视频展示方法、装置、电子设备及计算机可读介质 |
CN112616084B (zh) * | 2020-12-10 | 2022-11-22 | 广州酷狗计算机科技有限公司 | 歌词显示方法、装置、终端及存储介质 |
CN114339081A (zh) * | 2021-12-22 | 2022-04-12 | 腾讯音乐娱乐科技(深圳)有限公司 | 一种字幕生成方法、电子设备及计算机可读存储介质 |
CN114579017A (zh) * | 2022-02-10 | 2022-06-03 | 优视科技(中国)有限公司 | 显示音频的方法以及装置 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102207208B1 (ko) * | 2014-07-31 | 2021-01-25 | 삼성전자주식회사 | 음악 정보 시각화 방법 및 장치 |
CN107368491B (zh) * | 2016-05-12 | 2023-07-25 | 富泰华工业(深圳)有限公司 | 影像制作系统及方法 |
CN108206029A (zh) * | 2016-12-16 | 2018-06-26 | 北京酷我科技有限公司 | 一种实现逐字歌词的方法及系统 |
CN107329980B (zh) * | 2017-05-31 | 2022-04-12 | 福建星网视易信息系统有限公司 | 一种基于音频的实时联动显示方法及存储设备 |
CN107454255B (zh) * | 2017-07-28 | 2020-07-17 | 维沃移动通信有限公司 | 一种歌词显示方法、移动终端及计算机可读存储介质 |
CN107943964A (zh) * | 2017-11-27 | 2018-04-20 | 腾讯音乐娱乐科技(深圳)有限公司 | 歌词显示方法、装置及计算机可读存储介质 |
-
2018
- 2018-09-30 CN CN201811160374.4A patent/CN109257499B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN109257499A (zh) | 2019-01-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109257499B (zh) | 一种歌词的动态展示方法及装置 | |
WO2021093737A1 (zh) | 生成视频的方法、装置、电子设备和计算机可读介质 | |
WO2022152064A1 (zh) | 视频生成方法、装置、电子设备和存储介质 | |
CN113365134B (zh) | 音频分享方法、装置、设备及介质 | |
CN110324718B (zh) | 音视频生成方法、装置、电子设备及可读介质 | |
US20230252964A1 (en) | Method and apparatus for determining volume adjustment ratio information, device, and storage medium | |
WO2021073368A1 (zh) | 视频文件的生成方法、装置、终端及存储介质 | |
US20210027800A1 (en) | Method for processing audio, electronic device and storage medium | |
CN105930485A (zh) | 一种音频媒体播放方法、通信设备及网络系统 | |
CN113852767B (zh) | 视频编辑方法、装置、设备及介质 | |
US20230307004A1 (en) | Audio data processing method and apparatus, and device and storage medium | |
US11272136B2 (en) | Method and device for processing multimedia information, electronic equipment and computer-readable storage medium | |
CN110312162A (zh) | 精选片段处理方法、装置、电子设备及可读介质 | |
CN110418183B (zh) | 音视频同步方法、装置、电子设备及可读介质 | |
WO2022160603A1 (zh) | 歌曲的推荐方法、装置、电子设备及存储介质 | |
US20240064367A1 (en) | Video processing method and apparatus, electronic device, and storage medium | |
CN112286481A (zh) | 音频输出方法及电子设备 | |
WO2022042033A1 (zh) | 音乐推送方法、装置、电子设备以及存储介质 | |
CN110675848A (zh) | 音频处理方法、装置及存储介质 | |
CN110428798B (zh) | 人声与伴奏同步方法、蓝牙设备、终端及存储介质 | |
CN104575545B (zh) | 一种待播放列表的生成方法 | |
CN113923390A (zh) | 视频录制方法、装置、设备及存储介质 | |
CN110660376B (zh) | 音频处理方法、装置及存储介质 | |
US20120185774A1 (en) | Symphonic Video Generation | |
WO2022257777A1 (zh) | 多媒体处理方法、装置、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |