CN113407766A - 视觉动画显示方法及相关设备 - Google Patents

视觉动画显示方法及相关设备 Download PDF

Info

Publication number
CN113407766A
CN113407766A CN202011238656.9A CN202011238656A CN113407766A CN 113407766 A CN113407766 A CN 113407766A CN 202011238656 A CN202011238656 A CN 202011238656A CN 113407766 A CN113407766 A CN 113407766A
Authority
CN
China
Prior art keywords
target
song
visual
animation
keyword
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011238656.9A
Other languages
English (en)
Inventor
张楚姝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202011238656.9A priority Critical patent/CN113407766A/zh
Publication of CN113407766A publication Critical patent/CN113407766A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/686Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title or artist information, time, location or usage information, user ratings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/64Browsing; Visualisation therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output

Abstract

本公开实施例提供了一种视觉动画显示方法及装置、存储介质和电子设备。该方法包括:响应对音频播放界面的音频选择指令,确定当前待播放的目标音频信息;确定与目标音频信息匹配的目标视觉关键信息;获取与目标视觉关键信息匹配的目标视觉动画;播放所述目标音频信息过程中,在所述音频播放界面显示与所述目标视觉关键信息匹配的目标视觉动画。通过本公开实施例提供的技术方案,可以在播放目标音频信息的过程中,在音频播放界面上显示与该目标音频信息关联的目标视觉关键信息匹配的目标视觉动画,增强音频播放的互动性。本公开实施例提供的方案能够应用于人工智能领域的机器学习技术。

Description

视觉动画显示方法及相关设备
技术领域
本公开涉及计算机技术领域,具体而言,涉及一种视觉动画显示方法及装置、计算机可读存储介质、电子设备。
背景技术
音乐播放功能在多种终端设备上都已成为必备,如手机、电脑、车机(安装在汽车里面的车载信息娱乐产品的简称)等,音乐播放器中的歌词功能也已经成为必不可少的核心功能之一,很多用户都有一边听歌一边看歌词的习惯。
但现有技术中,在显示歌词时仅展示一张静态的背景图片,且该背景图片是固定好的,显示功能较为单一,与用户的交互性较为单调。
需要说明的是,在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解。
发明内容
本公开实施例提供一种视觉动画显示方法及装置、计算机可读存储介质、电子设备,能够解决上述相关技术中存在的播放音频资源时交互性较为单调的技术问题。
本公开的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本公开的实践而习得。
本公开实施例提供一种视觉动画显示方法,所述方法包括:响应对音频播放界面的音频选择指令,确定当前待播放的目标音频信息;确定与所述目标音频信息匹配的目标视觉关键信息,其中所述目标视觉关键信息包括存在于所述目标音频信息中且适于采用视觉方式呈现的关键词;获取与所述目标视觉关键信息匹配的目标视觉动画,所述目标视觉动画用于以视觉方式呈现所述目标视觉关键信息中的关键词;播放所述目标音频信息过程中,在所述音频播放界面显示与所述目标视觉关键信息匹配的目标视觉动画。
本公开实施例提供一种视觉动画显示装置,所述装置包括:目标音频信息确定单元,用于响应对音频播放界面的音频选择指令,确定当前待播放的目标音频信息;目标视觉关键信息确定单元,用于与所述目标音频信息匹配的目标视觉关键信息,其中所述目标视觉关键信息包括存在于所述目标音频信息中且适于采用视觉方式呈现的关键词;目标视觉动画获取单元,用于获取与所述目标视觉关键信息匹配的目标视觉动画,所述目标视觉动画用于以视觉方式呈现所述目标视觉关键信息中的关键词;目标视觉动画显示单元,用于播放所述目标音频信息过程中,在所述音频播放界面显示与所述目标视觉关键信息匹配的目标视觉动画。
本公开实施例提供了一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现如上述实施例中所述的视觉动画显示方法。
本公开实施例提供了一种电子设备,包括:至少一个处理器;存储装置,配置为存储至少一个程序,当所述至少一个程序被所述至少一个处理器执行时,使得所述至少一个处理器实现如上述实施例中所述的视觉动画显示方法。
根据本公开的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述实施例的各种可选实现方式中提供的视觉动画显示方法。
在本公开的一些实施例所提供的技术方案中,一方面,响应对音频播放界面的音频选择指令,能够确定当前待播放的目标音频信息,且该目标音频信息是与目标视觉关键信息关联的,从而使得在播放该目标音频信息过程中,能够实现在该音频播放界面显示与该目标视觉关键信息匹配的目标视觉动画,通过给用户制造视觉上的彩蛋效果,提高可玩性和趣味性,提升与听音频资源的用户之间的交互性,增强用户听音频资源时的氛围感,增加用户听音频资源过程中的视觉新鲜感,减少审美疲劳。另一方面,随着该目标音频信息的播放进度,可以让目标视觉动画不定时出现,增加用户惊喜感,引发好奇心,从而促进更多使用,避免资源上的浪费。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1示意性示出了根据本公开的一实施例的视觉动画显示方法的流程图。
图2示意性示出了根据本公开的一实施例的视觉动画显示方法的流程图。
图3示意性示出了根据本公开的一实施例的视觉动画显示方法的流程图。
图4示意性示出了根据本公开的一实施例的视觉动画显示方法的流程图。
图5示意性示出了根据本公开的一实施例的视觉动画显示方法的流程图。
图6示意性示出了根据本公开的一实施例的正常播放器的界面示意图。
图7示意性示出了播放至图6中的目标歌词关键词“下雨”时显示的云雨动画效果示意图。
图8示意性示出了在20秒后图7中显示的云雨动画效果逐渐消失,逐步恢复到图6所示的原始播放器的界面示意图。
图9示意性示出了根据本公开的一实施例的正常播放器的界面示意图。
图10示意性示出了播放至图9中的目标歌词关键词“樱花”时显示的樱花动画效果示意图。
图11示意性示出了在10秒后图10中显示的樱花动画效果逐渐消失,逐步恢复到图9所示的原始播放器的界面示意图。
图12示意性示出了将本公开实施例提供的方法应用于歌词全屏页面的示意图。
图13示意性示出了将本公开实施例提供的方法应用于K歌页面的示意图。
图14示意性示出了根据本公开的一实施例的视觉动画显示方法的流程图。
图15示意性示出了根据本公开的一实施例的目标歌单的目标歌单主题词的界面示意图。
图16示意性示出了当播放图15所示的目标歌单中的歌曲时显示的樱花动画效果示意图。
图17示意性示出了根据本公开的一实施例的视觉动画显示方法的流程图。
图18示意性示出了根据本公开的一实施例的视觉动画显示方法的流程图。
图19示意性示出了根据本公开的一实施例的彩蛋效果生成模板示意图。
图20示意性示出了根据本公开的一实施例的通过识别歌词隐藏情感展示对应彩蛋效果的示意图。
图21示意性示出了根据本公开的一实施例的视觉动画显示装置的框图。
图22示出了适于用来实现本公开实施例的电子设备的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施例。然而,示例实施例能够以多种形式实施,且不应被理解为限于在此阐述的实施例;相反,提供这些实施例使得本公开将全面和完整,并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。
本公开所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中,提供许多具体细节从而给出对本公开的实施方式的充分理解。然而,本领域技术人员将意识到,可以实践本公开的技术方案而省略特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。
附图仅为本公开的示意性图解,图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。附图中所示的一些方框图不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体,或在至少一个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明,不是必须包括所有的内容和步骤,也不是必须按所描述的顺序执行。例如,有的步骤还可以分解,而有的步骤可以合并或部分合并,因此实际执行的顺序有可能根据实际情况改变。
本说明书中,用语“一个”、“一”、“该”、“所述”和“至少一个”用以表示存在至少一个要素/组成部分/等;用语“包含”、“包括”和“具有”用以表示开放式的包括在内的意思并且是指除了列出的要素/组成部分/等之外还可存在另外的要素/组成部分/等;用语“第一”、“第二”和“第三”等仅作为标记使用,不是对其对象的数量限制。
下面结合附图对本公开示例实施方式进行详细说明。
基于上述相关技术中存在的技术问题,本公开实施例提出了一种视觉动画显示方法,以用于至少部分解决上述问题。本公开各实施例提供的方法可以由任意的电子设备来执行,例如服务器,或者终端设备,或者服务器与终端设备之间进行交互,本公开对此不做限定。
本公开实施例中提及的服务器可以是独立的服务器,也可以是多个服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network,内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。
本公开实施例中,终端设备可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、可穿戴智能设备、车机、智能电视等,但并不局限于此。终端设备以及服务器可以通过有线或无线通信方式进行直接或间接地连接,本公开在此不做限制。
图1示意性示出了根据本公开的一实施例的视觉动画显示方法的流程图。本公开实施例以终端设备执行为例进行举例说明,但本公开并不限定于此。
本公开实施例提及的视觉动画是指任意由用户执行指定操作而触发的动画效果,例如可以在APP(application,应用程序)内由开发预埋好,从而达到一种彩蛋效果。
本公开实施例提及的彩蛋通常是指制作者隐藏在产品中的、用于愉悦用户的隐秘物,例如可以包括文字、图片、视频、声音或者某些小变化等。通常在用户进行了某些特定的操作时出现。例如当用户执行某些用户手册中没有说明的隐秘命令、无意中的鼠标或键盘操作。制作者的目的通常是向用户展示制作人的某些资料或者为了取悦用户。彩蛋可以被应用在多种系统平台,例如可包括但不限于android(安卓,一种移动操作系统)平台、IOS(一种移动操作系统)平台、Windows(一种操作系统)平台、Linux(一种操作系统)平台等等。
如图1所示,本公开实施例提供的方法可以包括以下步骤。
在步骤S110中,响应对音频播放界面的音频选择指令,确定当前待播放的目标音频信息。
用户例如在其终端设备上安装各类客户端,如音乐播放器、音频客户端、视频客户端、即时通讯客户端、教育客户端、出行客户端等,当该用户打开其终端设备上安装的任意一个客户端的音频播放界面(能够用于播放音频的任意界面)时,可以在该音频播放界面上显示一个音频信息列表,用户可以选择该音频信息列表中的任意一个或者多个音频信息,以触发音频选择指令,根据该音频选择指令即可确定该用户当前想要播放的目标音频信息。
本公开实施例中的音频信息和目标音频信息可以是任意的以音频方式播放的信息,例如演讲、歌曲、新闻等。在下面的实施例中,均以音频信息为歌曲、目标音频信息为目标歌曲为例进行举例说明,但本公开并不限定于此。
在步骤S120中,确定与所述目标音频信息匹配的目标视觉关键信息,其中所述目标视觉关键信息包括存在于所述目标音频信息中且适于采用视觉方式呈现的关键词。
本公开实施例中,视觉关键信息是指能够以视觉形式展示的信息,例如一些与强视觉意向相关的关键词,如下面例举的“樱花”、“下雨”等等。与所述目标音频信息匹配的目标视觉关键信息是指,目标音频信息例如目标歌曲中的歌名、歌曲封面、歌词等中包含的信息与该目标视觉关键信息是相匹配的。例如假设某一首歌的歌词中出现了“樱花”,则关联的目标视觉关键信息可以就是“樱花”,可以采用樱花的图像、动画等方式展现出樱花。
在步骤S130中,获取与所述目标视觉关键信息匹配的目标视觉动画,所述目标视觉动画用于以视觉方式呈现所述目标视觉关键信息中的关键词。
在一些实施例中,当在终端设备确定了当前待播放的目标音频信息,并确定了与该目标音频信息匹配的目标视觉关键信息时,终端设备可以向服务器发送获取该目标音频信息的请求,若已经将与该目标视觉关键信息匹配的目标视觉动画预置在该目标音频信息中,则可以在从服务器拉取该目标音频信息的同时,将该目标音频信息和该目标视觉动画一起缓存到终端设备的本地,后续播放该目标音频信息时,在对应的位置显示该目标视觉动画即可,这样可以提高目标视觉动画的流畅度,让目标音频信息的播放与目标视觉动画的显示的同步性能更好。
在另一些实施例中,当在终端设备确定了当前待播放的目标音频信息,终端设备可以向服务器发送获取该目标音频信息的请求,服务器将对应的目标音频信息返回给终端设备,终端设备然后确定与该目标音频信息匹配的目标视觉关键信息,然后在播放该目标音频信息时,再根据该目标视觉关键信息去服务器拉取相应的目标视觉动画,播放该目标音频信息时,在对应的位置显示该目标视觉动画,这样可以减少占用终端设备这一段的存储空间。
在步骤S140中,播放所述目标音频信息过程中,在所述音频播放界面显示与所述目标视觉关键信息匹配的目标视觉动画。
本公开实施例中,根据该目标视觉关键信息可以获得与其匹配的目标视觉动画,在播放该目标音频信息例如目标歌曲的过程中,可以同时在该音频播放界面展示该目标视觉动画。
例如,可以通过在很短时间(通常为毫秒级,例如100毫秒、50毫秒)内连续间隔播放多帧与该目标视觉关键信息匹配的图片来实现彩蛋的动画效果。
在示例性实施例中,所述方法还可以包括:获取样本歌曲中的歌曲关键词;获得所述歌曲关键词对应的关键词标签;获取设计的视觉动画;获得所述关键词标签与相应的视觉动画之间的映射关系。
还是以歌曲为例,可以收集大量的歌曲作为样本歌曲,预先从这些样本歌曲中抽取一些能够以视觉形式展示的关键词作为歌曲关键词,并给这些歌曲关键词分配对应的关键词标签,关键词标签是指能够将每个歌曲关键词与其他歌曲关键词唯一区别开来的、且便于计算机识别的标识。
在一些实施例中,该目标视觉动画可以由开发人员(如动画设计人员、动画制作人员等)基于各个系统平台(如安卓平台、IOS平台等)的原生代码预先制作。
然后,将每个歌曲关键词对应的关键词标签与相应的视觉动画之间建立起映射关系,例如假设某个歌曲关键词为“樱花”,并给其分配一个关键词标签为“1(仅用于举例说明)”,设计了一个与樱花相关的视觉动画,则可以在数据库中保存“樱花”这个歌曲关键词的关键词标签“1”与该樱花相关的视觉动画之间的映射关系,以用于后续根据目标视觉关键信息找到与其匹配的目标视觉动画。
在示例性实施例中,所述目标音频信息可以包括目标歌曲,所述目标视觉关键信息可以包括目标歌名关键词,所述目标视觉动画可以包括目标歌名视觉动画。
其中,所述方法还可以包括:获得所述目标歌曲的目标歌名;匹配所述目标歌名与所述歌曲关键词,从所述歌曲关键词中确定所述目标歌名关键词及其关键词标签;根据所述映射关系,从所述视觉动画中确定与所述目标歌名关键词的关键词标签对应的目标歌名视觉动画。
其中,播放所述目标音频信息过程中,在所述音频播放界面显示与所述目标视觉关键信息匹配的目标视觉动画,可以包括:从开始播放所述目标歌曲至歌名动画播放时长内,在所述音频播放界面显示所述目标歌名视觉动画。
在示例性实施例中,所述目标音频信息包括目标歌曲,所述目标视觉关键信息包括目标歌曲封面关键词,所述目标视觉动画包括目标歌曲封面视觉动画。
其中,所述方法还可以包括:在所述音频播放界面显示所述目标歌曲的目标歌曲封面;对所述目标歌曲封面进行光学字符识别,获得所述目标歌曲封面的文字识别结果;匹配所述目标歌曲封面的文字识别结果与所述歌曲关键词,从所述歌曲关键词中确定所述目标歌曲封面关键词及其关键词标签;根据所述映射关系,从所述视觉动画中确定与所述目标歌曲封面关键词的关键词标签对应的目标歌曲封面视觉动画。
其中,播放所述目标音频信息过程中,在所述音频播放界面显示与所述目标视觉关键信息匹配的目标视觉动画,可以包括:从开始播放所述目标歌曲至封面动画播放时长内,在所述音频播放界面显示所述目标歌曲封面视觉动画。
在示例性实施例中,所述目标音频信息可以包括目标歌单,所述目标视觉关键信息可以包括目标歌单关键词,所述目标视觉动画可以包括目标歌单视觉动画。
在示例性实施例中,所述目标音频信息可以包括目标歌曲,所述目标视觉关键信息可以包括目标歌词关键词,所述目标视觉动画可以包括目标歌词视觉动画。
其中,所述方法还可以包括:获取所述目标歌曲的目标歌词;匹配所述目标歌词与所述歌曲关键词,从所述歌曲关键词中确定所述目标歌词关键词及其关键词标签;根据所述映射关系,从所述视觉动画中确定与所述目标歌词关键词的关键词标签对应的目标歌词视觉动画。
其中,播放所述目标音频信息过程中,在所述音频播放界面显示与所述目标视觉关键信息匹配的目标视觉动画,可以包括:从播放至所述目标歌词关键词所在的目标歌词行开始至歌词动画播放时长内,在所述音频播放界面显示所述目标歌词视觉动画。
本公开实施例中,假设一首歌曲会具有歌名、歌曲封面和歌词,相应的目标歌曲就会包括目标歌名、目标歌曲封面和目标歌词。
在识别目标歌曲的目标视觉关键信息的过程中,可以设置识别的优先级,下面的实施例中假设识别优先级设置为:目标歌曲的目标歌名的识别优先级大于目标歌曲的目标歌曲封面;目标歌曲封面的识别优先级大于目标歌曲的目标歌词。
即首先在目标歌名中查找是否有与上述预先提取出的歌曲关键词匹配的目标歌名关键词,若查找到目标歌名关键词则优先播放与该目标歌名关键词对应的目标歌名视觉动画。
不管是否在目标歌名中查找到目标歌名关键词,可以继续在目标歌曲封面中查找是否有与上述歌曲关键词匹配的目标歌曲封面关键词,若查找到目标歌曲封面关键词则可以在目标歌名视觉动画展示完之后(若存在目标歌名视觉动画),或者优先播放与该目标歌曲封面关键词对应的目标歌曲封面视觉动画(若不存在目标歌名视觉动画)。
不管是否在目标歌曲封面中查找到目标歌曲封面关键词,可以继续在目标歌词中查找是否有与上述歌曲关键词匹配的目标歌词关键词,若查找到目标歌词关键字,则可以在目标歌名视觉动画和/或目标歌曲封面视觉动画展示完之后(若存在目标歌名视觉动画和/或目标歌曲封面视觉动画),或者直接在播放该目标歌词关键词所在的目标歌词行时,播放与该目标歌词关键词对应的目标歌词视觉动画(若不存在目标歌名视觉动画和目标歌曲封面视觉动画)。即在一首目标歌曲的播放过程中,可以间隔展示一个或者多个(两个或者两个以上)目标视觉动画。
在一些实施例中,也可能部分目标歌曲不具有歌曲封面,则此时不处理目标歌曲封面相关的步骤即可。
可以理解的是,上述识别优先级仅用于举例说明,本公开并不限定于此,例如也可以设置为目标歌词的识别优先级大于目标歌曲封面,且目标歌曲封面的识别优先级大于目标歌名;或者,目标歌曲封面的识别优先级大于目标歌词,且目标歌词的识别优先级大于目标歌名等等。
在另一些实施例中,也可以仅识别目标歌曲的目标歌词中的目标歌词关键词、或者目标歌曲封面中的目标歌曲封面关键词、或者目标歌名中的目标歌名关键词中的一者或者两者作为目标视觉关键信息。
本公开实施方式提供的视觉动画显示方法,一方面,响应对音频播放界面的音频选择指令,能够确定当前待播放的目标音频信息,且该目标音频信息是与目标视觉关键信息关联的,从而使得在播放该目标音频信息过程中,能够实现在该音频播放界面显示与该目标视觉关键信息匹配的目标视觉动画,通过给用户制造视觉上的彩蛋效果,提高可玩性和趣味性,提升与听音频资源的用户之间的交互性,增强用户听音频资源时的氛围感,增加用户听音频资源过程中的视觉新鲜感,减少审美疲劳。另一方面,随着该目标音频信息的播放进度,可以让目标视觉动画不定时出现,增加用户惊喜感,引发好奇心,从而促进更多使用,避免资源上的浪费。
下面在图2-4实施例中,以识别优先级设置为目标歌名的识别优先级大于目标歌曲封面,且目标歌曲封面的识别优先级大于目标歌词为例进行举例说明。
图2示意性示出了根据本公开的一实施例的视觉动画显示方法的流程图。图2实施例中,所述目标音频信息可以包括目标歌曲,所述目标视觉关键信息可以包括目标歌名关键词,所述目标视觉动画可以包括目标歌名视觉动画。
如图2所示,本公开实施例提供的方法可以包括以下步骤。
在步骤S201中,获取样本歌曲中的歌曲关键词。
在步骤S202中,获得所述歌曲关键词对应的关键词标签。
本公开实施例中,可以从样本歌曲的歌名、歌曲封面、歌词等中先挑选出部分强视觉意象的关键词作为歌曲关键词,然后对这些歌曲关键词进行分类并设置对应的关键词标签,以建立关键词标签库。
例如,关键词标签库中可以包括以下歌曲关键词的分类:
1、天气类:晴天、下雨、刮风、多云、阴天、下雪、暴风雨、雷电交加、风和日丽、微风徐徐、雨过天晴、彩虹、星星满天、月明星稀等
2、心情类:恋爱、失恋、快乐、幸福、忧郁、难过、伤心、绝望等(需要识别前面是否有否定词)
3、自然类:樱花、花瓣、落红、草原、山川、河流、海洋等
进一步地,还可以设置一个否定词表,例如可以包括以下否定词:不、不要、不会、不能、不想、不会等。以用于对定位到的歌曲关键词进一步判断是表达否定意思还是肯定意思。
在步骤S203中,获取设计的视觉动画。
在步骤S204中,获得所述关键词标签与相应的视觉动画之间的映射关系。
本公开实施例中,并对应设计对应样式的视觉动画,将歌曲关键词的关键词标签与对应的视觉动画之间构建映射关系,以在目标歌曲中识别到目标视觉关键信息时,可以对应确定目标视觉动画。
在步骤S205中,响应对音频播放界面的音频选择指令,确定当前待播放的目标歌曲。该步骤可以参照上述图1实施例。
在步骤S206中,判断是否处于锁屏状态;若非处于锁屏状态,则进入步骤S207;若处于锁屏状态,则跳转到步骤S211。
本公开实施例中锁屏状态是指未在终端设备的屏幕上显示出音频播放界面的状态。例如,有的用户虽然打开了音乐播放器,选中了目标歌曲进行播放,但是在听歌过程中,用户打开了该终端设备上的浏览器在浏览网页,或者打开了其他软件在工作,或者用户在聊天、在午休,眼睛没有看着屏幕,此时终端设备会自动进入锁屏状态,此时均不用展示目标视觉动画。
在步骤S207中,获得所述目标歌曲的目标歌名。
本公开实施例中,首先获得目标歌曲的目标歌名,对其进行识别和与歌曲关键词的匹配处理。
在步骤S208中,匹配所述目标歌名与所述歌曲关键词,从所述歌曲关键词中确定所述目标歌名关键词及其关键词标签。
例如,假设目标歌曲的目标歌名为“所有下雨天”,其匹配中了上述关键词标签库中的天气类中的歌曲关键词“下雨”,则将“下雨”作为目标歌名关键词,此时可以对应获得该目标歌名关键词的关键词标签。
在步骤S209中,根据所述映射关系,从所述视觉动画中确定与所述目标歌名关键词的关键词标签对应的目标歌名视觉动画。
例如,根据“下雨”这个目标歌名关键词的关键词标签,可以从上述保存的映射关系中确定设计的与下雨相关的视觉动画作为其目标歌名视觉动画。
在步骤S210中,从开始播放所述目标歌曲至歌名动画播放时长内,在所述音频播放界面显示所述目标歌名视觉动画。
例如,当目标歌曲的目标歌名“所有下雨天”中包括“下雨”这个目标歌名关键词时,则可以在开始播放“所有下雨天”这首目标歌曲时,在预设的歌名动画播放时长内例如20秒(可以根据实际情况设置,本公开对此不做限定),在该音频播放界面展示该与下雨相关的目标歌名视觉动画。
还可以给不同的目标歌曲设置相同或者不同的歌名动画播放时长,例如可以根据每首目标歌曲的音乐节奏、歌词风格、不同的目标歌名关键词等设置不同的歌名动画播放时长。
可以理解的是,虽然这里以在开始播放该目标歌曲时开始展示该目标歌名视觉动画为例进行举例说明,但本公开并不限定于此,例如还可以在快要播放完该目标歌曲时,或者在播放该目标歌曲的中间阶段,在该音频播放界面展示该目标歌名视觉动画。
在步骤S211中,不显示目标视觉动画。
本公开实施方式提供的视觉动画显示方法,目标歌名中可以包含不同的文字信息,不同的目标歌名可以给用户带来不同的心理感受,通过预先配置好一系列符合歌曲关键词意境的视觉动画,再将目标歌名中的特定词汇打上相应的关键词标签,当开始播放该目标歌曲时,可以在音乐播放器/歌词页/音乐APP首页等音频播放界面中显示与该关键词标签对应的目标歌名视觉动画,以制造与该目标歌名关键词相匹配的视觉上的彩蛋效果,增加用户听音乐的氛围感与惊喜感。
图3示意性示出了根据本公开的一实施例的视觉动画显示方法的流程图。图3实施例中所述目标音频信息可以包括目标歌曲,所述目标视觉关键信息可以包括目标歌曲封面关键词,所述目标视觉动画可以包括目标歌曲封面视觉动画。
如图3所示,本公开实施例提供的方法可以包括以下步骤。
在步骤S301中,在所述音频播放界面显示所述目标歌曲的目标歌曲封面。
本公开实施例中,在对目标歌曲的目标歌名进行识别和与歌曲关键词的匹配处理之后,不管是否匹配到目标歌名关键词,均可以继续获得目标歌曲封面,对目标歌曲封面进行识别和与歌曲关键词的匹配处理。
其中,在目标歌曲封面上可以包括该目标歌曲的演唱主题、演唱者、演唱版本等相关信息。
在步骤S302中,对所述目标歌曲封面进行光学字符识别,获得所述目标歌曲封面的文字识别结果。
本公开实施例中,可以采用OCR(Optical Character Recognition,光学字符识别,这是一个将电子图像中的字体、绘图或场景文本转化为机器编码文本的过程)技术识别图像格式的目标歌曲封面中的文字,获得其文字识别结果。
在步骤S303中,匹配所述目标歌曲封面的文字识别结果与所述歌曲关键词,从所述歌曲关键词中确定所述目标歌曲封面关键词及其关键词标签。
在步骤S304中,根据所述映射关系,从所述视觉动画中确定与所述目标歌曲封面关键词的关键词标签对应的目标歌曲封面视觉动画。
在步骤S305中,从开始播放所述目标歌曲至封面动画播放时长内,在所述音频播放界面显示所述目标歌曲封面视觉动画。
本公开实施例中,封面动画播放时长可以根据实际情况设置,例如10秒,但本公开并不限定于此。还可以给不同的目标歌曲设置相同或者不同的封面动画播放时长,例如可以根据每首目标歌曲的音乐节奏、歌词风格、不同的目标歌曲封面关键词等设置不同的封面动画播放时长。
可以理解的是,虽然这里以在开始播放该目标歌曲时开始展示该目标歌曲封面视觉动画为例进行举例说明,但本公开并不限定于此,例如还可以在快要播放完该目标歌曲时,或者在播放该目标歌曲的中间阶段,在该音频播放界面展示该目标歌曲封面视觉动画。
本公开实施方式提供的视觉动画显示方法,目标歌曲封面中可以包含不同的文字信息,不同的目标歌曲封面可以给用户带来不同的心理感受,通过预先配置好一系列符合歌曲关键词意境的视觉动画,再将目标歌曲封面中的特定词汇打上相应的关键词标签,当开始播放该目标歌曲时,可以在音乐播放器/歌词页/音乐APP首页等音频播放界面中显示与该关键词标签对应的目标歌曲封面视觉动画,以制造与该目标歌曲封面关键词相匹配的视觉上的彩蛋效果,增加用户听音乐的氛围感与惊喜感。
图4示意性示出了根据本公开的一实施例的视觉动画显示方法的流程图。图4实施例中,所述目标音频信息可以包括目标歌曲,所述目标视觉关键信息可以包括目标歌词关键词,所述目标视觉动画可以包括目标歌词视觉动画。
如图4所示,本公开实施例提供的方法可以包括以下步骤。
在步骤S401中,获取所述目标歌曲的目标歌词。
本公开实施例中,在对目标歌曲的目标歌名、目标歌曲封面进行识别和与歌曲关键词的匹配处理之后,不管是否匹配到目标歌名关键词和目标歌曲封面关键词,均可以继续获得目标歌词,对目标歌词进行识别和与歌曲关键词的匹配处理。
在示例性实施例中,获取所述目标歌曲的目标歌词,可以包括:在开始播放所述目标歌曲之前,获得所述目标歌曲的目标歌词;或者在播放所述目标歌曲时,在所述音频播放界面显示并获得所述目标歌词;或者在播放所述目标歌曲时,获得所述目标歌曲的目标歌曲音频;对所述目标歌曲音频进行语音识别,获得所述目标歌词。
本公开实施例中,可以采用多种技术手段获得目标歌词、目标歌名和目标歌曲封面,如文字识别技术、语音识别技术、图片识别技术等中的一种或者多种。
例如,可以采用文字识别技术,在开始播放目标歌曲之前,或者在播放目标歌曲过程中,在屏幕上显示该目标歌曲的目标歌词,然后将目标歌名及目标歌词中的特定文字(与上述歌曲关键词匹配的文字)识别出来,打上相应的关键词标签,在音乐播放器中开始播放该目标歌曲,或者在播放到该目标歌词关键词所在的目标歌词行时,调取关键词标签对应的目标视觉动画进行展示。
再例如,也可以采用语音识别技术,在目标歌曲播放时,识别出唱词(目标歌曲音频)中带有的歌曲关键词的内容作为目标歌词关键词,调取对应的关键词标签对应的目标视觉动画进行展示。
在步骤S402中,匹配所述目标歌词与所述歌曲关键词,从所述歌曲关键词中确定所述目标歌词关键词及其关键词标签。
在步骤S403中,根据所述映射关系,从所述视觉动画中确定与所述目标歌词关键词的关键词标签对应的目标歌词视觉动画。
在步骤S404中,从播放至所述目标歌词关键词所在的目标歌词行开始至歌词动画播放时长内,在所述音频播放界面显示所述目标歌词视觉动画。
本公开实施例中,歌词动画播放时长可以根据实际情况设置,例如10秒,但本公开并不限定于此。还可以给不同的目标歌曲设置相同或者不同的歌词动画播放时长,例如可以根据每首目标歌曲的音乐节奏、歌词风格、不同的目标歌词关键词等设置不同的歌词动画播放时长。
可以理解的是,虽然这里以在播放至该目标歌词行的过程中展示该目标歌词视觉动画为例进行举例说明,但本公开并不限定于此,例如还可以在快要播放完该目标歌曲时,或者在播放该目标歌曲的中间阶段,或者在播放该目标歌词行及其上下两行歌词的过程中,在该音频播放界面展示该目标歌词视觉动画。
需要说明的是,本公开实施例中的目标歌名关键词、目标歌曲封面关键词和目标歌词关键词可以匹配的是同一个歌曲关键词,也可以是不同的歌曲关键词,对应的目标歌名视觉动画、目标歌曲封面视觉动画和目标歌词视觉动画也可以是同一个视觉动画,或者不同的视觉动画,本公开对此不做限定。类似地,歌名动画播放时长、歌曲封面动画播放时长和歌词动画播放时长可以设置为相同,也可以设置为不同。
在示例性实施例中,从播放至所述目标歌词关键词所在的目标歌词行开始至歌词动画播放时长内,在所述音频播放界面显示所述目标歌词视觉动画,可以包括:若所述目标歌词行中存在至少两个不同的目标歌词关键词,则在播放所述目标歌词行的过程中,在所述音频播放界面显示所述目标歌词行中首次匹配到的目标歌词关键词对应的目标歌词视觉动画。
本公开实施例中,若目标歌词的同一目标歌词行(同一句歌词)中同时识别到多个(两个或者两个以上)不同的目标歌词关键词时,则可以设置为,以在该同一目标歌词行中最先识别到的目标歌词关键词为准,在整个播放该目标歌词行的过程中,在该音频播放界面仅展示与该最先识别到的目标歌词关键词对应的目标歌词视觉动画。这样确定了匹配到多个歌曲关键词时目标视觉动画的展示方式,避免在播放某一句歌词的过程中,反复切换不同的目标视觉动画造成的资源浪费,也避免了反复切换导致用户眼花缭乱,进一步提高了用户体验。
例如,假设在某一句歌词中依序识别到“下雨”、“樱花”、“海洋”三个目标歌词关键词,则在播放该句歌词的过程中,仅在音频播放界面展示与下雨相关的目标歌词视觉动画。
本公开实施例中,若所述目标歌名中存在至少两个不同的目标歌名关键词,则可以在开始播放所述目标歌曲时,在所述音频播放界面仅显示所述目标歌名中首次匹配到的目标歌名关键词对应的目标歌名视觉动画。
本公开实施例中,若所述目标歌曲封面中存在至少两个不同的目标歌曲封面关键词,则可以在开始播放所述目标歌曲时,在所述音频播放界面仅显示所述目标歌曲封面中首次匹配到的目标歌曲封面关键词对应的目标歌曲封面视觉动画。
本公开实施例中,若同时识别到了不同的目标歌名关键词和目标歌曲封面关键词,则可以在开始播放所述目标歌曲时,在所述音频播放界面仅显示所述目标歌名中匹配到的目标歌名关键词对应的目标歌名视觉动画。或者,也可以在开始播放所述目标歌曲时,在所述音频播放界面仅显示所述目标歌曲封面中匹配到的目标歌曲封面关键词对应的目标歌曲封面视觉动画。
本公开实施例中,对于首句歌词而言,若在该首句歌词中识别到了目标歌词关键词的同时,识别到了不同的目标歌名关键词和目标歌曲封面关键词,则可以在播放该首句歌词的过程中,在所述音频播放界面仅显示所述目标歌名中匹配到的目标歌名关键词对应的目标歌名视觉动画,或者,也可以仅显示所述目标歌曲封面中匹配到的目标歌曲封面关键词对应的目标歌曲封面视觉动画,或者,也可以仅显示该目标歌词关键对应的目标歌词视觉动画。
在示例性实施例中,从播放至所述目标歌词关键词所在的目标歌词行开始至歌词动画播放时长内,在所述音频播放界面显示所述目标歌词视觉动画,可以包括:从所述目标歌词关键词开始,向前识别所述目标歌词行中的预定数量的词;将所述预定数量的词与否定词表进行匹配,获得匹配的否定词;若匹配的否定词数量为偶数,则从播放至所述目标歌词行开始至所述歌词动画播放时长内,在所述音频播放界面显示所述目标歌词视觉动画。
本公开实施例中,在目标歌词行中定位到了一个目标歌词关键词时,可以从该目标歌词关键词开始,向前识别出n个(预定数量,n为大于或等于1的正整数)词,将该n个词分别与否定词表进行匹配,判断匹配到的否定词个数是否为奇数,若为奇数,则可以判定该目标歌词关键词表达的是否定意思,此时可以不在音频播放界面展示目标歌词视觉动画;若为偶数,则可以判定该目标歌词关键词表达的是肯定意思,此时可以在音频播放界面展示目标歌词视觉动画。
本公开实施例中,在目标歌名中定位到了一个目标歌名关键词时,可以从该目标歌名关键词开始,向前识别出n个词,将该n个词分别与否定词表进行匹配,判断匹配到的否定词个数是否为奇数,若为奇数,则可以判定该目标歌名关键词表达的是否定意思,此时可以不在音频播放界面展示目标歌名视觉动画;若为偶数,则可以判定该目标歌名关键词表达的是肯定意思,此时可以在音频播放界面展示目标歌名视觉动画。
本公开实施例中,在目标歌曲封面的文字识别结果中定位到了一个目标歌曲封面关键词时,可以从该目标歌曲封面关键词开始,向前识别出n个词,将该n个词分别与否定词表进行匹配,判断匹配到的否定词个数是否为奇数,若为奇数,则可以判定该目标歌曲封面关键词表达的是否定意思,此时可以不在音频播放界面展示目标歌曲封面视觉动画;若为偶数,则可以判定该目标歌曲封面关键词表达的是肯定意思,此时可以在音频播放界面展示目标歌曲封面视觉动画。
通过查找匹配的否定词,可以更加准确地识别出歌曲的歌词、歌名、歌曲封面中表达的含义,展示更加符合意境的目标视觉动画,进一步提高与用户的互动性,同时避免资源的浪费。
本公开实施方式提供的视觉动画显示方法,目标歌词中可以包含不同的文字信息,不同的目标歌词可以给用户带来不同的心理感受,通过预先配置好一系列符合歌曲关键词意境的视觉动画,再将目标歌词中的特定词汇打上相应的关键词标签,当开始播放该目标歌曲时,可以在音乐播放器/歌词页/音乐APP首页等音频播放界面中显示与该关键词标签对应的目标歌词视觉动画,以制造与该目标歌词关键词相匹配的视觉上的彩蛋效果,增加用户听音乐的氛围感与惊喜感。
在示例性实施例中,所述目标视觉关键信息包括目标歌曲关键词;其中,播放所述目标音频信息过程中,在所述音频播放界面显示与所述目标视觉关键信息匹配的目标视觉动画,可以包括:将所述目标歌曲与所述歌曲关键词进行匹配,从所述歌曲关键词中确定目标歌曲关键词;若从所述目标歌曲中重复识别出同一目标歌曲关键词,则在播放所述目标歌曲的过程中,在首次识别出所述同一目标歌曲关键词时,在所述音频播放界面显示与所述同一目标歌曲关键词匹配的目标视觉动画。
本公开实施例中,目标歌曲关键词可以包括上述目标歌名关键词、目标歌曲封面关键词和目标歌词关键词中的至少一个。
本公开实施例中,若目标歌曲的目标歌名、目标歌曲封面和目标歌词中识别到了相同的目标歌曲关键词,则可以设置为仅首次识别该同一目标歌曲关键词时,在整个目标歌曲的播放过程中,仅在音频播放界面展示一次对应的目标视觉动画,即可以设置为每种视觉动画在整曲播放过程中仅展示一遍。这样可以避免在一首歌的播放过程中,重复展示相同的目标视觉动画,避免了资源的浪费,也避免了用户观看同一目标视觉动画的审美疲劳。
本公开实施例中,还可根据特殊场景进行特殊化设计,如节日歌曲、歌手生日运营等。
图5示意性示出了根据本公开的一实施例的视觉动画显示方法的流程图。图5实施例仅以目标歌曲的目标歌词为例对上述实施例提供的方法进行举例说明。
如图5所示,本公开实施例提供的方法可以包括以下步骤。
在步骤S501中,系统将适合做成彩蛋设计的关键词列出,并进行分类,建立关键词标签库。
这里适合做成彩蛋设计的关键词即上述被挑选出来具有强视觉意向的关键词,将其作为歌曲关键词。
在步骤S502中,设计对应的视觉动画。
在步骤S503中,制定关键词标签与视觉动画的匹配规则。
以获得并保存所述各歌曲关键词的关键词标签与相应的视觉动画之间的映射关系。
在步骤S504中,用户在软件中播放音乐。
用户打开其终端设备上安装的可以用于进行音乐播放的软件例如音乐播放器,可以直接在音频播放界面上显示的歌曲列表中点击选择某一首歌曲作为目标歌曲,也可以在音频播放界面上的搜索输入框中输入歌手名字、专辑名称等信息,搜索并显示出对应的歌曲列表进行点击选择以确定目标歌曲。
在步骤S505中,系统快速扫描当前正在播放的音乐的歌词文本内容,若从中提取到目标歌词关键词,则在播放时间线上做好标记。
图5实施例中,假设用户选择了目标歌曲后,会立即在音频播放界面(这里称之为音乐播放界面)上显示该目标歌曲的目标歌词,在开始播放之前,系统可以快速扫描该文本格式的目标歌词的内容,判断其中是否存在与上述预设的歌曲关键词匹配的目标歌词关键词。
若识别出目标歌词关键词,则可以在该目标歌曲的播放时间线的对应位置坐好标记。
在步骤S506中,音乐播放到目标歌词关键词标记处时,系统调取与该目标歌词关键词的关键词标签匹配的目标视觉动画,并在音乐播放界面展示。
当播放到该目标歌词关键词标记处时,可以调取与该目标歌词关键词的关键词标签匹配的目标视觉动画,以显示在音乐播放界面上。
如图6所示,假设目标歌曲的目标歌名为“所有下雨天”,正常播放器即未展示目标视觉动画的音乐播放器,假设此时处于快唱(Quick Sing)模式。在该正常播放器的音乐播放界面显示了部分目标歌词“今天长得好因约会那天人生早精彩蜕变由于跟你度过一个下雨天当孤单看着雨都会愉快点分手之后你尚有余热让我取暖…”。
继续参考图6,其还可以显示下载(download)控件,添加(Add to)控件,评论(command)控件和分享(share)控件,以分别用于下载该目标歌曲、将该目标歌曲添加至该用户的收藏歌曲中,用户对该目标歌曲发表评论,用户将该目标歌曲分享给其他好友。
当识别到上述图6的目标歌词中带有目标歌词关键词“下雨”时,可以在该目标歌词关键词处做上标记。如图7所示,当播放到目标歌词关键词“下雨”时,在屏幕上出现对应的云雨视觉动画作为目标歌词视觉动画,以展示云雨动画效果。
如图8所示,可以设置为在20秒后让该云雨动画效果逐渐消失恢复到原始的不展示目标视觉动画的音乐播放器。
如图9所示,假设目标歌词包括“喜欢樱花每年爱看一遍盛放樱花当天我们都会见面…”。
如图10所示,当识别到目标歌词中带有目标歌词关键词“樱花”时,当播放到目标歌词关键词“樱花”时,在屏幕上出现与樱花相关的目标视觉动画,以展示樱花动画效果。
如图11所示,在展示樱花动画效果10秒后,该樱花动画效果逐渐消失,恢复到原始的不展示樱花动画效果的音乐播放器。
还可以将本公开实施例提供的方法应用于其他场景中。
例如,可以应用于如图12所示的歌词全屏页面,在音频播放界面中展示目标歌曲的目标歌名“所有下雨天”及其部分目标歌词“…摇动旧折扇彷佛讲好的暑假仍不变凡有美好的要记住那种甜或与暖今天长得好因约会那天人生早精彩蜕变由于跟你渡过一个下雨天当孤单看着雨都会愉快点分手之后你尚有余热让我取暖何需跟你渡过所有下雨天当天阴要下雨好戏便上演只因有动情过从一刻得到永远怀抱过春天哪算是错的时候碰见这匆匆之恋都已为世间留低多一双笑脸…”,当播放到目标歌词关键词例如“下雨”时,则可以显示如上图7和8所示的云雨动画效果。
参见图12,还可以显示封面版本(Cover versions)。
再例如,可以应用于如图13所示的K(Karaok,是个日英文的杂名)歌页面。如图13所示,可以显示反馈(feedback)控件,以用于用户提供反馈意见,还可以显示录音(recording)控件,以用于用户实现录音功能,还可以显示歌唱部分(vocal)控件,重新开始(restart)控件,结束(finish)控件和键(key)控件。
当用户利用上述控件录目标歌曲时,在哼唱过程中,可以识别哼唱的目标歌曲音频中的目标歌词关键词,从而对应的在K歌页面(音频播放界面)显示对应的目标歌词视觉动画。
其中,所述方法还可以包括:获得所述目标歌单的目标歌单主题词;匹配所述目标歌单主题词与所述歌曲关键词,从所述歌曲关键词中确定所述目标歌单关键词及其关键词标签;根据所述映射关系,从所述视觉动画中确定与所述目标歌单关键词的关键词标签对应的目标歌单视觉动画。
其中,播放所述目标音频信息过程中,在所述音频播放界面显示与所述目标视觉关键信息匹配的目标视觉动画,可以包括:从开始播放所述目标歌单中的歌曲至歌单动画播放时长内,在所述音频播放界面显示所述目标歌单视觉动画。
图14示意性示出了根据本公开的一实施例的视觉动画显示方法的流程图。图14实施例中,所述目标音频信息可以包括目标歌单,所述目标视觉关键信息可以包括目标歌单关键词,所述目标视觉动画可以包括目标歌单视觉动画。
如图14所示,本公开实施例提供的方法可以包括以下步骤。
在步骤S1401中,获得所述目标歌单的目标歌单主题词。
本公开实施例中,目标歌单可以是用户所收藏并归类的一类歌曲的集合,也可以是某个歌手的歌曲集合,或者某个专辑的歌曲集合。每个目标歌单可以具有对应的目标歌单主题词,目标歌单主题词用于体现该目标歌单内的歌曲具有的共同特点。例如该目标歌单主题词可以是给归类的歌曲集合设置的歌单名称。
在步骤S1402中,匹配所述目标歌单主题词与所述歌曲关键词,从所述歌曲关键词中确定所述目标歌单关键词及其关键词标签。
在步骤S1403中,根据所述映射关系,从所述视觉动画中确定与所述目标歌单关键词的关键词标签对应的目标歌单视觉动画。
在步骤S1404中,从开始播放所述目标歌单中的歌曲至歌单动画播放时长内,在所述音频播放界面显示所述目标歌单视觉动画。
本公开实施例中,若识别到了目标歌单关键词,则可以在播放目标歌单中的任意一首歌的开始展示对应的目标歌单视觉动画。
在一些实施例中,还可以对目标歌单中的当前待播放或者正在播放的歌曲进行类似上述的目标歌曲的处理,例如识别该当前待播放或者正在播放的歌曲的歌词,若在歌词中匹配到了目标歌词关键词,则可以在播放到该目标歌词关键词的那句歌词时,展示对应的目标歌词视觉动画。
例如,如图15所示,假设目标歌单的目标歌单主题词为“樱花季,在日本”,其内包括的歌曲的歌名为“富士山下”、“再见二丁目”等。
继续参考图15,还可以包括搜索输入框,用户可以在该搜索输入框中输入歌曲、歌手、歌词、专辑以进行搜索。还可以包括歌手控件,歌单控件,直播控件和同好在听控件。点击歌单控件即可显示相应的目标歌单。
图16示意性示出了当播放图15所示的目标歌单中的歌曲时显示的樱花动画效果示意图。
本公开实施方式提供的视觉动画显示方法,目标歌单主题词中可以包含不同的文字信息,不同的目标歌单主题词可以给用户带来不同的心理感受,通过预先配置好一系列符合歌曲关键词意境的视觉动画,再将目标歌单主题词中的特定词汇打上相应的关键词标签,当开始播放该目标歌单中的歌曲时,可以在音乐播放器/歌词页/音乐APP首页等音频播放界面中显示与该关键词标签对应的目标歌单视觉动画,以制造与该目标歌单关键词相匹配的视觉上的彩蛋效果,增加用户听音乐的氛围感与惊喜感。
基于上述实施例提供的方法,本公开实施例可以进一步采用人工智能技术来自动合成目标视觉动画,从而可以减小视觉动画在制作过程中的资源消耗,减少内存损耗,节省开发成本,提高视觉动画的制作效率,实现视觉动画制作的自动化和智能化。
图17示意性示出了根据本公开的一实施例的视觉动画显示方法的流程图。如图17所示,本公开实施例提供的方法可以进一步包括以下步骤。
在步骤S1701中,通过情感分类器处理所述目标歌曲,确定所述目标歌曲的目标情感分类结果。
本公开实施例中,可以预先训练一个情感分类器,该情感分类器可以采用任意的二分类器或者多分类器。可以将目标歌曲的目标歌词(或者部分目标歌词)输入至该训练好的情感分类器中,该情感分类器对该目标歌词进行处理,可以输出该目标歌曲的目标情感分类结果。
需要说明的是,目标情感分类结果不限于是一个,也可以是多个,例如两个,可以根据实际情况进行设置。
在步骤S1702中,获得触发所述音频选择指令的目标对象特征信息。
例如,若是终端设备的用户点击音频播放界面以选中目标歌曲,则该用户为触发该音频选择指令的目标对象。
本公开实施例中,目标对象特征信息是指能够体现目标对象自身的一些特性信息以及体现目标对象听音频信息例如歌曲、音乐等过程中的一些个性化的特征信息。例如,目标对象自身的一些特性信息可以包括目标对象的姓名、年龄、性别、所处地理位置、所使用的终端设备的特征信息(例如智能手机的类型、机型等),目标对象听音频信息过程中的一些个性化的特征信息可以是目标对象的听歌习惯,例如可以包括目标对象经常听哪些歌曲、对这些歌曲进行大数据分析提取出的这些歌曲的一些共性特征(例如是属于古典乐类的,还是现代流行感类的;属于同一个歌手的,或者属于同一张专辑的等等)、目标对象在听歌过程中喜欢选择全屏歌词页面还是K歌页面等等。
在步骤S1703中,根据所述目标情感分类结果和所述目标对象特征信息,确定目标背景图、目标素材和目标动画效果。
例如,如图19所示,包括原图层、彩蛋层和动效层(动画效果层的简称)。其中,原图层对应音乐播放器界面(图19中简写为播放器界面,即音频播放界面)。彩蛋层进一步包括背景蒙层和素材层,在背景蒙层可以进行背景样式选择以上传背景图,在素材层可以进行素材库选择以上传素材;动效层可以选择动画效果,例如掉落、飞入、爆炸、渐隐渐现、模糊等动画效果。
当目标情感分类结果和目标对象特征信息确定后,可以从上述上传的背景图中选择与之匹配的目标背景图,从上传的素材中选择与之匹配的目标素材,以及从上述提供的动画效果中选择与之匹配的目标动画效果。
在步骤S1704中,根据所述目标背景图、所述目标素材和所述目标动画效果,生成所述目标视觉动画。
将上述目标背景图置于上述彩蛋层的背景蒙层,将目标素材置于彩蛋层的素材层,以及将目标动画效果置于动效层,组合生成目标视觉动画,并显示在原图层上。
上述实施例中训练的情感分类器可以采用任意合适类型的具有情感分类功能的机器学习模型。例如可以采用训练DNN(Deep Neural Networks,深度神经网络)模型以获得情感分类器。本公开实施例中采用了训练RNN模型结合CNN模型的方式来获得上述情感分类器,下面结合图18进行举例说明。
图18示意性示出了根据本公开的一实施例的视觉动画显示方法的流程图。如图18所示,本公开实施例提供的方法可以进一步包括以下步骤。
在步骤S1801中,获取训练数据集,所述训练数据集包括样本歌词及其情感标签。
如图20所示,可以从海量歌词素材中提取样本歌词(可以是一首歌曲的全部歌词,也可以是部分歌词),标注这些样本歌词的情感标签,不同的情感标签对应不同的情感分类结果,例如情感标签“0”代表伤心或难过,情感标签“1”代表喜悦,情感标签“2”代表兴奋,情感标签“3”代表彷徨,情感标签“4”代表思念等等。将样本歌词及其对应的情感标签作为训练数据集以用于训练情感分类器。
在步骤S1802中,通过机器学习模型提取所述样本歌词的文本情感特征。
本公开实施例中,在将样本歌词输入至机器学习模型之前,还可以对样本歌词进行一些数据预处理。
例如,样本歌词中的每一行当做一个完整的句子,句子之间用空格分隔。在数据预处理阶段将这些文本转换为机器可以识别的token(令牌)。首先,加载样本歌词对应的文本数据,对文本进行描述性统计,尽量让各类情感分类结果对应的样本歌词的数量分布比较均匀。接下来基于这些语料来构建词典,构造词典的步骤就是对文本进行分词再进行去重。在分词之后还可以分词后的词进行词干化(Stem)处理,之后再进行词频统计。
本公开实施例中,可以采用TF-IDF(term frequency–inverse documentfrequency,词频-逆文本频率指数)来对分词后的文本中的词进行统计,例如,对于出现频次仅为1次的词,这类词会增加词典容量,并且还会给文本处理带来一定的噪声。去除这些词以后一方面将会极大减小词典容量,加速模型训练,另一方面也会减缓一定的噪声。
因此在构造词典过程中仅保留在语料中出现频次大于1的词。其中<pad>和<unk>是两个初始化的token,<pad>用来做句子填补,<unk>用来替代语料中未出现过的词。最后得到一个包含多个词的词典。
有了词典以后构造word(词)到token的映射和token到word的映射表。有了映射表的基础上,就可以对样本歌词的原始文本进行转换,即将文本转换为机器可识别的编码。除此之外,为了保证句子有相同的长度,需要对句子长度进行处理。例如假设统计发现,语料中句子的平均长度为20个词,因此可以设置20作为句子的标准长度:对于超过20个词的句子进行截断;对于不足20个词的句子进行pad补全。
构造一个函数,它可以接收一个完整的string(字符串)类型的句子,并根据映射表将其转化为tokens。这个函数中,首先要获取unk的编码和pad的编码,以备后面句子转换使用。接下来对句子进行映射,如果出现没有见过的词,则用unk的token替代。最后再对句子的长度进行标准化。
接下来,分别对各类情感分类结果的样本歌词的文本进行转换,获得对应词的word embeddings(词向量),作为提取的文本情感特征。
本公开实施例中,可以采用机器学习模型中的word2vec(word to vector,一群用来产生词向量的相关模型)来映射样本歌词中的每个词到一个向量,该向量为神经网络的隐藏层。
但本公开并不限于采用word2vec模型来生成词向量,例如也可以使用Glove模型中预训练(pre-trained)好的300维的词向量。加载这个词向量,可以发现通过语料构造的词典中,大部分词有pre-trained的词向量,可能有部分词没有对应的pre-trained的词向量,对于这些没有词向量的词,可以直接用random value(随机数)替代。
在步骤S1803中,利用循环神经网络模型处理所述样本歌词的文本情感特征,获得所述文本情感特征的全局文本特征。
本公开实施例中,可以将上述机器学习模型输出的文本情感特征再输入至一个RNN(Recurrent Neural Network,循环神经网络)模型来进一步处理,以提取全局文本特征,通过提取的全局文本特征考虑了样本歌词的上下文信息,从而可以更加准确的判断样本歌词中包含的情感。
本公开实施例中,可以采用RNN模型中的LSTM(Long Short-Term Memory,长短期记忆网络)模型来提取全局文本特征。由于LSTM中存在gate(门控)机制,能够很好地学习和把握序列中的前后依赖关系,因为有gate存在,LSTM模型能够学习到哪些信息需要保留,哪些信息需要遗忘。例如,在处理中,当LSTM模型看到样本歌词中的“好”时,它仍记得之前有否定词“没有”,同理,对于“喜欢”和“不”的关系也能够学习到。即LSTM更擅长捕捉长序列关系,因此也更加适合用来处理长序列的NLP(Natural Language Processing,自然语言处理)问题。
如上所述,获得了样本歌词中的句子word embeddings,传入LSTM序列(例如假设采用单层512个结点的LSTM)进行训练,将LSTM的最后一个hidden state(隐状态)提取出来,加入全连接层得到最终输出结果。在word embeddings中,LSTM不需要对词向量求和,而是直接对词向量本身进行学习,从而可以避免求和或者求平均这种聚合性操作造成的信息损失。
但本公开并不限定采用LSTM模型作为上述RNN模型,例如还可以采用GRU(GatedRecurrent Unit,门控循环单元)或者双向LSTM等。
在步骤S1804中,通过文本卷积神经网络(Text Convolutional NeuralNetworks,简写为TextCNN)模型处理所述全局文本特征,以提取所述文本情感特征的局部文本特征,并根据所述局部文本特征获得所述样本歌词的预测情感分类结果。
与LSTM模型捕获长序列中的全局文本特征的特点不同,本公开实施例中可以进一步结合TextCNN模型来捕获局部文本特征。TextCNN模型的模型结构中依次包括embeddinglayer(向量层)、convolutional layers(卷积层)、max-pooling layers(最大池化层)和fully-connected layer(全连接层),将上述全局文本特征输入至embedding layer,然后通过卷积操作可以通过滑动来捕获词与词之间的局部关系。经过卷积操作后,得到了convolutional layers的输出,多个列向量;再经过max-pooling操作来提取每个列向量中的最重要的信息,即实现了对局部重要信息的提取,例如能够捕捉到局部的“不-喜欢”这样的否定关系,有助于对样本歌词的情感进行正确分类。最终连一层fully-connected layer得到输出结果。
本公开实施方式提供的视觉动画显示方法,通过结合机器学习模型、循环神经网络模型和文本卷积神经网络模型来训练获得情感分类器,利用机器学习模型处理获得词向量,然后利用循环神经网络模型例如LSTM来捕获全局文本特征,再利用文本卷积神经网络模型来捕获局部文本特征,从而可以加快模型训练过程,提高训练完成的情感分类器的情感分类的准确率。情感分类器的情感分类越准确,则越能够准确地识别目标歌词中的隐藏情感,最终生成或者匹配到的目标视觉动画越符合当前播放的目标歌曲所体现出的意境,从而能够实现更精准的展示匹配相应情感的目标视觉动画。
在步骤S1805中,根据所述预测情感分类结果及其情感标签,训练所述循环神经网络模型和所述文本卷积神经网络模型以获得所述情感分类器。
本公开实施例中,根据预测情感分类结果及其对应的情感标签,可以获得损失函数,当该损失函数收敛时,或者达到预设的迭代次数时,可以停止训练上述RNN模型和TextCNN模型,以获得最终的情感分类器。
继续参考图20,通过上述图18实施例的方法训练获得情感分类器后,可以将目标歌曲的目标歌词输入至机器学习模型中,获得目标歌词的文本情感特征,然后将目标歌词的文本情感特征输入至该训练好的情感分类器,该情感分类器对目标歌词进行情感分类,可以获得该目标歌曲的目标情感分类结果。
例如,若目标情感分类结果对应的情感标签为A,则根据图19的方式可以从彩蛋模板库(包括上述上传的背景图、素材以及可供选择的动画效果等)中组合生成具有彩蛋效果A的目标视觉动画;若目标情感分类结果对应的情感标签为B,则可以从彩蛋模板库中组合生成具有彩蛋效果B的目标视觉动画;若目标情感分类结果对应的情感标签为C,则可以从彩蛋模板库中组合生成具有彩蛋效果C的目标视觉动画等。
本公开上述实施例提供的方法可以采用人工智能技术中的计算机视觉技术、语音技术、自然语言处理技术和机器学习技术来实现。
其中,人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Vision,CV)是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D(3-dimension,三维)技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
语音技术(Speech Technology)的关键技术有自动语音识别技术(ASR,AutomaticSpeech Recognition)和语音合成技术(Text To Speech,TTS)以及声纹识别技术。让计算机能听、能看、能说、能感觉,是未来人机交互的发展方向,其中语音成为未来最被看好的人机交互方式之一。
自然语言处理(Nature Language processing,NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此,这一领域的研究将涉及自然语言,即人们日常使用的语言,所以它与语言学的研究有着密切的联系。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。
机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
图21示意性示出了根据本公开的一实施例的视觉动画显示装置的框图。如图21所示,本公开实施例提供的视觉动画显示装置2100可以包括目标音频信息确定单元2110、目标视觉关键信息确定单元2120、目标视觉动画获取单元2130以及目标视觉动画显示单元2140。
本公开实施例中,目标音频信息确定单元2110可以用于响应对音频播放界面的音频选择指令,确定当前待播放的目标音频信息。目标视觉关键信息确定单元2120可以用于与所述目标音频信息匹配的目标视觉关键信息,其中所述目标视觉关键信息包括存在于所述目标音频信息中且适于采用视觉方式呈现的关键词。目标视觉动画获取单元2130可以用于获取与所述目标视觉关键信息匹配的目标视觉动画,所述目标视觉动画用于以视觉方式呈现所述目标视觉关键信息中的关键词。目标视觉动画显示单元2140可以用于播放所述目标音频信息过程中,在所述音频播放界面显示与所述目标视觉关键信息匹配的目标视觉动画。
本公开实施方式提供的视觉动画显示装置,一方面,响应对音频播放界面的音频选择指令,能够确定当前待播放的目标音频信息,且该目标音频信息是与目标视觉关键信息关联的,从而使得在播放该目标音频信息过程中,能够实现在该音频播放界面显示与该目标视觉关键信息匹配的目标视觉动画,通过给用户制造视觉上的彩蛋效果,提高可玩性和趣味性,提升与听音频资源的用户之间的交互性,增强用户听音频资源时的氛围感,增加用户听音频资源过程中的视觉新鲜感,减少审美疲劳。另一方面,随着该目标音频信息的播放进度,可以让目标视觉动画不定时出现,增加用户惊喜感,引发好奇心,从而促进更多使用,避免资源上的浪费。
在示例性实施例中,视觉动画显示装置2100还可以包括:歌曲关键词获取单元,可以用于获取样本歌曲中的歌曲关键词;关键词标签获得单元,可以用于获得所述歌曲关键词对应的关键词标签;视觉动画获取单元,可以用于获取设计的视觉动画;映射关系获得单元,可以用于获得所述关键词标签与相应的视觉动画之间的映射关系。
在示例性实施例中,所述目标音频信息可以包括目标歌曲,所述目标视觉关键信息可以包括目标歌名关键词,所述目标视觉动画可以包括目标歌名视觉动画。其中,视觉动画显示装置2100还可以包括:目标歌名获得单元,可以用于获得所述目标歌曲的目标歌名;目标歌名关键词确定单元,可以用于匹配所述目标歌名与所述歌曲关键词,从所述歌曲关键词中确定所述目标歌名关键词及其关键词标签;目标歌名视觉动画确定单元,可以用于根据所述映射关系,从所述视觉动画中确定与所述目标歌名关键词的关键词标签对应的目标歌名视觉动画。
其中,目标视觉动画显示单元2140可以包括:目标歌名视觉动画显示单元,可以用于从开始播放所述目标歌曲至歌名动画播放时长内,在所述音频播放界面显示所述目标歌名视觉动画。
在示例性实施例中,所述目标音频信息可以包括目标歌曲,所述目标视觉关键信息可以包括目标歌曲封面关键词,所述目标视觉动画可以包括目标歌曲封面视觉动画。其中,视觉动画显示装置2100还可以包括:目标歌曲封面显示单元,可以用于在所述音频播放界面显示所述目标歌曲的目标歌曲封面;光学字符识别单元,可以用于对所述目标歌曲封面进行光学字符识别,获得所述目标歌曲封面的文字识别结果;目标歌曲封面关键词确定单元,可以用于匹配所述目标歌曲封面的文字识别结果与所述歌曲关键词,从所述歌曲关键词中确定所述目标歌曲封面关键词及其关键词标签;目标歌曲封面视觉动画确定单元,可以用于根据所述映射关系,从所述视觉动画中确定与所述目标歌曲封面关键词的关键词标签对应的目标歌曲封面视觉动画。其中,目标视觉动画显示单元2140可以包括:目标歌曲封面视觉动画显示单元,可以用于从开始播放所述目标歌曲至封面动画播放时长内,在所述音频播放界面显示所述目标歌曲封面视觉动画。
在示例性实施例中,所述目标音频信息可以包括目标歌单,所述目标视觉关键信息可以包括目标歌单关键词,所述目标视觉动画可以包括目标歌单视觉动画。其中,视觉动画显示装置2100还可以包括:目标歌单主题词获得单元,可以用于获得所述目标歌单的目标歌单主题词;目标歌单关键词确定单元,可以用于匹配所述目标歌单主题词与所述歌曲关键词,从所述歌曲关键词中确定所述目标歌单关键词及其关键词标签;目标歌单视觉动画确定单元,可以用于根据所述映射关系,从所述视觉动画中确定与所述目标歌单关键词的关键词标签对应的目标歌单视觉动画。其中,目标视觉动画显示单元2140可以包括:目标歌单视觉动画显示单元,可以用于从开始播放所述目标歌单中的歌曲至歌单动画播放时长内,在所述音频播放界面显示所述目标歌单视觉动画。
在示例性实施例中,所述目标音频信息可以包括目标歌曲,所述目标视觉关键信息可以包括目标歌词关键词,所述目标视觉动画可以包括目标歌词视觉动画。其中,视觉动画显示装置2100还可以包括:目标歌词获取单元,可以用于获取所述目标歌曲的目标歌词;目标歌词关键词确定单元,可以用于匹配所述目标歌词与所述歌曲关键词,从所述歌曲关键词中确定所述目标歌词关键词及其关键词标签;目标歌词视觉动画显示单元,可以用于根据所述映射关系,从所述视觉动画中确定与所述目标歌词关键词的关键词标签对应的目标歌词视觉动画。其中,目标视觉动画显示单元2140可以包括:目标歌词视觉动画显示单元,可以用于从播放至所述目标歌词关键词所在的目标歌词行开始至歌词动画播放时长内,在所述音频播放界面显示所述目标歌词视觉动画。
在示例性实施例中,目标歌词视觉动画显示单元可以包括:目标歌词视觉动画首次显示单元,可以用于若所述目标歌词行中存在至少两个不同的目标歌词关键词,则在播放所述目标歌词行的过程中,在所述音频播放界面显示所述目标歌词行中首次匹配到的目标歌词关键词对应的目标歌词视觉动画。
在示例性实施例中,目标歌词视觉动画显示单元可以包括:预定数量词向前识别单元,可以用于从所述目标歌词关键词开始,向前识别所述目标歌词行中的预定数量的词;匹配否定词获得单元,可以用于将所述预定数量的词与否定词表进行匹配,获得匹配的否定词;目标歌词视觉动画展示单元,可以用于若匹配的否定词数量为偶数,则从播放至所述目标歌词行开始至所述歌词动画播放时长内,在所述音频播放界面显示所述目标歌词视觉动画。
在示例性实施例中,目标歌词获取单元可以包括:目标歌词获得单元,可以用于在开始播放所述目标歌曲之前,获得所述目标歌曲的目标歌词;或者在播放所述目标歌曲时,在所述音频播放界面显示并获得所述目标歌词;或者在播放所述目标歌曲时,获得所述目标歌曲的目标歌曲音频;对所述目标歌曲音频进行语音识别,获得所述目标歌词。
在示例性实施例中,所述目标视觉关键信息可以包括目标歌曲关键词。其中,目标视觉动画显示单元2140可以包括:目标歌曲关键词确定单元,可以用于将所述目标歌曲与所述歌曲关键词进行匹配,从所述歌曲关键词中确定目标歌曲关键词;同一目标视觉动画单次显示单元,可以用于若从所述目标歌曲中重复识别出同一目标歌曲关键词,则在播放所述目标歌曲的过程中,在首次识别出所述同一目标歌曲关键词时,在所述音频播放界面显示与所述同一目标歌曲关键词匹配的目标视觉动画。
在示例性实施例中,所述目标音频信息可以包括目标歌曲。其中,视觉动画显示装置2100还可以包括:目标情感分类结果确定单元,可以用于通过情感分类器处理所述目标歌曲,确定所述目标歌曲的目标情感分类结果;目标对象特征信息获得单元,可以用于获得触发所述音频选择指令的目标对象特征信息;目标素材确定单元,可以用于根据所述目标情感分类结果和所述目标对象特征信息,确定目标背景图、目标素材和目标动画效果;目标视觉动画生成单元,可以用于根据所述目标背景图、所述目标素材和所述目标动画效果,生成所述目标视觉动画。
在示例性实施例中,视觉动画显示装置2100还可以包括:训练数据集获取单元,可以用于获取训练数据集,所述训练数据集包括样本歌词及其情感标签;文本情感特征提取单元,可以用于通过机器学习模型提取所述样本歌词的文本情感特征;全局文本特征获得单元,可以用于利用循环神经网络模型处理所述样本歌词的文本情感特征,获得所述文本情感特征的全局文本特征;情感分类结果预测单元,可以用于通过文本卷积神经网络模型处理所述全局文本特征,以提取所述文本情感特征的局部文本特征,并根据所述局部文本特征获得所述样本歌词的预测情感分类结果;情感分类器训练单元,可以用于根据所述预测情感分类结果及其情感标签,训练所述循环神经网络模型和所述文本卷积神经网络模型以获得所述情感分类器。
本公开实施例的视觉动画显示装置的其它内容可以参照上述实施例。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干单元,但是这种划分并非强制性的。实际上,根据本公开的实施方式,上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之,上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。
下面参考图22,其示出了适于用来实现本申请实施例的电子设备的结构示意图。图22示出的电子设备仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
参照图22,本公开实施例提供的电子设备可以包括:处理器2201、通信接口2202、存储器2203和通信总线2204。
其中处理器2201、通信接口2202和存储器2203通过通信总线2204完成相互间的通信。
可选的,通信接口2202可以为通信模块的接口,如GSM(Global System forMobile communications,全球移动通信系统)模块的接口。处理器2201用于执行程序。存储器2203用于存放程序。程序可以包括计算机程序,该计算机程序包括计算机操作指令。其中,程序中可以包括:游戏客户端的程序。
处理器2201可以是一个中央处理器CPU,或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit),或者是被配置成实施本公开实施例的一个或多个集成电路。
存储器2203可以包含高速RAM(random access memory,随机存取存储器)存储器,也可以还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
其中,程序可具体用于:响应对音频播放界面的音频选择指令,确定当前待播放的目标音频信息;确定与所述目标音频信息匹配的目标视觉关键信息,其中所述目标视觉关键信息包括存在于所述目标音频信息中且适于采用视觉方式呈现的关键词;获取与所述目标视觉关键信息匹配的目标视觉动画,所述目标视觉动画用于以视觉方式呈现所述目标视觉关键信息中的关键词;播放所述目标音频信息过程中,在所述音频播放界面显示与所述目标视觉关键信息匹配的目标视觉动画。
根据本申请的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述实施例的各种可选实现方式中提供的方法。
需要理解的是,在本公开附图中的任何元素数量均用于示例而非限制,以及任何命名都仅用于区分,而不具有任何限制含义。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (15)

1.一种视觉动画显示方法,其特征在于,包括:
响应对音频播放界面的音频选择指令,确定当前待播放的目标音频信息;
确定与所述目标音频信息匹配的目标视觉关键信息,其中所述目标视觉关键信息包括存在于所述目标音频信息中且适于采用视觉方式呈现的关键词;
获取与所述目标视觉关键信息匹配的目标视觉动画,所述目标视觉动画用于以视觉方式呈现所述目标视觉关键信息中的关键词;
播放所述目标音频信息过程中,在所述音频播放界面显示与所述目标视觉关键信息匹配的目标视觉动画。
2.根据权利要求1所述的方法,其特征在于,还包括:
获取样本歌曲中的歌曲关键词;
获得所述歌曲关键词对应的关键词标签;
获取设计的视觉动画;
获得所述关键词标签与相应的视觉动画之间的映射关系。
3.根据权利要求2所述的方法,其特征在于,所述目标音频信息包括目标歌曲,所述目标视觉关键信息包括目标歌名关键词,所述目标视觉动画包括目标歌名视觉动画;其中,所述方法还包括:
获得所述目标歌曲的目标歌名;
匹配所述目标歌名与所述歌曲关键词,从所述歌曲关键词中确定所述目标歌名关键词及其关键词标签;
根据所述映射关系,从所述视觉动画中确定与所述目标歌名关键词的关键词标签对应的目标歌名视觉动画;
其中,播放所述目标音频信息过程中,在所述音频播放界面显示与所述目标视觉关键信息匹配的目标视觉动画,包括:
从开始播放所述目标歌曲至歌名动画播放时长内,在所述音频播放界面显示所述目标歌名视觉动画。
4.根据权利要求2所述的方法,其特征在于,所述目标音频信息包括目标歌曲,所述目标视觉关键信息包括目标歌曲封面关键词,所述目标视觉动画包括目标歌曲封面视觉动画;其中,所述方法还包括:
在所述音频播放界面显示所述目标歌曲的目标歌曲封面;
对所述目标歌曲封面进行光学字符识别,获得所述目标歌曲封面的文字识别结果;
匹配所述目标歌曲封面的文字识别结果与所述歌曲关键词,从所述歌曲关键词中确定所述目标歌曲封面关键词及其关键词标签;
根据所述映射关系,从所述视觉动画中确定与所述目标歌曲封面关键词的关键词标签对应的目标歌曲封面视觉动画;
其中,播放所述目标音频信息过程中,在所述音频播放界面显示与所述目标视觉关键信息匹配的目标视觉动画,包括:
从开始播放所述目标歌曲至封面动画播放时长内,在所述音频播放界面显示所述目标歌曲封面视觉动画。
5.根据权利要求2所述的方法,其特征在于,所述目标音频信息包括目标歌单,所述目标视觉关键信息包括目标歌单关键词,所述目标视觉动画包括目标歌单视觉动画;其中,所述方法还包括:
获得所述目标歌单的目标歌单主题词;
匹配所述目标歌单主题词与所述歌曲关键词,从所述歌曲关键词中确定所述目标歌单关键词及其关键词标签;
根据所述映射关系,从所述视觉动画中确定与所述目标歌单关键词的关键词标签对应的目标歌单视觉动画;
其中,播放所述目标音频信息过程中,在所述音频播放界面显示与所述目标视觉关键信息匹配的目标视觉动画,包括:
从开始播放所述目标歌单中的歌曲至歌单动画播放时长内,在所述音频播放界面显示所述目标歌单视觉动画。
6.根据权利要求2所述的方法,其特征在于,所述目标音频信息包括目标歌曲,所述目标视觉关键信息包括目标歌词关键词,所述目标视觉动画包括目标歌词视觉动画;其中,所述方法还包括:
获取所述目标歌曲的目标歌词;
匹配所述目标歌词与所述歌曲关键词,从所述歌曲关键词中确定所述目标歌词关键词及其关键词标签;
根据所述映射关系,从所述视觉动画中确定与所述目标歌词关键词的关键词标签对应的目标歌词视觉动画;
其中,播放所述目标音频信息过程中,在所述音频播放界面显示与所述目标视觉关键信息匹配的目标视觉动画,包括:
从播放至所述目标歌词关键词所在的目标歌词行开始至歌词动画播放时长内,在所述音频播放界面显示所述目标歌词视觉动画。
7.根据权利要求6所述的方法,其特征在于,从播放至所述目标歌词关键词所在的目标歌词行开始至歌词动画播放时长内,在所述音频播放界面显示所述目标歌词视觉动画,包括:
若所述目标歌词行中存在至少两个不同的目标歌词关键词,则在播放所述目标歌词行的过程中,在所述音频播放界面显示所述目标歌词行中首次匹配到的目标歌词关键词对应的目标歌词视觉动画。
8.根据权利要求6所述的方法,其特征在于,从播放至所述目标歌词关键词所在的目标歌词行开始至歌词动画播放时长内,在所述音频播放界面显示所述目标歌词视觉动画,包括:
从所述目标歌词关键词开始,向前识别所述目标歌词行中的预定数量的词;
将所述预定数量的词与否定词表进行匹配,获得匹配的否定词;
若匹配的否定词数量为偶数,则从播放至所述目标歌词行开始至所述歌词动画播放时长内,在所述音频播放界面显示所述目标歌词视觉动画。
9.根据权利要求6所述的方法,其特征在于,获取所述目标歌曲的目标歌词,包括:
在开始播放所述目标歌曲之前,获得所述目标歌曲的目标歌词;或者
在播放所述目标歌曲时,在所述音频播放界面显示并获得所述目标歌词;或者
在播放所述目标歌曲时,获得所述目标歌曲的目标歌曲音频;
对所述目标歌曲音频进行语音识别,获得所述目标歌词。
10.根据权利要求3至9任一项所述的方法,其特征在于,所述目标视觉关键信息包括目标歌曲关键词;其中,播放所述目标音频信息过程中,在所述音频播放界面显示与所述目标视觉关键信息匹配的目标视觉动画,包括:
将所述目标歌曲与所述歌曲关键词进行匹配,从所述歌曲关键词中确定目标歌曲关键词;
若从所述目标歌曲中重复识别出同一目标歌曲关键词,则在播放所述目标歌曲的过程中,在首次识别出所述同一目标歌曲关键词时,在所述音频播放界面显示与所述同一目标歌曲关键词匹配的目标视觉动画。
11.根据权利要求1所述的方法,其特征在于,所述目标音频信息包括目标歌曲;其中,所述方法还包括:
通过情感分类器处理所述目标歌曲,确定所述目标歌曲的目标情感分类结果;
获得触发所述音频选择指令的目标对象特征信息;
根据所述目标情感分类结果和所述目标对象特征信息,确定目标背景图、目标素材和目标动画效果;
根据所述目标背景图、所述目标素材和所述目标动画效果,生成所述目标视觉动画。
12.根据权利要求11所述的方法,其特征在于,还包括:
获取训练数据集,所述训练数据集包括样本歌词及其情感标签;
通过机器学习模型提取所述样本歌词的文本情感特征;
利用循环神经网络模型处理所述样本歌词的文本情感特征,获得所述文本情感特征的全局文本特征;
通过文本卷积神经网络模型处理所述全局文本特征,以提取所述文本情感特征的局部文本特征,并根据所述局部文本特征获得所述样本歌词的预测情感分类结果;
根据所述预测情感分类结果及其情感标签,训练所述循环神经网络模型和所述文本卷积神经网络模型以获得所述情感分类器。
13.一种视觉动画显示装置,其特征在于,包括:
目标音频信息确定单元,用于响应对音频播放界面的音频选择指令,确定当前待播放的目标音频信息;
目标视觉关键信息确定单元,用于与所述目标音频信息匹配的目标视觉关键信息,其中所述目标视觉关键信息包括存在于所述目标音频信息中且适于采用视觉方式呈现的关键词;
目标视觉动画获取单元,用于获取与所述目标视觉关键信息匹配的目标视觉动画,所述目标视觉动画用于以视觉方式呈现所述目标视觉关键信息中的关键词;
目标视觉动画显示单元,用于播放所述目标音频信息过程中,在所述音频播放界面显示与所述目标视觉关键信息匹配的目标视觉动画。
14.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,所述程序被处理器执行时实现如权利要求1至12任一项所述的方法。
15.一种电子设备,其特征在于,包括:
至少一个处理器;
存储装置,配置为存储至少一个程序,当所述至少一个程序被所述至少一个处理器执行时,使得所述至少一个处理器实现如权利要求1至12任一项所述的方法。
CN202011238656.9A 2020-11-09 2020-11-09 视觉动画显示方法及相关设备 Pending CN113407766A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011238656.9A CN113407766A (zh) 2020-11-09 2020-11-09 视觉动画显示方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011238656.9A CN113407766A (zh) 2020-11-09 2020-11-09 视觉动画显示方法及相关设备

Publications (1)

Publication Number Publication Date
CN113407766A true CN113407766A (zh) 2021-09-17

Family

ID=77677400

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011238656.9A Pending CN113407766A (zh) 2020-11-09 2020-11-09 视觉动画显示方法及相关设备

Country Status (1)

Country Link
CN (1) CN113407766A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117274450A (zh) * 2023-11-21 2023-12-22 长春职业技术学院 基于人工智能的动画形象生成系统及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117274450A (zh) * 2023-11-21 2023-12-22 长春职业技术学院 基于人工智能的动画形象生成系统及方法
CN117274450B (zh) * 2023-11-21 2024-01-26 长春职业技术学院 基于人工智能的动画形象生成系统及方法

Similar Documents

Publication Publication Date Title
CN113569088B (zh) 一种音乐推荐方法、装置以及可读存储介质
US11769528B2 (en) Systems and methods for automating video editing
CN110717017B (zh) 一种处理语料的方法
CN103377258B (zh) 用于对微博信息进行分类显示的方法和设备
CN109844708A (zh) 通过聊天机器人推荐媒体内容
US20140163980A1 (en) Multimedia message having portions of media content with audio overlay
US20140164506A1 (en) Multimedia message having portions of networked media content
US20140164507A1 (en) Media content portions recommended
WO2007043679A1 (ja) 情報処理装置およびプログラム
US20140163957A1 (en) Multimedia message having portions of media content based on interpretive meaning
CN115082602B (zh) 生成数字人的方法、模型的训练方法、装置、设备和介质
US11176332B2 (en) Linking contextual information to text in time dependent media
CN112163560A (zh) 一种视频信息处理方法、装置、电子设备及存储介质
CN111340920A (zh) 一种语义驱动的二维动画自动生成方法
CN117173497B (zh) 一种图像生成方法、装置、电子设备及存储介质
CN116127054A (zh) 图像处理方法、装置、设备、存储介质及计算机程序
CN113407766A (zh) 视觉动画显示方法及相关设备
US11410706B2 (en) Content pushing method for display device, pushing device and display device
Li et al. Image2song: Song retrieval via bridging image content and lyric words
CN114529635A (zh) 一种图像生成方法、装置、存储介质及设备
Gupta et al. Implementation of artificial intelligence based chatbot system with long term memory
Tian et al. Script-to-Storyboard: A New Contextual Retrieval Dataset and Benchmark
TWI780333B (zh) 動態處理並播放多媒體內容的方法及多媒體播放裝置
US11170044B2 (en) Personalized video and memories creation based on enriched images
Ghadekar et al. A Novel Approach for Deep Learning Based Video Classification and Captioning using Keyframe

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40052819

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination