CN118173073A - 歌曲的视觉特效生成方法、设备、介质和计算机程序产品 - Google Patents

Abstract

本申请涉及一种歌曲的视觉特效生成方法、设备、介质和计算机程序产品，涉及特效处理技术领域，能够提高用户了解歌曲信息的效率。所述方法包括：发送视频特效数据请求；获取当前歌曲数据及UI界面数据，并对所述歌曲数据及UI界面数据进行预处理操作，得到预处理数据；将所述预处理数据转化为像素信息，并生成特效配置信息；根据所述特效配置信息对所述歌曲进行视觉效果配置，得到所述歌曲的视觉特效。

Description

歌曲的视觉特效生成方法、设备、介质和计算机程序产品

技术领域

本申请涉及特效处理技术领域，特别是涉及一种歌曲的视觉特效生成方法、计算机设备、存储介质和计算机程序产品。

背景技术

随着计算机技术的发展，为了强化用户对声音信息的感知，可以根据歌曲的声音信息进行分析，并将分析结果呈现在预先设计好的UI（User Interface，用户界面）界面上，用户通过浏览UI界面上的信息了解歌曲信息，以演唱类应用为例，可以通过打分器的UI界面展示用户演唱歌曲的声音信息的分析结果。

然而，上述呈现方式，用户了解歌曲信息的效率较低。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高用户了解歌曲的声音信息的效率的歌曲的视觉特效生成方法、计算机设备、计算机可读存储介质和计算机程序产品。

第一方面，本申请提供了一种歌曲的视觉特效生成方法，包括：

发送视频特效数据请求；

获取当前歌曲数据及UI界面数据，并对所述歌曲数据及UI界面数据进行预处理操作，得到预处理数据；

将所述预处理数据转化为像素信息，并生成特效配置信息；

根据所述特效配置信息对所述歌曲进行视觉效果配置，得到所述歌曲的视觉特效。

在其中一个实施例中，所述将所述预处理数据转化为像素信息，包括：

根据所述预处理数据获取所述歌曲数据的音高随时间变化的音高变化信息；

按照预设时间间隔对所述音高变化信息进行采样，得到采样结果；所述采样结果包括各时间区间中采样音高的持续时间；

根据各个所述时间区间中采样音高的持续时间和所述预设时间间隔的比较结果，确定各个所述时间区间相应的像素信息。

在其中一个实施例中，所述像素信息指示是否为相应的所述时间区间配置特效显示单元；

所述根据各个所述时间区间中采样音高的持续时间和所述预设时间间隔的比较结果，确定各个所述时间区间相应的像素信息，包括：

针对每个所述时间区间，获取每个所述时间区间中采样音高的持续时间与所述预设时间间隔的实际时间差异量；

根据各个所述实际时间差异量与满足音画同步要求时允许的预设时间差异量的比较结果，确定是否为各所述时间区间配置特效显示单元。

在其中一个实施例中，所述根据各个所述实际时间差异量与满足音画同步要求时允许的预设时间差异量的比较结果，确定是否为各所述时间区间配置特效显示单元，包括：

在所述时间区间中的采样音高位于连续音高的尾部的情况下，获取满足音画同步要求时允许延迟的第一预设时间差异量；

若所述实际时间差异量小于或等于所述第一预设时间差异量，则为所述时间区间配置特效显示单元；

若所述实际时间差异量大于所述第一预设时间差异量，则不为所述时间区间配置特效显示单元。

在其中一个实施例中，所述根据各个所述实际时间差异量与满足音画同步要求时允许的预设时间差异量的比较结果，确定是否为各所述时间区间配置特效显示单元，包括：

在所述时间区间中的采样音高位于连续音高的头部的情况下，获取满足音画同步要求时允许提前的第二预设时间差异量；

若所述实际时间差异量小于或等于所述第二预设时间差异量，则为所述时间区间配置特效显示单元；

若所述实际时间差异量大于所述第二预设时间差异量，则不为所述时间区间配置特效显示单元。

在其中一个实施例中，所述生成特效配置信息，包括：

若根据所述时间区间的像素信息确定配置特效显示单元，则根据所述预处理数据获取用于设置视觉特效展示方式的视觉特效模板；

根据所述视觉特效模板，从纹理素材库中获取与所述时间区间关联的纹理素材，得到所述特效显示单元的特效配置信息。

在其中一个实施例中，在所述按照预设时间间隔对所述音高变化信息进行采样之前，还包括：

获取预先配置的用于设置视觉特效展示方式的视觉特效模板；

根据所述视觉特效模板中的视觉特效展示精度确定预设时间间隔；其中，所述预设时间间隔与所述视觉特效展示精度呈负相关。

在其中一个实施例中，所述根据所述特效配置信息对所述歌曲进行视觉效果配置，包括：

根据着色器参数格式对所述特效配置信息进行转换，得到特效显示单元绘制参数；

将各个所述特效显示单元绘制参数发送到着色器，由所述着色器根据所述特效显示单元绘制参数生成相应的特效显示单元，通过所述特效显示单元进行视觉效果配置。

第二方面，本申请还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

发送视频特效数据请求；

获取当前歌曲数据及UI界面数据，并对所述歌曲数据及UI界面数据进行预处理操作，得到预处理数据；

将所述预处理数据转化为像素信息，并生成特效配置信息；

根据所述特效配置信息对所述歌曲进行视觉效果配置，得到所述歌曲的视觉特效。

第三方面，本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

发送视频特效数据请求；

获取当前歌曲数据及UI界面数据，并对所述歌曲数据及UI界面数据进行预处理操作，得到预处理数据；

将所述预处理数据转化为像素信息，并生成特效配置信息；

根据所述特效配置信息对所述歌曲进行视觉效果配置，得到所述歌曲的视觉特效。

第四方面，本申请还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：

发送视频特效数据请求；

获取当前歌曲数据及UI界面数据，并对所述歌曲数据及UI界面数据进行预处理操作，得到预处理数据；

将所述预处理数据转化为像素信息，并生成特效配置信息；

根据所述特效配置信息对所述歌曲进行视觉效果配置，得到所述歌曲的视觉特效。

上述歌曲的视觉特效生成方法、计算机设备、存储介质和计算机程序产品，可以发送视频特效数据请求，获取当前歌曲数据及UI界面数据，并对歌曲数据及UI界面数据进行预处理操作，得到预处理数据，然后将预处理数据转化为像素信息，并生成特效配置信息，进而可以根据特效配置信息对歌曲进行视觉效果配置，得到歌曲的视觉特效。在本实施例中，通过对歌曲数据及UI界面数据进行预处理操作，得到预处理数据，将预处理数据转化为像素信息，生成特效配置信息，然后根据特效配置信息对歌曲进行视觉效果配置，使得视觉特效可以随歌曲数据和UI界面数据的变化而变化，可视化地呈现歌曲信息，通过歌曲的视觉特效画面有效增强用户对歌曲声音信息的感知，从而提升用户了解歌曲信息的效率。

附图说明

为了更清楚地说明本申请实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中一种歌曲的视觉特效生成方法的流程示意图；

图2为一个实施例中一种确定像素信息的步骤的流程示意图；

图3a为一个实施例中一种歌曲的音高变化信息；

图3b为一个实施例中一种歌曲的视觉特效的示意图；

图4为一个实施例中一种确定是否配置特效显示单元的步骤的流程示意图；

图5a为一个实施例中一种歌曲的视觉特效的界面图；

图5b为一个实施例中另一种歌曲的视觉特效的界面图；

图6为一个实施例中一种特效配置信息获取流程的流程示意图；

图7为一个实施例中一种着色器绘制视觉特效的流程的流程示意图；

图8为一个实施例中另一种歌曲的视觉特效生成方法的流程示意图；

图9为一个实施例中一种计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在一个实施例中，如图1所示，提供了一种歌曲的视觉特效生成方法，本实施例以该方法应用于服务器进行举例说明，可以理解的是，该方法也可以应用于终端，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。

其中，服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现；终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能车载设备等；便携式可穿戴设备可为智能手表、智能手环、头戴设备等。

本实施例中，包括以下步骤S101至步骤S104。

S101，发送视频特效数据请求。

其中，视频特效数据请求可以是请求获取歌曲对应的视频特效的请求。

实际应用中，可以在检测到生成视频特效的触发事件后向数据提供端发送视频特效数据请求。

具体例如，服务器可以在接收到终端针对某一目标歌曲的视频特效生成请求时，向数据提供端发送针对目标歌曲的视频特效数据请求；或者，终端也可以在检测到用户请求生成歌曲视频特效的操作后，向数据提供端发送视频特效数据请求，例如对于用户已录制的歌曲或者其他指定歌曲，用户可以在K歌类应用的歌曲效果优化页面中进行声音和视觉效果的优化，此时用户可以在该页面中点击预设按钮，触发生成已录制歌曲或其他指定歌曲对应的视觉特效，响应于该操作，终端可以发送视频特效数据请求，以获取歌曲的视觉特效，后续该视觉特效可以与歌曲关联发布在用户的作品详情页，从而可以预览带有视觉特效的歌曲作品。

当然，在另外一些实施例中，生成视频特效的触发事件也可以是当前时间为预设时间，对于服务器，其可以按照预设时间生成热门歌曲对应的视觉特效，例如当达到预设时间时，对于指定类目下的歌曲（例如普通用户录制的歌曲或知名歌手已发表的歌曲），可以根据歌曲的播放热度或者歌曲质量筛选出N（N为正整数）首歌曲，并分别为每首歌曲发送相应的视频特效数据请求，后续可以将获取到的视觉特效及其对应的歌曲关联，以流媒体的形式在应用平台上进行分发，使用户在收听歌曲的同时结合视觉特效了解歌曲信息。

S102，获取当前歌曲数据及UI界面数据，并对歌曲数据及UI界面数据进行预处理操作，得到预处理数据。

其中，歌曲数据可以是与歌曲关联的数据，例如歌曲名称、歌曲的音高信息、歌词等。其中，歌曲的音高信息可以反映歌曲的音高随时间变化的变化情况。

UI界面数据是与UI（User Interface，用户界面）界面相关的数据，在一些实施例中，UI界面可以包括播放视频特效的特效播放界面，UI界面数据可以包括指示UI界面配置方式的数据或用于配置特效播放界面的数据，如视觉特效模板或者后续生成视觉特效所需的数据信息。

具体实现中，视频特效数据请求中可以携带有当前歌曲的歌曲标识。在发送视频特效数据请求后，响应于视频特效数据请求，数据提供端可以根据请求中的歌曲标识获取当前歌曲的歌曲数据以及UI界面数据并返回。

进而，可以对获取到的歌曲数据及UI界面数据进行预处理，示例性地，预处理可以包括以下至少一种：数据压缩、数据打包、数据格式转换。例如，在将歌曲数据和UI界面数据转化为预设数据格式后，将转换得到的数据进行数据打包，得到预处理数据。

S103，将预处理数据转化为像素信息，并生成特效配置信息。

其中，像素信息可以是指示视频帧中的像素点的填充方式的信息。

特效配置信息可以是指示视觉特效的具体配置方式的信息，示例性地，可以是视频帧中对应区域的特效纹理。

在得到预处理数据后，可以对预处理数据进行解析，将预处理数据转化为像素信息，其中，像素信息可以随预处理数据的变化而相应变化，换句话说，当用于生成预处理数据的歌曲数据和/或UI界面数据发生变化时，视频帧的像素信息也相应发生变化。并且，可以基于转化得到的像素信息生成视频帧的特效配置信息。

S104，根据特效配置信息对歌曲进行视觉效果配置，得到歌曲的视觉特效。

特效配置信息可以指示应视频帧中相应区域的特效配置方式，通过结合视频帧中各区域的特效配置信息，可以对歌曲进行视觉效果配置，由此得到歌曲的视觉特效。

上述歌曲的视觉特效生成方法中，可以发送视频特效数据请求，获取当前歌曲数据及UI界面数据，并对歌曲数据及UI界面数据进行预处理操作，得到预处理数据，然后将预处理数据转化为像素信息，并生成特效配置信息，进而可以根据特效配置信息对歌曲进行视觉效果配置，得到歌曲的视觉特效。在本实施例中，通过对歌曲数据及UI界面数据进行预处理操作，得到预处理数据，将预处理数据转化为像素信息，生成特效配置信息，然后根据特效配置信息对歌曲进行视觉效果配置，使得视觉特效可以随歌曲数据和UI界面数据的变化而变化，可视化地呈现歌曲信息，通过歌曲的视觉特效画面有效增强用户对歌曲声音信息的感知，从而提升用户了解歌曲信息的效率。

在一个实施例中，如图2所示，步骤S103中，将预处理数据转化为像素信息，可以包括如下步骤：

S201，根据预处理数据获取歌曲数据的音高随时间变化的音高变化信息。

其中，音高变化信息可以表征歌曲中的音高随时间而变化的情况。示例性地，音高变化信息可以表征音高的音高大小、音高开始时间和音高结束时间。在一些可选的实施例中，音高变化信息可以通过读取MIDI（Musical Instrument Digital Interface，音乐仪器数字接口）文件得到，其中的音乐仪器数字接口是一种数字音频技术，可以在电子设备之间传输音乐数据，MIDI文件作为一种数字音频领域的标准记录格式，其可以捕捉和记录音乐元素如音符、音量和音色等信息。

在本步骤中，可以对预处理数据进行解析，由于预处理数据中可以包含歌曲的歌曲数据，通过对预处理数据进行解析，可以获取歌曲中音高的音高变化信息，在一些实施例中，歌曲可以包括原唱歌曲和人声演唱歌曲中的至少一种。例如对于在音乐播放类应用上，对于用户在曲库中选中的待播放的歌曲（即原唱歌曲），可以获取该选中的歌曲的音高变化信息，以根据该音高变化信息生成相应的视觉特效，并在播放该歌曲的过程中进行展示。又如对于K歌类应用，可以获取人声演唱歌曲的音高变化信息并生成视觉特效，便于用户从视觉上直观地了解其歌唱时音高的变化情况。

可以理解的是，歌曲的音高变化信息可以在生成视觉特效前预先获取的，也可以在生成视觉特效的过程中实时获取。例如对于曲库中的歌曲，可以预先获取其音高变化信息并生成视觉特效，得到该视觉特效的多帧视频画面，当用户选中歌曲进行播放时，即可展示预先生成的多帧视频画面。又如，对于人声演唱歌曲，可以实时获取音高变化信息并展示相应的视觉特效，使得用户可以在歌唱过程中及时了解到其音高变化情况，对演唱方式作出相应的调整。

S202，按照预设时间间隔对音高变化信息进行采样，得到采样结果；采样结果包括各时间区间中采样音高的持续时间。

具体地，在得到音高变化信息后，由于音高变化信息可以表征音高随时间变化的情况，换句话说，音高变化信息可以记录有歌曲在多个时间上的音高。本步骤中，可以按照预设时间间隔对音高变化信息进行采样，得到采样结果，具体而言，该采样过程可以理解为按照预设时间间隔将音高变化信息划分为多个时间区间，每个时间区间的区间长度为预设时间间隔。

图3a示出了一种可视化的音高变化信息采样过程示例，其中的黑色水平线条（如301）表征歌曲中出现的音高，黑色水平线条的长度与该音高的持续时间对应，黑色水平线条开始出现的时间为音高在歌曲中开始出现的时间，黑色水平线条结束的时间为音高在歌曲中停止的时间。任意两条相邻虚线之间的间隔为一个时间区间，该时间区间的时间间隔为预设时间间隔。可以理解的是，图3a仅为方便理解而提供的一个示例，在实际采样过程中，并不必然对音高变化信息进行可视化处理后再采样。

在得到采样结果后，可以确定每个采样区间中采样音高的持续时间，其中，采样音高是指出现在对应采样区间中的音高，采样音高的持续时间为出现在对应采样区间中的音高的持续时间。以图3a为例，音高301横跨多个采样时间区间，对于时间区间④，其中的采样音高是指矩形实线框302框选的部分。对于采样区间中未出现采样音高的，其采样音高的持续时间为0。

S303，根据各个时间区间中采样音高的持续时间和预设时间间隔的比较结果，确定各个时间区间相应的像素信息。

在本步骤中，在得到采样音高的持续时间后，可以将采样音高的持续时间与预设时间间隔进行比较，得到比较结果，其中，该比较结果可以表征采样音高的持续时间与预设时间间隔的差距。具体而言，一个视频帧中可以划分为多个画面区域，每个画面区域可以对应一个时间区间，进而针对每个时间区间，通过将时间区间中采样音高的持续时间与预设时间间隔进行比较，可以根据比较结果确定该时间区间在视频帧中对应的画面区域的像素填充方式，得到相应的像素信息。

可以理解，在本实施例中，可以以时间区间为单位进行特效配置，也即对于同一时间区间，画面内容的配置方式相同，不同时间区间的画面内容配置方式可以相同，也可以不同。换句话说，对于同一个时间区间，若存在部分时间没有采样音高，而部分时间存在采样音高，由于在配置时是以时间区间为单位进行像素化的画面配置，当存采样音高在同一时间区间中分布存在差异时，会采用统一的方式进行特效配置。基于此，在获取到比较结果后，可以根据比较结果确定采用何种方式对整个时间区间在视频帧中对应的画面区域进行特效配置合适，得到采样音高对应时间区间的像素信息。

在本实施例中，可以获取歌曲的音高随时间变化的音高变化信息，按照预设时间间隔对音高变化信息进行采样，得到采样结果，其中，采样结果包括各时间区间中采样音高的持续时间；然后根据各个时间区间中采样音高的持续时间和预设时间间隔的比较结果，确定各个时间区间相应的像素信息。本实施例中，通过对音高变化信息进行采样，根据采样得到的各时间区间中采样音高的持续时间进行画面内容配置，使视觉特效随歌曲音高的变化而变化，直观展现歌曲声音信息的变化情况；并且，通过根据采样音高的持续时间与预设时间间隔的比较结果，确定时间区间相应的像素信息，使得以时间区间为单位进行像素化配置时，配置的画面内容能够与相应时间区间的声音信息匹配，有效防止音画不同步，提升展示的视觉特效与播放歌曲的声音信息的关联性，从而有效提高用户了解歌曲的声音信息的效率。

在一个实施例中，像素信息可以指示是否为相应的时间区间配置特效显示单元；如图4所示，步骤S203中，根据各个时间区间中采样音高的持续时间和预设时间间隔的比较结果，确定各个时间区间相应的像素信息，可以包括如下步骤：

S401，针对每个时间区间，获取每个时间区间中采样音高的持续时间与预设时间间隔的实际时间差异量。

具体实现中，同一时间区间可以利用相同的特效显示单元进行配置，其中，特效显示单元的配置方式可以通过特效配置信息表征，特效显示单元的展示方式可以与采样音高的音高大小和持续时间关联。

对于同一时间区间，若时间区间不存在采样音高或者采样音高的持续时间与预设时间间隔相当，则该时间区间内采样音高的分布方式保持一致（即各时间点都不存在采样音高或各时间点都存在采样音高），此时可以通过相同的特效显示单元对整个时间区间进行配置，特效配置效果可以正确反映该时间区间中的音高的变化情况。

若时间区间部分位置存在采样音高，同时部分位置不存在采样音高，则在配置该时间区间的视觉特效时，或者需要延长视觉特效的展示时长，或者需要缩短视觉特效的展示时长，使时间区间整体的视觉特效保持一致。

对此，可以根据采样音高的持续时间与预设时间间隔的比较结果，确定采样音高的持续时间与预设时间间隔的时间差异量，通过该时间差异量确定视觉特效提前展示或者推迟展示的时间，为便于区分，该时间差异量称为实际时间差异量。

在一些可选的实施例中，可以计算预设时间间隔与采样音高的持续时间之间的差值，也即利用预设时间间隔减去采样音高的持续时间，将该差值作为比较结果，由此得到实际时间差异量；或者，也可以计算采样音高与预设时间间隔的比值，确定采样音高的持续时间在预设时间间隔中的占比，作为比较结果。

S402，根据各个实际时间差异量与满足音画同步要求时允许的预设时间差异量的比较结果，确定是否为各时间区间配置特效显示单元。

实际应用中，可以预先获取满足音画同步要求时允许视频画面出现和声音出现的时间差异量，为便于区分，该时间差异量称为预设时间差异量。其可以理解为：在数据处理过程中，即使视频画面和相应的歌曲声音并非同时出现，例如视频画面提前出现或者视频画面延迟结束，当其时间差异量在一定范围内，观众仍然认为其在感官上是音画同步的。

基于此，针对每个时间区间，可以将获取到的实际时间差异量与允许的预设时间差异量进行比较，并根据比较结果，确定是提前还是延迟时间区间中采样音高视觉特效的展示时间，由此得到是否为该时间区间配置特效显示单元的判别结果，确定像素信息。

在本实施例中，通过根据实际时间差异量与满足音画同步要求时允许的预设时间差异量的比较结果，确定是否为各时间区间配置特效显示单元，一方面，可以确定每个时间区间的用于确定画面内容配置方式的像素信息，实现视觉特效像素化的灵活配置，另一方面，能够避免特效像素化处理后的音画不同步。

在一个实施例中，步骤S402根据各个实际时间差异量与满足音画同步要求时允许的预设时间差异量的比较结果，确定是否为各时间区间配置特效显示单元，可以包括如下步骤：

在时间区间中的采样音高位于连续音高的尾部的情况下，获取满足音画同步要求时允许延迟的第一预设时间差异量；若实际时间差异量小于或等于第一预设时间差异量，则为时间区间配置特效显示单元；若实际时间差异量大于第一预设时间差异量，则不为时间区间配置特效显示单元。

其中，连续音高可以是持续时间超过至少一个完整时间区间的音高，例如图3a中的音高301、303都为连续音高。

具体而言，满足音画同步要求时允许的时间差异量可以包括满足音画同步要求时允许的延迟时间，为便于区分，该时间称为第一预设时间差异量，在一示例中，根据ITU.248标准，允许的延迟时间的最大值为90毫秒。

在本实施例中，可以根据采样音高的位置，确定是否为时间区间配置特效显示单元。具体地，可确定采样音高的位置，若采样音高位于连续音高的尾部，例如图3a中时间区间⑫中的采样音高，可以获取满足音画同步要求时允许的第一预设时间差异量。若实际时间差异量小于或等于第一预设时间差异量，则可以确定即使在该时间区间中延长采样音高的视觉特效展示时间，仍然满足音画同步要求，观众不会感受到音画不同步的情况，因此，可以为采样音高对应的时间区间配置特效显示单元。例如，图3b示出了一种特效显示单元的配置方式，对于图3a中的采样音高302，配置的特效显示单元可以如图3b中的305所示。

若实际时间差异量大于第一预设时间差异量，则可以确定若在该时间区间中延长采样音高的视觉特效展示时间，将不满足音画同步要求，观众会感受到音画不同步，因此，可以不为时间区间配置特效显示单元。

在本实施例中，可以在采样音高位于连续音高的尾部的情况下，结合满足音画同步要求时允许的第一预设时间差异量，准确判断是否为时间区间设置特效显示单元。

在一个实施例中，步骤S402根据各个实际时间差异量与满足音画同步要求时允许的预设时间差异量的比较结果，确定是否为各时间区间配置特效显示单元，可以包括如下步骤：

在时间区间中的采样音高位于连续音高的头部的情况下，获取满足音画同步要求时允许提前的第二预设时间差异量；若实际时间差异量小于或等于第二预设时间差异量，则为时间区间配置特效显示单元；若实际时间差异量小于或等于第二预设时间差异量，则不为时间区间配置特效显示单元。

具体而言，可确定采样音高的位置，若采样音高位于连续音高的头部，例如图3a中时间区间⑨中的采样音高，可以获取满足音画同步要求时允许的提前时间。若实际时间差异量小于或等于允许的提前时间，即第二预设时间差异量，则可以确定即使在该时间区间中延长采样音高的视觉特效展示时间，使其提前出现，仍然满足音画同步要求，观众不会感受到音画不同步的情况，因此，可以为采样音高对应的时间区间配置特效显示单元。

若实际时间差异量大于第二预设时间差异量，则可以确定若在该时间区间中延长采样音高的视觉特效展示时间，并提前进行展示，将不满足音画同步要求，观众会感受到音画不同步，因此，不为采样音高对应的时间区间配置特效显示单元。例如如图3b所示，对于图3a中的采样音高304，可以不在其时间区间⑨中配置特效显示单元。

在本实施例中，可以在采样音高位于连续音高的头部的情况下，结合满足音画同步要求时允许的第二预设时间差异量，准确判断是否为时间区间设置特效显示单元。

在一个实施例中，针对每个时间区间，若根据时间区间的特效配置信息确定配置特效显示单元，则可以获取特效显示单元在时间区间的特效配置信息，以便后续根据特效配置信息进行特效配置。

实际应用中，可以对每个时间区间的视觉特效分别进行配置。具体而言，针对每个时间区间，若需要在该时间区间相应展示特效显示单元，则可以获取特效显示单元在该时间区间中的特效配置信息。其中，特效配置信息可用于配置特效显示单元的样式，不同时间区间展示的特效显示单元的特效配置信息可以相同，也可以存在差异。示例性，特效配置信息可用于设置一下至少一种展示要素：背景、图案、纹理、展示位置等。通过根据特效显示单元在时间区间的特效配置信息进行视觉特效配置，能够有效增强视频帧画面中不同区域的特效配置灵活性。

在一个实施例中，步骤S103中，生成特效配置信息，可以包括如下步骤：

若根据时间区间的像素信息确定配置特效显示单元，则根据预处理数据获取用于设置视觉特效展示方式的视觉特效模板；根据视觉特效模板，从纹理素材库中获取与时间区间关联的纹理素材，得到所述特效显示单元的特效配置信息。

在实际应用中，可以向用户提供至少一个用于设置视觉特效展示方式的视觉特效模板，该视觉特效模板可以记录有特效显示单元的样式、背景等内容。用户可以在提供的至少一个视觉特效模板中选择应用的视觉特效模板，作为配置好的视觉特效模板。相应地，UI界面数据中可以记录有视觉特效模板的模板信息。

进而，在根据时间区间的像素信息确定配置特效显示单元时，可以对预处理数据进行解析，根据解析结果确定出配置好的视觉特效模板，结合视觉特效模板确定特效显示单元在该时间区间的展示样式。具体而言，可以根据视觉特效模板，从存储有多种纹理素材的纹理素材库中，获取与时间区间关联的纹理素材，作为该时间区间的特效显示单元的特效配置信息。

例如，视觉特效模板可以包括特效皮肤，基于不同的视觉特效模板，图5a和图5b分别展示了按照两种特效皮肤生成的视觉特效。

在本实施例中，可以通过视觉特效模板对时间区间中的特效显示单元的纹理进行灵活配置。

在一个实施例中，在按照预设时间间隔对音高变化信息进行采样之前，还可以包括如下步骤：

获取预先配置的用于设置视觉特效展示方式的视觉特效模板；根据视觉特效模板中的视觉特效展示精度确定预设时间间隔；其中，预设时间间隔与视觉特效展示精度呈负相关。

在具体实现中，不同视觉特效模板中配置的视觉特效展示精度可以存在差异，例如对于具有马赛克特点的视觉特效，其画面细腻程度较低，而对于一些画面色彩较为丰富的视觉特效，其画面细腻程度相对会更高。此外，不同用户需要的画面细腻程度也可能存在差异。

对此，在本实施例中，可以通过视觉特效模板设置视觉特效的展示精度，展示精度越高，画面内容越细腻、色彩越丰富。进而，可以从预先配置的视觉特效模板中获取视觉特效展示精度，并根据视觉特效展示精度确定后续对音高变化信息进行采样的预设时间间隔，其中，视觉特效展示精度越高，预设时间间隔越短，由此，便于根据视觉特效展示精度，灵活地调整像素化处理过程中时间区间的跨度。

在一个实施例中，在步骤S104中，根据特效配置信息对歌曲进行视觉效果配置，可以包括如下步骤：

根据着色器参数格式对特效配置信息进行转换，得到特效显示单元绘制参数；将各个特效显示单元绘制参数发送到着色器，由着色器根据特效显示单元绘制参数生成相应的特效显示单元，通过特效显示单元进行视觉效果配置。

具体实现中，可以通过着色器（shader）进行特效绘制，着色器可以用于视频实时渲染场景（如视频后处理、直播等）；同一套着色器处理逻辑可跨平台使用（例如可以在iOS、Android、后台云端等进行绘制、渲染 ），具有较高的可复用性。

在本实施例中，可以确定着色器参数格式，然后根据该着色器参数格式，对获取的各特效配置信息进行转换，得到特效显示单元绘制参数，例如，可以将特效配置信息转换成uniform vec2的数据结构，作为特效显示单元绘制参数。然后将特效显示单元绘制参数发送到着色器，由着色器根据接收到的参数绘制出相应的特效显示单元。

图6和图7分别示例性地示出了一种特效配置信息获取流程以及一种着色器绘制视觉特效的流程。如图6所示，在生成MIDI视觉特效时，可以向像素化算法模块发送请求，以请求像素化数据。之后，像素化算法模块可以调用均分采样算法模块，触发其执行算法，对MIDI文件进行分析，将数据均分采样成像素信息，得到每个时间区间的特效配置信息（对于不配置的特效显示单元的时间区间，其特效配置信息可以为表示不配置的预设值或其他预先确定的默认值），并且可以准备OpenGL绘制所需要的纹理素材及相应的纹理数据，整合数据，将其统一转换成uniform格式，等待着色器进行处理。

如图7所示，可以调用shader模块，触发着色器进行绘制，在绘制流程中，着色器可以根据uniform字段执行Shader绘制流程，得到绘制出的纹理信息，绘制后得到的纹理信息可以保存到纹理缓存模块，供业务执行后续的动作，例如进行上屏或视频编码操作。

在本实施例中，通过根据预先确定的着色器参数格式对特效配置信息进行转换，并由着色器绘制特效显示单元，由此在不同的平台中实现本申请的视觉特效生成方法，提高其复用性。

为了使本领域技术人员能够更好地理解上述步骤，以下通过一个例子对本申请实施例加以示例性说明，但应当理解的是，本申请实施例并不限于此。

如图8所示，可以通过客户端预览页或后台视频化服务，向音频视频化实时处理模块发送MIDI视频生成请求（也即视频特效数据请求），以请求MIDI视频特效数据。音频视频化实时处理模块可以触发样式配置模块检测是否存在MIDI特效配置，如视觉特效模板，若不存在，则可返回请求MIDI视频特效数据失败的消息。

若存在，则可以准备获取当前演唱数据，在用户结合原唱歌曲或伴奏进行演唱时，当前演唱数据可以包括用户的MIDI文件，以及原唱歌曲或伴奏的MIDI文件。然后，可以预处理当前声音数据，以准备转换成shader数据

在预处理后，可以将预处理后的声音数据发送到像素化算法模块进行处理，计算并输出关键的uniform数据，交付给着色器进行绘制，得到并输出MIDI视频特效数据，为便于区分和读取，还可以分配相应的标识，如OpenGL texture（纹理） ID。然后，可以将MIDI视频特效数据返回到客户端预览页或后台视频化服务。

应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一个示例性的实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图9所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O）和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储音频数据和特效数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种歌曲的视觉特效生成方法。

本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要符合相关规定。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (11)

1.一种歌曲的视觉特效生成方法，其特征在于，所述方法包括：

发送视频特效数据请求；

获取当前歌曲数据及UI界面数据，并对所述歌曲数据及UI界面数据进行预处理操作，得到预处理数据；

将所述预处理数据转化为像素信息，并生成特效配置信息；

根据所述特效配置信息对所述歌曲进行视觉效果配置，得到所述歌曲的视觉特效。

2.根据权利要求1所述的方法，其特征在于，所述将所述预处理数据转化为像素信息，包括：

根据所述预处理数据获取所述歌曲数据的音高随时间变化的音高变化信息；

按照预设时间间隔对所述音高变化信息进行采样，得到采样结果；所述采样结果包括各时间区间中采样音高的持续时间；

根据各个所述时间区间中采样音高的持续时间和所述预设时间间隔的比较结果，确定各个所述时间区间相应的像素信息。

3.根据权利要求2所述的方法，其特征在于，所述像素信息指示是否为相应的所述时间区间配置特效显示单元；

所述根据各个所述时间区间中采样音高的持续时间和所述预设时间间隔的比较结果，确定各个所述时间区间相应的像素信息，包括：

针对每个所述时间区间，获取每个所述时间区间中采样音高的持续时间与所述预设时间间隔的实际时间差异量；

根据各个所述实际时间差异量与满足音画同步要求时允许的预设时间差异量的比较结果，确定是否为各所述时间区间配置特效显示单元。

4.根据权利要求3所述的方法，其特征在于，所述根据各个所述实际时间差异量与满足音画同步要求时允许的预设时间差异量的比较结果，确定是否为各所述时间区间配置特效显示单元，包括：

在所述时间区间中的采样音高位于连续音高的尾部的情况下，获取满足音画同步要求时允许延迟的第一预设时间差异量；

若所述实际时间差异量小于或等于所述第一预设时间差异量，则为所述时间区间配置特效显示单元；

若所述实际时间差异量大于所述第一预设时间差异量，则不为所述时间区间配置特效显示单元。

5.根据权利要求3所述的方法，其特征在于，所述根据各个所述实际时间差异量与满足音画同步要求时允许的预设时间差异量的比较结果，确定是否为各所述时间区间配置特效显示单元，包括：

在所述时间区间中的采样音高位于连续音高的头部的情况下，获取满足音画同步要求时允许提前的第二预设时间差异量；

若所述实际时间差异量小于或等于所述第二预设时间差异量，则为所述时间区间配置特效显示单元；

若所述实际时间差异量大于所述第二预设时间差异量，则不为所述时间区间配置特效显示单元。

6.根据权利要求2所述的方法，其特征在于，所述生成特效配置信息，包括：

若根据所述时间区间的像素信息确定配置特效显示单元，则根据所述预处理数据获取用于设置视觉特效展示方式的视觉特效模板；

根据所述视觉特效模板，从纹理素材库中获取与所述时间区间关联的纹理素材，得到所述特效显示单元的特效配置信息。

7.根据权利要求2所述的方法，其特征在于，在所述按照预设时间间隔对所述音高变化信息进行采样之前，还包括：

获取预先配置的用于设置视觉特效展示方式的视觉特效模板；

根据所述视觉特效模板中的视觉特效展示精度确定预设时间间隔；其中，所述预设时间间隔与所述视觉特效展示精度呈负相关。

8.根据权利要求1至7中任一项所述的方法，其特征在于，所述根据所述特效配置信息对所述歌曲进行视觉效果配置，包括：

根据着色器参数格式对所述特效配置信息进行转换，得到特效显示单元绘制参数；

将各个所述特效显示单元绘制参数发送到着色器，由所述着色器根据所述特效显示单元绘制参数生成相应的特效显示单元，通过所述特效显示单元进行视觉效果配置。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。

11.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。