CN107967706A - 多媒体数据的处理方法、装置及计算机可读存储介质 - Google Patents

Abstract

本发明实施例公开了一种多媒体数据的处理方法、装置及计算机可读存储介质，属于多媒体技术领域。多媒体数据的处理方法，包括：获取待处理的视频数据，视频数据中包括节奏变化的音频数据；提取视频数据中所包括的音频数据的节奏变化信息，节奏变化信息包括至少一组相互对应的节奏变化时间点和节奏变化强度；根据视频数据中所包括的音频数据的节奏变化信息，对视频数据的视频画面进行动画特效处理，得到处理后的视频数据。通过提取视频数据中所包括的音频数据的节奏变化信息，根据音频数据的节奏变化信息对视频数据的视频画面进行动画特效处理，使得视频内容能够与音频数据的节奏关联起来，丰富了多媒体数据的处理方式，进而可以扩展应用场景。

Description

多媒体数据的处理方法、装置及计算机可读存储介质

技术领域

本发明涉及多媒体技术领域，特别涉及一种多媒体数据的处理方法、装置及计算机可读存储介质。

背景技术

随着人们对娱乐休闲方式的需求不断增加，音视频等多媒体数据的产品越来越丰富，多媒体数据的呈现方式也越来越多样化。为了提升用户体验，多媒体数据的处理方式也越来越丰富。

相关技术中，提供了一种音频数据视觉化的处理方式，具体实现时，通过提取音频数据的频谱、振幅、音调等信号信息，实时生成视觉元素，通过视觉元素来展现音频数据的变化。

由于相关技术仅对音频数据进行视觉化的处理，处理方式具有一定的局限性，其应用场景也受到了一定的限制。

发明内容

本发明实施例提供了一种多媒体数据处理方法、装置及计算机可读存储介质，可以解决相关技术中存在的技术问题，具体技术方案如下：

一方面，提供了一种多媒体数据的处理方法，所述方法包括：

获取待处理的视频数据，所述视频数据中包括节奏变化的音频数据；

提取所述视频数据中所包括的音频数据的节奏变化信息，所述节奏变化信息包括至少一组相互对应的节奏变化时间点和节奏变化强度；

根据所述视频数据中所包括的音频数据的节奏变化信息，对所述视频数据的视频画面进行动画特效处理，得到处理后的视频数据。

在一种实现方式中，所述根据所述视频数据中所包括的音频数据的节奏变化信息，对所述视频数据的视频画面进行动画特效处理，包括：

当所述视频数据的任一帧视频画面的时间点与所述节奏变化信息中的当前节奏变化时间点匹配时，按照所述节奏变化信息中与所述当前节奏变化时间点对应的节奏变化强度对所述视频数据进行动画特效处理。

在一种实现方式中，所述方法还包括：

当所述视频数据的当前动画特效的持续时间未结束时，如果存在其他帧视频画面的时间点与所述节奏变化信息中的下一个节奏变化时间点匹配，则从所述当前动画特效画面过渡切换到下一个动画特效画面。

在一种实现方式中，所述从所述当前动画特效画面过渡到下一个动画特效画面，包括：

计算下一个动画特效的时间进度；

按照所述下一个动画特效的时间进度及下一个节奏变化时间点对应的节奏变化强度对所述当前动画特效画面进行特效处理，得到下一个动画特效画面；

由所述当前动画特效画面切换到所述下一个动画特效画面。

在一种实现方式中，所述动画特效处理包括视频画面的任意空间变化或色彩变化的处理。

在一种实现方式中，所述音频数据为所述视频数据自带的音频数据，或者所述音频数据为后添加到所述视频数据中的音频数据。

在一种实现方式中，所述根据所述视频数据中所包括的音频数据的节奏变化信息，对所述视频数据的视频画面进行动画特效处理，包括：

在拍摄所述视频数据或对所述视频数据进行编辑的过程中，根据所述视频数据中所包括的音频数据的节奏变化信息，对所述视频数据的视频画面进行动画特效处理。

还提供了一种多媒体数据的处理装置，所述装置包括：

获取模块，用于获取待处理的视频数据，所述视频数据中包括节奏变化的音频数据；

提取模块，用于提取所述视频数据中所包括的音频数据的节奏变化信息，所述节奏变化信息包括至少一组相互对应的节奏变化时间点和节奏变化强度；

处理模块，用于根据所述视频数据中所包括的音频数据的节奏变化信息，对所述视频数据的视频画面进行动画特效处理，得到处理后的视频数据。

在一种实现方式中，所述处理模块，用于当所述视频数据的任一帧视频画面的时间点与所述节奏变化信息中的当前节奏变化时间点匹配时，按照所述节奏变化信息中与所述当前节奏变化时间点对应的节奏变化强度对所述视频数据进行动画特效处理。

在一种实现方式中，所述装置还包括：

切换模块，用于当所述视频数据的当前动画特效的持续时间未结束时，如果存在其他帧视频画面的时间点与所述节奏变化信息中的下一个节奏变化时间点匹配，则从所述当前动画特效画面过渡切换到下一个动画特效画面。

在一种实现方式中，所述切换模块，用于计算下一个动画特效的时间进度；按照所述下一个动画特效的时间进度及下一个节奏变化时间点对应的节奏变化强度对所述当前动画特效画面进行特效处理，得到下一个动画特效画面；由所述当前动画特效画面切换到所述下一个动画特效画面。

在一种实现方式中，所述处理模块，用于在拍摄所述视频数据或对所述视频数据进行编辑的过程中，根据所述视频数据中所包括的音频数据的节奏变化信息，对所述视频数据的视频画面进行动画特效处理。

还提供了一种计算机设备，所述计算机设备包含处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行，以实现上述的多媒体数据处理方法。

还提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行，以实现上述的多媒体数据处理方法。

本发明实施例提供的技术方案可以包括以下有益效果：

通过提取视频数据中所包括的音频数据的节奏变化信息，根据音频数据的节奏变化信息对视频数据的视频画面进行动画特效处理，使得视频内容能够与音频数据的节奏关联起来，代入感更强，丰富了多媒体数据的处理方式，进而可以扩展应用场景。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1是本发明实施例示出的一种多媒体数据的处理系统架构示意图；

图2是本发明实施例示出的一种多媒体数据的处理方法流程图；

图3是本发明实施例示出的另一种多媒体数据的处理方法流程图；

图4是本发明实施例示出的一种节奏变化强度及时间进度的关系示意图；

图5是本发明实施例示出的另一种多媒体数据的处理方法流程图；

图6是本发明实施例示出的一种多媒体数据的处理装置结构示意图；

图7是本发明实施例示出的另一种多媒体数据的处理装置结构示意图；

图8是本发明实施例示出的一种终端的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

随着人们对娱乐休闲方式的需求不断增加，音视频等多媒体数据的产品越来越丰富，多媒体数据的呈现方式也越来越多样化。本发明实施例提供了一种多媒体数据的处理方法，通过该方法将视频数据的视频画面与其包括的音频数据的节奏关联起来，使得处理后的视频数据在播放的过程中，代入感更强，提高节奏协调性和趣味性，进而丰富应用场景。

具体实施时，该方法可以在终端侧实现，也可以在服务器侧实现。或者，还可以由终端与服务器相互配合实现。例如，终端获取待处理的视频数据并上传至服务器，由服务器对待处理的视频数据进行处理，得到处理后的视频数据，再将处理后的视频数据发送至终端侧进行播放。

以终端和服务器相互配合实现本发明实施例提供的多媒体数据的处理方法为例，请参考图1，其示出了本发明实施例提供的多媒体数据的处理方法所涉及的实施环境的示意图。如图1所示，该实施环境可以包括终端110和服务器120。

终端110是指诸如手机、平板电脑、台式电脑或者电子阅读器之类的可以连接网络的终端。终端110还可以通过有线或者无线网络与服务器120连接。实际实现时，终端110中可以安装有客户端，该客户端可以为视频编辑客户端或视频拍摄客户端。可选地，客户端可以为终端110中默认安装的客户端，也可以为终端110中自定义安装的客户端。

服务器120可以是一台服务器，也可以是由若干台服务器组成的服务器集群，还可以是一个云计算服务中心。实际实现时，该服务器120是指为终端110中安装的客户端提供后台服务的服务器。

为了便于理解，接下来，以终端执行多媒体数据的处理方法为例，对本发明实施例提供的多媒体数据的处理方法进行解释说明。如图2所示，该方法包括：

在步骤201中，获取待处理的视频数据，视频数据中包括节奏变化的音频数据；

其中，该待处理的视频数据可以是实时拍摄得到的，也可以是之前就已经拍摄好的。例如，在执行多媒体数据的处理方法之前，可以通过终端自带的摄像装置实时拍摄，得到待处理的视频数据；也可以通过网络获取其他终端或者服务器上存储的已经拍摄好的视频数据。关于获取待处理的视频数据的方式，本发明实施例不作具体限定。

此外，本发明实施例提供的方法针对具有音频数据的视频数据进行处理，因此，该待处理的视频数据为包括音频数据的视频数据。例如，该视频数据为一段录像，该录像中包括背景音乐。

需要说明的是，视频数据中包括的音频数据，可以为视频数据自带的音频数据，或者为后添加到视频数据中的音频数据。例如，在通过终端的摄像装置拍摄得到视频数据时，拍摄的环境中即存在背景音乐，因而拍摄得到的视频数据中自带了背景音乐，即音频数据。又例如，初始的视频数据中不包括音频数据，或者音频数据的节奏感不强，之后，通过对初始的视频数据进行编辑，在初始的视频数据中添加了音频数据，得到待处理的视频数据。

无论视频数据中的音频数据具体是如何获取的，为了将视频数据中的视频画面与音频数据的节奏关联起来，该音频数据可以为节奏变化的音频数据，从而可以更加凸显特效处理后的效果。而节奏具体如何变化，本发明实施例对此不作具体限定。

在步骤202中，提取视频数据中所包括的音频数据的节奏变化信息，节奏变化信息包括至少一组相互对应的节奏变化时间点和节奏变化强度；

针对该步骤，在提取视频数据中所包括的音频数据的节奏变化信息时，可以先从视频数据中提取出音频数据，得到音频数据信息，之后根据音频数据信息得到音频数据的节奏变化信息。音频数据的提取算法包括但不限于Onset检测、鼓点检测等。

其中，节奏变化信息可以包括至少一组相互对应的节奏变化时间点和节奏变化强度。节奏变化时间点为音频数据发生节奏变化的时间点，可以记作T；节奏变化强度为音频数据在节奏变化时间点发声节奏变化时的强度量化值，可以记作S。对于一段视频而言，整个音频可以有多个节奏变化时间点，而每个节奏变化时间点对应一个节奏变化强度，因此，音频数据的节奏变化信息包括至少一组节奏变化时间点和节奏变化强度。

当提取出音频数据的节奏变化信息后，为了后续便于对视频数据进行处理，将提取出的节奏变化信息记录在节奏变化信息表中，并将该节奏变化信息表进行存储。也就是说，该节奏变化信息表记录了音频数据中所有节奏变化时间点和节奏变化强度的映射关系。进一步地，该节奏变化信息表可以为记录了在时间维度上节奏变化时间点和节奏变化强度映射关系的数据结构。

在步骤203中，根据视频数据中所包括的音频数据的节奏变化信息，对视频数据的视频画面进行动画特效处理，得到处理后的视频数据。

针对该步骤，根据视频数据中所包括的音频数据的节奏变化信息，对视频数据的视频画面进行动画特效处理，包括但不限于：

当视频数据的任一帧视频画面的时间点与节奏变化信息中的当前节奏变化时间点匹配时，按照节奏变化信息中与当前节奏变化时间点对应的节奏变化强度对视频数据进行动画特效处理。

其中，视频画面的时间点与节奏变化信息中的当前节奏变化时间点匹配，可以为视频画面的时间点与节奏变化信息中的当前节奏变化时间点相同，或者，视频画面的时间点与节奏变化信息中的当前节奏变化时间点之间的时间差在预设时间差之内，即视频画面与节奏变化时间点可以有预设时间差范围内的延迟。该预设时间差可以根据实际情况进行设置，例如，设置为1秒，或者0.5秒等。

为了便于理解，以视频画面的时间点与节奏变化信息中的当前节奏变化时间点匹配，为视频画面的时间点与节奏变化信息中的当前节奏变化时间点相同为例，对该步骤的具体实现方式进行举例说明。

例如，视频数据包括十帧视频画面，整个视频数据的播放时长为10秒，视频数据中的音频数据的播放时长也为10秒。那么，每帧视频画面均有各自的时间点，以一帧视频画面播放时长为1秒为例，第一帧视频画面的时间点从第0秒开始，到第1秒结束，第二帧视频画面的时间点从第1秒开始，到第2秒结束，第三帧视频画面的时间点从第2秒开始，到第3秒结束，如此类推，第十帧视频画面从第9秒开始，到第10秒结束。如果音频数据的节奏变化信息中包括3个节奏变化时间点，第一个节奏变化时间点为第3秒，第二个节奏变化时间点为第6秒，第三个节奏变化时间点为第8秒。

那么，如果当前节奏变化时间点为第一个节奏变化时间点，则第一个节奏变化时间点与第四帧视频画面相匹配，按照节奏变化信息中与第一个节奏变化时间点对应的节奏变化强度对视频数据进行动画特效处理。如果当前节奏变化时间点为第二个节奏变化时间点，则第二个节奏变化时间点与第七帧视频画面相匹配，按照节奏变化信息中与第二个节奏变化时间点对应的节奏变化强度对视频数据进行动画特效处理。

基于上述处理过程，具体应用时，本发明实施例提供的方法可以应用于不同的应用场景中，则根据视频数据中所包括的音频数据的节奏变化信息，对视频数据的视频画面进行动画特效处理，包括：在拍摄视频数据或对视频数据进行编辑的过程中，根据视频数据中所包括的音频数据的节奏变化信息，对视频数据的视频画面进行动画特效处理。通过在拍摄视频数据或对视频数据进行编辑的过程中，自动根据音频数据的节奏生成视频动态效果，提高了音视频彼此的节奏协调性和趣味性，增加了代入感。

关于动画特效处理的方式，包括但不限于视频画面的任意空间变化或色彩变化的处理。空间变化可以是对视频画面的图像进行放大或缩小处理，色彩变化可以是对视频画面的图像进行不同色彩的处理。具体实现时，可以根据节奏变化强度的大小，采取不同的动画特效处理，该不同的动画特效处理可以是一类动画特效不同程度的处理。例如，当节奏变化强度为1时，对视频画面的任意空间采取第一种特效处理；当节奏变化强度为2时，对视频画面的任意空间采取第二种特效处理。又例如，当节奏变化强度为1时，对视频画面采取第一种色彩特效处理；当节奏变化强度为2时，对视频画面采取第二种色彩特效处理。

可选地，该不同的动画特效处理也可以为不同类的动画特效处理。例如，当节奏变化强度为1时，对视频画面的任意空间采取特效处理；当节奏变化强度为2时，对视频画面的色彩采取特效处理。

需要说明的是，无论采用哪种方式进行特效处理，针对整个视频数据而言，可以逐帧对每个需要应用特效的视频帧进行处理。当任意一个视频画面的时间点触发节奏变化信息表中的节奏变化时间点，即视频画面的时间点与节奏变化信息表中的节奏变化时间点匹配时，都将针对视频画面触发一次动态效果，该动态效果可以是对视频画面对应图像的任意空间变化或色彩变化的特效处理。

本发明实施例提供的方法，通过提取视频数据中所包括的音频数据的节奏变化信息，根据音频数据的节奏变化信息对视频数据的视频画面进行动画特效处理，使得视频内容能够与音频数据的节奏关联起来，丰富了多媒体数据的处理方式，进而可以扩展应用场景。

为了进一步丰富特效处理的方式，优化特效处理的效果，本发明实施例提供了一种多媒体数据的处理方法，参见图3，该方法包括：

在步骤301中，获取待处理的视频数据，视频数据中包括节奏变化的音频数据；

在步骤302中，提取视频数据中所包括的音频数据的节奏变化信息，节奏变化信息包括至少一组相互对应的节奏变化时间点和节奏变化强度；

在步骤303中，根据视频数据中所包括的音频数据的节奏变化信息，对视频数据的视频画面进行动画特效处理，得到处理后的视频数据；

上述步骤301至步骤303与图2所示实施例的步骤201至步骤203的步骤原理相同，具体可参见上述图2所示实施例的内容，此处不再赘述。

针对每次特效处理，得到动画特效之后，该动画特效都可以持续一段时间，该持续时间为动画特效所需要的执行完成的时间。在一种实现方式中，不同节奏变化强度对应的动画特效可以有不同的持续时间，因而动画特效的持续时间可根据对应的节奏变化强度确定。当然，每种节奏变化强度对应的动画特效也可以有相同的持续时间，本发明实施例对此不作具体限定。

此外，动画特效的持续时间为动画特效开始的时间戳与动画特效结束的时间戳之间的总长度，在动画特效的持续时间内，有不同的动画特效的时间进度。例如，可以将动画特效的持续时间理解为一个时间段，而动画特效开始的时间戳对应该时间段的起始时间，动画特效结束的时间戳对应该时间段的结束时间，动画特效的时间进度为该时间段内除起始时间及结束时间以外的任一时间点。

以C为原始输入图像(即原始视频数据的视频画面对应的图像)，S0为当前节奏变化强度值为例，视频画面对应图像的变化可以表示为f(C，P0，S0)。其中，P0为当前动画特效的时间进度，且变化函数f针对每一P值可逆，定义其逆函数为g(f(C，P0，S0))＝P。

由于一次动画效果会有持续时间，因而当任意一个视频画面的时间点触发节奏变化信息表中的节奏变化时间点，即视频画面的时间点与节奏变化信息表中的节奏变化时间点匹配时，都将在持续时间内针对视频画面触发一次动态效果，该动态效果可以是对视频画面对应图像的任意空间变化或色彩变化的特效处理。

然而，由于音频数据的节奏变化信息不仅包括一个节奏变化时间点，还可以包括多个节奏变化时间点，因此，当任意一个视频画面的时间点触发节奏变化信息表中的节奏变化时间点，针对视频画面触发一次动态效果后，如果当前动画特效的持续时间未结束，则为了平滑过渡到下一个动画特效画面，本发明实施例提供的方法还包括如下步骤。

在步骤304中，当视频数据的当前动画特效的持续时间未结束时，如果存在其他帧视频画面的时间点与节奏变化信息中的下一个节奏变化时间点匹配，则从当前动画特效画面过渡切换到下一个动画特效画面。

其中，从当前动画特效画面过渡到下一个动画特效画面，包括：计算下一个动画特效的时间进度；根据下一个动画特效的时间进度及下一个节奏变化时间点对应的节奏变化强度对当前动画特效画面进行特效处理，得到下一个动画特效画面；由当前动画特效画面切换到下一个动画特效画面。

在一种实现方式中，计算下一个动画特效的时间进度时，如果下一个节奏变化时间点对应的节奏变化强度与当前节奏变化时间点对应的节奏变化强度一致，说明根据下一个节奏变化时间点对应的节奏变化强度对当前动画特效画面进行特效处理时，处理效果会与当前的相同，则无需调整下一个动画特效开始的时间戳，而是直接根据当前动画特效开始的时间戳计算下一个动画特效的时间进度，以持续进行特效处理；如果下一个节奏变化时间点对应的节奏变化强度与当前节奏变化时间点对应的节奏变化强度不一致，在当前动画特效画面的基础上，需要过渡切换到下一个动画特效强度的特效处理，而由于两次特效处理的画面会有所不同，因而则需要根据下一个节奏变化时间点对应的节奏变化强度所需的动画进度调整下一个动画特效开始的时间戳，根据下一个动画特效开始的时间戳计算下一个动画特效的时间进度。其中，动画特效的时间进度指示动画特效的当前进度，动画特效开始的时间戳可以与节奏变化时间点一致。

根据上述两种情况中的任一种计算得到下一个动画特效的时间进度后，即可根据下一个动画特效的时间进度及下一个节奏变化时间点对应的节奏变化强度对当前动画特效画面进行特效处理，得到下一个动画特效画面；由当前动画特效画面切换到下一个动画特效画面。其中，根据下一个动画特效的时间进度及下一个节奏变化时间点对应的节奏变化强度对当前动画特效画面进行特效处理的方式，可参考步骤303中得到当前动画特效画面的处理方式，此处不再赘述。

仍以C为原始输入图像(即原始视频数据的视频画面对应的图像)，S0为当前节奏变化强度值为例，视频画面对应图像的变化表示为f(C，P0，S0)。在当前动画特效画面的持续时间未完成时，发现了新的节奏变化时间点(即下一个节奏变化时间点)，则新的图像变化以f(C，P1，S1)为例。为保持效果变迁不产生突兀性，需要保证f(C，P1，S1)＝f(C，P0，S0)。据此，可计算出P1的值，P1＝g(f(C,P0,S1))，则该步骤304的效果在P1时间进度点上进行f(C，P1，S1)图像变化。

如图4所示，两个波形分别代表当前动画特效的时间进度与图像变化的对应关系，以及下一个动画特效的时间进度与图像变化的对应关系，从图4中可以看出，两个波形的时间进度跨度相等。

为了进一步详细描述不同动画特效的过渡，本发明实施例提供的多媒体数据的整个处理流程还可以参考图5所示，获取待处理的视频数据，并提取得到节奏变化信息后，当前视频画面时间点触发节奏变化时间点，且当前处在一个动画特效的持续时间内，如果当前节奏变化强度与新的节奏变化强度一致，则无需调整下一个动画特效开始的时间戳，根据当前动画特效开始的时间戳来计算下一个动画特效的时间进度；如果当前节奏变化强度与新的节奏变化强度不一致，则调整下一个动画特效开始的时间戳，根据调整后的下一个动画特效开始的时间戳计算下一个动画特效的时间进度。计算下一个动画特效的时间进度后，根据下一个动画特效的时间进度和下一个节奏变化强度进行特效处理。

本发明实施例提供的方法，通过提取视频数据中所包括的音频数据的节奏变化信息，根据音频数据的节奏变化信息对视频数据的视频画面进行动画特效处理，使得视频内容能够与音频数据的节奏关联起来，丰富了多媒体数据的处理方式，进而可以扩展应用场景。

此外，当视频数据的当前动画特效的持续时间未结束时，如果存在其他帧视频画面的时间点与节奏变化信息中的下一个节奏变化时间点匹配，通过从当前动画特效画面过渡切换到下一个动画特效画面，可以实现不同动画特效的平滑自然过渡，进一步提升处理效果。

本发明实施例提供了一种多媒体数据的处理装置，如图6所示，该多媒体数据的处理装置包括：

获取模块61，用于获取待处理的视频数据，视频数据中包括节奏变化的音频数据；

提取模块62，用于提取视频数据中所包括的音频数据的节奏变化信息，节奏变化信息包括至少一组相互对应的节奏变化时间点和节奏变化强度；

处理模块63，用于根据视频数据中所包括的音频数据的节奏变化信息，对视频数据的视频画面进行动画特效处理，得到处理后的视频数据。

一种实现方式中，处理模块63，用于当视频数据的任一帧视频画面的时间点与节奏变化信息中的当前节奏变化时间点匹配时，按照节奏变化信息中与当前节奏变化时间点对应的节奏变化强度对视频数据进行动画特效处理。

一种实现方式中，参见图7，该多媒体数据的处理装置还包括：

切换模块64，用于当视频数据的当前动画特效的持续时间未结束时，如果存在其他帧视频画面的时间点与节奏变化信息中的下一个节奏变化时间点匹配，则从当前动画特效画面过渡切换到下一个动画特效画面。

一种实现方式中，切换模块64，用于计算下一个动画特效的时间进度；按照下一个动画特效的时间进度及下一个节奏变化时间点对应的节奏变化强度对当前动画特效画面进行特效处理，得到下一个动画特效画面；由当前动画特效画面切换到下一个动画特效画面。

一种实现方式中，处理模块63，用于在拍摄视频数据或对视频数据进行编辑的过程中，根据视频数据中所包括的音频数据的节奏变化信息，对视频数据的视频画面进行动画特效处理。

本发明实施例提供的装置，通过提取视频数据中所包括的音频数据的节奏变化信息，根据音频数据的节奏变化信息对视频数据的视频画面进行动画特效处理，使得视频内容能够与音频数据的节奏关联起来，丰富了多媒体数据的处理方式，进而可以扩展应用场景。

图8示出了本发明实施例提供的终端800的结构框图。该终端800可以是智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group AudioLayer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端800还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。

通常，终端800包括有：处理器801和存储器802。

处理器801可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器801可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(ProgrammableLogic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器801也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器801可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器801还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器802可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器802还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器802中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器801所执行以实现本申请中方法实施例提供的多媒体数据的处理方法。

在一些实施例中，终端800还可选包括有：外围设备接口803和至少一个外围设备。处理器801、存储器802和外围设备接口803之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口803相连。具体地，外围设备包括：射频电路804、触摸显示屏805、摄像头806、音频电路807、定位组件808和电源809中的至少一种。

外围设备接口803可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器801和存储器802。在一些实施例中，处理器801、存储器802和外围设备接口803被集成在同一芯片或电路板上；在一些其他实施例中，处理器801、存储器802和外围设备接口803中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。

射频电路804用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路804通过电磁信号与通信网络以及其他通信设备进行通信。射频电路804将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路804包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路804可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路804还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。

显示屏805用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏805是触摸显示屏时，显示屏805还具有采集在显示屏805的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器801进行处理。此时，显示屏805还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏805可以为一个，设置终端800的前面板；在另一些实施例中，显示屏805可以为至少两个，分别设置在终端800的不同表面或呈折叠设计；在再一些实施例中，显示屏805可以是柔性显示屏，设置在终端800的弯曲表面上或折叠面上。甚至，显示屏805还可以设置成非矩形的不规则图形，也即异形屏。显示屏805可以采用LCD(LiquidCrystal Display，液晶显示屏)、OLED(OrganicLight-Emitting Diode,有机发光二极管)等材质制备。

摄像头组件806用于采集图像或视频。可选地，摄像头组件806包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件806还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。

音频电路807可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器801进行处理，或者输入至射频电路804以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端800的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器801或射频电路804的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路807还可以包括耳机插孔。

定位组件808用于定位终端800的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件808可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组件。

电源809用于为终端800中的各个组件进行供电。电源809可以是交流电、直流电、一次性电池或可充电电池。当电源809包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。

在一些实施例中，终端800还包括有一个或多个传感器810。该一个或多个传感器810包括但不限于：加速度传感器811、陀螺仪传感器812、压力传感器813、指纹传感器814、光学传感器815以及接近传感器816。

加速度传感器811可以检测以终端800建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器811可以用于检测重力加速度在三个坐标轴上的分量。处理器801可以根据加速度传感器811采集的重力加速度信号，控制触摸显示屏805以横向视图或纵向视图进行用户界面的显示。加速度传感器811还可以用于游戏或者用户的运动数据的采集。

陀螺仪传感器812可以检测终端800的机体方向及转动角度，陀螺仪传感器812可以与加速度传感器811协同采集用户对终端800的3D动作。处理器801根据陀螺仪传感器812采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。

压力传感器813可以设置在终端800的侧边框和/或触摸显示屏805的下层。当压力传感器813设置在终端800的侧边框时，可以检测用户对终端800的握持信号，由处理器801根据压力传感器813采集的握持信号进行左右手识别或快捷操作。当压力传感器813设置在触摸显示屏805的下层时，由处理器801根据用户对触摸显示屏805的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。

指纹传感器814用于采集用户的指纹，由处理器801根据指纹传感器814采集到的指纹识别用户的身份，或者，由指纹传感器814根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器801授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器814可以被设置终端800的正面、背面或侧面。当终端800上设置有物理按键或厂商Logo时，指纹传感器814可以与物理按键或厂商Logo集成在一起。

光学传感器815用于采集环境光强度。在一个实施例中，处理器801可以根据光学传感器815采集的环境光强度，控制触摸显示屏805的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏805的显示亮度；当环境光强度较低时，调低触摸显示屏805的显示亮度。在另一个实施例中，处理器801还可以根据光学传感器815采集的环境光强度，动态调整摄像头组件806的拍摄参数。

接近传感器816，也称距离传感器，通常设置在终端800的前面板。接近传感器816用于采集用户与终端800的正面之间的距离。在一个实施例中，当接近传感器816检测到用户与终端800的正面之间的距离逐渐变小时，由处理器801控制触摸显示屏805从亮屏状态切换为息屏状态；当接近传感器816检测到用户与终端800的正面之间的距离逐渐变大时，由处理器801控制触摸显示屏805从息屏状态切换为亮屏状态。

本领域技术人员可以理解，图8中示出的结构并不构成对终端800的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括至少一条指令、至少一段程序、代码集或指令集的存储器，上述至少一条指令、至少一段程序、代码集或指令集可由处理器执行以完成本发明实施例的全部或者部分步骤。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (14)

1.一种多媒体数据的处理方法，其特征在于，所述方法包括：

获取待处理的视频数据，所述视频数据中包括节奏变化的音频数据；

提取所述视频数据中所包括的音频数据的节奏变化信息，所述节奏变化信息包括至少一组相互对应的节奏变化时间点和节奏变化强度；

根据所述视频数据中所包括的音频数据的节奏变化信息，对所述视频数据的视频画面进行动画特效处理，得到处理后的视频数据。

2.根据权利要求1所述的方法，其特征在于，所述根据所述视频数据中所包括的音频数据的节奏变化信息，对所述视频数据的视频画面进行动画特效处理，包括：

当所述视频数据的任一帧视频画面的时间点与所述节奏变化信息中的当前节奏变化时间点匹配时，按照所述节奏变化信息中与所述当前节奏变化时间点对应的节奏变化强度对所述视频数据进行动画特效处理。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当所述视频数据的当前动画特效的持续时间未结束时，如果存在其他帧视频画面的时间点与所述节奏变化信息中的下一个节奏变化时间点匹配，则从所述当前动画特效画面过渡切换到下一个动画特效画面。

4.根据权利要求3所述的方法，其特征在于，所述从所述当前动画特效画面过渡到下一个动画特效画面，包括：

计算下一个动画特效的时间进度；

按照所述下一个动画特效的时间进度及下一个节奏变化时间点对应的节奏变化强度对所述当前动画特效画面进行特效处理，得到下一个动画特效画面；

由所述当前动画特效画面切换到所述下一个动画特效画面。

5.根据权利要求1至4中任一权利要求所述的方法，其特征在于，所述动画特效处理包括视频画面的任意空间变化或色彩变化的处理。

6.根据权利要求1至4中任一权利要求所述的方法，其特征在于，所述音频数据为所述视频数据自带的音频数据，或者所述音频数据为后添加到所述视频数据中的音频数据。

7.根据权利要求1至4中任一权利要求所述的方法，其特征在于，所述根据所述视频数据中所包括的音频数据的节奏变化信息，对所述视频数据的视频画面进行动画特效处理，包括：

在拍摄所述视频数据或对所述视频数据进行编辑的过程中，根据所述视频数据中所包括的音频数据的节奏变化信息，对所述视频数据的视频画面进行动画特效处理。

8.一种多媒体数据的处理装置，其特征在于，所述装置包括：

获取模块，用于获取待处理的视频数据，所述视频数据中包括节奏变化的音频数据；

提取模块，用于提取所述视频数据中所包括的音频数据的节奏变化信息，所述节奏变化信息包括至少一组相互对应的节奏变化时间点和节奏变化强度；

处理模块，用于根据所述视频数据中所包括的音频数据的节奏变化信息，对所述视频数据的视频画面进行动画特效处理，得到处理后的视频数据。

9.根据权利要求8所述的装置，其特征在于，所述处理模块，用于当所述视频数据的任一帧视频画面的时间点与所述节奏变化信息中的当前节奏变化时间点匹配时，按照所述节奏变化信息中与所述当前节奏变化时间点对应的节奏变化强度对所述视频数据进行动画特效处理。

10.根据权利要求8所述的装置，其特征在于，所述装置还包括：

切换模块，用于当所述视频数据的当前动画特效的持续时间未结束时，如果存在其他帧视频画面的时间点与所述节奏变化信息中的下一个节奏变化时间点匹配，则从所述当前动画特效画面过渡切换到下一个动画特效画面。

11.根据权利要求10所述的装置，其特征在于，所述切换模块，用于计算下一个动画特效的时间进度；按照所述下一个动画特效的时间进度及下一个节奏变化时间点对应的节奏变化强度对所述当前动画特效画面进行特效处理，得到下一个动画特效画面；由所述当前动画特效画面切换到所述下一个动画特效画面。

12.根据权利要求8至11中任一权利要求所述的装置，其特征在于，所述处理模块，用于在拍摄所述视频数据或对所述视频数据进行编辑的过程中，根据所述视频数据中所包括的音频数据的节奏变化信息，对所述视频数据的视频画面进行动画特效处理。

13.一种计算机设备，其特征在于，所述计算机设备包含处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至7任一所述的多媒体数据处理方法。

14.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至7任一所述的多媒体数据处理方法。