CN111540032A - 基于音频的模型控制方法、装置、介质及电子设备 - Google Patents

Abstract

本公开涉及计算机技术领域，具体涉及一种基于音频的模型控制方法、基于音频的模型控制装置、计算机可读介质及电子设备，该方法包括：对目标音频进行处理，得到所述目标音频对应的目标纹理图像；获取目标模型，以及获取针对所述目标模型的材质信息；根据所述目标纹理图像和所述材质信息对所述目标模型进行渲染，获得与所述目标音频匹配的目标模型动画。本公开实施例的技术方案可以根据目标音频对目标模型的进行渲染，得到的动画效果变化丰富，并且能够与目标音频相互匹配。

Description

基于音频的模型控制方法、装置、介质及电子设备

技术领域

本公开涉及计算机技术领域，具体而言，涉及一种基于音频的模型控制方法、基于音频的模型控制装置、计算机可读介质及电子设备。

背景技术

在计算机技术发展迅速的大背景下，通过建模软件制作三维模型成为很多产品制作必不可少的步骤。例如，在进行游戏制作时，需要通过建模软件建立很多三维模型，进而通过对三维模型进行组合形成游戏的虚拟场景。

在相关技术中，开发者通常会通过编写用于控制模型的脚本来实现模型的动画效果。然而，这种通过脚本控制模型的方法，通常只能对模型进行整体控制，例如控制整个模型进行缩小、放大，或者上下位移等。因此，在通过脚本进行模型的控制时，模型的变化始终是简单的几何变化，对应得到的动画效果也较为死板、单一；同时，由于脚本控制是通过人为设定的，效果比较单一固定。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种基于音频的模型控制方法、基于音频的模型控制装置、计算机可读介质及电子设备，进而至少在一定程度上提高目标模型动画的多样性，同时避免动画效果与音频不匹配的问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的第一方面，提供了一种基于音频的模型控制方法，包括：对目标音频进行处理，得到目标音频对应的目标纹理图像；获取目标模型，以及获取针对目标模型的材质信息；根据目标纹理图像和材质信息对目标模型进行渲染，获得与目标音频匹配的目标模型动画。

可选的，基于前述方案，获取针对目标模型的材质信息，包括：根据目标纹理图像获取针对目标模型的材质信息。

可选的，基于前述方案，对目标音频进行处理，得到目标音频对应的目标纹理图像，包括：对目标音频进行预处理，获得第一纹理图像；对第一纹理图像进行去色处理，获得第一灰度图像；以预设规则对第一灰度图像进行马赛克处理，获得目标音频对应的目标纹理图像。

可选的，基于前述方案，对目标音频进行预处理，获得第一纹理图像，包括：对目标音频的频率和振幅进行预处理，获得第一纹理图像。

可选的，基于前述方案，预设规则包括：每个图像色块的预设大小。

可选的，基于前述方案，以预设规则对第一灰度图像进行马赛克处理，获得目标音频对应的目标纹理图像，包括：以预设规则对第一灰度图像进行马赛克处理，获得第二灰度图像；复制第二灰度图像，并将两个第二灰度图像以预设偏移方式进行重叠，得到第三灰度图像；根据目标音频，获得代表目标音频强弱的强度纹理图像；根据第二灰度图像、第三灰度图像和强度纹理图像，得到目标音频对应的目标纹理图像。

可选的，基于前述方案，预设偏移方式的偏移量为第二灰度图的一个像素值。

可选的，基于前述方案，预设偏移方式的的偏移方向包括横向和/或纵向。

根据本公开的第二方面，提供了一种基于音频的模型控制装置，包括：音频处理模块，用于对目标音频进行处理，得到目标音频对应的目标纹理图像；信息获取模块，用于获取目标模型，以及获取针对目标模型的材质信息；模型渲染模块，用于根据目标纹理图像和材质信息对目标模型进行渲染，获得与目标音频匹配的目标模型动画。

根据本公开的第三方面，提供了一种计算机可读介质，其上存储有计算机程序，程序被处理器执行时实现如上述任一项的基于音频的模型控制方法。

根据本公开实施例的第四方面，提供了一种电子设备，包括：

处理器；以及

存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现如上述任一项的基于音频的模型控制方法。

本公开实施例提供的技术方案可以包括以下有益效果：

本公开的一种实施例所提供的基于音频的模型控制方法中，通过对目标音频进行处理得到目标音频对应的目标纹理图像，并获取目标模型以及针对目标模型的材质信息，进而根据目标纹理图像和材质信息对目标模型进行渲染，获得与目标音频匹配的目标模型动画。通过目标音频进行处理得到与目标音频对应的目标纹理图像，进而根据目标纹理图像和材质信息对目标模型进行渲染，可以得到与目标音频匹配的目标模型动画，从而实现与提取的音乐节奏一致的模型顶点运动效果，提升游戏用户体验。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示意性示出本公开示例性实施例中一种基于音频的模型控制方法的流程图；

图2示意性示出本公开示例性实施例中一种得到目标纹理图像的方法的流程图；

图3示意性示出采集到的目标音频的振幅图像；

图4示意性示出本公开示例性实施例中的一种目标纹理图像；

图5示意性示出本公开示例性实施例中一种得到目标纹理图像的方法的流程图；

图6示意性示出本公开示例性实施例中一种对第二灰度图像进行处理得到第三灰度图像的过程示意图；

图7示意性示出本公开示例性实施例中的一种第三灰度图像；

图8示意性示出本公开示例性实施例中的另一种目标纹理图像；

图9示意性示出本公开示例性实施例中一种进行材质信息设置的设置示意图；

图10示意性示出本公开示例性实施例中一种动画效果示意图；

图11示意性示出本公开示例性实施例中另一种动画效果示意图；

图12示意性示出本公开示例性实施例中另一种动画效果示意图；

图13示意性示出本公开示例性实施例中一种基于音频的模型控制装置的组成示意图；

图14示意性示出了适于用来实现本公开示例性实施例的电子设备的计算机系统的结构示意图。

具体实施方式

现在将参照附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

在本示例性实施例中，首先提供了一种基于音频的模型控制方法，可以应用于对虚拟场景中的模型控制过程。例如，在游戏、视频的制作过程中，可以根据音乐对游戏或视频对应的虚拟场景中的模型进行控制。参照图1所示，上述的基于音频的模型控制方法可以包括以下步骤：

S110，对目标音频进行处理，得到目标音频对应的目标纹理图像；

S120，获取目标模型，以及获取针对目标模型的材质信息；

S130，根据目标纹理图像和材质信息对目标模型进行渲染，获得与目标音频匹配的目标模型动画。

根据本示例性实施例中所提供的基于音频的模型控制方法通过目标音频进行处理得到与目标音频对应的目标纹理图像，进而根据目标纹理图像和材质信息对目标模型进行渲染，可以得到与目标音频匹配的目标模型动画。

下面，将结合附图及实施例对本示例性实施例中的基于音频节奏的模型控制方法的各个步骤进行更详细的说明。

步骤S110，对目标音频进行处理，得到目标音频对应的目标纹理图像。

在本公开的一种示例实施例中，对目标音频进行处理，得到目标音频对应的目标纹理图像，参照图2所示，包括如下步骤S210至S230，以下进行详细阐述：

步骤S210，对目标音频进行预处理，获得第一纹理图像。

在本公开的一种示例实施例中，对目标音频进行提取，获得第一纹理图像时，可以包括：对目标音频的频率和振幅进行预处理，获得第一纹理图像。

具体的，可以根据目标音频的振幅获得目标音频对应的振幅图像，并根据振幅图像中各振幅的大小调整振幅图像中用于显示该振幅的色块的亮度，并将调整亮度后的振幅作为第一纹理图中。例如，可以通过Adobe After Effects的Sound keys插件对目标音频进行振幅提取，得到如图3所示振幅图像，然后根据振幅强度调整表征该振幅的图像的亮度，得到第一纹理图像。通过这种方式处理后，目标音频的振幅越大，该振幅在第一纹理图像中对应的显示区域越亮。

步骤S220，对第一纹理图像进行去色处理，获得第一灰度图像。

步骤S230，以预设规则对第一灰度图像进行马赛克处理，获得目标音频对应的目标纹理图像。

在本公开的一种示例实施例中，可以对第一纹理图像进行去色处理，将第一纹理图像转变为灰度图像得到第一灰度图像；随后根据预设规则对第一灰度图像进行马赛克处理，获得目标音频对应的目标纹理图像。其中，预设规则可以包括每个图像色块的预设大小，通过马赛克处理将第一灰度图像中，不同亮度的显示区域调整为预设大小的图像色块，生成如图4所示的目标纹理图像。

在本公开的一种示例实施例中，以预设规则对第一灰度图像进行马赛克处理，获得目标音频对应的目标纹理图像，参照图5所示，还可以包括以下步骤S510至S540：

在步骤S510中，以预设规则对第一灰度图像进行马赛克处理，获得第二灰度图像。

在步骤S520中，复制第二灰度图像，并将两个第二灰度图像以预设偏移方式进行重叠，得到第三灰度图像。

在本公开的一种示例实施例中，在根据预设规则对第一灰度图像进行马赛克处理，得到第二灰度图像之后，为了使目标纹理图像的细节更加丰富，可以对第二灰度图像进行进一步处理，得到目标纹理图像。此时，可以复制一张第二灰度图像，通过第二灰度图像的堆叠来增加图像的细节丰富度。具体的，可以将复制后得到的两个灰度图像，通过对其中一个进行预设偏移之后，与另一个重叠在一起的方式，得到第三灰度图像。

其中，预设偏移方式的偏移量为所述第二灰度图的一个像素值时，可以将两个第二灰度图像中的一个相对于另一个偏移一个像素，然后将偏移后的第二灰度图像与原始第二灰度图像进行重叠，得到第三灰度图像。

其中，预设偏移方式的偏移方向可以包括横向和/或纵向。即在将两个第二灰度图像进行重叠时，对其中一个第二灰度图像相对于另一个第二灰度图像进行横向偏移、或者纵向偏移、或者横向和纵向同时偏移，本公开对此不做特殊限定。

需要说明的是，上述步骤S520中通过复制第二灰度图像，并将两个第二灰度图像以预设偏移方式进行重叠，得到第三灰度图像的方法还可以通过多层重叠，即重叠两个以上的第二灰度图像，并且重叠图像之间依次错开(以预设偏移方式偏移)，得到第三灰度图像。进一步的，在本公开的实施例中，重叠的图像的尺寸和两个重叠的图像之间的偏移量也可以不同。

例如，在第二灰度图像的尺寸为64像素*64像素，设置的偏移量为1个像素，预设偏移方式的偏移方向为横向和纵向时，此时可以通过复制63个第二灰度图像进行重叠，得到第三灰度图像。

具体的，将复制的第1个第二灰度图像在横向和纵向上同时向左、向上偏移一个像素，然后与原始第二灰度图像重叠，得到2层重叠图像；再将复制的第2个第二灰度图像在复制的第1个第二灰度图像的基础上，再次在横向和纵向上同时向左、向上偏移一个像素，即第2个第二灰度图像相对于原始第二灰度图像在横向和纵向上一共偏移2个像素，然后将第2个灰度图像与上述2层重叠图像重叠，得到3层重叠图像；根据上述偏移方式对剩余复制得到的第二灰度图像进行依次偏移和重叠，最终将63个复制得到的第二灰度图像在原始第二灰度图像上铺满，得到第三灰度图像。上述图像处理过程可以通过将63个复制得到的第二灰度图像的偏移量设置为递增一个像素的形式，如图6中所示的第19个至第36个复制得到的第二灰度图像的偏移量成阶梯状递增。

以图4所示的第二灰度图像为例，通过上述63层复制和偏移后后，可以得到如图7所示的第三灰度图像。

在步骤S530中，根据目标音频，获得代表目标音频强弱的强度纹理图像。

在本公开的一种示例实施例中，可以通过Adobe After Effects的Sound keys插件提取目标音频的强度，并将强度归一化处理得到预设范围内的强度值。可以将预设范围设置在1～100，根据振幅关键帧图像中各关键帧的强度将其对应于预设范围0～100之间的数值，该数值即为强度值。然后将该强度值赋予至一个预设纯色图像的透明度上得到强度纹理图像，其中，强度纹理图像的尺寸与第二灰度图像相同，该强度纹理图像中各个像素的透明度能够代表对应目标音频的强度。

需要说明的是，为了使预设纯色图像可以与第二灰度图像中的不同灰度区域相互对应，可以根据第二灰度图像中不同的灰度区域对预设纯色图像进行区域划分，使得预设纯色图像中各个区域与不同的灰度区域相互对应。

此外，在预设纯色图像的尺寸与第二灰度图像尺寸不同时，可以先对预设纯色图像进行放大或者缩小，使其与第二灰度图像的大小一致后，再进行区域划分，保证预设纯色图像中不同透明度的每个区域能够与第二灰度图像中的不同灰度区域相互对应。

在步骤S540中，根据第二灰度图像、第三灰度图像和强度纹理图像，得到目标音频对应的目标纹理图像。

在本公开的一种示例实施例中，在得到第二灰度图像、第三灰度图像和强度纹理图像后，可以分别将第二灰度图像、第三灰度图像和强度纹理图像作为目标纹理图像的R、G、B通道进行图像融合处理，生成最终的音频纹理。举例而言，通过对如图4所示的第二灰度图像、如图6所示的第三灰度图像以及如图3所示的目标音频对应的强度纹理图像，可以得到如图8所示的目标纹理图像。通过第二灰度图像、第三灰度图像和强度纹理图像的融合得到目标纹理图像的方式，可以在一定程度上提高目标纹理图像的多变程度，进而使得目标模型动画的动态效果更加丰富。

需要说明的是，还可以采用其他方式对第二灰度图像进行处理得到不同的图像，进而进行图像融合获取目标纹理图像，本公开对此不做特殊限制。

步骤S120，获取目标模型，以及获取针对目标模型的材质信息。

在本公开的一种示例实施例中，目标模型包括需要根据目标音频进行控制的模型。在基于目标音频进行模型控制之前，需要获取针对目标模型的材质信息，该材质信息包括用于展示目标模型的材质的所有相关信息，例如材质效果，光影效果等。

其中，在获取针对目标模型的材质信息时，还可以包括：根据目标纹理图像获取针对目标模型的材质信息。在对目标模型进行控制时，可以对目标纹理图像进行采样，并根据采样得到的数据对材质信息中的材质效果，光影效果等进行相应的调整。例如，在光源位置不变的情况下，在目标纹理图像控制目标模型进行上下移动时，目标模型对应的光影效果也需要根据目标模型的移动进行调整，因此可以根据目标纹理图像对材质信息中的材质效果，光影效果进行相应的调整，以使目标模型动画更加真实。

步骤S130，根据目标纹理图像和材质信息对目标模型进行渲染，获得与目标音频匹配的目标模型动画。

在本公开的一种示例实施例中，在根据目标音频得到目标纹理图像和材质信息后，可以通过材质计算读取目标纹理图像，对目标模型进行渲染，控制目标模型的顶点进行偏移，进而使得目标模型动画与目标音频更加匹配。

在本公开的一种示例实施例中，根据目标纹理图像和材质信息对目标模型进行渲染，获得与目标音频匹配的目标模型动画时，必须保证材质信息能够与目标模型相互匹配，保证该材质信息能够对目标模型进行渲染。

具体的，需要将材质信息划分为与目标模型对应的方格信息。例如，在目标模型的面数为32*32时，可以对材质信息的UV进行计算，把一个平面的UV区分为32*32的多个方格信息，与目标模型的UV信息相互对应起来，具体的设置方式，可以参照如图9所示的设置示意图。

需要说明的是，为了使材质信息能够应用于目标模型，还可以根据材质信息的具体格式创建对应的目标模型。举例而言，在材质信息设置了32*32的方格信息时，对应的也应当创建32*32的目标模型片，进而使得材质信息中的方格信息能够与目标模型的UV信息对应。

随后，在材质信息的方格信息与目标模型的UV信息对应起来后，将目标纹理图像和材质信息作为不同的通道对目标模型的UV信息控制，使得目标模型的UV信息发生变化，进而产生目标模型的动画效果，如图10、11、12所示。

需要注意的是，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

此外，在本公开的示例性实施方式中，还提供了一种基于音频的模型控制装置。参照图13所示，基于音频的模型控制装置1300包括：音频处理模块1310，信息获取模块1320和模型渲染模块1330。

其中，音频处理模块1310可以用于对目标音频进行处理，得到目标音频对应的目标纹理图像；信息获取模块1320可以用于获取目标模型，以及获取针对目标模型的材质信息；模型渲染模块1330可以用于根据目标纹理图像和材质信息对目标模型进行渲染，获得与目标音频匹配的目标模型动画。

在本公开的一种示例性实施例中，基于前述方案，信息获取模块1320可以用于根据目标纹理图像获取针对目标模型的材质信息。在本公开的一种示例性实施例中，基于前述方案，音频处理模块1310可以用于对目标音频进行预处理，获得第一纹理图像；对第一纹理图像进行去色处理，获得第一灰度图像；以预设规则对第一灰度图像进行马赛克处理，获得目标音频对应的目标纹理图像。

在本公开的一种示例性实施例中，基于前述方案，音频处理模块1310可以用于对目标音频的频率和振幅进行预处理，获得第一纹理图像。

在本公开的一种示例性实施例中，基于前述方案，上述预设规则包括：每个图像色块的预设大小。

在本公开的一种示例性实施例中，基于前述方案，音频处理模块1310可以用于以预设规则对第一灰度图像进行马赛克处理，获得第二灰度图像；复制第二灰度图像，并将两个第二灰度图像以预设偏移的方式进行重叠，得到第三灰度图像；根据目标音频，获得代表目标音频强弱的强度纹理图像；根据第二灰度图像、第三灰度图像和强度纹理图像，得到目标音频对应的目标纹理图像。

在本公开的一种示例性实施例中，基于前述方案，上述预设预设偏移方式的偏移量为所述第二灰度图的一个像素值。

在本公开的一种示例性实施例中，基于前述方案，上述预设偏移方式的偏移方向包括横向和/或纵向。

由于本公开的示例实施例的基于音频的模型控制装置的各个功能模块与上述基于音频的模型控制方法的示例实施例的步骤对应，因此对于本公开装置实施例中未披露的细节，请参照本公开上述的基于音频的模型控制方法的实施例。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

此外，在本公开的示例性实施例中，还提供了一种能够实现上述基于音频的模型控制方法的电子设备。

所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施例、完全的软件实施例(包括固件、微代码等)，或硬件和软件方面结合的实施例，这里可以统称为“电路”、“模块”或“系统”。

下面参照图14来描述根据本公开的这种实施例的电子设备1400。图14显示的电子设备1400仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图14所示，电子设备1400以通用计算设备的形式表现。电子设备1400的组件可以包括但不限于：上述至少一个处理单元1410、上述至少一个存储单元1420、连接不同系统组件(包括存储单元1420和处理单元1410)的总线1430、显示单元1440。

其中，存储单元存储有程序代码，程序代码可以被处理单元1410执行，使得处理单元1410执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施例的步骤。例如，处理单元1410可以执行如图1中所示的步骤S110：对目标音频进行处理，得到目标音频对应的目标纹理图像；S120：获取目标模型，以及获取针对目标模型的材质信息；S130：根据目标纹理图像和材质信息对目标模型进行渲染，获得与目标音频匹配的目标模型动画。

又如，的电子设备可以实现如图2和图5所示的各个步骤。

存储单元1420可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)1421和/或高速缓存存储单元1422，还可以进一步包括只读存储单元(ROM)1423。

存储单元1420还可以包括具有一组(至少一个)程序模块1425的程序/实用工具1424，这样的程序模块1425包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线1430可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备1400也可以与一个或多个外部设备1470(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备1400交互的设备通信，和/或与使得该电子设备1400能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口1450进行。并且，电子设备1400还可以通过网络适配器1460与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器1460通过总线1430与电子设备1400的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备1400使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

通过以上的实施例的描述，本领域的技术人员易于理解，这里描述的示例实施例可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施例的方法。

在本公开的示例性实施例中，还提供了一种计算机可读介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施例中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施例的步骤。

此外，本公开的示例性实施例中还提供了一种用于实现上述方法的程序产品，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本公开的程序产品不限于此，在本文件中，可读介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

此外，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (11)

1.一种基于音频的模型控制方法，其特征在于，包括：

对目标音频进行处理，得到所述目标音频对应的目标纹理图像；

获取目标模型，以及获取针对所述目标模型的材质信息；

根据所述目标纹理图像和所述材质信息对所述目标模型进行渲染，获得与所述目标音频匹配的目标模型动画。

2.根据权利要求1所述的基于音频的模型控制方法，其特征在于，所述获取针对所述目标模型的材质信息，包括：

根据所述目标纹理图像获取针对所述目标模型的材质信息。

3.根据权利要求1所述的基于音频的模型控制方法，其特征在于，所述对目标音频进行处理，得到所述目标音频对应的目标纹理图像，包括：

对所述目标音频进行预处理，获得第一纹理图像；

对所述第一纹理图像进行去色处理，获得第一灰度图像；

以预设规则对所述第一灰度图像进行马赛克处理，获得所述目标音频对应的目标纹理图像。

4.根据权利要求3所述的基于音频的模型控制方法，其特征在于，所述对所述目标音频进行预处理，获得第一纹理图像，包括：

对所述目标音频的频率和振幅进行预处理，获得第一纹理图像。

5.根据权利要求3所述的基于音频的模型控制方法，其特征在于，所述预设规则包括：每个图像色块的预设大小。

6.根据权利要求3所述的基于音频的模型控制方法，其特征在于，所述以预设规则对所述第一灰度图像进行马赛克处理，获得所述目标音频对应的目标纹理图像，包括：

以预设规则对所述第一灰度图像进行马赛克处理，获得第二灰度图像；

复制所述第二灰度图像，并将两个所述第二灰度图像以预设偏移方式进行重叠，得到第三灰度图像；

根据所述目标音频，获得代表所述目标音频强弱的强度纹理图像；

根据所述第二灰度图像、所述第三灰度图像和所述强度纹理图像，得到所述目标音频对应的目标纹理图像。

7.根据权利要求6所述的基于音频的模型控制方法，其特征在于，所述预设偏移方式的偏移量为所述第二灰度图的一个像素值。

8.根据权利要求6所述的基于音频的模型控制方法，其特征在于，所述预设偏移方式的偏移方向包括横向和/或纵向。

9.一种基于音频的模型控制装置，其特征在于，包括：

音频处理模块，用于对目标音频进行处理，得到所述目标音频对应的目标纹理图像；

信息获取模块，用于获取目标模型，以及获取针对所述目标模型的材质信息；

模型渲染模块，用于根据所述目标纹理图像和所述材质信息对所述目标模型进行渲染，获得与所述目标音频匹配的目标模型动画。

10.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至8中任一项所述的基于音频的模型控制方法。

11.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至8中任一项所述的基于音频的模型控制方法。

Images