CN112034984A - 一种虚拟模型处理方法、装置、电子设备和存储介质 - Google Patents

一种虚拟模型处理方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN112034984A
CN112034984A CN202010899471.6A CN202010899471A CN112034984A CN 112034984 A CN112034984 A CN 112034984A CN 202010899471 A CN202010899471 A CN 202010899471A CN 112034984 A CN112034984 A CN 112034984A
Authority
CN
China
Prior art keywords
virtual model
preset area
preset
audio information
parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010899471.6A
Other languages
English (en)
Inventor
郭燚
黎小凤
潘嘉荔
吴金远
陈旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
Original Assignee
Beijing ByteDance Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd filed Critical Beijing ByteDance Network Technology Co Ltd
Priority to CN202010899471.6A priority Critical patent/CN112034984A/zh
Publication of CN112034984A publication Critical patent/CN112034984A/zh
Priority to US18/023,646 priority patent/US20230306700A1/en
Priority to PCT/CN2021/111735 priority patent/WO2022042290A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/205—3D [Three Dimensional] animation driven by audio data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2021—Shape modification

Abstract

本公开实施例公开了一种虚拟模型处理方法、装置、电子设备和存储介质，该方法包括：获取音频信息；根据所述音频信息的属性信息，调整虚拟模型的参数；根据调整后的所述虚拟模型的参数，在目标图像中显示所述虚拟模型。本公开通过音频信息的属性信息，调整虚拟模型的参数。由于音频信息的属性信息是可以随着时间变化的。使得虚拟模型的参数也可以随着时间变化。也就是说，目标图像中显示的虚拟模型可以随着音频信息的变化而变化，并且音频信息的变化也可以通过虚拟模型从视觉上体现出来，从而实现了一种视听联动的表现效果，增加了虚拟模型的表现形式的灵活性。

Description

一种虚拟模型处理方法、装置、电子设备和存储介质
技术领域
本公开涉及信息技术领域，尤其涉及一种虚拟模型处理方法、装置、电子设备和存储介质。
背景技术
随着智能终端的发展，越来越多的应用程序(Application，APP)可以安装在智能终端中，并为用户提供相应的服务。
例如，附带增强现实功能的应用程序可以在预设图像或终端设备采集的图像中增加虚拟模型，以增强图像的趣味性。
但是，现有的虚拟模型是预先设置或预先存储在数据库中的，从而导致虚拟模型的表现形式不够灵活。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本公开实施例提供了一种虚拟模型处理方法、装置、电子设备和存储介质，实现一种视听联动的表现效果，增加虚拟模型的表现形式的灵活性。
本公开实施例提供了一种虚拟模型处理方法，包括：
获取音频信息；
根据所述音频信息的属性信息，调整虚拟模型的参数；
根据调整后的所述虚拟模型的参数，在目标图像中显示所述虚拟模型。
本公开实施例还提供了一种虚拟模型处理装置，包括：
获取模块，用于获取音频信息；
调整模块，用于根据所述音频信息的属性信息，调整虚拟模型的参数；
显示模块，根据调整后的所述虚拟模型的参数，在目标图像中显示所述虚拟模型。
本公开实施例还提供了一种电子设备，所述电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上所述的虚拟模型处理方法。
本公开实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的虚拟模型处理方法。
本公开实施例提供的技术方案与现有技术相比具有如下优点：本公开实施例提供的虚拟模型处理方法，通过音频信息的属性信息，调整虚拟模型的参数。由于音频信息的属性信息是可以随着时间变化的。因此，根据音频信息的属性信息，调整虚拟模型的参数之后，可以使得虚拟模型的参数也可以随着时间变化。进一步，根据随着时间变化的虚拟模型的参数，可以使得目标图像中显示的虚拟模型不断变化。也就是说，目标图像中显示的虚拟模型可以随着音频信息的变化而变化，并且音频信息的变化也可以通过虚拟模型从视觉上体现出来，从而实现了一种视听联动的表现效果，增加了虚拟模型的表现形式的灵活性。
附图说明
结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。
图1为本公开实施例中的一种虚拟模型处理方法的流程图；
图2为本公开实施例中的一种应用场景的示意图；
图3为本公开实施例中的一种虚拟模型的示意图；
图4为本公开实施例中的另一种虚拟模型的示意图；
图5为本公开实施例中的另一种虚拟模型的示意图；
图6为本公开实施例中的另一种虚拟模型的示意图；
图7为本公开实施例中的另一种虚拟模型处理方法的流程图；
图8为本公开实施例中的另一种虚拟模型的示意图；
图9为本公开实施例中的一种亮度平滑效果的示意图；
图10为本公开实施例中的另一种亮度平滑效果的示意图；
图11为本公开实施例中的另一种亮度平滑效果的示意图；
图12为本公开实施例中的另一种亮度平滑效果的示意图；
图13为本公开实施例中的另一种虚拟模型处理方法的流程图；
图14为本公开实施例中的另一种用户界面的示意图；
图15为本公开实施例中的一种虚拟模型处理装置的结构示意图；
图16为本公开实施例中的一种电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
图1为本公开实施例中的一种虚拟模型处理方法的流程图，本实施例可适用于客户端中进行虚拟模型处理的情况，该方法可以由虚拟模型装置执行，该装置可以采用软件和/或硬件的方式实现，该装置可配置于电子设备中，例如终端，具体包括手机、电脑或平板电脑等。或者，本实施例可适用于服务端中进行虚拟模型处理的情况，该方法可以由虚拟模型处理装置执行，该装置可以采用软件和/或硬件的方式实现，该装置可配置于电子设备中，例如服务器。如图1所示，该方法具体可以包括：
S101、获取音频信息。
如图2所示，终端21可用于获取音频信息。该音频信息具体可以包括来自终端本身、来自用户或者来自周围环境的声音。
可选的，获取音频信息，包括：获取终端播放的音频信息；和/或者获取周围环境中的音频信息。
例如，终端21可以播放音频信息，并获取其播放的音频信息。或者，终端21可以不播放音频信息，而是获取周围环境中的音频信息。例如，终端21中可以设置有声音传感器或音频传感器，该声音传感器或音频传感器可以采集终端21播放的音频信息或终端21周围环境中的音频信息。终端21周围环境中的音频信息具体可以是终端21周围环境中其他设备播放的音频信息，或者可以是终端21周围环境中用户发出的音频信息。
在另外一些应用场景中，终端21可以预先存储有音频信息。或者，终端21可以从其他设备，例如其他终端或服务器中获取该音频信息。
另外，终端21还可以设置有显示组件，该显示组件具体可以是屏幕。终端21可以在该屏幕中显示目标图像。该目标图像具体可以例如包括人脸图像或者其他目标物体图像，本公开不对目标图像的具体内容和形式进行限制。
在一种可行的实现方式中，终端21可安装有摄像头。当用户打开终端21的相机按钮时，该摄像头可用于采集目标图像，例如人脸图像。或者，该终端21可安装有图像类或视频类的应用程序，当该应用程序调用该摄像头时，该摄像头采集目标图像，例如人脸图像。进一步，终端21将目标图像显示在屏幕中。
在另一种可行的实现方式中，终端21本地存储有预设图像。或者，终端21可以从其他终端或服务器中获取预设图像。该预设图像具体可以是包括目标物体(例如，人脸或其他目标物体)的图像。进一步，终端21采用预设的图像处理方法对该预设图像进行图像处理，从而提取出该预设图像中的目标物体图像，该目标物体图像可作为目标图像。进一步，终端21将目标图像显示在屏幕中。
可以理解的是，如上所述的终端21获取目标图像并在屏幕中显示该目标图像的方法只是几种示意性举例说明，并不做具体限定，在其他实施例中还可以有其他的方法。
可选的，终端21还可以在该目标图像中显示虚拟模型。在本实施例中以人脸图像作为示例进行示例性的说明。本领域技术人员应当理解的是，在其他实施例中，目标图像不限于人脸图像，例如，还可以是其他物体图像。目标物体也不限于是人脸，例如可以是其他物体等等。本公开不对此进行限制。虚拟模型具体可以是采用图形学技术在计算机中渲染出的一个虚拟的三维空间中的三维(3-dimension，3D)物体。例如，在用户采用终端拍摄视频或图像时，终端可以对视频或图像中的图像信息进行分析，获取拍摄场景的三维信息，并采用计算机图形学技术、在视频或图像中增加虚拟模型并进行渲染合成。虚拟模型的材质具体可以包括：颜色、质感、透明度、光影效果等。虚拟模型的材质具体可以是通过一系列图形学算法及规则来定义或刻画的。其中，虚拟模型的材质具体用于定义虚拟模型以何种颜色、质感、透明度、光影效果等进行视觉呈现。
在一种可行的实现方式中，终端21可以获取用户在该屏幕上输入的滑动轨迹，生成与该滑动轨迹对应的虚拟模型，并将该虚拟模型显示在目标图像(例如，人脸图像或其他目标物体图像)中的第一位置。
在另一种可行的实现方式中，终端21可以对目标物体图像进行检测，例如，检测该目标物体图像的特征信息，根据该特征信息生成虚拟模型，并将该虚拟模型显示在目标物体图像中的第一位置。该第一位置可以是用户选择的，或者可以是终端21预先定义的，或者是图像中的随机位置处。
在本公开实施例中，目标物体图像中显示的虚拟模型可以是一个，也可以是多个。另外，该虚拟模型可以是三维模型，或者也可以是二维模型。
具体的，终端21可以在该目标物体图像中显示虚拟模型之前，或者，终端21可以在该目标物体图像中显示虚拟模型之后，获取音频信息。
S102、根据所述音频信息的属性信息，调整虚拟模型的参数。
例如，终端21在获取到音频信息之后，可以采用数字信号处理技术或深度学习等技术，分析并提取出该音频信息的属性信息。进一步，根据该音频信息的属性信息，来调整虚拟模型的参数。
可选的，所述音频信息的属性信息包括如下至少一种：音调、音量、重音、频谱强度。
可选的，所述虚拟模型的参数包括如下至少一种：所述虚拟模型的第一颜色；所述虚拟模型中预设区域的位置、宽度、移动速度、第二颜色。
本实施例具体以目标图像为人脸图像为例进行示意性说明。在其他实施例中，该目标图像并不限于人脸图像，例如，还可以是其他目标物体图像等。也就是说，目标图像中的目标物体并不限于人脸，还可以是其他物体。
如图3所示，终端21的屏幕上显示有人脸图像。进一步，用户可以在屏幕上输入滑动轨迹。终端21可以获取与该滑动轨迹相关的目标点。该目标点可以是该滑动轨迹上的多个轨迹点或多个采样点。或者，该目标点可以是终端21对该滑动轨迹上的多个轨迹点进行拟合后得到的拟合曲线上的多个采样点。进一步，终端21可以获取多个目标点中每个目标点对应的预设子模型。不同目标点对应的预设子模型可以相同，也可以不同。另外，本实施例也不限定每个目标点对应的预设子模型的具体形状。例如，在本实施例中，该预设子模型可以是圆柱体。终端21根据每个目标点的几何信息将该目标点对应的预设子模型转换为目标子模型，目标子模型具体可以是在预设子模型的基础上产生一定的弯曲度和/或缩放。进一步，终端21将每个目标点对应的目标子模型连接后构成虚拟模型，该虚拟模型可以是如图3所示的类似于牛角的虚拟模型。
具体的，终端21可以将类似于牛角的虚拟模型显示在人脸图像中的第一位置，该第一位置可以是预设位置，或者也可以是随机位置。本实施例并不限定虚拟模型的具体形态，例如在其他实施例中还可以有其他的形态。如图3所示，22表示第一位置(μ,ν)。(μ,ν)可以表示该第一位置在人脸坐标系中的坐标。23表示吸附在第一位置(μ,ν)上的虚拟模型。具体的，终端21可以将虚拟模型23的底面中心与人脸中的第一位置22重合，该第一位置22上的点具体可以是人脸图像中人脸的某个关键点。另外，该关键点在三维空间中的朝向与虚拟模型23所在的模型坐标系的Y轴一致。其中，模型坐标系的Y轴方向可以是经过虚拟模型23的底面中心点并且垂直于该底面的方向。
在一些实施例中，终端21在将虚拟模型23吸附在人脸第一位置22之后，还可以进一步确定出人脸上与第一位置22相对称的第二位置24。该第二位置具体可以表示为(1-μ,ν)。(μ,ν)和(1-μ,ν)均是人脸坐标系中的坐标。进一步，可以将虚拟模型23记为第一虚拟模型。终端21可以在第二位置(1-μ,ν)上显示一个与虚拟模型23互为镜像的第二虚拟模型，该第二虚拟模型具体可以是如图3所示的虚拟模型25。
在本公开实施例中，虚拟模型23和/或虚拟模型25可包括一个或多个预设区域，该预设区域具体可以是发光区域，该发光区域可称为光带。如图4所示，41-45分别表示虚拟模型23上的预设区域。51-55分别表示虚拟模型25上的预设区域。其中，不同的预设区域可以显示不同的颜色。或者，不同的预设区域可以显示相同的颜色。另外，当虚拟模型23和虚拟模型25是互为镜像的虚拟模型时，虚拟模型23和虚拟模型25中相互对称的预设区域的颜色可以相同或不同。例如，预设区域41和预设区域51是相互对称的预设区域，预设区域41和预设区域51的颜色可以相同或不同。本实施例以相互对称的预设区域，其颜色相同为例进行示意性说明。
在本公开实施例中，虚拟模型的参数具体可以包括虚拟模型本身的参数，另外也可以包括虚拟模型中预设区域的参数。例如，虚拟模型本身的参数可以包括虚拟模型的形状、大小、虚拟模型本身的颜色等，其中，虚拟模型本身的颜色记为第一颜色。具体的，虚拟模型本身的颜色可以是在该虚拟模型上渲染预设区域之前、虚拟模型的颜色。另外，虚拟模型本身的颜色可称为底色。为了和底色相区别，虚拟模型上各个预设区域自身的颜色可记为第二颜色。第二颜色可以叠加在该底色上。也就是说，预设区域在屏幕上呈现的颜色可以是预设区域的第二颜色叠加在底色上之后所呈现的颜色。
具体的，虚拟模型中预设区域的参数可以包括：预设区域的位置、宽度、移动速度、第二颜色等。其中，预设区域的位置具体可以指该预设区域在该虚拟模型上的位置。该预设区域在该虚拟模型上的位置可记为该预设区域所对应的顶点颜色。在一个实施例中，顶点颜色可以记为预设区域的上、下底面上的特定位置处的点的数值。
由于本实施例并不限定虚拟模型的具体形态，为了对预设区域的参数进行示意性说明，并且便于理解预设区域的参数，下面以一个相比于图3或图4所示的虚拟模型更为简单的一种虚拟模型，例如，圆锥体为例进行示意性说明。例如图5所示的圆锥体为另一种形态的虚拟模型。该虚拟模型的底面中心点为A1，该虚拟模型的顶点为A2。A1的位置可标记为数值0，A2的位置可标记为1。图5所示的阴影部分可以是虚拟模型即圆锥体上的任意一个预设区域。该预设区域的上底面的中心点为A3，该预设区域的下底面的中心点为A4。A3和A4分别是A1和A2之间连线上的点。另外，该连线上的点不仅限于A3和A4，还包括其他点，并且在从A1到A2的方向上，该连线上的点对应的数值不断增加。其中，该连线上的每个点对应的数值与该点相对于A1的距离相关。例如，该连线上的点距离A1越远，该点对应的数值越大。另外，该连线上的每个点对应的数值在[0,1]的范围内。例如，A4对应的数值为0.2，A3对应的数值为0.4，则如图5所示的预设区域对应的顶点颜色记为L2，L2＝[0.2,0.4]。虚拟模型的顶点颜色记为L1，L1为[0,1]。
作为一种可替换的实施方式，如图5所示的虚拟模型的顶点颜色还可以由如图6所示的A1’和A2’来确定，预设区域对应的顶点颜色可以由如图6所示的A3’和A4’来确定。具体的，A1’对应的数值为0，A2’对应的数值为1。A3’对应的数值与A3’相对于A1’的距离相关，A4’对应的数值与A4’相对于A1’的距离相关。例如，A4’对应的数值为0.2，A3’对应的数值为0.4。预设区域对应的顶点颜色记为L2’，L2’＝[0.2,0.4]。虚拟模型的顶点颜色记为L1’，L1’为[0,1]。
另外，在图5或图6的基础上，预设区域的宽度可以是预设区域中表征顶点颜色的点之间的距离，例如，如图5所示的A3和A4之间的距离，或者，预设区域的宽度可以是如图6所示的A3’和A4’之间的距离。
此外，在图5或图6的基础上，预设区域可以在虚拟模型上移动，也可以在虚拟模型上保持静止。当预设区域在虚拟模型上移动时，预设区域的移动速度不为0，在不同的时刻，预设区域在该虚拟模型上所处的位置可以不同。当预设区域在虚拟模型上保持静止时，预设区域的移动速度为0，在不同的时刻，预设区域在该虚拟模型上所处的位置可以相同。
因此，如图4所示的各个预设区域所对应的顶点颜色的计算方法类似于图5或图6所示的预设区域所对应的顶点颜色的计算方法。此处不再一一赘述。如图4所示的各个预设区域的宽度可以采用类似于图5所示的计算方法，也可以采用图6所示的计算方法。另外，如图4所示的各个预设区域的移动速度可以相同，也可以不同。如图4所示的各个预设区域的第二颜色可以相同，也可以不同。
在本公开实施例中，终端21可以根据音频信息的音调、音量、重音、频谱强度等属性信息，来调整如图4所示的虚拟模型23和/或虚拟模型25的参数。
下面以终端21根据音频信息的音调、音量、重音、频谱强度等属性信息，来调整如图4所示的虚拟模型23的参数为例进行示意性说明。例如，虚拟模型23的参数包括：虚拟模型23的第一颜色即底色、虚拟模型23上各个预设区域的位置、宽度、移动速度、第二颜色等。可以理解的是，音频信息的属性信息是可以随着时间变化的，例如，音频信息的属性信息可以实时变化。因此，通过音频信息的属性信息调整虚拟模型23的参数，可以使得虚拟模型23的参数随着音频信息的属性信息的变化而变化，从而使得虚拟模型23可以实时变化。
由于音频信息的属性信息有多个，虚拟模型23的参数也有多个，因此，在根据音频信息的属性信息调整虚拟模型23的参数时，并不限定音频信息的属性信息与虚拟模型23的参数之间的对应关系。例如，音频信息的一个属性信息可用于调整虚拟模型23的一个参数。或者，音频信息的多个属性信息可用于调整虚拟模型23的一个参数。
S103、根据调整后的所述虚拟模型的参数，在目标图像中显示所述虚拟模型。
在一种可能的实现方式中，如果人脸图像中已经显示有虚拟模型23，则当终端21根据音频信息的属性信息调整虚拟模型23的参数之后，终端21可以根据调整后的虚拟模型23的参数，在人脸图像中对已经显示有的虚拟模型23进行更新，即显示调整后的虚拟模型。
在另一种可能的实现方式中，如果人脸图像中没有显示虚拟模型23，则当终端21根据音频信息的属性信息调整虚拟模型23的参数之后，终端21可以根据调整后的虚拟模型23的参数，生成虚拟模型23，并在人脸图像中显示该虚拟模型23。
可以理解的是，如果虚拟模型23的参数随着音频信息的属性信息实时变化，那么人脸图像上的虚拟模型23也可以是实时变化的。例如，虚拟模型23的底色可以实时变化，虚拟模型23中的每个预设区域的位置、宽度、移动速度、第二颜色等也可以实时变化。另外，在本公开实施例中，并不限定一个虚拟模型上可显示的预设区域的个数。例如，预设区域的个数可以由用户来确定。或者，虚拟模型上的预设区域的个数可以根据虚拟模型的大小或形状来确定。或者，虚拟模型上的预设区域的个数可以是预先设置的。
本公开实施例提供的虚拟模型处理方法，通过音频信息的属性信息，调整虚拟模型的参数。由于音频信息的属性信息是可以随着时间变化的。因此，根据音频信息的属性信息，调整虚拟模型的参数之后，可以使得虚拟模型的参数也可以随着时间变化。进一步，根据随着时间变化的虚拟模型的参数，可以使得目标图像中显示的虚拟模型不断变化。也就是说，目标图像中显示的虚拟模型可以随着音频信息的变化而变化，并且音频信息的变化也可以通过虚拟模型从视觉上体现出来，从而实现了一种视听联动的表现效果，增加了虚拟模型的表现形式的灵活性。
在上述实施例的基础上，根据所述音频信息的属性信息，调整虚拟模型的参数可包括如下几种可行的实现方式：
在一种可行的实现方式中：根据所述音频信息的属性信息，调整虚拟模型的参数，包括：根据所述音频信息的音调，调整所述虚拟模型中的预设区域在所述虚拟模型上的移动速度。
例如，音频信息的音调可记为tone，预设区域在虚拟模型上的移动速度记为speed。具体的，终端21可以根据音频信息的音调tone，调整预设区域在虚拟模型上的移动速度speed。tone和speed之间的关系可以表示为如下公式(1)：
Figure BDA0002659462780000121
其中，2.0表示speed的最小值，10.0表示speed的最大值。255.0表示tone的最大估计值，使得
Figure BDA0002659462780000122
的值在0-1之间。0.0和1.0用于进一步控制
Figure BDA0002659462780000123
的值在0-1之间。clamp表示一个函数，该函数有3个输入参数，依次为x、0.0和1.0。clamp(x,0.0,1.0)的含义是：当x小于0时输出0；当x大于1时输出1；当0≤x≤1时输出x本身。其中，在不同的场景中，x可以对应不同的表达式，在本实施例中，x对应于
Figure BDA0002659462780000124
可以理解的是，如上公式(1)中所述的一些实数，例如，2.0、10.0、255.0、0.0、1.0等可以是在本实施例中的一个示意性说明。这些实数在不同的应用场景中可以进行示意性的调整，本实施例并不作具体的限定。
在另一种可行的实现方式中：根据所述音频信息的属性信息，调整虚拟模型的参数，包括：根据所述音频信息的音调、音量和重音，调整所述虚拟模型的第一颜色。
例如，音频信息的音调可记为tone，音频信息的音量记为volume，音频信息的重音记为onset。具体的，终端21可以根据音频信息的音调tone、音频信息的音量volume、音频信息的重音onset，调整虚拟模型的第一颜色即底色，该底色可记为albedoColor。tone、volume、onset、albedoColor之间的关系可以表示为如下公式(2)：
Figure BDA0002659462780000131
其中，float4表示将
Figure BDA0002659462780000132
1.0组成一个4维向量RGBA(红绿蓝+透明度)。
Figure BDA0002659462780000133
中的255.0表示tone的最大估计值，
Figure BDA0002659462780000134
中的255.0表示volume的最大估计值，
Figure BDA0002659462780000135
中的255.0表示onset的最大估计值，1.0表示透明度。
Figure BDA0002659462780000136
的取值分别在0-1之间。
可以理解的是，如上公式(2)中所述的一些实数，例如，255.0、1.0等可以是在本实施例中的一个示意性说明。这些实数在不同的应用场景中可以进行示意性的调整，本实施例并不作具体的限定。
在又一种可行的实现方式中：根据所述音频信息的属性信息，调整虚拟模型的参数，包括：根据所述音频信息的频谱强度，调整所述虚拟模型中预设区域的第二颜色。
例如，某一个预设区域的第二颜色可记为BandColor。BandColor可根据一个初始颜色和音频信息的频谱强度来确定。例如，初始颜色记为ArtistColor，音频信息的频谱强度记为SpectrumIntensity。音频信息的频谱强度具体可以是对音频信息的频谱进行分析后得到的。音频信息的频谱强度可以是一个数组，例如，SpectrumIntensity[i]表示第i个频谱的强度。由于一个虚拟模型上可包括多个预设区域，因此，可以对多个预设区域的第二颜色进行区分，例如，第i个预设区域的第二颜色记为BandColor[i]，BandColor[i]可以通过如下公式(3)确定：
BandColor[i]＝ArtistColor[i]*SpectrumIntensity[i](3)
其中，ArtistColor[i]表示第i个预设区域的初始颜色。在本实施例中，SpectrumIntensity[i]还可以表示第i个预设区域所对应的频谱强度。例如，第i个预设区域所对应的频谱强度可以随着时间变化，从而使得第i个预设区域的第二颜色可以不断变化。另外，第i个预设区域的初始颜色可以是预设的。根据音频信息的频谱强度，调整第i个预设区域的第二颜色时，具体可以调整第二颜色的亮度，使得第二颜色的亮度可以随着频谱强度的变化而变化。例如，第i个预设区域的初始颜色为红色，当音频信息的频谱强度较大时，第i个预设区域的第二颜色可以是亮红。当音频信息的频谱强度较小时，第i个预设区域的第二颜色可以是暗红。不同预设区域的初始颜色可以不同，也可以相同。
在又一种可行的实现方式中：根据所述音频信息的属性信息，调整虚拟模型的参数，包括：根据所述音频信息的重音，调整所述虚拟模型中预设区域的宽度。
例如，预设区域的宽度记为lineWidth，根据音频信息的重音onset调整预设区域的宽度时，具体可以根据如下公式(4)来实现：
Figure BDA0002659462780000141
其中，0.03表示预设区域的初始宽度。60.0表示对输入的重音进行缩放处理的缩放值。5.0和1.0的意思是配合公式(4)中的取最小值函数min和取最大值函数max，将
Figure BDA0002659462780000151
的取值范围控制在1.0-5.0之间。
可以理解的是，如上公式(4)中所述的一些实数，例如，0.03、5.0、60.0、1.0等可以是在本实施例中的一个示意性说明。这些实数在不同的应用场景中可以进行示意性的调整，本实施例并不作具体的限定。具体的，如上所述的公式(1)、(2)、(4)中的实数可以是经验参数，例如，可以根据音频信息的属性信息的取值范围来确定。
在又一种可行的实现方式中：根据所述音频信息的属性信息，调整虚拟模型的参数，包括：根据所述虚拟模型中的预设区域在所述虚拟模型上的移动速度和所述预设区域在所述虚拟模型上的初始位置，调整所述预设区域的位置。
例如，预设区域在虚拟模型上的初始位置可记为linePos，预设区域在虚拟模型上的移动速度可记为speed。当speed不为0时，预设区域在虚拟模型上的位置可以是实时变化的，例如，预设区域在虚拟模型上的当前位置记为linePos'，linePos'＝linePos+time*speed。其中，time表示时间间隔。speed随音频信息的变化如上所述，此处不再赘述。
本公开实施例通过音频信息的音调调整预设区域在虚拟模型上的移动速度；通过音频信息的音调、音量和重音调整虚拟模型的第一颜色；通过音频信息的频谱强度调整预设区域的第二颜色；通过音频信息的重音调整虚拟模型中预设区域的宽度；根据虚拟模型中的预设区域在虚拟模型上的移动速度和预设区域在虚拟模型上的初始位置，调整预设区域的位置，使得预设区域的参数可以随着音频信息的属性信息而变化，并将音频信息的属性信息以三维渲染的视觉形式进行呈现，从而使得虚拟模型的视觉表现可以随着音频信息的节凑发生相应的变化，提高了虚拟模型表现形式的灵活性。
图7为本公开实施例中的另一种虚拟模型处理方法的流程图。本实施例在上述实施例的基础上，进一步对虚拟模型处理方法进行了具体说明。相应的，如图7所示，本实施例的方法应用于终端中，具体包括：
S701、在目标图像中显示虚拟模型。
如图3所示，终端21可以在目标图像例如包括人脸图像或其他目标物体图像中显示虚拟模型23和虚拟模型25。
S702、根据预设区域的初始参数，在所述虚拟模型上显示所述预设区域。
在本实施例中，虚拟模型上的预设区域可对应有初始参数。预设区域的初始参数可包括：预设区域的初始位置、初始宽度、初始移动速度和初始颜色。其中，预设区域的初始位置具体可以是预设区域在虚拟模型上的初始位置。预设区域的初始移动速度具体可以是预设区域在虚拟模型上的初始移动速度。具体的，预设区域的初始参数可以是终端21预先配置的。或者，预设区域的初始参数可以是用户设置的，例如，终端21的用户界面上可显示有参数配置图标或按键，终端21可根据用户对该图标或按键的操作，确定预设区域的初始参数。具体的，用户不仅可以配置预设区域的个数，还可以设置预设区域的初始参数。进一步，终端21可以根据预设区域的初始参数，在虚拟模型上显示预设区域。如图4所示，在图3的基础上，终端21可以根据预设区域的初始参数，在虚拟模型上显示预设区域。具体的，终端21在虚拟模型上显示预设区域的过程可以是预设区域例如光带的渲染过程。
S703、获取音频信息。
具体的，S703和S101的实现方式和具体原理一致，此处不再赘述。
S704、根据所述音频信息的属性信息，调整虚拟模型的参数。
例如，终端21根据音频信息的属性信息，调整如图4所示的虚拟模型23和/或虚拟模型25的参数。其中，虚拟模型23的参数包括虚拟模型23的底色、虚拟模型23上的预设区域的位置、宽度、移动速度、第二颜色等。虚拟模型25的参数包括虚拟模型25的底色、虚拟模型25上的预设区域的位置、宽度、移动速度、第二颜色等。从而使得虚拟模型23和/或虚拟模型25的参数可以随着音频信息的变化而变化。
具体的，S704的实现方式和具体原理可以参照上述实施例所述的几种可实现方式，此处不再赘述。
S705、根据调整后的所述虚拟模型的参数，在所述目标图像中显示所述虚拟模型。
在本实施例中，可选的，根据调整后的所述虚拟模型的参数，在所述目标图像中显示所述虚拟模型，包括：根据调整后的所述虚拟模型的参数，在所述目标图像中更新所述虚拟模型。
例如，在图4的基础上，当虚拟模型23和/或虚拟模型25的参数发生变化时，终端21可以根据更新后的虚拟模型23和/或虚拟模型25的参数，对人脸图像中显示的虚拟模型23和/或虚拟模型25进行更新。从而使得人脸图像中显示的虚拟模型23和/或虚拟模型25的底色、虚拟模型23和/或虚拟模型25上预设区域的位置、宽度、移动速度、颜色等可以随着音频信息的变化而变化。
可选的，所述方法还包括：根据预设区域的初始参数，对所述预设区域的亮度进行平滑处理。
在一种可行的实现方式中，S702之后，根据预设区域的初始参数，对所述预设区域的亮度进行平滑处理。例如图4所示，终端21根据预设区域的初始参数，在虚拟模型23和/或虚拟模型25上显示预设区域之后，进一步可以根据预设区域的初始参数，对屏幕中显示的预设区域的亮度进行平滑处理。
在另一种可行的实现方式中，S702具体可以包括：根据预设区域的初始参数，对所述预设区域的亮度进行平滑处理；在所述虚拟模型上显示所述预设区域。例如图3所示，终端21在人脸图像中显示虚拟模型23和虚拟模型25之后，可以根据预设区域的初始参数，对预设区域的亮度进行平滑处理。进一步，根据预设区域的初始参数、以及平滑处理后的预设区域的亮度，在虚拟模型23和虚拟模型25上显示预设区域。
下面以虚拟模型23为例，介绍一下对虚拟模型23上的预设区域的亮度进行平滑处理的过程。例如，虚拟模型23上可显示多个预设区域，其中某一个预设区域在虚拟模型23上的初始位置记为linePos，该预设区域的初始宽度记为lineWidth0，该预设区域的初始颜色记为BandColor0，BandColor0可以是如上所述的ArtistColor。该预设区域在虚拟模型23上的初始移动速度记为speed0。进一步，终端21根据该预设区域的初始参数，例如，linePos、lineWidth0、BandColor0、speed0，对该预设区域的亮度进行平滑处理。其中，linePos、lineWidth0、BandColor0、speed0可以是固定的值。如图8所示，虚线表示预设区域的中心线，对预设区域的亮度进行平滑处理，具体可以是对预设区域中从中心线开始的亮度到预设区域边缘的亮度进行平滑处理。
可选的，根据预设区域的初始参数，对所述预设区域的亮度进行平滑处理，包括：根据所述预设区域的初始宽度和所述预设区域的初始位置，对所述预设区域的亮度进行第一平滑处理；根据所述第一平滑处理后的结果和预设平滑参数，对所述预设区域的亮度进行第二平滑处理。
例如，终端21可以根据该预设区域的初始宽度lineWidth0和该预设区域在虚拟模型23上的初始位置linePos，对该预设区域的亮度进行第一平滑处理。第一平滑处理后的结果记为OutputBand1，OutputBand1根据如下公式(5)进行计算：
Figure BDA0002659462780000181
其中，在公式(5)中，lineWidth＝lineWidth0。x表示虚拟模型的几何信息，例如，纹理坐标、顶点颜色等。在本实施例中，x具体可以表示虚拟模型23的顶点颜色，例如，[0,1]。smoothstep表示用于平滑预设区域亮度的函数。smoothstep可以是一个通用的计算函数，该函数的输入参数包括3个，例如，将第一个输入参数记为a，将第二个输入参数记为b，将第三个输入参数记为t。其中，a、b、t可以理解为smoothstep函数不失一般性的输入参数，在不同的场景中，a、b、t分别可以代表不同的含义，或者a、b、t分别可以表示为不同的表达式。smoothstep可表示为如下公式(6)：
Figure BDA0002659462780000191
对于公式(5)中的
Figure BDA0002659462780000192
Figure BDA0002659462780000193
对应于a，linePos对应于b，x对应于t。
对于公式(5)中的
Figure BDA0002659462780000194
linePos对应于a，
Figure BDA0002659462780000195
对应于b，x对应于t。
例如，图8所示的预设区域在虚拟模型上的初始位置可以是预设区域的中心线位置。另外，图8所示的虚拟模型的底部位置可记为0，虚拟模型的顶部位置可记为1，该中心线位置可记为0.5。该预设区域的初始宽度例如为0.2，则该预设区域的上边缘位置可记为0.6，该预设区域的下边缘位置可记为0.4。
第一平滑处理后的结果OutputBand1可表示为如图9所示的曲线。具体的，如图9所示的坐标系的横轴表示虚拟模型的顶点颜色0-1，其中，0.4-0.6是图8所示的预设区域对应的顶点颜色。该坐标系的纵轴表示亮度。如图9所示的曲线表示从预设区域的中心线位置0.5分别到预设区域的上边缘位置0.6和下边缘位置0.4的亮度变化。例如，预设区域的中心线位置0.5的亮度最大，从该中心线位置0.5开始到上边缘位置0.6或下边缘位置0.4的过程中，预设区域的亮度逐渐减小。
进一步，在第一平滑处理后的结果OutputBand1的基础上，根据预设平滑参数y和预设区域的初始颜色BandColor0，可以对预设区域的亮度进行第二平滑处理，具体的，该第二平滑处理可以对预设区域的颜色亮度进行平滑处理，即经过第二平滑处理后，该预设区域中不同位置的颜色亮度为该第二平滑处理后的结果。该第二平滑处理后的结果记为OutputBand2，OutputBand2根据如下公式(7)进行计算：
OutputBand2＝pow(OutputBand1,y)·BandColor (7)
其中，在公式(7)中，BandColor＝BandColor0。预设平滑参数y用于控制预设区域的边缘亮度平滑效果。其中，pow(OutputBand1,y)表示在第一平滑处理后的结果OutputBand1的基础上，根据预设平滑参数y对预设区域的亮度再次进行平滑处理后的结果，pow表示平滑函数。在pow(OutputBand1,y)的基础上乘以初始颜色BandColor0，可使得初始颜色BandColor0的亮度在预设区域中按照pow(OutputBand1,y)进行分布。
当y大于1时，对预设区域的亮度再次进行平滑处理后的结果pow(OutputBand1,y)可表示为如图10所示的曲线。相比于第一平滑处理后的结果OutputBand1，从该中心线位置0.5开始到上边缘位置0.6或下边缘位置0.4的过程中，预设区域的亮度变化更加缓慢、更加平滑。尤其是在预设区域中接近于上边缘位置0.6或下边缘位置0.4的地方，亮度变化更加缓慢、更加平滑。
当y等于1时，对预设区域的亮度再次进行平滑处理后的结果pow(OutputBand1,y)可表示为如图11所示的曲线。此时，pow(OutputBand1,y)的平滑效果和第一平滑处理后的结果OutputBand1的平滑效果大致相同。
当y小于1时，对预设区域的亮度再次进行平滑处理后的结果pow(OutputBand1,y)可表示为如图12所示的曲线。相比于第一平滑处理后的结果OutputBand1，从该中心线位置0.5开始到上边缘位置0.6或下边缘位置0.4的过程中，预设区域的亮度变化较快，尤其是在预设区域中接近于上边缘位置0.6或下边缘位置0.4的地方，亮度变化较快。在这种情况下，预设区域的边缘较为锐利。
根据图10-图12可知，y可以影响亮度的过渡快慢。例如，当y大于1时，亮度的过渡较慢。当y小于1时，亮度的过渡较快。并且在通过y影响亮度过渡快慢的过程中，y可能会对预设区域的宽度造成一定的影响。也就是说，预设区域实际展示出来的宽度可以由lineWidth和y共同决定。或者，预设区域实际展示出来的宽度可以由预设区域的初始宽度lineWidth0和y共同决定。
由于OutputBand1中不包括颜色信息，而OutputBand2中包括颜色信息，因此，OutputBand2可以表示预设区域的颜色效果，例如颜色亮度。例如，预设区域的初始颜色BandColor0为红色，经过公式(7)处理之后，预设区域的中心线位置为亮红，预设区域的上边缘位置和下边缘位置为暗红。从预设区域的中心线位置分别到预设区域的上边缘位置和下边缘位置的过程中，红色的亮度逐渐降低，并且符合OutputBand2所表示的曲线变化。
根据上述公式(5)和公式(7)对预设区域的亮度进行平滑处理后，若该预设区域的初始移动速度为0，则终端21在虚拟模型23上显示的该预设区域可以是静态的。也就是说，该预设区域以预设的初始位置、初始宽度、初始颜色、以及公式(5)和公式(7)平滑处理后的亮度静态显示在虚拟模型23上。
在其他一些实施例中，预设区域可以是移动的，例如，预设区域的初始移动速度不为0，在这种情况下，可选的，根据所述预设区域的初始宽度和所述预设区域的初始位置，对所述预设区域的亮度进行第一平滑处理，包括：根据所述预设区域的初始宽度、所述预设区域的初始位置和所述预设区域的初始移动速度，对所述预设区域的亮度进行第一平滑处理。
例如，当预设区域的初始移动速度不为0时，可以在公式(5)的基础上增加预设区域的初始移动速度speed0。在这种情况下，第一平滑处理后的结果OutputBand1可以根据如下公式(8)进行计算：
Figure BDA0002659462780000221
其中，input＝frac(x+time·speed)。input表示修改后的输入。time表示时间增量。此处的input中的speed＝speed0。在公式(8)的基础上，还可以进行第二平滑处理。该第二平滑处理后的结果记为OutputBand2，OutputBand2根据如下公式(9)进行计算：
OutputBand2＝pow(OutputBand1,y)·BandColor (9)
其中，公式(9)中的OutputBand1是公式(8)中的OutputBand1。公式(9)中的BandColor＝BandColor0。预设平滑参数y的取值与pow(OutputBand1,y)的平滑效果之间的关系可以参照如上所述的图10-12。公式(9)中的pow(OutputBand1,y)表示在公式(8)得出的第一平滑处理后的结果OutputBand1的基础上，根据预设平滑参数y对预设区域的亮度再次进行平滑处理后的结果，pow表示平滑函数。根据上述公式(8)和公式(9)对预设区域的亮度进行平滑处理后，由于该预设区域的初始移动速度不为0，因此，终端21在虚拟模型23上显示的该预设区域是按照该初始移动速度在虚拟模型23上移动的。例如，该预设区域按照该初始移动速度从虚拟模型23的底部向虚拟模型23的顶部移动。当该预设区域到达虚拟模型23的顶部后，可以继续循环从虚拟模型23的底部向虚拟模型23的顶部移动。其中，预设区域在虚拟模型上循环移动可以是默认配置，即当预设区域在虚拟模型上可移动时，可以按照这种循环移动方式进行移动。另外，预设区域在虚拟模型上的循环移动方式还可以在用户配置该预设区域的初始参数时同时配置。在该预设区域移动的过程中，该预设区域的宽度为初始宽度、该预设区域的颜色为初始颜色、该预设区域的亮度为根据上述公式(8)和公式(9)平滑处理后的亮度。
可以理解的是，根据上述方法可以在虚拟模型23上显示多个预设区域。每个预设区域有各自的初始位置、初始宽度、初始移动速度、初始颜色等初始参数。
本公开实施例提供的虚拟模型处理方法，通过预设区域的初始参数，对预设区域的亮度进行平滑处理，可以使得预设区域的中心线位置分别到预设区域的上边缘位置和下边缘位置的亮度平滑变化，增强了预设区域的视觉效果。
图13为本公开实施例中的另一种虚拟模型处理方法的流程图。本实施例在上述实施例的基础上，进一步对虚拟模型处理方法进行了具体说明。相应的，如图13所示，本实施例的方法应用于终端中，具体包括：
S1301、获取音频信息。
具体的，S1301和S101的实现方式和具体原理一致，此处不再赘述。可以理解的是，在本实施例的基础上，S1301之前还可以包括如图7所示的S701和S702。
S1302、根据所述音频信息的属性信息，调整虚拟模型的参数。
具体的，S1302的实现方式和具体原理可以参照上述实施例所述的内容，此处不再赘述。
S1303、根据调整后的所述虚拟模型的参数，在所述目标图像中显示所述虚拟模型。
具体的，S1303的实现方式和具体原理可以参照上述实施例所述的内容，此处不再赘述。
S1304、根据调整后的所述虚拟模型的参数，对所述虚拟模型中预设区域的亮度进行平滑处理。
根据上述公式(5)、公式(7)、公式(8)、公式(9)可知，当预设区域的参数，例如，宽度lineWidth、移动速度speed、颜色BandColor等发生变化时，第一平滑处理后的结果和第二平滑处理后的结果也会随着变化，即预设区域的亮度平滑效果可以随着音频信息动态变化。其中，预设区域的参数和虚拟模型底色的变化可以参照公式(1)-公式(4)。
可以理解的是，如果在S1301之前，已经根据预设区域的初始参数对预设区域的亮度进行过平滑处理，那么在S1303之后，可以根据调整后的预设区域的参数，对预设区域的亮度继续进行平滑处理。如果在S1301之前，没有根据预设区域的初始参数对预设区域的亮度进行过平滑处理，那么在S1303之后，也可以根据调整后的预设区域的参数，对预设区域的亮度进行平滑处理。
在其他一些实施例中，S1303、根据调整后的所述虚拟模型的参数，在所述目标图像中显示所述虚拟模型具体包括：根据调整后的所述虚拟模型的参数，对所述虚拟模型中预设区域的亮度进行平滑处理；在所述目标图像中显示所述虚拟模型。例如，终端根据音频信息的属性信息，调整虚拟模型的参数之后，可以根据调整后的预设区域的参数，对预设区域的亮度进行平滑处理。进一步，根据调整后的虚拟模型的参数、以及平滑处理后的预设区域的亮度，显示虚拟模型。
可选的，根据调整后的所述虚拟模型的参数，对所述虚拟模型中预设区域的亮度进行平滑处理，包括：根据所述预设区域的初始位置和调整后的所述预设区域的宽度，对所述虚拟模型中预设区域的亮度进行第三平滑处理；根据所述第三平滑处理后的结果和预设平滑参数，对所述虚拟模型中预设区域的亮度进行第四平滑处理。
例如，在终端21根据音频信息的属性信息调整虚拟模型的参数之后，终端21可以根据调整后的虚拟模型的参数对预设区域的亮度进行平滑处理。调整后的虚拟模型的参数可以包括：调整后的虚拟模型的底色albedoColor、调整后的预设区域的移动速度speed、调整后的预设区域的宽度lineWidth、调整后的预设区域的颜色BandColor。
例如，终端21可以根据调整后的预设区域的宽度lineWidth和该预设区域在虚拟模型23上的初始位置linePos，对该预设区域的亮度进行第三平滑处理。第三平滑处理后的结果可以参照如上所述的公式(5)。
进一步，在第三平滑处理的输出结果的基础上，根据预设平滑参数y和调整后的预设区域的颜色BandColor对预设区域的亮度进行第四平滑处理。该第四平滑处理后的结果可以参照如上所述的公式(7)。
可选的，根据所述预设区域的初始位置和调整后的所述预设区域的宽度，对所述虚拟模型中预设区域的亮度进行第三平滑处理，包括：根据所述预设区域的初始位置、调整后的所述预设区域的宽度和调整后的所述预设区域的移动速度，对所述虚拟模型中预设区域的亮度进行第三平滑处理。
例如，预设区域是可以移动的，根据调整后的预设区域的宽度lineWidth、调整后的预设区域的移动速度speed和该预设区域在虚拟模型23上的初始位置linePos，对该预设区域的亮度进行第三平滑处理。第三平滑处理后的结果可参照如上所述的公式(8)。在该第三平滑处理的输出结果的基础上，根据预设平滑参数y和调整后的预设区域的颜色BandColor对预设区域的亮度进行第四平滑处理。该第四平滑处理后的结果可以参照如上所述的公式(9)。
如图4所示，终端21在虚拟模型23和虚拟模型25上分别生成5个预设区域。
以虚拟模型23为例，当没有音频信息时，如果虚拟模型23上的5个预设区域中的每个预设区域是静止的，那么每个预设区域可以按照各自的初始位置、初始宽度、初始颜色、以及公式(5)和公式(7)平滑处理后的亮度静态显示在虚拟模型23上。
当没有音频信息时，如果虚拟模型23上的5个预设区域中的每个预设区域是可移动的，那么每个预设区域可以按照各自的初始移动速度在虚拟模型23上移动，并且在移动的过程中，每个预设区域的宽度、颜色、移动速度、以及根据上述公式(8)和公式(9)平滑处理后的亮度可以是不变的。
当终端21采集到音频信息，并且根据音频信息的属性信息调整虚拟模型23的参数，使得虚拟模型23的参数随着音频信息的变化而变化时，如果虚拟模型23上的5个预设区域中的每个预设区域是静止的，那么每个预设区域可以按照各自动态变化的宽度、动态变化的颜色、动态变化的亮度平滑效果显示在各自的初始位置上。
当终端21采集到音频信息，并且根据音频信息的属性信息调整虚拟模型23的参数，使得虚拟模型23的参数随着音频信息的变化而变化时，如果虚拟模型23上的5个预设区域中的每个预设区域是可移动的，那么每个预设区域可以按照各自动态变化的移动速度在虚拟模型23上移动，并且在移动的过程中，每个预设区域的宽度、颜色、以及亮度平滑效果也可以是动态变化的。
例如，将虚拟模型23最终呈现的颜色记为Color。Color可以根据虚拟模型23的底色、以及虚拟模型23上的5个预设区域中的每个预设区域的颜色来确定。例如，该5个预设区域中的第1个预设区域的颜色记为OutputBand[1]，第2个预设区域的颜色记为OutputBand[2]，以此类推，第5个预设区域的颜色记为OutputBand[5]。其中，每个预设区域的颜色可以根据如上所述的第二平滑处理后的结果或第四平滑处理后的结果确定。Color可表示为如下公式(10)：
Figure BDA0002659462780000261
如图4所示，终端21在虚拟模型23和虚拟模型25上分别生成5个预设区域。通过本公开实施例所述的方法，可使得虚拟模型23上的5个预设区域和虚拟模型25上的5个预设区域中每个预设区域的位置、宽度、颜色、移动速度、以及亮度过渡效果等视觉属性随着音频信息的变化而变化。另外，虚拟模型23和虚拟模型25的底色也可以随着音频信息的变化而变化。因此，人脸图像上的虚拟模型23和虚拟模型25可以呈现一种可与音频信息联动的霓虹光带渲染效果。
如图4所示，当人脸图像上呈现出与音频信息联动的霓虹光带渲染效果时，终端21可以根据用户的拍摄指令，拍摄带有霓虹光带渲染效果的人脸图像，或者录制带有霓虹光带渲染效果的人脸视频。或者用户仅仅可以在屏幕中预览带有霓虹光带渲染效果的人脸图像或人脸视频。进一步，终端21还可以根据用户的发送指令，将带有霓虹光带渲染效果的人脸图像或人脸视频发送给其他终端或服务器。
本公开实施例提供的虚拟模型处理方法，通过音频信息的属性信息调整虚拟模型的参数之后，还可以根据调整后的虚拟模型的参数对预设区域的亮度进行平滑处理，使得预设区域的中心线位置分别到预设区域的上边缘位置和下边缘位置的亮度平滑效果也可以随着音频信息的属性信息的变化而变化，从而进一步增强了预设区域的视觉效果。
在上述实施例的基础上，终端21的用户界面上还可以设置有一些控制按键。如图14所示，该用户界面上显示有多组箭头141，其中，每一组箭头用于设置或调整虚拟模型的一个参数。例如，向右的箭头用于增大参数值，向左的箭头用于减小参数值。
例如，该用户界面上还可以设置有镜像按键142。终端21可以根据用户对镜像按键134的操作，在人脸图像中生成互为镜像的虚拟模型，从而增加人脸图像中虚拟模型的个数。
例如，该用户界面上还可以设置有返回控制按键143，终端21可以根据用户对返回控制按键143的操作，控制终端21的用户界面返回到采集图像的界面或预览人脸图像的界面。
再例如，该用户界面上还可以设置有音频开关按键144，终端21可以根据用户对音频开关按键144的操作播放音频信息或停止播放音频信息。
可以理解的是，如图14所示的用户界面只是一种示意性说明，本实施例并不限定该用户界面上控制按键的个数、位置等。
图15为本公开实施例中的一种虚拟模型处理装置的结构示意图。本公开实施例所提供的虚拟模型处理装置可以配置于客户端中，或者可以配置于服务端中，该虚拟模型处理装置150具体包括：
获取模块151，用于获取音频信息；
调整模块152，用于根据所述音频信息的属性信息，调整虚拟模型的参数；
显示模块153，用于根据调整后的所述虚拟模型的参数，在目标图像中显示所述虚拟模型。
可选的，所述音频信息的属性信息包括如下至少一种：音调、音量、重音、频谱强度。
可选的，所述虚拟模型的参数包括如下至少一种：所述虚拟模型的第一颜色；所述虚拟模型中预设区域的位置、宽度、移动速度、第二颜色。
可选的，调整模块152根据所述音频信息的属性信息，调整虚拟模型的参数时，具体用于：根据所述音频信息的音调，调整所述虚拟模型中的预设区域在所述虚拟模型上的移动速度。
可选的，调整模块152根据所述音频信息的属性信息，调整虚拟模型的参数时，具体用于：根据所述音频信息的音调、音量和重音，调整所述虚拟模型的第一颜色。
可选的，调整模块152根据所述音频信息的属性信息，调整虚拟模型的参数时，具体用于：根据所述音频信息的频谱强度，调整所述虚拟模型中预设区域的第二颜色。
可选的，调整模块152根据所述音频信息的属性信息，调整虚拟模型的参数时，具体用于：根据所述音频信息的重音，调整所述虚拟模型中预设区域的宽度。
可选的，调整模块152根据所述音频信息的属性信息，调整虚拟模型的参数时，具体用于：根据所述虚拟模型中的预设区域在所述虚拟模型上的移动速度和所述预设区域在所述虚拟模型上的初始位置，调整所述预设区域的位置。
可选的，获取模块151获取音频信息时，具体用于：获取终端播放的音频信息；和/或获取周围环境中的音频信息。
可选的，显示模块153还用于：获取模块151获取音频信息之前，在目标图像中显示虚拟模型；根据预设区域的初始参数，在所述虚拟模型上显示所述预设区域；显示模块153根据调整后的所述虚拟模型的参数，在目标图像中显示所述虚拟模型时，具体用于：根据调整后的所述虚拟模型的参数，在所述目标图像中更新所述虚拟模型。
可选的，该虚拟模型处理装置150还包括：生成模块154，用于在显示模块153在目标图像中显示虚拟模型之前，根据用户在显示组件上输入的滑动轨迹，生成与所述滑动轨迹对应的所述虚拟模型。
可选的，该虚拟模型处理装置150还包括：平滑处理模块155，用于根据预设区域的初始参数，对所述预设区域的亮度进行平滑处理。
可选的，平滑处理模块155根据预设区域的初始参数，对所述预设区域的亮度进行平滑处理时，具体用于：根据所述预设区域的初始宽度和所述预设区域的初始位置，对所述预设区域的亮度进行第一平滑处理；根据所述第一平滑处理后的结果和预设平滑参数，对所述预设区域的亮度进行第二平滑处理。
可选的，平滑处理模块155根据所述预设区域的初始宽度和所述预设区域的初始位置，对所述预设区域的亮度进行第一平滑处理时，具体用于：根据所述预设区域的初始宽度、所述预设区域的初始位置和所述预设区域的初始移动速度，对所述预设区域的亮度进行第一平滑处理。
可选的，平滑处理模块155还用于：根据调整后的所述虚拟模型的参数，对所述虚拟模型中预设区域的亮度进行平滑处理。
可选的，平滑处理模块155根据调整后的所述虚拟模型的参数，对所述虚拟模型中预设区域的亮度进行平滑处理时，具体用于：根据所述预设区域的初始位置和调整后的所述预设区域的宽度，对所述虚拟模型中预设区域的亮度进行第三平滑处理；根据所述第三平滑处理后的结果和预设平滑参数，对所述虚拟模型中预设区域的亮度进行第四平滑处理。
可选的，平滑处理模块155根据所述预设区域的初始位置和调整后的所述预设区域的宽度，对所述虚拟模型中预设区域的亮度进行第三平滑处理时，具体用于：根据所述预设区域的初始位置、调整后的所述预设区域的宽度和调整后的所述预设区域的移动速度，对所述虚拟模型中预设区域的亮度进行第三平滑处理。
本公开实施例提供的虚拟模型处理装置，可执行本公开方法实施例所提供的虚拟模型处理方法中客户端或服务端所执行的步骤，具备执行步骤和有益效果此处不再赘述。
图16为本公开实施例中的一种电子设备的结构示意图。下面具体参考图16，其示出了适于用来实现本公开实施例中的电子设备1600的结构示意图。本公开实施例中的电子设备1600可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图16示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图16所示，电子设备1600可以包括处理装置(例如中央处理器、图形处理器等)1601，其可以根据存储在只读存储器(ROM)1602中的程序或者从存储装置1608加载到随机访问存储器(RAM)1603中的程序而执行各种适当的动作和处理。在RAM 1603中，还存储有电子设备1600操作所需的各种程序和数据。处理装置1601、ROM 1602以及RAM 1603通过总线1604彼此相连。输入/输出(I/O)接口1605也连接至总线1604。
通常，以下装置可以连接至I/O接口1605：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置1606；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置1607；包括例如磁带、硬盘等的存储装置1608；以及通信装置1609。通信装置1609可以允许电子设备1600与其他设备进行无线或有线通信以交换数据。虽然图16示出了具有各种装置的电子设备1600，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置1609从网络上被下载和安装，或者从存储装置1608被安装，或者从ROM 1602被安装。在该计算机程序被处理装置1601执行时，执行本公开实施例的方法中限定的上述功能。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
在一些实施方式中，客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：
获取音频信息；
根据所述音频信息的属性信息，调整虚拟模型的参数；
根据调整后的所述虚拟模型的参数，在目标图像中显示所述虚拟模型。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
根据本公开的一个或多个实施例，本公开提供了一种虚拟模型处理方法，包括：
获取音频信息；
根据所述音频信息的属性信息，调整虚拟模型的参数；
根据调整后的所述虚拟模型的参数，在目标图像中显示所述虚拟模型。
根据本公开的一个或多个实施例，在本公开提供的虚拟模型处理方法中，所述音频信息的属性信息包括如下至少一种：
音调、音量、重音、频谱强度。
根据本公开的一个或多个实施例，在本公开提供的虚拟模型处理方法中，所述虚拟模型的参数包括如下至少一种：
所述虚拟模型的第一颜色；
所述虚拟模型中预设区域的位置、宽度、移动速度、第二颜色。
根据本公开的一个或多个实施例，在本公开提供的虚拟模型处理方法中，根据所述音频信息的属性信息，调整虚拟模型的参数，包括：
根据所述音频信息的音调，调整所述虚拟模型中的预设区域在所述虚拟模型上的移动速度。
根据本公开的一个或多个实施例，在本公开提供的虚拟模型处理方法中，根据所述音频信息的属性信息，调整虚拟模型的参数，包括：
根据所述音频信息的音调、音量和重音，调整所述虚拟模型的第一颜色。
根据本公开的一个或多个实施例，在本公开提供的虚拟模型处理方法中，根据所述音频信息的属性信息，调整虚拟模型的参数，包括：
根据所述音频信息的频谱强度，调整所述虚拟模型中预设区域的第二颜色。
根据本公开的一个或多个实施例，在本公开提供的虚拟模型处理方法中，根据所述音频信息的属性信息，调整虚拟模型的参数，包括：
根据所述音频信息的重音，调整所述虚拟模型中预设区域的宽度。
根据本公开的一个或多个实施例，在本公开提供的虚拟模型处理方法中，根据所述音频信息的属性信息，调整虚拟模型的参数，包括：
根据所述虚拟模型中的预设区域在所述虚拟模型上的移动速度和所述预设区域在所述虚拟模型上的初始位置，调整所述预设区域的位置。
根据本公开的一个或多个实施例，在本公开提供的虚拟模型处理方法中，获取音频信息，包括：
获取终端播放的音频信息；和/或
获取周围环境中的音频信息。
根据本公开的一个或多个实施例，在本公开提供的虚拟模型处理方法中，获取音频信息之前，所述方法还包括：
在目标图像中显示虚拟模型；
根据预设区域的初始参数，在所述虚拟模型上显示所述预设区域；
根据调整后的所述虚拟模型的参数，在目标图像中显示所述虚拟模型，包括：
根据调整后的所述虚拟模型的参数，在所述目标图像中更新所述虚拟模型。
根据本公开的一个或多个实施例，在本公开提供的虚拟模型处理方法中，在目标图像中显示虚拟模型之前，所述方法还包括：
根据用户在显示组件上输入的滑动轨迹，生成与所述滑动轨迹对应的所述虚拟模型。根据本公开的一个或多个实施例，在本公开提供的虚拟模型处理方法中，所述方法还包括：
根据预设区域的初始参数，对所述预设区域的亮度进行平滑处理。
根据本公开的一个或多个实施例，在本公开提供的虚拟模型处理方法中，根据预设区域的初始参数，对所述预设区域的亮度进行平滑处理，包括：
根据所述预设区域的初始宽度和所述预设区域的初始位置，对所述预设区域的亮度进行第一平滑处理；
根据所述第一平滑处理后的结果和预设平滑参数，对所述预设区域的亮度进行第二平滑处理。
根据本公开的一个或多个实施例，在本公开提供的虚拟模型处理方法中，根据所述预设区域的初始宽度和所述预设区域的初始位置，对所述预设区域的亮度进行第一平滑处理，包括：
根据所述预设区域的初始宽度、所述预设区域的初始位置和所述预设区域的初始移动速度，对所述预设区域的亮度进行第一平滑处理。
根据本公开的一个或多个实施例，在本公开提供的虚拟模型处理方法中，所述方法还包括：
根据调整后的所述虚拟模型的参数，对所述虚拟模型中预设区域的亮度进行平滑处理。
根据本公开的一个或多个实施例，在本公开提供的虚拟模型处理方法中，根据调整后的所述虚拟模型的参数，对所述虚拟模型中预设区域的亮度进行平滑处理，包括：
根据所述预设区域的初始位置和调整后的所述预设区域的宽度，对所述虚拟模型中预设区域的亮度进行第三平滑处理；
根据所述第三平滑处理后的结果和预设平滑参数，对所述虚拟模型中预设区域的亮度进行第四平滑处理。
根据本公开的一个或多个实施例，在本公开提供的虚拟模型处理方法中，根据所述预设区域的初始位置和调整后的所述预设区域的宽度，对所述虚拟模型中预设区域的亮度进行第三平滑处理，包括：
根据所述预设区域的初始位置、调整后的所述预设区域的宽度和调整后的所述预设区域的移动速度，对所述虚拟模型中预设区域的亮度进行第三平滑处理。
根据本公开的一个或多个实施例，本公开提供了一种虚拟模型处理装置，包括：
获取模块，用于获取音频信息；
调整模块，用于根据所述音频信息的属性信息，调整虚拟模型的参数；
显示模块，用于根据调整后的所述虚拟模型的参数，在目标图像中显示所述虚拟模型。
根据本公开的一个或多个实施例，在本公开提供的虚拟模型处理装置中，所述音频信息的属性信息包括如下至少一种：音调、音量、重音、频谱强度。
根据本公开的一个或多个实施例，在本公开提供的虚拟模型处理装置中，所述虚拟模型的参数包括如下至少一种：所述虚拟模型的第一颜色；所述虚拟模型中预设区域的位置、宽度、移动速度、第二颜色。
根据本公开的一个或多个实施例，在本公开提供的虚拟模型处理装置中，调整模块根据所述音频信息的属性信息，调整虚拟模型的参数时，具体用于：根据所述音频信息的音调，调整所述虚拟模型中的预设区域在所述虚拟模型上的移动速度。
根据本公开的一个或多个实施例，在本公开提供的虚拟模型处理装置中，调整模块根据所述音频信息的属性信息，调整虚拟模型的参数时，具体用于：根据所述音频信息的音调、音量和重音，调整所述虚拟模型的第一颜色。
根据本公开的一个或多个实施例，在本公开提供的虚拟模型处理装置中，调整模块根据所述音频信息的属性信息，调整虚拟模型的参数时，具体用于：根据所述音频信息的频谱强度，调整所述虚拟模型中预设区域的第二颜色。
根据本公开的一个或多个实施例，在本公开提供的虚拟模型处理装置中，调整模块根据所述音频信息的属性信息，调整虚拟模型的参数时，具体用于：根据所述音频信息的重音，调整所述虚拟模型中预设区域的宽度。
根据本公开的一个或多个实施例，在本公开提供的虚拟模型处理装置中，调整模块根据所述音频信息的属性信息，调整虚拟模型的参数时，具体用于：根据所述虚拟模型中的预设区域在所述虚拟模型上的移动速度和所述预设区域在所述虚拟模型上的初始位置，调整所述预设区域的位置。
根据本公开的一个或多个实施例，在本公开提供的虚拟模型处理装置中，获取模块获取音频信息时，具体用于：获取终端播放的音频信息；和/或获取周围环境中的音频信息。
根据本公开的一个或多个实施例，在本公开提供的虚拟模型处理装置中，显示模块还用于：获取模块获取音频信息之前，在目标图像中显示虚拟模型；根据预设区域的初始参数，在所述虚拟模型上显示所述预设区域；显示模块根据调整后的所述虚拟模型的参数，在目标图像中显示所述虚拟模型时，具体用于：根据调整后的所述虚拟模型的参数，在所述目标图像中更新所述虚拟模型。
根据本公开的一个或多个实施例，在本公开提供的虚拟模型处理装置中，该虚拟模型处理装置还包括：生成模块，用于在显示模块在目标图像中显示虚拟模型之前，根据用户在显示组件上输入的滑动轨迹，生成与所述滑动轨迹对应的所述虚拟模型。
根据本公开的一个或多个实施例，在本公开提供的虚拟模型处理装置中，该虚拟模型处理装置还包括：平滑处理模块，用于根据预设区域的初始参数，对所述预设区域的亮度进行平滑处理。
根据本公开的一个或多个实施例，在本公开提供的虚拟模型处理装置中，平滑处理模块根据预设区域的初始参数，对所述预设区域的亮度进行平滑处理时，具体用于：根据所述预设区域的初始宽度和所述预设区域的初始位置，对所述预设区域的亮度进行第一平滑处理；根据所述第一平滑处理后的结果和预设平滑参数，对所述预设区域的亮度进行第二平滑处理。
根据本公开的一个或多个实施例，在本公开提供的虚拟模型处理装置中，平滑处理模块根据所述预设区域的初始宽度和所述预设区域的初始位置，对所述预设区域的亮度进行第一平滑处理时，具体用于：根据所述预设区域的初始宽度、所述预设区域的初始位置和所述预设区域的初始移动速度，对所述预设区域的亮度进行第一平滑处理。
根据本公开的一个或多个实施例，在本公开提供的虚拟模型处理装置中，平滑处理模块还用于：根据调整后的所述虚拟模型的参数，对所述虚拟模型中预设区域的亮度进行平滑处理。
根据本公开的一个或多个实施例，在本公开提供的虚拟模型处理装置中，平滑处理模块根据调整后的所述虚拟模型的参数，对所述虚拟模型中预设区域的亮度进行平滑处理时，具体用于：根据所述预设区域的初始位置和调整后的所述预设区域的宽度，对所述虚拟模型中预设区域的亮度进行第三平滑处理；根据所述第三平滑处理后的结果和预设平滑参数，对所述虚拟模型中预设区域的亮度进行第四平滑处理。
根据本公开的一个或多个实施例，在本公开提供的虚拟模型处理装置中，平滑处理模块根据所述预设区域的初始位置和调整后的所述预设区域的宽度，对所述虚拟模型中预设区域的亮度进行第三平滑处理时，具体用于：根据所述预设区域的初始位置、调整后的所述预设区域的宽度和调整后的所述预设区域的移动速度，对所述虚拟模型中预设区域的亮度进行第三平滑处理。
根据本公开的一个或多个实施例，本公开提供了一种电子设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本公开提供的任一所述的虚拟模型处理方法。
根据本公开的一个或多个实施例，本公开提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本公开提供的任一所述的虚拟模型处理方法。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (20)

1.一种虚拟模型处理方法，其特征在于，所述方法包括：
获取音频信息；
根据所述音频信息的属性信息，调整虚拟模型的参数；
根据调整后的所述虚拟模型的参数，在目标图像中显示所述虚拟模型。
2.根据权利要求1所述的方法，其特征在于，所述音频信息的属性信息包括如下至少一种：
音调、音量、重音、频谱强度。
3.根据权利要求1所述的方法，其特征在于，所述虚拟模型的参数包括如下至少一种：
所述虚拟模型的第一颜色；
所述虚拟模型中预设区域的位置、宽度、移动速度、第二颜色。
4.根据权利要求2或3所述的方法，其特征在于，根据所述音频信息的属性信息，调整虚拟模型的参数，包括：
根据所述音频信息的音调，调整所述虚拟模型中的预设区域在所述虚拟模型上的移动速度。
5.根据权利要求2或3所述的方法，其特征在于，根据所述音频信息的属性信息，调整虚拟模型的参数，包括：
根据所述音频信息的音调、音量和重音，调整所述虚拟模型的第一颜色。
6.根据权利要求2或3所述的方法，其特征在于，根据所述音频信息的属性信息，调整虚拟模型的参数，包括：
根据所述音频信息的频谱强度，调整所述虚拟模型中预设区域的第二颜色。
7.根据权利要求2或3所述的方法，其特征在于，根据所述音频信息的属性信息，调整虚拟模型的参数，包括：
根据所述音频信息的重音，调整所述虚拟模型中预设区域的宽度。
8.根据权利要求2或3所述的方法，其特征在于，根据所述音频信息的属性信息，调整虚拟模型的参数，包括：
根据所述虚拟模型中的预设区域在所述虚拟模型上的移动速度和所述预设区域在所述虚拟模型上的初始位置，调整所述预设区域的位置。
9.根据权利要求1所述的方法，其特征在于，获取音频信息，包括：
获取终端播放的音频信息；和/或
获取周围环境中的音频信息。
10.根据权利要求1所述的方法，其特征在于，获取音频信息之前，所述方法还包括：
在目标图像中显示虚拟模型；
根据预设区域的初始参数，在所述虚拟模型上显示所述预设区域；
根据调整后的所述虚拟模型的参数，在目标图像中显示所述虚拟模型，包括：
根据调整后的所述虚拟模型的参数，在所述目标图像中更新所述虚拟模型。
11.根据权利要求10所述的方法，其特征在于，在目标图像中显示虚拟模型之前，所述方法还包括：
根据用户在显示组件上输入的滑动轨迹，生成与所述滑动轨迹对应的所述虚拟模型。
12.根据权利要求10或11所述的方法，其特征在于，所述方法还包括：
根据预设区域的初始参数，对所述预设区域的亮度进行平滑处理。
13.根据权利要求12所述的方法，其特征在于，根据预设区域的初始参数，对所述预设区域的亮度进行平滑处理，包括：
根据所述预设区域的初始宽度和所述预设区域的初始位置，对所述预设区域的亮度进行第一平滑处理；
根据所述第一平滑处理后的结果和预设平滑参数，对所述预设区域的亮度进行第二平滑处理。
14.根据权利要求13所述的方法，其特征在于，根据所述预设区域的初始宽度和所述预设区域的初始位置，对所述预设区域的亮度进行第一平滑处理，包括：
根据所述预设区域的初始宽度、所述预设区域的初始位置和所述预设区域的初始移动速度，对所述预设区域的亮度进行第一平滑处理。
15.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据调整后的所述虚拟模型的参数，对所述虚拟模型中预设区域的亮度进行平滑处理。
16.根据权利要求15所述的方法，其特征在于，根据调整后的所述虚拟模型的参数，对所述虚拟模型中预设区域的亮度进行平滑处理，包括：
根据所述预设区域的初始位置和调整后的所述预设区域的宽度，对所述虚拟模型中预设区域的亮度进行第三平滑处理；
根据所述第三平滑处理后的结果和预设平滑参数，对所述虚拟模型中预设区域的亮度进行第四平滑处理。
17.根据权利要求16所述的方法，其特征在于，根据所述预设区域的初始位置和调整后的所述预设区域的宽度，对所述虚拟模型中预设区域的亮度进行第三平滑处理，包括：
根据所述预设区域的初始位置、调整后的所述预设区域的宽度和调整后的所述预设区域的移动速度，对所述虚拟模型中预设区域的亮度进行第三平滑处理。
18.一种虚拟模型处理装置，其特征在于，包括：
获取模块，用于获取音频信息；
调整模块，用于根据所述音频信息的属性信息，调整虚拟模型的参数；
显示模块，根据调整后的所述虚拟模型的参数，在目标图像中显示所述虚拟模型。
19.一种电子设备，其特征在于，所述电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-17中任一所述的方法。
20.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-17中任一所述的方法。
CN202010899471.6A 2020-08-31 2020-08-31 一种虚拟模型处理方法、装置、电子设备和存储介质 Pending CN112034984A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010899471.6A CN112034984A (zh) 2020-08-31 2020-08-31 一种虚拟模型处理方法、装置、电子设备和存储介质
US18/023,646 US20230306700A1 (en) 2020-08-31 2021-08-10 Virtual model processing method and apparatus, electronic device and storage medium
PCT/CN2021/111735 WO2022042290A1 (zh) 2020-08-31 2021-08-10 一种虚拟模型处理方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010899471.6A CN112034984A (zh) 2020-08-31 2020-08-31 一种虚拟模型处理方法、装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN112034984A true CN112034984A (zh) 2020-12-04

Family

ID=73587698

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010899471.6A Pending CN112034984A (zh) 2020-08-31 2020-08-31 一种虚拟模型处理方法、装置、电子设备和存储介质

Country Status (3)

Country Link
US (1) US20230306700A1 (zh)
CN (1) CN112034984A (zh)
WO (1) WO2022042290A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022042290A1 (zh) * 2020-08-31 2022-03-03 北京字节跳动网络技术有限公司 一种虚拟模型处理方法、装置、电子设备和存储介质
US11521341B1 (en) 2021-06-21 2022-12-06 Lemon Inc. Animation effect attachment based on audio characteristics
WO2022271086A1 (en) * 2021-06-21 2022-12-29 Lemon Inc. Rendering virtual articles of clothing based on audio characteristics
WO2023138548A1 (zh) * 2022-01-24 2023-07-27 北京字跳网络技术有限公司 图像处理方法、装置、设备和存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230410396A1 (en) * 2022-06-17 2023-12-21 Lemon Inc. Audio or visual input interacting with video creation

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160189397A1 (en) * 2014-12-29 2016-06-30 Brian Mullins Sample based color extraction for augmented reality
CN111540032A (zh) * 2020-05-27 2020-08-14 网易（杭州）网络有限公司 基于音频的模型控制方法、装置、介质及电子设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106502606B (zh) * 2016-10-19 2020-04-28 华为机器有限公司 一种显示边缘图像的方法和电子设备
CN109977868A (zh) * 2019-03-26 2019-07-05 深圳市商汤科技有限公司 图像渲染方法及装置、电子设备和存储介质
CN112034984A (zh) * 2020-08-31 2020-12-04 北京字节跳动网络技术有限公司 一种虚拟模型处理方法、装置、电子设备和存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160189397A1 (en) * 2014-12-29 2016-06-30 Brian Mullins Sample based color extraction for augmented reality
CN111540032A (zh) * 2020-05-27 2020-08-14 网易（杭州）网络有限公司 基于音频的模型控制方法、装置、介质及电子设备

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022042290A1 (zh) * 2020-08-31 2022-03-03 北京字节跳动网络技术有限公司 一种虚拟模型处理方法、装置、电子设备和存储介质
US11521341B1 (en) 2021-06-21 2022-12-06 Lemon Inc. Animation effect attachment based on audio characteristics
WO2022271086A1 (en) * 2021-06-21 2022-12-29 Lemon Inc. Rendering virtual articles of clothing based on audio characteristics
WO2022271088A1 (en) * 2021-06-21 2022-12-29 Lemon Inc. Animation effect attachment based on audio characteristics
US11769289B2 (en) 2021-06-21 2023-09-26 Lemon Inc. Rendering virtual articles of clothing based on audio characteristics
WO2023138548A1 (zh) * 2022-01-24 2023-07-27 北京字跳网络技术有限公司 图像处理方法、装置、设备和存储介质

Also Published As

Publication number Publication date
WO2022042290A1 (zh) 2022-03-03
US20230306700A1 (en) 2023-09-28

Similar Documents

Publication Publication Date Title
CN110766777B (zh) 虚拟形象的生成方法、装置、电子设备及存储介质
CN112034984A (zh) 一种虚拟模型处理方法、装置、电子设备和存储介质
CN109584151B (zh) 人脸美化方法、装置、终端及存储介质
US10818081B2 (en) Dynamic lighting for objects in images
JP7038853B2 (ja) 画像処理方法及び装置、電子機器並びにコンピュータ可読記憶媒体
US10182187B2 (en) Composing real-time processed video content with a mobile device
CN111243049B (zh) 人脸图像的处理方法、装置、可读介质和电子设备
CN110062176B (zh) 生成视频的方法、装置、电子设备和计算机可读存储介质
CN110675310A (zh) 视频处理方法、装置、电子设备及存储介质
CN111833461B (zh) 一种图像特效的实现方法、装置、电子设备及存储介质
CN112053370A (zh) 基于增强现实的显示方法、设备及存储介质
CN112785672B (zh) 图像处理方法及装置、电子设备和存储介质
CN113467603A (zh) 音频处理方法、装置、可读介质及电子设备
CN112035041A (zh) 一种图像处理方法、装置、电子设备和存储介质
CN114630057B (zh) 确定特效视频的方法、装置、电子设备及存储介质
CN110807769A (zh) 图像显示控制方法及装置
CN112272296B (zh) 使用深度和虚拟光的视频照亮
CN113570581A (zh) 图像处理方法及装置、电子设备和存储介质
CN110636331B (zh) 用于处理视频的方法和装置
CN110047126B (zh) 渲染图像的方法、装置、电子设备和计算机可读存储介质
CN111818265A (zh) 基于增强现实模型的交互方法、装置、电子设备及介质
WO2022227996A1 (zh) 图像处理方法、装置、电子设备以及可读存储介质
CN116363288A (zh) 目标物的渲染方法、装置、存储介质及计算机设备
CN116527993A (zh) 视频的处理方法、装置、电子设备、存储介质和程序产品
CN114723600A (zh) 美妆特效的生成方法、装置、设备、存储介质和程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination