CN109597481B - Ar虚拟人物绘制方法、装置、移动终端及存储介质 - Google Patents

Abstract

本申请实施例公开了一种AR虚拟人物绘制方法、装置、移动终端及存储介质，该方法包括：通过摄像头捕获真实三维场景画面，依据真实三维场景画面构建增强现实AR场景；获取AR场景中产生的至少一种音效，识别至少一种音效中是否存在目标音效，目标音效由AR场景中的未绘制的虚拟人物产生的音频生成；若存在，获取摄像头在AR场景中的位置，确定音效生成算法；根据虚拟人物产生的音频、目标音效、音效生成算法和摄像头在AR场景中的位置确定虚拟人物在AR场景中的位置；在虚拟人物在AR场景中的位置处绘制虚拟人物。本申请实施例能够提高AR场景中虚拟人物的互动效果。

Description

AR虚拟人物绘制方法、装置、移动终端及存储介质

技术领域

本申请涉及音频技术领域，具体涉及一种AR虚拟人物绘制方法、装置、移动终端及存储介质。

背景技术

增强现实(Augmented Reality，AR)技术，是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息、声音、味道、触觉等)通过模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。目前的AR场景中，AR场景中的虚拟人物是根据特效合成的，其虚拟人物的形象、位置都是按照一定的算法确定的，AR场景中的虚拟人物的互动效果较差。

发明内容

本申请实施例提供了一种AR虚拟人物绘制方法、装置、移动终端及存储介质，能够提高AR场景中虚拟人物的互动效果。

第一方面，本申请实施例提供一种AR虚拟人物绘制方法，包括：

通过摄像头捕获真实三维场景画面，依据所述真实三维场景画面构建增强现实AR场景；

获取所述AR场景中产生的至少一种音效，识别所述至少一种音效中是否存在目标音效，所述目标音效由所述AR场景中的未绘制的虚拟人物产生的音频生成；

若存在，获取所述摄像头在所述AR场景中的位置，确定音效生成算法；根据所述虚拟人物产生的音频、所述目标音效、所述音效生成算法和所述摄像头在所述AR场景中的位置确定所述虚拟人物在所述AR场景中的位置；

在所述虚拟人物在所述AR场景中的位置处绘制所述虚拟人物。

第二方面，本申请实施例提供了一种AR虚拟人物绘制装置，包括：

捕获单元，用于通过摄像头捕获真实三维场景画面；

构建单元，用于依据所述真实三维场景画面构建增强现实AR场景；

第一获取单元，用于获取所述AR场景中产生的至少一种音效；

识别单元，用于识别所述至少一种音效中是否存在目标音效，所述目标音效由所述AR场景中的未绘制的虚拟人物产生的音频生成；

第二获取单元，用于在所述识别单元识别到所述至少一种音效中存在所述目标音效时，获取所述摄像头在所述AR场景中的位置；

确定单元，用于确定音效生成算法，根据所述虚拟人物产生的音频、所述目标音效、所述音效生成算法和所述摄像头在所述AR场景中的位置确定所述虚拟人物在所述AR场景中的位置；

绘制单元，用于在所述虚拟人物在所述AR场景中的位置处绘制所述虚拟人物。

第三方面，本申请实施例提供一种移动终端，包括处理器、存储器，所述存储器用于存储一个或多个程序，所述一个或多个程序被配置成由所述处理器执行，上述程序包括用于执行本申请实施例第一方面中的步骤的指令。

第四方面，本申请实施例提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，上述计算机程序使得计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。

第五方面，本申请实施例提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。

可以看出，本申请实施例中所描述的AR虚拟人物绘制方法，移动终端通过摄像头捕获真实三维场景画面，依据真实三维场景画面构建增强现实AR场景；获取AR场景中产生的至少一种音效，识别至少一种音效中是否存在目标音效，目标音效由AR场景中的未绘制的虚拟人物产生的音频生成；若存在，获取摄像头在AR场景中的位置，确定音效生成算法；根据虚拟人物产生的音频、目标音效、音效生成算法和摄像头在AR场景中的位置确定虚拟人物在AR场景中的位置；在虚拟人物在AR场景中的位置处绘制虚拟人物。本申请实施例可以在识别出目标音效后，根据音效生成算法反推出目标音效对应的未绘制的虚拟人物在AR场景中的准确位置，能够在AR场景中根据虚拟人物的音效在准确的位置绘制虚拟人物，提高AR场景中虚拟人物的互动效果。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例公开的一种AR虚拟人物绘制方法的流程示意图；

图2是本申请实施例公开的一种音频信号模拟传输的示意图；

图3是本申请实施例中公开的一种虚拟人物在AR场景中的位置确定原理示意图；

图4是本申请实施例公开的另一种AR虚拟人物绘制方法的流程示意图；

图5是本申请实施例公开的一种AR虚拟人物绘制装置的结构示意图；

图6是本申请实施例公开的一种移动终端的结构示意图；

图7是本申请实施例公开的又一种移动终端的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

本申请实施例所涉及到的移动终端可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其他处理设备，以及各种形式的用户设备(User Equipment，UE)，移动台(Mobile Station，MS)，终端设备(terminaldevice)等等。为方便描述，上面提到的设备统称为移动终端。

下面对本申请实施例进行详细介绍。

请参阅图1，图1是本申请实施例公开的一种AR虚拟人物绘制方法的流程示意图，如图1所示，该AR虚拟人物绘制方法包括如下步骤。

101，移动终端通过摄像头捕获真实三维场景画面，依据真实三维场景画面构建增强现实AR场景。

本申请实施例中，移动终端可以包括摄像头、显示器和扬声器。其中，摄像头用于实时捕获真实三维场景画面，真实三维场景画面可以是封闭的室内，也可以是开阔的室外。显示器用于显示AR场景对应的AR画面。扬声器用于输出AR场景中的音效。移动终端可以包括手机、平板电脑等具有AR功能的设备，也可以包括AR眼镜、AR头盔等专用AR设备。

其中，AR场景是在真实三维场景画面的基础上构建的。AR场景可以在真实三维场景画面的基础上增加多个显示控件，该显示控件可以用于调用不同的虚拟人物，以及用于调节虚拟人物的显示效果，以及调节虚拟人物的位置，以及用于是否开启虚拟人物的三维(3Dimensions，3D)音效。

102，移动终端获取AR场景中产生的至少一种音效，识别至少一种音效中是否存在目标音效，目标音效由AR场景中的未绘制的虚拟人物产生的音频生成。

本申请实施例中，当AR场景构建好之后，用户可以依据需要调用AR虚拟人物在AR场景中显示。由于虚拟人物的绘制需要一定的时间，在绘制虚拟人物之前，虚拟人物产生的音频可以先于虚拟人物的形象出来。如果开启虚拟人物的3D音效，则移动终端的扬声器会输出经过3D音效生成算法生成的音效。用户也可以随机调用一个AR虚拟人物在AR场景中显示，此时出来的音效为随机选择的虚拟人物的音效。

AR场景中不仅有虚拟人物的音效，还可以包括背景音乐的音效、虚拟动物的音效、虚拟物体产生的音效等。虚拟人物可以是游戏中的虚拟人物，也可以是影视作品(比如，动漫)中的虚拟人物，也可以是文学作品中的虚拟人物。

由于不同类型的虚拟人物，其产生的音频具有不同的频率特征。虚拟人物可以作为音频播放端，摄像头可以作为音频接收端。移动终端获取AR场景中产生的至少一种音效，是在摄像头作为视角的基础上接收的至少一种音效，移动终端接收到音效后，可以通过分析音效的频率特征来识别该音效是由哪种类型的虚拟人物产生的音频生成的。

目标音效可以预先进行设定，设定哪种音效为需要识别的目标音效，识别目标音效是为了寻找虚拟人物。虚拟人物的数量可以为一个或多个，目虚拟人物的数量可以依据AR场景来确定。

在AR场景中，在真实三维场景中，音频播放端在进行语音/音频播放时。对于音频接收端而言，其接收到的音频信号除了音频播放端直接传递过来的直达声信号外，还包含了经过各种复杂物理反射后的反射声信号。反射声信号要延迟于直达声信号到达，并且由于物理反射作用其能量要发生衰减。并且AR场景不同，反射声的延迟及能量衰减会有较大的差异，从而造成音频接收端的听觉的不同。因此，对于不同的AR场景，可以采用不同的混响音效算法来进行音效处理。

如图2所示。图2是本申请实施例公开的一种音频信号模拟传输的示意图。图2中的音频播放端产生的音频信号可以通过直达和反射的方式到达音频接收端，从而在音频接收端形成混响效果。图2中示例了两种反射路径，第一反射路径经过两次反射到达音频接收端，第二反射路径经过一次反射到达音频接收端。图2仅为一种音频信号传输的示例，音频信号可以经过1次、2次以及2次以上的多条反射路径反射到达音频接收端。AR场景的不同，其反射的次数、反射的路径也不相同。无论音频信号是直达还是反射，其都会有一定程度的衰减，衰减系数依据路径的距离、反射的次数、传输的介质以及反射点的材质来确定。

可选的，步骤102中，移动终端识别至少一种音效中是否存在目标音效，包括如下步骤：

(11)移动终端获取虚拟人物产生的音频特征；

(12)移动终端识别至少一种音效中是否存在与上述音频特征匹配的音效；

(13)若存在，移动终端确定至少一种音效中与音频特征匹配的音效为目标音效。

本申请实施例中，音频特征包括幅频特性，即音频的频率特征和振幅特征。虚拟人物产生的音频一般具有固定的频率特征和振幅特征，频率和振幅在一定幅度内变化，频率和幅度还具有相关性，即不同频率点对应的幅度特性也不一定相同。

移动终端识别至少一种音效中是否存在与上述音频特征匹配的音效，具体为：移动终端获取至少一种音效中每种音效的音频特征，计算每种音效的音频特性与虚拟人物产生的音频特征的相似度，当至少一种音效中存在相似度大于预设相似度阈值的音效时，则确定至少一种音效中相似度大于预设相似度阈值的音效为目标音效，将上述相似度大于预设相似度阈值的音效作为目标音效。

本申请实施例可以根据音频特征的相似度来识别至少一种音效中是否存在目标音效，由于音频特征的识别准确的较高，可以准确的识别至少一种音效中是否存在目标音效。

103，若存在，移动终端获取摄像头在AR场景中的位置，确定音效生成算法。

本申请实施例中，移动终端可以根据摄像头捕获的真实三维场景画面来确定摄像头在AR场景中的位置。具体的，移动终端可以旋转摄像头，以使摄像头能够拍摄完整的三维场景。完整的三维场景，指的是360°或720°全景拍摄的三维场景。移动终端根据全景拍摄的三维场景确定摄像头在AR场景中的位置。

音效生成算法可以根据真实三维场景画面中的场景来确定。比如，室内场景对应的音效生成算法与室外场景对应的音效生成算法不相同。

可选的，步骤103中，移动终端确定音效生成算法，具体包括如下步骤：

移动终端获取AR场景对应的场景数据，获取虚拟人物的类型；

移动终端基于场景数据和虚拟人物的类型确定音效生成算法。

本申请实施例中，音效生成算法与AR场景对应的场景数据和虚拟人物的类型相关。场景数据可以包括构建AR场景的真实三维场景的几何大小(比如，建筑物的长度、宽度、高度、空间体积、空间的长宽高等参数)、真实三维场景的材质(比如，建筑物中的地板、墙面、天花板的材质)等。虚拟人物的类型可以包括虚拟动漫人物、虚拟游戏人物等。

移动终端基于场景数据和虚拟人物的类型确定音效生成算法，具体为：

移动终端根据类型与音效算法模型的对应关系确定与该虚拟人物的类型对应的音效算法模型；

移动终端基于场景数据确定该音效算法模型的算法参数；

基于该虚拟人物的类型对应的音效算法模型和该音效算法模型的算法参数确定音效生成算法。

比如，虚拟动漫人物对应的音效算法模型与虚拟游戏人物对应的音效算法模型不相同。

104，移动终端根据虚拟人物产生的音频、目标音效、音效生成算法和摄像头在AR场景中的位置确定虚拟人物在AR场景中的位置。

本申请实施例中，如果移动终端识别到了目标音效，由于目标音效是基于音效生成算法、虚拟人物产生的音频、摄像头在AR场景中的位置、虚拟人物在AR场景中的位置确定的。如果移动终端确定了虚拟人物产生的音频、目标音效、摄像头在AR场景中的位置，即可反推出虚拟人物在AR场景中的位置。

其中，虚拟人物产生的音频可以由AR开发者预先设定，音效生成算法可以根据AR场景对应的场景数据和虚拟人物的类型确定，目标音效可以直接获取，摄像头在AR场景中的位置可以根据全景拍摄的三维场景确定。

可选的，若上述至少一种音效中不存在目标音效，则可以继续执行步骤102。

下面以图3为例，阐述虚拟人物在AR场景中的位置确定方法。图3是本申请实施例中公开的一种虚拟人物在AR场景中的位置确定原理示意图。如图3所示，虚拟人物发出的音频信号经过三条路径到达摄像头所在的位置后，在摄像头所在的位置形成混响音效，该混响音效P＝S1*R1+S2*R2+S3*R3，其中，S1为第一反射路径的衰减系数、S2为第二反射路径的衰减系数、S3为第三反射路径的衰减系数、R1为沿第一反射路径发射的第一初始音频信号、R2为沿第二反射路径发射的第二初始音频信号、R3为沿直达路径发射的第三初始音频信号。第一反射路径经过第一反射面，S1与第一反射面的材质、AR场景中默认的传播介质以及第一反射路径的路径长度相关，第二反射路径经过第二反射面，S2与第二反射面的材质、AR场景中默认的传播介质以及第二反射路径的路径长度相关。S3与AR场景中默认的传播介质以及直达路径的长度相关。R1、R2和R3与虚拟人物发出的音频信号的声场在真实三维空间的空间分布相关。当第一反射面的材质、AR场景中默认的传播介质确定的情况下，第一反射路径的路径长度越大，则S1越小；当第二反射面的材质、AR场景中默认的传播介质确定的情况下，第二反射路径的路径长度越大，则S2越小；当AR场景中默认的传播介质确定的情况下，直达路径的长度越大，则S3越小。

其中，在AR场景确定的情况下，虚拟人物发出的音频信号的声场在真实三维空间的空间分布也是确定的，第一反射面的材质和第二反射面的材质也是确定的，则可以确定R1、R2和R3的大小，AR场景中默认的传播介质也可以确定下来，则会留下三个变量，即第一反射路径的路径长度、第二反射路径的长度以及第三反射路径的长度。可以在短时间内连续在摄像头所在的位置处连续三次获取AR场景中产生的目标音效，得到三个方程式，三个方程式中的变量为S1、S2和S3，而三个方程式中的R1、R2、R3和P都确定且不相同(因为虚拟人物发出的初始音频随时间变化在强度、频率分布上都会发生变化)，则可以通过三元一次方程组解得S1、S2和S3，进而根据S1、S2和S3计算第一反射路径的路径长度、第二反射路径的长度以及第三反射路径的长度，根据这三条路径的长度确定虚拟人物相对于摄像头的位置。由于是短时间内连续获取三组参数，虚拟人物相对于摄像头的位置几乎不变，则S1、S2和S3几乎保持不变。

上述混响音效算法(混响音效P＝S1*R1+S2*R2+S3*R3)仅为一种可能的示例，依据AR场景的不同、虚拟人物产生的音效不同，混响音效算法还可以通过其他的方式实现，此处不再赘述。

105，移动终端在虚拟人物在AR场景中的位置处绘制虚拟人物。

本申请实施例中，在步骤104中确定了虚拟人物在AR场景中的位置之后，移动终端可以在虚拟人物在AR场景中的位置处绘制虚拟人物的形象。移动终端的显示器可以显示AR场景中的虚拟人物。移动终端可以依据预先设置好的人物模型来绘制虚拟人物。虚拟人物可以具有动画效果。

本申请实施例中，可以在识别出目标音效后，根据音效生成算法反推出目标音效对应的未绘制的虚拟人物在AR场景中的准确位置，能够在AR场景中根据虚拟人物的音效在准确的位置绘制虚拟人物，提高AR场景中虚拟人物的互动效果。

请参阅图4，图4是本申请实施例公开的另一种AR虚拟人物绘制方法的流程示意图，图4是在图1的基础上进一步优化得到的。如图4所示，该AR虚拟人物绘制方法包括如下步骤。

401，移动终端通过摄像头捕获真实三维场景画面，依据真实三维场景画面构建增强现实AR场景。

402，移动终端获取AR场景中产生的至少一种音效，识别至少一种音效中是否存在目标音效，目标音效由AR场景中的未绘制的虚拟人物产生的音频生成。

403，若存在，移动终端获取摄像头在AR场景中的位置，确定音效生成算法。

404，移动终端根据虚拟人物产生的音频、目标音效、音效生成算法和摄像头在AR场景中的位置确定虚拟人物在AR场景中的位置。

405，移动终端在虚拟人物在AR场景中的位置处绘制虚拟人物。

本申请实施例中的步骤401至步骤405的具体实施可以参见图1所示的步骤101至步骤105，此处不再赘述。

406，当虚拟人物在AR场景中的位置发生变化，并且AR场景未发生变化时，移动终端根据虚拟人物在AR场景中的位置变化调整虚拟人物对应的音效。

407，当AR场景发生变化时，移动终端根据AR场景的变化调整虚拟人物对应的音效。

本申请实施例中，当用户手持移动终端移动时，摄像头捕获的真实三维场景画面可能会发生变化，相应的AR场景也可能会发生变化。比如，用户手持移动终端从一个房间进入另一个房间时，AR场景会发生变化。当用户手持移动终端移动时，虚拟人物在AR场景中的位置也可能会发生变化。当用户点击AR场景中的显示控件来调节虚拟人物的位置时，虚拟人物在AR场景中的位置会发生变化。当用户手持移动终端移动时，虚拟人物在AR场景中的位置可能会发生变化。

当虚拟人物在AR场景中的位置发生变化时，虚拟人物在AR场景中的位置与摄像头之间的相对位置关系会发生变化，虚拟人物产生的音频传播到摄像头的混响音效效果也会发生变化，因此，移动终端需要根据虚拟人物在AR场景中的位置变化调整虚拟人物对应的音效，可以通过音效变化增加用户与AR场景中虚拟人物的互动效果。可选的，用户可以发送语音互动指令，虚拟人物可以根据语音互动指令在AR场景中移动，从而出现不同的互动音效，增加用户与AR场景中虚拟人物的互动效果。

当AR场景发生变化时，虚拟人物在AR场景中的位置必然会发生变化，对应的音效生成算法中的参数也会发生相应的变化，虚拟人物产生的音频传播到摄像头的混响音效效果也会发生变化，因此，移动终端需要根据AR场景的变化以及虚拟人物在新的AR场景中的位置重新调整虚拟人物对应的音效，可以通过音效变化增加用户与AR场景中虚拟人物的互动效果。

可选的，步骤406中，移动终端根据虚拟人物在AR场景中的位置变化调整虚拟人物对应的音效，具体包括如下步骤：

若虚拟人物在AR场景中的位置从第一位置变为第二位置时，移动终端根据虚拟人物产生的音频、音效生成算法、摄像头在AR场景中的位置、第二位置重新确定虚拟人物对应的音效。

本申请实施例中，当虚拟人物在AR场景中的位置从第一位置变为第二位置时，虚拟人物产生的音频到摄像头的直达路径以及反射路径都会发生变化，因此音效生成算法中的参数会发生相应的变化，虚拟人物产生的音频传播到摄像头的混响音效效果也会发生变化，移动终端可以根据虚拟人物产生的音频、音效生成算法、摄像头在AR场景中的位置、第二位置重新确定虚拟人物对应的音效。本申请实施例可以在虚拟人物在AR场景中的位置发生变化时，及时调整虚拟人物对应的音效，可以通过音效变化增加用户与AR场景中虚拟人物的互动效果。用户可以在手持移动终端移动的情况下，通过改变虚拟人物在AR场景中的位置，来改变AR场景中虚拟人物的音效，从而增加用户与AR场景中虚拟人物的互动效果。

可选的，步骤407中，移动终端根据AR场景的变化调整虚拟人物对应的音效，具体包括如下步骤：

(21)若虚拟人物所在的AR场景从第一AR场景变为第二AR场景时，移动终端获取虚拟人物在第二AR场景中的位置，获取第二AR场景对应的场景数据，基于第二AR场景对应的场景数据和虚拟人物的类型重新确定新的音效生成算法；

(22)移动终端根据虚拟人物产生的音频、新的音效生成算法、摄像头在第二AR场景中的位置、虚拟人物在第二AR场景中的位置重新确定虚拟人物对应的音效。

本申请实施例中，当虚拟人物在AR场景从第一AR场景变为第二AR场景时，对应的音效生成算法中的参数也会发生相应的变化，虚拟人物产生的音频传播到摄像头的混响音效效果也会发生变化，因此，移动终端根据虚拟人物产生的音频、新的音效生成算法、摄像头在第二AR场景中的位置、虚拟人物在第二AR场景中的位置重新确定虚拟人物对应的音效。本申请实施例可以在AR场景发生变化时，及时调整虚拟人物对应的音效，可以通过音效变化增加用户与AR场景中虚拟人物的互动效果。

其中，移动终端可以根据摄像头拍摄的场景画面来分析移动终端所在的AR场景是否发生变化。具体的，可以通过场景画面中的元素(比如，场景画面中的建筑物、植物、车辆、道路等)来分析移动终端所在的AR场景是否发生变化。若从第一AR场景变为第二AR场景，移动终端可以根据摄像头全景拍摄的三维场景确定摄像头在第二AR场景中的位置。

其中，移动终端基于第二AR场景对应的场景数据和虚拟人物的类型重新确定新的音效生成算法的具体实施方式可以参见图1中步骤103的描述，步骤(22)的具体实施方式可以参见图1中步骤104的描述，此处不再赘述。上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是，移动终端为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本发明能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

本申请实施例可以根据上述方法示例对移动终端进行功能单元的划分，例如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

请参阅图5，图5是本申请实施例公开的一种AR虚拟人物绘制装置的结构示意图。如图5所示，该AR虚拟人物绘制装置500包括捕获单元501、构建单元502、第一获取单元503、识别单元504、第二获取单元505、确定单元506和绘制单元507，其中：

捕获单元501，用于通过摄像头捕获真实三维场景画面；

构建单元502，用于依据真实三维场景画面构建增强现实AR场景；

获取单元503，用于获取AR场景中产生的至少一种音效；

识别单元504，用于识别至少一种音效中是否存在目标音效，目标音效由AR场景中的未绘制的虚拟人物产生的音频生成；

第二获取单元505，用于在识别单元504识别到至少一种音效中存在目标音效时，获取摄像头在AR场景中的位置；

确定单元506，用于确定音效生成算法，根据虚拟人物产生的音频、目标音效、音效生成算法和摄像头在AR场景中的位置确定虚拟人物在AR场景中的位置；

绘制单元507，用于在虚拟人物在AR场景中的位置处绘制虚拟人物。

可选的，识别单元504识别至少一种音效中是否存在目标音效，具体为：获取虚拟人物产生的音频特征；识别至少一种音效中是否存在与音频特征匹配的音效；若存在，则确定至少一种音效中与音频特征匹配的音效为目标音效。

可选的，确定单元506确定音效生成算法，具体为：获取AR场景对应的场景数据；获取虚拟人物的类型；基于场景数据和虚拟人物的类型确定音效生成算法。

可选的，该AR虚拟人物绘制装置500还可以包括调整单元508。

调整单元508，用于当虚拟人物在AR场景中的位置发生变化，并且AR场景未发生变化时，根据虚拟人物在AR场景中的位置变化调整虚拟人物对应的音效；

调整单元508，还用于当AR场景发生变化时，根据AR场景的变化调整虚拟人物对应的音效。

可选的，调整单元508根据虚拟人物在AR场景中的位置变化调整虚拟人物对应的音效，具体为：若虚拟人物在AR场景中的位置从第一位置变为第二位置时，根据虚拟人物产生的音频、音效生成算法、摄像头在AR场景中的位置、第二位置重新确定虚拟人物对应的音效。

可选的，调整单元508根据AR场景的变化调整虚拟人物对应的音效，具体为：若虚拟人物所在的AR场景中从第一AR场景变为第二AR场景时，获取虚拟人物在第二AR场景中的位置，获取第二AR场景对应的场景数据，基于第二AR场景对应的场景数据和虚拟人物的类型重新确定新的音效生成算法；根据虚拟人物产生的音频、新的音效生成算法、摄像头在第二AR场景中的位置、虚拟人物在第二AR场景中的位置重新确定虚拟人物对应的音效。

可选的，AR场景对应的场景数据包括真实三维场景的空间几何参数和真实三维场景的构成材质参数。

其中，捕获单元501具体可以为移动终端中的摄像头，构建单元502、第一获取单元503、识别单元504、第二获取单元505、确定单元506、绘制单元507、调整单元508具体可以为移动终端中的处理器。

实施图5所示的AR虚拟人物绘制装置，可以在识别出目标音效后，根据音效生成算法反推出目标音效对应的未绘制的虚拟人物在AR场景中的准确位置，能够在AR场景中根据虚拟人物的音效在准确的位置绘制虚拟人物，提高AR场景中虚拟人物的互动效果。

请参阅图6，图6是本申请实施例公开的一种移动终端的结构示意图。如图6所示，该移动终端600包括处理器601和存储器602，其中，移动终端600还可以包括总线603，处理器601和存储器602可以通过总线603相互连接，总线603可以是外设部件互连标准(Peripheral Component Interconnect，简称PCI)总线或扩展工业标准结构(ExtendedIndustry Standard Architecture，简称EISA)总线等。总线603可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。其中，移动终端600还可以包括输入输出设备604，输入输出设备604可以包括显示屏，例如液晶显示屏。存储器602用于存储包含指令的一个或多个程序；处理器601用于调用存储在存储器602中的指令执行上述图1至图4中的部分或全部方法步骤。

实施图6所示的移动终端，可以在识别出目标音效后，根据音效生成算法反推出目标音效对应的未绘制的虚拟人物在AR场景中的准确位置，能够在AR场景中根据虚拟人物的音效在准确的位置绘制虚拟人物，提高AR场景中虚拟人物的互动效果。

本申请实施例还提供了另一种移动终端，如图7所示，为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请实施例方法部分。该移动终端可以为包括手机、平板电脑、PDA(Personal Digital Assistant，个人数字助理)、POS(Point of Sales，销售终端)、车载电脑等任意终端设备，以移动终端为手机为例：

图7示出的是与本申请实施例提供的移动终端相关的手机的部分结构的框图。参考图7，手机包括：射频(Radio Frequency，RF)电路910、存储器920、输入单元930、显示单元940、传感器950、音频电路960、无线保真(Wireless Fidelity，WiFi)模块970、处理器980、以及电源990等部件。本领域技术人员可以理解，图7中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

下面结合图7对手机的各个构成部件进行具体的介绍：

RF电路910可用于信息的接收和发送。通常，RF电路910包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low Noise Amplifier，LNA)、双工器等。此外，RF电路910还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(Global System of Mobilecommunication，GSM)、通用分组无线服务(General Packet Radio Service，GPRS)、码分多址(Code Division Multiple Access，CDMA)、宽带码分多址(Wideband Code DivisionMultiple Access,WCDMA)、长期演进(Long Term Evolution，LTE)、电子邮件、短消息服务(Short Messaging Service，SMS)等。

存储器920可用于存储软件程序以及模块，处理器980通过运行存储在存储器920的软件程序以及模块，从而执行手机的各种功能应用以及数据处理。存储器920可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据手机的使用所创建的数据等。此外，存储器920可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

输入单元930可用于接收输入的数字或字符信息，以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地，输入单元930可包括指纹识别模组931以及其他输入设备932。指纹识别模组931，可采集用户在其上的指纹数据。除了指纹识别模组931，输入单元930还可以包括其他输入设备932。具体地，其他输入设备932可以包括但不限于触控屏、物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。

显示单元940可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元940可包括显示屏941，可选的，可以采用液晶显示器(Liquid CrystalDisplay，LCD)、有机或无机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示屏941。

手机还可包括至少一种传感器950，比如光传感器、运动传感器、压力传感器、温度传感器以及其他传感器。具体地，光传感器可包括环境光传感器(也称为光线传感器)及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节手机的背光亮度，进而调节显示屏941的亮度，接近传感器可在手机移动到耳边时，关闭显示屏941和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

音频电路960、扬声器961，传声器962可提供用户与手机之间的音频接口。音频电路960可将接收到的音频数据转换后的电信号，传输到扬声器961，由扬声器961转换为声音信号播放；另一方面，传声器962将收集的声音信号转换为电信号，由音频电路960接收后转换为音频数据，再将音频数据播放处理器980处理后，经RF电路910以发送给比如另一手机，或者将音频数据播放至存储器920以便进一步处理。

WiFi属于短距离无线传输技术，手机通过WiFi模块970可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图7示出了WiFi模块970，但是可以理解的是，其并不属于手机的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。

处理器980是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器920内的软件程序和/或模块，以及调用存储在存储器920内的数据，执行手机的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器980可包括一个或多个处理单元；优选的，处理器980可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器980中。

手机还包括给各个部件供电的电源990(比如电池)，优选的，电源可以通过电源管理系统与处理器980逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

手机还可以包括摄像头9100，摄像头9100用于拍摄图像与视频，并将拍摄的图像和视频传输到处理器980进行处理。

手机还可以蓝牙模块等，在此不再赘述。

前述图1～图4所示的实施例中，各步骤方法流程可以基于该手机的结构实现。

本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任何一种AR虚拟人物绘制方法的部分或全部步骤。

本申请实施例还提供一种计算机程序产品，该计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，该计算机程序可操作来使计算机执行如上述方法实施例中记载的任何一种AR虚拟人物绘制方法的部分或全部步骤。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。

以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种AR虚拟人物绘制方法，其特征在于，包括：

通过摄像头捕获真实三维场景画面，依据所述真实三维场景画面构建增强现实AR场景；

获取所述AR场景中产生的至少一种音效，识别所述至少一种音效中是否存在目标音效，所述目标音效由所述AR场景中的未绘制的虚拟人物产生的音频生成；

若存在，获取所述摄像头在所述AR场景中的位置，确定音效生成算法；

根据所述虚拟人物产生的音频、所述目标音效、所述音效生成算法和所述摄像头在所述AR场景中的位置确定所述虚拟人物在所述AR场景中的位置；

在所述虚拟人物在所述AR场景中的位置处绘制所述虚拟人物；

其中，所述确定音效生成算法，包括：

获取所述AR场景对应的场景数据，获取所述虚拟人物的类型；基于所述场景数据和所述虚拟人物的类型确定音效生成算法；

其中，所述AR场景对应的场景数据包括所述真实三维场景的空间几何参数和所述真实三维场景的构成材质参数；

其中，基于所述场景数据和所述虚拟人物的类型确定音效生成算法，具体包括：

根据类型与音效算法模型的对应关系，确定所述该虚拟人物的类型对应的音效算法模型；基于场景数据确定所述音效算法模型的算法参数；基于所述虚拟人物的类型对应的音效算法模型和所述音效算法模型的算法参数确定音效生成算法；其中，虚拟动漫人物对应的音效算法模型与虚拟游戏人物对应的音效算法模型不相同。

2.根据权利要求1所述的方法，其特征在于，所述识别所述至少一种音效中是否存在目标音效，包括：

获取所述虚拟人物产生的音频特征；识别所述至少一种音效中是否存在与所述音频特征匹配的音效；若存在，则确定所述至少一种音效中与所述音频特征匹配的音效为目标音效。

3.根据权利要求1所述的方法，其特征在于，所述在所述虚拟人物在所述AR场景中的位置处绘制所述虚拟人物之后，所述方法还包括：

当所述虚拟人物在所述AR场景中的位置发生变化，并且所述AR场景未发生变化时，根据所述虚拟人物在所述AR场景中的位置变化调整所述虚拟人物对应的音效；

当所述AR场景发生变化时，根据所述AR场景的变化调整所述虚拟人物对应的音效。

4.根据权利要求3所述的方法，其特征在于，所述根据所述虚拟人物在所述AR场景中的位置变化调整所述虚拟人物对应的音效，包括：

若所述虚拟人物在所述AR场景中的位置从第一位置变为第二位置时，根据所述虚拟人物产生的音频、所述音效生成算法、所述摄像头在所述AR场景中的位置、所述第二位置重新确定所述虚拟人物对应的音效。

5.根据权利要求3所述的方法，其特征在于，所述根据所述AR场景的变化调整所述虚拟人物对应的音效，包括：

若所述虚拟人物所在的AR场景中从第一AR场景变为第二AR场景时，获取所述虚拟人物在所述第二AR场景中的位置，获取所述第二AR场景对应的场景数据，基于所述第二AR场景对应的场景数据和所述虚拟人物的类型重新确定新的音效生成算法；

根据所述虚拟人物产生的音频、所述新的音效生成算法、所述摄像头在所述第二AR场景中的位置、所述虚拟人物在所述第二AR场景中的位置重新确定所述虚拟人物对应的音效。

6.一种AR虚拟人物绘制装置，其特征在于，包括：

捕获单元，用于通过摄像头捕获真实三维场景画面；

构建单元，用于依据所述真实三维场景画面构建增强现实AR场景；

第一获取单元，用于获取所述AR场景中产生的至少一种音效；

识别单元，用于识别所述至少一种音效中是否存在目标音效，所述目标音效由所述AR场景中的未绘制的虚拟人物产生的音频生成；

第二获取单元，用于在所述识别单元识别到所述至少一种音效中存在所述目标音效时，获取所述摄像头在所述AR场景中的位置；

确定单元，用于确定音效生成算法，根据所述虚拟人物产生的音频、所述目标音效、所述音效生成算法和所述摄像头在所述AR场景中的位置确定所述虚拟人物在所述AR场景中的位置；

绘制单元，用于在所述虚拟人物在所述AR场景中的位置处绘制所述虚拟人物；

其中，所述确定音效生成算法，包括：

获取所述AR场景对应的场景数据，获取所述虚拟人物的类型；基于所述场景数据和所述虚拟人物的类型确定音效生成算法；

其中，所述AR场景对应的场景数据包括所述真实三维场景的空间几何参数和所述真实三维场景的构成材质参数；

其中，基于所述场景数据和所述虚拟人物的类型确定音效生成算法，具体包括：

根据类型与音效算法模型的对应关系，确定所述该虚拟人物的类型对应的音效算法模型；基于场景数据确定所述音效算法模型的算法参数；基于所述虚拟人物的类型对应的音效算法模型和所述音效算法模型的算法参数确定音效生成算法；其中，虚拟动漫人物对应的音效算法模型与虚拟游戏人物对应的音效算法模型不相同。

7.一种移动终端，其特征在于，包括处理器以及存储器，所述存储器用于存储一个或多个程序，所述一个或多个程序被配置成由所述处理器执行以实现如权利要求1-5任一项所述的方法。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-5任一项所述的方法。

Images