CN110069126B

CN110069126B - 虚拟对象的控制方法和装置

Info

Publication number: CN110069126B
Application number: CN201811368720.8A
Authority: CN
Inventors: 罗国中
Original assignee: Beijing Microlive Vision Technology Co Ltd
Current assignee: Tiktok Technology Co ltd
Priority date: 2018-11-16
Filing date: 2018-11-16
Publication date: 2023-11-03
Anticipated expiration: 2038-11-16
Also published as: CN110069126A

Abstract

本公开公开了一种虚拟对象的控制方法、装置、电子设备和计算机可读存储介质。其中该虚拟对象的控制方法包括：获取视频，所述视频中包括虚拟对象和人手；识别所述人手的动作；响应于识别到所述人手的第一动作，控制所述虚拟对象转换到第一状态；响应于识别到所述人手的第二动作，控制所述虚拟对象从第一状态转换到第二状态。本公开实施例通过人手动作的连续变化控制虚拟对象的连续变化，解决了现有技术中的虚拟对象的控制不灵活的技术问题。

Description

虚拟对象的控制方法和装置

技术领域

本公开涉及图像处理领域，尤其涉及一种虚拟对象的控制方法、装置、电子设备及计算机可读存储介质。

背景技术

随着计算机技术的发展，智能终端的应用范围得到了广泛的提高，例如可以通过智能终端听音乐、玩游戏、上网聊天和拍照等。对于智能终端的拍照技术来说，其拍照像素已经达到千万像素以上，具有较高的清晰度和媲美专业相机的拍照效果。

目前在采用智能终端进行拍照时，不仅可以使用出厂时内置的拍照软件实现传统功能的拍照效果，还可以通过从网络端下载应用程序(Appl ication，简称为：APP)来实现具有附加功能的拍照效果，例如可以实现暗光检测、美颜相机和超级像素等功能的APP。智能终端的美颜功能通常包括肤色调整、磨皮、大眼和瘦脸等美颜处理效果，能对图像中已识别出的所有人脸进行相同程度的美颜处理。目前也有APP可以实现简单的显示虚拟对象的功能，比如在屏幕的固定位置显示一个固定的虚拟对象，虚拟对象可以做一些简单的动作。

然而目前的虚拟对象，只能在固定的位置固定的时间显示，如果需要改变虚拟的显示属性，需要直接对虚拟对象本身进行修改或者需要通过控件对虚拟对象进行控制，因此虚拟对象的控制很不灵活。

发明内容

第一方面，本公开实施例提供一种虚拟对象的控制方法，包括：获取视频，所述视频中包括虚拟对象和人手；识别所述人手的动作；响应于识别到所述人手的第一动作，控制所述虚拟对象转换到第一状态；响应于识别到所述人手的第二动作，控制所述虚拟对象从第一状态转换到第二状态。

进一步的，所述识别所述人手的动作，包括：根据所述人手的关键点，识别所述人手的手势。

进一步的，所述响应于识别到所述人手的第一动作，控制所述虚拟对象转换到第一状态，包括：当识别到所述人手动作为预先设定的第一动作，读取与所述第一动作对应的虚拟对象的配置参数；根据所述虚拟对象的配置参数将所述虚拟对象转换到第一状态。

进一步的，所述响应于识别到所述人手的第二动作，控制所述虚拟对象从第一状态转换到第二状态，包括：当识别到所述人手动作为预先设定的第二动作，读取与所述第二动作对应的虚拟对象的配置参数；根据所述虚拟对象的配置参数将所述虚拟对象从第一状态转换到第二状态。

进一步的，在所述识别所述人手的动作之前，还包括：读取配置文件，所述配置文件中包括所述人手的动作与虚拟对象的配置参数的关联关系。

进一步的，所述虚拟对象包括第一虚拟对象和第二虚拟对象，所述响应于识别到所述人手的第一动作，控制所述虚拟对象转换到第一状态，包括：响应于识别到所述人手的第一动作，控制所述第一虚拟对象转换到第一虚拟对象的第一状态，控制所述第二虚拟对象转换到第二虚拟对象的第一状态。

进一步的，所述响应于识别到所述人手的第二动作，控制所述虚拟对象从第一状态转换到第二状态，包括：响应于识别到所述人手的第二动作，控制所述第一虚拟对象从第一虚拟对象的第一状态转换到第一虚拟对象的第二状态，控制所述第二虚拟对象从第二虚拟对象的第一状态转换到第二虚拟对象的第二状态。

进一步的，所述第一虚拟对象的第二状态和第二虚拟对象的第二状态相关联。

进一步的，所述第一虚拟对象的第二状态和第二虚拟对象的第二状态相关联，包括：所述第一虚拟对象的第二状态和第二虚拟对象的第二状态相互作用，生成第一虚拟对象和第二虚拟对象的动画。

进一步的，所述虚拟对象的配置参数，包括：虚拟对象的显示位置、显示颜色、显示大小以及序列帧中的一个或多个。第二方面，本公开实施例提供一种虚拟对象的控制装置，包括：

视频获取模块，用于获取视频，所述视频中包括虚拟对象和人手；

动作识别模块，用于识别所述人手的动作；

第一控制模块，用于响应于识别到所述人手的第一动作，控制所述虚拟对象转换到第一状态；

第二控制模块，用于响应于识别到所述人手的第二动作，控制所述虚拟对象从第一状态转换到第二状态。

进一步的，所述动作识别模块，用于根据所述人手的关键点，识别所述人手的手势。

进一步的，所述第一控制模块，用于当识别到所述人手动作为预先设定的第一动作，读取与所述第一动作对应的虚拟对象的配置参数；根据所述虚拟对象的配置参数将所述虚拟对象转换到第一状态。

进一步的，所述第二控制模块，用于当识别到所述人手动作为预先设定的第二动作，读取与所述第二动作对应的虚拟对象的配置参数；根据所述虚拟对象的配置参数将所述虚拟对象从第一状态转换到第二状态。

进一步的，所述虚拟对象的控制装置还包括：配置文件读取模块，用于读取配置文件，所述配置文件中包括所述人手的动作与虚拟对象的配置参数的关联关系。

进一步的，所述虚拟对象包括第一虚拟对象和第二虚拟对象，所述第一控制模块，用于响应于识别到所述人手的第一动作，控制所述第一虚拟对象转换到第一虚拟对象的第一状态，控制所述第二虚拟对象转换到第二虚拟对象的第一状态。

进一步的，所述第二控制模块，用于响应于识别到所述人手的第二动作，控制所述第一虚拟对象从第一虚拟对象的第一状态转换到第一虚拟对象的第二状态，控制所述第二虚拟对象从第二虚拟对象的第一状态转换到第二虚拟对象的第二状态。

进一步的，所述第一虚拟对象的第二状态和第二虚拟对象的第二状态相互作用，生成第一虚拟对象和第二虚拟对象的动画。

进一步的，所述虚拟对象的配置参数，包括：虚拟对象的显示位置、显示颜色、显示大小以及序列帧中的一个或多个。第三方面，本公开实施例提供一种电子设备，包括：至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有能被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述第一方面中的任一所述虚拟对象的控制方法。

第四方面，本公开实施例提供一种非暂态计算机可读存储介质，其特征在于，该非暂态计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行前述第一方面中的任一所述虚拟对象的控制方法。

上述说明仅是本公开技术方案的概述，为了能更清楚了解本公开的技术手段，而可依照说明书的内容予以实施，并且为让本公开的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。

附图说明

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本公开实施例提供的虚拟对象的控制方法实施例一的流程图；

图2为本公开实施例提供的虚拟对象的控制方法实施例二的流程图；

图3a-3f为本公开实施例提供的虚拟对象的控制方法的具体实例示意图；

图4为本公开实施例提供的虚拟对象的控制装置实施例的结构示意图；

图5为根据本公开实施例提供的电子设备的结构示意图。

具体实施方式

以下通过特定的具体实例说明本公开的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本公开的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

需要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。

还需要说明的是，以下实施例中所提供的图示仅以示意方式说明本公开的基本构想，图式中仅显示与本公开中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

另外，在以下描述中，提供具体细节是为了便于透彻理解实例。然而，所属领域的技术人员将理解，可在没有这些特定细节的情况下实践所述方面。

图1为本公开实施例提供的虚拟对象的控制方法实施例一的流程图，本实施例提供的该虚拟对象的控制方法可以由一虚拟对象的控制装置来执行，该虚拟对象的控制装置可以实现为软件，或者实现为软件和硬件的组合，该虚拟对象的控制装置可以集成设置在图像处理系统中的某设备中，比如图像处理服务器或者图像处理终端设备中。如图1所示，该方法包括如下步骤：

步骤S101，获取视频，所述视频中包括虚拟对象和人手；

获取视频可以通过图像传感器获取，所述图像传感器指可以采集图像的各种设备，典型的图像传感器为摄像机、摄像头、相机等。在该实施例中，所述图像传感器可以是移动终端上的摄像头，比如智能手机上的前置或者后置摄像头，摄像头采集的视频图像可以直接显示在手机的显示屏上，在该步骤中，获取图像传感器所拍摄的图像视频，用于在下一步进一步识别图像。

所述视频中包括虚拟对象，此处的虚拟对象可以是任何2D或者3D的虚拟对象，典型的如虚拟的宝剑、虚拟的手枪等虚拟武器，虚拟的笔、虚拟的书等虚拟文具，虚拟的手套、虚拟的戒指等虚拟可穿戴物品等等，虚拟的星星、月亮等等，在此不做具体的限制，任何虚拟对象都可以引入到本公开中。虚拟对象可以包括自定义的类型，比如适合手握的类型，如上述的宝剑、手枪、笔；适合穿戴的类型，如上述的手套、戒指等；适合放置于手掌上的类型，如书等，当然同一个虚拟对象可以有不止一种类型，比如书，既可以放置于手掌上也可以手握。根据虚拟对象的不同类型，可以跟手的不同动作或者手势相关联，比如握拳的手势和手握类型的虚拟对象相关联。在该步骤中，获取虚拟对象的同时，可以获取虚拟对象的类型，获取虚拟对象的类型可以直接从虚拟对象的属性数据中获取，或者获取虚拟对象的ID，通过ID查询该ID的类型，类型的获取方式可以任选，无论何种方式都可以应用到本公开中。

所述视频中还包括人手，所述人手可以是通过所述图像传感器采集到的人手。

步骤S102，识别所述人手的动作；

识别人手的动作时，首选识别人手，获取人手的信息。在识别人手时，可以使用颜色特征定位人手的位置，将人手从背景中分割出来，对找到和分割出的人手图像进行特征提取与识别。具体的，使用图像传感器获取图像的颜色信息以及颜色信息的位置信息；将所述颜色信息与预设的人手颜色信息对比；识别第一颜色信息，所述第一颜色信息与所述预设的人手颜色信息的误差小于第一阈值；利用所述第一颜色信息的位置信息形成人手的轮廓。优选的，为了避免环境亮度对颜色信息的干扰，可以将图像传感器采集到的RGB颜色空间的图像数据映射到HSV颜色空间，使用HSV颜色空间中的信息作为对比信息，优选的，将HSV颜色空间中的色调值作为颜色信息，色调信息受亮度的影响最小，可以很好的过滤亮度的干扰。可以理解的，也可以使用其他方式粗略定位人手的位置，此处仅仅是举例，不构成对公开的限制，其他定位方式在此不再赘述。使用人手轮廓粗略确定人手的位置，之后对人手进行关键点提取。在图像上进行人手关键点提取，相当于寻找每个人手轮廓关键点在人手图像中的对应位置坐标，即关键点定位，这一过程需要基于关键点对应的特征进行，在获得了能够清晰标识关键点的图像特征之后，依据此特征在图像中进行搜索比对，在图像上精确定位关键点的位置。由于关键点在图像中仅占据非常小的面积(通常只有几个至几十个像素的大小)，关键点对应的特征在图像上所占据的区域通常也是非常有限和局部的，目前用的特征提取方式有两种：(1)沿轮廓垂向的一维范围图像特征提取；(2)关键点方形邻域的二维范围图像特征提取。上述两种方式有很多种实现方法，如ASM和AAM类方法、统计能量函数类方法、回归分析方法、深度学习方法、分类器方法、批量提取方法等等。上述各种实现方法所使用的关键点个数，准确度以及速度各不相同，适用于不同的应用场景。同样的，对于其他的目标物体，也可以使用同样的原理来识别目标物体。

在识别出人手之后，在人手的外轮廓之外圈定一个多边形，作为人手的外接检测框，该外接检测框用于替代所述人手，描述所述人手的位置，在此以矩形为例，在识别出人手的关键点之后，可以计算人手最宽处的宽度以及最长处的长度，以该宽度和长度识别出人手的外接检测框。计算人手的最长处和最宽处的一个实现方式为，提取人手的边界关键点，计算X坐标距离最远的两个边界关键点的X坐标之差，作为矩形宽的长度，计算Y坐标距离最远的两个边界关键点的Y坐标之差，作为矩形长的长度。如果人手缩成拳头状，可以设定外接检测框为覆盖拳头的最小圆形。具体的，可以用外接检测框的中心点作为手的位置，所述外接检测框的中心点为外接检测框对角线的交点；也可以用所述圆形的圆心代替拳头的位置。

人手识别还包括检测出来的人手关键点，所述关键点的数量可以设置，一般来说可以包括人手轮廓的关键点和关节关键点，每个关键点有固定编号，比如可以按照轮廓关键点、大拇指关节关键点、食指关节关键点、中指关节关键点、无名指关节关键点、小拇指关节关键点的顺序，从上到下编号，在一个典型的应用中，所述关键点为22个，每个关键点有固定编号。在一个实施例中，也可以使用手掌中心的关键点来表示人手的位置。

在一个实施例中，在识别所述人手时，还包括对人手的识别数据进行平滑和坐标归一化处理的步骤。具体的，所述平滑处理可以是将多帧视频中的图像进行平均，将平均之后的图像作为识别出的图像，对应到本公开中的人手上，可以对多帧图像中的人手进行识别，之后将人手图像做加权平均，将平均之后得到的人手图像作为识别出的人手，计算人手信息，这样可以在丢失某些帧或者某些帧识别的图像不是很清晰的情况下，依然可以确定人手的图像并计算人手的信息。坐标归一化处理，是将坐标范围统一，如摄像头所采集到的人手图像和显示在显示屏上的人手图像的坐标并不统一，需要有一个映射关系来将大坐标系映射到一个小坐标系上。经过平滑处理和归一化处理之后，得到人手的信息。

在一个实施例中，所述人手动作可以包括手势和/或人手的运动轨迹；

手势的识别可以利用人手图像信息，放入深度学习模型中识别，如将人手的关键点信息输入深度学习模型，将人手的手势识别出来，在此不再赘述。

在该步骤中，还可以识别人手的动作，所述人手的动作记录人手的运动轨迹，并分析所述运动轨迹来识别。具体的，记录人手的运动轨迹首先需要跟踪人手的运动，在基于视觉的人手动作识别系统中，人手运动轨迹跟踪是跟踪手势在图片序列中的位置变化，获取人手在连续时间上的位置信息，人手运动轨迹跟踪效果的优劣直接影响人手动作识别的效果。常用的动作跟踪方法有粒子滤波算法、均值漂移(Mean-shift)算法、卡尔曼滤波法和骨骼跟踪法等。

其中，基于粒子滤波的目标跟踪是在随机运动模型中获取目标分布的后验概率估计的随机搜索过程，粒子滤波主要分为两步:初步采样和重复采样。初步采样是在一副图像中随机放置粒子，然后计算每个粒子和跟踪目标特征的相似度，进而获得每个粒子的权重。重采样阶段主要是根据初步采样中粒子的权重，改变粒子的分布情况。重复初步采样和重采样的过程，直到跟踪到目标。

均值漂移法(Mean-shift)是非参数概率密度梯度估计算法。在人手动作识别中，利用Mean-shift算法来跟踪人手的基本思路是:首先建立人手的模型，即计算初始图像帧中属于手部的像素在特征空间的特征值的概率；然后建立当前帧的模型，计算人手可能存在区域的所有像素的特征值概率；最后通过求取初始人手模型和当前帧的人手模型的相似性来得到人手均值漂移量。根据均值漂移算法的收敛性，迭代计算手部的均值漂移量，达到收敛到当前图像帧中人手位置的目的。

卡尔曼滤波是利用一系列数学方程预测线性系统在现在或将来的状态。在人手运动轨迹跟踪中，卡尔曼滤波主要是观测一系列图像帧中人手的位置信息，然后预测下一帧中人手的位置。因为卡尔曼滤波是在每个时间间隔的后验概率估计的假设上成立的，所以卡尔曼滤波方法在高斯分布环境下能取得较好的跟踪效果。这种方法能去除噪声，并在手势变形下仍能取得较好的人手跟踪效果。

随着微软Kinect的广泛应用，许多研究者利用微软的Microsoft Kinect传感器特有的骨骼点跟踪来做人手跟踪的研究。在传感器的视野范围内，Kinect可以提供一名或者两名用户完整的骨骼跟踪，即全身20个关节点的跟踪。骨骼点跟踪分为主动跟踪和被动跟踪，在主动跟踪的模式下，在视野内选择两个可能的用户进行跟踪，在被动跟踪模式下，最多可以跟踪6个用户的骨骼点，多余的四个只作位置跟踪。Kinect的骨骼跟踪的原理是在获取的深度图像的基础上，通过对人体的32个部分进行分类和机器学习的方法，找到各个部分的骨骼关节点信息。

由于在该步骤中可以采集人手骨骼的关键点，因此在本公开中可以优先使用基于骨骼跟踪的人手运动轨迹跟踪方法。在分析运动轨迹识别人手动作时，需要识别人手动作的起点和终点，在本公开中，可以计算人手关键点在连续两帧图像中的移动距离，当距离小于一个预设阈值时，认为关键点的位置保持不变，当关键点的预设的连续几帧都保持位置不变时，将手部的位置识别为人手动作的起点或终点，典型的比如所述阈值可以设为1cm，当连续6帧内关键点位置没有发生变化时，将人手的位置作为人手动作的起点或终点。之后可以计算起点和终点之间的图像帧中关键点的位置，所有图像帧中的关键点所形成的轨迹即为人手的运动轨迹，将起点和终点之间的运动轨迹与预设的运动轨迹进行对比识别，当相似度大于一个预设的相似阈值时，将所述运动轨迹识别为一个人手动作。

步骤S103，响应于识别到所述人手的第一动作，控制所述虚拟对象转换到第一状态；

在该步骤中，当识别到预定的人手动作，比如握拳，则确定虚拟对象的状态属性，典型的如虚拟对象的显示位置、显示颜色、显示大小以及序列帧中的一个或多个。在一个实施例中，当识别到所述人手动作为预先设定的第一动作，读取与所述第一动作对应的虚拟对象的配置参数；根据所述虚拟对象的配置参数将所述虚拟对象转换到第一状态。其中所述的第一状态可以是虚拟对象的位置发生了变化，颜色发生了变化，显示大小发生了变化以及虚拟对象切换到与第一状态对应的序列帧并开始播放等。

在一个具体的实施方式中，通过虚拟对象的配置参数可以获取虚拟对象的状态属性，如显示位置、显示颜色、显示大小、显示角度以及序列帧中的一个或多个。所述显示位置，可以是预先设置的位置，也可以与人手显示位置关联，在一个实施例中，人手的位置由外接检测框的中心点确定，则虚拟对象的显示位置可以直接跟中心点重合，此时可以将虚拟对象的中心位置与外接检测框的中心点重合；或者所述虚拟对象的显示位置可以与所述中心点保持一定的位置关系，比如虚拟对象的显示位置可以位于所述中心点Y轴正向上1个长度单位的位置，所述长度单位可以是自定义的长度单位，如1个长度单位等于1cm等等，在此不做限制。总之，可以通过一定的关系来确定虚拟对象的显示位置。为了显示位置更加精确，可以加入人手的关键点，此时可以设置虚拟对象挂载于人手的某几个关键点上，在一个实现方式中，可以在虚拟对象上设置3个点，这3个点与人手上的3个关键点对应，通过这种对应关系，可以确定虚拟对象的显示位置。

在一个实施例中，所述预先设定的第一动作可以与虚拟对象的颜色关联，当所述人手的第一动作为预先设定的第一动作时，改变所述虚拟对象的颜色为预定的颜色。

在一个具体实施方式中，还可以根据人手的信息获取所述虚拟对象的显示大小信息，比如可以通过人手的外接检测框面积来确定虚拟对象的大小，可以预先设置外接检测框与虚拟对象的大小对应关系，或者根据外接检测框的大小动态确定虚拟对象的大小，以动态确定虚拟对象的大小为例，可以将第一次检测到人手的人手外接检测框的原始面积大小设置为1，此时显示虚拟对象的原始大小，当人手相对于图像传感器做前后运动时，外接检测框的面积发生变化，比如人手向后移动，外接检测框的面积变为第一次检测到人手的人手外接检测框的面积的0.5倍，则虚拟对象也缩放成原始大小的0.5倍；当人手向前移动，外接检测框的面积变为第一次检测到人手的人手外接检测框的面积的2倍，则虚拟对象也缩放成原始大小的2倍，由此可以灵活的控制虚拟对象的缩放；当然缩放比例可以通过一定的函数来控制，比如设置外接检测框的原始面积为S，当前面积为S₁，设虚拟对象的缩放比例为R，则可以设置R＝(S₁/S)²，这样虚拟对象的缩放不是线性的，可以实现更多的效果。当然这个缩放比例的控制函数可以根据需要任意设置，上述方式只是举例。所述的根据人手信息获取所述虚拟对象的显示大小信息中的人手信息不限于外接检测框的面积，也可以是外接检测框的边长，或者人手关键点之间的距离等，在此也不做限制。

在一个具体实施方式中，还可以使用所述预先设定的第一动作获取与之对应的虚拟对象的序列帧，当识别到人手做出第一动作，播放对应的虚拟对象的序列帧。

在一个实施例中，所述虚拟对象的配置参数可以保存在配置文件中。

上述序列帧的保存路径可以保存于配置文件中。步骤S101中获取到虚拟对象的名称或ID，根据该名称或者ID以及所述第一动作可以在配置文件中获取虚拟对象的序列帧，所有序列帧可以组成一个完整的虚拟对象或者虚拟对象的动画。具体的，可以在配置文件中设置参数“range”:[idx_start,idx_end]，表示在文件的列表中从第idx_start开始到第idx_end结束的连续文件，组成该序列帧；或者设置参数"idx":[idx0,idx1,……]，表示在文件的列表中的第idx0、第idx1、……等文件，按次序组成该序列帧。

所述配置文件中还可以包括虚拟对象位置的关联参数，所述关联参数描述序列帧关联哪几个人手关键点，默认可以关联所有关键点，也可以设置跟随其中的几个关键点。除了关联参数外，配置文件中还包括虚拟对象与关键点的位置关系参数"point"，"point"中可以包括两组关联点，"point0"表示第一组关联点，"point1"表示第二组。对于每一组关联点，"point"描述了camera中的锚点位置，通过对若干组关键点及其权重，求加权平均得到；使用"idx"字段描述了关键点的序号，对于包括了检测框的人手，还可以使用"topleft"、"topright"、"bottomleft"、"bottomright",分别对应人手外接检测框的四个角(或前景的屏幕四个角)。举例来说，设置虚拟对象跟随人手的4个关键点，分别为9号、10号、11号和12号关键点，切每个关键点的权重为0.25，其中每个关键点的坐标分别为(X₉，Y₉)，(X₁₀，Y₁₀)，(X₁₁，Y₁₁)，(X₁₂，Y₁₂)，则可以得到虚拟对象所跟随的锚点的X轴坐标为X_a＝X₉*0.25+X₁₀*0.25+X₁₁*0.25+X₁₂*0.25，锚点的Y轴坐标为Y_a＝Y₉*0.25+Y₁₀*0.25+Y₁₁*0.25+Y₁₂*0.25。可以理解的是，"point"中可以包括任一组关联点，并不局限于两组。在上述具体实例中，可以得到两个锚点，虚拟对象跟随这两个锚点的位置发生移动。而实际上，锚点可以不止两个，这与所使用的关联点的组数有关。其中每个关键点的坐标可以由步骤S102中所获取的人手信息中获得。其他虚拟对象的配置参数不再一一举例，总之在该配置文件中保存有渲染图像所需的参数，并且这些参数与虚拟对象以及人手信息有对应关系或者需要虚拟对象和人手信息进行一定的计算得到。

进一步的，在读取配置文件之前，还可以包括配置文件的设置步骤，以对配置文件中的虚拟对象的配置参数进行配置。

步骤104：响应于识别到所述人手的第二动作，控制所述虚拟对象从第一状态转换到第二状态。

该步骤中，在步骤S103之后，继续识别所述人手的动作，当所述人手的动作为另外一个预定的人手动作时，控制所述虚拟对象从第一状态转换到第二状态。在该步骤中，所述另外一个预定的人手动作，可以是有别于第一动作的动作，在一个实施例中，第一动作为五指张开的动作，第二动作可以为握拳的动作。在一个实施例中，当识别到所述人手动作为预先设定的第二动作，读取与所述第二动作对应的虚拟对象的配置参数；根据所述虚拟对象的配置参数将所述虚拟对象转换到第二状态。其中所述的第二状态可以是虚拟对象的位置发生了变化，颜色发生了变化，显示大小发生了变化以及虚拟对象切换到与第二状态对应的序列帧并开始播放等。

在该实施例中，所述响应于识别到所述人手的第二动作，控制所述虚拟对象从第一状态转换到第二状态与步骤S103中的响应于识别到所述人手的第一动作，控制所述虚拟对象转换到第一状态的实现方式相同，在此不再赘述。

在另一个实施例中，当识别到所述人手动作为预先设定的第二动作，获取所述第一动作，根据所述第一动作和第二动作读取虚拟对象的配置参数；根据所述虚拟对象的配置参数将所述虚拟对象从第一状态转换到第二状态。在该实施例中，通过动作组合来确定第二状态的虚拟对象的配置参数，也就是说同样的第二动作，如果在第二动作之前所做的第一动作不同，第二状态的虚拟对象的配置参数可以不同。

如图2所示，在本公开的虚拟对象的控制方法的实施例二中，所述虚拟对象包括第一虚拟对象和第二虚拟对象，所述实施例二中包括步骤：

S201:获取视频，所述视频中包括第一虚拟对象、第二虚拟对象和人手；

S202:识别所述人手的动作；

S203:响应于识别到所述人手的第一动作，控制所述第一虚拟对象转换到第一虚拟对象的第一状态，控制所述第二虚拟对象转换到第二虚拟对象的第一状态；

S204:响应于识别到所述人手的第二动作，控制所述第一虚拟对象从第一虚拟对象的第一状态转换到第一虚拟对象的第二状态，控制所述第二虚拟对象从第二虚拟对象的第一状态转换到第二虚拟对象的第二状态。

在该实施例中，所述虚拟对象包括多个，每个所述虚拟对象可以根据所述人手的动作转换第一状态和第二状态，在一个实施例中，两个虚拟对象的第一状态和第二状态可以分别对应相关联，在一个典型的应用中，所述述第一虚拟对象的第二状态和第二虚拟对象的第二状态相关联，所述第一虚拟对象的第二状态和第二虚拟对象的第二状态相互作用，生成第一虚拟对象和第二虚拟对象的动画。对于上述实施例，在一个具体实现中，所述第一虚拟对象为笔记本，所述第二虚拟对象为笔，所述笔记本的第一状态为翻开状态，所述笔的第一状态为直立状态，所述笔记本的第二状态为笔迹的动画，所述笔的第二状态为写字的动画，所述的两个第二状态相互作用，形成笔在笔记上写字的动画。

可以理解的是，上述实施例虽然仅描述了包括一个虚拟对象和两个虚拟对象的情况以及包括两个动作的情况，但是在实际应用中，虚拟对象可以为任意个，人手的动作也可以是任意个，并无限制。

为了方便理解，参见附图3a-3f为本公开所公开的一种虚拟对象的控制方法的具体实例。参见图3a，为获取到的视频，其中包括虚拟对象纸和笔，以及人手；如图3b和3c所示，识别人手的动作，当识别到人手做出第一动作：握拳的手势，控制虚拟对象纸和笔转换到第一状态：飞向空中；如图3d所示，继续识别手动的动作，当人手接着做出第二动作：五指张开的手势，控制所述虚拟对象纸和笔从第一状态转换到第二状态：在空中排开展示；如图3e所示，继续识别手动的动作，当人手做出第三动作：两指伸出的手势，控制虚拟对象笔放置于虚拟对象纸上，并且虚拟对象笔开始在虚拟对象纸上写字；如图3f所示，为响应于两指伸出的手势开始的写字动画过程和结果。在该具体实例中，包括了两个虚拟对象和三个人手动作。

图4为本公开实施例提供的虚拟对象的控制装置实施例一的结构示意图，如图4所示，该装置400包括：视频获取模块401、动作识别模块402、第一控制模块403和第二控制模块404。其中，

视频获取模块401，用于获取视频，所述视频中包括虚拟对象和人手；

动作识别模块402，用于识别所述人手的动作；

第一控制模块403，用于响应于识别到所述人手的第一动作，控制所述虚拟对象转换到第一状态；

第二控制模块404，用于响应于识别到所述人手的第二动作，控制所述虚拟对象从第一状态转换到第二状态。

进一步的，所述动作识别模块402，用于根据所述人手的关键点，识别所述人手的手势。

进一步的，所述第一控制模块403，用于当识别到所述人手动作为预先设定的第一动作，读取与所述第一动作对应的虚拟对象的配置参数；根据所述虚拟对象的配置参数将所述虚拟对象转换到第一状态。

进一步的，所述第二控制模块404，用于当识别到所述人手动作为预先设定的第二动作，读取与所述第二动作对应的虚拟对象的配置参数；根据所述虚拟对象的配置参数将所述虚拟对象从第一状态转换到第二状态。

进一步的，所述虚拟对象的控制装置400还包括：配置文件读取模块，用于读取配置文件，所述配置文件中包括所述人手的动作与虚拟对象的配置参数的关联关系。

进一步的，所述虚拟对象包括第一虚拟对象和第二虚拟对象，所述第一控制模块403，用于响应于识别到所述人手的第一动作，控制所述第一虚拟对象转换到第一虚拟对象的第一状态，控制所述第二虚拟对象转换到第二虚拟对象的第一状态。

进一步的，所述第二控制模块404，用于响应于识别到所述人手的第二动作，控制所述第一虚拟对象从第一虚拟对象的第一状态转换到第一虚拟对象的第二状态，控制所述第二虚拟对象从第二虚拟对象的第一状态转换到第二虚拟对象的第二状态。

进一步的，所述虚拟对象的配置参数，包括：虚拟对象的显示位置、显示颜色、显示大小以及序列帧中的一个或多个。

图4所示装置可以执行图1和图2所示实施例的方法，本实施例未详细描述的部分，可参考对图1和图2所示实施例的相关说明。该技术方案的执行过程和技术效果参见图1和图2所示实施例中的描述，在此不再赘述。

下面参考图5，其示出了适于用来实现本公开实施例的电子设备500的结构示意图。本公开实施例中的电子设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图5示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图5所示，电子设备500可以包括处理装置(例如中央处理器、图形处理器等)501，其可以根据存储在只读存储器(ROM)502中的程序或者从存储装置508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中，还存储有电子设备500操作所需的各种程序和数据。处理装置501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。

通常，以下装置可以连接至I/O接口505：包括例如触摸屏、触摸板、键盘、鼠标、图像传感器、麦克风、加速度计、陀螺仪等的输入装置506；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置507；包括例如磁带、硬盘等的存储装置508；以及通信装置509。通信装置509可以允许电子设备500与其他设备进行无线或有线通信以交换数据。虽然图5示出了具有各种装置的电子设备500，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置509从网络上被下载和安装，或者从存储装置508被安装，或者从ROM 502被安装。在该计算机程序被处理装置501执行时，执行本公开实施例的方法中限定的上述功能。

需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。

上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。

上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取至少两个网际协议地址；向节点评价设备发送包括所述至少两个网际协议地址的节点评价请求，其中，所述节点评价设备从所述至少两个网际协议地址中，选取网际协议地址并返回；接收所述节点评价设备返回的网际协议地址；其中，所获取的网际协议地址指示内容分发网络中的边缘节点。

或者，上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：接收包括至少两个网际协议地址的节点评价请求；从所述至少两个网际协议地址中，选取网际协议地址；返回选取出的网际协议地址；其中，接收到的网际协议地址指示内容分发网络中的边缘节点。

可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定，例如，第一获取单元还可以被描述为“获取至少两个网际协议地址的单元”。

以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims

1.一种虚拟对象的控制方法，其特征在于，包括：

获取视频，所述视频中包括虚拟对象和人手；

识别所述人手的动作；

响应于识别到所述人手的第一动作，读取与所述第一动作对应的虚拟对象的配置参数，根据所述虚拟对象的配置参数将所述虚拟对象转换到第一状态，播放预先设定的与所述第一动作对应的所述虚拟对象的序列帧；

响应于识别到所述人手的第二动作，读取与所述第二动作对应的虚拟对象的配置参数，根据所述虚拟对象的配置参数将所述虚拟对象从第一状态转换到第二状态，播放预先设定的与所述第二动作对应的所述虚拟对象的序列帧；其中，所述虚拟对象的配置参数包括：虚拟对象的显示大小；所述虚拟对象的显示大小与所述人手的外接检测框面积的平方成正比。

2.如权利要求1所述的虚拟对象的控制方法，其特征在于，在所述识别所述人手的动作之前，还包括：

读取配置文件，所述配置文件中包括所述人手的动作与虚拟对象的配置参数的关联关系。

3.如权利要求1所述的虚拟对象的控制方法，其特征在于，所述虚拟对象包括第一虚拟对象和第二虚拟对象，所述响应于识别到所述人手的第一动作，控制所述虚拟对象转换到第一状态，包括：

响应于识别到所述人手的第一动作，控制所述第一虚拟对象转换到第一虚拟对象的第一状态，控制所述第二虚拟对象转换到第二虚拟对象的第一状态。

4.如权利要求3所述的虚拟对象的控制方法，其特征在于，所述响应于识别到所述人手的第二动作，控制所述虚拟对象从第一状态转换到第二状态，包括：

响应于识别到所述人手的第二动作，控制所述第一虚拟对象从第一虚拟对象的第一状态转换到第一虚拟对象的第二状态，控制所述第二虚拟对象从第二虚拟对象的第一状态转换到第二虚拟对象的第二状态。

5.如权利要求4所述的虚拟对象的控制方法，其特征在于，所述第一虚拟对象的第二状态和第二虚拟对象的第二状态相关联。

6.如权利要求4所述的虚拟对象的控制方法，其特征在于，所述第一虚拟对象的第二状态和第二虚拟对象的第二状态相关联，包括：

所述第一虚拟对象的第二状态和第二虚拟对象的第二状态相互作用，生成第一虚拟对象和第二虚拟对象的动画。

7.如权利要求1中的任一项的虚拟对象的控制方法，其特征在于，所述虚拟对象的配置参数，包括：

虚拟对象的显示位置或者显示颜色。

8.如权利要求1中的任一项的虚拟对象的控制方法，其特征在于，所述识别所述人手的动作包括：

使用颜色特征定位人手的位置；

基于所述人手的位置，对所述人手进行关键点提取，得到人手关键点；

计算所述人手关键点在所述视频连续两个图像帧中的移动距离；

基于所述移动距离确定所述人手的动作的起点和终点；

根据所述起点和终点之间的各个图像帧中所述人手关键点的位置确定人手的运动轨迹；

将所述运动轨迹与预设的运动轨迹进行对比；以及

响应于确定所述运动轨迹与预设的运动轨迹的相似度大于一个预设的相似阈值，将所述运动轨迹识别为一个人手的动作。

9.如权利要求8中的任一项的虚拟对象的控制方法，其特征在于，所述使用颜色特征定位人手的位置包括：使用图像传感器获取图像的第一颜色信息以及第一颜色信息的位置信息；将所述第一颜色信息与预设的人手颜色信息对比；响应于确定所述第一颜色信息与所述预设的人手颜色信息的误差小于第一阈值，利用所述第一颜色信息的位置信息形成人手的轮廓并确定人手的位置。

10.一种虚拟对象的控制装置，其特征在于，包括：

动作识别模块，用于识别所述人手的动作；

第一控制模块，用于响应于识别到所述人手的第一动作，读取与所述第一动作对应的虚拟对象的配置参数，根据所述虚拟对象的配置参数将所述虚拟对象转换到第一状态，播放预先设定的与所述第一动作对应的所述虚拟对象的序列帧；

第二控制模块，用于响应于识别到所述人手的第二动作，读取与所述第二动作对应的虚拟对象的配置参数，根据所述虚拟对象的配置参数将所述虚拟对象从第一状态转换到第二状态，播放预先设定的与所述第二动作对应的所述虚拟对象的序列帧；其中，所述虚拟对象的配置参数包括：虚拟对象的显示大小；所述虚拟对象的显示大小与所述人手的外接检测框的面积的平方成正比。

11.一种电子设备，包括：

存储器，用于存储非暂时性计算机可读指令；以及

处理器，用于运行所述计算机可读指令，使得所述处理器执行时实现根据权利要求1-9中任意一项所述的虚拟对象的控制方法。

12.一种计算机可读存储介质，用于存储非暂时性计算机可读指令，当所述非暂时性计算机可读指令由计算机执行时，使得所述计算机执行权利要求1-9中任意一项所述的虚拟对象的控制方法。