CN113793409A - 虚拟道具展示方法及装置 - Google Patents

Abstract

本申请提供虚拟道具展示方法及装置，其中所述虚拟道具展示方法包括：接收待处理视频流，并识别所述待处理视频流中的目标视频帧；解析所述目标视频帧，获得目标骨骼点信息；在所述目标骨骼点信息符合预设姿势信息的情况下，获取所述预设姿势信息对应虚拟道具的虚拟道具信息；基于所述目标骨骼点信息和所述虚拟道具信息在所述目标视频帧中展示所述虚拟道具。本申请的虚拟道具展示方法，基于预设的姿势信息确定视频帧中的姿势是否与预设姿势一致，在一致的情况下结合视频帧中的骨骼信息对虚拟道具进行展示，提高了虚拟道具与姿势在展示时的准确性，为用户带来了更好的视觉效果。

Description

虚拟道具展示方法及装置

技术领域

本申请涉及人工智能技术领域，特别涉及一种虚拟道具展示方法。本申请同时涉及一种虚拟道具展示装置，一种计算设备，以及一种计算机可读存储介质。

背景技术

随着计算机技术的不断发展，结合实体动作或表情展示虚拟道具的应用越来越多，例如，虚拟试衣功能实现了无需用户真实换装就可以看到用户试穿衣服的效果，为用户提供了便捷的试衣方式。

然而，由于普通设备无法做到对实体的深度解析，即普通设备只能采集到二维画面，故在将三维道具展示时会存在道具的显示不真实的问题，影响用户的使用体验。

因此，如何提高虚拟道具展示的准确性成为相关技术人员亟待解决的技术问题。

发明内容

有鉴于此，本申请实施例提供了一种虚拟道具展示方法。本申请同时涉及一种虚拟道具展示装置，一种计算设备，以及一种计算机可读存储介质，以解决现有技术中存在的虚拟道具显示不真实，用户体验差的问题。

根据本申请实施例的第一方面，提供了一种虚拟道具展示方法，包括：

接收待处理视频流，并识别所述待处理视频流中的目标视频帧；

解析所述目标视频帧，获得目标骨骼点信息；

在所述目标骨骼点信息符合预设姿势信息的情况下，获取所述预设姿势信息对应虚拟道具的虚拟道具信息；

基于所述目标骨骼点信息和所述虚拟道具信息在所述目标视频帧中展示所述虚拟道具。

根据本申请实施例的第二方面，提供了一种虚拟道具展示装置，包括：

识别模块，被配置为接收待处理视频流，并识别所述待处理视频流中的目标视频帧；

解析模块，被配置为解析所述目标视频帧，获得目标骨骼点信息；

获取模块，被配置为在所述目标骨骼点信息符合预设姿势信息的情况下，获取所述预设姿势信息对应虚拟道具的虚拟道具信息；

展示模块，被配置为基于所述目标骨骼点信息和所述虚拟道具信息在所述目标视频帧中展示所述虚拟道具。

根据本申请实施例的第三方面，提供了一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，所述处理器执行所述计算机指令时实现所述虚拟道具展示方法的步骤。

根据本申请实施例的第四方面，提供了一种计算机可读存储介质，其存储有计算机指令，该计算机指令被处理器执行时实现所述虚拟道具展示方法的步骤。

本申请提供的虚拟道具展示方法，接收待处理视频流，并识别所述待处理视频流中的目标视频帧；解析所述目标视频帧，获得目标骨骼点信息；在所述目标骨骼点信息符合预设姿势信息的情况下，获取所述预设姿势信息对应虚拟道具的虚拟道具信息；基于所述目标骨骼点信息和所述虚拟道具信息在所述目标视频帧中展示所述虚拟道具。

本申请一实施例实现了基于预设的姿势信息确定视频帧中的姿势是否与预设姿势一致，在一致的情况下结合视频帧中的骨骼信息对虚拟道具进行展示，提高了虚拟道具与姿势在展示时的准确度，为用户带来了更好的视觉效果。

附图说明

图1是本申请一实施例提供的一种虚拟道具展示方法的流程图；

图2是本申请一实施例提供的一种应用于虚拟动画角色扮演的虚拟道具展示方法的处理流程图；

图3是本申请一实施例提供的预设姿势示意图；

图4是本申请一实施例提供的预设姿势结构示意图；

图5是本申请一实施例提供的一种虚拟道具展示装置的结构示意图；

图6是本申请一实施例提供的一种计算设备的结构框图。

具体实施方式

在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。

在本申请一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请一个或多个实施例。在本申请一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本申请一个或多个实施例中使用的术语“和/或”是指包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

首先，对本申请一个或多个实施例涉及的名词术语进行解释。

OpenPose：人体姿态识别项目是基于卷积神经网络和监督学习并以caffe为框架开发的开源库。可以实现人体动作、面部表情、手指运动等姿态估计。适用于单人和多人，是世界上首个基于深度学习的实时多人二维姿态估计应用，基于它的实例如雨后春笋般涌现。人体姿态估计技术在体育健身、动作采集、3D试衣、舆情监测等领域具有广阔的应用前景。

随着目前二次元越来越普及，市面上越来越多的人想参与到COSPLAY中，COSPLAY就是指利用服装、小饰品、道具以及化装来扮演自己喜欢的小说、动漫、游戏中的角色。COS是英文Costume的简略写法，其动词为COS，而玩COS的人则一般被称为COSER。但因为这种译法与游戏中的Role Playing Game(RPG)同为角色扮演之意，所以为免雷同，更确切的说COS就是服饰装扮。COSPLAY是动漫角色扮演，但是由于场地服装道具化妆的依赖，并不所有人都有这样的机会。本申请提供的技术手段的应用场景之一就是让玩家在镜头前模拟游戏中角色的姿势，体验一次COSPLAY的感觉。

在本申请中，提供了一种虚拟道具展示方法，本申请同时涉及一种虚拟道具展示装置，一种计算设备，以及一种计算机可读存储介质，在下面的实施例中逐一进行详细说明。

图1示出了根据本申请一实施例提供的一种虚拟道具展示方法的流程图，具体包括以下步骤：

步骤102：接收待处理视频流，并识别所述待处理视频流中的目标视频帧。

服务器接收待处理视频流，并在接收的待处理视频流中识别符合要求的目标视频帧，用于后续在目标视频帧中展示虚拟道具。

其中，待处理视频流是指使用图像采集设备采集到的视频流；目标视频帧是指待处理视频流中包含特定图像的视频帧，例如，图像采集设备可以是商场中的摄像头设备，摄像头设备采集商场中的画面生成视频流，目标视频帧为在视频流中识别到的包含人物图像的视频帧。

在实际应用中，识别所述待处理视频流中的目标视频帧的具体方法包括：

确定预设识别规则；

基于所述预设识别规则识别所述待处理视频流中符合所述预设识别规则的视频帧作为目标视频帧。

其中，预设识别规则是指在待处理视频流中识别包含实体的目标视频帧的规则，例如，识别待处理视频流中包含人物图像的视频帧作为目标视频帧，或识别待处理视频流中包含物体图像的视频帧作为目标视频帧。

具体的，确定待处理视频流，并获取待处理视频流中的视频帧输入至实体识别模型，将基于实体识别模型确定的包含实体的视频帧作为目标视频帧，其中，识别模型可以是人物图像识别模型、动物图像识别模型等；或可采用其他图像识别技术在待处理视频流中确定目标视频帧；在本申请中对识别目标视频帧的具体方法不做限定，可以满足对视频帧识别需求的方式均可。

在本申请一具体实施方式中，以预设识别规则为人物图像识别规则为例，接收待处理视频流，并将所述待处理视频流中的视频帧输入至人物图像识别模型中，从而确定视频帧中包含人物图像的视频帧作为目标视频帧。

通过在待处理视频流中基于预设识别规则确定目标视频帧，提高了识别效率，也便于后续仅对确定的目标视频帧进行处理即可，提高了虚拟道具展示的效率。

步骤104：解析所述目标视频帧，获得目标骨骼点信息。

在确定目标视频帧后，对目标视频帧进行解析，从而确定目标视频帧中实体的所有骨骼点信息，在所有骨骼点信息中确定符合需求的部分骨骼点信息，用于后续基于骨骼点信息对实体姿势是否符合预设姿势进行判断。

在实际应用中，解析所述目标视频帧，获得目标骨骼点信息的方法包括：

解析所述目标视频帧获得骨骼点信息集合；

基于预设姿势信息在所述骨骼点信息集合中确定待处理骨骼点信息；

转换所述待处理骨骼点信息获得目标骨骼点信息。

其中，骨骼点信息集合是指从目标视频帧中解析出的骨骼点对应的位置信息组成的集合，如，对人物图像视频帧进行解析获得的骨骼点包括鼻子，脖子，右肩，右肘，右手腕，左肩，左肘，左手腕，胯中心，右臀，右膝，右踝，左胯，左膝，左踝，右眼，左眼，右耳，左耳，左脚内，左脚外，左脚跟，右脚内，右脚外，右脚跟，以及每个骨骼点在目标视频帧中的二维坐标，由上述骨骼点以及对应的坐标组成骨骼点信息集合；解析获得目标视频帧中的骨骼点的方法包括但不限于OpenPose等技术；确定目标视频帧中的骨骼点后，可在目标视频帧中建立直角坐标系，从而确定每个骨骼点在目标视频帧中的坐标位置。

此外，解析得到的骨骼点可作为绑定骨骼点与对应的虚拟道具进行绑定；预设姿势信息是指预设姿势对应的骨骼点组成的向量间的比例信息以及骨骼点组成向量间的角度信息，待处理骨骼点信息是指在骨骼点信息集合中与预设姿势信息对应的骨骼点信息；目标骨骼点信息是指对待处理骨骼点进行转换获得的骨骼点信息。例如，预设姿势信息中包含的比例信息为：左手腕到左手肘的骨骼与左手肘到左肩的骨骼的长度比值为1:1，角度信息为左手腕到左手肘的骨骼与左手肘到左肩的骨骼的夹角度数为15度，其中，待处理骨骼点信息是指左手腕、左手肘以及左肩的二维骨骼点坐标，目标骨骼点信息为将二维的左手腕、左手肘以及左肩的坐标转换为三维的坐标。

具体的，解析所述目标视频帧获取所述目标视频帧中的全部骨骼点并确定每个骨骼点的坐标，组成骨骼点信息集合；确定预设姿势信息，并基于预设姿势信息确定骨骼点信息集合中确定用于后续姿势判断的骨骼点信息作为待处理骨骼点信息；将二维的待处理骨骼点信息通过预设转换方式转换为三维的骨骼点信息，获得目标骨骼点信息，例如，预设转换方式可以是在z轴添加0，使二维矩阵转换为三维矩阵的方式。

在本申请一具体实施方式中，以目标视频帧为人物图像视频帧为例，解析人物图像视频帧获得骨骼点信息集合{左手腕：(2，2)，左手肘：(5，3)，...}，其中，左手腕：(2，2)表示人物左手腕骨骼点在人物图像视频帧中的坐标为(2，2)；预设姿势信息为：左手腕骨骼点到左手肘骨骼点的距离与左手肘骨骼点到左肩骨骼点的距离的比值为1:1，左手腕到左手肘的骨骼与左手肘到左肩的骨骼的夹角度数为15度，根据预设姿势信息确定骨骼点信息集合中的待处理骨骼点信息为左手腕骨骼点、左手肘骨骼点以及左肩骨骼点，将待处理骨骼点信息转换为目标骨骼点信息，即在二维的待处理骨骼点信息中添加0作为z轴坐标，获的三维目标骨骼点信息。

通过解析视频帧，并基于预设姿势信息在视频帧中确定待处理骨骼信息，后续仅对待处理骨骼信息进行下一步的计算，提高了处理效率；将待处理视频帧转换为三维的目标视频帧，便于后续与3d的虚拟道具模型的坐标进行结合，从而实现三维虚拟道具在视频帧中的真实展示。

步骤106：在所述目标骨骼点信息符合预设姿势信息的情况下，获取所述预设姿势信息对应虚拟道具的虚拟道具信息。

其中，虚拟道具是指在视频帧中展示的道具，例如，虚拟盾牌、虚拟服装等；虚拟道具信息是指显示虚拟道具所需的信息，其中，包括但不限于虚拟道具模型信息、虚拟道具显示位置信息。

本申请的方案为在识别到视频帧中的实体姿势与预设姿势一致的情况下，在视频帧中显示对应姿势的虚拟道具，故在解析所述目标视频帧，获得目标骨骼点信息之后需判断视频帧中的实体姿势是否与预设姿势一致，具体的判断流程包括：

确定预设姿势信息中的姿势比例信息和/或姿势角度信息，并判断所述目标骨骼点信息是否符合所述姿势比例信息和/或所述姿势角度信息；

若是，则确定所述目标骨骼点信息符合预设姿势信息；

若否，则确定所述目标骨骼点信息不符合预设姿势信息。

其中，姿势比例信息是指由骨骼点确定的骨骼长度比值；姿势角度信息是指由骨骼点确定的骨骼间夹角的角度值。

具体的，确定预设姿势信息中的姿势比例信息和/或姿势角度信息，所述姿势比例信息中包含姿势比例范围，所述姿势角度信息中包含姿势角度范围；计算所述目标骨骼点信息中的姿势比例信息和/或姿势角度信息，判断计算得到的目标骨骼点信息中的姿势比例信息是否在姿势比例范围内，判断计算得到的目标骨骼点信息中的姿势角度信息是否在姿势角度范围内，若存在任意超出范围的情况，则判定视频帧中的实体姿势与预设姿势不符。

在本申请一具体实施方式中，以预设姿势信息中包含姿势角度信息和姿势比例信息为例，本实施例中的姿势比例信息为：左肩到左肘的骨骼长度与左肘到左手的骨骼长度为1:1，预设比例差为0.2；姿势角度信息为：左肩到左肘的骨骼与左轴到左腕的骨骼之间的夹角角度为15度，预设角度差为3度；基于目标属性信息计算得到目标视频帧中左肩到左肘的骨骼长度与左肘到左手的骨骼长度之比为0.7:1，超过预设范围；计算左肩到左肘的骨骼的向量值，以及左轴到左腕的骨骼的向量值，并计算向量值之间的夹角度数为14度，在预设范围内；由于目标骨骼信息不符合预设姿势信息中的姿势比例信息，故确定目标骨骼点信息不符合预设姿势信息。

在本申请另一具体实施方式中，以预设姿势信息中包含姿势比例信息为例，本实施例中的姿势比例信息为：左肩到左肘的骨骼长度与左肘到左手的骨骼长度为1:1，且预设比例差为0.2；确定目标骨骼点信息，即确定左肩、左手以及左肘的坐标，基于坐标计算目标视频帧中左肩到左肘的骨骼长度与左肘到左手的骨骼长度之比为0.9:1在预设比例差的范围内，确定目标骨骼点信息符合预设姿势信息。

在本申请又一具体实施方式中，以预设姿势信息中包含姿势角度信息为例，本实施例中的姿势角度信息为：左肩到左肘的骨骼与左轴到左腕的骨骼之间的夹角角度为15度，且预设角度差为3度；确定目标骨骼点信息，即确定左肩、左肘以及左腕的坐标，基于坐标计算左肩到左肘的骨骼的向量值，以及左轴到左腕的骨骼的向量值，计算向量值之间的夹角度数为14度，在预设角度差范围内，则确定目标骨骼点信息符合预设姿势信息。

通过判断视频帧中的骨骼信息是否符合预设姿势信息，从而在符合预设姿势信息的情况下再对虚拟道具进行显示，从而保证了虚拟道具显示的准确性，确定用户再摆出预设姿势后才可看到虚拟道具，提高了用户的参与度。

在实际应用中，所述骨骼长度是基于目标骨骼点信息中骨骼点计算获得的，判断所述目标骨骼点信息是否符合所述姿势比例信息和/或所述姿势角度信息，包括：

基于所述目标骨骼点信息确定目标骨骼向量；

计算所述目标骨骼向量间的骨骼比例信息和/或骨骼角度信息；

判断所述骨骼比例信息是否符合所述姿势比例信息和/或判断所述骨骼角度信息是否符合所述姿势角度信息。

其中，目标骨骼向量是指根据目标骨骼点信息计算获得的骨骼点之间骨骼的长度，例如，已知左手腕骨骼点A的坐标值为(x₁，y₁)，左手肘骨骼点B的坐标值为(x₂，y₂)，则由骨骼点A点到骨骼点B点的向量v可以通过下述公式1表示：

骨骼比例信息是指根据目标骨骼点信息计算得到的目标视频帧中骨骼的比例信息；骨骼角度信息是指根据目标骨骼点信息计算得到的目标视频帧中骨骼间夹角的角度信息。

具体的，在预设姿势信息中包含姿势比例信息、或姿势骨骼信息、或姿势比例信息和姿势骨骼信息；在计算获得骨骼比例信息和/或骨骼角度信息后，将骨骼比例信息与姿势比例信息进行比较，将骨骼角度信息与姿势角度进行比较，从而判断目标骨骼点信息是否符合预设姿势信息。

在实际应用中，在确定目标骨骼信息符合预设姿势信息的情况下，获取所述预设姿势信息对应虚拟道具的虚拟道具信息的具体方式包括：

确定预设姿势信息对应的虚拟道具；

获取虚拟道具信息表；

在所述虚拟道具信息表中确定所述虚拟道具，并获取所述虚拟道具对应的虚拟道具信息。

其中，虚拟道具信息表是指包含虚拟道具以及与虚拟道具对应的虚拟道具信息的数据表，或者，虚拟道具信息表是包含虚拟道具、虚拟道具信息以及虚拟道具对应的预设姿势信息的数据表，例如，虚拟道具表中包含虚拟道具鸡腿以及鸡腿信息，或，虚拟道具表中包含预设姿势信息、预设姿势信息对应的虚拟道具鸡腿以及虚拟道具鸡腿对应的鸡腿信息。

在本申请一具体实施方式中，以虚拟道具为盾牌为例，获取虚拟道具信息表，本实施例中预设姿势信息对应的虚拟道具为盾牌，在虚拟道具信息表中确定盾牌道具，并获取盾牌道具对应的盾牌道具信息。

在实际应用中，会存在目标骨骼点信息不符合预设姿势信息的情况，在此情况下，方案下一步的具体操作方式包括：

在所述目标骨骼点信息不符合预设姿势信息的情况下，可以继续执行识别所述待处理视频流中的目标视频帧的步骤，并发送姿势错误提示。

具体的，在所述目标骨骼点信息不符合预设姿势信息的情况下，在确定待处理视频流中继续确定新的目标视频帧，对新的目标视频帧中实体的姿势继续进行判断，并且，在所述目标骨骼点信息不符合预设姿势信息的情况下，可向客户端发送姿势错误提示，以及姿势引导信息，使用户可以更快的找到正确的预设姿势。

在本申请一具体实施方式中，以目标骨骼点信息不符合预设姿势信息为例，基于目标骨骼点信息不符合预设姿势信息的判断结果，向客户端发送姿势失败提醒以及姿势引导信息，使用户可基于姿势引导信息找到摆出正确的姿势。

通过在目标视频帧中的姿势不符合预设姿势的情况下，继续识别待处理视频流中的其他目标视频帧，便于及时获取到视频流中的不同姿势，以便在姿势符合时对虚拟道具及时进行展示，向用户发送姿势引导信息，以便用户可以更快找到正确姿势，提升用户使用体验。

步骤108：基于所述目标骨骼点信息和所述虚拟道具信息在所述目标视频帧中展示所述虚拟道具。

在确定符合预设姿势信息的目标骨骼信息后，获取虚拟道具信息，并根据目标骨骼点信息以及虚拟道具信息在目标视频帧中展示虚拟道具信息对应的虚拟道具。

在实际应用中，基于所述目标骨骼点信息和所述虚拟道具信息在所述目标视频帧中展示所述虚拟道具的方法包括：

基于所述虚拟道具的虚拟道具锚点以及所述目标骨骼点信息确定所述虚拟道具的虚拟道具锚点信息；

根据所述虚拟道具信息、所述虚拟道具锚点信息以及所述目标骨骼点信息在所述目标视频帧中展示所述虚拟道具。

其中，虚拟道具锚点是指在预设姿势中虚拟道具的中心点；虚拟道具锚点信息是指虚拟道具锚点在目标视频帧中展示时的骨骼点位置信息以及偏移量信息，骨骼点位置信息即虚拟道具锚点在预设姿势对应的骨骼的位置，如骨骼点位置信息为虚拟道具锚点绑定在骨骼中右手骨骼点上，偏移量信息即偏移骨骼的信息，如偏移至右手骨骼点以上30％的位置。

在本申请一具体实施方式中，以虚拟道具为帽子为例，确定虚拟道具帽子的锚点信息为：在左手腕与左手肘的骨骼上30％的点；根据帽子道具信息、帽子的锚点信息以及目标骨骼点信息在目标视频帧中展示帽子道具。

在实际应用中，为了使显示在目标视频帧中的虚拟道具效果更为真实，可基于所述虚拟道具的虚拟道具锚点信息以及所述目标骨骼点信息计算所述虚拟道具的虚拟道具锚点信息的具体方法包括：

根据虚拟道具信息中的虚拟道具锚点信息以及所述目标骨骼点信息计算所述虚拟道具在所述目标视频帧中显示时的虚拟道具矩阵。

其中，虚拟道具矩阵是指将虚拟道具在目标视频帧中展示时的虚拟道具的锚点坐标。

在本申请一具体实施方式中，以虚拟道具为盾牌为例，盾牌道具的锚点信息为在左手腕与左手肘的骨骼上靠近左手腕5％的点，并基于骨骼点坐标和盾牌道具的锚点信息计算盾牌在符合预设姿势显示时的锚点坐标值，即盾牌道具矩阵。

通过基于虚拟道具信息中预设的虚拟道具锚点信息结合当前目标骨骼信息计算虚拟道具锚点在目标视频帧中展示时的锚点矩阵，从而确定虚拟道具在目标视频帧中的展示位置，提高了虚拟道具与目标视频帧中姿势的结合度，从而在视频帧中更为真实的显示虚拟道具。

在实际应用中，在接收待处理视频流获取视频帧之前，需要预先设定预设姿势信息以及预设姿势信息对应虚拟道具的虚拟道具信息，具体生成预设姿势信息的方法包括：

确定姿势角度信息和/或姿势比例信息；

根据所述姿势角度信息和/或所述姿势比例信息生成预设姿势信息。

具体的，确定预设姿势对应的姿势比例信息和/或姿势角度信息，例如，预设姿势为举起盾牌，则确定骨骼在举起盾牌姿势时的比例信息和角度信息；在确定姿势比例信息和/或姿势角度信息后，由姿势角度信息和/或姿势比例信息组成预设姿势信息。

在本申请一具体实施方式中，以预设姿势为举起右手手臂为例，确定预设比例信息为：右手腕到右手肘对应骨骼的长度与右手肘到右肩对应骨骼的长度之间的比例为1:1，浮动范围不超过0.2；确定预设角度信息为：右手腕到右手肘对应骨骼与右手肘到右肩对应骨骼之间的夹角为90度，浮动范围不超过3度；由预设比例信息以及预设角度信息组成预设姿势信息。

通过预设姿势比例信息以及姿势角度信息，便于在视频帧中确定符合预设姿势的目标视频帧，并且通过预设比例信息对姿势进行判断的方式可以更准确的确定视频帧中的人物姿势，从而便于后续虚拟道具的真实展示。

具体生成虚拟道具的虚拟道具信息的方法包括：

获取虚拟道具的虚拟道具模型信息以及所述虚拟道具的虚拟道具锚点；

基于所述虚拟道具对应的预设姿势信息定义所述虚拟道具锚点在骨骼点之间的虚拟道具锚点信息；

由所述虚拟道具模型信息和所述虚拟道具锚点信息生成与所述虚拟道具对应的虚拟道具信息。

其中，虚拟道具模型信息是指虚拟道具模型本身的属性信息，例如，模型材质信息模型颜色信息等等。

具体的，获取预先创建的虚拟道具模型并确定虚拟道具的锚点，锚点即模型图像的中心点，用来显示模型图像的偏移，虚拟道具模型可采用3dmax、maya等创建，本申请不做具体限定；确定创建好的虚拟道具后，将虚拟道具与预设姿势进行绑定，即确定预设虚拟道具锚点在预设姿势的骨骼上的具体位置信息，即虚拟道具锚点信息；根据虚拟道具模型信息以及虚拟道具锚点信息组成与预设姿势信息对应的虚拟道具的虚拟道具信息。

通过预先设置虚拟道具信息，包括对虚拟道具的锚点与骨骼点进行绑定，并将获取到的图像中二维骨骼点信息转换为三维骨骼点信息，便于使三维的虚拟道具与画面中的骨骼点更高的结合，从而提高后续在对虚拟道具进行展示时的准确度。

本申请的虚拟道具展示方法，接收待处理视频流，并识别所述待处理视频流中的目标视频帧；解析所述目标视频帧，获得目标骨骼点信息；在所述目标骨骼点信息符合预设姿势信息的情况下，获取所述预设姿势信息对应虚拟道具的虚拟道具信息；基于所述目标骨骼点信息和所述虚拟道具信息在所述目标视频帧中展示所述虚拟道具。本申请一实施例实现了基于预设的姿势信息确定视频帧中的姿势是否与预设姿势一致，在一致的情况下结合视频帧中的骨骼信息对虚拟道具进行展示，提高了虚拟道具与姿势在展示时的准确以及真实程度，为用户带来了更好的视觉效果。

下述结合附图2，以本申请提供的虚拟道具展示方法在虚拟动画角色扮演中的应用为例，对所述虚拟道具展示方法进行进一步说明。其中，图2示出了本申请一实施例提供的一种应用于虚拟动画角色扮演的虚拟道具展示方法的处理流程图，具体包括以下步骤：

步骤202：确定预设姿势信息和虚拟道具信息。

本实施例要实现的效果为在当人物出现在镜头前并摆出动漫角色的经典动作后，在画面中可显示与动作对应的虚拟道具，从而实现虚拟的动漫角色扮演。

在本申请一具体实施方式中，以预设姿势为动漫士兵的姿势为例，如图3所示，图3是本申请一实施例提供的预设姿势示意图；基于动漫士兵的姿势创建预设姿势信息，其中，如图4所示，图4是本申请一实施例提供的预设姿势结构示意图，预设动漫士兵姿势信息包括预设比例信息以及预设角度信息，其中，预设比例信息为骨骼a与骨骼b的长度比例为1:1，且预设范围为0.2；预设角度信息为：骨骼a与骨骼b的夹角为70度，预设范围为5度，其中，骨骼a是基于右肩骨骼点和右手肘骨骼点确定的骨骼，骨骼b是基于右手肘骨骼点和右手腕骨骼点确定的骨骼。

确定预设动漫士兵姿势信息对应的虚拟道具为剑，其中，剑为预先创建的3d道具模型；获取3d模型信息并确定剑的3d道具模型的锚点；根据预设动漫士兵姿势信息，确定骨骼点信息，并将3d道具模型的锚点绑定在右手肘骨骼点与右手腕骨骼点构成骨骼靠近手腕5％，以及在骨骼上方30％的位置，即预设剑的锚点信息；由剑的锚点信息以及剑的3d模型信息组成虚拟道具信息。

步骤204：接收待处理视频流，并识别所述待处理视频流中的目标视频帧。

在本申请一具体实施方式中，沿用上例，接收摄像头采集的待处理视频流，本实施例中基于人物识别规则在待处理视频流中确定目标视频帧，具体为将待处理视频中的视频帧输入至预先训练好的人物图像识别模型中，从而确定视频帧中包含人物图像的视频帧作为目标视频帧。

步骤206：解析所述目标视频帧，获得骨骼点信息集合。

在本申请一具体实施方式中，沿用上例，解析目标视频帧，获得目标视频帧中的多个骨骼点{左肩、左手肘、左手腕、...}，在目标视频帧中建立直角坐标系，并根据建立的直角坐标系确定解析得到的多个骨骼点在目标视频帧中的坐标信息，如左肩坐标为(2，3)，由每个骨骼点在目标视频帧中的坐标信息组成骨骼点信息集合。

步骤208：基于预设姿势信息在所述骨骼点信息集合中确定待处理骨骼点信息，并转换所述待处理骨骼点信息获得目标骨骼点信息。

在本申请一具体实施方式中，沿用上例，基于预设动漫士兵姿势信息在骨骼点信息集合中确定右手肘、右手腕和右肩为待处理骨骼点，确定待处理骨骼点的二维坐标信息，包括{右肩(15，8)，右手肘(18，4)，右手腕(21，8)}；将二维的待处理骨骼点信息，通过添加0的方式，增加其z轴的坐标，获得三维的目标骨骼点信息，包括{右肩(15，8，0)，右手肘(18，4，0)，右手腕(21，8，0)}。

步骤210：判断目标骨骼点信息是否在预设姿势信息范围内。

在本申请一具体实施方式中，沿用上例，确定目标骨骼点后，基于目标骨骼点获得目标骨骼向量，右肩到右手肘的骨骼向量为：右肩骨骼点坐标减去右手肘骨骼点坐标，即(-3，4，0)，同理右手肘到右手腕骨骼向量为(-3，-4，0)，基于目标骨骼向量计算得到的右肩到右手肘的骨骼长度为5，右手肘到右手腕骨骼长度5，即确定骨骼a与骨骼b的比例信息为1:1，则确定目标骨骼信息中的比例信息在预设范围内；基于目标向量计算得到骨骼a与骨骼b之间的夹角度数为74，超过预设角度4度，在预设角度范围内，从而判断目标骨骼点信息符合预设姿势信息。

步骤212：在所述目标骨骼点信息符合预设姿势信息的情况下，获取所述预设姿势信息对应虚拟道具的虚拟道具信息。

在本申请一具体实施方式中，沿用上例，确定目标视频帧中获取到的目标骨骼点信息符合预设动漫士兵姿势信息后，获取预设动漫士兵姿势信息对应的虚拟道具剑；在预设虚拟道具信息表中确定剑对应的虚拟道具信息，虚拟道具信息中包含虚拟道具模型信息以及虚拟道具锚点信息。

步骤214：基于所述虚拟道具锚点信息以及所述目标骨骼点信息计算所述虚拟道具在所述目标视频帧中显示时的虚拟道具矩阵。

在本申请一具体实施方式中，沿用上例，在目标骨骼点信息中确定右手腕、右手肘的三维坐标分别为B(21，8，0)和C(18，4，0)；基于所述三维坐标B和C以及剑的锚点信息中的偏移量信息A计算右手肘骨骼点与右手腕骨骼点构成骨骼上靠近手腕5％的位置的矩阵为(B-C)*5％+C+A，并将其作为剑在目标视频帧中展示时锚点的矩阵。

步骤216：基于所述虚拟道具矩阵以及虚拟道具信息中的虚拟道具模型信息对所述虚拟道具进行展示。

在本申请一具体实施方式中，沿用上例，基于步骤214中计算得到剑的锚点矩阵以及剑的虚拟道具模型信息在目标视频帧中对剑进行展示。

本申请提供的虚拟道具展示方法，接收待处理视频流，并识别所述待处理视频流中的目标视频帧；解析所述目标视频帧，获得目标骨骼点信息；在所述目标骨骼点信息符合预设姿势信息的情况下，获取所述预设姿势信息对应虚拟道具的虚拟道具信息；基于所述目标骨骼点信息和所述虚拟道具信息在所述目标视频帧中展示所述虚拟道具。本申请实现了基于预设的姿势信息确定视频帧中的姿势是否与预设姿势一致，在一致的情况下结合视频帧中的骨骼信息对虚拟道具进行展示，提高了虚拟道具与姿势在展示时的准确以及真实程度，为用户带来了更好的视觉效果。

与上述方法实施例相对应，本申请还提供了虚拟道具展示装置实施例，图5示出了本申请一实施例提供的一种虚拟道具展示装置的结构示意图。如图5所示，该装置包括：

识别模块502，被配置为接收待处理视频流，并识别所述待处理视频流中的目标视频帧；

解析模块504，被配置为解析所述目标视频帧，获得目标骨骼点信息；

获取模块506，被配置为在所述目标骨骼点信息符合预设姿势信息的情况下，获取所述预设姿势信息对应虚拟道具的虚拟道具信息；

展示模块508，被配置为基于所述目标骨骼点信息和所述虚拟道具信息在所述目标视频帧中展示所述虚拟道具。

在本申请一具体实施方式中，所述装置还包括判断模块，被配置为：

确定预设姿势信息中的姿势比例信息和/或姿势角度信息，并判断所述目标骨骼点信息是否符合所述姿势比例信息和/或所述姿势角度信息；

若是，则确定所述目标骨骼点信息符合预设姿势信息；

若否，则确定所述目标骨骼点信息不符合预设姿势信息。

可选地，所述装置还包括判断子模块，被配置为：

基于所述目标骨骼点信息确定目标骨骼向量；

计算所述目标骨骼向量间的骨骼比例信息和/或骨骼角度信息；

判断所述骨骼比例信息是否符合所述姿势比例信息和/或判断所述骨骼角度信息是否符合所述姿势角度信息。

可选地，所述获取模块506，进一步被配置为：

确定预设姿势信息对应的虚拟道具；

获取虚拟道具信息表；

在所述虚拟道具信息表中确定所述虚拟道具，并获取所述虚拟道具对应的虚拟道具信息。

可选地，所述展示模块508，进一步被配置为：

基于所述虚拟道具的虚拟道具锚点以及所述目标骨骼点信息计算所述虚拟道具的虚拟道具锚点信息；

根据所述虚拟道具信息和所述虚拟道具锚点信息在所述目标视频帧中展示所述虚拟道具。

可选地，所述展示模块508，进一步被配置为：

根据虚拟道具信息中的虚拟道具锚点信息以及所述目标骨骼点信息计算所述虚拟道具在所述目标视频帧中显示时的虚拟道具矩阵。

可选地，所述装置还包括预设姿势模块，被配置为：

确定姿势角度信息和/或姿势比例信息；

根据所述姿势角度信息和/或所述姿势比例信息生成预设姿势信息。

可选地，所述装置还包括预设虚拟道具模块，被配置为：

获取虚拟道具的虚拟道具模型信息以及所述虚拟道具的虚拟道具锚点；

基于所述虚拟道具对应的预设姿势信息定义所述虚拟道具锚点在骨骼点之间的虚拟道具锚点信息；

由所述虚拟道具模型信息和所述虚拟道具锚点信息生成与所述虚拟道具对应的虚拟道具信息。

可选地，所述识别模块502，进一步被配置为：

确定预设识别规则；

基于所述预设识别规则识别所述待处理视频流中符合所述预设识别规则的视频帧作为目标视频帧。

可选地，所述解析模504，进一步被配置为：

解析所述目标视频帧获得骨骼点信息集合；

基于预设姿势信息在所述骨骼点信息集合中确定待处理骨骼点信息；

转换所述待处理骨骼点信息获得目标骨骼点信息。

可选地，所述装置还包括执行模块，被配置为：

在所述目标骨骼点信息不符合预设姿势信息的情况下，继续执行识别所述待处理视频流中的目标视频帧的步骤。

本申请的虚拟道具展示装置，识别模块，接收待处理视频流，并识别所述待处理视频流中的目标视频帧；解析模块，解析所述目标视频帧，获得目标骨骼点信息；获取模块，在所述目标骨骼点信息符合预设姿势信息的情况下，获取所述预设姿势信息对应虚拟道具的虚拟道具信息；展示模块，基于所述目标骨骼点信息和所述虚拟道具信息在所述目标视频帧中展示所述虚拟道具。通过基于预设的姿势信息确定视频帧中的姿势是否与预设姿势一致，在一致的情况下结合视频帧中的骨骼信息对虚拟道具进行展示，提高了虚拟道具与姿势在展示时的准确以及真实程度，为用户带来了更好的视觉效果。

上述为本实施例的一种虚拟道具展示装置的示意性方案。需要说明的是，该虚拟道具展示装置的技术方案与上述的虚拟道具展示方法的技术方案属于同一构思，虚拟道具展示装置的技术方案未详细描述的细节内容，均可以参见上述虚拟道具展示方法的技术方案的描述。

图6示出了根据本申请一实施例提供的一种计算设备600的结构框图。该计算设备600的部件包括但不限于存储器610和处理器620。处理器620与存储器610通过总线630相连接，数据库650用于保存数据。

计算设备600还包括接入设备640，接入设备640使得计算设备600能够经由一个或多个网络660通信。这些网络的示例包括公用交换电话网(PSTN)、局域网(LAN)、广域网(WAN)、个域网(PAN)或诸如因特网的通信网络的组合。接入设备640可以包括有线或无线的任何类型的网络接口(例如，网络接口卡(NIC))中的一个或多个，诸如IEEE802.11无线局域网(WLAN)无线接口、全球微波互联接入(Wi-MAX)接口、以太网接口、通用串行总线(USB)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC)接口，等等。

在本申请的一个实施例中，计算设备600的上述部件以及图6中未示出的其他部件也可以彼此相连接，例如通过总线。应当理解，图6所示的计算设备结构框图仅仅是出于示例的目的，而不是对本申请范围的限制。本领域技术人员可以根据需要，增添或替换其他部件。

计算设备600可以是任何类型的静止或移动计算设备，包括移动计算机或移动计算设备(例如，平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如，智能手机)、可佩戴的计算设备(例如，智能手表、智能眼镜等)或其他类型的移动设备，或者诸如台式计算机或PC的静止计算设备。计算设备600还可以是移动式或静止式的服务器。

其中，处理器620执行所述计算机指令时实现所述的虚拟道具展示方法的步骤。

上述为本实施例的一种计算设备的示意性方案。需要说明的是，该计算设备的技术方案与上述的虚拟道具展示方法的技术方案属于同一构思，计算设备的技术方案未详细描述的细节内容，均可以参见上述虚拟道具展示方法的技术方案的描述。

本申请一实施例还提供一种计算机可读存储介质，其存储有计算机指令，该计算机指令被处理器执行时实现如前所述虚拟道具展示方法的步骤。

上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是，该存储介质的技术方案与上述的虚拟道具展示方法的技术方案属于同一构思，存储介质的技术方案未详细描述的细节内容，均可以参见上述虚拟道具展示方法的技术方案的描述。

上述对本申请特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

所述计算机指令包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本申请所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。

以上公开的本申请优选实施例只是用于帮助阐述本申请。可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本申请的内容，可作很多的修改和变化。本申请选取并具体描述这些实施例，是为了更好地解释本申请的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本申请。本申请仅受权利要求书及其全部范围和等效物的限制。

Claims (14)

1.一种虚拟道具展示方法，其特征在于，包括：

接收待处理视频流，并识别所述待处理视频流中的目标视频帧；

解析所述目标视频帧，获得目标骨骼点信息；

在所述目标骨骼点信息符合预设姿势信息的情况下，获取所述预设姿势信息对应虚拟道具的虚拟道具信息；

基于所述目标骨骼点信息和所述虚拟道具信息在所述目标视频帧中展示所述虚拟道具。

2.如权利要求1所述的虚拟道具展示方法，其特征在于，解析所述目标视频帧，获得目标骨骼点信息之后，还包括：

确定预设姿势信息中的姿势比例信息和/或姿势角度信息，并判断所述目标骨骼点信息是否符合所述姿势比例信息和/或所述姿势角度信息；

若是，则确定所述目标骨骼点信息符合预设姿势信息；

若否，则确定所述目标骨骼点信息不符合预设姿势信息。

3.如权利要求2所述的虚拟道具展示方法，其特征在于，判断所述目标骨骼点信息是否符合所述姿势比例信息和/或所述姿势角度信息，包括：

基于所述目标骨骼点信息确定目标骨骼向量；

计算所述目标骨骼向量间的骨骼比例信息和/或骨骼角度信息；

判断所述骨骼比例信息是否符合所述姿势比例信息和/或判断所述骨骼角度信息是否符合所述姿势角度信息。

4.如权利要求1所述的虚拟道具展示方法，其特征在于，获取所述预设姿势信息对应虚拟道具的虚拟道具信息，包括：

确定预设姿势信息对应的虚拟道具；

获取虚拟道具信息表；

在所述虚拟道具信息表中确定所述虚拟道具，并获取所述虚拟道具对应的虚拟道具信息。

5.如权利要求1所述的虚拟道具展示方法，其特征在于，基于所述目标骨骼点信息和所述虚拟道具信息在所述目标视频帧中展示所述虚拟道具，包括：

基于所述虚拟道具的虚拟道具锚点以及所述目标骨骼点信息确定所述虚拟道具的虚拟道具锚点信息；

根据所述虚拟道具信息和所述虚拟道具锚点信息在所述目标视频帧中展示所述虚拟道具。

6.如权利要求5所述的虚拟道具展示方法，其特征在于，基于所述虚拟道具的虚拟道具锚点以及所述目标骨骼点信息计算所述虚拟道具的虚拟道具锚点信息，包括：

根据虚拟道具信息中的虚拟道具锚点信息以及所述目标骨骼点信息计算所述虚拟道具在所述目标视频帧中显示时的虚拟道具矩阵。

7.如权利要求1所述的虚拟道具展示方法，其特征在于，接收待处理视频流之前，还包括：

确定姿势角度信息和/或姿势比例信息；

根据所述姿势角度信息和/或所述姿势比例信息生成预设姿势信息。

8.如权利要求1所述的虚拟道具展示方法，其特征在于，接收待处理视频流之前，还包括：

获取虚拟道具的虚拟道具模型信息以及所述虚拟道具的虚拟道具锚点；

基于所述虚拟道具对应的预设姿势信息定义所述虚拟道具锚点在骨骼点之间的虚拟道具锚点信息；

由所述虚拟道具模型信息和所述虚拟道具锚点信息生成与所述虚拟道具对应的虚拟道具信息。

9.如权利要求1-6任意一项所述的虚拟道具展示方法，其特征在于，识别所述待处理视频流中的目标视频帧，包括：

确定预设识别规则；

基于所述预设识别规则识别所述待处理视频流中符合所述预设识别规则的视频帧作为目标视频帧。

10.如权利要求1-6任意一项所述的虚拟道具展示方法，其特征在于，解析所述目标视频帧，获得目标骨骼点信息，包括：

解析所述目标视频帧获得骨骼点信息集合；

基于预设姿势信息在所述骨骼点信息集合中确定待处理骨骼点信息；

转换所述待处理骨骼点信息获得目标骨骼点信息。

11.如权利要求1-6任意一项所述的虚拟道具展示方法，其特征在于，所述方法还包括：

在所述目标骨骼点信息不符合预设姿势信息的情况下，继续执行识别所述待处理视频流中的目标视频帧的步骤。

12.一种虚拟道具展示装置，其特征在于，包括：

识别模块，被配置为接收待处理视频流，并识别所述待处理视频流中的目标视频帧；

解析模块，被配置为解析所述目标视频帧，获得目标骨骼点信息；

获取模块，被配置为在所述目标骨骼点信息符合预设姿势信息的情况下，获取所述预设姿势信息对应虚拟道具的虚拟道具信息；

展示模块，被配置为基于所述目标骨骼点信息和所述虚拟道具信息在所述目标视频帧中展示所述虚拟道具。

13.一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，其特征在于，所述处理器执行所述计算机指令时实现权利要求1-11任意一项所述方法的步骤。

14.一种计算机可读存储介质，其存储有计算机指令，其特征在于，该计算机指令被处理器执行时实现权利要求1-11任意一项所述方法的步骤。

Images