CN113593016A - 一种贴纸的生成方法和装置 - Google Patents

Abstract

本公开实施例提供一种贴纸的生成方法和装置，其中方法包括：获取目标视频流中的目标图像，所述目标图像中包括目标对象；确定所述目标对象的各个目标对象骨架关键点分别对应的第一位置参数；基于所述第一位置参数，确定与所述目标对象骨架关键点对应的三维贴纸模型的骨架关键点的第二位置参数；基于所述第二位置参数，渲染所述三维贴纸模型至所述目标图像中的目标对象。本方法通过将目标对象骨架关键点的位置变化映射至三维贴纸模型上，可以在目标图像上形成立体的三维贴纸的效果，并使得三维贴纸模型的动作与目标对象动作同步，更贴合现实。

Description

一种贴纸的生成方法和装置

技术领域

本公开实施例涉及图像处理技术领域，尤其涉及一种贴纸的生成方法和装置。

背景技术

随着产品智能化、电子化以及互联化的不断发展和普及，出现了很多越来越智能化终端的人机交互方式，以满足人们追求个性化和时尚化的需求。用户在社交平台、短视频平台进行视频分享和直播时，希望能够体验到新颖的玩法，和别人不一样，彰显个性与众不同。比如，在视频画面中添加喜欢的贴纸。

发明内容

有鉴于此，本公开实施例提供至少一种贴纸的生成方法和装置。

第一方面，提供一种贴纸的生成方法，所述方法包括：

获取目标视频流中的目标图像，所述目标图像中包括目标对象。

确定所述目标对象的各个目标对象骨架关键点分别对应的第一位置参数。

基于所述第一位置参数，确定与所述目标对象骨架关键点对应的三维贴纸模型的骨架关键点的第二位置参数。

基于所述第二位置参数，渲染所述三维贴纸模型至所述目标图像中的目标对象。

第二方面，提供一种贴纸的生成装置，所述装置包括：

图像获取模块，用于获取目标视频流中的目标图像，所述目标图像中包括目标对象。

第一位置参数确定模块，用于确定所述目标对象的各个目标对象骨架关键点分别对应的第一位置参数。

第二位置参数确定模块，用于基于所述第一位置参数，确定与所述目标对象骨架关键点对应的三维贴纸模型的骨架关键点的第二位置参数。

图像渲染模块，用于基于所述第二位置参数，渲染所述三维贴纸模型至所述目标图像中的目标对象。

第三方面，提供一种电子设备，所述设备包括存储器、处理器，所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时实现本公开任一实施例所述的方法。

第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本公开任一实施例所述的方法。

第五方面，提供一种计算机程序产品，所述产品包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现本公开任一实施例所述的方法。

本公开实施例提供的贴纸的生成方法和装置，通过将目标对象骨架关键点的位置变化映射至三维贴纸模型上，在目标图像上形成立体的三维贴纸的效果，并使三维贴纸模型的动作与目标对象动作同步，更贴合现实，增加趣味性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本说明书。

附图说明

为了更清楚地说明本公开一个或多个实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开一个或多个实施例中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本公开实施例示出的一种贴纸的生成方法的流程图；

图1A是本公开实施例示出的一种目标图像；

图1B是本公开实施例示出的一种目标对象骨架关键点的示意图；

图1C是本公开实施例示出的另一种目标对象骨架关键点的示意图；

图1D是本公开实施例示出的三种不同姿态的目标对象；

图1E是本公开实施例示出的一种人体荧光积木造型的示意图；

图1F是本公开实施例示出的一种学士服模型贴纸效果的示意图；

图1G是本公开实施例示出的一种三维贴纸模型推荐页面的效果图；

图1H是本公开实施例示出的选中绿巨人模型后的特效展示页面；

图1I是本公开实施例示出的一种钢铁侠贴纸效果的示意图；

图2是本公开实施例示出的另一种贴纸的生成方法的流程图；

图2A是本公开实施例示出的一种目标对象骨架关键点的变化轨迹；

图3是本公开实施例示出的又一种贴纸的生成方法的流程图；

图3A是本公开实施例示出的一种面部关键点的示意图；

图4是本公开实施例示出的另一种贴纸的生成方法的流程图；

图4A是本公开实施例示出的一种手部关键点的示意图；

图5是本公开实施例示出的一种贴纸的生成装置的框图；

图6是本公开实施例示出的一种电子设备的硬件结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书的一些方面相一致的装置和方法的例子。

在本说明书使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书。在本说明书和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本说明书可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

请参见图1，图1是本公开实施例示出的一种贴纸的生成方法，该方法可以包括：

在步骤100中，获取目标视频流中的目标图像，所述目标图像中包括目标对象。

当使用贴纸时，可以是选择预先通过相机，手机等可以录像的设备的摄像头拍摄目标对象得到的目标视频流，对其中包含目标对象的目标图像进行后处理；也可以在对目标对象进行录像的过程中，实时对目标视频流中的目标图像进行处理。

目标视频流一般为RGB图像格式，也可以为其他图像格式。该目标视频流中可以包括多个图像帧，目标图像可以为其中一个图像帧。目标对象为指定的人体，在目标图像中可以包括一个或多个人体，可以默认指定图像中的人体均为目标对象，也可以默认指定符合设定特征的人体为目标对象。例如，预先录入用户的特征，当识别出目标图像中的人体符合用户的特征时，即可确定为目标对象。设定的特征可以是发色为红，戴眼镜，戴耳环等。在一个目标图像中，目标对象的数量可以为一个或多个。在一个示例中，目标图像如图1A所示。

在步骤102中，确定所述目标对象的各个目标对象骨架关键点分别对应的第一位置参数。

目标对象上可以存在多个目标对象骨架关键点，目标对象骨架关键点可以是目标对象的手关节，肘关节，头顶点，踝关节及尾椎等目标对象骨架上的点，为了区别各个目标对象骨架关键点，可以为目标对象骨架关键点编号，每个目标对象骨架关键点都有唯一标号。示例性的，参见图1B所示，图中的目标对象设置有19个目标对象骨架关键点，图1B中包括目标对象骨架关键点1-19。参见图1C所示，图中的目标对象设置有14个目标对象骨架关键点，图1C中包括目标对象骨架关键点20-33。

本公开实施例中，可以用第一位置参数表示目标对象骨架关键点的位置，示例性的，该位置可以用二维平面坐标表示。

对于同一张目标图像而言，该同一目标图像中包括的各个目标对象骨架关键点对应的第一位置参数是不同的，例如，前述的目标对象骨架关键点11和目标对象骨架关键点12对应的第一位置参数不同，即这两个目标对象骨架关键点处于不同的位置。

对于同一个目标对象骨架关键点来说，当目标图像中的目标对象呈现不同的姿态，如转身、踢腿、叉腰等姿态时，该目标对象骨架关键点的位置也会不同。请参见图1D所示，图中的目标对象呈现了跑步、抱臂站立和后仰抬腿三种姿态，同一个目标对象骨架关键点在所述的不同姿态中对应的第一位置参数不同。例如，以图1D中的目标对象左手腕的目标对象骨架关键点27来看，该目标对象骨架关键点27在跑步姿态中对应第一位置参数P1，在抱臂站立姿态中对应第一位置参数P2，在后仰抬腿姿态中对应第一位置参数P3。

本步骤中，可以是通过人体骨架检测技术检测目标视频流的目标图像中目标对象的各个目标对象骨架关键点，确定各个目标对象骨架关键点分别对应的第一位置参数。示例性的，实际实施中，可以将目标图像输入预先训练的用于目标对象骨架关键点检测的神经网络中，由神经网络输出各个目标对象骨架关键点分别对应的第一位置参数。当然，也可以采用其他方式得到目标对象骨架关键点的第一位置参数，本公开实施例对此不做限制。

在步骤104中，基于所述第一位置参数，确定与所述目标对象骨架关键点对应的三维贴纸模型的骨架关键点的第二位置参数。

本公开实施例中，三维贴纸模型可以是预先由3D建模师建出的各种各样形象的3D模型，以满足用户的多样化需求。例如，三维贴纸模型的形象可以是影视人物形象，如钢铁侠，绿巨人；可以是衣服，如学士服，宇航服，蓬蓬裙；也可以是其他创意性的造型，如人体荧光积木造型，效果如图1E。三维贴纸模型可以是覆盖或遮挡目标对象的各个部位，也可以是覆盖或遮挡目标对象的部分部位。比如，绿巨人模型包括头部，脚部等，可以实现包裹目标对象全身的效果，而学士服模型不包括头部，可以实现包裹目标对象头部以下的效果，如同身穿学士服,效果如图1F。

其中，在三维贴纸模型上也存在多个骨架关键点，三维贴纸模型的骨架关键点与目标对象的目标对象骨架关键点之间存在对应关系。对于不同的三维贴纸模型，骨架关键点的个数也会不同。比如，一些三维贴纸模型的骨架关键点可以比目标对象骨架关键点少，如蓬蓬裙，不存在头顶点，踝关节等部分骨架关键点，除此之外，蓬蓬裙模型的骨架关键点与目标对象的目标对象骨架关键点之间对应。

举例来说，T恤的三维贴纸模型包括骨架关键点T1、T2、T3和T4，其中，以图1C为例，T1对应目标对象的目标对象骨架关键点22，T2对应目标对象骨架关键点23，T3对应目标对象骨架关键点28，T4对应目标对象骨架关键点29。

在本步骤中，将目标对象的各个目标对象骨架关键点的位置映射到三维贴纸模型的骨架关键点的位置，得到三维贴纸模型的骨架关键点的第二位置参数。可以基于二维的第一位置参数预测目标对象的姿态，得到包含目标对象姿态信息的三维的第二位置参数。示例性的，实际实施中，可以将第一位置参数输入预先训练的用于目标对象姿态预测的神经网络中，由神经网络输出各个目标对象骨架关键点分别对应的第二位置参数。第二位置参数可以包括三维空间坐标，相比于第一位置参数的平面坐标，第二位置参数多了深度坐标。

在步骤106中，基于所述第二位置参数，渲染所述三维贴纸模型至所述目标图像中的目标对象。

通过三维贴纸模型的骨架关键点的第二位置参数，可以驱动三维贴纸模型呈现目标对象的姿态，将呈现该姿态的三维贴纸模型渲染至目标图像中的目标对象上，最终在目标图像上呈现三维贴纸模型包裹或附着目标对象的视觉效果。

此外，目标视频流中包括多张目标图像，上述的处理流程适应于对于其中的一张目标图像的处理，比如，对于其中某一张目标图像，可以通过上述流程将三维贴纸模型渲染到目标图像的目标对象上，并与目标对象呈现相同的姿态。实际实施中，可以对目标视频流中的部分目标图像进行上述处理，比如，采取间隔帧的方式，对时序上采集的第一张目标图像、第三张目标图像分别进行上述处理；或者，还可以对目标视频流中的每一张目标图像都进行上述处理，以使得贴纸呈现的效果更加连贯。

需要说明的是，本实施例中的贴纸的生成方法可以在终端进行，比如，可以使用终端上的程序实时处理目标视频流中的目标图像，得到包含三维贴纸的一系列图像或视频；也可以在云端进行，可以在终端的小程序或者网页选择准备好的目标视频流和三维贴纸模型，通过云端的算法进行处理，可以在终端查看包含三维贴纸的一系列图像或视频。

本实施例的贴纸生成方法，通过将目标对象骨架关键点的位置变化映射至三维贴纸模型上，在目标图像上形成立体的三维贴纸的效果；并且，由于对目标视频流中的各个目标图像，都依据目标图像中目标对象的关键点位置将三维贴纸模型的关键点渲染到对应一致的位置，从而使得三维贴纸模型的动作与目标视频流中的目标对象的动作呈现出同步的效果，更贴合现实，增加趣味性。

本实施例中，可以直接使用默认的三维贴纸模型，也可以预先由用户在人机交互页面选择三维贴纸模型。如图1G所示的手机终端小程序中的三维贴纸模型推荐页面，图中推荐页面依次示例了宇航员，蓬蓬裙，绿巨人和兽人战士四种三维贴纸模型，选中一个模型后可以进一步查看该模型的细节，如图1H为选中绿巨人模型后的特效展示页面，点击制作视频后开始图1的流程。也可以不由用户选择，在步骤104之前自动从多个待选三维贴纸模型中确定要使用的三维贴纸模型，如下示例几种依据目标对象的信息确定三维贴纸模型的例子，但可以理解的是，具体实施中并不局限于如下的示例：

在一个示例中，可以依据目标对象的目标对象属性信息从多个待选三维贴纸模型中确定要使用的三维贴纸模型，目标对象属性信息可以包括：性别，高矮，胖瘦，肤色，人种，发型及发色等人体属性。

例如，在获取目标视频流中的目标图像之后，可以检测目标图像中的目标对象，并获取该目标对象的目标对象属性信息。示例性的，可以预先训练一个目标对象检测神经网络，该目标对象检测神经网络可以将目标图像作为输入，同时输出检测到的目标图像的目标对象、以及该目标对象的目标对象属性信息。

本公开实施例中，可以预先设置目标对象属性信息和三维贴纸模型的映射关系，例如，男性对应超人贴纸模型，女性对应神奇女侠贴纸。基于上述的映射关系，可以根据上述的目标对象检测神经网络输出的目标对象属性信息，确定与该目标对象属性信息对应的三维贴纸模型。

另外，上述的目标对象属性信息与三维贴纸模型的映射关系，可以是设置在不同情境下的映射关系。例如，在迪士尼情境下，所述的映射关系可以包括如下：

表1目标对象属性信息与三维贴纸模型的映射关系(迪士尼情境)

目标对象属性信息	三维贴纸模型
		男性，肤色黑	阿拉丁
女性，肤色黑	茉莉公主
		男性，肤色白	白马王子
女性，肤色白	白雪公主

具体实施中，用户可以在进行贴纸处理流程之前，就预先选择自己喜欢的情境，并在该选择的情景中，进行模型自动匹配。例如，当选择迪士尼情景时，男性可以对应王子模型类别，其中，肤色为黑的男性对应王子模型类别中的阿拉丁，肤色为白的男性对应王子模型类别中的白马王子；女性可以对应公主模型类别，其中，肤色为黑的女性对应公主模型类别中的茉莉公主，肤色为白的女性对应公主模型类别中的白雪公主。当目标图像中存在属性为性别男肤色白的目标对象和属性为性别女肤色黑的目标对象时，分别选择白马王子模型和茉莉公主模型在目标对象上分别生成对应的贴纸。

在另一个示例中，可以依据目标对象的目标对象姿态类型从多个待选三维贴纸模型中确定要使用的三维贴纸模型，目标对象姿态类型可以包括：站立，坐，躺，跑，张开手臂等姿态。

例如，在获取目标视频流中的目标图像之后，可以检测目标图像中的目标对象，并获取该目标对象的目标对象姿态类型。示例性的，可以预先训练一个目标对象检测神经网络，该目标对象检测神经网络可以将目标图像作为输入，同时输出检测到的目标图像的目标对象、以及该目标对象的目标对象姿态类型。

本公开实施例中，可以预先设置目标对象姿态类型和三维贴纸模型的映射关系。例如，姿态为站立时，对应的三维贴纸模型为蓬蓬裙；姿态为张开手臂时，对应的三维贴纸模型为学士服；姿态为锤击时，对应的三维贴纸模型为绿巨人。基于上述的映射关系，可以根据上述的目标对象检测神经网络输出的目标对象姿态类型，确定与该目标对象姿态类型对应的三维贴纸模型。

另外，上述的目标对象姿态类型与三维贴纸模型的映射关系，可以是设置在不同情境下的映射关系。例如，在漫威的情境下，对应的三维贴纸模型均为漫威的英雄，效果如图1I中的钢铁侠贴纸。具体实施中，用户可以在进行贴纸处理流程之前，就预先选择自己喜欢的情境，并在该选择的情景中，进行模型自动匹配。

在依据目标对象的信息确定三维贴纸模型时，可以是结合目标对象属性信息与目标对象姿态类型选择三维贴纸模型。比如，当目标对象的目标对象属性信息为男性，目标对象姿态类型为躺时，可以对应李白醉酒的贴纸模型；目标对象的目标对象属性信息为女性，目标对象姿态类型为躺时，可以对应贵妃醉酒的贴纸模型。

本实施例的贴纸生成方法，通过目标对象的信息自动确定所使用的三维贴纸模型，在目标图像上形成立体的三维贴纸的效果，减少了用户在终端上的操作。可以为不同目标对象属性信息的用户自动选择匹配的三维贴纸模型，无需手动选择三维贴纸模型；也可以为不同目标对象姿态类型的用户自动选择匹配的三维贴纸模型，用户摆出指定的姿势即可。还可以选择喜欢的情景，满足用户的多样化需求。

图2提供了本公开另一实施例中贴纸的生成方法，该方法可以包括如下处理，其中，与图1的流程相同的步骤将不再详述。

在步骤200中，获取所述目标视频流中的多个目标图像。

本实施例为后处理的方式，即可以预先获取目标视频流中的相邻或相近的多个目标图像，再对目标图像进行处理。

在步骤202中，分别确定所述目标对象的各个目标对象骨架关键点在多个所述目标图像中对应的第一位置参数，并基于所述第一位置参数确定所述目标对象骨架关键点的变化轨迹。

对于每一帧目标图像，可以通过人体骨架检测技术分别检测各个目标图像中目标对象的各个目标对象骨架关键点，得到多个目标图像对应的第一位置参数。按时间序列比较多组第一位置参数，得到多个目标图像中目标对象骨架关键点在位置方面的变化轨迹。不同目标对象骨架关键点的变化轨迹可以不同，比如，同一目标对象的变化轨迹中，左手肘关键点向左移动，同时，右脚踝关键点向上移动。

在步骤204中，基于所述变化轨迹，重新确定所述目标对象的各个目标对象骨架关键点在至少一个所述目标图像中对应的第一位置参数。

当发现存在部分目标图像中目标对象的目标对象骨架关键点的位置与整体的变化轨迹不符时，调整该部分目标图像中目标对象的目标对象骨架关键点的第一位置参数，以总体数据弥补对单帧图像识别的不准确。

特别地，存在部分目标图像中目标对象的某个或某些目标对象骨架关键点被遮挡时，可以通过变化轨迹预测被遮挡的目标对象骨架关键点的位置，进而确定出被遮挡的目标对象骨架关键点的第一位置参数。

比如，请参见图2A，图中示例了一种变化轨迹，该变化轨迹是基于其中一个目标对象骨架关键点在连续九帧目标图像中的的第一位置参数得到的。其中，每帧目标图像中的目标对象骨架关键点的位置用标号为a1-a9的三角形表示，标号为a1的三角形代表了第一帧目标图像中该目标对象骨架关键点的位置，以此类推。很明显三角形a4的位置不符合整体的变化轨迹，可以在变换轨迹上选择距离三角形a4较近的点，示例中为圆形b4的位置，作为重新确定的第四帧目标图像中该目标对象骨架关键点的位置，得到新的第一位置参数。

在步骤206中，基于重新确定的第一位置参数，确定与所述目标对象骨架关键点对应的三维贴纸模型的骨架关键点的第二位置参数。

对于重新确定的第一位置参数，根据三维贴纸模型的骨架关键点与目标对象的目标对象骨架关键点之间存在的对应关系，可以得到对应的三维贴纸模型的骨架关键点的第二位置参数。该第二位置参数即为对应的目标对象骨架关键点的重新确定的第一位置参数。

在步骤208中，基于所述第二位置参数，渲染所述三维贴纸模型至所述目标图像中的目标对象。

本实施例的贴纸生成方法，通过多个目标图像中目标对象的目标对象骨架关键点的变化轨迹，校正不符合整体变化轨迹的个别目标对象骨架关键点的位置，使得生成的贴纸更符合人体姿态。当目标视频流的目标图像中包括目标对象的一连串的动作，部分目标图像中目标对象的某个或某些目标对象骨架关键点被遮挡，也不会干扰贴纸的生成。

图3提供了本公开一实施例中贴纸的生成方法，该方法在根据目标对象骨架关键点在目标图像中目标对象上渲染三维贴纸模型的基础上，还可以进一步检测目标对象的面部关键点并据此渲染面部贴纸。该方法可以包括如下处理，其中，与图1的流程相同的步骤将不再详述。

在步骤300中，获取目标视频流中的目标图像，所述目标图像中包括目标对象。

在步骤302中，确定所述目标对象的各个目标对象骨架关键点分别对应的第一位置参数，基于所述第一位置参数，确定与所述目标对象骨架关键点对应的三维贴纸模型的骨架关键点的第二位置参数；以及检测所述目标对象的面部关键点。

本实施例可以在上述实施例的基础上实现，比如，对于不包括面部的学士服模型，可以配合面部贴纸模型一起使用；对于包括面部的三维贴纸模型，可以更换其面部的贴纸，或者额外增加新的面部贴纸。

面部关键点可以是面部轮廓线或五官轮廓线上的点，如图3A所示。

可以是通过预先训练的用于检测面部关键点的神经网络对目标图像中的目标对象进行检测，将目标图像作为网络输入，输出目标图像中目标对象的面部关键点位置信息。

在步骤304中，基于所述第二位置参数，渲染所述三维贴纸模型至所述目标图像中的目标对象；并根据所述面部关键点与面部贴纸模型的关键点之间的对应关系，将面部贴纸模型渲染到所述目标图像中的目标对象的面部。

可以预先选择或者使用默认的面部贴纸模型，面部贴纸模型可以是三维贴纸模型，呈现立体包裹的效果；也可以是二维贴纸模型，呈现覆盖的效果。

预先设置面部关键点与面部贴纸模型的关键点的对应关系，将目标对象的面部关键点位置信息映射至面部贴纸模型，以驱动面部贴纸模型呈现目标对象面部的表情。比如，目标对象的面部为张大嘴巴时，面部贴纸模型将调整为与目标对象的面部匹配的形状并同样为张大嘴巴的表情。

将面部贴纸渲染到目标图像中的目标对象的面部，与目标对象的面部贴合。

本实施例的贴纸生成方法，可以在目标图像中生成贴纸形成包裹人体立体效果的基础上，通过将目标对象的面部关键点的位置信息映射至面部贴纸模型上，在目标对象的面部生成面部贴纸，并使面部贴纸模型的表情与目标对象面部表情同步，增加趣味性。

图4提供了本公开一实施例中的贴纸的生成方法，该方法可以在图3所示的流程基础上，进一步根据检测到的目标对象手部关键点增加手部贴纸；可选的，实际实施中还可以是结合在目标图像的目标对象上渲染三维贴纸模型和目标对象的手部渲染手部贴纸，不进行面部贴纸。该方法可以包括如下处理，其中，与图3的流程相同的步骤将不再详述。

在步骤400中，获取目标视频流中的目标图像，所述目标图像中包括目标对象。

在步骤402中，确定所述目标对象的各个目标对象骨架关键点分别对应的第一位置参数，基于所述第一位置参数，确定与所述目标对象骨架关键点对应的三维贴纸模型的骨架关键点的第二位置参数；以及检测所述目标对象的面部关键点和手部关键点。

手部关键点可以是手指或手掌上的点，如图4A所示，标号的位置即为手部关键点的位置。

可以是通过预先训练的用于检测手部关键点的神经网络对目标图像中的目标对象进行检测，将目标图像作为网络输入，输出目标图像中目标对象的手部关键点位置信息。

在步骤404中，基于所述第二位置参数，渲染所述三维贴纸模型至所述目标图像中的目标对象；根据所述面部关键点与面部贴纸模型的关键点之间的对应关系，将面部贴纸模型渲染到所述目标图像中的目标对象的面部；根据所述手部关键点与手部贴纸模型的关键点之间的对应关系，将手部贴纸模型渲染到所述目标图像中的目标对象的手部。

其中，三维贴纸模型可以包括手部，也可以不包括，三维贴纸模型和手部贴纸模型的结合方式可以由用户设置或系统默认。比如，对于不包括手部的蓬蓬裙模型，可以配合手部贴纸模型一起使用；对于包括手部的三维贴纸模型，可以更换其手部的贴纸，或者额外增加新的手部贴纸。

可以预先选择或者使用默认的手部贴纸模型，手部贴纸模型可以是三维贴纸模型，呈现立体包裹的效果；也可以是二维贴纸模型，呈现覆盖的效果。

预先设置手部关键点与手部贴纸模型的关键点的对应关系，不同的手部贴纸模型的对应关系不同。例如，对于手套模型，可以预设手部关键点与手套模型的关键点为一一对应关系，以使生成的手套贴纸贴合手部；对于魔法棒模型，可以预设部分的手部关键点与魔法棒模型的关键点为一一对应关系，或者多对一的关系，以使呈现手持魔法棒的效果。

将目标对象的手部关键点位置信息映射至手部贴纸模型，以驱动手部贴纸模型呈现手部的动作，或者跟随手部的位置。例如，手套模型可以呈现手部的动作，生成贴合手部的手套贴纸；魔法棒模型可以跟随手部的位置，调整魔法棒的方向，在手部位置生成魔法棒贴纸。

本实施例的贴纸生成方法，在目标图像中生成贴纸形成包裹人体的立体效果的基础上，通过将目标对象的手部关键点的位置信息映射至手部贴纸模型上，在目标图像的目标对象的手部位置渲染手部贴纸，使手部贴纸呈现手部的动作，或者跟随手部的位置，增加趣味性。

在本实施例或本公开其他实施例中，在检测到目标图像中目标对象的手部关键点后，还可以进一步识别出目标对象手势类型，可以预先设置不同的目标对象手势类型对应的不同效果，以增加人机互动的趣味性。如下示例几种依据目标对象手势类型选择对应的效果的例子，但可以理解的是，具体实施中并不局限于如下的示例：

在一个示例中，可以是通过目标对象手势类型召唤不同特效。基于目标对象的手势关键点，确定目标对象手势类型。通过手势识别的方法确定目标对象手势类型，目标对象手势类型可以是由一只手或两只手产生的形态，如：拳头、OK、比心、作揖、作别、祈祷、点赞、数字等等。预先设置不同的手势类型对应的特效，基于所述目标对象手势类型与特效之间的对应关系，由至少一个待选特效中确定目标特效。目标特效可以是下雪，起雾，爆炸等动态效果，或者发光，滤镜，挂件等静态效果。在所述目标图像上生成所述目标特效。

在另一个示例中，可以是通过目标对象手势类型切换使用的三维贴纸模型。基于目标对象的手势关键点，确定目标对象手势类型，预先设置不同的手势类型对应的切换功能。比如，手势为四指并拢向上掌心朝外，表示切换为上一个待选贴纸模型；手势为四指并拢向下掌心朝内，表示切换为下一个待选贴纸模型；手势为四指并拢向左掌心朝内，表示切换为历史记录中上一次使用的贴纸模型。

基于所述目标对象手势类型与切换功能之间的对应关系，将所述三维贴纸模型切换为至少一个待选三维贴纸模型中与所述切换功能对应的三维贴纸模型。

在又一个示例中，可以是同时通过目标对象手势类型召唤不同特效和切换使用的三维贴纸模型，预先设置目标对象手势类型对应的效果，使其不冲突即可。

如图5所示，图5是本公开实施例示出的一种贴纸的生成装置的框图，所述装置包括：图像获取模块51，第一位置参数确定模块52，第二位置参数确定模块53和图像渲染模块54。

图像获取模块51，用于获取目标视频流中的目标图像，所述目标图像中包括目标对象；

第一位置参数确定模块52，用于确定所述目标对象的各个目标对象骨架关键点分别对应的第一位置参数；

第二位置参数确定模块53，用于基于所述第一位置参数，确定与所述目标对象骨架关键点对应的三维贴纸模型的骨架关键点的第二位置参数；

图像渲染模块54，用于基于所述第二位置参数，渲染所述三维贴纸模型至所述目标图像中的目标对象。

本公开实施例提供的贴纸的生成装置，通过将目标对象骨架关键点的位置变化映射至三维贴纸模型上，在目标图像上形成立体的三维贴纸的效果，并使三维贴纸模型的动作与目标对象动作同步，更贴合现实，增加趣味性。

在一个示例中，所述装置还包括：属性选择模块；所述属性选择模块，用于：获取所述目标对象的目标对象属性信息；基于所述目标对象属性信息与三维贴纸模型之间的对应关系，从至少一个待选三维贴纸模型中确定与所述目标对象属性信息对应的所述三维贴纸模型。

在一个示例中，所述装置还包括：姿态选择模块；所述姿态选择模块，用于：获取所述目标对象的目标对象姿态类型；基于所述目标对象姿态类型与三维贴纸模型之间的对应关系，由至少一个待选三维贴纸模型中确定与所述目标对象姿态类型对应的所述三维贴纸模型。

在一个示例中，所述装置还包括：面部贴纸模块；所述面部贴纸模块，包括：检测所述目标对象的面部关键点；根据所述面部关键点与面部贴纸模型的关键点之间的对应关系，将面部贴纸模型渲染到所述目标图像中的目标对象的面部。

在一个示例中，所述装置还包括：手部贴纸模块；所述手部贴纸模块，包括：检测所述目标对象的手部关键点；根据所述手部关键点与手部贴纸模型的关键点之间的对应关系，将手部贴纸模型渲染到所述目标图像中的目标对象的手部。

在一个示例中，所述装置还包括：手势类型确定模块；所述手势类型确定模块，用于：基于所述目标对象的手势关键点，确定目标对象手势类型；基于所述目标对象手势类型与特效之间的对应关系，从至少一个待选特效中确定目标特效；在所述目标图像上生成所述目标特效。

在一个示例中，所述装置还包括：手势切换模块；所述手势切换模块，用于：基于所述目标对象的手势关键点，确定目标对象手势类型；基于所述目标对象手势类型与切换功能之间的对应关系，将所述三维贴纸模型切换为至少一个待选三维贴纸模型中与所述切换功能对应的三维贴纸模型。

在一个示例中，所述图像获取模块51，在用于获取目标视频流中的目标图像时，具体用于：获取所述目标视频流中的多个目标图像；所述第一位置参数确定模块52，在用于确定所述目标对象的各个目标对象骨架关键点分别对应的第一位置参数时，具体用于：分别确定所述目标对象的各个目标对象骨架关键点在多个所述目标图像中对应的第一位置参数，并基于所述第一位置参数确定所述目标对象骨架关键点的变化轨迹；基于所述变化轨迹，重新确定所述目标对象的各个目标对象骨架关键点在至少一个所述目标图像中对应的第一位置参数；所述第二位置参数确定模块53，在用于基于所述第一位置参数，确定与所述目标对象骨架关键点对应的三维贴纸模型的骨架关键点的第二位置参数时，具体用于：基于重新确定的第一位置参数，确定与所述目标对象骨架关键点对应的三维贴纸模型的骨架关键点的第二位置参数。

上述装置中各个模块的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

本公开实施例还提供了一种电子设备，如图6所示，所述电子设备包括存储器61、处理器62，所述存储器61用于存储可在处理器上运行的计算机指令，所述处理器62用于在执行所述计算机指令时实现本公开任一实施例所述的贴纸的生成方法。

本公开实施例还提供了一种计算机程序产品，该产品包括计算机程序/指令，该计算机程序/指令被处理器执行时实现本公开任一实施例所述的贴纸的生成方法。

本公开实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本公开任一实施例所述贴纸的生成方法。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本说明书方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本公开涉及增强现实领域，通过获取现实环境中的目标对象的图像信息，进而借助各类视觉相关算法实现对目标对象的相关特征、状态及属性进行检测或识别处理，从而得到与具体应用匹配的虚拟与现实相结合的AR效果。示例性的，目标对象可涉及与人体相关的脸部、肢体、手势、动作等，或者与物体相关的标识物、标志物，或者与场馆或场所相关的沙盘、展示区域或展示物品等。视觉相关算法可涉及视觉定位、SLAM、三维重建、图像注册、背景分割、对象的关键点提取及跟踪、对象的位姿或深度检测等。具体应用不仅可以涉及跟真实场景或物品相关的导览、导航、讲解、重建、虚拟效果叠加展示等交互场景，还可以涉及与人相关的特效处理，比如妆容美化、肢体美化、特效展示、虚拟模型展示等交互场景。

可通过卷积神经网络，实现对目标对象的相关特征、状态及属性进行检测或识别处理。上述卷积神经网络是基于深度学习框架进行模型训练而得到的网络模型。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本领域技术人员在考虑说明书及实践这里申请的发明后，将容易想到本说明书的其它实施方案。本说明书旨在涵盖本说明书的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本说明书的一般性原理并包括本说明书未申请的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本说明书的真正范围和精神由下面的权利要求指出。

应当理解的是，本说明书并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本说明书的范围仅由所附的权利要求来限制。

以上所述仅为本说明书的较佳实施例而已，并不用以限制本说明书，凡在本说明书的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书保护的范围之内。

Claims (12)

1.一种贴纸的生成方法，其特征在于，所述方法包括：

获取目标视频流中的目标图像，所述目标图像中包括目标对象；

确定所述目标对象的各个目标对象骨架关键点分别对应的第一位置参数；

基于所述第一位置参数，确定与所述目标对象骨架关键点对应的三维贴纸模型的骨架关键点的第二位置参数；

基于所述第二位置参数，渲染所述三维贴纸模型至所述目标图像中的目标对象。

2.根据权利要求1所述的方法，其特征在于，在所述确定与所述目标对象骨架关键点对应的所述三维贴纸模型的骨架关键点的第二位置参数之前，所述方法还包括：

获取所述目标对象的目标对象属性信息；

基于所述目标对象属性信息与三维贴纸模型之间的对应关系，从至少一个待选三维贴纸模型中确定与所述目标对象属性信息对应的所述三维贴纸模型。

3.根据权利要求1所述的方法，其特征在于，在所述确定与所述目标对象骨架关键点对应的所述三维贴纸模型的骨架关键点的第二位置参数之前，所述方法还包括：

获取所述目标对象的目标对象姿态类型；

基于所述目标对象姿态类型与三维贴纸模型之间的对应关系，由至少一个待选三维贴纸模型中确定与所述目标对象姿态类型对应的所述三维贴纸模型。

4.根据权利要求1-3任一所述的方法，其特征在于，所述方法还包括：

检测所述目标对象的面部关键点；

根据所述面部关键点与面部贴纸模型的关键点之间的对应关系，将面部贴纸模型渲染到所述目标图像中的目标对象的面部。

5.根据权利要求1-4任一所述的方法，其特征在于，所述方法还包括：

检测所述目标对象的手部关键点；

根据所述手部关键点与手部贴纸模型的关键点之间的对应关系，将手部贴纸模型渲染到所述目标图像中的目标对象的手部。

6.根据权利要求1-5任一所述的方法，其特征在于，所述方法还包括：

基于所述目标对象的手势关键点，确定目标对象手势类型；

基于所述目标对象手势类型与特效之间的对应关系，从至少一个待选特效中确定目标特效；

在所述目标图像上生成所述目标特效。

7.根据权利要求1-5任一所述的方法，其特征在于，所述方法还包括：

基于所述目标对象的手势关键点，确定目标对象手势类型；

基于所述目标对象手势类型与切换功能之间的对应关系，将所述三维贴纸模型切换为至少一个待选三维贴纸模型中与所述切换功能对应的三维贴纸模型。

8.根据权利要求1-7任一所述的方法，其特征在于，

所述获取目标视频流中的目标图像，包括：

获取所述目标视频流中的多个目标图像；

所述确定所述目标对象的各个目标对象骨架关键点分别对应的第一位置参数，包括：

分别确定所述目标对象的各个目标对象骨架关键点在多个所述目标图像中对应的第一位置参数，并基于所述第一位置参数确定所述目标对象骨架关键点的变化轨迹；

基于所述变化轨迹，重新确定所述目标对象的各个目标对象骨架关键点在至少一个所述目标图像中对应的第一位置参数；

所述基于所述第一位置参数，确定与所述目标对象骨架关键点对应的三维贴纸模型的骨架关键点的第二位置参数，包括：

基于重新确定的第一位置参数，确定与所述目标对象骨架关键点对应的三维贴纸模型的骨架关键点的第二位置参数。

9.一种贴纸的生成装置，其特征在于，所述装置包括：

图像获取模块，用于获取目标视频流中的目标图像，所述目标图像中包括目标对象；

第一位置参数确定模块，用于确定所述目标对象的各个目标对象骨架关键点分别对应的第一位置参数；

第二位置参数确定模块，用于基于所述第一位置参数，确定与所述目标对象骨架关键点对应的三维贴纸模型的骨架关键点的第二位置参数；

图像渲染模块，用于基于所述第二位置参数，渲染所述三维贴纸模型至所述目标图像中的目标对象。

10.一种电子设备，其特征在于，所述设备包括存储器、处理器，所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时实现权利要求1至8任一所述的方法。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1至8任一所述的方法。

12.一种计算机程序产品，所述产品包括计算机程序/指令，其特征在于，所述计算机程序/指令被处理器执行时实现权利要求1至8任一所述的方法。

Images