CN111145308A - 一种贴纸获取方法和装置 - Google Patents

Abstract

本公开提供了一种贴纸获取方法、装置、电子设备及存储介质，该方法先由待处理视频中提取出多个原始图像帧，对所述多个原始图像帧分别进行对象识别，确定目标对象；再根据所述多个原始图像帧中包括的目标对象，生成对应的多个目标对象帧；将所述多个目标对象帧按照对应的原始图像帧在待处理视频中的时间先后顺序进行组合，获得包括所述目标对象的贴纸。本公开可根据任一段视频生成对应的贴纸，用户可自主制作贴纸，不局限于选择平台预先设计好的图标，满足用户的个性化需求。

Description

一种贴纸获取方法和装置

技术领域

本公开涉及图像处理技术领域，尤其涉及一种贴纸获取方法、装置、电子设备及存储介质。

背景技术

目前，贴纸是一种普遍存在于拍照，视频平台的特效，在图片或视频中添加贴纸，既可以彰显作者的个性，同时也使图片，视频更加生动活泼。

现有技术中，通常由平台提供多种贴纸，用户根据自身偏好从所提供的多种贴纸中进行选择，平台再基于用户的选择结果将对应贴纸添加到至图片或视频中，现有技术的贴纸需要使用平台预先设计好的图标，无法满足用户的个性化需求。

发明内容

针对上述技术问题，本公开实施例提供一种贴纸获取方法，技术方案如下：

根据本公开实施例的第一方面，提供一种贴纸获取方法，包括：

由待处理视频中提取出多个原始图像帧；

对所述多个原始图像帧分别进行对象识别，确定目标对象；

根据所述多个原始图像帧中包括的目标对象，生成对应的多个目标对象帧；

将所述多个目标对象帧按照对应的原始图像帧在待处理视频中的时间先后顺序进行组合，获得包括所述目标对象的贴纸。

可选的，所述对所述多个原始图像帧分别进行对象识别，确定目标对象，包括：

通过对象识别模型对所述多个原始图像帧进行对象识别，得到所述多个原始图像帧所对应的多个图像掩码，所述图像掩码标注了目标对象的特征像素；

对比原始图像帧与其对应的图像掩码，在任一像素点在图像掩码中为目标对象的特征像素时，将对应像素点从所述原始图像帧中提取出来，将提取出的各个像素点集合为所识别出的目标对象；

其中，所述对象识别模型是根据采集的图像样本集，基于预设类型的神经网络训练获取的，用于对输入图像进行识别处理，输出所述输入图像的图像掩码；所述图像样本集中包括标记目标对象的验证样本以及用于识别目标对象的训练样本。

可选的，所述根据所述多个原始图像帧中包括的目标对象，生成对应的多个目标对象帧，包括：

确定目标对象中各个像素点的特征值，当任一像素点与临近像素点的特征值差距大于预定阈值时，将所述像素点确定为边缘像素点；

获取所述多个原始图像帧中包括的目标对象，分别对各个目标对象的边缘像素点进行模糊化处理，并生成对应的多个目标对象帧。

可选的，所述从待处理视频中提取出多个原始图像帧，包括：

接收对于所述贴纸的动态效果信息，所述动态效果信息包括贴纸的变动频率信息；

根据所述动态效果信息，确定由所述待处理视频中提取所述原始图像帧的提取方式信息；

基于所述提取方式信息，由所述待处理视频中提取出多个原始图像帧。

可选的，所述基于所述提取方式信息，由所述待处理视频中提取出多个原始图像帧，包括：

基于所述提取方式信息，从所述待处理视频中提取出所有原始图像帧；或者，

基于所述提取方式信息，由已预设的图像帧提取间隔，从所述待处理视频中间隔提取多个原始图像帧。

可选的，所述获得所述目标对象的贴纸之后，所述方法还包括：

获取指定背景图像模板；

将所述贴纸的多个目标对象帧，与背景图像模板中包括的多个背景图像一一融合，得到具有指定背景的贴纸。

可选的，所述获得所述目标对象的贴纸之后，所述方法还包括：对所述贴纸进行指定类型的特效处理，所述特效处理包括如下任一项；

将所述贴纸与指定动态边框融合，得到具有动态边框的贴纸；

或者，对所述贴纸进行色调转换处理，得到具有指定色调的贴纸；

或者，对所述贴纸进行分屏效果处理，得到分屏样式的贴纸。

可选的，所述对所述贴纸进行指定类型的特效处理之前，所述方法还包括：

显示所述至少一种特效处理选项的推荐页面；

根据用户由所述至少一种特效处理选项中选择的处理选项，确定对所述贴纸进行特效处理的处理类型。

可选的，所述显示所述至少一个特效处理选项的推荐页面，包括：

根据所述贴纸中目标对象的对象特征，由预设的处理选项中确定待选择的至少一个目标处理选项；

或者，根据当前用户信息对应的历史偏好数据，由预设的处理选项中确定待选择的至少一个目标处理选项。

根据本公开实施例的第二方面，提供一种贴纸获取装置，包括：

原始图像帧获取模块：被配置为由待处理视频中提取出多个原始图像帧；

目标对象确定模块：被配置为对所述多个原始图像帧分别进行对象识别，确定目标对象；

目标对象帧生成模块：被配置为根据所述多个原始图像帧中包括的目标对象，生成对应的多个目标对象帧；

贴纸生成模块：被配置为将所述多个目标对象帧按照对应的原始图像帧在待处理视频中的时间先后顺序进行组合，获得包括所述目标对象的贴纸。

可选的，所述目标对象确定模块，在对所述多个原始图像帧分别进行对象识别，确定目标对象时，被配置为：

通过对象识别模型对所述多个原始图像帧进行对象识别，得到所述多个原始图像帧所对应的多个图像掩码，所述图像掩码标注了目标对象的特征像素；

对比原始图像帧与其对应的图像掩码，在任一像素点在图像掩码中为目标对象的特征像素时，将对应像素点从所述原始图像帧中提取出来，将提取出的各个像素点集合为所识别出的目标对象；

其中，所述对象识别模型是根据采集的图像样本集，基于预设类型的神经网络训练获取的，用于对输入图像进行识别处理，输出所述输入图像的图像掩码；所述图像样本集中包括标记目标对象的验证样本以及用于识别目标对象的训练样本。

可选的，所述目标对象帧生成模块，在根据所述多个原始图像帧中包括的目标对象，生成对应的多个目标对象帧时，被配置为：

确定目标对象中各个像素点的特征值，当任一像素点与临近像素点的特征值差距大于预定阈值时，将所述像素点确定为边缘像素点；

获取所述多个原始图像帧中包括的目标对象，分别对各个目标对象的边缘像素点进行模糊化处理，并生成对应的多个目标对象帧。

可选的，所述原始图像帧获取模块，在从待处理视频中提取出多个原始图像帧时，被配置为：

接收对于所述贴纸的动态效果信息，所述动态效果信息包括贴纸的变动频率信息；

根据所述动态效果信息，确定由所述待处理视频中提取所述原始图像帧的提取方式信息；

基于所述提取方式信息，由所述待处理视频中提取出多个原始图像帧。

可选的，所述原始图像帧获取模块，在从待处理视频中提取出多个原始图像帧时，被配置为：

基于所述提取方式信息，从所述待处理视频中提取出所有原始图像帧；或者，

基于所述提取方式信息，由已预设的图像帧提取间隔，从所述待处理视频中间隔提取多个原始图像帧。

可选的，所述装置还包括：

第一贴纸处理模块：被配置为获取指定背景图像模板；将所述贴纸的多个目标对象帧，与背景图像模板中包括的多个背景图像一一融合，得到具有指定背景的贴纸。

可选的，所述装置还包括

第二贴纸处理模块：被配置为对所述贴纸进行指定类型的特效处理，所述特效处理包括如下任一项；

将所述贴纸与指定动态边框融合，得到具有动态边框的贴纸；

或者，对所述贴纸进行色调转换处理，得到具有指定色调的贴纸；

或者，对所述贴纸进行分屏效果处理，得到分屏样式的贴纸。

可选的，所述第二贴纸处理模块，在对所述贴纸进行指定类型的特效处理之前，还被配置为：

显示所述至少一种特效处理选项的推荐页面；

根据用户由所述至少一种特效处理选项中选择的处理选项，确定对所述贴纸进行特效处理的处理类型。

可选的，所述第二贴纸处理模块，在显示所述至少一个特效处理选项的推荐页面时，被配置为：

根据所述贴纸中目标对象的对象特征，由预设的处理选项中确定待选择的至少一个目标处理选项；

或者，根据当前用户信息对应的历史偏好数据，由预设的处理选项中确定待选择的至少一个目标处理选项。

根据本公开实施例的第三方面，提供一种贴纸获取电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现如第一方面所述的贴纸获取方法。

根据本公开实施例的第四方面，提供一种贴纸获取存储介质，当所述存储介质中的指令由贴纸获取电子设备的处理器执行时，使得贴纸获取电子设备能够执行如第一方面所述的贴纸获取方法。

本公开实施例提供了一种贴纸获取方法、装置、电子设备及存储介质。该方法先由待处理视频中提取出多个原始图像帧，对所述多个原始图像帧分别进行对象识别，确定目标对象；再根据所述多个原始图像帧中包括的目标对象，生成对应的多个目标对象帧；将所述多个目标对象帧按照对应的原始图像帧在待处理视频中的时间先后顺序进行组合，获得包括所述目标对象的贴纸。本公开可根据任一段视频生成对应的贴纸，用户可自主制作贴纸，不局限于选择平台预先设计好的图标，满足用户的个性化需求。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开实施例。

此外，本公开实施例中的任一实施例并不需要达到上述的全部效果。

附图说明

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1是本公开一示例性实施例示出的贴纸获取方法一种流程图；

图2是本公开一示例性实施例示出的神经网络模型一种示意图；

图3是本公开一示例性实施例示出的边缘像素点处理方法一种流程图；

图4是本公开一示例性实施例示出的提取视频图像帧一种流程图；

图5是本公开一示例性实施例示出的贴纸处理方法一种流程图；

图6是本公开一示例性实施例示出的贴纸获取方法一种示意图；

图7是本公开一示例性实施例示出的贴纸获取装置的一种示意图；

图8是本公开一示例性实施例示出的电子设备的一种示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

随着图像处理技术的发展，图像或视频的背景替换技术，即抠图技术也得到了广泛的应用。

目前，贴纸是一种普遍存在于拍照，视频平台的特效，在图片或视频中添加贴纸，既可以彰显作者的个性，同时也使图片，视频更加生动活泼。

现有技术中，通常由平台提供多种贴纸，用户根据自身偏好从所提供的多种贴纸中进行选择，平台再基于用户的选择结果将对应贴纸添加到至图片或视频中，现有技术的贴纸需要使用平台预先设计好的图标，无法满足用户的个性化需求。

针对以上问题，本公开提供了一种贴纸获取方法，以及应用所述贴纸获取方法的贴纸获取设备，首先对该贴纸获取方法进行说明。参见图1，包括以下步骤：

S101，由待处理视频中提取出多个原始图像帧；

其中，待处理视频可以为用户上传的视频文件，该视频文件可以是使用相机拍摄并上传的视频，也可以是用户从本地设备选取的视频，或者是从指定平台上选定的视频文件，等等。

视频本质上由很多个有先后顺序的原始图像帧组成，在视频播放过程中，随着时间的推移按顺序不断切换所显示的原始图像帧，该连续变化的场景给人视觉上的效果即是动态播放的视频。

S102，对所述多个原始图像帧分别进行对象识别，确定目标对象；

在一实施例中，执行步骤S102时，可以采用但不限于以下方式：

(1-1)通过对象识别模型对所述多个原始图像帧进行对象识别，得到所述多个原始图像帧所对应的多个图像掩码，所述图像掩码标注了目标对象的特征像素；

(1-2)对比原始图像帧与其对应的图像掩码，在任一像素点在图像掩码中为目标对象的特征像素时，将对应像素点从所述原始图像帧中提取出来，将提取出的各个像素点集合为所识别出的目标对象；

其中，所述对象识别模型是根据采集的图像样本集，基于预设类型的神经网络训练获取的，用于对输入图像进行识别处理，输出所述输入图像的图像掩码；所述图像样本集中包括标记目标对象的验证样本以及用于识别目标对象的训练样本。

在本公开一实施例中，可通过神经网络模型进行图像分割，所分割出的前景图像即为目标对象，具体而言，可预测原始图像帧中每个像素点的特征值，若该像素点的特征值符合第一类特征值，则将该像素点加入前景像素集合，若该像素点的特恒值符合第二类特征值，则将该像素点加入背景像素集合。

前景像素集合为原始图像帧中的前景图像的像素点的集合，背景像素集合为原始图像帧中的背景图像的像素点的集合。

前景图像和背景图像的区别取决于预先训练的神经网络，以人体图像进行举例说明：若训练该神经网络时，训练集为标注了人体的图像，则该神经网络可学习到人体以及非人体的相关特征，在输入图像帧进行预测时，即可将属于人体的像素预测为所学习到的第一类特征值，将不属于人体的像素预测为所学习到的第二类特征值。进而根据第一类特征值和第二类特征值区别出前景图像和背景图像。举例说明，若原始图像帧为一个人站在商场里，则前景图像为人体，背景图像为商场。目前用于训练神经网络模型的数据是已经被标记人体的图像，神经网络根据输入的被标记了的图像经过神经网络的计算得出被标记图像样本的一系列特征值，将这些特征值保存成文件称为模型数据，大致训练流程可参考图2所示。

在具体预测时，可将训练得到的模型数据加载到神经网络中，神经网络此时就可以利用输入模型对图像进行识别。

在本公开的一种可选实施例中，在图像掩码中，具有第一类特征值的像素点可为灰度值大于0的像素点，具有第二类特征值的像素点可为灰度值等于0的像素点。以人体为例，人体图像掩码边缘部分的掩码的灰度值是比较小的值，一个像素点的灰度值越小，说明该像素点为人体部分的概率越小。

仍以人体为例，图像掩码是一个人体图像的掩码纹理，所谓掩码纹理即属于人体部分的像素灰度值是大于0的值，不属于人体部分的像素灰度值为0，利用这种方法可以标记出图像中人体的区域。通过人体掩码纹理然后对原始图像帧每个像素点找出对应的掩码纹理中的灰度值。如果对应的灰度值大于0，则说明当前像素点属于原始图像中的人体部分，如果对应的灰度值等于，则说明该像素不属于人体部分。这样对每个像素点进行同样的操作就能得到扣取的人体图像。利用用户设备中显卡可以对图像扣取进行加速。从而能实现实时的图像扣取。

其中，原始图像帧及其对应的图像掩码，在任一像素点在图像掩码中具有第一类特征值时，将对应像素点从所述原始图像帧中提取出来，将提取出的各个像素点集合为前景图像。本实施例不需要使用者手动选取图像中需要提取的对象和细节，自动获取视频中的目标对象，提高效率。

S103，将所述多个目标对象帧按照对应的原始图像帧在待处理视频中的时间先后顺序进行组合，获得包括所述目标对象的贴纸。

其中，步骤S103种获取的贴纸是由多个连续目标对象帧组合而成的动态内容，该贴纸可以视为无背景的动图，可用于“粘贴”在其他图像或视频中。

确定图像帧的前景图像的过程也可以称为抠图过程，抠图可能会出现边缘锯齿的情况，为了避免这种情况，本公开实施例还提供一种边缘平滑方法，参见图3，包括以下步骤：

S301，确定目标对象中各个像素点的特征值，当任一像素点与临近像素点的特征值差距大于预定阈值时，将所述像素点确定为边缘像素点；

S302，获取所述多个原始图像帧中包括的目标对象，分别对各个目标对象的边缘像素点进行模糊化处理，并生成对应的多个目标对象帧。

在神经网络的图像识别过程中，会获得一些边缘像素点，如目标对象为人体时的人体边缘点，边缘像素点的特征值介于目标对象的特征值和非目标对象的特征值之间。神经网络模型可能对边缘像素点的特征值判断错误，导致抠图后边缘出现锯齿。

在本实施例中，对目标对象的像素点进行判断，若该像素点与周围的临近像素点的特征值差距大于预定阈值，则将所述像素点确定为边缘像素点。以上文的特征值为灰度值进行举例：在人体中间部分，像素点直接的灰度值相差较小，在人体边缘部分，人体像素点的灰度值和非人体像素点的灰度值差距会变得较大。因此在像素点与周围的临近像素点的特征值差距大于预定阈值时，即可将这个像素点确定为边缘像素点。

将识别出的边缘像素点进行模糊处理，可避免边缘锯齿现象，使图像边缘较为平滑。

在本公开一实施例中，执行上述步骤S101，从视频中提取出多个原始图像帧时，具体可以参考图4，包括以下步骤：

S401，接收对于所述贴纸的动态效果信息，所述动态效果信息包括贴纸的变动频率信息；

S402，根据所述动态效果信息，确定由所述待处理视频中提取所述原始图像帧的提取方式信息；

S403，基于所述提取方式信息，由所述待处理视频中提取出多个原始图像帧。

在提取原始图像帧时，可以提取该待处理视频中的全部图像帧，将这些图像帧都确定为原始图像帧，也可以有选择地提取待处理视频中的部分图像帧，将选择的图像帧确定为原始图像帧。具体而言，可以根据用户的需求进行提取，例如，如果用户需要精度较高的输出结果时，可以提取该待处理视频中的全部图像帧，如果用户需要精度较地的输出结果时，可以有选择地提取该待处理视频中的部分图像帧。

从用户角度，动态效果为动图贴纸的变动时长，变动快慢等信息；从实现角度，动图贴纸的动图时长越长，组成该贴纸所需要的图像帧的数量越多，动图贴纸的动图变动越快，组成该贴纸所需要的图像帧的数量越多。

因此，需基于贴纸的动态效果信息确定提取所述原始图像帧的提取方式信息，不同的提取方式可提取出不同数量的原始图像帧。

其中，基于提取方式信息，由所述待处理视频中提取出多个原始图像帧，可包括但不限于以下方式之一:

a)基于所述提取方式信息，从所述待处理视频中提取出所有原始图像帧；或者，

b)_基于所述提取方式信息，由已预设的图像帧提取间隔，从所述待处理视频中间隔提取多个原始图像帧。

在本公开一实施例中，可将第K个图像帧作为开始提取的第一个图像帧，每间隔N个图像帧提取出一个图像帧，直到无法提取到图像帧，其中，K≥1，N≥0。

当K＝1，N＝0时，从该待处理视频中提取出的图像帧即为待处理视频的全部图像帧，将全部图像帧都确定为原始图像帧；

当K＝1，N＝1时，将该待处理视频的第1个图像帧作为开始提取的第一个图像帧，每间隔1个图像帧提取出一个图像帧，直到无法提取到图像帧。如该处理视频具有100个图像帧，提取第1个图像帧，第3个图像帧，第5个图像帧…第99个图像帧，将提取出的50个图像帧确定为原始图像帧。

间隔提取图像帧可避免提取过多图像帧造成的计算资源浪费，基于对贴纸的不同动态效果需求生成不同效果的贴纸，可使贴纸生成方式更加灵活丰富。

在本公开的一种可选实施例中，在识别出目标对象时，还可识别出目标对象的指定部位，在目标对象的对应位置中标记该指定部位。

在训练神经网络的训练集中，可以既将目标对象进行标注，也将目标对象中的指定部位进行标注，通过不同通道输出目标对象以及目标对象指定部位的特征参数。

对于指定部位的标注可以便于用户后续自由添加细节和效果，如目标对象为人体，指定部位为“眼睛”时，接收用户选择的特效“眼镜”后可自动将该特效添加到“眼睛”的部位。

在本公开的其中一种实施例中，将所述多个新图像帧按照原始图像帧在待处理视频中的时间先后顺序进行组合后，还可依据所述前景图像中标记的指定部位的位置，在组合结果中添加动态效果。

在本公开一实施例中，获得目标对象的贴纸之后，还可对贴纸进行背景替换处理，参见图5，包括如下步骤：

S501，获取指定背景图像模板；

S502，将所述贴纸的多个目标对象帧，与背景图像模板中包括的多个背景图像一一融合，得到具有指定背景的贴纸。

背景模板的表现形式可以为背景图像帧的集合，上文提取出的多个目标对象帧可视为前景图像帧集合。该背景图像帧集合和前景图像帧集合均具有前后排列顺序，基于各自的排列顺序将图像一一对应，将对应的前景图像和背景图像进行融合。即，将第一张背景图像帧和第一张前景图像帧进行融合，将第二张背景图像帧和第二张前景图像帧进行融合，直到其中一个集合的图像全部融合完毕。

在一实施例中，执行步骤S502时，可以采用但不限于以下方式：

(2-1)接收用户选定的新背景模板，所述新背景模板中包括具有先后顺序的多个背景图像；

(2-2)将所述多个前景图像按照原始图像帧在待处理视频中的时间先后顺序进行排序；

(2-3)将所述多个前景图像和所述多个背景图像按照先后顺序一一对应，将对应的前景图像和背景图像进行融合，以获得融合后的多个新图像帧。

利用上述贴纸获取方式，用户可以将视频中的人像，动物等抠出转变成动图，然后将该动图作为贴纸，添加到编辑的讲解视频中或者其他视频中。

本公开提出的方案不需要用户对视频中每个图像帧进行手动抠像和替换，可以快速的帮助用户自动扣取视频中的图像并制作具有指定背景的贴纸。

在本公开一实施例中，除了输出指定背景的贴纸外，还可基于指定背景模板输出指定背景的视频。

可以知道，若新的动态内容为背景替换后的新视频，则合成该新视频需要的新图像帧相对较多，所需要进行提取和背景替换处理的原始图像帧较多，整体处理较长。若新的动态内容为背景替换后的动图，则合成该动图需要的新图像帧相对较少，所需要进行提取和背景替换处理的原始图像帧较少，整体处理较短。

具体的内容输出形式可以依据用户需求与实际应用场景共同确定。举例说明，可为用户提供动态内容形式的选择接口，当用户选择“输出视频”时，自动进入第一处理流程，当用户选择“输出动图”时，自动进入第二处理流程。该第一处理流程和第二处理流程中包括不同的原始图像帧的提取数量策略，以及针对多个新图像帧的不同的组合和输出方式。

在本公开一实施例中，获得所述目标对象的贴纸之后，还可再次对所述贴纸进行动效和细节的添加处理，该处理方式可以采用但不限于以下方式之一：

a)将所述贴纸与指定动态边框融合，得到具有动态边框的贴纸；

b)对所述贴纸进行色调转换处理，得到具有指定色调的贴纸；

c)对所述贴纸进行分屏效果处理，得到分屏样式的贴纸。

除了上述几种方式外，还可为贴纸增加指定特效，如选取魔法表情添加扫人脸上，融合得到带有魔法表情的贴纸，例如，依据指定部位“眼睛”的位置，在人脸上添加魔法表情“眼镜”，或，选取梦幻和动感风格的特效添加在贴纸上，融合得到不同特效风格的贴纸，等等。对贴纸进行动效和细节的添加处理可获得内容更丰富的贴纸。

在本公开一实施例中，对所述贴纸进行指定类型的特效处理之前，还可执行参见图6，执行如下步骤：

S601，显示所述至少一种特效处理选项的推荐页面；

其中，显示所述至少一种特效处理选项的推荐页面，可以采用但不限于以下方式：

a)根据所述贴纸中目标对象的对象特征，由预设的处理选项中确定待选择的至少一个目标处理选项；

b)根据当前用户信息对应的历史偏好数据，由预设的处理选项中确定待选择的至少一个目标处理选项。

S602，根据用户由所述至少一种特效处理选项中选择的处理选项，确定对所述贴纸进行特效处理的处理类型。

具体而言，可通过提供选择界面供用户选择，以确定为贴纸添加的动效或细节，如，可根据所获取的目标对象的具体特征(例如人像的主色调、人像的轮廓大小)或者使用的应用场景(例如使用的用户偏好等)来提供特效选项，推荐用户选取特效，除此之外，也可使用其他方式进行特效推荐，如推荐热度较高的动效或细节等。避免用户在众多特效中查找合适目标对象的特效或偏好特效花费过多时间，提升用户体验。

上述贴纸获取方法在实际应用场景中的应用可参考图6，图6以目标对象为人体为例说明了贴纸获取流程，其中包括原始图像帧的示意图，图像掩码的示意图，以及扣取出的人体图像的示意图。在获得扣取出的人体图像后，可将该人体图像与其他背景图像融合，将该人体图像插入其他动图或将该人体图像添加到其他视频中。

在实际应用中，用户可上传视频，经平台自动处理后，得到对应的贴纸动图。还可在动图的基础上进一步生成具有文字或特效的表情包等。提升了用户体验，解决了用户想要扣出有趣视频中人物时候繁杂的操作流程，快速简单的制作出高质量的贴纸，提高用户去寻找有趣资源的积极性和创造资源的积极性。

相应于上述方法实施例，本公开实施例还提供一种贴纸获取装置，参见图7所示，所述装置可以包括：原始图像帧获取模块710、目标对象确定模块720、目标对象帧生成模块730和贴纸生成模块740。

原始图像帧获取模块：被配置为由待处理视频中提取出多个原始图像帧；

目标对象确定模块：被配置为对所述多个原始图像帧分别进行对象识别，确定目标对象；

目标对象帧生成模块：被配置为根据所述多个原始图像帧中包括的目标对象，生成对应的多个目标对象帧；

贴纸生成模块：被配置为将所述多个目标对象帧按照对应的原始图像帧在待处理视频中的时间先后顺序进行组合，获得包括所述目标对象的贴纸。

可选的，所述目标对象确定模块，在对所述多个原始图像帧分别进行对象识别，确定目标对象时，被配置为：

通过对象识别模型对所述多个原始图像帧进行对象识别，得到所述多个原始图像帧所对应的多个图像掩码，所述图像掩码标注了目标对象的特征像素；

对比原始图像帧与其对应的图像掩码，在任一像素点在图像掩码中为目标对象的特征像素时，将对应像素点从所述原始图像帧中提取出来，将提取出的各个像素点集合为所识别出的目标对象；

其中，所述对象识别模型是根据采集的图像样本集，基于预设类型的神经网络训练获取的，用于对输入图像进行识别处理，输出所述输入图像的图像掩码；所述图像样本集中包括标记目标对象的验证样本以及用于识别目标对象的训练样本。

可选的，所述目标对象帧生成模块，在根据所述多个原始图像帧中包括的目标对象，生成对应的多个目标对象帧时，被配置为：

确定目标对象中各个像素点的特征值，当任一像素点与临近像素点的特征值差距大于预定阈值时，将所述像素点确定为边缘像素点；

获取所述多个原始图像帧中包括的目标对象，分别对各个目标对象的边缘像素点进行模糊化处理，并生成对应的多个目标对象帧。

可选的，所述原始图像帧获取模块，在从待处理视频中提取出多个原始图像帧时，被配置为：

接收对于所述贴纸的动态效果信息，所述动态效果信息包括贴纸的变动频率信息；

根据所述动态效果信息，确定由所述待处理视频中提取所述原始图像帧的提取方式信息；

基于所述提取方式信息，由所述待处理视频中提取出多个原始图像帧。

可选的，所述原始图像帧获取模块，在从待处理视频中提取出多个原始图像帧时，被配置为：

基于所述提取方式信息，从所述待处理视频中提取出所有原始图像帧；或者，

基于所述提取方式信息，由已预设的图像帧提取间隔，从所述待处理视频中间隔提取多个原始图像帧。

可选的，所述装置还包括：

第一贴纸处理模块：被配置为获取指定背景图像模板；将所述贴纸的多个目标对象帧，与背景图像模板中包括的多个背景图像一一融合，得到具有指定背景的贴纸。

可选的，所述装置还包括

第二贴纸处理模块：被配置为对所述贴纸进行指定类型的特效处理，所述特效处理包括如下任一项；

将所述贴纸与指定动态边框融合，得到具有动态边框的贴纸；

或者，对所述贴纸进行色调转换处理，得到具有指定色调的贴纸；

或者，对所述贴纸进行分屏效果处理，得到分屏样式的贴纸。

可选的，所述第二贴纸处理模块，在对所述贴纸进行指定类型的特效处理之前，还被配置为：

显示所述至少一种特效处理选项的推荐页面；

根据用户由所述至少一种特效处理选项中选择的处理选项，确定对所述贴纸进行特效处理的处理类型。

可选的，所述第二贴纸处理模块，在显示所述至少一个特效处理选项的推荐页面时，被配置为：

根据所述贴纸中目标对象的对象特征，由预设的处理选项中确定待选择的至少一个目标处理选项；

或者，根据当前用户信息对应的历史偏好数据，由预设的处理选项中确定待选择的至少一个目标处理选项。

本公开实施例还提供一种电子设备，其至少包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，处理器执行所述程序时实现前述贴纸获取方法，所述方法包括：

由待处理视频中提取出多个原始图像帧；

对所述多个原始图像帧分别进行对象识别，确定目标对象；

根据所述多个原始图像帧中包括的目标对象，生成对应的多个目标对象帧；

将所述多个目标对象帧按照对应的原始图像帧在待处理视频中的时间先后顺序进行组合，获得包括所述目标对象的贴纸

图8示出了根据本公开的一示例性实施例的基于主设备侧电子设备的示意结构图。请参考图8，在硬件层面，该电子设备包括处理器802、内部总线804、网络接口806、内存808以及非易失性存储器810，当然还可能包括其他业务所需要的硬件。处理器802从非易失性存储器810中读取对应的计算机程序到内存802中然后运行，在逻辑层面上形成执行贴纸获取方法的装置。当然，除了软件实现方式之外，本公开并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。

本公开实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述的贴纸获取方法，所述方法包括：

由待处理视频中提取出多个原始图像帧；

对所述多个原始图像帧分别进行对象识别，确定目标对象；

根据所述多个原始图像帧中包括的目标对象，生成对应的多个目标对象帧；

将所述多个目标对象帧按照对应的原始图像帧在待处理视频中的时间先后顺序进行组合，获得包括所述目标对象的贴纸。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁存储设备存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本公开方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。

以上所述仅是本公开实施例的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本公开实施例原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本公开实施例的保护范围。

Claims (10)

1.一种贴纸获取方法，其特征在于，包括：

由待处理视频中提取出多个原始图像帧；

对所述多个原始图像帧分别进行对象识别，确定目标对象；

根据所述多个原始图像帧中包括的目标对象，生成对应的多个目标对象帧；

将所述多个目标对象帧按照对应的原始图像帧在待处理视频中的时间先后顺序进行组合，获得包括所述目标对象的贴纸。

2.如权利要求1所述的贴纸获取方法，其特征在于，所述对所述多个原始图像帧分别进行对象识别，确定目标对象，包括：

通过对象识别模型对所述多个原始图像帧进行对象识别，得到所述多个原始图像帧所对应的多个图像掩码，所述图像掩码标注了目标对象的特征像素；

对比原始图像帧与其对应的图像掩码，在任一像素点在图像掩码中为目标对象的特征像素时，将对应像素点从所述原始图像帧中提取出来，将提取出的各个像素点集合为所识别出的目标对象；

其中，所述对象识别模型是根据采集的图像样本集，基于预设类型的神经网络训练获取的，用于对输入图像进行识别处理，输出所述输入图像的图像掩码；所述图像样本集中包括标记目标对象的验证样本以及用于识别目标对象的训练样本。

3.如权利要求1所述的贴纸获取方法，其特征在于，所述根据所述多个原始图像帧中包括的目标对象，生成对应的多个目标对象帧，包括：

确定目标对象中各个像素点的特征值，当任一像素点与临近像素点的特征值差距大于预定阈值时，将所述像素点确定为边缘像素点；

获取所述多个原始图像帧中包括的目标对象，分别对各个目标对象的边缘像素点进行模糊化处理，并生成对应的多个目标对象帧。

4.如权利要求1所述的贴纸获取方法，其特征在于，所述从待处理视频中提取出多个原始图像帧，包括：

接收对于所述贴纸的动态效果信息，所述动态效果信息包括贴纸的变动频率信息；

根据所述动态效果信息，确定由所述待处理视频中提取所述原始图像帧的提取方式信息；

基于所述提取方式信息，由所述待处理视频中提取出多个原始图像帧。

5.根据权利要求4所述的贴纸获取方法，所述基于所述提取方式信息，由所述待处理视频中提取出多个原始图像帧，包括：

基于所述提取方式信息，从所述待处理视频中提取出所有原始图像帧；或者，

基于所述提取方式信息，由已预设的图像帧提取间隔，从所述待处理视频中间隔提取多个原始图像帧。

6.如权利要求1所述的贴纸获取方法，其特征在于，所述获得所述目标对象的贴纸之后，所述方法还包括：

获取指定背景图像模板；

将所述贴纸的多个目标对象帧，与背景图像模板中包括的多个背景图像一一融合，得到具有指定背景的贴纸。

7.如权利要求1所述的贴纸获取方法，其特征在于，所述获得所述目标对象的贴纸之后，所述方法还包括：对所述贴纸进行指定类型的特效处理，所述特效处理包括如下任一项；

将所述贴纸与指定动态边框融合，得到具有动态边框的贴纸；

或者，对所述贴纸进行色调转换处理，得到具有指定色调的贴纸；

或者，对所述贴纸进行分屏效果处理，得到分屏样式的贴纸。

8.一种贴纸获取装置，其特征在于，包括：

原始图像帧获取模块：被配置为由待处理视频中提取出多个原始图像帧；

目标对象确定模块：被配置为对所述多个原始图像帧分别进行对象识别，确定目标对象；

目标对象帧生成模块：被配置为根据所述多个原始图像帧中包括的目标对象，生成对应的多个目标对象帧；

贴纸生成模块：被配置为将所述多个目标对象帧按照对应的原始图像帧在待处理视频中的时间先后顺序进行组合，获得包括所述目标对象的贴纸。

9.一种电子设备，其特征在于，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现如权利要求1至7中任一项所述的方法。

10.一种存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1至7中任一项所述的方法。

Images