CN115797723B - 滤镜推荐方法、装置、电子设备及存储介质 - Google Patents
滤镜推荐方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN115797723B CN115797723B CN202211507244.XA CN202211507244A CN115797723B CN 115797723 B CN115797723 B CN 115797723B CN 202211507244 A CN202211507244 A CN 202211507244A CN 115797723 B CN115797723 B CN 115797723B
- Authority
- CN
- China
- Prior art keywords
- filter
- sample
- prediction result
- neural network
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000012549 training Methods 0.000 claims description 130
- 238000013528 artificial neural network Methods 0.000 claims description 115
- 230000002093 peripheral effect Effects 0.000 claims description 80
- 238000000605 extraction Methods 0.000 claims description 23
- 238000012545 processing Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 5
- 230000006870 function Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 12
- 238000006243 chemical reaction Methods 0.000 description 9
- 239000000463 material Substances 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 230000009466 transformation Effects 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012163 sequencing technique Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 235000013305 food Nutrition 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000009412 basement excavation Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 235000009508 confectionery Nutrition 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开关于一种滤镜推荐方法、装置、电子设备及存储介质，涉及计算机技术领域。本公开用以推荐满足用户需求的滤镜。该方法包括：获取当前对象的对象特征、目标作品的内容特征以及待推荐滤镜的滤镜特征；基于对象特征、内容特征以及滤镜特征，确定当前对象对待推荐滤镜的偏好程度；根据偏好程度，确定待推荐滤镜在滤镜推荐列表中的位置，从而使得本公开可以推荐出更符合对象需求的滤镜。
Description
技术领域
本公开涉及计算机技术领域，尤其涉及一种滤镜推荐方法、装置、电子设备及存储介质。
背景技术
在利用移动终端拍摄时，为了使得拍摄的作品质量更好，很多对象会在拍摄的照片或者视频上增加滤镜，以达到美化照片或视频的目的。
在相关技术中，对象在滤镜推荐列表中来选择要增加的滤镜。然而，滤镜推荐列表中滤镜的排列顺序是通过人工运营在后台定制的，例如适合节假日的滤镜会在节假日期间重点运营，排序靠前。但是，由于人工运营的主观性特点以及对象的个性化特点，导致现有的滤镜推荐方法不仅需要消耗大量的人工运营成本，且推荐结果不能满足对象需求。
发明内容
本公开提供一种滤镜推荐方法、装置、电子设备及存储介质，用以推荐满足对象需求的滤镜。本公开的技术方案如下：
根据本公开实施例的第一方面，提供一种滤镜推荐方法，方法包括：获取当前对象的对象特征、目标作品的内容特征以及待推荐滤镜的滤镜特征；基于对象特征、内容特征以及滤镜特征，确定当前对象对待推荐滤镜的偏好程度；根据偏好程度，确定待推荐滤镜在滤镜推荐列表中的位置。
可选的，方法还包括：获取多个训练样本；一个训练样本包括一个样本对象的样本对象特征、样本对象拍摄样本作品的样本内容特征、样本滤镜的样本滤镜特征、样本滤镜的显性位置特征以及样本标签；显性位置特征用于表征样本滤镜在预设样本滤镜推荐列表中的位置；样本标签用于反映样本对象是否对样本作品使用样本滤镜；基于多个训练样本，对第一预设神经网络进行训练，得到滤镜推荐模型。
可选的，基于对象特征、内容特征以及滤镜特征，确定当前对象对待推荐滤镜的偏好程度，包括：将对象特征、内容特征以及滤镜特征输入滤镜推荐模型，输出当前对象对待推荐滤镜的偏好程度。
可选的，基于多个训练样本，对第一预设神经网络进行训练，得到滤镜推荐模型，包括：将样本对象特征、样本内容特征、样本滤镜特征以及显性位置特征输入第一预设神经网络，得到目标预测结果；目标预测结果用于反映在样本作品、样本滤镜以及样本滤镜在预设样本滤镜推荐列表中的位置的共同影响下，样本对象对样本滤镜的偏好程度；将样本滤镜特征输入预先训练得到的位置特征提取模型，得到样本滤镜特征的隐性位置特征；确定第一预设神经网络的目标损失；目标损失用于反映目标预测结果与样本标签之间的差异，以及，显性位置特征与隐性位置特征之间的差异；根据目标损失，对第一预设神经网络进行训练，得到滤镜推荐模型。
可选的，第一预设神经网络包括第一子网络以及第二子网络；将样本对象特征、样本内容特征、样本滤镜特征以及显性位置特征输入第一预设神经网络，得到目标预测结果，包括：将样本对象特征、样本内容特征以及样本滤镜特征输入第一子网络，得到第一预测结果，以及将样本滤镜特征以及显性位置特征输入第二子网络，得到第二预测结果；第一预测结果用于反映在样本作品以及样本滤镜的影响下，样本对象对样本滤镜的偏好程度；第二预测结果用于反映在样本滤镜以及样本滤镜在预设样本滤镜推荐列表中的位置的影响下，样本对象对样本滤镜的偏好程度；根据第一预测结果以及第二预测结果得到目标预测结果。
可选的，根据目标损失，对第一预设神经网络进行训练，得到滤镜推荐模型，包括：根据目标损失，对第一子网络以及第二子网络进行训练，得到训练完成的第一预设神经网络，并将训练完成的第一预设神经网络中的第一子网络确定为滤镜推荐模型。
可选的，基于多个训练样本，对第一预设神经网络进行训练，得到滤镜推荐模型，包括：确定样本滤镜的周边滤镜；周边滤镜为在预设样本滤镜推荐列表中与样本滤镜的距离小于或者等于第一阈值的滤镜；将样本对象特征、样本内容特征、样本滤镜特征、周边滤镜的周边滤镜特征、样本滤镜的显性位置以及周边滤镜的显性位置特征输入第一预设神经网络，得到目标预测结果；目标预测结果用于反映在样本作品、样本滤镜、周边滤镜、样本滤镜在预设样本滤镜推荐列表中的位置以及周边滤镜在预设样本滤镜推荐列表中的位置的共同影响下，样本对象对样本滤镜的偏好程度；将样本滤镜特征输入预先训练得到的位置特征提取模型，得到样本滤镜特征的隐性位置特征；确定第一预设神经网络的目标损失；目标损失用于反映目标预测结果与样本标签之间的差异，以及，显性位置特征与隐性位置特征之间的差异；根据目标损失，对第一预设神经网络进行训练，得到滤镜推荐模型。
可选的，第一预设神经网络包括第一子网络以及第二子网络；将样本对象特征、样本内容特征、样本滤镜特征、周边滤镜的周边滤镜特征、样本滤镜的显性位置以及周边滤镜的显性位置特征输入第一预设神经网络，得到目标预测结果，包括：将样本对象特征、样本内容特征以及样本滤镜特征输入第一子网络，得到第一预测结果，以及将样本滤镜特征、周边滤镜的周边滤镜特征、样本滤镜的显性位置以及周边滤镜的显性位置特征输入第二子网络，得到第二预测结果；第一预测结果用于反映在样本作品以及样本滤镜的影响下，样本对象对样本滤镜的偏好程度；第二预测结果用于反映在样本滤镜、周边滤镜、样本滤镜在预设样本滤镜推荐列表中的位置以及周边滤镜在预设样本滤镜推荐列表中的位置的影响下，样本对象对样本滤镜的偏好程度；根据第一预测结果以及第二预测结果得到目标预测结果。
可选的，根据目标损失，对第一预设神经网络进行训练，得到滤镜推荐模型，包括：根据目标损失，对第一子网络以及第二子网络进行训练，得到训练完成的第一预设神经网络，并将训练完成的第一预设神经网络中的第一子网络确定为滤镜推荐模型。
可选的，方法还包括：获取多个样本滤镜信息；一个样本滤镜信息包括一个样本滤镜的样本滤镜特征以及样本滤镜的显性位置特征；基于多个样本滤镜信息，对第二预设神经网络进行训练，得到位置特征提取模型。
可选的，基于多个样本滤镜信息，对第二预设神经网络进行训练，得到位置特征提取模型，包括：对于任意一个样本滤镜信息，将样本滤镜特征作为输入特征，将显性位置特征作为标签，对第二预设神经网络进行训练，得到位置特征提取模型。
根据本公开实施例的第二方面，提供一种滤镜推荐装置，滤镜推荐装置包括获取单元、处理单元以及确定单元；获取单元，用于获取当前对象的对象特征、目标作品的内容特征以及待推荐滤镜的滤镜特征；处理单元，用于基于对象特征、内容特征以及滤镜特征，确定当前对象对待推荐滤镜的偏好程度；确定单元，用于根据偏好程度，确定待推荐滤镜在滤镜推荐列表中的位置。
可选的，获取单元还用于：获取多个训练样本；一个训练样本包括一个样本对象的样本对象特征、样本对象拍摄样本作品的样本内容特征、样本滤镜的样本滤镜特征、样本滤镜的显性位置特征以及样本标签；显性位置特征用于表征样本滤镜在预设样本滤镜推荐列表中的位置；样本标签用于反映样本对象是否对样本作品使用样本滤镜；滤镜推荐装置还包括训练单元，训练单元用于基于多个训练样本，对第一预设神经网络进行训练，得到滤镜推荐模型。
可选的，训练单元具体用于：将样本对象特征、样本内容特征、样本滤镜特征以及显性位置特征输入第一预设神经网络，得到目标预测结果；目标预测结果用于反映在样本作品、样本滤镜以及样本滤镜在预设样本滤镜推荐列表中的位置的共同影响下，样本对象对样本滤镜的偏好程度；将样本滤镜特征输入预先训练得到的位置特征提取模型，得到样本滤镜特征的隐性位置特征；确定第一预设神经网络的目标损失；目标损失用于反映目标预测结果与样本标签之间的差异，以及，显性位置特征与隐性位置特征之间的差异；根据目标损失，对第一预设神经网络进行训练，得到滤镜推荐模型。
可选的，第一预设神经网络包括第一子网络以及第二子网络；训练单元具体用于：将样本对象特征、样本内容特征以及样本滤镜特征输入第一子网络，得到第一预测结果，以及将样本滤镜特征以及显性位置特征输入第二子网络，得到第二预测结果；第一预测结果用于反映在样本作品以及样本滤镜的影响下，样本对象对样本滤镜的偏好程度；第二预测结果用于反映在样本滤镜以及样本滤镜在预设样本滤镜推荐列表中的位置的影响下，样本对象对样本滤镜的偏好程度；根据第一预测结果以及第二预测结果得到目标预测结果。
可选的，训练单元具体用于：根据目标损失，对第一子网络以及第二子网络进行训练，得到训练完成的第一预设神经网络，并将训练完成的第一预设神经网络中的第一子网络确定为滤镜推荐模型。
可选的，训练单元具体用于：确定样本滤镜的周边滤镜；周边滤镜为在预设样本滤镜推荐列表中与样本滤镜的距离小于或者等于第一阈值的滤镜；将样本对象特征、样本内容特征、样本滤镜特征、周边滤镜的周边滤镜特征、样本滤镜的显性位置以及周边滤镜的显性位置特征输入第一预设神经网络，得到目标预测结果；目标预测结果用于反映在样本作品、样本滤镜、周边滤镜、样本滤镜在预设样本滤镜推荐列表中的位置以及周边滤镜在预设样本滤镜推荐列表中的位置的共同影响下，样本对象对样本滤镜的偏好程度；将样本滤镜特征输入预先训练得到的位置特征提取模型，得到样本滤镜特征的隐性位置特征；确定第一预设神经网络的目标损失；目标损失用于反映目标预测结果与样本标签之间的差异，以及，显性位置特征与隐性位置特征之间的差异；根据目标损失，对第一预设神经网络进行训练，得到滤镜推荐模型。
可选的，第一预设神经网络包括第一子网络以及第二子网络；训练单元具体用于：将样本对象特征、样本内容特征以及样本滤镜特征输入第一子网络，得到第一预测结果，以及将样本滤镜特征、周边滤镜的周边滤镜特征、样本滤镜的显性位置以及周边滤镜的显性位置特征输入第二子网络，得到第二预测结果；第一预测结果用于反映在样本作品以及样本滤镜的影响下，样本对象对样本滤镜的偏好程度；第二预测结果用于反映在样本滤镜、周边滤镜、样本滤镜在预设样本滤镜推荐列表中的位置以及周边滤镜在预设样本滤镜推荐列表中的位置的影响下，样本对象对样本滤镜的偏好程度；根据第一预测结果以及第二预测结果得到目标预测结果。
可选的，训练单元具体用于：根据目标损失，对第一子网络以及第二子网络进行训练，得到训练完成的第一预设神经网络，并将训练完成的第一预设神经网络中的第一子网络模型确定为滤镜推荐模型。
可选的，训练单元还用于：获取多个样本滤镜信息；一个样本滤镜信息包括一个样本滤镜的样本滤镜特征以及样本滤镜的显性位置特征；基于多个样本滤镜信息，对第二预设神经网络进行训练，得到位置特征提取模型。
可选的，训练单元具体用于：对于任意一个样本滤镜信息，将样本滤镜特征作为输入特征，将显性位置特征作为标签，对第二预设神经网络进行训练，得到位置特征提取模型。
根据本公开实施例的第三方面，提供一种电子设备，包括：处理器、用于存储处理器可执行的指令的存储器；其中，处理器被配置为执行指令，以实现上述第一方面的滤镜推荐方法。
根据本公开实施例的第四方面，提供一种计算机可读存储介质，计算机可读存储介质上存储有指令，当计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如上述第一方面的滤镜推荐方法。
根据本公开实施例的第五方面，提供一种计算机程序产品，计算机程序产品包括计算机指令，当计算机指令被处理器执行时，实现如上述第一方面的滤镜推荐方法。
本公开提供的技术方案至少带来以下有益效果：滤镜推荐装置获取当前对象的对象特征、当前对象拍摄作品的内容特征以及待推荐滤镜的滤镜特征。进一步的，滤镜推荐装置将对象特征、内容特征、滤镜特征输入预先训练得到的滤镜推荐模型，输出当前对象对待推荐滤镜的偏好程度，进而根据偏好程度，确定待推荐滤镜在滤镜推荐列表中的位置。本公开将对象对滤镜的偏好判断过程模型化，在降低人工运营成本的同时，通过滤镜推荐模型对对象本身、拍摄内容以及待推荐滤镜进行综合分析，更全面的反映出更真实的偏好程度，进而可以推荐出更符合对象需求的滤镜。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种滤镜推荐系统的结构示意图；
图2是根据一示例性实施例示出的一种滤镜推荐方法的流程示意图之一；
图3是根据一示例性实施例示出的一种滤镜推荐方法的流程示意图之二；
图4是根据一示例性实施例示出的一种模型训练示意图之一；
图5是根据一示例性实施例示出的一种模型训练示意图之二；
图6是根据一示例性实施例示出的一种模型训练示意图之三；
图7是根据一示例性实施例示出的一种滤镜推荐方法的流程示意图之三；
图8是根据一示例性实施例示出的一种滤镜推荐方法的流程示意图之四；
图9是根据一示例性实施例示出的一种滤镜推荐方法的流程示意图之五；
图10是根据一示例性实施例示出的一种滤镜推荐装置的结构示意图；
图11是根据一示例性实施例示出的一种电子设备的结构示意图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
另外，在本公开实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B。本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，在本公开实施例的描述中，“多个”是指两个或多于两个。
需要说明的，本公开所涉及的对象信息(包括但不限于对象设备信息、对象个人信息、对象行为信息等)和数据(包括但不限于程序代码等)，均为经对象授权或者经过各方充分授权的信息和数据。
在对本公开实施例进行详细地解释说明之前，先对本公开实施例涉及到的一些相关技术进行介绍。
随着移动终端的普及，使用移动终端拍摄图片或视频已成为人们日常生活的重要部分。为增强图片或视频的艺术表现力，很多对象会在拍摄的照片或者视频上增加滤镜，以达到美化照片或视频的目的。
部分拍照类的应用程序(Application，APP)为对象提供了大量风格的滤镜素材，但都需要对象手工选择和对比参照来进行挑选。这会增大对象挑选难度和操作成本，甚至导致对象无法找到合适的滤镜素材，进而无法充分挖掘和发挥优质滤镜的作用。
为方便对象挑选滤镜，这类App会对滤镜进行打标签，或者按照流行热度排序，以方便对象找到对应分组或者流行度高的滤镜素材，满足大部分对象的需求。然而为了对滤镜进行打标签，需要人工按照滤镜的风格和应用场景对滤镜进行分类，进而人工打上标签。有时为突出部分滤镜作用，会通过人工运营方式在滤镜排序后台定制各滤镜在滤镜推荐列表中的顺序，例如适合节假日的滤镜会在节假日期间重点运营，排序靠前。但是，滤镜分类需要人工打标或排序运营，人力成本高，且划分依据过于主观，无法客观反映滤镜的特点。另外，所有对象都是同一套排序策略和逻辑，无法做到因人而异，来满足不同偏好的对象需求。
一些相关技术基于线上滤镜使用状况、使用人群，通过海量行为和作品分类数据挖掘，再结合机器学习聚类等方法，挖掘热点滤镜素材。甚至引入经典推荐模型，结合对象画像、滤镜特征、行为偏好等训练机器学习或深度神经网络模型来预测滤镜打分，调整排序。该方法虽然在一定程度上降低了人工成本以及人工推荐的主观性，但是没有考虑对象实时的内容交互，即拍摄内容的先验信号，以及和滤镜本身的美学特征交叉作用。这样一来，将导致推荐的滤镜并不能与当前对象的拍摄内容相匹配，即推荐结果依然不能满足对象需求。
本公开实施例公开的滤镜推荐方法与传统且成熟的内容推荐不同，要智能化为对象推荐合理的滤镜效果，本公开实施例不仅要考虑滤镜本身的特点以及对象点选转化率等偏好行为，还考虑了当前待增强的图片和视频等原始动态内容的差异特点，以及滤镜本身的美学特征。比如实时拍摄美食场景，使用鲜艳明快的滤镜效果更能体现食材的新鲜和美味；拍摄生日庆祝短片，使用昏黄温暖的滤镜可以营造温馨甜蜜的氛围。因此本公开实施例提供的滤镜推荐可以综合多种离线和实时信号因素，结合机器学习或深度学习方法，为对象推荐更加合理的滤镜素材，以满足对象需求。
本公开实施例提供的滤镜推荐方法可以适用于滤镜推荐系统，图1示出了该滤镜推荐系统的一种结构示意图。如图1所示，滤镜推荐系统10包括滤镜推荐装置11以及电子设备12。滤镜推荐装置11与电子设备12连接。滤镜推荐装置11与电子设备12之间可以采用有线方式连接，也可以采用无线方式连接，本发明实施例对此不作限定。
滤镜推荐装置11用于获取当前对象的对象特征、当前对象拍摄作品的内容特征以及待推荐滤镜的滤镜特征，并将对象特征、内容特征、滤镜特征输入预先训练得到的滤镜推荐模型，输出当前对象对待推荐滤镜的偏好程度。滤镜推荐装置11还用于根据偏好程度，确定待推荐滤镜在滤镜推荐列表中的位置。
滤镜推荐装置11可以在各种电子设备12中实现本公开实施例的滤镜推荐方法。例如，电子设备12可以为服务器、移动终端等。
在不同的应用场景中，滤镜推荐装置11和电子设备12可以为相互独立的设备，也可以集成于同一设备中，本发明实施例对此不作具体限定。
滤镜推荐装置11和电子设备12集成于同一设备时，滤镜推荐装置11和电子设备12之间的数据传输方式为该设备内部模块之间的数据传输。这种情况下，二者之间的数据传输流程与“滤镜推荐装置11和电子设备12之间相互独立的情况下，二者之间的数据传输流程”相同。
在本公开实施例提供的以下实施例中，以滤镜推荐装置11和电子设备12相互独立设置为例进行说明。
图2是根据一些示例性实施例示出的一种滤镜推荐方法的流程示意图。在一些实施例中，上述滤镜推荐方法可以应用到如图1所示的滤镜推荐装置、电子设备，也可以应用到其他类似设备。
如图2所示，本公开实施例提供的滤镜推荐方法，包括下述S201-S203。
S201、滤镜推荐装置获取当前对象的对象特征、目标作品的内容特征以及待推荐滤镜的滤镜特征。
作为一种可能的实现方式，滤镜推荐装置从服务器中获取当前对象的对象特征、当前对象拍摄作品的内容特征以及待推荐滤镜的滤镜特征。
需要说明的，对象特征用于反映当前对象的对象信息，例如对象的身份标识(identity document，ID)、性别、年龄、常驻城市等。目标作品可以为当前对象拍摄的图像或者视频，也可以为当前对象所选择的图像或者视频(例如手机相册中保存的图像或者视频)。内容特征用于反映目标作品的内容信息，例如目标作品中的人物信息和场景信息等，人物信息包括人物的性别、年龄、是否多人、性格风格、动物类别等，物品的分类、大小、位置、纹理、材质，场景信息包括动物运动或背景环境以及人在做什么运动，参加什么活动，所处环境是户外还是室内，在白天还是夜晚等。滤镜特征用于反映待推荐滤镜的滤镜信息，例如滤镜ID、风格、色调、分类等。待推荐滤镜可以为服务器中存储的任意一个滤镜。
可选的，当前对象拍摄作品的内容特征可以由预先训练好的用于识别拍摄内容和场景的模型提取得到。例如，当前对象通过移动终端拍摄完成后，通过移动终端上部署的计算机视觉深度学习模型，在移动终端上实时提取拍摄作品的内容特征，并将内容特征发送至服务器。其中，计算机视觉深度学习模型可以复用经典的图像视频分类、定位、目标检测、实例分割等移动端融合模型。
S202、滤镜推荐装置基于所述对象特征、所述内容特征以及所述滤镜特征，确定所述当前对象对所述待推荐滤镜的偏好程度。
作为一种可能的实现方式，滤镜推荐装置将所述对象特征、所述内容特征以及所述滤镜特征输入预设的算法，确定所述当前对象对所述待推荐滤镜的偏好程度。该预设算法为运维人员预先在滤镜推荐装置中设置，包含了对象特征、所述内容特征以及所述滤镜特征与偏好程度的映射关系。
作为另一种可能的实现方式，滤镜推荐装置将对象特征、内容特征、滤镜特征输入预先训练得到的滤镜推荐模型，滤镜推荐模型根据对象特征、内容特征以及滤镜特征进行对对象对待推荐滤镜的偏好程度进行预测，输出当前对象对待推荐滤镜的偏好程度。
示例性的，滤镜推荐模型可以预测待推荐滤镜的点击率(special Click-Through-Rate，pCTR)，并依据点击率的高低输出当前对象对待推荐滤镜的偏好程度；滤镜推荐模型也可以预测待推荐滤镜的转化率(special Conversion Rate，pCVR)，并依据转换率的高低输出当前对象对待推荐滤镜的偏好程度；滤镜推荐模型还可以依据pCVR和pCTR综合输出当前对象对待推荐滤镜的偏好程度。
在实际应用中，滤镜推荐模型可以通过输出具体的评分，来反映当前对象对待推荐滤镜的偏好程度。评分越高则表示当前对象对待推荐滤镜的偏好程度越高。
S203、滤镜推荐装置根据偏好程度，确定待推荐滤镜在滤镜推荐列表中的位置。
作为一种可能的实现方式，滤镜推荐装置遍历待推荐滤镜在滤镜推荐列表中各滤镜的偏好程度，按照偏好程度从高到低的顺序对待推荐滤镜进行排序，以确定待推荐滤镜在滤镜推荐列表中的位置。
示例性的，若待推荐滤镜为滤镜推荐列表中偏好程度最高的滤镜，滤镜推荐装置则将该待推荐滤镜排在滤镜推荐列表中的首位。
本公开实施例提供的技术方案至少带来以下有益效果：滤镜推荐装置获取当前对象的对象特征、当前对象拍摄作品的内容特征以及待推荐滤镜的滤镜特征。进一步的，滤镜推荐装置将对象特征、内容特征、滤镜特征输入预先训练得到的滤镜推荐模型，输出当前对象对待推荐滤镜的偏好程度，进而根据偏好程度，确定待推荐滤镜在滤镜推荐列表中的位置。本公开将对象对滤镜的偏好判断过程模型化，在降低人工运营成本的同时，通过滤镜推荐模型对对象本身、拍摄内容以及待推荐滤镜进行综合分析，更全面的反映出更真实的偏好程度，进而可以推荐出更符合对象需求的滤镜。
在一种设计中，如图3所示，为了训练得到滤镜推荐模型，本公开实施例提供的滤镜推荐方法，还包括下述S301-S302。
S301、滤镜推荐装置获取多个训练样本。
其中，一个训练样本包括一个样本对象的样本对象特征、样本对象拍摄样本作品的样本内容特征、样本滤镜的样本滤镜特征、样本滤镜的显性位置特征以及样本标签；显性位置特征用于表征样本滤镜在预设样本滤镜推荐列表中的位置；样本标签用于反映样本对象是否对样本作品使用样本滤镜。
具体的，样本对象特征用于反映样本对象的对象信息，例如对象的身份标识(identity document，ID)、性别、年龄、常驻城市等。样本内容特征用于反映样本对象拍摄的样本作品的内容信息，例如样本作品中的人物信息和场景信息等，人物信息包括人物的性别、年龄、是否多人、性格风格、动物类别等，物品的分类、大小、位置、纹理、材质，场景信息包括动物运动或背景环境以及人在做什么运动，参加什么活动，所处环境是户外还是室内，在白天还是夜晚等。样本滤镜特征用于反映待推荐滤镜的滤镜信息，例如滤镜ID、风格、色调、分类等。样本滤镜的显性位置特征用于反映样本滤镜在预设样本滤镜推荐列表中的位置。
作为一种可能的实现方式，滤镜推荐装置从服务器中获取多个训练样本。
需要说明的，训练样本为运维人员根据样本对象对样本作品的样本滤镜使用情况预先收集，并存储在服务器中的。
S302、滤镜推荐装置基于多个训练样本，对第一预设神经网络进行训练，得到滤镜推荐模型。
作为一种可能的实现方式，滤镜推荐装置将样本对象特征、样本内容特征、样本滤镜特征以及显性位置特征输入第一预设神经网络，得到目标预测结果；其中，目标预测结果用于反映在样本作品、样本滤镜以及样本滤镜在预设样本滤镜推荐列表中的位置的共同影响下，样本对象对样本滤镜的偏好程度。进一步的，滤镜推荐装置将样本滤镜特征输入预先训练得到的位置特征提取模型，得到样本滤镜特征的隐性位置特征。滤镜推荐装置基于目标预测结果、样本标签、显性位置特征以及隐性位置特征确定第一预设神经网络的目标损失，并根据目标损失，对第一预设神经网络进行训练，得到滤镜推荐模型。
可以理解的，上述实施例中滤镜推荐装置通过获取多个训练样本，由于一个训练样本包括一个样本对象的样本对象特征、所述样本对象拍摄样本作品的样本内容特征、样本滤镜的样本滤镜特征、所述样本滤镜的显性位置特征以及样本标签；所述显性位置特征用于表征所述样本滤镜在预设样本滤镜推荐列表中的位置；所述样本标签用于反映所述样本对象是否对所述样本作品使用所述样本滤镜，因此，滤镜推荐装置可以基于所述多个训练样本，对第一预设神经网络进行训练，成功得到所述滤镜推荐模型，以供确定推荐滤镜的偏好程度时使用。
另外，滤镜推荐装置首先将所述样本对象特征、所述样本内容特征、所述样本滤镜特征以及所述显性位置特征输入所述第一预设神经网络，得到目标预测结果。由于样本滤镜特征可能受位置因素的影响，为了尽可能消除样本滤镜特征中的位置信息，因此滤镜推荐装置将所述样本滤镜特征输入预先训练得到的位置特征提取模型，得到所述样本滤镜特征的隐性位置特征，并将所述目标预测结果与所述样本标签之间的差异，以及，所述显性位置特征与所述隐性位置特征之间的差异共同作为第一预设神经网络的目标损失进行训练，这样得到的滤镜推荐模型降低了滤镜位置对训练结果的干扰。
在一些实施例中，样本标签主要与训练样本中的对象特征、样本内容特征以及样本滤镜特征有关，它们共同显式决定样本最终转化率，即样本对象最终是否对样本作品使用样本滤镜。同时样本标签又受潜在的位置关注度分值函数ppr和阶段性审美转化分值函数pbr决定，即样本对象在关注了某些位置的样本滤镜，并且该样本滤镜能带来美学增益和转化，最终促成样本转化(即样本对象最终对样本作品使用了该样本滤镜)。因此，位置关注度分值函数ppr由样本滤镜的位置p和样本滤镜本身x共同决定，即ppr＝fp(p，x)；阶段性审美转化分值函数pbr由拍摄内容q和样本滤镜本身x共同决定，并受对象x主观审美偏好影响，即pbr＝fb(u，q，x)。
可见，通常滤镜位置会给整个系统带来一定干扰，比如人工运营将某种滤镜放在第一位，那么它的热度和曝光转化率可能会非常高。因此，尝试通过以下两种方式来消除滤镜位置对训练结果的影响。
方式一：如图4所示，将实线框中的显性位置特征ep与其他特征(样本对象特征eu、样本内容特征eq、样本滤镜特征ex)一起放入神经网络DNN训练，使得显性位置特征直接参与神经网络DNN的参数学习。神经网络DNN在线推理时将显性位置特征ep固定(比如将样本滤镜在预设样本滤镜推荐列表中的位置1到N都推理一遍，或挑选一个位置固定推理)，计算出样本滤镜的分值。可见，方式一在线推理时必须确认样本滤镜在预设样本滤镜推荐列表中的位置后才能进行推理并计算分值，而实际应用中，并不确定待推荐滤镜在的位置，因此，方式一训练得到的模型未能消除滤镜位置对训练结果的影响。
方式二：如图5所示，将显性位置特征ep剥离出来，训练时，将实线框中的特征(样本对象特征eu、样本内容特征eq、样本滤镜特征ex)放入神经网络DNN1训练，得到中间分值，以消除位置的影响。进一步的，将显性位置特征ep放入神经网络DNN2训练，一起拟合最终的预测结果。但是，位置信号很难硬式解耦剥离出来，比如：某个「对象」使用「第一个位置」的「滤镜」渲染「视频」产生「作品」，要变成「对象」使用「滤镜」渲染「视频」得到一个「效果」+「第一个位置」产生「作品」。也就是「滤镜」和「位置」在逻辑上是无法硬性分离开的，强制分开会造成一定交叉信息损失。除此之外，样本滤镜特征ex本身和位置相关，使得ex始终包含位置信息(即便刻意将位置p信号割裂分离出去)，因此方式一训练得到的模型仍然难以摆脱滤镜位置对训练结果的影响。
在一种设计中，为了降低滤镜位置对训练结果的干扰，如图6所示，第一预设神经网络包括第一子网络以及第二子网络。如图7所示，本公开实施例提供的上述S302，具体包括下述S3021-S3024：
S3021、滤镜推荐装置将样本对象特征、样本内容特征以及样本滤镜特征输入第一子网络，得到第一预测结果。
其中，第一预测结果用于反映在样本作品以及样本滤镜的影响下，样本对象对样本滤镜的偏好程度。
示例性的，如图6所示，滤镜推荐装置将样本对象特征eu、样本内容特征eq以及样本滤镜特征ex输入第一子网络，得到第一预测结果，即阶段性审美转化分值函数pbr。
S3022、滤镜推荐装置将样本滤镜特征以及显性位置特征输入第二子网络，得到第二预测结果。
其中，第二预测结果用于反映在样本滤镜以及样本滤镜在预设样本滤镜推荐列表中的位置的影响下，样本对象对样本滤镜的偏好程度。
示例性的，如图6所示，滤镜推荐装置将样本滤镜特征ex以及显性位置特征ep输入第二子网络，得到第二预测结果，即位置关注度分值函数ppr。
S3023、滤镜推荐装置根据第一预测结果以及第二预测结果得到目标预测结果。
作为一种可能的实现方式，滤镜推荐装置将第一预测结果与第二预测结果之和，作为目标预测结果。
作为另一种可能的实现方式，滤镜推荐装置将第一预测结果与第二预测结果进行加权，得到目标预测结果。
可以理解的，通过设置两个子网络，并对两个子网络的功能进行区分，即第一子网络用于反映在所述样本作品以及所述样本滤镜的影响下，所述样本对象对所述样本滤镜的偏好程度，第二预测结果用于反映在所述样本滤镜以及所述样本滤镜在所述预设样本滤镜推荐列表中的位置的影响下，所述样本对象对所述样本滤镜的偏好程度，这样一来可以成功得到两个预测结果，进而可以综合两个预测结果得到最终的目标预测结果。
S3024、滤镜推荐装置根据目标损失，对第一子网络以及第二子网络进行训练，得到训练完成的第一预设神经网络，并将训练完成的第一预设神经网络中的第一子网络确定为滤镜推荐模型。
具体的，如图6所示，左侧为第一预设神经网络(由第一子网络以及第二子网络构成)，右侧为第二预设神经网络。在训练第一阶段，第一子网络与第二子网络同时进行，其目标损失函数为其中，y表示样本标签，表示目标预测结果，ep表示显性位置特征，表示隐性位置特征(由第二预设神经网络从样本滤镜特征ex中抽取)，第一项交叉熵(CrossEntropy)代表模型预测转化率的能力，第二项Similarity表示ep与之间的相似度，λ为大于0小于1的常数。目标损失用于反映目标预测结果与样本标签之间的差异，以及，显性位置特征与隐性位置特征之间的差异。在训练时，目标预测结果与样本标签之间的差异逐渐减小，显性位置特征与隐性位置特征之间的差异要逐渐增大(两者相似度要朝着约束降低方向优化，代表从样本滤镜特征ex中抽取的隐性位置特征将逐渐衰弱，以至于无法重构出真实的位置特征ep)。因此第一预设神经网络中反馈信息将逐渐变弱，样本滤镜特征ex中的位置信息将转移到ep中。
在训练第二阶段，右侧第二预设神经网络开始迭代训练，其目标损失函数为其中，ep表示样本滤镜的显性位置特征，表示样本滤镜的隐性位置特征。即在固定输入样本滤镜特征ex前提下(滤镜特征ex表达此时固定，不参与参数后向反馈传播训练)，使得第二预设神经网络逐步学会从滤镜特征ex中提炼出精准的位置表达，损失函数值越小(ep与之间的差异越小)，代表该网络越能更好的重构位置特征。
以上两阶段通过对抗学习(Adversarial Learning)交替训练迭代，形成生成对抗。即第二阶段抽取位置信息，生成位置表达，增强位置相似性；第一阶段识别该表达，判别其为假，降低相似性，同时迭代学习转化率预测能力。两个阶段相互配合，使得样本滤镜特征ex中的位置信息将转移到ep中，同时得到训练完成的第一预设神经网络，此时第一网络得到的第一预测结果将滤镜位置的影响，因此将训练完成的第一预设神经网络中的第一子网络确定为滤镜推荐模型。需要说明的，在对第一预设神经网络进行训练时，需要固定第二预设神经网络，即将第二预设神经网络作为位置特征提取模型，依据第二预设神经网络提取到的隐性位置特征确定第一预设神经网络的损失。
在一种设计中，为了提升滤镜推荐模型的预测能力，如图8所示，本公开实施例提供的上述S302，具体包括下述S3025-S3029：
S3025、滤镜推荐装置确定样本滤镜的周边滤镜。
其中，周边滤镜为在预设样本滤镜推荐列表中与样本滤镜的距离小于或者等于第一阈值的滤镜。
作为一种可能的实现方式，滤镜推荐装置从样本滤镜所在的预设样本滤镜推荐列表中，确定样本滤镜的周边滤镜，即将与样本滤镜的距离小于或者等于第一阈值的滤镜确定为周边滤镜。
例如，滤镜推荐装置在样本滤镜推荐列表中选取样本滤镜附件的5个滤镜作为周边滤镜。
S3026、滤镜推荐装置将样本对象特征、样本内容特征以及样本滤镜特征输入第一子网络，得到第一预测结果。
其中，述第一预测结果用于反映在样本作品以及样本滤镜的影响下，样本对象对样本滤镜的偏好程度。
此步骤的具体实现方式可以参考上述S3021，此处不再赘述。
S3027、滤镜推荐装置将样本滤镜特征、周边滤镜的周边滤镜特征、样本滤镜的显性位置以及周边滤镜的显性位置特征输入第二子网络，得到第二预测结果。
其中，第二预测结果用于反映在样本滤镜、周边滤镜、样本滤镜在预设样本滤镜推荐列表中的位置以及周边滤镜在预设样本滤镜推荐列表中的位置的影响下，样本对象对样本滤镜的偏好程度。
如图9所示，在模型训练过程中引入注意力(attention)计算逻辑。由于位置关注度不仅与滤镜自身强相关，也会受其周边位置滤镜的影响(如对象会对比参考周边滤镜名称做出选择)，因此在训练第二子网时，引入周边滤镜的周边滤镜特征以及周边滤镜的显性位置特征。
可选的，滤镜推荐装置将样本滤镜i周边某个位置j的滤镜对其影响权重设为aij，该权重可用于对周边滤镜的周边滤镜特征以及周边滤镜的显性位置特征进行加权，即周边滤镜特征周边滤镜的显性位置特征滤镜推荐装置将样本滤镜特征ex、显性位置特征ep、周边滤镜特征ex′、周边滤镜的显性位置特征ep′一起输入第二子网络，供第二子网络学习，以便获取更加精准的第二预测结果。
S3028、滤镜推荐装置根据第一预测结果以及第二预测结果得到目标预测结果。
其中，目标预测结果用于反映在样本作品、样本滤镜、周边滤镜、样本滤镜在预设样本滤镜推荐列表中的位置以及周边滤镜在预设样本滤镜推荐列表中的位置的共同影响下，样本对象对样本滤镜的偏好程度。
此步骤的具体实现方式可以参考上述S3023，此处不再赘述。
S3029、滤镜推荐装置根据目标损失，对第一子网络以及第二子网络进行训练，得到训练完成的第一预设神经网络，并将训练完成的第一预设神经网络中的第一子网络模型确定为滤镜推荐模型。
作为一种可能的实现方式，滤镜推荐装置将样本滤镜特征输入预先训练得到的位置特征提取模型，得到样本滤镜特征的隐性位置特征。进一步的，滤镜推荐装置基于目标预测结果、样本标签、显性位置特征以及隐性位置特征确定第一预设神经网络的目标损失，并根据目标损失，对第一预设神经网络进行训练，得到滤镜推荐模型。
具体的训练过程中模型内部的原理与上述S3024相似，一次训练分为两个阶段。如图9所示，滤镜推荐装置首先使用样本滤镜特征ex作为输入，供第二预设神经网络学习抽取样本滤镜特征的隐性位置特征其目标损失定为根据该损失对第二预设神经网络的参数进行优化，提升第二预设神经网络重构位置的能力，以得到位置特征提取模型，以提取隐性位置特征。其次，滤镜推荐装置将样本对象特征、样本内容特征、样本滤镜特征、周边滤镜的周边滤镜特征、样本滤镜的显性位置以及周边滤镜的显性位置特征传入整个第一预设神经网络(此时需固定第二预设神经网络)。第一预设神经网络一方面通过第一子网络学习转化效果预测能力，另一方面通过第二子网络汲取所有位置信号(包括显性特征以及隐性特征)，这样一来，将原本存在于样本滤镜特征ex取所有位置中的位置偏置信息转移到显性位置特征ep中。两个阶段在每轮训练中交叠进行，使得第二预设神经网络更加善于抽取ex中的而第一预设神经网络又迫使真实位置信号(即显性位置特征ep)与差异变大。通过两个阶段的对抗学习，使得ex逐渐失去位置偏置信号，而所有的位置信号只由第二子网络处理。
上述实施例主要从装置(设备)的角度对本公开实施例提供的方案进行了介绍。可以理解的是，为了实现上述方法，装置或设备包含了执行各个方法流程相应的硬件结构和/或软件模块，这些执行各个方法流程相应的硬件结构和/或软件模块可以构成一个电子设备。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的算法步骤，本公开能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本公开的范围。
本公开实施例可以根据上述方法示例对装置或设备进行功能模块的划分，例如，装置或设备可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本公开实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
图10是根据一示例性实施例示出的滤镜推荐装置的结构示意图。参照图10所示，本公开实施例提供的滤镜推荐装置40，包括获取单元401、处理单元402以及确定单元403。
获取单元401，用于获取当前对象的对象特征、当前对象拍摄作品的内容特征以及待推荐滤镜的滤镜特征；处理单元402，用于将对象特征、内容特征、滤镜特征输入预先训练得到的滤镜推荐模型，输出当前对象对待推荐滤镜的偏好程度；确定单元403，用于根据偏好程度，确定待推荐滤镜在滤镜推荐列表中的位置。
可选的，获取单元401还用于：获取多个训练样本；一个训练样本包括一个样本对象的样本对象特征、样本对象拍摄样本作品的样本内容特征、样本滤镜的样本滤镜特征、样本滤镜的显性位置特征以及样本标签；显性位置特征用于表征样本滤镜在预设样本滤镜推荐列表中的位置；样本标签用于反映样本对象是否对样本作品使用样本滤镜；滤镜推荐装置40还包括训练单元404，训练单元404用于基于多个训练样本，对第一预设神经网络进行训练，得到滤镜推荐模型。
可选的，训练单元404具体用于：将样本对象特征、样本内容特征、样本滤镜特征以及显性位置特征输入第一预设神经网络，得到目标预测结果；目标预测结果用于反映在样本作品、样本滤镜以及样本滤镜在预设样本滤镜推荐列表中的位置的共同影响下，样本对象对样本滤镜的偏好程度；将样本滤镜特征输入预先训练得到的位置特征提取模型，得到样本滤镜特征的隐性位置特征；确定第一预设神经网络的目标损失；目标损失用于反映目标预测结果与样本标签之间的差异，以及，显性位置特征与隐性位置特征之间的差异；根据目标损失，对第一预设神经网络进行训练，得到滤镜推荐模型。
可选的，第一预设神经网络包括第一子网络以及第二子网络；训练单元404具体用于：将样本对象特征、样本内容特征以及样本滤镜特征输入第一子网络，得到第一预测结果，以及将样本滤镜特征以及显性位置特征输入第二子网络，得到第二预测结果；第一预测结果用于反映在样本作品以及样本滤镜的影响下，样本对象对样本滤镜的偏好程度；第二预测结果用于反映在样本滤镜以及样本滤镜在预设样本滤镜推荐列表中的位置的影响下，样本对象对样本滤镜的偏好程度；根据第一预测结果以及第二预测结果得到目标预测结果。
可选的，训练单元404具体用于：根据目标损失，对第一子网络以及第二子网络进行训练，得到训练完成的第一预设神经网络，并将训练完成的第一预设神经网络中的第一子网络确定为滤镜推荐模型。
可选的，训练单元404具体用于：确定样本滤镜的周边滤镜；周边滤镜为在预设样本滤镜推荐列表中与样本滤镜的距离小于或者等于第一阈值的滤镜；将样本对象特征、样本内容特征、样本滤镜特征、周边滤镜的周边滤镜特征、样本滤镜的显性位置以及周边滤镜的显性位置特征输入第一预设神经网络，得到目标预测结果；目标预测结果用于反映在样本作品、样本滤镜、周边滤镜、样本滤镜在预设样本滤镜推荐列表中的位置以及周边滤镜在预设样本滤镜推荐列表中的位置的共同影响下，样本对象对样本滤镜的偏好程度；将样本滤镜特征输入预先训练得到的位置特征提取模型，得到样本滤镜特征的隐性位置特征；确定第一预设神经网络的目标损失；目标损失用于反映目标预测结果与样本标签之间的差异，以及，显性位置特征与隐性位置特征之间的差异；根据目标损失，对第一预设神经网络进行训练，得到滤镜推荐模型。
可选的，第一预设神经网络包括第一子网络以及第二子网络；训练单元404具体用于：将样本对象特征、样本内容特征以及样本滤镜特征输入第一子网络，得到第一预测结果，以及将样本滤镜特征、周边滤镜的周边滤镜特征、样本滤镜的显性位置以及周边滤镜的显性位置特征输入第二子网络，得到第二预测结果；第一预测结果用于反映在样本作品以及样本滤镜的影响下，样本对象对样本滤镜的偏好程度；第二预测结果用于反映在样本滤镜、周边滤镜、样本滤镜在预设样本滤镜推荐列表中的位置以及周边滤镜在预设样本滤镜推荐列表中的位置的影响下，样本对象对样本滤镜的偏好程度；根据第一预测结果以及第二预测结果得到目标预测结果。
可选的，训练单元404具体用于：根据目标损失，对第一子网络以及第二子网络进行训练，得到训练完成的第一预设神经网络，并将训练完成的第一预设神经网络中的第一子网络模型确定为滤镜推荐模型。
可选的，训练单元404还用于：获取多个样本滤镜信息；一个样本滤镜信息包括一个样本滤镜的样本滤镜特征以及样本滤镜的显性位置特征；基于多个样本滤镜信息，对第二预设神经网络进行训练，得到位置特征提取模型。
可选的，训练单元404具体用于：对于任意一个样本滤镜信息，将样本滤镜特征作为输入特征，将显性位置特征作为标签，对第二预设神经网络进行训练，得到位置特征提取模型。
图11是本公开提供的一种电子设备的结构示意图。如图11，该电子设备50可以包括至少一个处理器501以及用于存储处理器可执行指令的存储器502其中，处理器501被配置为执行存储器502中的指令，以实现上述实施例中的滤镜推荐方法。
另外，电子设备50还可以包括通信总线503以及至少一个通信接口504。
处理器501可以是一个处理器(central processing units，CPU)，微处理单元，ASIC，或一个或多个用于控制本公开方案程序执行的集成电路。
通信总线503可包括一通路，在上述组件之间传送信息。
通信接口504，使用任何收发器一类的装置，用于与其他设备或通信网络通信，如以太网，无线接入网(radio access network，RAN)，无线局域网(wireless local areanetworks，WLAN)等。
存储器502可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electricallyerasable programmable read-only memory，EEPROM)、只读光盘(compact disc read-only memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过总线与处理器相连接。存储器也可以和处理器集成在一起。
其中，存储器502用于存储执行本公开方案的指令，并由处理器501来控制执行。处理器501用于执行存储器502中存储的指令，从而实现本公开滤镜推荐方法中的功能。
作为一个示例，结合图10，滤镜推荐装置40中的获取单元401、处理单元402、确定单元403以及训练单元404实现的功能与图11中的处理器501的功能相同。
在具体实现中，作为一种实施例，处理器501可以包括一个或多个CPU，例如图11中的CPU0和CPU1。
在具体实现中，作为一种实施例，电子设备50可以包括多个处理器，例如图11中的处理器501和处理器507。这些处理器中的每一个可以是一个单核(single-CPU)处理器，也可以是一个多核(multi-CPU)处理器。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。
在具体实现中，作为一种实施例，电子设备50还可以包括输出设备505和输入设备506。输出设备505和处理器501通信，可以以多种方式来显示信息。例如，输出设备505可以是液晶显示器(liquid crystal display，LCD)，发光二级管(light emitting diode，LED)显示设备，阴极射线管(cathode ray tube，CRT)显示设备，或投影仪(projector)等。输入设备506和处理器501通信，可以以多种方式接受对象的输入。例如，输入设备506可以是鼠标、键盘、触摸屏设备或传感设备等。
本领域技术人员可以理解，图11中示出的结构并不构成对电子设备50的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
另外，本公开还提供一种计算机可读存储介质，当计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如上述实施例所提供的滤镜推荐方法。
另外，本公开还提供一种计算机程序产品，包括计算机指令，当计算机指令在电子设备上运行时，使得电子设备执行如上述实施例所提供的滤镜推荐方法。
本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
Claims (10)
1.一种滤镜推荐方法，其特征在于，所述方法包括：
获取当前对象的对象特征、目标作品的内容特征以及待推荐滤镜的滤镜特征；
基于所述对象特征、所述内容特征、所述滤镜特征以及训练好的滤镜推荐模型，确定所述当前对象对所述待推荐滤镜的偏好程度；所述滤镜推荐模型为基于多个训练样本，对第一预设神经网络进行训练得到的；一个训练样本包括一个样本对象的样本对象特征、所述样本对象拍摄样本作品的样本内容特征、样本滤镜的样本滤镜特征、所述样本滤镜的显性位置特征以及样本标签；所述显性位置特征用于表征所述样本滤镜在预设样本滤镜推荐列表中的位置；所述样本标签用于反映所述样本对象是否对所述样本作品使用所述样本滤镜；
根据所述偏好程度，确定所述待推荐滤镜在滤镜推荐列表中的位置；
所述滤镜推荐模型的训练过程包括：
将所述样本对象特征、所述样本内容特征、所述样本滤镜特征以及所述显性位置特征输入所述第一预设神经网络，得到目标预测结果，所述目标预测结果用于反映在所述样本作品、所述样本滤镜以及所述样本滤镜在所述预设样本滤镜推荐列表中的位置的共同影响下，所述样本对象对所述样本滤镜的偏好程度；或者，将所述样本对象特征、所述样本内容特征、所述样本滤镜特征、周边滤镜的周边滤镜特征、所述样本滤镜的所述显性位置以及所述周边滤镜的所述显性位置特征输入所述第一预设神经网络，得到目标预测结果，所述目标预测结果用于反映在所述样本作品、所述样本滤镜、所述周边滤镜、所述样本滤镜在所述预设样本滤镜推荐列表中的位置以及所述周边滤镜在所述预设样本滤镜推荐列表中的位置的共同影响下，所述样本对象对所述样本滤镜的偏好程度；所述周边滤镜为在预设样本滤镜推荐列表中与样本滤镜的距离小于或者等于第一阈值的滤镜；
将所述样本滤镜特征输入预先训练得到的位置特征提取模型，得到所述样本滤镜特征的隐性位置特征；
确定所述第一预设神经网络的目标损失；所述目标损失用于反映所述目标预测结果与所述样本标签之间的差异，以及，所述显性位置特征与所述隐性位置特征之间的差异；
根据所述目标损失，对所述第一预设神经网络进行训练，得到所述滤镜推荐模型。
2.根据权利要求1所述的滤镜推荐方法，其特征在于，所述第一预设神经网络包括第一子网络以及第二子网络；所述将所述样本对象特征、所述样本内容特征、所述样本滤镜特征以及所述显性位置特征输入所述第一预设神经网络，得到目标预测结果，包括：
将所述样本对象特征、所述样本内容特征以及所述样本滤镜特征输入所述第一子网络，得到第一预测结果，以及将所述样本滤镜特征以及所述显性位置特征输入所述第二子网络，得到第二预测结果；所述第一预测结果用于反映在所述样本作品以及所述样本滤镜的影响下，所述样本对象对所述样本滤镜的偏好程度；所述第二预测结果用于反映在所述样本滤镜以及所述样本滤镜在所述预设样本滤镜推荐列表中的位置的影响下，所述样本对象对所述样本滤镜的偏好程度；
根据所述第一预测结果以及所述第二预测结果得到所述目标预测结果。
3.根据权利要求2所述的滤镜推荐方法，其特征在于，所述根据所述目标损失，对所述第一预设神经网络进行训练，得到所述滤镜推荐模型，包括：
根据所述目标损失，对所述第一子网络以及所述第二子网络进行训练，得到训练完成的所述第一预设神经网络，并将所述训练完成的所述第一预设神经网络中的所述第一子网络确定为所述滤镜推荐模型。
4.根据权利要求1所述的滤镜推荐方法，其特征在于，所述第一预设神经网络包括第一子网络以及第二子网络；所述将所述样本对象特征、所述样本内容特征、所述样本滤镜特征、所述周边滤镜的周边滤镜特征、所述样本滤镜的所述显性位置以及所述周边滤镜的所述显性位置特征输入所述第一预设神经网络，得到目标预测结果，包括：
将所述样本对象特征、所述样本内容特征以及所述样本滤镜特征输入所述第一子网络，得到第一预测结果，以及将所述样本滤镜特征、所述周边滤镜的周边滤镜特征、所述样本滤镜的所述显性位置以及所述周边滤镜的所述显性位置特征输入所述第二子网络，得到第二预测结果；所述第一预测结果用于反映在所述样本作品以及所述样本滤镜的影响下，所述样本对象对所述样本滤镜的偏好程度；所述第二预测结果用于反映在所述样本滤镜、所述周边滤镜、所述样本滤镜在所述预设样本滤镜推荐列表中的位置以及所述周边滤镜在所述预设样本滤镜推荐列表中的位置的影响下，所述样本对象对所述样本滤镜的偏好程度；
根据所述第一预测结果以及所述第二预测结果得到所述目标预测结果。
5.根据权利要求4所述的滤镜推荐方法，其特征在于，所述根据所述目标损失，对所述第一预设神经网络进行训练，得到所述滤镜推荐模型，包括：
根据所述目标损失，对所述第一子网络以及所述第二子网络进行训练，得到训练完成的所述第一预设神经网络，并将所述训练完成的所述第一预设神经网络中的所述第一子网络确定为所述滤镜推荐模型。
6.根据权利要求1所述的滤镜推荐方法，其特征在于，所述方法还包括：
获取多个样本滤镜信息；一个样本滤镜信息包括一个样本滤镜的样本滤镜特征以及所述样本滤镜的显性位置特征；
基于所述多个样本滤镜信息，对第二预设神经网络进行训练，得到所述位置特征提取模型。
7.根据权利要求6所述的滤镜推荐方法，其特征在于，所述基于所述多个样本滤镜信息，对第二预设神经网络进行训练，得到所述位置特征提取模型，包括：
对于任意一个样本滤镜信息，将所述样本滤镜特征作为输入特征，将所述显性位置特征作为标签，对所述第二预设神经网络进行训练，得到所述位置特征提取模型。
8.一种滤镜推荐装置，其特征在于，所述滤镜推荐装置包括获取单元、处理单元以及确定单元；
所述获取单元，用于获取当前对象的对象特征、目标作品的内容特征以及待推荐滤镜的滤镜特征；
所述处理单元，用于基于所述对象特征、所述内容特征、所述滤镜特征以及训练好的滤镜推荐模型，确定所述当前对象对所述待推荐滤镜的偏好程度；所述滤镜推荐模型为基于多个训练样本，对第一预设神经网络进行训练得到的；一个训练样本包括一个样本对象的样本对象特征、所述样本对象拍摄样本作品的样本内容特征、样本滤镜的样本滤镜特征、所述样本滤镜的显性位置特征以及样本标签；所述显性位置特征用于表征所述样本滤镜在预设样本滤镜推荐列表中的位置；所述样本标签用于反映所述样本对象是否对所述样本作品使用所述样本滤镜；
所述确定单元，用于根据所述偏好程度，确定所述待推荐滤镜在滤镜推荐列表中的位置；
所述处理单元，还用于：将所述样本对象特征、所述样本内容特征、所述样本滤镜特征以及所述显性位置特征输入所述第一预设神经网络，得到目标预测结果，所述目标预测结果用于反映在所述样本作品、所述样本滤镜以及所述样本滤镜在所述预设样本滤镜推荐列表中的位置的共同影响下，所述样本对象对所述样本滤镜的偏好程度；或者，将所述样本对象特征、所述样本内容特征、所述样本滤镜特征、周边滤镜的周边滤镜特征、所述样本滤镜的所述显性位置以及所述周边滤镜的所述显性位置特征输入所述第一预设神经网络，得到目标预测结果，所述目标预测结果用于反映在所述样本作品、所述样本滤镜、所述周边滤镜、所述样本滤镜在所述预设样本滤镜推荐列表中的位置以及所述周边滤镜在所述预设样本滤镜推荐列表中的位置的共同影响下，所述样本对象对所述样本滤镜的偏好程度；所述周边滤镜为在预设样本滤镜推荐列表中与样本滤镜的距离小于或者等于第一阈值的滤镜；
将所述样本滤镜特征输入预先训练得到的位置特征提取模型，得到所述样本滤镜特征的隐性位置特征；
确定所述第一预设神经网络的目标损失；所述目标损失用于反映所述目标预测结果与所述样本标签之间的差异，以及，所述显性位置特征与所述隐性位置特征之间的差异；
根据所述目标损失，对所述第一预设神经网络进行训练，得到所述滤镜推荐模型。
9.一种电子设备，其特征在于，包括：处理器、用于存储所述处理器可执行的指令的存储器；其中，所述处理器被配置为执行指令，以实现如权利要求1-7中任一项所述的滤镜推荐方法。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1-7中任一项所述的滤镜推荐方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211507244.XA CN115797723B (zh) | 2022-11-29 | 2022-11-29 | 滤镜推荐方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211507244.XA CN115797723B (zh) | 2022-11-29 | 2022-11-29 | 滤镜推荐方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115797723A CN115797723A (zh) | 2023-03-14 |
| CN115797723B true CN115797723B (zh) | 2023-10-13 |
Family
ID=85442728
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211507244.XA Active CN115797723B (zh) | 2022-11-29 | 2022-11-29 | 滤镜推荐方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115797723B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109727208A (zh) * | 2018-12-10 | 2019-05-07 | 北京达佳互联信息技术有限公司 | 滤镜推荐方法、装置、电子设备及存储介质 |
| CN112487278A (zh) * | 2019-09-11 | 2021-03-12 | 华为技术有限公司 | 推荐模型的训练方法、预测选择概率的方法及装置 |
| KR20210042867A (ko) * | 2020-09-01 | 2021-04-20 | 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. | 콘텐츠 추천 방법, 장치, 기기 및 매체 |
-
2022
- 2022-11-29 CN CN202211507244.XA patent/CN115797723B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109727208A (zh) * | 2018-12-10 | 2019-05-07 | 北京达佳互联信息技术有限公司 | 滤镜推荐方法、装置、电子设备及存储介质 |
| CN112487278A (zh) * | 2019-09-11 | 2021-03-12 | 华为技术有限公司 | 推荐模型的训练方法、预测选择概率的方法及装置 |
| KR20210042867A (ko) * | 2020-09-01 | 2021-04-20 | 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. | 콘텐츠 추천 방법, 장치, 기기 및 매체 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115797723A (zh) | 2023-03-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3882808B1 (en) | Face detection model training method and apparatus, and face key point detection method and apparatus | |
| CN110533097B (zh) | 一种图像清晰度识别方法、装置、电子设备及存储介质 | |
| CN111062871B (zh) | 一种图像处理方法、装置、计算机设备及可读存储介质 | |
| JP7181437B2 (ja) | 制御されていない照明条件の画像中の肌色を識別する技術 | |
| JP6431231B1 (ja) | 撮像システム、学習装置、および撮像装置 | |
| US20200005673A1 (en) | Method, apparatus, device and system for sign language translation | |
| CN110489578B (zh) | 图片处理方法、装置及计算机设备 | |
| US20210012503A1 (en) | Apparatus and method for generating image | |
| CN105684038A (zh) | 用于替换图像的部分的图像缓存 | |
| WO2021184754A1 (zh) | 视频对比方法、装置、计算机设备和存储介质 | |
| JP7100513B2 (ja) | 映像審査装置、コンピュータプログラム及び映像審査方法 | |
| CN110633669A (zh) | 家居环境中基于深度学习的移动端人脸属性识别方法 | |
| CN114066718A (zh) | 一种图像风格迁移方法、装置、存储介质及终端 | |
| JP6787831B2 (ja) | 検索結果による学習が可能な対象検出装置、検出モデル生成装置、プログラム及び方法 | |
| CN111432206A (zh) | 基于人工智能的视频清晰度处理方法、装置及电子设备 | |
| CN116595438A (zh) | 图片创作方法、装置、设备及存储介质 | |
| CN114973086A (zh) | 视频处理方法、装置、电子设备及存储介质 | |
| CN116665083A (zh) | 一种视频分类方法、装置、电子设备及存储介质 | |
| CN111597361B (zh) | 多媒体数据处理方法、装置、存储介质及设备 | |
| CN113538413A (zh) | 图像检测方法及装置、电子设备和存储介质 | |
| CN110147464B (zh) | 视频推荐方法、装置、电子设备及可读存储介质 | |
| CN115797723B (zh) | 滤镜推荐方法、装置、电子设备及存储介质 | |
| CN114064973B (zh) | 视频新闻分类模型建立方法、分类方法、装置及设备 | |
| CN114299074A (zh) | 一种视频分割方法、装置、设备及存储介质 | |
| CN116932788A (zh) | 封面图像提取方法、装置、设备及计算机存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |