CN110084676A - 一种线上商品推荐方法、网络终端和具有存储功能的装置 - Google Patents

Abstract

本申请公开了一种线上商品推荐方法、网络终端和具有存储功能的装置。该方法包括：识别用户的身份标识，根据该身份标识获取用户的特征数据和用户的购物数据；根据特征数据和购物数据中的至少一项获取待推荐商品获取待推荐商品的模特图片；利用预设算法将模特图片中对应的特征数据替换为用户的特征数据，并将经上述替换处理后得到的模特图片作为合成图片；将合成图片推送给用户。通过上述方式，本申请能够提升用户的购买欲望。

Description

一种线上商品推荐方法、网络终端和具有存储功能的装置

技术领域

本申请涉及领域，特别是涉及一种线上商品推荐方法、网络终端和具有存储功能的装置。

背景技术

目前，用户在电商网站进行搜索后，电商网站会计算用户搜索关键词和购买商品之间的关联关系和用户浏览商品和购买商品之间的关联关系，并计算电商网站当前的热销商品排序，通过关系和排序向用户进行个性化推荐。但是该个性化推荐都是以模特图片显示，用户无法了解该商品是否合适自己，而要求高、追求品质、更偏理性用户，需要看到商品与自己真人的搭配度，但是目前电商平台所不能提供的。

发明内容

本申请主要解决的技术问题是提供一种线上商品推荐方法、网络终端和具有存储功能的装置，能够提升用户的购买欲望。

为解决上述技术问题，本申请采用的一个技术方案是：提供一种线上商品推荐方法，包括：识别用户的身份标识，根据所述身份标识获取用户的特征数据和用户的购物数据；根据所述特征数据和所述购物数据中的至少一项获取待推荐商品；获取待推荐商品的模特图片；利用预设算法将所述模特图片中对应的特征数据替换为所述用户的所述特征数据，并将经上述替换处理后得到的模特图片作为合成图片；将所述合成图片推送给用户

其中，所述特征数据包括所述用户的头部数据和身材数据中的至少一项；所述头部数据包括所述用户的面部特征数据、发型数据中的至少一项；所述身材数据包括所述用户的脸型数据、身体数据中的至少一项；所述预设算法包括卷积神经网络算法。

其中，当所述特征数据包括所述用户的头部数据时，所述获取用户的特征数据，包括：从用户上传的图片和/或视频数据获取用户的头部数据；所述利用预设算法将所述模特图片中对应的特征数据替换为所述用户的所述特征数据，包括：从所述模特图片中获取模特的面部动态特征数据，其中，所述面部动态特征数据包括以下至少一者：面部光影、面部表情、面部角度；采用头部合成算法对所述用户的头部数据和所述模特的面部动态特征数据进行合成，生成带有所述模特的面部动态特征数据的用户头部合成数据；采用图像融合算法将所述模特图片中的头部数据替换为所述用户头部合成数据。

其中，所述特征数据包括所述用户的身材数据时，所述利用预设算法将所述模特图片中对应的特征数据替换为所述用户的所述特征数据，包括：获取用户的所述身材数据，并利用三维重建卷积神经网络对所述身材数据进行处理，得到所述用户的身材三维数据；在所述身材三维数据中标记第一关键点；将所述标记有所述第一关键点的身材三维数据进行二维投影，获得所述第一关键点的身材二维数据；根据所述第一关键点的身材二维数据对所述模特图片中与所述第一关键点对应的位置的数据进行图像扭曲。

其中，所述在所述身材三维数据中标记第一关键点，包括：获取所述模特图片中标记的第二关键点，根据所述第二关键点在所述身材三维数据中标记第一关键点；所述根据所述第一关键点的身材二维数据对所述模特图片中与所述第一关键点对应的位置的数据进行图像扭曲，包括：根据所述第一关键点的身材二维数据对所述模特图片中所述第二关键点的数据进行图像扭曲。

其中，所述获取所述模特图片中标记的第二关键点，包括：采用三维重建卷积网络获得所述模特图片中的模特三维数据，并在所述模特三维数据中标记第三关键点；将标记有所述第三关键点的所述模特三维数据进行二维投影，获取所述模特图片的第二关键点。

其中，将所述标记有所述第一关键点的身材三维数据进行二维投影时设置的参数与将标记有所述第三关键点的所述模特三维数据进行二维投影时的设置的参数相同。

其中，根据所述特征数据选择所述商品的与用户匹配的尺码，将所述尺码推荐给用户。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种网络终端，包括处理器和存储器，所述处理器分别耦接所述存储器，所述存储器用于存储程序指令，所述处理器用于运行所述存储器中的程序指令以实现如上所述线上商品推荐方法中的步骤。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种具有存储功能的装置，存储有程序指令，所述程序指令能够被执行以实现如上所述线上商品推荐方法中的步骤。

本申请的有益效果是：区别于现有技术的情况，本申请将待推荐的商品的模特图片和用户的特征数据采用卷积神经网络算法，得到用户穿戴该模特的造型的效果的合成图片，使得用户看到该图片后可以直观了解自己的穿戴效果，从而提升用户的购买欲望。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：

图1是本申请提供的线上商品销售方法的第一实施例的流程示意图；

图2是本申请提供的线上商品销售方法中将模特图片中对应的特征数据替换为用户的特征数据的步骤的第一实施例的流程示意图；

图3是本申请提供的线上商品销售方法中将模特图片中对应的特征数据替换为用户的特征数据的步骤的第二实施例的流程示意图；

图4是本申请提供的线上商品销售方法中将模特图片中对应的特征数据替换为用户的特征数据的步骤的第三实施例的流程示意图；

图5是本申请提供的线上商品销售方法中获取模特图片的第二关键点的步骤的一实施例的流程示意图；

图6是本申请提供的线上商品销售方法的第二实施例的流程示意图；

图7是本申请提供的线上商品销售方法中生成合成图片的步骤的一实施例的流程示意图；

图8是本申请提供的线上商品推荐方法的第一实施例的流程示意图；

图9是本申请提供的网络终端一实施方式的结构示意图；

图10是本发明具有存储功能的装置一实施方式的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

用户在电商网站购物时，只能通过模特的平面照片了解该商品的大致外观，并根据商家给出的尺码数据选择商品的款式和尺码，并不能直观的看到自己试穿的效果，可能导致购买的商品并不合适自己，需要退换货，造成了浪费。

本申请提供了一种线上商品的销售方法，可以将用户的特征数据替换掉用户选择的商品的模特图片中对应的特征数据，从而得到合成图片，该合成图片可以帮助用户直观看到自己试穿该商品的效果，从而可以选择更合适的商品，避免购买失误。

具体地，参阅图1，图1是本申请提供的线上商品销售方法的第一实施例的流程示意图，本申请提供的线上商品销售方法包括：

S101：获取用户的特征数据以及获取所述用户选择的商品的模特图片。

在一个具体的实施场景中，检测到用户处于浏览商品的状态，例如检测到用户登录某购物网站或者打开某购物APP时，获取用户的特征数据。例如，可以弹出提示框，提示用户输入自身的特征数据，或者读取用户登录的用户标识，读取用户历史输入的自身的特征数据。

在本实施场景中，特征数据包括该用户的头部数据和身材数据中的至少一项，头部数据包括该用户的面部特征数据、发型数据中的至少一项。身材数据包括该用户的脸型数据、身材数据中的至少一项。在本实施场景中，需要获取用户的头部数据时，用户可以输入自己的照片、视频以供提取出特征数据，或者自动启动摄像头获取用户的正面照片或者视频，通过人脸检测算法切割出以脸部为中心的方形区域，例如64×64、112×112、128×128或224×224像素的RGB图像，以从中提取出头部数据。具体地，在获取以用户脸部为中心的方形区域后，通过人脸识别数据集预训练卷积神经网络、发型识别数据集预训练卷积神经网络获取用户的头部数据中的面部特征数据、发型数据。

人脸识别数据集预训练卷积神经网络可以萃取独特的脸部特征，例如，脸型、五官分布等。将之前步骤中获取的切割出的以人脸为中心的方形区域的数据输入人脸识别数据集预训练卷积神经网络，可以得到网络分类层前最后一层。以目前分类性能不错的vgg-16网络结构为例，输出为1×1×4096层。发型识别数据集预训练卷积神经网络可以萃取独特的发型特征，例如，发色、长短、曲直等。与人脸识别数据集预训练卷积神经网络类似，同样以目前分类性能不错的vgg-16网络结构为例，输出为1×1×4096层。

在需要获取用户的身材数据时，可以通过穿戴带有传感器的紧身衣或者3D扫描设备获取用户的特征数据。

当检测到用户选择了商品后，获取该商品的模特图片。该模特图片可以商家预先提供的，也可以是从该商品的展示的图片中选择合适的图片作为模特图片。

在其他实施场景中，模特图片也可以由用户提供，例如用户在网络上浏览看到某明星的街拍照片，则下载该街拍照片，将该街拍照片作为模特照片。模特图片还可也是用户自行拍摄的他人的照片或者用户在看视频时对演员的穿搭感兴趣则对视频进行截图，获取包括演员的图片。若模特图片为用户提供，则本方法除了提供合成图片外还需要启动搜索功能，找到用户提供的模特图片中模特所穿戴的服饰，以方便用户后续进行购买。

S102：利用预设算法将所述模特图片中对应的特征数据替换为所述用户的所述特征数据，并将经上述替换处理后得到的模特图片作为合成图片。

在一个具体的实施场景中，利用预设算法将步骤S101中获取的模特图片中对应的特征数据替换为步骤S101中获取的用户的特征数据。在本实施场景中，预设算法包括卷积神经网络算法。

具体的说，请参阅图2和图3。图2是本申请提供的线上商品销售方法中将模特图片中对应的特征数据替换为用户的特征数据的步骤的第一实施例的流程示意图。本申请提供的线上商品销售方法中将模特图片中对应的特征数据替换为用户的特征数据的步骤，包括：

S201：从所述模特图片中获取模特的面部动态特征数据。

在一个具体的实施场景中，商家提供的模特图片一般为全身图片，对该图片运行人脸检测算法，从全身的模特图片中切割出头部的局部数据，例如，切割出以脸部为中心的方形区域，例如64×64、112×112、128×128或224×224像素的RGB图像。在本实施场景中，在本步骤中切割出的方形区域的大小与步骤S101中切割出的用户的头部数据的方形区域的大小一致，以方便后续进行数据合成等运算，在其他实施场景中，本步骤中切割出的方形区域的大小与步骤S101中切割出的方形区域的大小可以不一致，在后续进行数据合成等运算时，先将两者所小或放大一定比例，以调整为同样大小即可。

从切割出的头部方形区域中获取模特的面部动态特征数据，其中，该面部动态特征数据包括面部光影、面部表情、面部角度中的至少一项。在本实施场景中，获取面部动态特征数据的算法为预训练人脸角度、光影及表情特征卷积神经网络。

预训练人脸角度、光影及表情特征卷积神经网络可以用于萃取人脸角度、光影及表情特征，与人脸识别数据集预训练卷积神经网络类似，同样以目前分类性能不错的vgg-16网络结构为例，输出为vgg-16的倒数第三层，即7×7×512层。

在其他实施场景中，人脸识别数据集预训练卷积神经网络、发型识别数据集预训练卷积神经网络、预训练人脸角度、光影及表情特征卷积神经网络还可以是vgg-19网络结构。

S202：采用头部合成算法对所述用户的头部数据和所述模特的面部动态特征数据进行合成，生成带有所述模特的面部动态特征数据的用户头部合成数据。

在一个具体的实施场景中，采用头部合成算法将步骤S101中获取的用户的头部数据和步骤S201中的模特的面部的动态特征数据进行合成。在本实施场景中，头部合成算法为预训练的反转的vgg-16网络，输入为脸识别数据集预训练卷积神经网络、发型识别数据集预训练卷积神经网络、预训练人脸角度、光影及表情特征卷积神经网络，这三个网络的输出平铺后叠加，输出为224×224×3。在本实施场景中，输出为一张正方形区域的合成脸部图，与步骤S101和步骤S201中切割出的方形区域的大小一致。本步骤中的头部合成算法采用的方法与步骤S202中获取面部动态特征数据的算法采用的方法相互对应。例如，本实施场景中，步骤S202中获取面部动态特征数据的算法为vgg-16网络，头部合成算法为预训练的反转的vgg-16网络。

经过头部合成算法的合成后，生成了带有模特面部动态特征数据的用户头部合成数据，即为该合成数据中，将模特图片中脸部特征和发型特征都替换为用户的，而面部动态特征数据为模特图片中所具有的。

S203：采用图像融合算法将所述模特图片中的头部数据替换为所述用户头部合成数据。

在一个具体的实施场景中，采用图像融合算法将模特图片中之前切割出的方形区域替换为步骤S202中生成的带有模特面部动态特征数据的用户头部合成数据。

在一些实施场景中，用户选择的商品为发卡、帽子、眼镜等饰品，仅与用户的头部数据相关，商家提供的模特照片可能也仅包括模特的头部数据，因此仅完成头部数据的替换即可完整展示用户的穿戴效果。具体地，请参阅图3，图3是本申请提供的线上商品销售方法中将模特图片中对应的特征数据替换为用户的特征数据的步骤的第二实施例的流程示意图。

通过上述描述可知，在本实施场景中，采用卷积神经网络生成用户头部合成数据，可以更加准确且快速的生成头部合成数据。

S301：获取用户的三维头部模型参数。

在一个具体的实施场景中，获取用户的脸型数据与获取用户的头部数据的步骤类似，通过人脸检测算法切割出以脸部为中心的方形区域，例如64×64、112×112、128×128或224×224像素的RGB图像。

采用三维重建卷积神经网络根据该切割出的方形区域的数据计算得出用户的三维头部模型参数，该三维重建卷积神经网络为用标注好的人脸图片与其三维头部模型参数预训练的卷积神经网络，因此采用该三维重建卷积神经网络可以准确的获取用户的三维头部模型参数。在本实施场景中，该三维头部模型可以调整30个几何向量，及36个表情向量，该几何向量能够涵盖不同形状的额头、耳朵及下巴脸型。在本实施场景中，该三维重建卷积神经网络是Mobilenet-V2结构。

S302：采用图像融合算法得到换好用户头部的模特图片。

在一个具体的实施场景中，获取到用户的三维头部模型参数后，根据步骤S201中切割的方形区域的坐标，通过旋转平移逆操作，将步骤S202中生成的方形的用户头部合成数据叠加到原图中人脸的位置。再通过图像融合算法与该用户的三维头部模型参数融合，例如，在本实施场景中采用泊松融合(possion blending)算法，得到的换好用户的脸及发型的模特图片。

通过上述描述可知，本实施例可以采用三维重建卷积神经网络获取三维头部模型参数，可以快速且准确的获取三维头部模型参数，采用图像融合算法将该三维头部模型参数与头部合成数据与模特图片融合，可以准确实现换好用户的头部的模特图片。

在其他实施场景中，用户选择的商品可能是上衣、裤子等需要查看全身穿戴效果的商品。此时需要将用户的身材数据对模特的身材数据进行替换，具体地，请参阅图4，图4是本申请提供的线上商品销售方法中将模特图片中对应的特征数据替换为用户的特征数据的步骤的第三实施例的流程示意图。本申请提供的线上商品销售方法中将模特图片中对应的特征数据替换为用户的特征数据的步骤，包括：

S401：获取用户的所述身材数据，并利用三维重建卷积神经网络对所述身材数据进行处理，得到所述用户的身材三维数据。

在一个具体的实施场景中，身材数据包括该用户的脸型数据、身体数据中的至少一项。获取用户的脸型数据，需要获取包括用户正面的照片或视频，从中提取用户的脸型数据。获取用户的身体数据，可以通过穿戴带有传感器的紧身衣或者3D扫描设备获取用户的特征数据，或者用户自行测量后输入各个部位的数据。在本实施场景中，身材数据包括该用户的身体数据。

S402：在所述身材三维数据中标记第一关键点。

在一个具体的实施场景中，在步骤S301中获取的身材三维数据中标记第一关键点，该第一关键点可以是用户手动选择，还可以是运行关键点检测算法，由关键点检测算法选择。

在本实施场景中，该第一关键点是根据在模特图片中标记的第二关键点对应选取的。具体地，请参阅图5，图5是本申请提供的线上商品销售方法中获取模特图片的第二关键点的步骤的一实施例的流程示意图。本申请提供的线上商品销售方法中获取模特图片的第二关键点的步骤，包括：

S501：采用三维重建卷积神经网络获得所述模特图片中的模特三维数据，并在所述模特三维数据中标记第三关键点。

在一个具体的实施场景中，采用与步骤S301中所述的获取用户头三维头部模型参数的方法类似，同样采用三维重建卷积神经网络来获取模特三维数据。在本实施场景中，三维重建卷积神经网络为用标注好的人体图片与其三维人体模型参数的数据库预训练卷积神经网络。在本实施场景中，该三维重建卷积神经网络是Mobilenet-V2结构。在获取模特三维数据时，可以获得模特的三维人体模型的几何向量，姿态向量，及相机参数。

在模特三维数据中标记第三关键点。第三关键点可以是通过运行关键点检测算法得到，例如openpose算法。在其他实施场景中，还可以是直接由用户手动选择。

S502：将标记有所述第三关键点的所述模特三维数据进行二维投影，获取所述模特图片的第二关键点。

在一个具体的实施场景中，将标记有第三关键点的模特三维数据进行二维投影至模特图片，获得第三关键点的在该模特图片上的二维投影位置，该位置即为模特图片的第二关键点。

通过上述描述可知，本实施例中采用三维重建卷积神经网络获得模模特三维数据，在模特三维数据中标记第三关键点，以第三关键点的二维投影为第二关键点，可以使得第二关键点的选取更加准确，同时可以获取模特三维数据到模特图片的投影参数。

S403：将所述标记有所述第一关键点的身材三维数据进行二维投影，获得所述第一关键点的身材二维数据。

在一个具体的实施场景中，在获取到标记于模特图片中的第二关键点后，根据该第二关键点，在用户的身材三维数据中标记第一关键点。在其他实施场景中，还可以根据第三关键点，在用户的身材三维数据汇总标记第一关键点。

将标记有第一关键点的身材三维数据进行二维投影，得到第一关键点的身材二维数据。本次二维投影的参数与将标记有第三关键点的模特三维数据进行二维投影以获取第二关键点时的设置的参数相同，这样才能保证获取的第一关键点的身材二维数据准确。

在本实施场景中，二维投影时设置的参数包括相机参数(例如，曝光度、焦距等)、网络输出的参数等，还可以包括拍摄的角度、投影的角度等。

S404：根据所述第一关键点的身材二维数据对所述模特图片中与所述第一关键点对应的位置的数据进行图像扭曲。

在一个具体的实施场景中，根据该第一关键点的身材二维数据对模特图片中与第一关键点对应的位置的数据进行图像扭曲。由于第一关键点的位置是根据第二关键点设置的，因此第一关键点对应的位置即为第二关键点的位置。在本实施场景中，采用image-warp算法进行图像扭曲。经过图像扭曲后，该图片中的模特身材变为用户身材，即可获得穿着图片中商品的用户的图像。

通过上述描述可知，本实施例中通在模特图片中标记第二关键点，并根据该第二关键点在用户的身材三维数据中选择第一关键点，根据第一关键点的身材二维数据对模特图片中所述第二关键点的数据进行图像扭曲，即可获取用户穿着图示商品的图像，能准确且直观的反映用户的穿着效果。

S103：将所述合成图片发送给用户。

在一个具体的实施场景中，在生成合成图片后，将该合成图片作为新模特图片发送给用户，可以是自动将用户正在浏览的图片替换为合成图片，也可以弹出窗口显示合成图片。使得用户能够快速且直观的了解到自己穿戴该商品的效果。

具体地说，可以是检测到用户正在浏览某一商品时，为了提升用户的购买欲望，将该商品的商家提供的模特图片均替换为新模特图片(即合成图片)。或者为了节约成本，在满足用户浏览到或者点击、双击等触发条件的情况下，将满足触发条件的模特图片替换为新模特图片(即合成图片)。在其他实施场景中，为了进一步提高用户的购买欲望，可以是用户将鼠标悬停于一商品的缩略图或者购买链接上时，将自动弹出该商品的新模特图片，该新模特图片根据该商品的商家预先提供的模特图片生成，或者根据该商品的多个模特图片中的任意一张模特图片生成。

在其他实施场景中，商家不仅仅可以提供模特图片，也可以提供模特视频或者动图，可以从模特视频或者动图中随机或者按预设规律截取一张照片作为模特图片，或者可以将模特视频或动图中的每一帧图片均作为模特图片，将每一帧的图片均进行上述替换处理，得到每一帧的合成图片，在将得到的每一帧的合成图片组合成合成视频或者动图。

在其他实施场景中，还可以是检测用户的浏览时间判断用户是否有购买意图，若用户浏览某一商品的详情页超过预设时间，例如5s，则表示用户购买意愿较强，则此时可以显示新模特图片，例如弹出新模特图片或者将商品详情页的原始的模特图片替换为新模特图片等。

通过上述描述可知，本实施例中，通过采用卷积神经网络，将模特图片中关键点的数据替换为用户的对应的关键点的数据，从而获取具有用户外貌和身材并穿戴模特所穿戴的商品的合成图片，将该合成图片发送给用户，可以使得用户能够快速了解自己穿戴该商品的效果，从而准确购买，避免购买失误，造成浪费。

在其他实施例中，用户查看合成图片后，对商品有购买意愿，则检测到用户需要购买该商品时，可以根据之前获得的用户的身材三维数据给用户自动选择合适的尺码，具体地，请参阅图6，图6是本申请提供的线上商品销售方法的第二实施例的流程示意图，本申请提供的线上商品销售方法包括：

S601：获取用户的特征数据以及获取所述用户选择的商品的模特图片。

S602：利用预设算法将所述模特图片中对应的特征数据替换为所述用户的所述特征数据，并将经上述替换处理后得到的模特图片作为合成图片。

S603：将所述合成图片发送给用户。

在本实施场景中，步骤S601-S603与本申请提供的线上商品销售方法中第一实施例中的步骤S101-S103基本类似，此处不再进行赘述。

S604：检测到用户点击所述合成图片时，根据与所述模特图片关联的购买链接，跳转至所述商品的购买页面，并根据所述特征数据选择所述商品的与用户匹配的尺码。

在一个具体的实施场景中，当检测到用户点击该合图片时，即为用户想要购买该商品，此时可以根据合成图片对应的模特图片关联的购买连接，跳转至该商品的购买页面，并根据之前获取的用户的特征数据，例如用户的身材三维数据，选择该商品中与用户匹配的尺码，这样用户可以直接购买，无需选择尺码，也可以避免用户选错尺码。

通过上述描述可知，本实施例通过采用卷积神经网络算法将用户选择的商品的模特图片中对应的特征数据替换为用户的特征数据，从而生成合成图片，并在检测到用户选择购买时自动选择与用户匹配的尺码，可以帮助用户获取自己穿戴该模特的造型的效果，并选择合适尺码，从而可以选择更合适的商品，避免购买失误。

请参阅图7，图7是本申请提供的线上商品销售方法中生成合成图片的步骤的一实施例的流程示意图。本申请提供的线上商品销售方法中生成合成图片的步骤包括：

S701：获取用户的头部数据，该头部数据包括用户的面部特征数据、发型数据中的至少一项。

在一个具体的实施场景中，可以通过用户输入的照片、视频提取出头部数据，或者自动启动摄像头获取用户的正面照片或者视频。在本实施场景中，获取用户上传的包含正脸和发型的正面照片。从该照片中获取用户的面部特征数据和发型数据。具体地，通过人脸检测算法从该用户提供的正面照片切割出以脸部为中心的方形区域，例如64x64、112x112、128x128或224x224像素的RGB图像。在获取以用户脸部为中心的方形区域后，通过人脸识别数据集预训练卷积神经网络、发型识别数据集预训练卷积神经网络获取用户的头部数据中的面部特征数据、发型数据。

S702：从模特图片中获取模特的面部动态特征数据，其中，面部动态特征数据包括以下至少一者：面部光影、面部表情、面部角度。

在一个具体的实施场景中，商家提供的模特图片一般为全身图片，对该图片运行人脸检测算法，从全身的模特图片中切割出头部的局部区域，例如，切割出以脸部为中心的方形区域，例如64x64、112x112、128x128或224x224像素的RGB图像。

从切割出的头部方形区域中获取模特的面部动态特征数据，其中，该面部动态特征数据包括面部光影、面部表情、面部角度中的至少一项。在本实施场景中，获取面部动态特征数据的算法为预训练人脸角度、光影及表情特征卷积神经网络。预训练人脸角度、光影及表情特征卷积神经网络可以用于萃取人脸角度、光影及表情特征，与人脸识别数据集预训练卷积神经网络类似，同样以目前分类性能不错的vgg-16网络结构为例，输出为vgg-16的倒数第三层，即7×7×512层。

S703：采用头部合成算法对用户的头部数据和模特的面部动态特征数据进行合成，生成带有模特的面部动态特征数据的用户头部合成数据。

在一个具体的实施场景中，采用头部合成算法将步骤S701中获取的用户的头部数据和步骤S702中的模特的面部的动态特征数据进行合成。在本实施场景中，头部合成算法为预训练的反转的vgg-16网络，输入为脸识别数据集预训练卷积神经网络、发型识别数据集预训练卷积神经网络、预训练人脸角度、光影及表情特征卷积神经网络，这三个网络的输出平铺后叠加，输出为224×224×3。在本实施场景中，输出为一张正方形区域的合成脸部图。

经过头部合成算法的合成后，生成了带有模特面部动态特征数据的用户头部合成数据，即为该合成数据中，将模特图片中脸部特征和发型特征都替换为用户的，而面部动态特征数据为模特图片中所具有的。

经过步骤S701-S703的处理，已经将模特图片中的面部特征和发型特征均替换为用户的，但是脸型和身材还是模特原有的，下面将进一步对模特图片进行处理，以使得脸型和身材也转变为用户的。

S704：获取用户的三维头部模型参数。

在一个具体的实施场景中，获取用户包含完整头部的正面照片，通过人脸检测算法切割出以脸部为中心的方形区域，例如64×64、112×112、128×128或224×224像素的RGB图像。

采用三维重建卷积神经网络根据该切割出的方形区域的数据计算得出用户的三维头部模型参数，该三维重建卷积神经网络为用标注好的人脸图片与其三维头部模型参数预训练的卷积神经网络，因此采用该三维重建卷积神经网络可以准确的获取用户的三维头部模型参数。

S705：采用三维重建卷积神经网络获得模特图片中的模特三维数据，并在模特三维数据中标记第三关键点。

在一个具体的实施场景中，采用三维重建卷积神经网络来获取模特三维数据。在模特三维数据中标记第三关键点。第三关键点可以是通过运行关键点检测算法得到，例如openpose算法。

S706：将标记有第三关键点的模特三维数据进行二维投影，获取模特图片的第二关键点。

在一个具体的实施场景中，将标记有第三关键点的模特三维数据进行二维投影至模特图片，获得第三关键点的在该模特图片上的二维投影位置，该位置即为模特图片的第二关键点。

S707：根据第二关键点在身材三维数据中标记第一关键点。

在一个具体的实施场景中，在获取到标记于模特图片中的第二关键点后，根据该第二关键点，在用户的身材三维数据中标记第一关键点。在其他实施场景中，还可以根据第三关键点，在用户的身材三维数据汇总标记第一关键点。

S708：将标记有第一关键点的身材三维数据进行二维投影，获得第一关键点的身材二维数据。

将标记有第一关键点的身材三维数据进行二维投影，得到第一关键点的身材二维数据。本次二维投影的参数与将标记有第三关键点的模特三维数据进行二维投影以获取第二关键点时的设置的参数相同，这样才能保证获取的第一关键点的身材二维数据准确。

在本实施场景中，二维投影时设置的参数包括相机参数(例如，曝光度、焦距等)、网络输出的参数等，还可以包括拍摄的角度、投影的角度等。

S709：根据所述第一关键点的身材二维数据对所述模特图片中与所述第一关键点对应的位置的数据进行图像扭曲。

在一个具体的实施场景中，根据该第一关键点的身材二维数据对模特图片中与第一关键点对应的位置的数据进行图像扭曲。由于第一关键点的位置是根据第二关键点设置的，因此第一关键点对应的位置即为第二关键点的位置。经过图像扭曲后，该图片中的模特身材变为用户身材，即可获得穿着图片中商品的用户的图像。

通过上述描述可知，本实施例通过使用卷积神经网络将用户选择的商品的模特图片中对应的特征数据替换为用户的特征数据，从而生成合成图片，可以准确且快速的反映用户穿戴该商品的实际情况。

请参阅图8，图8是本申请提供的线上商品推荐方法的第一实施例的流程示意图。本申请提供的线上商品推荐方法包括：

S801：识别用户的身份标识，根据所述身份标识获取用户的特征数据和用户的购物数据。

在一个具体的实施场景中，用户在购买商品时会提供自己的特征数据，或者提供图片或者视频以供提取特征数据，在用户购买成功后将会记录该特征数据，以便下次购买时使用，避免重复的获取特征数据，浪费资源。在本实施场景中，可以检测用户当前登录或之前登录的身份标识，识别该身份标识，获取该身份标识之前购买商品时记录的特征数据。识别了用户的身份标识后，也获取到了该身份标识之前的购物记录，或者浏览的商品的记录等购物相关的数据，由此可以根据获取的数据推断出用户的购物偏好或购物需求，例如，用户购买次数较多的商家，浏览多次的商品类型。

S802：根据所述特征数据和所述购物数据中的至少一项获取待推荐商品。

在一个具体的实施场景中，根据用户的特征数据和购物数据获取待推荐商品。根据用户的特征数据，可以获取用户的肤色、三维、身高、臂长、腿长等数据，根据这些数据可以为用户选择合适的商品作为待推荐商品，例如，用户肤色较深，则选择小麦色肤色的服装推荐，或者用户体型较胖，则不推荐紧身的或者显胖的服装。

购物数据可以是用户购买商品的记录，或者是用户搜索商品的记录、用户浏览过的商品的记录、用户收藏商品的记录等。而根据用户的购物数据，可以获取用户的购物习惯，从而选择合适的商品作为待推荐商品。例如推荐用户多次购买的商家的上新商品或者打折商品，或者推荐用户多次浏览的商品类型中好评较多的商品。还可以获取用户的搜索记录(例如百度搜索、谷歌搜索等)，获取用户最近感兴趣的关键词，根据这些关键词提供匹配的商品作为待推荐商品。

根据用户的特征数据和购物数据获取到合适的商品后，选择同时匹配特征数据和购物数据的商品作为待推荐商品。

在其他实施场景中，也可以仅根据用户的特征数据或者购物数据获取待推荐商品。

S803：获取待推荐商品的模特图片。

在一个具体的实施场景中，获取待推荐商品的模特图片。在本实施场景中，待推荐商品的模特图片为卖家提供的模特图片。在其他实施场景中，待推荐商品的模特图片还可以是从该商品的多张模特图片中任意选择一张。

S804：利用预设算法将所述模特图片中对应的特征数据替换为所述用户的所述特征数据，并将经上述替换处理后得到的模特图片作为合成图片。

在本实施场景中，本步骤与是本申请提供的线上商品销售方法的第一实施例的步骤S102基本类似，此处不再进行赘述。

在其他实施场景中，商家不仅仅可以提供模特图片，也可以提供模特视频或者动图，可以从模特视频或者动图中随机或者按预设规律截取一张照片作为模特图片，或者可以将模特视频或动图中的每一帧图片均作为模特图片，将每一帧的图片均进行上述替换处理，得到每一帧的合成图片，在将得到的每一帧的合成图片组合成合成视频或者动图。

S808：将所述合成图片推送给用户。

在一个具体的实施场景中，将步骤S804中生成的合成图片作为新模特图片推送给用户，可以是在用户浏览商品时，将合成图片弹出，或者是显示在显示区域的边角、中央等位置，使得用户看到该图片后可以直观了解自己的穿戴效果，从而提升用户的购买欲望。

在其他实施场景中，还可以是用户在打开某购物应用软件时，在打开软件的等待时间，显示该新模特图片(即合成图片)。或者可以是以网页弹窗的形式显示该新模特图片(即合成图片)。

在其他实施场景中，在通过将合成照片推送给用户以推荐该商品的同时，根据步骤S801中获取的用户的特征数据选择所述商品的与用户匹配的尺码，将该尺码推荐给用户，使得用户的在购买时，可以选择合适的尺码，避免购买失误。

通过上述描述可知，在本实施例中，利用预设的算法将模特图片中对应的特征数据替换为用户的特征数据，处理后得到的合成图片可以准确反映用户实际穿戴商品的效果，将该合成图片推送给用户可以提高用户的购买欲望。

请参阅图9，图9是本申请提供的网络终端一实施方式的结构示意图，该网络终端包括：处理器11和存储器12，处理器11耦接存储器12，处理器11在工作时控制自身以及存储器12以实现上述任一项实施方式中的方法中的步骤。

其中，移动终端可以是手机、笔记本、平板电脑以及车载电脑等，在此不做限制。详细的文件管理的方法可参见上述，在此不再赘述。

处理器11在执行存储器12存储的程序指令时能够执行图1-图7及其相关文字描述的任一实施方式的线上商品销售方法，或者执行图8及其相关文字描述的任一实施方式的线上商品推荐方法。

请参阅图10，图10是本发明具有存储功能的装置一实施方式的结构示意图，该具有存储功能的装置20存储有程序指令21，程序指令21能够被执行图1-图7及其相关文字描述的任一实施方式的线上商品销售方法，或者执行图8及其相关文字描述的任一实施方式的线上商品推荐方法。

其中，该具有存储功能的装置20具体可以为U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory，)、磁碟或者光盘等可以存储程序指令21的介质，或者也可以为存储有该程序指令21的服务器，该服务器可将存储的程序指令21发送给其他设备运行，或者也可以自运行该存储的程序指令21。

以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种线上商品推荐方法，其特征在于，包括：

识别用户的身份标识，根据所述身份标识获取用户的特征数据和用户的购物数据；

根据所述特征数据和所述购物数据中的至少一项获取待推荐商品；

获取所述待推荐商品的模特图片；

利用预设算法将所述模特图片中对应的特征数据替换为所述用户的所述特征数据，并将经上述替换处理后得到的模特图片作为合成图片；

将所述合成图片作为新模特图片推送给用户。

2.根据权利要求1所述的方法，其特征在于，所述特征数据包括所述用户的头部数据和身材数据中的至少一项；

所述头部数据包括所述用户的面部特征数据、发型数据中的至少一项；

所述身材数据包括所述用户的脸型数据、身体数据中的至少一项；

所述预设算法包括卷积神经网络算法。

3.根据权利要求2所述的方法，其特征在于，当所述特征数据包括所述用户的头部数据时，所述获取用户的特征数据，包括：

从用户上传的图片和/或视频数据获取用户的头部数据；

所述利用预设算法将所述模特图片中对应的特征数据替换为所述用户的所述特征数据，包括：

从所述模特图片中获取模特的面部动态特征数据，其中，所述面部动态特征数据包括以下至少一者：面部光影、面部表情、面部角度；

采用头部合成算法对所述用户的头部数据和所述模特的面部动态特征数据进行合成，生成带有所述模特的面部动态特征数据的用户头部合成数据；

采用图像融合算法将所述模特图片中的头部数据替换为所述用户头部合成数据。

4.根据权利要求2或3所述的方法，其特征在于，

所述特征数据包括所述用户的身材数据时，所述利用预设算法将所述模特图片中对应的特征数据替换为所述用户的所述特征数据，包括：

获取用户的所述身材数据，并利用三维重建卷积神经网络对所述身材数据进行处理，得到所述用户的身材三维数据；

在所述身材三维数据中标记第一关键点；

将所述标记有所述第一关键点的身材三维数据进行二维投影，获得所述第一关键点的身材二维数据；

根据所述第一关键点的身材二维数据对所述模特图片中与所述第一关键点对应的位置的数据进行图像扭曲。

5.根据权利要求4所述的方法，其特征在于，所述在所述身材三维数据中标记第一关键点，包括：

获取所述模特图片中标记的第二关键点，根据所述第二关键点在所述身材三维数据中标记第一关键点；

所述根据所述第一关键点的身材二维数据对所述模特图片中与所述第一关键点对应的位置的数据进行图像扭曲，包括：

根据所述第一关键点的身材二维数据对所述模特图片中所述第二关键点的数据进行图像扭曲。

6.根据权利要求5所述的方法，其特征在于，所述获取所述模特图片中标记的第二关键点，包括：

采用三维重建卷积网络获得所述模特图片中的模特三维数据，并在所述模特三维数据中标记第三关键点；

将标记有所述第三关键点的所述模特三维数据进行二维投影，获取所述模特图片的第二关键点。

7.根据权利要求6所述的方法，其特征在于，

将所述标记有所述第一关键点的身材三维数据进行二维投影时设置的参数与将标记有所述第三关键点的所述模特三维数据进行二维投影时的设置的参数相同。

8.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：

根据所述特征数据选择所述商品的与用户匹配的尺码，将所述尺码推荐给用户。

9.一种网络终端，其特征在于，包括处理器和存储器，所述处理器分别耦接所述存储器，

所述存储器用于存储程序指令，所述处理器用于运行所述存储器中的程序指令以实现如权利要求1-8任一项所述线上商品推荐方法中的步骤。

10.一种具有存储功能的装置，其特征在于，存储有程序指令，所述程序指令能够被执行以实现如权利要求1-8任一项所述线上商品推荐方法中的步骤。