CN113298593A - 商品推荐及图像检测方法、装置、设备和存储介质 - Google Patents

Abstract

本发明实施例提供一种商品推荐及图像检测方法、装置、设备和存储介质，该方法包括：获取人脸图像；从人脸图像中提取出目标皮肤区域图像；识别目标皮肤区域图像中目标对象的特征信息。从而实现目标皮肤区域中目标对象相关特征信息的准确识别，以便基于该特征信息可以为用户提供针对性地商品推荐等服务。

Description

商品推荐及图像检测方法、装置、设备和存储介质

技术领域

本发明涉及图像处理技术领域，尤其涉及一种商品推荐及图像检测方法、装置、设备和存储介质。

背景技术

随着互联网技术的发展，人们足不出户地便可通过网络购买自己所需的各种物品。比如，通过各种购物类应用程序(APP)在线地购买各种商品。

在用户在线购物场景中，为用户针对性地进行商品推荐，可以帮助用户更快地寻找到其需要的商品。

目前，一种通常采用的商品推荐方式是：基于用户在商品搜索界面选择的商品类目信息或输入的一些关键字信息，搜索对应的商品列表，将该商品列表推荐给用户以使用户从中进一步选择所需的商品。这种方式对于用户来说，友好性欠佳，推荐准确性也不高。

发明内容

本发明实施例提供一种商品推荐及图像检测方法、装置、设备和存储介质，能够准确检测出用户身体目标区域(如人脸皮肤区域)中的预设目标对象(比如皱纹)的特征，以便基于该特征进行后续的诸如商品推荐等处理。

第一方面，本发明实施例提供一种图像检测方法，该方法包括：

获取人脸图像；

从所述人脸图像中提取出目标皮肤区域图像；

识别所述目标皮肤区域图像中目标对象的特征信息。

第二方面，本发明实施例提供一种图像检测装置，该装置包括：

获取模块，用于获取人脸图像；

提取模块，用于从所述人脸图像中提取出目标皮肤区域图像；

识别模块，用于识别所述目标皮肤区域图像中目标对象的特征信息。

第三方面，本发明实施例提供一种电子设备，包括：存储器、处理器、通信接口；其中，存储器上存储有可执行代码，当所述可执行代码被处理器执行时，使处理器至少可以实现如第一方面所述的图像检测方法。

第四方面，本发明实施例提供了一种非暂时性机器可读存储介质，非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使处理器至少可以实现如第一方面所述的图像检测方法。

第五方面，本发明实施例提供一种商品推荐方法，该方法包括：

根据用户操作采集人脸图像；

从所述人脸图像中提取出目标皮肤区域图像，并识别所述目标皮肤区域图像中目标对象的特征信息；

根据所述目标对象的特征信息获得推荐商品，并在终端界面展示所述推荐商品。

第六方面，本发明实施例提供一种商品推荐装置，该装置包括：

图像采集模块，用于根据用户操作采集人脸图像；

图像处理模块，用于从所述人脸图像中提取出目标皮肤区域图像，并识别所述目标皮肤区域图像中目标对象的特征信息；

商品推荐模块，用于根据所述目标对象的特征信息获得推荐商品，并在终端界面展示所述推荐商品。

第七方面，本发明实施例提供一种电子设备，包括：存储器、处理器、通信接口；其中，存储器上存储有可执行代码，当所述可执行代码被处理器执行时，使处理器至少可以实现如第五方面所述的商品推荐方法。

第八方面，本发明实施例提供了一种非暂时性机器可读存储介质，非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使处理器至少可以实现如第五方面所述的商品推荐方法。

第九方面，本发明实施例提供一种商品推荐方法，该方法包括：

根据用户操作采集人体图像；

从所述人体图像中提取出目标部位图像，并识别所述目标部位图像中目标对象的特征信息；

根据所述目标对象的特征信息获得推荐商品，并在终端界面展示所述推荐商品。

第十方面，本发明实施例提供一种商品推荐装置，该装置包括：

图像采集模块，用于根据用户操作采集人体图像；

图像处理模块，用于从所述人体图像中提取出目标部位图像，并识别所述目标部位图像中目标对象的特征信息；

商品推荐模块，用于根据所述目标对象的特征信息获得推荐商品，并在终端界面展示所述推荐商品。

第十一方面，本发明实施例提供一种电子设备，包括：存储器、处理器、通信接口；其中，存储器上存储有可执行代码，当所述可执行代码被处理器执行时，使处理器至少可以实现如第九方面所述的商品推荐方法。

第十二方面，本发明实施例提供了一种非暂时性机器可读存储介质，非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使处理器至少可以实现如第九方面所述的商品推荐方法。

第十三方面，本发明实施例提供一种美妆方法，该方法包括：

采集人脸图像；

从所述人脸图像中提取出目标皮肤区域图像，并识别所述目标皮肤区域图像中目标对象的特征信息；

展示与所述目标对象的特征信息对应的美妆效果。

第十四方面，本发明实施例提供一种美妆装置，该装置包括：

图像采集模块，用于采集人脸图像；

图像处理模块，用于从所述人脸图像中提取出目标皮肤区域图像，并识别所述目标皮肤区域图像中目标对象的特征信息；

美妆展示模块，用于展示与所述目标对象的特征信息对应的美妆效果。

第十五方面，本发明实施例提供一种电子设备，包括：存储器、处理器、通信接口；其中，存储器上存储有可执行代码，当所述可执行代码被处理器执行时，使处理器至少可以实现如第十三方面所述的美妆方法。

第十六方面，本发明实施例提供了一种非暂时性机器可读存储介质，非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使处理器至少可以实现如第十三方面所述的美妆方法。

在本发明实施例中，以为用户推荐抗皱产品为例，为了实现能够根据用户的比如额头区域的皱纹情况为用户针对性地推荐合适其的抗皱产品，可以通过如下方式实现：获取用户的人脸图像，从人脸图像中提取出目标皮肤区域图像，比如额头皮肤区域的图像，之后，识别目标皮肤区域图像中目标对象的特征信息。其中，目标对象比如为皱纹，其特征信息比如为反映皱纹严重程度的级别信息。最后，根据识别出的目标皮肤区域中目标对象的特征信息，进行相应的商品推荐，以使得向用户推荐的商品与其目标皮肤区域中目标对象的特征信息相匹配。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种图像检测方法的流程图；

图2为本发明实施例提供的人脸图像的示意图；

图3为本发明实施例提供的一种提取目标皮肤区域图像的方法的流程图；

图4为本发明实施例提供的一种提取目标皮肤区域图像的方法的原理示意图；

图5为本发明实施例提供的一种确定目标皮肤区域图像中目标对象的像素位置的方法的流程图；

图6为本发明实施例提供的一种第二模型的组成示意图；

图7为本发明实施例提供的一种预测区域设置效果示意图；

图8为本发明实施例提供的另一种第二模型的组成示意图；

图9为本发明实施例提供的一种商品推荐方法的流程图；

图10为本发明实施例提供的一种抗皱产品推荐场景的示意图；

图11为本发明实施例提供的一种商品推荐方法的流程图；

图12为本发明实施例提供的一种图像检测装置的结构示意图；

图13为与图12所示实施例提供的图像检测装置对应的电子设备的结构示意图；

图14为本发明实施例提供的一种商品推荐装置的结构示意图；

图15为与图14所示实施例提供的商品推荐装置对应的电子设备的结构示意图；

图16为本发明实施例提供的一种商品推荐装置的结构示意图；

图17为与图16所示实施例提供的商品推荐装置对应的电子设备的结构示意图；

图18为本发明实施例提供的一种美妆方法的流程图；

图19为本发明实施例提供的一种美妆装置的结构示意图；

图20为与图19所示实施例提供的美妆装置对应的电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。

取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。

另外，下述各方法实施例中的步骤时序仅为一种举例，而非严格限定。

本发明实施例提供的图像检测方法可以由一电子设备来执行，该电子设备可以是诸如PC机、笔记本电脑、智能手机等终端设备，也可以是服务器。该服务器可以是包含一独立主机的物理服务器，或者也可以为虚拟服务器，或者也可以为云服务器。

本发明实施例提供的图像检测方法比如可以适用于在线购物等应用场景中。以在线购物应用场景为例，此时，可以根据基于该图像检测方法从输入的人脸图像中检测出的特征信息，为相应用户进行针对性地商品推荐。

图1为本发明实施例提供的一种图像检测方法的流程图，如图1所示，该图像检测方法可以包括如下步骤：

101、获取人脸图像。

102、从人脸图像中提取出目标皮肤区域图像。

103、识别目标皮肤区域图像中目标对象的特征信息。

本实施例中，目标皮肤区域图像是指人脸图像中与目标皮肤区域对应的图像区域，目标对象是指包含在目标皮肤区域中的某种对象，目标对象的特征信息一般是指可以反映目标对象的视觉特征的一些特征信息。

实际应用中，根据检测任务的不同，可以选定不同的目标皮肤区域。比如，如果当前的检测任务是检测人脸图像中额头区域的皱纹(抬头纹)，那么此时，目标皮肤区域图像是指人脸图像中的额头皮肤区域，目标对象即为额头皮肤区域中存在的皱纹，皱纹的特征信息可以是反映皱纹具体位置以及严重程度的特征信息，比如像素位置、级别信息。

其中，针对皱纹这个目标对象，可以预先定义多个级别信息，比如包括如下4种级别信息：无皱纹、轻度皱纹、中度皱纹、重度皱纹。

再比如，如果当前的检测任务是检测人脸图像中眼角区域的皱纹，即鱼尾纹，那么此时，目标皮肤区域图像是指人脸图像中的眼角皮肤区域，目标对象即为眼角皮肤区域中存在的皱纹。当然，针对皱纹检测的任务，目标皮肤区域除了面部的皮肤区域外，还可以包括诸如脖颈、肚子等其他部位。

再比如，如果当前的检测任务是检测人脸图像中脸颊区域的痘痘，那么此时，目标皮肤区域图像是指人脸图像中的脸颊皮肤区域，目标对象即为脸颊皮肤区域中存在的痘痘，痘痘的特征信息可以是大小、数量等信息。

实际应用中，基于上述目标皮肤区域图像中目标对象的特征信息的检测结果，可以为用户进行相匹配商品的推荐，也可以作为提供其他服务的依据，不以此为限。

实际应用中，当图像检测任务是需要对用户的人脸图像进行处理时，可以基于用户的操作获取该用户的人脸图像，获取的人脸图像中完整地包括用户的整个头部区域的图像，如图2中所示。

其中，用户的操作是指用户可以操作终端设备实时地拍摄一张人脸图像，或者，用户可以在近期拍摄的人脸图像中选择一张。

在获得用户的人脸图像后，需要从人脸图像中提取出目标皮肤区域图像，进而识别出目标皮肤区域图像中目标对象的特征信息。

下面结合图3和图4所示实施例介绍上述步骤102的一种实现方法。

图3为本发明实施例提供的一种提取目标皮肤区域图像的方法的流程图，如图3所示，该方法可以包括如下步骤：

301、生成与人脸图像对应的第一掩膜图像，其中，在第一掩膜图像中，与皮肤区域对应的像素为第一灰度值，与非皮肤区域对应的像素为第二灰度值。

302、确定与目标皮肤区域对应的多个人脸关键点。

303、根据多个人脸关键点，在第一掩膜图像中确定与目标皮肤区域对应的位置范围。

304、在人脸图像中提取出与所述位置范围对应的目标皮肤区域图像。

为便于理解，结合图4对本实施例提供的目标皮肤区域图像的提取过程进行示例性说明。本实施例中，假设目标皮肤区域为额头皮肤区域。

如图4中所示，假设获取到图中示意的人脸图像401之后，一方面，生成与之对应的第一掩膜(Mask)图像402。第一掩膜图像402可以采用现有相关技术来实现，在此不赘述。第一掩膜图像402与人脸图像401具有相同尺寸，从最终结果上来看，简单来说，在第一掩膜图像402中，将人脸图像401中与皮肤区域对应的像素置为第一灰度值(比如为对应于白色的灰度值255)，而将人脸图像401中与非皮肤区域(比如眉毛、头发以及其他背景区域)对应的像素置为第二灰度值(比如为对应于黑色的灰度值0)，从而实现了感兴趣的皮肤区域的检测。

基于生成第一掩膜图像402，可以实现识别出人脸图像401中包含的皮肤区域的目的。

另一方面，对人脸图像401进行人脸检测处理，以获得人脸上包含的若干人脸关键点，这些人脸关键点中包括与作为目标皮肤区域的额头皮肤区域对应的多个人脸关键点。

具体地，可以预先训练一个能够实现人脸检测功能的模型，比如卷积神经网络(Convolutional Neural Network，简称CNN)模型或者其他机器学习模型，通过该模型进行人脸检测，以获得若干人脸关键点。这些人脸关键点用于定位出人脸面部的关键区域的位置。如图4中所示，假设对人脸图像401进行人脸检测得到人脸图像403，其中，检测出的人脸关键点可以包括用于定位眉毛、眼睛、鼻子、嘴巴、脸部轮廓等关键区域的像素位置。

由于目标皮肤区域为额头皮肤区域，因此，可以从人脸图像403中包含的若干人脸关键点中确定出与额头皮肤区域对应的多个人脸关键点。其中，该多个人脸关键点是指可以辅助定位出额头皮肤区域的人脸关键点，比如与眉毛对应的多个人脸关键点。

最终，基于人脸图像403中包含的与眉毛对应的多个人脸关键点可以在第一掩膜图像402确定出与额头皮肤区域对应的位置范围，比如图4中的位置范围404。其中，具体地，基于与眉毛对应的多个人脸关键点的像素位置可以拟合出一条曲线，在第一掩膜图像402中定位这条曲线的像素位置，确定这条曲线之上的皮肤区域(即白色区域)即为额头皮肤区域对应的位置范围。

之后，在人脸图像401中定位该位置范围，将落入该位置范围内的图像区域截取出来，即为额头皮肤区域图像。

综上，通过上述过程可以从人脸图像中提取出目标皮肤区域图像(如额头皮肤区域图像)。

在得到目标皮肤区域图像(比如额头皮肤区域图像)之后，可以识别其中包含的目标对象(比如皱纹)的特征信息。

如前文所述，目标对象的特征信息可以包括像素位置和/或级别信息。下面分别介绍这两种特征信息的识别过程。

可选地，当目标对象的特征信息中包括目标对象的级别信息时，可以将目标皮肤区域图像输入到第一模型中，以通过第一模型输出目标皮肤区域图像中目标对象的级别信息。

其中，从功能角度来说，第一模型是一种分类模型，可以实现目标对象的级别的分类识别。如前文所述，可以预先设置了多种级别，比如包括如下几种级别种类：无(是指没有目标对象，如皱纹)、轻度、中度、重度。

第一模型可以实现为多种神经网络模型，比如CNN。

下面简单介绍下第一模型的训练过程。

首先，获取多个训练样本图像，其中，每个训练样本图像是包含目标皮肤区域的图像。以目标皮肤区域为额头皮肤区域为例，可以收集若干包含全部人脸区域的人脸图像，从这些人脸图像中提取出额头区域图像作为训练样本图像。

其次，确定多个训练样本图像各自对应的标注信息，该标注信息包括训练样本图像中目标对象的级别信息。之后，根据多个训练样本图像和多个训练样本图像各自对应的标注信息，训练第一模型至其收敛。

实际应用中，以目标对象为皱纹来说，可以预先设定标注参考信息，该标注参考信息是指皱纹图像与皱纹级别之间的对应关系。通过该标注参考信息，可以让标注人员直观地得知什么样状况的皱纹应该标注什么级别。根据该标注参考信息，标注人员可以根据各个训练样本图像中皱纹的状况进行皱纹级别的标注。

可选地，当目标对象的特征信息中包括目标对象的像素位置(即目标对象在目标皮肤区域图像中的像素位置)时，可以将目标皮肤区域图像输入到第二模型中，以通过第二模型输出目标皮肤区域图像中目标对象的像素位置。

由此可见，可以预先训练一个第二模型用于实现对目标皮肤区域图像中目标对象的像素位置的识别。

其中，从功能角度来说，第二模型是一种语义分割模型，最终用于实现像素级的分类识别：识别目标皮肤区域图像中的各个像素是否是对应于目标对象的像素。

下面简单介绍下第二模型的训练过程。

首先，获取多个训练样本图像，其中，每个训练样本图像是包含目标皮肤区域的图像。以目标皮肤区域为额头皮肤区域为例，可以收集若干包含全部人脸区域的人脸图像，从这些人脸图像中提取出额头区域图像作为训练样本图像。

其次，确定多个训练样本图像各自对应的标注信息，该标注信息包括描绘训练样本图像中目标对象而得到的目标对象的像素位置。之后，根据多个训练样本图像和多个训练样本图像各自对应的标注信息，训练第二模型至其收敛。

不管是第二模型的训练过程中，还是使用训练好的第二模型的过程中，第二模型都被用于识别输入图像中对应于目标对象的像素位置，其中，在训练过程中，该输入图像为训练样本图像，而在使用过程中，该输入图像为从当前用户的人脸图像中提取出的目标皮肤区域图像。

下面以第二模型的使用过程为例，对第二模型如何识别出目标皮肤区域图像中目标对象的像素位置的实现过程进行说明，如图5所示。

图5为本发明实施例提供的一种确定目标皮肤区域图像中目标对象的像素位置的方法的流程图，如图5所示，该方法可以包括如下步骤：

501、对目标皮肤区域图像进行特征提取，以得到多个不同尺度的特征向量。

502、确定目标皮肤区域图像中的多个预测区域，该多个预测区域包括在目标皮肤区域图像中的不同位置设置的多个具有不同尺寸的选框。

503、根据多个不同尺度的特征向量，预测多个预测区域中包含目标对象的多个目标预测区域。

504、从多个不同尺度的特征向量中提取多个目标预测区域各自对应的局部特征向量。

505、根据多个目标预测区域各自对应的局部特征向量，生成多个目标预测区域各自对应的第二掩膜图像；在第二掩膜图像中，与目标对象对应的像素为第一灰度值，与非目标对象对应的像素为第二灰度值。

506、根据多个目标预测区域各自对应的第二掩膜图像，确定目标对象在多个目标预测区域中的像素位置。

为便于理解，下面结合图6对第二模型可以提供的一些功能进行示例性说明。宏观来说，如图6中所示，可以将第二模型提供的功能概括为如下几种：特征提取、位置定位、像素分割。

其中，位置定位的目的是定位出目标皮肤区域图像中包含目标对象的位置区域，通常为一个矩形区域。而像素分割的目的即为在最终定位出的该位置区域内识别出对应于目标对象的像素，简单来说，就是对该位置区域内包含的各个像素进行分类识别，以识别出各个像素是属于目标对象还是不属于目标对象。

下面具体说明如何通过上述几种功能最终识别出输入第二模型的目标皮肤区域图像中目标对象的像素位置。

首先，从组成结构的角度来说，第二模型中包含提供特征提取功能的多个网络层，这多个网络层构成第二模型的骨干网络(backbone)。通过该多个网络层以对目标皮肤区域图像进行特征提取，得到多个不同尺度的特征向量，比如图6中示意的三种尺度由大到小的特征向量：P1、P2、P3。其中，尺度越大的特征向量由于对应于更小的视野从而包含更加丰富的细节信息，而尺度越小的特征向量由于对应于更大的视野从而包含更加全局的信息，即高层语义信息。

实际应用中，上述多个网络层可以构成卷积网络，由于卷积网络所提取的特征对缩放、平移、旋转等具有不变性，特征表达能力强和泛化性好的优点，可以被选用提取图像的特征。例如：多个网络层最终可以构成：ResNet网络、MobileNet网络等。

另外，可选地，为了能够获得更加准确的目标对象像素位置定位结果，在得到上述多个尺度的特征向量后，还可以对这些多个尺度的特征向量进行融合处理。如图6中所示，比如通过特征金字塔网络(feature pyramid networks，简称FPN)进行特征融合处理，以得到融合后的多个不同尺度的特征向量：P4、P5、P6。

在进行如上的特征提取与融合处理后，可以基于得到的多个尺度的特征向量预测出包含目标对象的位置区域。

在一可选实施例中，可以将位置定位功能进一步划分为粗略位置定位功能和精确位置定位功能。基于此，可选地，包含目标对象的位置区域的确定，可以仅基于该粗略位置定位功能实现。可选地，包含目标对象的位置区域的确定，可以基于该粗略位置定位功能和精确位置定位功能来实现。

图6中示意的是仅使用粗略位置定位功能的过程。

粗略位置定位功能的执行过程如下：

首先，可以在目标皮肤区域图像中的不同位置设置的多个具有不同尺寸的选框(anchor)，这些选框作为初始设置的多个预测区域。其中，在目标皮肤区域图像中的不同位置设置的多个具有不同尺寸的选框，可以是：在目标皮肤区域图像中确定众多像素位置，针对每个像素位置，以该像素位置为中心，设置多个尺寸不同的矩形选框，从而，由众多像素位置各自对应的多个选框构成上述多个预测区域。为便于理解，以图7来示例性说明。在图7中，以一张图像中的任意两个像素(图中的两个黑点)为例，在这两个像素位置分别设置三个不同尺寸的选框：K1、K2、K3。

之后，基于已经得到的多个尺度的特征向量(以经过特征融合处理后的P4、P5、P6为例)，分别预测上述多个预测区域中是否包含目标对象。

概括来说，为实现粗略位置定位功能，第二模型中可以包括至少一个网络层，以通过该至少网络层来预测上述多个预测区域是否包含目标对象。该至少一个网络层可以实现为卷积网络。

如图6中所示，粗略位置定位功能的输出结果可以包括两种参数：每个预测区域对应的位置信息(position)以及其对应的置信度(score)。其中，该位置信息即为相应预测区域在目标皮肤区域图像中对应的位置范围，该置信度反映的是相应预测区域中包含目标对象的概率。可以认为某预测区域对应的置信度大于设定阈值时，说明该预测区域中包含目标对象，反之，不包含。

下面简单介绍基于粗略位置定位功能是如何预测各预测区域中是否包含目标对象的，具体可以通过如下步骤实现：

根据多个预测区域各自的尺寸，从多个尺度的特征向量中确定多个预测区域各自对应的目标特征向量；根据多个预测区域各自对应的目标特征向量，预测对应的预测区域内是否包含目标对象。

预先会设定预测区域的尺寸与特性向量的尺度之间的对应关系。

假设预测区域的尺寸包括由小到大的如下三种尺寸：K1、K2、K3，假设已经得到的多个尺度的特征向量为尺度由大到小的如下三种特征向量：P4、P5、P6，则设定的预测区域的尺寸与特性向量的尺度之间的对应关系可以是：尺寸K1的预测区域对应于特征向量P4，尺寸K2的预测区域对应于特征向量P5，尺寸K3的预测区域对应于特征向量P6。也就是说，大尺寸的预测区域对应于小尺度的特征向量，而小尺寸的预测区域对应于大尺度的特征向量。

基于上述假设，全部预测区域中，尺寸为K1的预测区域对应的目标特征向量都为特征向量P4，尺寸为K2的预测区域对应的目标特征向量都为特征向量P5，尺寸为K3的预测区域对应的目标特征向量都为特征向量P6。

以尺寸为K1的任一预测区域i为例，可以基于与之对应的特征向量P4来预测该预测区域i中是否包含目标对象。具体地，可以从特征向量P4中确定与该预测区域i对应的局部特征向量(即特征向量P4中与预测区域i对应的的部分元素)，基于该局部特征向量确定该预测区域i中是否包含目标对象。

通过上述过程，最后可以得到多个预测区域各自对应的预测结果——是否包含目标对象。基于该预测结果，可以确定出包含目标对象的各预测区域，成为多个目标预测区域。

之后，通过如下过程从多个不同尺度的特征向量中提取多个目标预测区域各自对应的局部特征向量：

对多个目标预测区域进行边框回归处理，以得到多个目标预测区域各自对应的第一位置区域；

对多个目标预测区域各自对应的第一位置区域进行去重处理，以得到去重处理后余下的多个第一位置区域；

从多个不同尺度的特征向量中提取多个第一位置区域各自对应的局部特征向量。

其中，边框回归处理可以基于现有相关技术中提供的各种边框回归算法来实现。简单来说，边框回归的结果就是调整目标预测区域的位置和尺寸，以使得调整后的目标预测区域能够更加贴近目标对象存在的位置区域。这里，将一个目标预测区域经过边框回归调整后的结果称为第一位置区域。

由于多个目标预测区域经过边框回归处理后的第一位置区域之间可能会有重叠，在得到这些第一位置区域之后，可以对已经得到的这些第一位置区域进行去重处理，将去重处理余下的第一位置区域称为多个第一位置区域。其中，去重处理比如可以采用非极大值抑制(non maximum suppression，简称NMS)算法实现，当然，不以此为限。

在得到多个第一位置区域后，从此前已经得到的多个不同尺度的特征向量中提取该多个第一位置区域各自对应的局部特征向量。具体地，可以根据多个第一位置区域各自的尺寸，从多个尺度的特征向量中确定多个第一位置区域各自对应的目标特征向量，以从多个第一位置区域各自对应的目标特征向量中，提取多个第一位置区域各自对应的局部特征向量。该过程的执行可以参加多个目标预测区域的获取过程，与之类似，不再赘述。

之后，由于多个第一位置区域的尺寸不相同，因此，其各自对应的局部特征向量的尺度也不尽相同。在得到多个第一位置区域各自对应的局部特征向量后，如图6中所示，可以对多个第一位置区域各自对应的局部特征向量进行池化处理(ROI Pooling)，以将多个第一位置区域各自对应的局部特征向量归一化为相同尺度。其中，归一化后的尺度可以自定义设定。

综上，多个第一位置区域即为确定出的包含目标对象的位置区域。

之后，基于像素分割功能，确定多个第一位置区域中各像素是否是对应于目标对象的。具体地，第二模型中可以包括能够实现像素分割功能的至少一个网络层，这至少一个网络层可以根据多个第一位置区域各自对应的归一化后的局部特征向量，生成多个第一位置区域各自对应的第二掩膜图像，最终，基于多个第一位置区域各自对应的第二掩膜图像可以确定多个第一位置区域中各像素是否是对应于目标对象的。

以其中任一第一位置区域j为例，生成的与其对应的第二掩膜图像的尺寸可能与该第一位置区域j的尺寸不相等。假设第一位置区域j的尺寸为：28*28，而第二掩膜图像的尺寸为14*14，那么，在得到第二掩膜图像后，通过放大处理，放大至与第一位置区域j具有相同的尺寸，此时，第二掩膜图像中的各个像素与第一位置区域j中的各个像素是一一对应的。由于第二掩膜图像中与目标对象对应的像素为第一灰度值(比如为对应于白色的灰度值255)，与非目标对象对应的像素为第二灰度值(比如为对应于黑色的灰度值0)，据此，在第一位置区域j内定位出对应于第一灰度值的各个像素，这些像素即为对应于目标对象的各个像素，而第一位置区域j内的其他像素都是不对应于目标对象的像素。

针对每个第一位置区域都进行上述的处理，最终便可以得到目标对象在目标皮肤区域图像中对应的像素位置。

以上介绍的是基于第二模型所提供的特征提取、粗略位置定位以及像素分割功能实现目标对象在目标皮肤区域图像中对应的像素位置的定位过程。

如前文所述，第二模型提供的位置定位功能可以划分为粗略位置定位功能和精确位置定位功能，因此，在基于上述粗略位置定位功能得到多个第一位置区域之后，还可以进一步地基于精确位置定位功能从中过滤掉一些有较大概率不对应于目标对象的位置区域。

结合图8来示例性说明基于第二模型所提供的特征提取、粗略位置定位、精确位置定位以及像素分割功能实现目标对象在目标皮肤区域图像中对应的像素位置的定位过程。

如图8中所示，在通过前文介绍的过程得到多个第一位置区域各自对应的归一化后的局部特征向量后，可以基于精确位置定位功能执行如下步骤：

根据多个第一位置区域各自对应的归一化后的局部特征向量，预测多个第一位置区域内包含目标对象的各第一位置区域；

对包含目标对象的各第一位置区域进行边框回归处理，以得到与各第一位置区域对应的第二位置区域；

对与各第一位置区域对应的第二位置区域进行去重处理，以得到去重处理后余下的多个第二位置区域；

从多个尺度的特征向量中确定多个第二位置区域各自对应的目标特征向量；

从多个第二位置区域各自对应的目标特征向量中，提取多个第二位置区域各自对应的局部特征向量；

根据多个第二位置区域各自对应的局部特征向量，生成多个第二位置区域各自对应的第二掩膜图像。

其中，如图8中所示，与前文预测多个目标预测区域的过程相似地，预测多个第一位置区域内包含目标对象的各第一位置区域的过程中，也会输出各第一位置区域对应的位置信息(position)以及置信度(score)，以基于该置信度确定多个第一位置区域内包含目标对象的各第一位置区域。基于此，可以从多个第一位置区域中过滤掉不太可能包含目标对象的位置区域。

将对确定出的包含目标对象的各第一位置区域进行边框回归和去重处理后，得到的位置区域称为多个第二位置区域。

其中，从多个尺度的特征向量中确定多个第二位置区域各自对应的目标特征向量，具体可以实现为：根据多个第二位置区域各自的尺寸，从多个尺度的特征向量中确定多个第二位置区域各自对应的目标特征向量。

另外，如图8中所示，在根据多个第二位置区域各自对应的局部特征向量，生成多个第二位置区域各自对应的第二掩膜图像的过程中，首先，对多个第二位置区域各自对应的局部特征向量进行池化处理(ROI Pooling)，以将多个第二位置区域各自对应的局部特征向量归一化为相同尺度，之后，根据多个第二位置区域各自对应的归一化后的局部特征向量，生成多个第二位置区域各自对应的第二掩膜图像。以便最终基于该第二掩膜图像确定多个第二位置区域中对应于目标对象的各像素位置。

综上，基于上述第二模型提供的功能，可以实现目标对象在目标皮肤区域图像中对应的像素位置的定位，以便基于该定位结果，可以实现与用户的互动，比如在用户的人脸图像中突出显示该目标对象，以让用户可以直观地看到该定位结果。

综上，通过上述方案可以从人脸图像中最终识别出目标对象的特征信息。实际应用中，基于该目标对象的特征信息，可以实现与用户的多种互动，以提高用户体验。

比如，如前文所述，可选地，目标对象的特征信息中可以包括目标对象的像素位置。此时，可选地，为了增强与用户的互动性，还可以基于识别出的目标对象的像素位置，在人脸图像中显示该目标对象的定位效果，该定位效果比如为：以某种颜色的线条描绘出目标对象，即根据目标对象的像素位置将相应的像素渲染为某种特定颜色。基于此，用户可以从人脸图像中看到对其目标皮肤区域中存在的目标对象的定位结果。

再比如，假设通过上述方案已经获得了同一用户在此前不同时间段内上述目标对象的特征信息，则可以在当前基于该用户的人脸图像再次进行上述目标对象的特征信息的检测时，关联地显示历史获得的目标对象的特征信息以及当前获得的该目标对象的特征信息，以形成对比，另外，还可以结合目标对象的特征信息的变化情况，为该用户推荐合适的商品。具体举例来说，比如2月份发现某用户的抬头纹的严重程度为：重度皱纹；3月份发现该用户的抬头纹的严重程度为：中度皱纹，那么说明2月份为该用户推荐的去皱商品比较有效，可以继续为该用户推荐该商品，反之，如果发现该用户的皱纹严重程度并未缓解，则可以为该用户推荐其他的商品。

除上述举例的互动之外，还可以基于目标对象的特征信息为用户进行针对性地商品推荐。

图9为本发明实施例提供的一种商品推荐方法的流程图，如图9中所示，该商品推荐方法可以包括如下步骤：

901、根据用户操作采集人脸图像。

902、从人脸图像中提取出目标皮肤区域图像，并识别目标皮肤区域图像中目标对象的特征信息。

903、根据目标对象的特征信息获得推荐商品，并在终端界面展示推荐商品。

其中，目标皮肤区域图像可以是额头皮肤区域图像，目标对象可以是皱纹，目标对象的特征信息可以是皱纹的级别信息和/或像素位置，此时，该方案可以用于检测人脸图像中抬头纹的相关特征。

其中，步骤901和902的执行过程可以参见前述其他实施例中的相关说明，在此不赘述。

根据目标对象的特征信息获取推荐商品，可以实现为：预先设置目标对象的不同特征信息与商品的对应关系，据此可以从商品数据库中筛选出与当前识别出的目标对象的特征信息相对应的推荐商品，将这些推荐商品在用户的终端界面上进行显示，以供用户从中选择合适的商品。

具体地，如前文所述，目标对象的特征信息可以包括目标对象的级别信息，该级别信息是与目标对象对应的多个预设级别信息中的一种。因此，可选地，可以根据目标对象的级别信息获得推荐商品。

比如，目标对象为皱纹，皱纹的级别信息反映皱纹的严重程度，可以预先设定不同严重程度的皱纹所对应的商品，以便据此获得与当前用户的皱纹情况相匹配的推荐商品。

再比如，目标对象为痘痘，痘痘的级别信息可以反映痘痘的严重程度(比如以痘痘区域占脸颊区域的比例来表示该严重程度)，同样地，可以预先设定不同严重程度的痘痘所对应的商品，以便据此获得与当前用户的痘痘情况相匹配的推荐商品。

另外，可选地，在为用户推荐与其匹配的商品的过程中，除了可以结合上述目标对象的特征信息外，还可以结合从人脸图像中识别出的其他因素。比如在化妆品推荐的场景中，还可以结合用户的皮肤亮度信息等。

为便于理解，下面以为用户针对性地推荐抗皱产品为例对本实施例提供的商品推荐方法的执行过程进行示例性说明。

在该示例性应用场景中，可以预先定义人脸的某一目标皮肤区域，该目标皮肤区域是容易出现皱纹的皮肤区域，比如额头、眼角，等等。相应地，上述目标对象是指存在于目标皮肤区域的皱纹。

为便于描述，下文假设目标皮肤区域为额头皮肤区域，目标对象为皱纹。下面结合图10所示的抗皱产品推荐场景，从宏观上示意上述商品推荐方法的执行过程。

在图10中，假设某用户想要购买护肤产品，其可以通过终端设备采集一张包含自己全部人脸区域的图像，即人脸图像。将该人脸图像上传至维护有众多商品信息的服务器，该人脸图像作为服务器执行的商品推荐方法的输入图像。具体地，服务器可以基于该商品推荐方法检测用户的额头皮肤区域是否包含皱纹，以便基于检测结果为该用户针对性地推荐抗皱产品。

在获得该人脸图像后，如图10中所示，首先，服务器需要从该人脸图像中提取出目标皮肤区域图像，即额头皮肤区域图像。简单来说就是，从人脸图像中识别出额头的皮肤区域，从人脸图像中截取出该皮肤区域对应的图像，称为额头皮肤区域图像。在图10中，假设额头皮肤区域图像中包括图10中示意的几条皱纹。

之后，服务器识别该额头皮肤区域图像中包含的皱纹的特征信息，该特征信息比如为反映皱纹严重程度的级别信息。

实际应用中，针对皱纹这个目标对象，可以预先定义多个级别信息，比如包括如下4种级别信息：无皱纹、轻度皱纹、中度皱纹、重度皱纹。基于此，服务器从额头皮肤区域图像中识别出的皱纹的级别信息可以是上述多个级别信息中的一种。

在图10中，假设识别出的皱纹的级别信息为重度皱纹，则可以根据预先设定的不同皱纹级别与不同抗皱产品之间的对应关系，确定与重度皱纹这个级别对应的抗皱产品，将这些抗皱产品推荐给用户供其选择。

图11为本发明实施例提供的一种商品推荐方法的流程图，如图11中所示，该商品推荐方法可以包括如下步骤：

1101、根据用户操作采集人体图像。

1102、从人体图像中提取出目标部位图像，并识别目标部位图像中目标对象的特征信息。

1103、根据目标对象的特征信息获得推荐商品，并在终端界面展示推荐商品。

与前述其他实施例不同的是，本实施例中，不局限于基于皮肤上的目标对象的特征信息进行商品推荐的场景，还可以基于人体其他部位上的目标对象的特征信息进行商品推荐。比如，目标对象可以是：牙齿、头发、手，等等。

举例来说，假设如下的应用场景：基于用户牙齿的颜色，为用户推荐牙膏等护齿商品。此时，采集的人体图像可以是人脸图像，且在该人脸图像中，用户呈现出张嘴露齿的状态。在该人脸图像中可以提取出嘴部图像，进而在嘴部图像中识别出牙齿的颜色特征，以基于该颜色特征获取对应的商品以推荐给用户。

其中，提取嘴部图像的过程，简单来说可以是，先在人类图像中识别出若干人脸关键点，其中包括眼睛、眉毛、鼻子、嘴，等多个部位的关键点，基于识别出的嘴部关键点从人脸图像中提取出嘴部图像。在嘴部图像中识别牙齿颜色的过程，可以采用前文中介绍的第二模型的处理思路，不再赘述。

再假设如下的应用场景：基于用户的头发长度、密度，为用户推荐护发商品。此时，采集的人体图像可以是包含头部和上身的图像，且在该人体图像中，用户可以将自己的长发放置在身体前侧，以便从该图像中清楚地反映出其头发长度。在该人体图像中可以提取出头发对应的图像区域，进而在提取出的图像区域中识别出头发的长度和/或密度特征，以基于识别出的特征获取对应的商品以推荐给用户。

本实施例中未展开介绍的内容可以参见前述其他实施例中的相关说明，实现原理与之相似，不再赘述。

以下将详细描述本发明的一个或多个实施例的图像检测装置、商品推荐装置。本领域技术人员可以理解，这些图像检测装置、商品推荐装置均可使用市售的硬件组件通过本方案所教导的步骤进行配置来构成。

图12为本发明实施例提供的一种图像检测装置的结构示意图，如图12所示，该装置包括：获取模块11、提取模块12、识别模块13。

获取模块11，用于获取人脸图像。

提取模块12，用于从所述人脸图像中提取出目标皮肤区域图像。

识别模块13，用于识别所述目标皮肤区域图像中目标对象的特征信息。

可选地，提取模块12具体可以用于：生成与所述人脸图像对应的第一掩膜图像；在所述第一掩膜图像中，与皮肤区域对应的像素为第一灰度值，与非皮肤区域对应的像素为第二灰度值；确定与目标皮肤区域对应的多个人脸关键点；根据所述多个人脸关键点，在所述第一掩膜图像中确定与所述目标皮肤区域对应的位置范围；在所述人脸图像中提取出与所述位置范围对应的目标皮肤区域图像。

可选地，所述特征信息包括级别信息和/或像素位置；其中，所述级别信息是与目标对象对应的多个预设级别信息中的一种。

可选地，所述目标对象包括：皱纹。

可选地，所述特征信息包括所述像素位置，此时，所述装置还包括：交互模块，用于根据所述目标对象的像素位置，在所述人脸图像中显示所述目标对象的定位效果。

可选地，所述特征信息包括所述级别信息，此时，识别模块13具体可以用于：将所述目标皮肤区域图像输入到第一模型中，以通过所述第一模型输出所述目标皮肤区域图像中目标对象的级别信息。

可选地，所述装置还包括：第一训练模块，用于获取多个训练样本图像，其中，每个训练样本图像是包含目标皮肤区域的图像；确定所述多个训练样本图像各自对应的标注信息，所述标注信息包括训练样本图像中目标对象的级别信息；根据所述多个训练样本图像和所述多个训练样本图像各自对应的标注信息，训练所述第一模型。

可选地，所述特征信息包括所述像素位置，此时，识别模块13具体可以用于：将所述目标皮肤区域图像输入到第二模型中，以通过所述第二模型输出所述目标皮肤区域图像中目标对象的像素位置。

可选地，所述装置还包括：第二训练模块，用于获取多个训练样本图像，其中，每个训练样本图像是包含目标皮肤区域的图像；确定所述多个训练样本图像各自对应的标注信息，所述标注信息包括描绘训练样本图像中目标对象而得到的目标对象的像素位置；根据所述多个训练样本图像和所述多个训练样本图像各自对应的标注信息，训练所述第二模型。

可选地，在确定所述目标皮肤区域图像中目标对象的像素位置的过程中，识别模块13具体可以用于：对所述目标皮肤区域图像进行特征提取，以得到多个不同尺度的特征向量；确定所述目标皮肤区域图像中的多个预测区域，所述多个预测区域包括在所述目标皮肤区域图像中的不同位置设置的多个具有不同尺寸的选框；根据所述多个不同尺度的特征向量，预测所述多个预测区域中包含所述目标对象的多个目标预测区域；从所述多个不同尺度的特征向量中提取所述多个目标预测区域各自对应的局部特征向量；根据所述多个目标预测区域各自对应的局部特征向量，生成所述多个目标预测区域各自对应的第二掩膜图像；在所述第二掩膜图像中，与目标对象对应的像素为第一灰度值，与非目标对象对应的像素为第二灰度值；根据所述多个目标预测区域各自对应的第二掩膜图像，确定所述目标对象在所述多个目标预测区域中的像素位置。

可选地，所述装置还包括：特征融合模块，用于对所述多个不同尺度的特征向量进行特征融合处理，以得到融合后的多个不同尺度的特征向量，所述融合后的多个不同尺度的特征向量用于预测所述目标预测区域。

可选地，在预测所述多个预测区域中包含所述目标对象的多个目标预测区域的过程中，识别模块13具体可以用于：根据所述多个预测区域各自的尺寸，从所述多个尺度的特征向量中确定所述多个预测区域各自对应的目标特征向量；根据所述多个预测区域各自对应的目标特征向量，预测对应的预测区域内是否包含所述目标对象。

可选地，在从所述多个不同尺度的特征向量中提取所述多个目标预测区域各自对应的局部特征向量的过程中，识别模块13具体可以用于：对所述多个目标预测区域进行边框回归处理，以得到所述多个目标预测区域各自对应的第一位置区域；对所述多个目标预测区域各自对应的第一位置区域进行去重处理，以得到去重处理后余下的多个第一位置区域；从所述多个不同尺度的特征向量中提取所述多个第一位置区域各自对应的局部特征向量。

可选地，在从所述多个不同尺度的特征向量中提取所述多个第一位置区域各自对应的局部特征向量的过程中，识别模块13具体可以用于：根据所述多个第一位置区域各自的尺寸，从所述多个尺度的特征向量中确定所述多个第一位置区域各自对应的目标特征向量；从所述多个第一位置区域各自对应的目标特征向量中，提取所述多个第一位置区域各自对应的局部特征向量。

可选地，在根据所述多个目标预测区域各自对应的局部特征向量，生成所述多个目标预测区域各自对应的第二掩膜图像的过程中，识别模块13具体可以用于包括：对所述多个第一位置区域各自对应的局部特征向量进行池化处理，以将所述多个第一位置区域各自对应的局部特征向量归一化为相同尺度；根据所述多个第一位置区域各自对应的归一化后的局部特征向量，生成所述多个第一位置区域各自对应的第二掩膜图像。

可选地，识别模块13还可以用于：根据所述多个第一位置区域各自对应的归一化后的局部特征向量，预测所述多个第一位置区域内包含所述目标对象的各第一位置区域；对包含所述目标对象的各第一位置区域进行边框回归处理，以得到与所述各第一位置区域对应的第二位置区域；对与所述各第一位置区域对应的第二位置区域进行去重处理，以得到去重处理后余下的多个第二位置区域；从所述多个尺度的特征向量中确定所述多个第二位置区域各自对应的目标特征向量；从所述多个第二位置区域各自对应的目标特征向量中，提取所述多个第二位置区域各自对应的局部特征向量；根据所述多个第二位置区域各自对应的局部特征向量，生成所述多个第二位置区域各自对应的第二掩膜图像。

其中，可选地，在从所述多个尺度的特征向量中确定所述多个第二位置区域各自对应的目标特征向量的过程中，识别模块13具体可以用于：根据所述多个第二位置区域各自的尺寸，从所述多个尺度的特征向量中确定所述多个第二位置区域各自对应的目标特征向量。

其中，可选地，在根据所述多个第二位置区域各自对应的局部特征向量，生成所述多个第二位置区域各自对应的第二掩膜图像的过程中，识别模块13具体可以用于：对所述多个第二位置区域各自对应的局部特征向量进行池化处理，以将所述多个第二位置区域各自对应的局部特征向量归一化为相同尺度；根据所述多个第二位置区域各自对应的归一化后的局部特征向量，生成所述多个第二位置区域各自对应的第二掩膜图像。

图12所示装置可以执行前述图1至图8所示实施例中提供的图像检测方法，详细的执行过程和技术效果参见前述实施例中的描述，在此不再赘述。

在一个可能的设计中，上述图12所示图像检测装置的结构可实现为一电子设备。如图13所示，该电子设备可以包括：第一处理器21、第一存储器22、第一通信接口23。其中，第一存储器22上存储有可执行代码，当所述可执行代码被第一处理器21执行时，使第一处理器21至少可以实现如前述图1至图8所示实施例中提供的图像检测方法。

另外，本发明实施例提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器至少可以实现如前述图1至图8所示实施例中提供的图像检测方法。

图14为本发明实施例提供的一种商品推荐装置的结构示意图，如图14所示，该装置包括：图像采集模块31、图像处理模块32、商品推荐模块33。

图像采集模块31，用于根据用户操作采集人脸图像。

图像处理模块32，用于从所述人脸图像中提取出目标皮肤区域图像，并识别所述目标皮肤区域图像中目标对象的特征信息。

商品推荐模块33，用于根据所述目标对象的特征信息获得推荐商品，并在终端界面展示所述推荐商品。

可选地，所述特征信息包括级别信息，所述级别信息是与目标对象对应的多个预设级别信息中的一种，基于此，商品推荐模块33具体可以用于：根据所述目标对象的级别信息获得推荐商品。

可选地，所述特征信息包括像素位置，此时，所述装置还包括：交互模块，用于根据所述目标对象的像素位置，在所述人脸图像中显示所述目标对象的定位效果。

图14所示装置可以执行前述图9至图10所示实施例中提供的商品推荐方法，详细的执行过程和技术效果参见前述实施例中的描述，在此不再赘述。

在一个可能的设计中，上述图14所示商品推荐装置的结构可实现为一电子设备。如图15所示，该电子设备可以包括：第二处理器41、第二存储器42、第二通信接口43。其中，第二存储器42上存储有可执行代码，当所述可执行代码被第二处理器41执行时，使第二处理器41至少可以实现如前述图9至图10所示实施例中提供的商品推荐方法。

另外，本发明实施例提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器至少可以实现如前述图9至图10所示实施例中提供的商品推荐方法。

图16为本发明实施例提供的一种商品推荐装置的结构示意图，如图16所示，该装置包括：图像采集模块51、图像处理模块52、商品推荐模块53。

图像采集模块51，用于根据用户操作采集人体图像。

图像处理模块52，用于从所述人体图像中提取出目标部位图像，并识别所述目标部位图像中目标对象的特征信息。

商品推荐模块53，用于根据所述目标对象的特征信息获得推荐商品，并在终端界面展示所述推荐商品。

图16所示装置可以执行前述图11所示实施例中提供的商品推荐方法，详细的执行过程和技术效果参见前述实施例中的描述，在此不再赘述。

在一个可能的设计中，上述图16所示商品推荐装置的结构可实现为一电子设备。如图17所示，该电子设备可以包括：第三处理器61、第三存储器62、第三通信接口63。其中，第三存储器62上存储有可执行代码，当所述可执行代码被第三处理器61执行时，使第三处理器61至少可以实现如前述图11所示实施例中提供的商品推荐方法。

另外，本发明实施例提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器至少可以实现如前述图11所示实施例中提供的商品推荐方法。

图18为本发明实施例提供的一种美妆方法的流程图，如图18所示，该方法可以包括如下步骤：

1801、采集人脸图像。

1802、从人脸图像中提取出目标皮肤区域图像，并识别所述目标皮肤区域图像中目标对象的特征信息。

1803、展示与目标对象的特征信息对应的美妆效果。

其中，可选地，上述目标皮肤区域图像可以是额头皮肤区域图像，目标对象可以是皱纹，其特征信息可以包括级别信息和/或像素位置，其中，该级别信息是多个预设级别信息中的一种。此时，通过步骤1801-1802可以检测出人脸图像中的抬头纹的特征信息。

步骤1801-1802的详细实现过程可以参见前文其他实施例中的相关说明，在此不赘述。

本实施例提供的美妆方法可以由用户侧的终端设备来执行，该终端设备可以是虚拟现实设备(比如AR眼镜)。此时，以检测出抬头纹的特征信息为例，通过虚拟现实设备可以展示与抬头纹的特征信息相对应的美妆效果。该美妆效果可以是视频动画。

以检测出抬头纹的特征信息为例，概括来说，可选地，展示与目标对象的特征信息对应的美妆效果，可以实现为：确定与抬头纹的特征信息对应的具有遮瑕功能的商品，展示该商品的遮瑕效果以及商品信息。

具体地，可以根据反映抬头纹的严重程度的级别信息来确定与之对应的具有遮瑕功能的商品，进而，基于抬头纹在人脸图像中对应的像素位置，生成反映使用该商品后可能获得的遮瑕效果的视频动画、图片并进行展示，以使得用户通过该影像直观地了解该商品的使用效果。

其中，构成视频动画的任一帧图像可以是通过如下方式获得的：复制人脸图像，在复制的人脸图像中定位抬头纹对应的像素位置，改变该像素位置对应的像素的灰度值或透明度，以反映皱纹的遮瑕效果。

另外，可选地，展示与目标对象的特征信息对应的美妆效果，还可以实现为：确定与抬头纹的特征信息对应的具有去皱功能的商品，展示该商品的去皱效果以及商品信息。

与遮瑕效果类似地，该去皱效果也可以通过视频动画来反映。在该视频动画中，可以使得用户观看到使用推荐的去皱商品一段时间后可以获得的去皱效果。

上述商品信息可以是通过文字、语音、图片等方式提供的，用于介绍商品的品牌、价格、功能、主要成分等信息。

图19为本发明实施例提供的一种美妆装置的结构示意图，如图19所示，该装置包括：图像采集模块71、图像处理模块72、美妆展示模块73。

图像采集模块71，用于采集人脸图像。

图像处理模块72，用于从所述人脸图像中提取出目标皮肤区域图像，并识别所述目标皮肤区域图像中目标对象的特征信息。

美妆展示模块73，用于展示与所述目标对象的特征信息对应的美妆效果。

可选地，所述特征信息包括级别信息和/或像素位置；其中，所述级别信息是与目标对象对应的多个预设级别信息中的一种。

可选地，所述目标对象包括：皱纹。

可选地，美妆展示模块73具体可以用于：确定与所述目标对象的特征信息对应的具有遮瑕功能的商品；展示所述商品的遮瑕效果以及商品信息。

可选地，美妆展示模块73具体可以用于：确定与所述目标对象的特征信息对应的具有去皱功能的商品；展示所述商品的去皱效果以及商品信息。

图19所示装置可以执行前述图18所示实施例中提供的美妆方法，详细的执行过程和技术效果参见前述实施例中的描述，在此不再赘述。

在一个可能的设计中，上述图19所示美妆装置的结构可实现为一电子设备。该电子设备可以是虚拟现实设备。如图20所示，该电子设备可以包括：第四处理器81、第四存储器82、第四通信接口83。其中，第四存储器82上存储有可执行代码，当所述可执行代码被第四处理器81执行时，使第四处理器81至少可以实现如前述图18所示实施例中提供的美妆方法。当然，该电子设备中还可以包括显示屏。

另外，本发明实施例提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器至少可以实现如前述图18所示实施例中提供的美妆方法。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助加必需的通用硬件平台的方式来实现，当然也可以通过硬件和软件结合的方式来实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以计算机产品的形式体现出来，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (39)

1.一种图像检测方法，包括：

获取人脸图像；

从所述人脸图像中提取出目标皮肤区域图像；

识别所述目标皮肤区域图像中目标对象的特征信息。

2.根据权利要求1所述的方法，所述从所述人脸图像中提取出目标皮肤区域图像，包括：

生成与所述人脸图像对应的第一掩膜图像；在所述第一掩膜图像中，与皮肤区域对应的像素为第一灰度值，与非皮肤区域对应的像素为第二灰度值；

确定与目标皮肤区域对应的多个人脸关键点；

根据所述多个人脸关键点，在所述第一掩膜图像中确定与所述目标皮肤区域对应的位置范围；

在所述人脸图像中提取出与所述位置范围对应的目标皮肤区域图像。

3.根据权利要求1所述的方法，所述特征信息包括级别信息和/或像素位置；

其中，所述级别信息是与目标对象对应的多个预设级别信息中的一种。

4.根据权利要求1所述的方法，所述目标对象包括：皱纹。

5.根据权利要求3所述的方法，所述特征信息包括所述像素位置；

所述方法还包括：

根据所述目标对象的像素位置，在所述人脸图像中显示所述目标对象的定位效果。

6.根据权利要求3所述的方法，所述特征信息包括所述级别信息；

所述识别所述目标皮肤区域图像中目标对象的特征信息，包括：

将所述目标皮肤区域图像输入到第一模型中，以通过所述第一模型输出所述目标皮肤区域图像中目标对象的级别信息。

7.根据权利要求6所述的方法，所述方法还包括：

获取多个训练样本图像，其中，每个训练样本图像是包含目标皮肤区域的图像；

确定所述多个训练样本图像各自对应的标注信息，所述标注信息包括训练样本图像中目标对象的级别信息；

根据所述多个训练样本图像和所述多个训练样本图像各自对应的标注信息，训练所述第一模型。

8.根据权利要求3所述的方法，所述特征信息包括所述像素位置；

所述识别所述目标皮肤区域图像中目标对象的特征信息，包括：

将所述目标皮肤区域图像输入到第二模型中，以通过所述第二模型输出所述目标皮肤区域图像中目标对象的像素位置。

9.根据权利要求8所述的方法，所述方法还包括：

获取多个训练样本图像，其中，每个训练样本图像是包含目标皮肤区域的图像；

确定所述多个训练样本图像各自对应的标注信息，所述标注信息包括描绘训练样本图像中目标对象而得到的目标对象的像素位置；

根据所述多个训练样本图像和所述多个训练样本图像各自对应的标注信息，训练所述第二模型。

10.根据权利要求8所述的方法，所述第二模型通过如下步骤确定所述目标皮肤区域图像中目标对象的像素位置：

对所述目标皮肤区域图像进行特征提取，以得到多个不同尺度的特征向量；

确定所述目标皮肤区域图像中的多个预测区域，所述多个预测区域包括在所述目标皮肤区域图像中的不同位置设置的多个具有不同尺寸的选框；

根据所述多个不同尺度的特征向量，预测所述多个预测区域中包含所述目标对象的多个目标预测区域；

从所述多个不同尺度的特征向量中提取所述多个目标预测区域各自对应的局部特征向量；

根据所述多个目标预测区域各自对应的局部特征向量，生成所述多个目标预测区域各自对应的第二掩膜图像；在所述第二掩膜图像中，与目标对象对应的像素为第一灰度值，与非目标对象对应的像素为第二灰度值；

根据所述多个目标预测区域各自对应的第二掩膜图像，确定所述目标对象在所述多个目标预测区域中的像素位置。

11.根据权利要求10所述的方法，所述方法还包括：

对所述多个不同尺度的特征向量进行特征融合处理，以得到融合后的多个不同尺度的特征向量，所述融合后的多个不同尺度的特征向量用于预测所述目标预测区域。

12.根据权利要求10所述的方法，所述根据所述多个不同尺度的特征向量，预测所述多个预测区域中包含所述目标对象的多个目标预测区域，包括：

根据所述多个预测区域各自的尺寸，从所述多个尺度的特征向量中确定所述多个预测区域各自对应的目标特征向量；

根据所述多个预测区域各自对应的目标特征向量，预测对应的预测区域内是否包含所述目标对象。

13.根据权利要求12所述的方法，所述从所述多个不同尺度的特征向量中提取所述多个目标预测区域各自对应的局部特征向量，包括：

对所述多个目标预测区域进行边框回归处理，以得到所述多个目标预测区域各自对应的第一位置区域；

对所述多个目标预测区域各自对应的第一位置区域进行去重处理，以得到去重处理后余下的多个第一位置区域；

从所述多个不同尺度的特征向量中提取所述多个第一位置区域各自对应的局部特征向量。

14.根据权利要求13所述的方法，所述从所述多个不同尺度的特征向量中提取所述多个第一位置区域各自对应的局部特征向量，包括：

根据所述多个第一位置区域各自的尺寸，从所述多个尺度的特征向量中确定所述多个第一位置区域各自对应的目标特征向量；

从所述多个第一位置区域各自对应的目标特征向量中，提取所述多个第一位置区域各自对应的局部特征向量。

15.根据权利要求14所述的方法，所述根据所述多个目标预测区域各自对应的局部特征向量，生成所述多个目标预测区域各自对应的第二掩膜图像，包括：

对所述多个第一位置区域各自对应的局部特征向量进行池化处理，以将所述多个第一位置区域各自对应的局部特征向量归一化为相同尺度；

根据所述多个第一位置区域各自对应的归一化后的局部特征向量，生成所述多个第一位置区域各自对应的第二掩膜图像。

16.根据权利要求15所述的方法，所述根据所述多个第一位置区域各自对应的归一化后的局部特征向量，生成所述多个第一位置区域各自对应的第二掩膜图像，包括：

根据所述多个第一位置区域各自对应的归一化后的局部特征向量，预测所述多个第一位置区域内包含所述目标对象的各第一位置区域；

对包含所述目标对象的各第一位置区域进行边框回归处理，以得到与所述各第一位置区域对应的第二位置区域；

对与所述各第一位置区域对应的第二位置区域进行去重处理，以得到去重处理后余下的多个第二位置区域；

从所述多个尺度的特征向量中确定所述多个第二位置区域各自对应的目标特征向量；

从所述多个第二位置区域各自对应的目标特征向量中，提取所述多个第二位置区域各自对应的局部特征向量；

根据所述多个第二位置区域各自对应的局部特征向量，生成所述多个第二位置区域各自对应的第二掩膜图像。

17.根据权利要求16所述的方法，所述从所述多个尺度的特征向量中确定所述多个第二位置区域各自对应的目标特征向量，包括：

根据所述多个第二位置区域各自的尺寸，从所述多个尺度的特征向量中确定所述多个第二位置区域各自对应的目标特征向量。

18.根据权利要求16所述的方法，所述根据所述多个第二位置区域各自对应的局部特征向量，生成所述多个第二位置区域各自对应的第二掩膜图像，包括：

对所述多个第二位置区域各自对应的局部特征向量进行池化处理，以将所述多个第二位置区域各自对应的局部特征向量归一化为相同尺度；

根据所述多个第二位置区域各自对应的归一化后的局部特征向量，生成所述多个第二位置区域各自对应的第二掩膜图像。

19.一种图像检测装置，包括：

获取模块，用于获取人脸图像；

提取模块，用于从所述人脸图像中提取出目标皮肤区域图像；

识别模块，用于识别所述目标皮肤区域图像中目标对象的特征信息。

20.一种电子设备，包括：存储器、处理器、通信接口；其中，所述存储器上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求1至18中任一项所述的图像检测方法。

21.一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求1至18中任一项所述的图像检测方法。

22.一种商品推荐方法，包括：

根据用户操作采集人脸图像；

从所述人脸图像中提取出目标皮肤区域图像，并识别所述目标皮肤区域图像中目标对象的特征信息；

根据所述目标对象的特征信息获得推荐商品，并在终端界面展示所述推荐商品。

23.根据权利要求22所述的方法，所述特征信息包括级别信息，所述级别信息是与目标对象对应的多个预设级别信息中的一种；

所述根据所述目标对象的特征信息获得推荐商品，包括：

根据所述目标对象的级别信息获得推荐商品。

24.根据权利要求22或23所述的方法，所述特征信息包括像素位置；

所述方法还包括：

根据所述目标对象的像素位置，在所述人脸图像中显示所述目标对象的定位效果。

25.一种商品推荐装置，包括：

图像采集模块，用于根据用户操作采集人脸图像；

图像处理模块，用于从所述人脸图像中提取出目标皮肤区域图像，并识别所述目标皮肤区域图像中目标对象的特征信息；

商品推荐模块，用于根据所述目标对象的特征信息获得推荐商品，并在终端界面展示所述推荐商品。

26.一种电子设备，包括：存储器、处理器、通信接口；其中，所述存储器上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求22至24中任一项所述的商品推荐方法。

27.一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求22至24中任一项所述的商品推荐方法。

28.一种商品推荐方法，包括：

根据用户操作采集人体图像；

从所述人体图像中提取出目标部位图像，并识别所述目标部位图像中目标对象的特征信息；

根据所述目标对象的特征信息获得推荐商品，并在终端界面展示所述推荐商品。

29.一种商品推荐装置，包括：

图像采集模块，用于根据用户操作采集人体图像；

图像处理模块，用于从所述人体图像中提取出目标部位图像，并识别所述目标部位图像中目标对象的特征信息；

商品推荐模块，用于根据所述目标对象的特征信息获得推荐商品，并在终端界面展示所述推荐商品。

30.一种电子设备，包括：存储器、处理器、通信接口；其中，所述存储器上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求28所述的商品推荐方法。

31.一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求28所述的商品推荐方法。

32.一种美妆方法，包括：

采集人脸图像；

从所述人脸图像中提取出目标皮肤区域图像，并识别所述目标皮肤区域图像中目标对象的特征信息；

展示与所述目标对象的特征信息对应的美妆效果。

33.根据权利要求32所述的方法，所述特征信息包括级别信息和/或像素位置；

其中，所述级别信息是与目标对象对应的多个预设级别信息中的一种。

34.根据权利要求33所述的方法，所述目标对象包括：皱纹。

35.根据权利要求34所述的方法，所述展示与所述目标对象的特征信息对应的美妆效果，包括：

确定与所述目标对象的特征信息对应的具有遮瑕功能的商品；

展示所述商品的遮瑕效果以及商品信息。

36.根据权利要求34所述的方法，所述展示与所述目标对象的特征信息对应的美妆效果，包括：

确定与所述目标对象的特征信息对应的具有去皱功能的商品；

展示所述商品的去皱效果以及商品信息。

37.一种美妆装置，包括：

图像采集模块，用于采集人脸图像；

图像处理模块，用于从所述人脸图像中提取出目标皮肤区域图像，并识别所述目标皮肤区域图像中目标对象的特征信息；

美妆展示模块，用于展示与所述目标对象的特征信息对应的美妆效果。

38.一种电子设备，包括：存储器、处理器、通信接口；其中，所述存储器上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求32至36中任一项所述的美妆方法。

39.一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求32至36中任一项所述的美妆方法。

Images