CN113763109A - 物品推荐方法、装置、设备及存储介质 - Google Patents
物品推荐方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN113763109A CN113763109A CN202110147802.5A CN202110147802A CN113763109A CN 113763109 A CN113763109 A CN 113763109A CN 202110147802 A CN202110147802 A CN 202110147802A CN 113763109 A CN113763109 A CN 113763109A
- Authority
- CN
- China
- Prior art keywords
- target object
- detection
- picture
- target
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000001514 detection method Methods 0.000 claims abstract description 171
- 230000011218 segmentation Effects 0.000 claims abstract description 27
- 238000003709 image segmentation Methods 0.000 claims abstract description 25
- 238000012545 processing Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 17
- 238000000605 extraction Methods 0.000 claims description 11
- 230000001629 suppression Effects 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000002537 cosmetic Substances 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 238000010030 laminating Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0631—Item recommendations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Accounting & Taxation (AREA)
- Finance (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Image Analysis (AREA)
Abstract
本申请提供一种物品推荐方法、装置、设备及存储介质，其中该方法包括：获取包括目标对象的待检测图片，采用目标检测算法确定待检测图片中目标对象的检测区域，再采用图像分割算法对目标对象的检测区域进行目标与背景分割，得到目标对象的轮廓区域，通过分析目标对象的轮廓区域的色值分布，确定目标对象的颜色值，最终推送相同颜色值的目标对象对应的物品。上述方案利用目标检测以及图像分割算法，检测图片中的目标对象，得到准确率较高的目标对象的轮廓区域，通过对轮廓区域的色值分析，得到目标对象的颜色属性，使得服务器具有基于颜色属性进行物品推荐的功能。
Description
技术领域
本申请涉及计算机技术领域，尤其涉及一种物品推荐方法、装置、设备及存储介质。
背景技术
随着互联网技术的不断发展，电子商务正得到越来越广泛的应用。目前网络消费已成为人们生活中不可分割的一部分，人们可以通过电子商务网站、应用小程序等渠道，方便选购包括化妆品、服饰、生活用品等物品。
物品颜色作为物品的重要属性，主要通过物品的展示图来体现。以口红为例，口红的展示图中可能包括口红膏体展示图，或者口红涂抹在唇部或手部的展示图。如果展示图中没有标注口红的品牌以及色号，用户仅凭借肉眼难以识别展示图中口红的具体颜色。
目前，购物类应用程序还无法实现通过口红展示图推荐相似色号的口红产品的功能。
发明内容
本申请实施例提供一种物品推荐方法、装置、设备及存储介质，实现基于图片中目标对象的颜色属性进行物品推荐。
本申请实施例的第一方面提供一种物品推荐方法，包括：
获取待检测图片，所述待检测图片中包括目标对象；
采用目标检测算法确定所述待检测图片中所述目标对象的检测区域；
采用图像分割算法对所述目标对象的检测区域进行目标与背景分割，得到所述目标对象的轮廓区域；
分析所述目标对象的轮廓区域的色值分布，确定所述目标对象的颜色值；
推送相同颜色值的所述目标对象对应的物品。
在本申请的一个实施例中，所述采用目标检测算法确定所述待检测图片中所述目标对象的检测区域，包括：
将所述待检测图片输入至特征提取网络，得到多张不同尺度的特征图；
分别对所述多张不同尺度的特征图进行目标检测，得到不同尺度的特征图对应的第一检测结果；
根据所述不同尺度的特征图对应的第一检测结果，确定所述待检测图片的第二检测结果，所述第二检测结果包括所述待检测图片中所述目标对象的检测区域。
在本申请的一个实施例中，所述第一检测结果包括所述目标对象的检测框，以及所述检测框的分类结果；所述根据所述不同尺度的特征图对应的第一检测结果，确定所述待检测图片的第二检测结果，包括：
将所述第一检测结果中所述目标对象的检测框映射至所述待检测图片的对应位置，并通过非极大值抑制NMS，确定所述待检测图片中所述目标对象的检测区域。
在本申请的一个实施例中，所述采用图像分割算法对所述目标对象的检测区域进行目标与背景分割，得到所述目标对象的轮廓区域，包括：
采用Grabcut算法对所述目标对象的检测区域进行目标与背景分割，得到所述目标对象的掩码图像；
基于所述掩码图像从所述目标对象的检测区域中分割出所述目标对象的轮廓区域。
在本申请的一个实施例中，所述分析所述目标对象的轮廓区域的色值分布，确定所述目标对象的颜色值，包括：
获取所述目标对象的轮廓区域的三通道色值的分布直方图；
从所述三通道色值的分布直方图中剔除像素数小于预设像素阈值的颜色值；
获取每个通道的颜色平均值；
将三通道的颜色平均值作为所述目标对象的颜色值。
可选的，所述目标对象包括口红膏体、涂抹口红的嘴唇的至少一项；
在本申请的一个实施例中，若所述待检测图片中包括口红膏体以及涂抹口红的嘴唇，所述采用图像分割算法对所述目标对象的检测区域进行目标与背景分割，得到所述目标对象的轮廓区域，包括：
采用图像分割算法对所述嘴唇的检测区域进行目标与背景分割，得到所述嘴唇的轮廓区域；
相应的，所述分析所述目标对象的轮廓区域的色值分布，确定所述目标对象的颜色值，包括：分析所述嘴唇的轮廓区域的色值分布，确定所述嘴唇的颜色值。
本申请实施例的第二方面提供一种物品推荐装置，包括：
获取模块，用于获取待检测图片，所述待检测图片中包括目标对象；
处理模块，用于采用目标检测算法确定所述待检测图片中所述目标对象的检测区域；
采用图像分割算法对所述目标对象的检测区域进行目标与背景分割，得到所述目标对象的轮廓区域；
分析所述目标对象的轮廓区域的色值分布，确定所述目标对象的颜色值。
推送模块，用于推送相同颜色值的所述目标对象对应的物品。
在本申请的一个实施例中，处理模块，具体用于：
将所述待检测图片输入至特征提取网络，得到多张不同尺度的特征图；
分别对所述多张不同尺度的特征图进行目标检测，得到不同尺度的特征图对应的第一检测结果；
根据所述不同尺度的特征图对应的第一检测结果，确定所述待检测图片的第二检测结果，所述第二检测结果包括所述待检测图片中所述目标对象的检测区域。
在本申请的一个实施例中，所述第一检测结果包括所述目标对象的检测框，以及所述检测框的分类结果；所述处理模块，具体用于：
将所述第一检测结果中所述目标对象的检测框映射至所述待检测图片的对应位置，并通过非极大值抑制NMS，确定所述待检测图片中所述目标对象的检测区域。
在本申请的一个实施例中，所述处理模块，具体用于：
采用Grabcut算法对所述目标对象的检测区域进行目标与背景分割，得到所述目标对象的掩码图像；
基于所述掩码图像从所述目标对象的检测区域中分割出所述目标对象的轮廓区域。
在本申请的一个实施例中，处理模块，具体用于：
获取所述目标对象的轮廓区域的三通道色值的分布直方图；
从所述三通道色值的分布直方图中剔除像素数小于预设像素阈值的颜色值；
获取每个通道的颜色平均值；
将三通道的颜色平均值作为所述目标对象的颜色值。
可选的，所述目标对象包括口红膏体、涂抹口红的嘴唇的至少一项；
在本申请的一个实施例中，若所述待检测图片中包括口红膏体以及涂抹口红的嘴唇，所述处理模块，具体用于：
采用图像分割算法对所述嘴唇的检测区域进行目标与背景分割，得到所述嘴唇的轮廓区域；
分析所述嘴唇的轮廓区域的色值分布，确定所述嘴唇的颜色值。
本申请实施例的第三方面提供一种电子设备，包括：
存储器，处理器，以及计算机程序；
其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如本申请第一方面中任一项所述的方法。
本申请实施例的第四方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现如本申请第一方面中任一项所述的方法。
本申请实施例的第五方面提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如本申请第一方面中任一项所述的方法。
本申请实施例提供一种物品推荐方法、装置、设备及存储介质，其中该方法包括：获取包括目标对象的待检测图片，采用目标检测算法确定待检测图片中目标对象的检测区域，再采用图像分割算法对目标对象的检测区域进行目标与背景分割，得到目标对象的轮廓区域，通过分析目标对象的轮廓区域的色值分布，确定目标对象的颜色值，最终推送相同颜色值的目标对象对应的物品。上述方案利用目标检测以及图像分割算法，检测图片中的目标对象，得到准确率较高的目标对象的轮廓区域，通过对轮廓区域的色值分析，得到目标对象的颜色属性，使得服务器具有基于颜色属性进行物品推荐的功能。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的物品推荐方法的场景示意图；
图2为本申请实施例提供的物品推荐方法的流程示意图；
图3为本申请实施例提供的目标检测网络的一种结构示意图；
图4为本申请实施例提供的非极大值抑制过程的示意图；
图5为本申请实施例提供的采用Grabcut算法分割口红膏体的示意图；
图6为本申请实施例提供的区域色值分析的示意图；
图7为本申请实施例提供的物品推荐装置的结构示意图；
图8为本申请实施例提供的电子设备的硬件结构图。
通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应当理解，本文中使用的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
随着电商平台的不断发展，用户可以方便地在电商平台上选购多品类的物品，如何准确地为用户推荐个性化的物品变得尤为重要。为了提高服务质量，电商平台需要不断优化平台的物品推荐功能。
对于颜色属性比较重要的物品，例如口红、腮红、眉笔、眼线笔等，目前的推荐方案主要是通过用户输入物品的关键词，例如口红的品牌名称、色号等，向用户推荐相关物品的链接。如果用户在观看视频、直播节目，或者浏览网页图片时，对视频画面或图片中的物品，尤其是物品的颜色属性感兴趣，用户仅凭借肉眼难以识别视频画面或图片中物品的具体颜色，无法查询视频画面或图片中物品的相关链接。
针对上述问题，本申请实施例提供一种物品推荐方法，服务器通过用户输入的待检测图片，首先对待检测图片中的目标对象进行目标检测，获取图片中目标对象的检测区域；再针对目标对象的检测区域进行更加精细的目标分割，得到更准确、贴合目标对象边界的轮廓区域(或称为分割图)；最后通过对目标对象的轮廓区域的颜色特征进行色值分析，确定目标对象的颜色值，基于该颜色值从数据库中获取与该颜色值相同的目标对象对应的物品。上述方案实现准确检测物品色值，基于物品色值为用户推荐相似物品，提升了服务器的物品推荐功能。
示例性的，图1为本申请实施例提供的物品推荐方法的场景示意图，如图1所示，本实施例提供的场景中包括终端设备101、102、103，以及服务器104。终端设备101、102、103通过无线网络与服务器104通信连接。终端设备101、102、103上可以安装各种类型的应用程序，例如购物类、社交类、图像处理类应用程序等。用户通过终端设备101、102、103的各类应用程序，从服务器104获取文字、图片、音视频等信息。
终端设备101、102、103可以是具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑、笔记本电脑、台式计算机等。服务器104可以是提供各种网络信息的服务器，例如电商平台服务器，为用户提供各类物品的搜索查询。
下面以具体地实施例对本申请的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
示例性的，图2为本申请实施例提供的物品推荐方法的流程示意图。本实施例提供的物品推荐方法可应用于图1所示的服务器中，如图2所示，本实施例提供的物品推荐方法，包括如下步骤：
步骤101、获取待检测图片，待检测图片中包括目标对象。
本实施例中，待检测图片可以是用户通过终端设备向服务器上传的图片。待检测图片中的目标对象可以是任意以颜色特征为主要特征的物品所对应的对象。具体的，目标对象可以是物品的本体，也可以是使用物品的对象。示例性的，目标对象可以是口红膏体、涂有口红的唇部或手部，还可以是腮红盘、涂有腮红的脸部等。
在本申请的一个实施例中，待检测图片中仅包括一个目标对象，例如待检测图片中包括涂有口红的嘴唇，又例如待检测图片中包括口红膏体。
在本申请的一个实施例中，待检测图片中包括两个目标对象，例如待检测图片中包括涂有口红的嘴唇以及口红膏体。
步骤102、采用目标检测算法确定待检测图片中目标对象的检测区域。
在本申请的一个实施例中，可通过搭建目标检测网络确定待检测图片中目标对象的检测区域，目标检测网络可以使用MobileNet_V2+SSD模型，以MobileNet_V2作为神经网络模型(backbone)，之后采用SSD架构检测目标对象。SSD检测是one-stage目标检测，利用6种分辨率的特征图信息，有利于不同大小的目标检测，可直接产生目标对象的类别概率和位置坐标值，检测速度快。
示例性的，图3为本申请实施例提供的目标检测网络的一种结构示意图，如图3所示，将待检测图片输入MobileNet_V2，得到6种分辨率的特征图，对6种分辨率的特征图进行目标检测，最终输出待检测图片中目标对象的检测框，例如输出待检测图片中的口红膏体的检测框1以及涂有口红的检测框2。
具体的，可通过如下步骤进行目标检测：将待检测图片输入至特征提取网络，得到多张不同尺度的特征图；分别对多张不同尺度的特征图进行目标检测，得到不同尺度的特征图对应的第一检测结果；根据不同尺度的特征图对应的第一检测结果，确定待检测图片的第二检测结果，第二检测结果包括待检测图片中目标对象的检测区域。
其中，特征提取网络可以是ResNet50、ResNet101、MobileNet等主干网络，对此本实施例不作任何限制。
为了提高目标检测的速度和准确率，在一些实施例中，可以采用第二版移动网络(MobileNet_V2)作为特征提取网络，MobileNet_V2是对MobileNet_V1的改进，引入了线性瓶颈(Linear Bottleneck)和倒残差(Inverted Residual)来提供网络的表征能力，是一种轻量级的神经网络。
在得到多张不同尺度的特征图之后，分别对多张不同尺度的特征图进行目标检测，在相应的特征图上分别进行卷积，输出特征图对应的第一检测结果，第一检测结果包括目标对象的检测框(或称为回归框)以及检测框对应的分类结果。其中，检测框对应的分类结果包括类别分数(或称为类别置信度)。示例性的，类别1代表嘴唇，类别2代表口红膏体，某一检测框的类别分数表示为{1：0.9}，表明该检测框中目标对象为嘴唇的置信度为0.9。
需要说明的是，通过特征提取网络得到不同尺度的特征图，不同尺度的特征图对应不同分辨率。分辨率较高的浅层特征图由于具有丰富的细节信息和较小的感受野，适合检测小的目标对象；分辨率较低的深层特征图由于具有较强的语义信息和较大的感受野，适合检测大的目标对象。通过对不同尺度的特征图进行目标检测，可大大提高目标检测的准确率。
在得到不同尺度的特征图对应的第一检测结果之后，可以通过如下方式确定待检测图片的第二检测结果：
将第一检测结果中目标对象的检测框映射至待检测图片的对应位置，并通过非极大值抑制NMS，确定待检测图片中目标对象的检测区域。
本实施例中，非极大值抑制的作用是去掉第一检测结果中重复的检测框。示例性的，图4为本申请实施例提供的非极大值抑制过程的示意图，如图4所示，假设针对待检测图片中同一位置的目标对象，在不同尺度的特征图中分别对应检测框1至6，经坐标转换，将检测框1至6分别映射到待检测图片的坐标系中，得到检测框1′至6′，这些检测框对应的分类结果为同一类别，例如口红膏体，对应的类别分数分别为0.8、0.5、0.7、0.9、0.85。从类别分数最大的检测框5′起，判断检测框5′与其他检测框的重叠度，若重叠度大于或等于预设阈值，则剔除类别分数低的检测框，例如检测框1′至4′、6′与检测框5′的重叠度均大于预设阈值，可剔除检测框1′至4′、6′，仅保留检测框5′。通过上述过程确定待检测图片中目标对象的最终检测框。
应理解，得到目标对象的检测区域后，还不能直接使用取色算法，需要对检测区域内感兴趣区域(ROI)进行图像分割，以得到更加准确的目标对象的取色区域。
需要说明的是，本实施例中，用于网络模型训练的标注数据比较容易得到，标注人员只需要标注图片中目标对象的大致区域以及类别即可，这样可以收集较大规模的检测数据集。与语义分割方法提取目标对象轮廓区域的方案相比，减小了标注人员的工作量。
步骤103、采用图像分割算法对目标对象的检测区域进行目标与背景分割，得到目标对象的轮廓区域。
在本申请的一个实施例中，可采用Grabcut算法对目标对象的检测区域进行目标与背景分割，得到目标对象的掩码图像；基于掩码图像从目标对象的检测区域中分割出目标对象的轮廓区域。
其中，掩码图像为二值图像，如果像素灰度大于或等于预设阈值，该像素的灰度值为0，代表黑色；如果像素灰度小于预设阈值，该像素的灰度值为255，代表白色。
示例性的，图5为本申请实施例提供的采用Grabcut算法分割口红膏体的示意图，如图5所示，采用图像分割算法Grabcut将口红膏体部分从背景中分割出来，得到口红膏体的掩码图像，再将口红膏体的掩码图像与原图像对应的像素相乘，得到去除背景部分的口红膏体图。基于同样的原理，还可实现对涂有口红的嘴唇的图像分割。
通过上述目标检测算法得到目标对象的大致检测区域，再通过本步骤的图像分割算法，可剔除检测区域中无关的背景信息，提升后续对目标对象进行色值分析的准确度。
步骤104、分析目标对象的轮廓区域的色值分布，确定目标对象的颜色值。
在本申请的一个实施例中，可通过如下步骤确定目标对象的颜色值：
获取目标对象的轮廓区域的三通道色值的分布直方图；从三通道色值的分布直方图中剔除像素数小于预设像素阈值的颜色值；获取每个通道的颜色平均值；将三通道的颜色平均值作为目标对象的颜色值。
示例性的，图6为本申请实施例提供的区域色值分析的示意图，如图6所示，在得到涂有口红的嘴唇的轮廓区域后，可通过图像直方图确定待检测图片中嘴唇部分的色值分布情况，通过提取色值分布最多区域的平均色度作为嘴唇部分的颜色值，能够较为准确地反映嘴唇的颜色。
图6所示的三个坐标系，从左到右分别表示对左侧嘴唇图像的蓝(b)、绿(g)、红(r)三通道的颜色直方图。其中，横坐标表示灰度值，数值范围为0-255，纵坐标表示像素数。图6中的虚线50为预设像素阈值，舍弃预设像素阈值以下的像素点，分别对三通道的预设像素阈值以上的像素求平均值，得到b＝206，g＝62，r＝89，该色值可视为嘴唇的实际色值。
通过设置预设像素阈值，剔除嘴唇上泛白的高光像素以及上下嘴唇贴合处的深色像素，使得最终提取的目标对象的色值更接近目标对象的实际色值。
步骤105、推送相同颜色值的目标对象对应的物品。
通过上述目标检测算法可得到目标对象的分类结果，例如目标对象为涂有口红的嘴唇，嘴唇对应的物品为口红，通过分析嘴唇的色值，从物品库中推送与嘴唇色值相同的口红产品；又例如目标对象为口红膏体，口红膏体对应的物品为口红，通过分析口红膏体的色值，从物品库中推送与口红膏体色值相同的口红产品。
本实施例提供的物品推荐方法，通过获取包括目标对象的待检测图片，采用目标检测算法确定待检测图片中目标对象的检测区域，再采用图像分割算法对目标对象的检测区域进行目标与背景分割，得到目标对象的轮廓区域，通过分析目标对象的轮廓区域的色值分布，确定目标对象的颜色值，最终推送相同颜色值的目标对象对应的物品。上述方案利用目标检测以及图像分割算法，检测图片中的目标对象，得到准确率较高的目标对象的轮廓区域，通过对轮廓区域的色值分析，得到目标对象的颜色属性，使得服务器具有基于颜色属性进行物品推荐的功能。
基于上述实施例，在一种可能的应用场景中，目标对象包括口红膏体、涂抹口红的嘴唇的至少一项。
若待检测图片中仅包括一种目标对象，例如口红膏体，或者涂抹口红的嘴唇，直接通过上述实施例的方法步骤依次进行目标检测、目标分割、色值分析、物品推荐即可。
若待检测图片中包括口红膏体以及涂抹口红的嘴唇，这两种目标对象均体现了同一物品口红的颜色特征，可通过上述实施例的目标检测算法确定口红膏体的检测区域，以及涂抹口红的嘴唇的检测区域。考虑到口红的实际使用状态，在采用图像分割算法确定目标对象的轮廓区域时，可以仅对涂抹口红的嘴唇的检测区域进行目标与背景分割，得到嘴唇的轮廓区域，分析嘴唇的轮廓区域的色值分布，确定嘴唇的颜色值，将嘴唇的颜色值作为目标对象对应物品的颜色值，进行基于颜色特征的物品推荐。
上述实施例实现对同时包含嘴唇、膏体的口红产品展示图的产品颜色的取色，以及相似口红产品的推荐，提升服务器对各种类型检测图片的识别能力，适用场景更广。
本申请实施例可以根据上述方法实施例对物品推荐装置进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以使用硬件的形式实现，也可以使用软件功能模块的形式实现。需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。下面以使用对应各个功能划分各个功能模块为例进行说明。
示例性的，图7为本申请实施例提供的物品推荐装置的结构示意图。如图7所示，本实施例提供的物品推荐装置200，包括：
获取模块201，用于获取待检测图片，所述待检测图片中包括目标对象；
处理模块202，用于采用目标检测算法确定所述待检测图片中所述目标对象的检测区域；
采用图像分割算法对所述目标对象的检测区域进行目标与背景分割，得到所述目标对象的轮廓区域；
分析所述目标对象的轮廓区域的色值分布，确定所述目标对象的颜色值。
推送模块203，用于推送相同颜色值的所述目标对象对应的物品。
在本申请的一个实施例中，处理模块202，具体用于：
将所述待检测图片输入至特征提取网络，得到多张不同尺度的特征图；
分别对所述多张不同尺度的特征图进行目标检测，得到不同尺度的特征图对应的第一检测结果；
根据所述不同尺度的特征图对应的第一检测结果，确定所述待检测图片的第二检测结果，所述第二检测结果包括所述待检测图片中所述目标对象的检测区域。
在本申请的一个实施例中，所述第一检测结果包括所述目标对象的检测框，以及所述检测框的分类结果；所述处理模块202，具体用于：
将所述第一检测结果中所述目标对象的检测框映射至所述待检测图片的对应位置，并通过非极大值抑制NMS，确定所述待检测图片中所述目标对象的检测区域。
在本申请的一个实施例中，所述处理模块202，具体用于：
采用Grabcut算法对所述目标对象的检测区域进行目标与背景分割，得到所述目标对象的掩码图像；
基于所述掩码图像从所述目标对象的检测区域中分割出所述目标对象的轮廓区域。
在本申请的一个实施例中，处理模块202，具体用于：
获取所述目标对象的轮廓区域的三通道色值的分布直方图；
从所述三通道色值的分布直方图中剔除像素数小于预设像素阈值的颜色值；
获取每个通道的颜色平均值；
将三通道的颜色平均值作为所述目标对象的颜色值。
可选的，所述目标对象包括口红膏体、涂抹口红的嘴唇的至少一项；
在本申请的一个实施例中，若所述待检测图片中包括口红膏体以及涂抹口红的嘴唇，所述处理模块202，具体用于：
采用图像分割算法对所述嘴唇的检测区域进行目标与背景分割，得到所述嘴唇的轮廓区域；
分析所述嘴唇的轮廓区域的色值分布，确定所述嘴唇的颜色值。
本实施例提供的物品推荐装置，可以执行上述任一方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
示例性的，图8为本申请实施例提供的电子设备的硬件结构图，如图8所示，本实施例提供的电子设备300，包括：
存储器301；
处理器302；以及
计算机程序；
其中，计算机程序存储在存储器301中，并被配置为由处理器302执行以实现上述任一方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
可选的，存储器301既可以是独立的，也可以跟处理器302集成在一起。当存储器301是独立于处理器302之外的器件时，电子设备300还包括：总线303，用于连接存储器301和处理器302。
本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器302执行以实现如前述任一方法实施例中的技术方案。
本申请实施例提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如前述任一方法实施例中的技术方案。
本申请实施例还提供了一种芯片，包括：处理模块与通信接口，该处理模块能执行前述方法实施例中的技术方案。
进一步地，该芯片还包括存储模块(如，存储器)，存储模块用于存储指令，处理模块用于执行存储模块存储的指令，并且对存储模块中存储的指令的执行使得处理模块执行前述方法实施例中的技术方案。
应理解，上述处理器可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：Application Specific Integrated Circuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，还可以为U盘、移动硬盘、只读存储器、磁盘或光盘等。
总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component，PCI)总线或扩展工业标准体系结构(ExtendedIndustry Standard Architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。
上述存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。
一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于专用集成电路(Application Specific Integrated Circuits，简称：ASIC)中。当然，处理器和存储介质也可以作为分立组件存在于电子设备中。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例的技术方案的范围。
Claims (10)
1.一种物品推荐方法，其特征在于，包括：
获取待检测图片，所述待检测图片中包括目标对象；
采用目标检测算法确定所述待检测图片中所述目标对象的检测区域；
采用图像分割算法对所述目标对象的检测区域进行目标与背景分割，得到所述目标对象的轮廓区域；
分析所述目标对象的轮廓区域的色值分布，确定所述目标对象的颜色值；
推送相同颜色值的所述目标对象对应的物品。
2.根据权利要求1所述的方法，其特征在于，所述采用目标检测算法确定所述待检测图片中所述目标对象的检测区域，包括：
将所述待检测图片输入至特征提取网络，得到多张不同尺度的特征图；
分别对所述多张不同尺度的特征图进行目标检测，得到不同尺度的特征图对应的第一检测结果；
根据所述不同尺度的特征图对应的第一检测结果，确定所述待检测图片的第二检测结果，所述第二检测结果包括所述待检测图片中所述目标对象的检测区域。
3.根据权利要求2所述的方法，其特征在于，所述第一检测结果包括所述目标对象的检测框，以及所述检测框的分类结果；所述根据所述不同尺度的特征图对应的第一检测结果，确定所述待检测图片的第二检测结果，包括：
将所述第一检测结果中所述目标对象的检测框映射至所述待检测图片的对应位置，并通过非极大值抑制NMS，确定所述待检测图片中所述目标对象的检测区域。
4.根据权利要求1所述的方法，其特征在于，所述采用图像分割算法对所述目标对象的检测区域进行目标与背景分割，得到所述目标对象的轮廓区域，包括：
采用Grabcut算法对所述目标对象的检测区域进行目标与背景分割，得到所述目标对象的掩码图像；
基于所述掩码图像从所述目标对象的检测区域中分割出所述目标对象的轮廓区域。
5.根据权利要求1所述的方法，其特征在于，所述分析所述目标对象的轮廓区域的色值分布，确定所述目标对象的颜色值，包括：
获取所述目标对象的轮廓区域的三通道色值的分布直方图；
从所述三通道色值的分布直方图中剔除像素数小于预设像素阈值的颜色值；
获取每个通道的颜色平均值；
将三通道的颜色平均值作为所述目标对象的颜色值。
6.根据权利要求1-5中任一项所述的方法，其特征在于，所述目标对象包括口红膏体、涂抹口红的嘴唇的至少一项；
若所述待检测图片中包括口红膏体以及涂抹口红的嘴唇，所述采用图像分割算法对所述目标对象的检测区域进行目标与背景分割，得到所述目标对象的轮廓区域，包括：
采用图像分割算法对所述嘴唇的检测区域进行目标与背景分割，得到所述嘴唇的轮廓区域；
相应的，所述分析所述目标对象的轮廓区域的色值分布，确定所述目标对象的颜色值，包括：分析所述嘴唇的轮廓区域的色值分布，确定所述嘴唇的颜色值。
7.一种物品推荐装置，其特征在于，包括：
获取模块，用于获取待检测图片，所述待检测图片中包括目标对象；
处理模块，用于采用目标检测算法确定所述待检测图片中所述目标对象的检测区域；
采用图像分割算法对所述目标对象的检测区域进行目标与背景分割，得到所述目标对象的轮廓区域；
分析所述目标对象的轮廓区域的色值分布，确定所述目标对象的颜色值；
推送模块，用于推送相同颜色值的所述目标对象对应的物品。
8.一种电子设备，其特征在于，包括：
存储器；
处理器；以及
计算机程序；
其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如权利要求1至6中任一项所述的方法。
9.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行以实现如权利要求1至6中任一项所述的方法。
10.一种计算机程序产品，其特征在于，包括计算机程序，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110147802.5A CN113763109A (zh) | 2021-02-03 | 2021-02-03 | 物品推荐方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110147802.5A CN113763109A (zh) | 2021-02-03 | 2021-02-03 | 物品推荐方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113763109A true CN113763109A (zh) | 2021-12-07 |
Family
ID=78786601
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110147802.5A Pending CN113763109A (zh) | 2021-02-03 | 2021-02-03 | 物品推荐方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113763109A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116958510A (zh) * | 2022-04-19 | 2023-10-27 | 广州镭晨智能装备科技有限公司 | 一种目标检测框获取方法、装置、设备及存储介质 |
| CN117436989A (zh) * | 2023-11-06 | 2024-01-23 | 海通证券股份有限公司 | 物品搭配推荐方法、装置、电子设备和存储介质 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1510973A2 (en) * | 2003-08-29 | 2005-03-02 | Samsung Electronics Co., Ltd. | Method and apparatus for image-based photorealistic 3D face modeling |
| CN104376551A (zh) * | 2014-08-25 | 2015-02-25 | 浙江工业大学 | 一种融合区域生长和边缘检测的彩色图像分割方法 |
| CN105184763A (zh) * | 2014-06-23 | 2015-12-23 | 索尼公司 | 图像处理方法和装置 |
| CN108648233A (zh) * | 2018-03-24 | 2018-10-12 | 北京工业大学 | 一种基于深度学习的目标识别与抓取定位方法 |
| WO2018201662A1 (zh) * | 2017-05-05 | 2018-11-08 | 广州视源电子科技股份有限公司 | 嘴唇渲染颜色的方法、装置及电子设备 |
| CN110099298A (zh) * | 2018-01-29 | 2019-08-06 | 北京三星通信技术研究有限公司 | 多媒体内容处理方法及终端设备 |
| CN110400254A (zh) * | 2019-07-24 | 2019-11-01 | 深圳乐信软件技术有限公司 | 一种口红试妆方法及装置 |
| CN110458173A (zh) * | 2019-08-16 | 2019-11-15 | 京东数字科技控股有限公司 | 用于生成物品颜色值的方法和装置 |
| CN111047669A (zh) * | 2019-12-11 | 2020-04-21 | 广州品唯软件有限公司 | 一种取色方法及装置 |
| CN111652158A (zh) * | 2020-06-04 | 2020-09-11 | 浙江大华技术股份有限公司 | 目标对象的检测方法和装置、存储介质及电子装置 |
| CN111783797A (zh) * | 2020-06-30 | 2020-10-16 | 杭州海康威视数字技术股份有限公司 | 目标检测方法、装置及存储介质 |
-
2021
- 2021-02-03 CN CN202110147802.5A patent/CN113763109A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1510973A2 (en) * | 2003-08-29 | 2005-03-02 | Samsung Electronics Co., Ltd. | Method and apparatus for image-based photorealistic 3D face modeling |
| CN105184763A (zh) * | 2014-06-23 | 2015-12-23 | 索尼公司 | 图像处理方法和装置 |
| CN104376551A (zh) * | 2014-08-25 | 2015-02-25 | 浙江工业大学 | 一种融合区域生长和边缘检测的彩色图像分割方法 |
| WO2018201662A1 (zh) * | 2017-05-05 | 2018-11-08 | 广州视源电子科技股份有限公司 | 嘴唇渲染颜色的方法、装置及电子设备 |
| CN110099298A (zh) * | 2018-01-29 | 2019-08-06 | 北京三星通信技术研究有限公司 | 多媒体内容处理方法及终端设备 |
| CN108648233A (zh) * | 2018-03-24 | 2018-10-12 | 北京工业大学 | 一种基于深度学习的目标识别与抓取定位方法 |
| CN110400254A (zh) * | 2019-07-24 | 2019-11-01 | 深圳乐信软件技术有限公司 | 一种口红试妆方法及装置 |
| CN110458173A (zh) * | 2019-08-16 | 2019-11-15 | 京东数字科技控股有限公司 | 用于生成物品颜色值的方法和装置 |
| CN111047669A (zh) * | 2019-12-11 | 2020-04-21 | 广州品唯软件有限公司 | 一种取色方法及装置 |
| CN111652158A (zh) * | 2020-06-04 | 2020-09-11 | 浙江大华技术股份有限公司 | 目标对象的检测方法和装置、存储介质及电子装置 |
| CN111783797A (zh) * | 2020-06-30 | 2020-10-16 | 杭州海康威视数字技术股份有限公司 | 目标检测方法、装置及存储介质 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116958510A (zh) * | 2022-04-19 | 2023-10-27 | 广州镭晨智能装备科技有限公司 | 一种目标检测框获取方法、装置、设备及存储介质 |
| CN116958510B (zh) * | 2022-04-19 | 2024-05-28 | 广州镭晨智能装备科技有限公司 | 一种目标检测框获取方法、装置、设备及存储介质 |
| CN117436989A (zh) * | 2023-11-06 | 2024-01-23 | 海通证券股份有限公司 | 物品搭配推荐方法、装置、电子设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Kim et al. | Salient region detection via high-dimensional color transform | |
| US20210256258A1 (en) | Method, apparatus, and computer program for extracting representative characteristics of object in image | |
| CN111881913A (zh) | 图像识别方法及装置、存储介质和处理器 | |
| CN109299639B (zh) | 一种用于表情识别的方法和装置 | |
| KR20210149848A (ko) | 피부질 검출 방법, 피부질 등급 분류 방법, 피부질 검출 장치, 전자 기기 및 저장 매체 | |
| CN108549870A (zh) | 一种对物品陈列进行鉴别的方法及装置 | |
| CN114144813A (zh) | 机器图像颜色提取和使用提取的颜色的机器图像构造 | |
| CN106507199A (zh) | 电视节目推荐方法及装置 | |
| CN108805838B (zh) | 一种图像处理方法、移动终端及计算机可读存储介质 | |
| US20090148043A1 (en) | Method for extracting text from a compound digital image | |
| CN110610509A (zh) | 可指定类别的优化抠图方法及系统 | |
| CN113763109A (zh) | 物品推荐方法、装置、设备及存储介质 | |
| McBride et al. | A comparison of skin detection algorithms for hand gesture recognition | |
| CN109903265B (zh) | 一种图像变化区域侦测阀值设定方法、系统及其电子装置 | |
| CN112464797A (zh) | 一种吸烟行为检测方法、装置、存储介质及电子设备 | |
| CN110969602B (zh) | 一种图像清晰程度检测方法及装置 | |
| CN113298753A (zh) | 敏感肌的检测方法、图像处理方法、装置及设备 | |
| CN113436222A (zh) | 图像处理方法、图像处理装置、电子设备及存储介质 | |
| CN112200844A (zh) | 生成图像的方法、装置、电子设备及介质 | |
| US9552531B2 (en) | Fast color-brightness-based methods for image segmentation | |
| CN111598600A (zh) | 多媒体资讯推送方法及系统、终端设备 | |
| CN117392698A (zh) | 手绘电路图的识别方法、装置、设备和存储介质 | |
| Fan et al. | Two-stage salient region detection by exploiting multiple priors | |
| CN116311290A (zh) | 基于深度学习的手写及打印文本检测方法和装置 | |
| CN115131582A (zh) | 基于形态学识别模板匹配的目标识别方法、装置及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |