CN110569859B - 一种服装图像的颜色特征提取方法 - Google Patents

Abstract

本发明公开了一种服装图像的颜色特征提取方法，至少包括以下步骤：S1、提供RGB格式的服装图像；S2、采用实例分割模型提取所述服装图像中服装所在的前景像素区域；S3、将所述前景像素区域的RGB像素值转到HSV空间，然后进行剔除肤色处理；S4、将S3中得到的前景像素区域进行提取超像素；S5、将S4中得到的所述超像素转换到CIELab空间；S6、使用DBSCAN算法对S5中得到的超像素聚类，得到超像素的聚类簇集合；S7、取每个簇T_n内超像素值的近似众数作为簇T_n的表征颜色C_n；S8、基于S7中得到的颜色特征F进行计算所述服装图像之间的相似度。

Description

一种服装图像的颜色特征提取方法

技术领域

本发明属于数字图像处理技术领域，涉及一种服装图像的颜色特征提取方法。

背景技术

互联网电商平台飞速发展，服装类商品的交易量巨大。电商平台上的商品详情页是展示商品卖点的重要载体。通常服装类商品存在多种颜色的子款，在商品详情页中经常需要把相同颜色子款的多张展示图连续摆放。所以，在计算机自动化制作商品详情页的软件中，需要依据服装颜色特征对原始图片进行聚类，划分成各服装的子款图集。而其先决条件是要提取图片中服装的颜色特征。此外，在相同或相似服装检索的系统中，服装颜色也是非常重要的基础特征。

常用的颜色特征提取算法有颜色直方图算法、累加颜色直方图算法、颜色矩算法等。其中，颜色直方图具有旋转和平移不变性等优点。用颜色直方图直接表示服装图像的颜色特征是有严重缺陷的，最致命的问题是服装图像的存在复杂的背景干扰。电商平台上的商品详情页中，服装都是由真人穿戴，在外景或室内拍摄的，背景如沙滩、大海、天空、街道、广告牌、车辆、绿地、植物和各种艺术墙面等等。目前，存在一些传统的去除背景干扰的方法。例如用Canny算子获取服装边缘，或者假定图像四角为背景基于floodfill算法提取背景等等。但这些传统方法的效果不佳。另外，服装摄影实践中，受拍摄场景光照、人体表弧面和服装褶皱的影响，导致图中服装细节上存在阴影和色差，也会导致聚类不准确。

与本发明相关的现有技术2010年5月26日公布、公布号为101714257A的中国发明专利申请“图像主颜色特征提取和结构化描述的方法”公开了一种图像主颜色特征提取和结构化描述的方法，包括以下步骤:1.输入待处理图像；2.选择颜色空间；3.在颜色空间中对图像颜色进行量化；4.计算归一化的颜色直方图并得到每种颜色的像素数目占整个图像像素数目的百分比；5.根据百分比获取图像的主颜色；6.计算主颜色方差和空间相关性；7.对图像主颜色特征进行编码并得到关于图像主颜色特征的描述。缺点：该发明对图像全局颜色的进行统计，并没有对目标区域进行颜色提取。如果应用到服装主要颜色提取这个应用场景，提取的颜色无法排除背景干扰。

发明内容

为了解决上述技术问题，本发明提供了一种服装图像的颜色特征提取方法，至少包括以下步骤：

S1、提供RGB格式的服装图像；

S2、采用实例分割模型提取所述服装图像中服装所在的前景像素区域；

S3、将所述前景像素区域的RGB像素值转到HSV空间，然后进行剔除肤色处理；

S4、将S3中得到的前景像素区域进行提取超像素；

S5、将S4中得到的所述超像素转换到CIELab空间；

S6、使用DBSCAN算法对S5中得到的超像素聚类，得到超像素的聚类簇集合T,T＝{T₁，T₂，T₃…T_n}，n是聚类簇数量，T_n是近似超像素的集合；

S7、取每个簇T_n内超像素值的近似众数作为簇T_n的表征颜色C_n，取簇T_n内超像素的频数为M_n，F_n＝(C_n,M_n)；汇总所有聚类簇的表征颜色和频数，得到颜色特征F＝{F₁,F₂,F₃…F_n}＝{(C₁,M₁),(C₂,M₂),(C₃,M₃)…(C_n,M_n)}；

S8、基于S7中得到的颜色特征F进行计算所述服装图像之间的相似度。

优选地，所述的实例分割模型为Mask R-CNN。

优选地，所述颜色特征相似度的计算方法，至少包括以下步骤：

所述颜色特征相似度的计算方法，至少包括以下步骤：

提供第一图像和第二图像；

第一图像的颜色特征F1＝{(C₁₁,M₁₁),(C₁₂,M₁₂),(C₁₃,M₁₃)…(C_{max_x},M_{max_x})}；第二图像的颜色特征F2＝{(C₂₁,M₂₁),(C₂,M₂),(C₃,M₃)…(C_{max_y},M_{max_y})}；

将颜色特征中的M分量进行L1范数归一化处理后为逻辑频数，0<M_x<＝1，∑M_x＝1；0<M_y<＝1，∑M_y＝1；

使用曼哈顿距离表示表征颜色C_x和C_y之间的距离d_x,y＝|C_x-C_y|；

构造一个max_x*max_y的矩阵Matrix，Matrix[x,y]的值为d_x,y；

初始化总距离值global_distance＝0；

遍历Matrix，找到颜色距离d_x,y最小的x,y；

F_x隶属于第一个图像的特征F1，F_y隶属于第二个图像的特征F2；

计算F_x和F_y的距离＝min(M_x,M_y)*|C_x-C_y|，并将距离累计到global_distance上；

从F_x和F_y的逻辑频数分量M中同时减去min(M_x,M_y)；若任意一个F的逻辑频数M等于0，此后该F不再参与计算；重复上述步骤；

所述上述步骤为：

遍历Matrix，找到颜色距离d_x,y最小的x,y；

F_x隶属于第一个图像的特征F1，F_y隶属于第二个图像的特征F2；

计算F_x和F_y的距离＝min(M_x,M_y)*|C_x-C_y|，并将距离累计到global_distance上；

从F_x和F_y的逻辑频数分量M中同时减去min(M_x,M_y)；若任意一个F的逻辑频数M等于0，此后该F不再参与计算；

global_distance即为两图的颜色特征序列的距离；

获知global_distance的上届和下届；

相似度的计算方法为：

与现有技术相比，本申请的技术方案的有益效果：

本申请的服装图像的颜色特征提取方法，能够有效的去除背景的干扰；不会受到受拍摄场景光照、人体表弧面和服装褶皱的影响，聚类更准确。经过本方法得到的颜色提取准确率高达100％。

附图说明

图1为服装图像的颜色特征提取方法的流程图；

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例

本实施例公开了一种服装图像的颜色特征提取方法，如图1所示，至少包括以下步骤：

S1、提供RGB格式的服装图像；

本申请的实施例具体的实施过程，首先需要提供一张RGB格式的服装图像。所述的RGB格式是指RGB色彩模式，RGB色彩模式(也翻译为“红绿蓝”)是工业界的一种颜色标准，是通过对红(Red)、绿(Green)、蓝(Blue)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的，RGB即是代表红、绿、蓝三个通道的颜色。

S2、采用实例分割模型提取所述服装图像中服装所在的前景像素区域；

所述实例分割模型可以为本领域技术人员中常用的实例分割模型中的任意一种均可，可以列举的有：Pyramid Scene Parsing Network、Mask R-CNN等。

优选地，所述实例分割模型为Mask R-CNN。

S3、将所述前景像素区域的RGB像素值转到HSV空间，然后进行剔除肤色处理；

在提取服装所在的前景像素区域时，在部分情况下，会将人体的部分皮肤也包括进来，进而影响结果的精准性。对于此情况，本申请的处理方案是剔除皮肤像素，降低人体皮肤带来的干扰。将前景像素区域的RGB像素值转到HSV空间，HSV颜色空间表示为色调(H)饱和度(S)亮度(V)三个分量。其中H对同一颜色属性物体比较稳定和较窄的数值变化范围。人类皮肤的H值在一个较窄的数值范围内变化，具有明显的皮肤聚类性，可以依据这个特征量将皮肤从图像中分类出来。H分量在光照发生变化或者被照射表面的曲度发生变化时候能够保持相对稳定，这个特性能有效的减少人类个体差异、光照条件以及光照角度等因素造成的影响。

S4、将S3中得到的前景像素区域进行提取超像素；

在S3步骤中得到的前景像素区域进行提取超像素，给定算法超参数，保证平均每个超像素包含近k个颜色非常相似的原始像素，得到约

个超像素。该步骤将参与计算的像素数量降低k倍，大幅降低后续算法的空间消耗和时间消耗。

对于现有技术而言，过度缩放原始图像，插值函数会导致像素值变化，提取的衣服颜色与真实衣服颜色有偏差，所以不能将图像缩放到过低分辨率。但像素数量增加会急剧降低后续DBSCAN聚类算法的效率。所以在前景像素区域提取超像素。后续DBSCAN算法的平均时间复杂度为O(nlogn)，最差时间复杂度则为O(n^2)，空间复杂度为O(n^2)。实际项目中取k＝25，因而DBSCAN算法加速了25*log25倍，内存消耗降低625倍。

S5、将S4中得到的所述超像素转换到CIELab空间；

CIELab颜色空间对视觉度量均等，而RGB颜色空间对于视觉感知是非线性的。本申请人发现，将RGB像素转换至CIELab空间更有利于后续聚类。

S6、使用DBSCAN算法对S5中得到的超像素聚类，得到超像素的聚类簇集合T,T＝{T₁，T₂，T₃…T_n}，n是聚类簇数量，T_n是近似超像素的集合；

实际摄影实践中，受场景光照、体表弧面和服装褶皱的影响，即使是同色的服装区域在照片中也存在色差和阴影。这意味着同色服装区域的像素在值空间中呈现不规则形状。在现有技术中，经常使用的是K-means方法，该方法并不能有效的解决上述问题，本申请的技术方案采用的是DBSCAN算法，该DBSCAN算法能够有效的消除因场景光照、体表弧面和服装褶皱等造成的影响。

使用DBSCAN算法对服装前景区域超像素进行聚类，并用二分查找法搜索DBSCAN的超参数，得到聚类结果簇集合。DBSCAN有两个主要参数：核心节点的半径参数和核心节点的最小邻居节点数参数。遍历预定义的第一个参数的值序列，再二分法查找第二个参数，保证聚类结果簇数量小于但接近

个。这个动态搜索参数的过程，可保证聚类结果簇的数量适中且DBSCAN异常点比例小于10％。过多或者过少的聚类结果簇，都会影响颜色特征的表达能力。同时也可进一步降低后续算法的空间消耗和时间消耗。实际项目中取σ＝100。

S7、取每个簇T_n内超像素值的近似众数作为簇T_n的表征颜色C_n，取簇T_n内超像素的频数为M_n，F_n＝(C_n,M_n)；汇总所有聚类簇的表征颜色和频数，得到颜色特征F＝{F₁,F₂,F₃…F_n}＝{(C₁,M₁),(C₂,M₂),(C₃,M₃)…(C_n,M_n)}；

采用密度聚类方法得到的团簇，在空间中可能呈现不规则形状。在颜色空间中不规则的团簇，不能取像素均值作为表征颜色，因为均值可能落在团簇之外。而取团簇中的像素值近似众数，更具有表征作用。近似众数的计算方法如下：

(1)在CIELab空间中，L维度取值范围[0,100]，a维度的取值范围[-128,127]，b维度的取值范围[-128,127]。对L维度其等分为NL份颜色空间区域；a维度等分为Na份颜色空间区域；b维度等分为Nb份颜色空间区域。

(2)对同一单位空间内的像素点，其像素值都归一化为此单位空间的中心像素值，并统计个数。

(3)对于每一颜色簇，用计数最高的中心像素值，设为表征颜色。

S8、基于S7中得到的数据进行计算所述服装图像之间的相似度。

当前得到的颜色特征序列的长度、频数以及表征颜色都存在较大变化范围，并且各簇的表征颜色之间距离不统一，视觉上也有相关性，所以不能看作坐标正交的向量，也不适用几种常规的向量相似度计算公式。本申请的技术方案提供了一种新颖两个簇的计算相似度的方式：

提供第一图像和第二图像；

第一图像的颜色特征F1＝{(C₁₁,M₁₁),(C₁₂,M₁₂),(C₁₃,M₁₃)…(C_{max_x},M_{max_x})}；

第二图像的颜色特征F2＝{(C₂₁,M₂₁),(C₂₂,M₂₂),(C₂₃,M₂₃)…(C_{max_y},M_{max_y})}；

将颜色特征中的M分量进行L1范数归一化处理后为逻辑频数，0<M_x<＝1，∑M_x＝1；0<M_y<＝1，∑M_y＝1；

使用曼哈顿距离表示表征颜色C_x和C_y之间的距离d_x,y＝|C_x-C_y|；该颜色空间的曼哈顿距离上界是常量，定义为uplimit；如果是RGB空间，uplimit则是R,G,B三通道的最大曼哈顿距离。如果是CIELab空间，uplimit则是L,a,b三个通道的最大曼哈顿距离；

构造一个max_x*max_y的矩阵Matrix，Matrix[x,y]的值为d_x,y；

初始化总距离值global_distance＝0；

遍历Matrix，找到颜色距离d_x,y最小的x,y；

F_x隶属于第一个图像的特征F1，F_y隶属于第二个图像的特征F2；

计算F_x和F_y的距离＝min(M_x,M_y)*|C_x-C_y|，并将距离累计到global_distance上；

从F_x和F_y的逻辑频数分量M中同时减去min(M_x,M_y)；若任意一个F的逻辑频数M等于0，此后该F不再参与计算；重复上述步骤；

global_distance即为两图的颜色特征序列的距离；

获知global_distance的上届和下届；

相似度的计算方法为：

global_distance的下届是0，即任何图与自身的距离均为0。global_distance的上界依赖于Color所用颜色空间的最大欧式距离。若Color是RGB颜色空间，则global_distance的上界uplimit等于R、G、B三通道上界总和765。若Color是CIELab颜色空间，则global_distance的上界uplimit为L，a，b三通道的上界总和612。有了上界和下界，可定义两图颜色特征序列的相似度

0<＝Similarity(A,B)<＝1。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (2)

1.一种服装图像的颜色特征提取方法，其特征在于，至少包括以下步骤：S1、提供RGB格式的服装图像；S2、采用实例分割模型提取所述服装图像中服装所在的前景像素区域；S3、将所述前景像素区域的RGB像素值转到HSV空间，然后进行剔除肤色处理；S4、将S3中得到的前景像素区域进行提取超像素；S5、将S4中得到的所述超像素转换到CIELab空间；S6、使用DBSCAN算法对S5中得到的超像素聚类，得到超像素的聚类簇集合T,T＝{T1，T2，T3…Tn}，n是聚类簇数量，Tn是近似超像素的集合；S7、取每个簇Tn内超像素值的近似众数作为簇Tn的表征颜色Cn，取簇Tn内超像素的频数为Mn，Fn＝(Cn,Mn)；汇总所有聚类簇的表征颜色和频数，得到颜色特征F＝{F1,F2,F3…Fn}＝{(C1,M1),(C2,M2),(C3,M3)…(Cn,Mn)}；S8、基于S7中得到的颜色特征F进行计算所述服装图像之间的相似度；

所述颜色特征相似度的计算方法，至少包括以下步骤：提供第一图像和第二图像；

第一图像的颜色特征F1＝{(C₁₁，M₁₁)，(C₁₂，M₁₂)，(C₁₃，M₁₃)...(C_{max_x}，M_{max_x})}；

第二图像的颜色特征F2＝{(C₂₁，M₂₁)，(C₂₂，M₂₂)，(C₂₃，M₂₃)...(C_{max_y}，M_{max_y})}；

将颜色特征中的M分量进行L1范数归一化处理后为逻辑频数，0<Mx<＝1，∑Mx＝1；0<My<＝1，∑My＝1；使用曼哈顿距离表示表征颜色Cx和Cy之间的距离dx,y＝|Cx-Cy|；构造一个max_x*max_y的矩阵Matrix，Matrix[x,y]的值为dx,y；初始化总距离值global_distance＝0；遍历Matrix，找到颜色距离dx,y最小的x,y；Fx隶属于第一个图像的特征F1，Fy隶属于第二个图像的特征F2；计算Fx和Fy的距离＝min(Mx,My)*|Cx-Cy|，并将距离累计到global_distance上；从Fx和Fy的逻辑频数分量M中同时减去min(Mx,My)；若任意一个F的逻辑频数M等于0，此后该F不再参与计算；重复上述步骤；

所述上述步骤为：

遍历Matrix，找到颜色距离d_x，y最小的x,y；

F_x隶属于第一个图像的特征F1，F_y隶属于第二个图像的特征F2；

计算F_x和F_y的距离＝min(M_x,M_y)*|C_x-C_y|，并将距离累计到global_distance上；

从F_x和F_y的逻辑频数分量M中同时减去min(M_x,M_y)；若任意一个F的逻辑频数M等于0，此后该F不再参与计算；

global_distance即为两图的颜色特征序列的距离；获知global_distance的上界和下界；相似度的计算方法为：

若Color是RGB颜色空间，则global_distance的上界uplimit等于R、G、B三通道上界总和765；若Color是CIELab颜色空间，则global_distance的上界uplimit为L，a，b三通道的上界总和612。

2.如权利要求1所述的服装图像的颜色特征提取方法，其特征在于，所述的实例分割模型为Mask R-CNN。

Images