CN104572680A - 基于颜色矩的衣服检索方法 - Google Patents

Abstract

本发明涉及一种基于颜色矩的衣服检索方法，依次包括以下步骤：（1）输入待检索衣服图片，对其进行预处理，得到预定像素的图片；（2）将所述预定像素的图片均分为K块；（3）对于每个块，将其中每个像素由RGB颜色空间转换到HSV颜色空间，并将每个像素值进行归一化操作，进而计算该块的颜色矩；（4）级联待检索衣服图片的K块颜色矩，得到该图片的颜色特征， 即为待检索衣服图片的级联颜色矩向量；（5）遍历衣服库的颜色特征数据库中的所有颜色特征，与待检索衣服图片的级联颜色矩向量进行相似性计算和比较。本发明方法采用级联的颜色矩局部特征，检索准确率大为提高。

Description

基于颜色矩的衣服检索方法

技术领域本发明涉及图像检索技术领域，尤其涉及衣服图片的检索技术。

技术背景基于内容的图像检索(CBIR)，指的是查询条件本身就是一幅图像（或者是对于图像内容的描述），它建立索引的方式是通过提取图像特征，然后通过计算比较这些特征和查询条件之间的距离，来决定两幅图像的相似程度。这里，图像内容的描述及提取不再依赖于人的手工标注，而是借助于从图像中自动提取的视觉特征，检索过程也不再是关键字匹配，而是视觉特征间的相似匹配。基于内容的图像检索常用的视觉特征包括颜色特征、纹理特征及形状特征。

目前衣服检索技术大都是基于内容进行检索。衣服检索包括两个过程：线下建库索引及在线查询。对衣服库中的图片进行特征提取，并对特征进行聚类，建立索引。在线查询，为对单独输入的一张衣服图片进行特征提取，然后在索引中查询。得到的结果根据特征向量的相似度进行排序。各种检索技术主要不同点体现在图片特征选取上。通常图片特征分为：颜色特征、形状特征及纹理特征。衣服检索常用的为颜色特征及纹理特征。另外特征还分为全局特征及局部特征。目前基本上采用的是局部特征或全局特征结合局部特征的方法。

颜色特征是衣服最直接、最重要的特征，因此对于衣服的检索，对颜色特征的研究尤为重要。常用的颜色特征有颜色直方图、颜色集、颜色矩和颜色相关图等。目前最常用基于HSV的颜色直方图特征或HSV颜色直方图及纹理特征结合，但检索效果不理想。

发明内容本发明要解决的技术问题是避免现有技术中的不足，而提出一种基于颜色矩的衣服检索方法。

本发明采用的技术方案如下：提出一种基于颜色矩的衣服检索方法，依次包括以下步骤：

（1）输入待检索衣服图片，对其进行预处理，得到预定像素M*N的图片；

（2）将所述M*N像素的图片均分，每个块大小为a*b像素，分为K块，K为((M/a)*(N/b)；

（3）对于每个块，将其中每个像素由RGB颜色空间转换到HSV颜色空间，并将每个像素的H（0-360），S（0-1），V（0-255）值进行归一化操作，即H/360，V/255，进而计算该块的颜色矩；

（4）级联待检索衣服图片的K块颜色矩，得到L=9*K维的级联颜色矩，即为该图片的颜色特征，Q(q₀,q₁,...q_L-1)即为待检索衣服图片的级联颜色矩向量；

（5）遍历衣服库的颜色特征数据库中的所有颜色特征，跟待检索衣服图片的级联颜色矩向量Q(q₀,q₁,...q_L-1)进行相似性计算和比较，并根据颜色特征相似度进行排序，得到最相似的图像，即完成了图像检索过程。

进一步地，所述衣服库的颜色特征数据库的构建包括以下步骤：

（1）对衣服库中的一衣服图片进行预处理，得到预定像素M*N的图片；

（2）将预处理后的M*N像素的衣服图片均分为块，每个块大小为a*b像素，分为K块，K为((M/a)*(N/b)；

（3）对于每个块，将其中每个像素由RGB颜色空间转换到HSV颜色空间，并将每个像素的H（0-360），S（0-1），V（0-255）值进行归一化操作，即H/360，V/255，进而计算该块的颜色矩；

（4）级联衣服图片K=((M/a)*(N/b)个分块的颜色矩，得到L=9*K维的级联颜色矩，即为该图片的颜色特征。

（5）遍历衣服库中其他各张图片，按以上四个步骤得到其他各张图片的级联颜色矩向量，最后得到衣服库的颜色特征数据库。

颜色矩包括一次矩、二次矩及三次矩，定义第j张图片第i通道的像素为p_ij，

一次矩为:

$E_i=\underset{j=1}{\overset{N}{\mathrm{\Σ}}}\frac{1}{N}{p}_{\mathrm{ij}}$

二次矩为：

${\mathrm{\σ}}_i=\sqrt{\left(\frac{1}{N}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{(p_{\mathrm{ij}}-E_i)}^2\right)}$

三次矩为：

$s_i=\sqrt[3]{\left(\frac{1}{N}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{(p_{\mathrm{ij}}-E_i)}^3\right)}$

那么第k张图片的颜色矩为(E_k1,σ_k1,s_k1,E_k2,σ_k2,s_k2,E_k3,σ_k3,s_k3)。

进一步地，对衣服图片的预处理包括以下步骤：先对衣服图片进行直方图均衡化，然后进行前景提取，并保持前景提取的区域为图片，最终缩放保存的图片为预定像素M*N的规格。

所述前景提取采用自动Grabcut算法，批量处理图片；自动Grabcut算法在Grabcut算法的基础上通过提前设定Grabcut参数实现，提前设定前景提取的矩形区域为图片中以（0.05*width，0.05*height）、（0.95*width，0.95*height）为对角定点的矩形区域。

进一步地，所述颜色特征相似度公式为：

$D\left(Q,P\right)=\underset{i=0}{\overset{L-1}{\mathrm{\Σ}}}|q_i-p_i|$

Q为查询图片(q₀,q₁,...q_L-1)，P为图片库中任意图片(p₀,p₁,...p_L-1)，L为级联颜色矩的维度，这里L=9*K。

本专利方法，采用级联的颜色矩局部特征，相比基于常用的HSV、颜色相关图和颜色矩等颜色特征的衣服检索方法，具有以下技术效果：（1）自动grabcut的前景提取，剔除了背景对检索准确率的影响；（2）缩放所有库中图片的大小为设定大小，并对图片进行均分，从而级联局部颜色矩向量；检索准确率大为提高。

附图说明

图1是本发明基于颜色矩的衣服检索方法对衣服进行预处理的流程示意图；

图2是所述衣服检索方法关于得到衣服图片库中所有衣服图片颜色特征库的流程示意图；

图3是所述衣服检索方法实施例的流程示意图。

具体实施方式以下结合附图对优选实施例进行详细描述。

如图1所示，对检索衣服图片及库中衣服图片的预处理过程如下：

（1）对图片进行直方图均衡化

将图片的每个像素由RGB颜色转换到HSV颜色空间，然后单独对V通道进行直方图均衡化，然后再从HSV颜色空间转换回对RGB颜色空间。

（2）进行前景提取

我们使用常用的前景提取算法Grabcut，我们采用自动Grabcut，提前设定参数。这样在批量处理图片的过程中，不需要人工干预，我们设定矩形为衣服图片0.9比例大小。

（3）将前景提取的区域保存为图片

前景提取后，得到衣服图像的前景区域，提取效果好的话，刚好即为图片中衣服区域。遍历衣服区域的所有像素，计算像素x方向最小的坐标值minX，及最大的坐标值maxX，及y方向最小的坐标值minY及y方向最大的坐标值maxY。然后保存以坐标（minX,minY）及（maxX，maxY）为对角的矩形区域为图像。例如：提前设定前景提取的矩形区域为图片中以（0.05*width，0.05*height）、（0.95*width，0.95*height）为对角定点的矩形区域。

（4）将提取的衣服区域进一步规格化为M*N大小的图片

其中宽度为M pixel，高度为N pixel。

如图2所示，衣服库颜色特征数据库建立包括以下步骤：

（1）对图片库中的衣服图片进行预处理（如上所述）。

（2）将预处理的衣服图片（size：M*N）进行分块，每个块大小为a*b，分为K=((M/a)*(N/b)个块。

（3）对于每个块，将其中每个像素由RGB颜色空间转换到HSV颜色空间，并将每个像素的H（0-360），S（0-1），V（0-255）值进行归一化操作，即H/360，V/255，这样保证每个像素H,S,V的取值都在区间[0,1]，进而计算该块的颜色矩（9维度）。一个通道有3个矩，包括一次矩（Mean）、二次矩（Standard Deviation）及三次矩（Skewness）。我们定义第j张图片第i通道的像素为p_ij。

颜色矩定义：

MOMENT 1-Mean:

$E_i=\underset{j=1}{\overset{N}{\mathrm{\Σ}}}\frac{1}{N}{p}_{\mathrm{ij}}$

MOMENT 2-Standard Deviation

${\mathrm{\σ}}_i=\sqrt{\left(\frac{1}{N}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{(p_{\mathrm{ij}}-E_i)}^2\right)}$

MOMENT 3-Skewness

$s_i=\sqrt[3]{\left(\frac{1}{N}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{(p_{\mathrm{ij}}-E_i)}^3\right)}$

那么第k张图片的颜色矩为(E_k1,σ_k1,s_k1,E_k2,σ_k2,s_k2,E_k3,σ_k3,s_k3)。

（4）级联衣服图片K=((M/a)*(N/b)个分块的颜色矩，得到L=9*K维的级联颜色矩，即为该图片的颜色特征。

如下(p₀,p₁,...p_L-1)即为级联颜色矩向量。

$\left.\begin{array}{c}\\ (E_{\mathrm{1,1}},{\mathrm{\σ}}_{\mathrm{1,1}},s_{k,1},E_{\mathrm{1,2}},{\mathrm{\σ}}_{\mathrm{1,2}},s_{\mathrm{1,2}},E_{\mathrm{1,3}},{\mathrm{\σ}}_{\mathrm{1,3}},s_{\mathrm{1,3}})\\ (E_{\mathrm{2,1}},{\mathrm{\σ}}_{\mathrm{2,1}},s_{\mathrm{2,1}},E_{\mathrm{2,2}},{\mathrm{\σ}}_{\mathrm{2,2}},s_{\mathrm{2,2}},E_{2,3},{\mathrm{\σ}}_{\mathrm{2,3}},s_{\mathrm{2,3}})\\ .\\ .\\ .\\ (E_{\mathrm{32,1}},{\mathrm{\σ}}_{\mathrm{32,1}},s_{\mathrm{32,1}},E_{\mathrm{32,2}},{\mathrm{\σ}}_{\mathrm{32,2}},s_{\mathrm{32,2}},E_{\mathrm{32,3}},{\mathrm{\σ}}_{\mathrm{32,3}},s_{\mathrm{32,3}})\end{array}\right\}\⇒(p_0,p_1,...p_{L-1})$

（5）遍历库中每张图片，按以上四个步骤得到级联颜色矩向量。

如图3所示，衣服检索过程包括以下步骤：

（1）对于输入的待检索图片，对其进行预处理，得到M*N规格的图片。

（2）将预处理的衣服图片（size：M*N）进行分块，每个块大小为a*b，分为K=((M/a)*(N/b)个块。

（3）对于每个块，将其中每个像素由RGB颜色空间转换到HSV颜色空间，并将每个像素的H（0-360），S（0-1），V（0-255）值进行归一化操作，即H/360，V/255，进而计算该块的颜色矩（9维度）。

（4）级联衣服图片K=((M/a)*(N/b)个分块的颜色矩，得到L=9*K维的级联颜色矩，即为该图片的颜色特征。Q(q₀,q₁,...q_L-1)即为级联颜色矩向量。

（5）遍历库中的所有颜色特征，跟Q(q₀,q₁,...q_L-1)进行相似性计算，并进行比较，从而可以根据相似度值得排序，得到最相似的图像，即完成了图像检索过程。

相似度的计算公式：

$D(Q,P)=\underset{i=0}{\overset{L-1}{\mathrm{\Σ}}}|q_i-p_i|$

Q为查询图片(q₀,q₁,...q_L-1)，P为图片库中任意图片(p₀,p₁,...p_L-1)，L为级联颜色矩的维度，这里L=9*K。

上述M和N可分别取值为64和128，a和b可分别取值为16和16，这样K等于8，L等于288。

以上内容是结合具体的优选技术方案对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，所做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (7)

1.一种基于颜色矩的衣服检索方法，依次包括以下步骤：

（1）输入待检索衣服图片，对其进行预处理，得到预定像素的图片；

（2）将所述预定像素的图片均分为K块；

（3）对于每个块，将其中每个像素由RGB颜色空间转换到HSV颜色空间，并将每个像素的H（0-360），S（0-1），V（0-255）值进行归一化操作，即H/360，V/255，进而计算该块的颜色矩；

（4）级联待检索衣服图片的K块颜色矩，得到L=9*K维的级联颜色矩，即为该图片的颜色特征，Q(q₀,q₁,...q_L-1)即为待检索衣服图片的级联颜色矩向量；

（5）遍历衣服库的颜色特征数据库中的所有颜色特征，与待检索衣服图片的级联颜色矩向量Q(q₀,q₁,...q_L-1)进行相似性计算和比较，并根据颜色特征相似度进行排序，得到最相似的图像，即完成了图像检索过程。

2.如权利要求1所述的基于颜色矩的衣服检索方法，其特征在于：所述衣服库的颜色特征数据库的构建包括以下步骤：

（1）对衣服库中的一衣服图片进行预处理，得到预定像素的图片；

（2）将预处理后的预定像素的衣服图片均分为K块；

（3）对于每个块，将其中每个像素由RGB颜色空间转换到HSV颜色空间，并将每个像素的H（0-360），S（0-1），V（0-255）值进行归一化操作，即H/360，V/255，进而计算该块的颜色矩；

（4）级联衣服图片的K块颜色矩，得到L=9*K维的级联颜色矩，即为该图片的颜色特征；

（5）遍历衣服库中其他各张图片，按以上四个步骤得到其他各张图片的级联颜色矩向量，最后得到衣服库的颜色特征数据库。

3.如权利要求2所述的基于颜色矩的衣服检索方法，其特征在于：颜色矩包括一次矩、二次矩及三次矩，定义第j张图片第i通道的像素为p_ij，

一次矩为:

$E_i=\underset{j=1}{\overset{N}{\mathrm{\Σ}}}\frac{1}{N}{p}_{\mathrm{ij}}$

二次矩为：

${\mathrm{\σ}}_i=\sqrt{\left(\frac{1}{N}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{(p_{\mathrm{ij}}-E_i)}^2\right)}$

三次矩为：

$s_i=\sqrt[3]{\left(\frac{1}{N}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{(p_{\mathrm{ij}}-E_i)}^3\right)}$

那么第k张图片的颜色矩为(E_k1,σ_k1,s_k1,E_k2,σ_k2,s_k2,E_k3,σ_k3,s_k3)。

4.如权利要求1或2所述的基于颜色矩的衣服检索方法，其特征在于，对衣服图片的预处理包括以下步骤：先对衣服图片进行直方图均衡化，然后进行前景提取，并保持前景提取的区域为图片，最终缩放保存的图片为预定像素的规格。

5.如权利要求3所述的基于颜色矩的衣服检索方法，其特征在于：所述前景提取采用自动Grabcut算法，批量处理图片；自动Grabcut算法在Grabcut算法的基础上通过提前设定Grabcut参数实现。

6.如权利要求5所述的基于颜色矩的衣服检索方法，其特征在于：提前设定前景提取的矩形区域为图片中以（0.05*width，0.05*height）、（0.95*width，0.95*height）为对角定点的矩形区域。

7.如权利要求1所述的基于颜色矩的衣服检索方法，其特征在于：所述颜色特征相似度公式为：

$D\left(Q,P\right)=\underset{i=0}{\overset{L-1}{\mathrm{\Σ}}}|q_i-p_i|$

Q为查询图片(q₀,q₁,...q_L-1)，P为图片库中任意图片(p₀,p₁,...p_L-1)，L为级联颜色矩的维度，这里L=9*K。