CN104778464A - 一种基于深度卷积神经网络的服装定位检测方法 - Google Patents

Abstract

本发明涉及一种基于深度卷积神经网络的服装定位检测方法，属于图像处理、计算机视觉分析技术领域。该方法通过在输入图像中，合理选取待检测区域ROI；然后，利用深度卷积神经网络对待检测区域进行特征提取；最后，采用LibSVM分类器对所有特征向量进行判断。本发明提供的一种基于深度卷积神经网络的服装定位检测方法能够对待检测图像中服装的进行检测并给出精确定位，可实现智能试、换服装。

Description

一种基于深度卷积神经网络的服装定位检测方法

技术领域

本发明属于图像处理、计算机视觉分析技术领域，涉及一种基于深度卷积神经网络的服装定位检测方法。

背景技术

服装检测系统已成为图像处理、计算机视觉分析领域的新兴应用方向，对服装检测的研究，是智能形象设计的一项关键技术，此技术通过对待检测图像中服装的检测并给出精确定位提示，可实现智能试、换服装，有着巨大的市场应用价值和社会意义。

现阶段国内外诸多国家围绕深度学习神经网络展开了研究，但将此技术应用到服装检测领域的例子还甚少。深度神经网络普遍存在由于待检测ROI区域数量过多而导致的时效性较差问题，以及对于提取特征的方法选取不当，从而极大的束缚了精确度的问题，也都有待于提出更好的解决方案。

发明内容

有鉴于此，本发明的目的在于提供一种基于深度卷积神经网络的服装定位检测方法，能够对待检测图像中服装的进行检测并给出精确定位提示，可实现智能试、换服装。

为达到上述目的，本发明提供如下技术方案：

一种基于深度卷积神经网络的服装定位检测方法，该方法包括以下步骤：

步骤1：在输入图像中，选取待检测区域ROI；

步骤2：利用深度卷积神经网络对待检测区域进行特征提取，得到每一个分割区域rect的特征向量；

步骤3：采用LibSVM分类器对所有特征向量进行判断，选出最后检测结果。

进一步，所述步骤1选取待检测区域ROI，具体包括以下步骤：

定义区域内间距为，

$\mathrm{In}\left(R\right)=\underset{e\∈E}{\max }\mathrm{\ω}\left(e\right),$

其中，ω(e)表示相邻两点之间权值，E表示区域内所有的边；

定义区域间间距为，

$\mathrm{Out}(R_1,R_2)=\underset{p_i\∈R_1,p_j\∈R_2,(p_i,p_j)\∈E}{\min }\mathrm{\ω}(p_i,p_j),$

其中，R表示区域，p表示像素点，E为边的集合；然后执行以下步骤：

步骤1.1：初始化区域；初始化过程的输入为一个有n个像素和m条边的图Img，输出为分割区域rect的集合；

步骤1.2：相似性计算；找出相似性最大的区域max(S)＝{r_i,r_j}；

步骤1.3：区域合并。

进一步，所述步骤1.1初始化区域具体包括以下步骤：

步骤1.1.1：将边按照权重值以降序排列，边的权重值为对应两个像素点像素值差值的绝对值；

ω(p_i,p_j)＝|I(p_i)-I(p_j)|，

其中，I(p_i)和I(p_i)分别表示点p_i和p_j的像素值；

步骤1.1.2：设分割记为Seg(0)，即每个像素自成一个区域；

步骤1.1.3：令k＝1；按照以下的方式由Seg(k-1)构造Seg(k)；

第k条边连接的两个节点为p_i和p_j，如果在Seg(k-1)中p_i和p_j是分别属于两个区域并且第k条边的权重小于两个区域的区域内间距，则合并这两个区域；否则令Seg(k)＝Seg(k-1)；

MIn(R₁,R₂)＝min(In(R₁)+τ(R₁),In(R₂)+τ(R₂))，

τ(R)＝k/|R|，|R|表示区域R的大小；

步骤1.1.4：令k＝k+1，重复步骤1.1.3，直至k＝m；

步骤1.1.5：返回Seg(m)即为所求分割区域rect的集合。

进一步，所述步骤1.2相似性计算，包括以下几个方面的相似性计算：

步骤1.2.1：通过以下公式计算颜色相似性：

$S_{\mathrm{colour}}(r_i,r_j)=\underset{k=1}{\overset{n}{\mathrm{\Σ}}}\min (c_i^k,c_j^k),$

其中，n表示输入图片的颜色直方图区间数目，c为对应区间向量，

步骤1.2.2：通过以下公式计算纹理相似性：

$S_{\mathrm{textute}}(r_i,r_j)=\underset{k=1}{\overset{n}{\mathrm{\Σ}}}\min (t_i^k,t_j^k),$

其中，纹理特征为提取HOG特征，n表示区间数，是所取的bin数与颜色通道数两者的乘积，t为对应区间向量；

步骤1.2.3：通过以下公式计算小区域相似性：

$S_{\mathrm{size}}(r_i,r_j)=1-\frac{\mathrm{size}\left(r_i\right)+\mathrm{size}\left(r_j\right)}{\mathrm{size}\left(\mathrm{Img}\right)},$

其中，size(Img)表示整张输入图片的像素个数；

步骤1.2.4：通过以下公式计算重合区域相似性：

$S_{\mathrm{fill}}(r_i,r_j)=1-\frac{\mathrm{size}\left({\mathrm{BB}}_{\mathrm{ij}}\right)-\mathrm{size}\left(r_i\right)-\mathrm{size}\left(r_j\right)}{\mathrm{size}\left(\mathrm{Img}\right)},$

其中，size(BB_ij)为包含r_i,r_j两个区域的最小外接矩形。

进一步，所述步骤1.3区域合并，具体包括以下步骤：

步骤1.3.1：定义合并区域r_t＝r_i∪r_j，

$C_t=\frac{\mathrm{size}\left(r_i\right)\×C_i+\mathrm{size}\left(r_j\right)\×C_j}{\mathrm{size}\left(r_i\right)+\mathrm{size}\left(r_j\right)},$

size(r_t)＝size(r_i)+size(r_j)，

其中，C_t为将区域r_i，r_j合并后，区域r_t的颜色直方图分布；

步骤1.3.2：从S集合中，移走所有与r_i,r_j相关的数据，s(r_i,r*)，s(r*,r_j)；

步骤1.3.3：计算新集合r_t与所有与它相邻区域的相似性s(r_t,r*)；

步骤1.3.4：R＝R∪r_t；重复步骤1.3.2至步骤1.3.4步骤，直到S集合空为止。

进一步，所述步骤2具体包括以下步骤：

步骤2.1：卷积运算：

g(x,y)＝f(x,y)*c(u,v)+ε(b)，

其中，ε(b)为bias参数，f为原图，c为卷积核；

步骤2.2：池化过程：

首先对相邻的四个像素求和，通过标量W加权，再增加偏置b，然后通过sigmoid激活函数，产生缩小的特征映射图P；

步骤2.3：重复步骤2.1～2.2；直到特征图变为1*1维，进行全连接，最终得到每一个分割区域rect的特征向量。

进一步，所述步骤3具体包括以下步骤：

步骤3.1：LibSVM判断：

采用线性核函数进行计算，公式如下所示：

g(x)＝W·f(x)+b，

其中，W为SVM判别模型，f为特征向量，g为计算所得分数；

步骤3.2：选取MAX：

计算出所有检测框的分值后，选取得分最高的一个分割区域rect，作为最终检测结果，输出到原图上。

本发明的有益效果在于：本发明提供的一种基于深度卷积神经网络的服装定位检测方法，为现有的传统试衣、换衣模式提出新的解决方案。

传统的方法如sliding window限制了步长，以固定的滑动窗口，从上至下，从左至右地遍历整幅图片，因此得到的预检测ROI框数量很多。本发明所述的方法在输入图像中，通过合理选取待检测区域ROI，在进行区域合并，所述检测区域ROI的数量较少，从而解决了待检测ROI区域数量过多而导致的时效性较差问题；很大程度上减低了预检测框的数量，缩短预检测时间，提升了效率。在对待检测区域进行合并时，对于初始化区域的相似性度量，采用相较于SIFT特征更倾向于边缘梯度特征的提取方法，以优化检测精度。

再利用深度卷积神经网络对待检测区域进行特征提取，提高了特征提取的精确度；该方法能够对待检测图像中服装的进行检测并给出精确定位提示，可实现智能试、换服装，有着巨大的市场应用价值。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述，其中：

图1为本发明所述方法的流程图；

图2为实施例中的待检测图片；

图3为实施例中的待检测区域；

图4为实施例中的提取待检测区域特征；

图5为实施例中的检测结果。

具体实施方式

下面将结合附图，对本发明的优选实施例进行详细的描述。

本发明提供的一种基于深度卷积神经网络的服装定位检测方法，如图1所示，该方法包括以下步骤：

步骤1：在输入图像中，选取待检测区域ROI；

定义区域内间距为，

$\mathrm{In}\left(R\right)=\underset{e\∈E}{\max }\mathrm{\ω}\left(e\right),$

即区域中权重最大的边的权重值；其中，ω(e)表示相邻两点之间权值，E表示区域内所有的边；

定义区域间间距如下：

$\mathrm{Out}(R_1,R_2)=\underset{p_i\∈R_1,p_j\∈R_2,(p_i,p_j)\∈E}{\min }\mathrm{\ω}(p_i,p_j),$

即在所有分别属于两个区域且相邻的点对中，寻找权重最小的点对；其中，R表示区域，p表示像素点，E为边的集合；然后执行以下步骤：

步骤1.1：初始化区域；输入检测图片，如图2所示；初始化过程的输入为一个有n个像素和m条边的图Img，输出为分割区域rect的集合；

步骤1.1.1：将边按照权重值以降序排列，只要两个像素相邻，则认为他们之间有边连接；边的权重值为对应两个像素点像素值差值的绝对值；

ω(p_i,p_j)＝|I(p_i)-I(p_j)|，

其中，I(p_i)和I(p_i)分别表示点p_i和p_j的像素值；

步骤1.1.2：设分割记为Seg(0)，即每个像素自成一个区域；

步骤1.1.3：令k＝1；按照以下的方式由Seg(k-1)构造Seg(k)；

即第k条边连接的两个节点为p_i和p_j，如果在Seg(k-1)中p_i和p_j是分别属于两个区域并且第k条边的权重小于两个区域的区域内间距，则合并这两个区域；否则令Seg(k)＝Seg(k-1)；

MIn(R₁,R₂)＝min(In(R₁)+τ(R₁),In(R₂)+τ(R₂))，

MIn(R₁,R₂)表示选取R₁和R₂两个区域中区域内间距较小的那一个；τ(R)＝k/|R|，|R|表示区域R的大小。

当初始化时，区域R即是单一的像素点，所有像素都是“零容忍”只有像素值完全一样才能合并，自然会导致过分割。所以应该给每个像素点设定一个可以容忍的范围，τ(R)用于限定两个区域在多大程度上相似才合并。

步骤1.1.4：令k＝k+1，重复步骤1.1.3，直至k＝m。

步骤1.1.5：返回Seg(m)即为所求分割区域rect的集合。

步骤1.2：相似性计算；找出相似性最大的区域max(S)＝{r_i,r_j}；

步骤1.2.1：通过以下公式计算颜色相似性：

$S_{\mathrm{colour}}(r_i,r_j)=\underset{k=1}{\overset{n}{\mathrm{\Σ}}}\min (c_i^k,c_j^k),$

其中，n表示输入图片的颜色直方图区间数目，c为对应区间向量，

步骤1.2.2：通过以下公式计算纹理相似性：

$S_{\mathrm{textute}}(r_i,r_j)=\underset{k=1}{\overset{n}{\mathrm{\Σ}}}\min (t_i^k,t_j^k),$

其中，纹理特征为提取HOG特征，n表示区间数，是所取的bin数与颜色通道数两者的乘积，t为对应区间向量。

步骤1.2.3：通过以下公式计算小区域相似性：

$S_{\mathrm{size}}(r_i,r_j)=1-\frac{\mathrm{size}\left(r_i\right)+\mathrm{size}\left(r_j\right)}{\mathrm{size}\left(\mathrm{Img}\right)},$

其中，size(Img)表示整张输入图片的像素个数。

步骤1.2.4：通过以下公式计算重合区域相似性：

$S_{\mathrm{fill}}(r_i,r_j)=1-\frac{\mathrm{size}\left({\mathrm{BB}}_{\mathrm{ij}}\right)-\mathrm{size}\left(r_i\right)-\mathrm{size}\left(r_j\right)}{\mathrm{size}\left(\mathrm{Img}\right)},$

其中，size(BB_ij)为包含r_i,r_j两个区域的最小外接矩形。

步骤1.3：区域合并。

所述步骤1.3区域合并，具体包括以下步骤：

步骤1.3.1：定义合并区域r_t＝r_i∪r_j，

$C_t=\frac{\mathrm{size}\left(r_i\right)\×C_i+\mathrm{size}\left(r_j\right)\×C_j}{\mathrm{size}\left(r_i\right)+\mathrm{size}\left(r_j\right)},$

size(r_t)＝size(r_i)+size(r_j)，

其中，C_t为将区域r_i，r_j合并后，区域r_t的颜色直方图分布；

步骤1.3.2：从S集合中，移走所有与r_i,r_j相关的数据，s(r_i,r*)，s(r*,r_j)；

步骤1.3.3：计算新集合r_t与所有与它相邻区域的相似性s(r_t,r*)；

步骤1.3.4：R＝R∪r_t；

重复步骤1.3.2至步骤1.3.4步骤，直到S集合空为止。实施例中部分合并结果如图3所示。

步骤2：利用深度卷积神经网络对待检测区域进行特征提取，得到每一个分割区域rect的特征向量；

上一步中提取出的集合R，即为待检测区rect，下面对每一个rect利用深度卷积神经网络(DCNN)提取特征。

步骤2.1：卷积运算：

g(x,y)＝f(x,y)*c(u,v)+ε(b)，

其中，ε(b)为bias参数，f为原图，c为卷积核；

实验输入图片统一尺寸到224*224大小，卷积核大小为5*5像素，采用7层卷积神经网络，步长为4，由于采用权值共享策略，因此第一层卷积每个Feature map的可训练参数为26个，连接数为44*44*25＝48400个，之后每层以此类推。

步骤2.2：池化过程：

首先对相邻的四个像素求和，通过标量W加权，再增加偏置b，然后通过一个sigmoid激活函数，产生一个大概缩小四倍的特征映射图P；

步骤2.3：重复步骤2.1～2.2；直到特征图变为1*1维，进行全连接，最终得到每一个rect的特征向量。提取的部分特征如图4所示。

步骤3：采用LibSVM分类器对所有特征向量进行判断，选出最后检测结果。

对上一步得到的所有特征向量进行判断，寻求最优答案，并输出结果。

步骤3.1：LibSVM判断

采用线性核函数进行计算，公式如下所示：

g(x)＝W·f(x)+b，

其中，W为SVM判别模型，f为特征向量，g为计算所得分数；

步骤3.2：选取MAX

计算出所有检测框的分值后，选取得分最高的一个分割区域rect，作为最终检测结果，输出到原图上。检测结果如图5所示。

最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。

Claims (7)

1.一种基于深度卷积神经网络的服装定位检测方法，其特征在于：该方法包括以下步骤：

步骤1：在输入图像中，选取待检测区域ROI；

步骤2：利用深度卷积神经网络对待检测区域进行特征提取，得到每一个分割区域rect的特征向量；

步骤3：采用LibSVM分类器对所有特征向量进行判断，选出最后检测结果。

2.根据权利要求1所述的一种基于深度卷积神经网络的服装定位检测方法，其特征在于：

所述步骤1选取待检测区域ROI，具体包括以下步骤：

定义区域内间距为，

$\mathrm{In}\left(R\right)=\underset{e\∈E}{\max }\mathrm{\ω}\left(e\right),$

其中，ω(e)表示相邻两点之间权值，E表示区域内所有的边；

定义区域间间距为，

$\mathrm{Out}(R_1,R_2)=\underset{p_i\∈R_1,p_j\∈R_2,(p_i,p_j)}{\min }\mathrm{\ω}(p_i,p_j),$

其中，R表示区域，p表示像素点，E为边的集合；然后执行以下步骤：

步骤1.1：初始化区域；初始化过程的输入为一个有n个像素和m条边的图Img，输出为分割区域rect的集合；

步骤1.2：相似性计算；找出相似性最大的区域max(S)＝{r_i,r_j}；

步骤1.3：区域合并。

3.根据权利要求2所述的一种基于深度卷积神经网络的服装定位检测方法，其特征在于：所述步骤1.1初始化区域具体包括以下步骤：

步骤1.1.1：将边按照权重值以降序排列，边的权重值为对应两个像素点像素值差值的绝对值；

ω(p_i,p_j)＝|I(p_i)-I(p_j)|，

其中，I(p_i)和I(p_i)分别表示点p_i和p_j的像素值；

步骤1.1.2：设分割记为Seg(0)，即每个像素自成一个区域；

步骤1.1.3：令k＝1；按照以下的方式由Seg(k-1)构造Seg(k)；

第k条边连接的两个节点为p_i和p_j，如果在Seg(k-1)中p_i和p_j是分别属于两个区域并且第k条边的权重小于两个区域的区域内间距，则合并这两个区域；否则令Seg(k)＝Seg(k-1)；

MIn(R₁,R₂)＝min(In(R₁)+τ(R₁),In(R₂)+τ(R₂))，

τ(R)＝k/|R|，|R|表示区域R的大小；

步骤1.1.4：令k＝k+1，重复步骤1.1.3，直至k＝m；

步骤1.1.5：返回Seg(m)即为所求分割区域rect的集合。

4.根据权利要求2所述的一种基于深度卷积神经网络的服装定位检测方法，其特征在于：

所述步骤1.2相似性计算，包括以下几个方面的相似性计算：

步骤1.2.1：通过以下公式计算颜色相似性：

$S_{\mathrm{colour}}(r_i,r_j)=\underset{k=1}{\overset{n}{\mathrm{\Σ}}}\min (c_i^k,c_j^k),$

其中，n表示输入图片的颜色直方图区间数目，c为对应区间向量，

步骤1.2.2：通过以下公式计算纹理相似性：

$S_{\mathrm{textute}}(r_i,r_j)=\underset{k=1}{\overset{n}{\mathrm{\Σ}}}\min (t_i^k,t_j^k),$

其中，纹理特征为提取HOG特征，n表示区间数，是所取的bin数与颜色通道数两者的乘积，t为对应区间向量；

步骤1.2.3：通过以下公式计算小区域相似性：

$S_{\mathrm{size}}(r_i,r_j)=1-\frac{\mathrm{size}\left(r_i\right)+\mathrm{size}\left(r_j\right)}{\mathrm{size}\left(\mathrm{Img}\right)},$

其中，size(Img)表示整张输入图片的像素个数；

步骤1.2.4：通过以下公式计算重合区域相似性：

$S_{\mathrm{foll}}(r_i,r_j)=1-\frac{\mathrm{size}\left({\mathrm{BB}}_{\mathrm{ij}}\right)-\mathrm{size}\left(r_i\right)-\mathrm{size}\left(r_j\right)}{\mathrm{size}\left(\mathrm{Img}\right)},$

其中，size(BB_ij)为包含r_i,r_j两个区域的最小外接矩形。

5.根据权利要求2所述的一种基于深度卷积神经网络的服装定位检测方法，其特征在于：

所述步骤1.3区域合并，具体包括以下步骤：

步骤1.3.1：定义合并区域r_t＝r_i∪r_j，

$C_t=\frac{\mathrm{size}\left(r_i\right)\×C_i+\mathrm{size}\left(r_j\right)\×C_j}{\mathrm{size}\left(r_i\right)+\mathrm{size}\left(r_j\right)},$

size(r_t)＝size(r_i)+size(r_j)，

其中，C_t为将区域r_i，r_j合并后，区域r_t的颜色直方图分布；

步骤1.3.2：从S集合中，移走所有与r_i,r_j相关的数据，s(r_i,r*)，s(r*,r_j)；

步骤1.3.3：计算新集合r_t与所有与它相邻区域的相似性s(r_t,r*)；

步骤1.3.4：R＝R∪r_t；重复步骤1.3.2至步骤1.3.4步骤，直到S集合空为止。

6.根据权利要求1所述的一种基于深度卷积神经网络的服装定位检测方法，其特征在于：

所述步骤2具体包括以下步骤：

步骤2.1：卷积运算：

g(x,y)＝f(x,y)*c(u,v)+ε(b)，

其中，ε(b)为bias参数，f为原图，c为卷积核；

步骤2.2：池化过程：

首先对相邻的四个像素求和，通过标量W加权，再增加偏置b，然后通过sigmoid激活函数，产生缩小的特征映射图P；

步骤2.3：重复步骤2.1～2.2；直到特征图变为1*1维，进行全连接，最终得到每一个分割区域rect的特征向量。

7.根据权利要求1所述的一种基于深度卷积神经网络的服装定位检测方法，其特征在于：

所述步骤3具体包括以下步骤：

步骤3.1：LibSVM判断：

采用线性核函数进行计算，公式如下所示：

g(x)＝W·f(x)+b，

其中，W为SVM判别模型，f为特征向量，g为计算所得分数；

步骤3.2：选取MAX：

计算出所有检测框的分值后，选取得分最高的一个分割区域rect，作为最终检测结果，输出到原图上。