CN110598523B - 一种服装图片的联合颜色分类与分组方法 - Google Patents

Abstract

一种服装图片的联合颜色分类与分组方法，在预先未知组别个数的情况下，所提算法利用完全图对不同图片之间的分组关系进行建模，通过融合从数据中学到的深度特征和丰富的上下文信息实现分组关系的充分表达，并提出了一种基于交替搜索思想的高效推理算法求解服装图片的分组结果。本发明能够融合深度学习特征和丰富的上下文特征进行联合分类与分组；实现分类与分组模型参数的有效训练；快速求解分类与分组的推理优化问题。

Description

一种服装图片的联合颜色分类与分组方法

技术领域

本发明属于计算机视觉中的图像理解领域，涉及一种服装图片的联合分类与分组方法。

背景技术

服装是电子商务的最重要商品之一。在线服装图片展示网页如淘宝详情页，为获得理想的展示效果，需要预先对图片按其所含服装的主色调进行归类，即把同一色系的图片放在同一展示区域。为实现服装图片的自动归类，需要解决两个问题：一是服装主色调的识别，即颜色(主流颜色53种)分类；二是对服装图片按色系(共9个色系，包括红，黄，蓝，绿，黑，白，灰，紫，棕，其中每个色系包含多个相近的颜色)进行分组。已有技术把分组和颜色识别独立对待、分步处理，不能实现二者的联合优化，精度不高。

发明内容

为了克服现有服装分类方式的精度较低的不足，本发明提出了一种用于服装图片颜色分类与分组的完全子图分解方法，能够融合深度学习特征和丰富的上下文特征进行联合分类与分组；实现分类与分组模型参数的有效训练；快速求解分类与分组的推理优化问题。

本发明解决其技术问题所采用的技术方案是：

一种服装图片的联合颜色分类与分组方法，所述方法包括以下步骤：

1)准备用于服装颜色分类与分组的数据集

收集53类颜色的服装图片，其中包括模特展示图片和不含模特图片；使用YOLO训练一个人体检测器，从原始图像中提取人体框，并采用OpenPose估计框中人体的骨架点；默认裁剪从肩部到胯部部分作为训练或测试数据，如果未检测到上体骨架点，则裁取从胯部到膝盖的下装部分作为训练或测试数据；如果未检测到任何人体框，则对图片进行中心裁剪，并把裁剪后的图片作为训练或测试数据；对裁剪后的图片进行人工颜色标注并纠错，获得最终的数据集；基于所建数据集，利用ResNet深度学习模型训练一个服装图片的颜色分类器；

2)构建目标函数

记输入数据为X＝{x₁，...，x_n}，这里x表示一张服装图片，对X进行分组可以表示成

其中k表示分组个数，是一个未知量；对X中的n张图片进行分类，记其类别为Y＝{y₁，...，y_n}，其中第j张图片的类别用y_j表示，为联合预测分组与分类，最小化如下目标函数：

其中w＝[w_l，w_g，w_c]表示模型参数，将通过训练获得；G表示由分组诱导的无向图，其邻接矩阵Z定义如下：若图片j和k属于同一组，z_j，k＝0，反之，z_j，k＝1；

<a，b>表示向量a和b的内积；特征φ、ψ、η分别表示采用卷积网络提取的单张图片特征、两张图片属于不同组别的上下文特征、分配到同一组的两张图片类别之间的兼容性；

3)φ、ψ、η特征表达

将常用颜色分成53个类别，这53个类别进一步分成红、黄、蓝、绿、黑、白、灰、紫、棕九个大类；为计算特征φ∈R²，ψ∈R⁷，η∈R²，使用ResNet训练一个颜色分类器，然后定义以下公式：

η_j，k(y_j，y_k)＝[δ(y_j＝y_k)，1-δ(y_j＝y_k)]，

其中δ(·)表示指示函数，

表示将第i张图片分为y_i∈{1，2，...，53}类对应的Softmax概率，即ResNet网络中Softmax层的概率，

向量尾部的1是为了训练w中的bias参数；在ψ中，g_j，k∈{0，1}表示j和k对应的图像的颜色大类是否相同，相同则g_i，k＝1，反之则g_i，k＝0；κ¹，κ²，κ^e的定义为：

其中，d_j，k是图j和k之间平均HSV颜色距离，采用L2范数，h_j，k表示通过ResNet判别颜色类别后，两个类别的HSV颜色距离，采用L2范数；

4)模型参数训练

准备M组训练数据，记为

每个训练实例包含一组服装图片X及其对应的类别标签Y与组别标签G，为了训练w，求解以下问题：

这里λ＝1150，其中Δ表示的标签损失函数0-1，定义如下：

上述最优化问题等同于最小化如下目标函数：

记

则可以导出目标函数中任意一个实例关于w的次梯度是：

其中(G^*，Y^*)通过求解

获得；

5)训练与预测中的交替搜索推理

定义θ_i(y_i)＝<φ_i(y_i)，w_l>，θ_j，k＝<ψ_j，k，w_g>，θ_j，k(y_j，y_k)＝<η_j，k(y_j，y_k)，w_c>，最小化损失函数(1)转换成以下等价形式：

上式

称问题(3)中的约束为cycle约束，用符号o表示；上述问题是NP完全问题，为高效、近似求解上述问题，提出了一种迭代算法，每次迭代交替搜索Y和Z空间：

5.1)固定Z为当前解Z^*，上述问题简化为

该优化问题利用经典的环信念传播(loopy belief propagation，LBP)算法近似求解。

5.2)固定Y为当前解Y^*，上述问题简化为argmin_Z∑_j，kc_j，kz_j，k，

其中

该问题是一个0-1整数线性规划问题，也是NP完全问题，为了有效的解决这个问题，提出了一个启发式算法：从任意一个初始解

开始，借助启发式规则不断提升分组性能；

从优化问题(3)的任意可行解出发，分组算法不断迭代降低目标函数的值，在迭代过程过记录每个节点的最新内部代价和外部代价之差，并定义变量flag标记任一节点所属的分组是否发生改变，所有变量的flag均初始化为False，有则设定flag为True，无则设定flag为False。在每次的迭代中，对每一对flag均为True的非空组，尝试通过一系列的合并以及移动操作更新这两个组，从而降低目标函数的值，然后更新相关节点的内部和外部代价之差；然后对于每个分组，尝试对其进行划分，从其分出一系列更小的分组，直到该分组不可再分；在每次迭代的最后，更新所有的分组的flag记录所有改动过的分组；另外，还计算所有的更新和分割引起的目标函数的总体下降量，如果该下降值为0则停止迭代。

进一步，所述5.2)中，启发式规则相关的定义和定理。

定义1，内部代价和外部代价：假设C_i＝(N_i，E_i)，C_j＝(N_j，E_j)是集合G中两个不同的组，对于任意节点a∈N_i，其内部代价是所有

的和，记为

外部代价是所有

之和，记为

定义2，合并操作、移动操作：合并操作是将两个节点的集合合并成为一个大的集合；移动操作是将一个集合中的某个节点移动到另外一个集合中；

定理1：C_i和C_j合并之后，公式(3)中目标函数的值降低

证明：记A为(3)中目标函数除C_i和C_j之外的所有代价，那么合并完C_i和C_j之后，总体代价为A，而在合并C_i和C_j之前的总体代价为

求合并前后总体代价的差值即证明该结论；

定理2：将一个节点k从C_i移动到C_j，该移动操作生成的解是可行的，且公式

(3)中目标函数的值降低

证明：由于

是完全图，且优化问题(3)中包含cycle约束，因此移动操作并不改变解的可行性，记B为除

之外的整体代价，则移动操作之前的整体代价为

而在移动之后，整体代价变为

定理得证；

定理3：将一个节点k从C_i移动到C_j，对于任意s∈N_i\{k}，记

I′_i ^s分别表其移动后的外部代价和内部代价，对于任意t∈N_j，记

I′_j ^t分别表示其移动之前的外部代价和内部代价，

I″_j ^t表示t移动后的内部代价和外部代价，则有如下等式成立：

证明：因

所以等式(4)成立，同理得等式(5)成立。

本发明提出了一种具体的用于解决服装图片的联合分组与分类的方法，称之为完全子图分解(complete subgraph decomposition，CSGD)方法。在预先未知组别个数的情况下，所提算法利用完全图对不同图片之间的分组关系进行建模，通过融合从数据中学到的深度特征和丰富的上下文信息实现分组关系的充分表达，并提出了一种基于交替搜索思想的高效推理算法求解服装图片的分组结果。

本发明的有益效果主要表现在：能够融合深度学习特征和丰富的上下文特征进行联合分类与分组；实现分类与分组模型参数的有效训练；快速求解分类与分组的推理优化问题。

具体实施方式

下面对本发明作进一步描述。

一种服装图片的联合颜色分类与分组方法，所述方法包括以下步骤：

1)准备用于服装颜色分类与分组的数据集

收集53类颜色的服装图片，其中包括模特展示图片和不含模特图片。使用YOLO训练一个人体检测器，从原始图像中提取人体框，并采用OpenPose估计框中人体的骨架点。默认裁剪从肩部到胯部部分作为训练或测试数据，如果未检测到上体骨架点，则裁取从胯部到膝盖的下装部分作为训练或测试数据。如果未检测到任何人体框，则对图片进行中心裁剪，并把裁剪后的图片作为训练或测试数据。对裁剪后的图片进行人工颜色标注并纠错，获得最终的数据集。基于所建数据集，利用ResNet深度学习模型训练一个服装图片的颜色分类器。

2)构建目标函数

记输入数据为X＝{x₁，...，x_n}，这里x表示一张服装图片。对X进行分组可以表示成

其中k表示分组个数，是一个未知量。对X中的n张图片进行分类，记其类别为Y＝{y₁，...，y_n}，其中第j张图片的类别用y_j表示。为联合预测分组与分类，最小化如下目标函数：

其中w＝[w_l，w_g，w_c]表示模型参数，将通过训练获得；G表示由分组诱导的无向图，其邻接矩阵Z定义如下：若图片j和k属于同一组，z_j，k＝0，反之，z_j，k＝1；

<a，b>表示向量a和b的内积；特征φ、ψ、η分别表示采用卷积网络提取的单张图片特征、两张图片属于不同组别的上下文特征、分配到同一组的两张图片类别之间的兼容性。

3)φ、ψ、η特征表达

我们将常用颜色分成53个类别，这53个类别进一步分成红、黄、蓝、绿、黑、白、灰、紫、棕九个大类。为计算特征φ∈R²，ψ∈R⁷，η∈R²，我们使用ResNet训练一个颜色分类器，然后定义以下公式：

η_j，k(y_j，y_k)＝[8(y_j＝y_k)，1-8(y_j＝y_k)]，

其中

表示将第i张图片分为y_i∈{1，2，...，53}类对应的Softmax概率，即ResNet网络中Softmax层的概率，

向量尾部的1是为了训练w中的bias参数；在ψ中，g_j，k∈{0，1}表示j和k对应的图像的颜色大类(颜色类别通过上述ResNet判别)是否相同，相同则g_i，k＝1，反之则g_i，k＝0；κ¹，κ²，κ^e的定义为：

其中d_j，k是图j和k之间平均HSV颜色距离(采用L2范数)，h_j，k表示通过ResNet判别颜色类别后，两个类别的HSV颜色距离(采用L2范数)。

4)模型参数训练

准备M组训练数据，记为

每个训练实例包含一组服装图片X及其对应的类别标签Y与组别标签G，为了训练w，求解以下问题：

这里λ＝1150，其中Δ表示的标签损失函数0-1，定义如下：

上述最优化问题等同于最小化如下目标函数：

记

则可以导出目标函数中任意一个实例关于w的次梯度是：

其中(G^*，Y^*)通过求解

获得。

5)训练与预测中的交替搜索推理

定义θ_i(y_i)＝<φ_i(y_i)，w_l>，θ_j，k＝<ψ_j，k，w_g>，θ_j，k(y_j，y_k)＝<η_j，k(y_j，y_k)，w_c>，最小化损失函数(1)可以转换成以下等价形式：

上式

我们称问题(3)中的约束为cycle约束，用符号o表示。上述问题是NP完全问题，为高效、近似求解上述问题，我们提出了一种迭代算法，每次迭代交替搜索Y和Z空间：

·固定Z为当前解Z^*w上述问题简化为

该优化问题利用经典的环信念传播(loopybelief propagation，LBP)算法近似求解。

·固定Y为当前解Y^*，上述问题简化为argmin_Z∑_j，kc_j，kz_j，k，

其中

该问题是一个0-1整数线性规划问题，也是NP完全问题，为了有效的解决这个问题，我们提出了一个启发式算法：从任意一个初始解

开始，借助本发明提出的相关启发式规则不断提升分组性能。

首先给出和启发式规则相关的定义和定理。

定义1(内部代价、外部代价)：假设C_i＝(N_i，E_i)，C_j＝(N_j，E_j)是集合G中两个不同的组，对于任意节点a∈N_i，其内部代价是所有

的和，记为

外部代价是所有

之和，记为

定义2(合并操作、移动操作)：合并操作是将两个节点的集合合并成为一个大的集合；移动操作是将一个集合中的某个节点移动到另外一个集合中。

定理1：C_i和C_j合并之后，公式(3)中目标函数的值降低

证明：记A为(3)中目标函数除C_i和C_j之外的所有代价，那么合并完C_i和C_j之后，总体代价为A，而在合并C_i和C_j之前的总体代价为

求合并前后总体代价的差值即证明该结论。

定理2：将一个节点k从C_i移动到C_j，该移动操作生成的解是可行的，且公式(3)中目标函数的值降低

证明：由于

是完全图，且优化问题(3)中包含cycle约束，因此移动操作并不改变解的可行性。记B为除

之外的整体代价，则移动操作之前的整体代价为

而在移动之后，整体代价变为

定理得证。

定理3：将一个节点k从C_i移动到C_j，对于任意s∈N_i\{k}，记

I′_i ^s分别表其移动后的外部代价和内部代价。对于任意t∈N_j，记

I′_j ^t分别表示其移动之前的外部代价和内部代价，

I″_j ^t表示t移动后的内部代价和外部代价。则有如下等式成立：

证明：因

所以等式(4)成立，同理可得等式(5)成立。

从优化问题(3)的任意可行解出发，我们的分组算法不断迭代降低目标函数的值，在迭代过程过记录每个节点的最新内部代价和外部代价之差，并定义变量flag标记任一节点所属的分组是否发生改变(所有变量的flag均初始化为False)，有则设定flag为True，无则设定flag为False。在每次的迭代中，对每一对flag均为True的非空组，我们尝试通过一系列的合并以及移动操作更新这两个组，从而降低目标函数的值，然后根据公式(4)、(5)更新相关节点的内部和外部代价之差。然后对于每个分组，我们尝试对其进行划分，从其分出一系列更小的分组，直到该分组不可再分。在每次迭代的最后，我们更新所有的分组的flag记录所有改动过的分组；另外，我们还计算所有的更新和分割引起的目标函数的总体下降量，如果该下降值为0则停止迭代。

本发明提出了一种具体的用于解决服装图片的联合分组与分类的方法，称之为完全子图分解方法。在预先未知组别个数的情况下，所提算法利用完全图对不同图片之间的分组关系进行建模，通过融合从数据中学到的深度特征和丰富的上下文信息实现分组关系的充分表达，并提出了一种基于交替搜索思想的高效推理算法求解服装图片的分组结果。

Claims (2)

1.一种服装图片的联合颜色分类与分组方法，其特征在于，所述方法包括以下步骤：

1)准备用于服装颜色分类与分组的数据集

收集53类颜色的服装图片，其中包括模特展示图片和不含模特图片；使用YOLO训练一个人体检测器，从原始图像中提取人体框，并采用OpenPose估计框中人体的骨架点；默认裁剪从肩部到胯部部分作为训练或测试数据，如果未检测到上体骨架点，则裁取从胯部到膝盖的下装部分作为训练或测试数据；如果未检测到任何人体框，则对图片进行中心裁剪，并把裁剪后的图片作为训练或测试数据；对裁剪后的图片进行人工颜色标注并纠错，获得最终的数据集；基于所建数据集，利用ResNet深度学习模型训练一个服装图片的颜色分类器；

2)构建目标函数

记输入数据为X＝{x₁，...，x_n}，这里x表示一张服装图片，对X进行分组可以表示成

其中k表示分组个数，是一个未知量；对X中的n张图片进行分类，记其类别为Y＝{y₁，...，y_n}，其中第j张图片的类别用y_j表示，为联合预测分组与分类，最小化如下目标函数：

其中w＝[w_l，w_g，w_c]表示模型参数，将通过训练获得；G表示由分组诱导的无向图，其邻接矩阵Z定义如下：若图片j和k属于同一组，z_j，k＝0，反之，z_j，k＝1；

<a，b>表示向量a和b的内积；特征φ、ψ、η分别表示采用卷积网络提取的单张图片特征、两张图片属于不同组别的上下文特征、分配到同一组的两张图片类别之间的兼容性；

3)φ、ψ、η特征表达

将常用颜色分成53个类别，这53个类别进一步分成红、黄、蓝、绿、黑、白、灰、紫、棕九个大类；为计算特征φ∈R²，ψ∈R⁷，η∈R²，使用ResNet训练一个颜色分类器，然后定义以下公式：

η_j，k(y_j，y_k)＝[δ(y_j＝y_k)，1-δ(y_j＝y_k)]，

其中δ(·)表示指示函数，

表示将第i张图片分为y_i∈{1，2，...，53}类对应的Softmax概率，即ResNet网络中Softmax层的概率，

向量尾部的1是为了训练w中的bias参数；在ψ中，g_j，k∈{0，1}表示j和k对应的图像的颜色大类是否相同，相同则g_i，k＝1，反之则g_i，k＝0；κ¹，κ²，κ^e的定义为：

其中，d_j，k是图j和k之间平均HSV颜色距离，采用L2范数，h_j，k表示通过ResNet判别颜色类别后，两个类别的HSV颜色距离，采用L2范数；

4)模型参数训练

准备M组训练数据，记为

每个训练实例包含一组服装图片X及其对应的类别标签Y与无向图G，为了训练w，求解以下问题：

这里λ＝1150，其中Δ表示的标签损失函数0-1，定义如下：

上述最优化问题等同于最小化如下目标函数：

记

则可以导出目标函数中任意一个实例关于w的次梯度是：

其中(G^*，Y^*)通过求解

获得；

5)训练与预测中的交替搜索推理

定义θ_i(y_i)＝<φ_i(y_i)，w_l>，θ_j，k＝<ψ_j，k，w_g>，θ_j，k(y_j，y_k)＝<η_j，k(y_j，y_k)，w_c>，最小化损失函数(1)转换成以下等价形式：

上式

V＝{1，...，n}，E＝{(j，k)|(j，k)∈V²，j<k}，称问题(3)中的约束为cycle约束，用符号o表示；上述问题是NP完全问题，为高效、近似求解上述问题，提出了一种迭代算法，每次迭代交替搜索Y和Z空间：

5.1)固定Z为当前解Z^*，上述问题简化为

该优化问题利用经典的环信念传播算法近似求解；

5.2)固定Y为当前解Y^*，上述问题简化为argmin_Z∑_j，kc_j，kz_j，k，

其中

该问题是一个0-1整数线性规划问题，也是NP完全问题，为了有效的解决这个问题，提出了一个启发式算法：从任意一个初始解

开始，借助启发式规则不断提升分组性能；

从优化问题(3)的任意可行解出发，分组算法不断迭代降低目标函数的值，在迭代过程过记录每个节点的最新内部代价和外部代价之差，并定义变量flag标记任一节点所属的分组是否发生改变，所有变量的flag均初始化为False，有则设定flag为True，无则设定flag为False，在每次的迭代中，对每一对flag均为True的非空组，尝试通过一系列的合并以及移动操作更新这两个组，从而降低目标函数的值，然后更新相关节点的内部和外部代价之差；然后对于每个分组，尝试对其进行划分，从其分出一系列更小的分组，直到该分组不可再分；在每次迭代的最后，更新所有的分组的flag记录所有改动过的分组；另外，还计算所有的更新和分割引起的目标函数的总体下降量，如果该下降值为0则停止迭代。

2.如权利要求1所述的一种服装图片的联合颜色分类与分组方法，其特征在于，所述5.2)中，启发式规则相关的定义和定理如下：

定义1，内部代价和外部代价：假设C_i＝(N_i，E_i)，C_j＝(N_j，E_j)是集合G中两个不同的组，对于任意节点a∈N_i，其内部代价是所有

的和，记为

外部代价是所有

之和，记为

定义2，合并操作、移动操作：合并操作是将两个节点的集合合并成为一个大的集合；移动操作是将一个集合中的某个节点移动到另外一个集合中；

定理1：C_i和C_j合并之后，公式(3)中目标函数的值降低

证明：记A为(3)中目标函数除C_i和C_j之外的所有代价，那么合并完C_i和C_j之后，总体代价为A，而在合并C_i和C_j之前的总体代价为

求合并前后总体代价的差值即证明该结论；

定理2：将一个节点k从C_i移动到C_j，该移动操作生成的解是可行的，且公式

(3)中目标函数的值降低

证明：由于

是完全图，且优化问题(3)中包含cycle约束，因此移动操作并不改变解的可行性，记B为除

之外的整体代价，则移动操作之前的整体代价为

而在移动之后，整体代价变为

定理得证；

定理3：将一个节点k从C_i移动到C_j，对于任意s∈N_i\{k}，记

分别表其移动后的外部代价和内部代价，对于任意t∈N_j，记

分别表示其移动之前的外部代价和内部代价，

表示t移动后的内部代价和外部代价，则有如下等式成立：

证明：因

所以等式(4)成立，同理得等式(5)成立。