CN105426455B - 基于图片处理来对衣服进行分类管理的方法和装置 - Google Patents

Abstract

本发明提供一种基于图片处理来对衣服进行分类管理的方法和装置，该方法包括：获取含有衣服图像的图片；将所述图片输入衣服检测模型中，检测得到所述图片中的衣服图像区域；对所述衣服图像区域进行padding预处理得到一包括所述衣服图像区域的标准尺寸图片，并提取所述衣服图像的CNN特征；将所述衣服图像的CNN特征输入属性识别模型中，识别得到所述衣服图像的属性序列；依据所述属性序列对含有所述衣服图像的图片进行分类储存，形成电子衣橱。本发明通过对图片中的衣服图像区域进行自动检测，并对图片中的衣服图像进行属性的自动识别来对衣服图片进行分类存储，以方便用户查看，无需用户手动录入属性来进行分类保存。

Description

基于图片处理来对衣服进行分类管理的方法和装置

技术领域

本发明涉及图像处理技术领域，特别是涉及一种基于图片处理来对衣服进行分类管理的方法和装置。

背景技术

随着智能移动终端设备的普遍化，在移动终端上也出现了各种各样与我们生活息息相关的应用软件，其中，对于衣服的管理软件就是比较流行的一种。

现有衣服管理软件中有通过天气推荐适合出行的服装，提供时尚搭配。这种服装推荐不是依据用户本身喜好来进行推荐，而且在服装搭配上需要用户自己进行搭配，不够智能。另外，在现有衣服管理软件中还有个人衣服管理和搭配的功能。不过，其对于个人衣服管理是依靠上传个人衣服图片后，凭借用户手工记录(或者输入)衣服信息(颜色类别等)来就行分类管理，不过智能化。

例如，在专利“一种物联网衣柜装置、系统及其智能搭配推荐方法”(专利号：201310169375.6)中，公开了一种通过读码器智能读取衣柜中衣物信息来管理衣柜的方法。这种方法的不足之处在于：通过硬件管理，实现方式复杂，不易实现。

综上来看，现有对于衣服进行管理的软件并不够智能化和人性化，还需要进一步地改进。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于图片处理来对衣服进行分类管理的方法和装置，用于解决现有技术中利用软件或者电子设备来对衣服进行管理时不够智能和人性化的问题。

为实现上述目的及其他相关目的，本发明提供以下技术方案：

一种基于图片处理来对衣服进行分类管理的方法，包括：获取含有衣服图像的图片；将所述图片输入衣服检测模型中，检测得到所述图片中的衣服图像区域；对所述衣服图像区域进行padding预处理得到一包括所述衣服图像区域的标准尺寸图片，并提取所述衣服图像的CNN特征；将所述衣服图像的CNN特征输入属性识别模型中，识别得到所述衣服图像的属性序列；依据所述属性序列对含有所述衣服图像的图片进行分类储存，形成电子衣橱；其中，所述衣服检测模型和属性识别模型是通过深度学习训练生成。

优选地，所述对所述衣服图像区域进行padding预处理得到一包括所述衣服图像区域的标准尺寸图片并提取所述衣服图像的CNN特征的方法包括：提取所述衣服图像区域并对其进行等比例缩放处理，以将所述衣服图像区域完整地填充至一预设尺寸的标准空白图片上，得到包括所述衣服图像的标准尺寸图片；采用卷积神经网络(CNN)来对所述标准尺寸图片中的衣服图像提取CNN特征。

优选地，所述衣服检测模型的生成方法包括：提供若干含有衣服图像的图片，形成样本图片数据库；裁切出样本图片数据库中所有图片中的衣服图像区域，作为正例样本；并采用selective search算法检测出样本图片数据库中所有图片中的物体，选取所述物体中的非衣服图像区域，作为负例样本；对所有所述正例样本和负例样本分别进行padding预存处理，得到包括所述正例样本或负例样本的标准尺寸图片，并分别提取所有正例样本和负例样本的CNN特征；将所述CNN特征输入SVM分类器中学习，得到衣服检测模型。

优选地，所述属性识别模型的生成方法包括：提供若干含有衣服图像的图片，形成样本图片数据库；对样本图片数据库中所有图片进行属性标注，形成所述样本图片数据库的属性序列；并检测出样本图片数据库中所有图片的衣服图像区域，并对每张图片中的衣服图像区域进行padding预处理得到包括所述衣服图像区域的标准尺寸图片，并提取所有衣服图像区域的CNN特征；将得到的所述CNN特征和属性序列输入PLDA分类器中进行学习，得到衣服属性识别模型。

另外，本发明还提供了一种基于图片处理来对衣服进行分类管理的装置，包括：第一模型生成模块，适于通过深度学习训练生成衣服检测模型；第二模型生成模块，适于通过深度学习训练生成属性识别模型，图片获取模块，适于获取含有衣服图像的图片；图像检测模块，适于将所述图片输入衣服检测模型中，检测得到所述图片中的衣服图像区域；图像预处理模块，适于对所述衣服图像区域进行padding预处理得到一包括所述衣服图像区域的标准尺寸图片，并提取所述衣服图像的CNN特征；属性识别模块，适于将所述衣服图像的CNN特征输入属性识别模型中，识别得到所述衣服图像的属性序列；衣服图片数据库模块，依据所述属性序列对含有所述衣服图像的图片进行分类储存，形成电子衣橱。

优选地，所述图像预处理模块包括：图像填充模块，适于提取所述衣服图像区域并对其进行等比例缩放处理，以将所述衣服图像区域完整地填充至一预设尺寸的标准空白图片上，得到包括所述衣服图像的标准尺寸图片；特征提取模块，适于采用卷积神经网络来对所述标准尺寸图片中的衣服图像提取CNN特征。

优选地，所述第一模型生成模块包括：

图片数据库单元，适于提供若干含有衣服图像的图片，形成样本图片数据库；

样本准备单元，适于裁切出样本图片数据库中所有图片中的衣服图像区域，作为正例样本；并采用selective search算法检测出样本图片数据库中所有图片中的物体，选取所述物体中的非衣服图像区域，作为负例样本；

第一模型建立单元，适于对所有所述正例样本和负例样本分别进行padding预存处理，得到包括所述正例样本或负例样本的标准尺寸图片，并分别提取所有正例样本和负例样本的CNN特征；将所述CNN特征输入SVM分类器中学习，得到衣服检测模型。

优选地，所述第二模型生成模块包括：

图片数据库单元，适于提供若干含有衣服图像的图片，形成样本图片数据库；

第二模型建立单元，适于对样本图片数据库中所有图片进行属性标注，形成所述样本图片数据库的属性序列；并检测出样本图片数据库中所有图片的衣服图像区域，并对每张图片中的衣服图像区域进行padding预处理得到包括所述衣服图像区域的标准尺寸图片，并提取所有衣服图像区域的CNN特征；将得到的所述CNN特征和属性序列输入PLDA分类器中进行学习，得到衣服属性识别模型。

与现有技术对比，本发明至少具有以下特点和优点：

通过拍照上传用户的真实衣服，本发明可以基于图片实现自动检测服装位置，识别服装颜色、类别(短袖，大衣，牛仔服等)季节等属性，并依据自动识别出的属性进行分类存储，以方便查看，无需用户手动录入，同时通过用户衣服的种类学习用户的喜好，以便其他功能使用。

附图说明

图1显示为本发明提供的一种基于图片处理来对衣服进行分类管理的方法的实现流程图。

图2显示为本发明中衣服检测模型的训练过程的原理图。

图3显示为本发明中属性识别的训练过程的原理图。

图4显示为本发明提供的一种基于图片处理来对衣服进行分类管理的装置在一实施方式中的原理图。

图5显示为本发明一种基于图片处理来对衣服进行分类管理的装置中图像预处理模块的一种实施原理图。

图6显示为显示为本发明一种基于图片处理来对衣服进行分类管理的装置中第一模型建立单元的一种实施原理图。

图7显示为显示为本发明一种基于图片处理来对衣服进行分类管理的装置中第二模型建立单元的一种实施原理图。

附图标号说明

200 电子设备

210 图片获取模块

220 图像检测模块

230 图像预处理模块

231 图像填充模块

232 特征提取模块

240 属性识别模块

250 衣服图片数据库模块

260 第一模型生成模块

261，271 图片数据库单元

262 样本准备单元

263 第一模型建立单元

270 第二模型生成模块

272 第二模型建立单元

S101-S109 方法步骤

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

为了使本领域技术人员能够更好地理解下文实施方式中的技术方案，这里对文中涉及的一些技术术语进行简单地解释说明，以便于阅读。

SVM(英文全称：Support Vector Machine)：译为“支持向量机”，是一个有监督的学习模型，通常用来进行模式识别、分类、以及回归分析。

padding:是指通过在图片的空白处填充黑色(或其他颜色)像素的方式，将图片变换成另一个尺寸，使不同尺寸的图片都整齐的对应变换到同一尺寸，同时不改变原来图片的形状。

CNN(英文全称：convolutional neural networks)：译为“卷积神经网络”,是人工神经网络的一种，已成为当前语音分析和图像识别领域的研究热点。

PLDA(英文全称：probabilistic linear discriminant analysis)：是应用在人脸识别领域的一种高效且稳定的人脸识别算法。

Triplet算法：是在2015年被提出的针对“人物识别”的一种算法，用于解决不同场景中同一个人的识别准确问题。

实施例1

请参阅见图1，示出了本发明提供的一种基于图片处理来对衣服进行分类管理的方法的实现流程图，如图所示，下面对该方法的技术方案进行详细地描述。

S101，获取含有衣服图像的图片。

在具体实施中，可以通过电子设备(例如手机、平板电脑等)来对衣服进行拍照，以得到包含该衣服图像的图片；当然，该图片也可以是预先拍好的，直接从电子设备上选取。

需要理解地是，上述涉及的衣服图像不应当仅理解为包含衣服的图像，还应包括裤子、鞋子等服装，为便于描述，故统称为衣服图像，下文一样。

S103，将所述图片输入衣服检测模型中，检测出所述图片中的衣服图像区域。

在具体实施中，所述衣服检测模型是通过深度学习来训练生成的，请结合图2，给出了衣服检测模型的训练生成过程原理图，如图所示，所述衣服检测模型的生成方法包括：

首先，提供若干含有衣服图像的图片，形成样本图片数据库；

接着，裁切出样本图片数据库中所有图片中的衣服图像区域，作为正例样本；并采用selective search算法检测出样本图片数据库中所有图片中的物体，并选取所述物体中的非衣服图像区域，作为负例样本；

再接者，分别对所有所述正例样本和负例样本进行padding预存处理(下面将进行详细说明)，得到包括所述正例样本或负例样本的标准尺寸图片，并分别提取所有正例样本和负例样本的CNN特征；

最后，将所述CNN特征输入SVM分类器中学习，得到衣服检测模型。

在具体实施中，可以通过收集各种包括衣服图像的图片，来作为一个样本图片数据库。

在具体实施中，一般是采用人工裁切的方式来选取衣服图像区域，通过对样本图片数据库中所有图片中的衣服图像区域进行裁切，来作为样本。

S105，对所述衣服图像区域进行padding预处理得到一包括所述衣服图像区域的标准尺寸图片，并提取所述衣服图像的CNN特征。

在具体实施中，对所述衣服图像区域进行padding预处理指的是利用imagepadding算法来对所述衣服图像区域的图片进行处理，具体处理过程包括：获取图片中的衣服图像区域(也就是只含有衣服图像区域的图片)；对所述衣服图像区域进行等比例缩放处理，以将所述衣服图像区域完整地填充至一预设尺寸的标准空白图片上，得到包括所述衣服图像的标准尺寸图片。

另外，提取所述衣服图像的CNN特征通过采用卷积神经网络对所述标准尺寸图片进行特征提取来实现的。

S107，将所述衣服图像的CNN特征输入属性识别模型中，识别得到所述衣服图像的属性序列；

在具体实施中，所述属性识别模型是通过深度学习来训练生成的，请结合图3，给出了属性识别模型的训练生成过程原理图，如图所示，所述属性识别模型的生成方法包括：

首先，提供若干含有衣服图像的图片，形成样本图片数据库；

接着，对样本图片数据库中所有图片进行属性标注，形成所述样本图片数据库的属性序列；并检测出样本图片数据库中所有图片中的衣服图像区域(可以采用上述衣服检测模型来实现)，并对每张图片中的衣服图像区域进行padding预处理得到包括所述衣服图像区域的标准尺寸图片，并提取所有衣服图像区域的CNN特征；将得到的所述CNN特征和属性序列输入PLDA分类器中进行学习，得到衣服属性识别模型。

在具体实施中，属性识别模型的训练方法是基于已标注服装属性的图片来采用“多label的PLDA算法”进行训练得到的。其中每种属性(label)有不同个数的属性值(value)，如季节(春、夏、秋、冬)，衣领(圆领、V领、衬衫领、一字领、荷叶领)等。数据库中每张衣服图片都对应一个属性序列x(x1,x2,x3,x4…),其中x1＝”春”,x2＝”V领”,x3＝”长袖”,x4＝”红色”…同时，每张衣服图片进行padding处理后，提取了CNN特征，根据CNN特征与属性序列中每个属性值的一一对应关系，应用PLDA算法，每个label学习出一种PLDA分类器，故有15种属性即得到15个PLDA分类器(如图3)。

在具体实施中，属性识别过程的原理在于：每张测试图片在提取过CNN特征后，通过每个PLDA分类器得到对应label所有value的分数，以“季节-PLDA分类器”为例，得到“春、夏、秋、冬”四个value的分数分别为0.4，0.1，0.3，0.9，则“冬”的分数最高，得到该件衣服“季节属性”的value为“冬”，其他属性的value识别过程相同。

S109，依据所述属性序列对含有所述衣服图像的图片进行分类储存，形成电子衣橱。

综上所述，本发明相对现有技术的创新之处在于：

第一，在图像数据的预处理上，现有技术通常将所有图片resize到统一尺寸进行特征提取，但这会导致图像产生变形，在人脸识别上，由于不同人的人脸尺寸差别不大所以影响不大。但在衣服图像上影响很大。因为衣服长短不一宽窄不定，若统一resize则导致有些形变大有些形变小，故本发明特别针对衣服图像的特殊情况，采用图片填充处理来得到标准尺寸图片的方法来克服以上缺陷。例如，长款衣服的图片就在两侧填充黑色背景，宽形的斗篷类衣服可在上下填充背景，均转换成正方形图片后，最终统一resize成160*160尺寸的图片。这样保证了衣服本身不发生形变，解决了resize过程中衣服形变不同对后续训练造成的影响。

第二，将常用于人脸识别领域的CNN算法应用到衣服图像检测中，并与PLDA结合，来得到针对衣服的多属性识别，可以智能地对输入图片中衣服图像的属性的自动识别，而不需人工来对图片进行属性标注。

实施例2

请参见图4，本发明还提供了一种基于图片处理来对衣服进行分类管理的装置，如图所示，所述电子设备200包括：第一模型生成模块260，适于通过深度学习训练生成衣服检测模型；第二模型生成模块270，适于通过深度学习训练生成属性识别模型，图片获取模块210，适于获取含有衣服图像的图片；图像检测模块220，适于将所述图片输入衣服检测模型中，检测得到所述图片中的衣服图像；图像预处理模块230，适于对所述衣服图像进行填充处理得到一包括所述衣服图像的标准尺寸图片，并提取所述标准尺寸图片中所述衣服图像的CNN特征；属性识别模块240，适于将所述衣服图像的CNN特征输入属性识别模型中，识别得到所述衣服图像的属性序列；衣服图片数据库模块250，适于依据所述属性序列对含有所述衣服图像的图片进行分类储存，形成电子衣橱。

在具体实施中，请参见图5，所述图像预处理模块230包括：图像填充模块231，适于对所述衣服图像进行等比例缩放处理，以将所述衣服图像完整地填充至一预设尺寸的标准空白图片上，得到包括所述衣服图像的标准尺寸图片；以及特征提取模块232，适于采用卷积神经网络来提取所述标准尺寸图片中衣服图像的CNN特征。

在具体实施中，请参见图6，所述第一模型生成模块260包括图片数据库单元261、样本准备单元262及第一模型建立单元263，其中，图片数据库单元261适于提供若干含有衣服图像的图片，形成样本图片数据库；样本准备单元262适于裁切出样本图片数据库中所有图片中的衣服图像区域，作为正例样本；以及采用selective search算法检测出样本图片数据库中所有图片中的物体，并选取所述物体中的非衣服图像区域，作为负例样本；第一模型建立单元263适于将所述正例样本和负例样本进行填充处理得到一包括所述正例样本和负例样本的标准尺寸图片，并提取所述标准尺寸图片中所述正例样本和负例样本的CNN特征；将所述CNN特征输入SVM分类器中学习，得到衣服检测模型。

在具体实施中，请参见图7，所述第二模型生成模块270包括图片数据库单元271和第二模型建立单元272，其中，图片数据库单元272适于提供若干含有衣服图像的图片，形成样本图片数据库；第二模型建立单元272适于对样本图片数据库中所有图片进行属性标注，形成所述样本图片数据库的属性序列；并检测出样本图片数据库中所有图片中的衣服图像，并对每一张图片对应的衣服图像进行填充处理得到包括所述衣服图像的标准尺寸图片，并提取出所有所述标准尺寸图片中衣服图像的CNN特征；将所述CNN特征和属性序列输入PLDA分类器中进行学习，得到衣服属性识别模型。

在具体实施中，可以利用上述衣服检测模型来对样本图片数据库中的图片进行识别检测，以检测出图片中的衣服图像。

通过实施例2，在具体实施中，可以通过电子设备200来对包含衣服图像的图片进行自动分类存储，从而实现对衣服的管理。

例如，用户可以通过在电子设备200上进行如下操作来实现对衣服的分类管理：

步骤1，用户拍照或上传一张本地服装图片；

步骤2，通过衣服检测模型，自动检测图片中衣服所在的位置，并用矩形框框出；

步骤3，基于CNN(卷积神经网络)提取图像特征；

步骤4，自动识别检测到衣服的属性，包括颜色，类别，季节等(此处的属性识别模型已离线训练完成)；

步骤5，自动分类存入本地衣橱。

综上所述，本发明通过对图片中的衣服图像区域进行自动检测，并对图片中的衣服图像进行属性的自动识别，例如服装颜色、类别(短袖，大衣，牛仔服等)季节等，并依据自动识别的属性进行分类存储，以方便用户查看，无需用户手动录入属性来进行分类保存。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (4)

1.一种基于图片处理来对衣服进行分类管理的方法，其特征在于，包括：

获取含有衣服图像的图片；

将所述图片输入衣服检测模型中，检测得到所述图片中的衣服图像区域；

对所述衣服图像区域进行padding预处理得到一包括所述衣服图像区域的标准尺寸图片，并提取所述衣服图像的CNN特征；

将所述衣服图像的CNN特征输入属性识别模型中，识别得到所述衣服图像的属性序列；

依据所述属性序列对含有所述衣服图像的图片进行分类储存，形成电子衣橱；

其中，所述衣服检测模型和属性识别模型是通过深度学习训练生成；

所述衣服检测模型的生成方法包括：

提供若干含有衣服图像的图片，形成样本图片数据库；

裁切出样本图片数据库中所有图片中的衣服图像区域，作为正例样本；并采用selective search算法检测出样本图片数据库中所有图片中的物体，选取所述物体中的非衣服图像区域，作为负例样本；

对所有所述正例样本和负例样本分别进行padding预存处理，得到包括所述正例样本或负例样本的标准尺寸图片，并分别提取所有正例样本和负例样本的CNN特征；将所述CNN特征输入SVM分类器中学习，得到衣服检测模型；

所述属性识别模型的生成方法包括：

提供若干含有衣服图像的图片，形成样本图片数据库；

对样本图片数据库中所有图片进行属性标注，形成所述样本图片数据库的属性序列；并检测出样本图片数据库中所有图片的衣服图像区域，并对每张图片中的衣服图像区域进行padding预处理得到包括所述衣服图像区域的标准尺寸图片，并提取所有衣服图像区域的CNN特征；将得到的所述CNN特征和属性序列输入PLDA分类器中进行学习，得到衣服属性识别模型；

所述衣服属性识别模型的训练方法是基于已标注服装属性的图片来采用多属性的PLDA算法，每个属性学习出一种分类器。

2.根据权利要求1所述的基于图片处理来对衣服进行分类管理的方法，其特征在于，所述对所述衣服图像区域进行padding预处理得到一包括所述衣服图像区域的标准尺寸图片并提取所述衣服图像的CNN特征的方法包括：

提取所述衣服图像区域并对其进行等比例缩放处理，以将所述衣服图像区域完整地填充至一预设尺寸的标准空白图片上，得到包括所述衣服图像的标准尺寸图片；

采用卷积神经网络来对所述标准尺寸图片中的衣服图像提取CNN特征。

3.一种基于图片处理来对衣服进行分类管理的装置，其特征在于，包括：

第一模型生成模块，适于通过深度学习训练生成衣服检测模型；

第二模型生成模块，适于通过深度学习训练生成属性识别模型；

图片获取模块，适于获取含有衣服图像的图片；

图像检测模块，适于将所述图片输入衣服检测模型中，检测得到所述图片中的衣服图像区域；

图像预处理模块，适于对所述衣服图像区域进行padding预处理得到一包括所述衣服图像区域的标准尺寸图片，并提取所述衣服图像的CNN特征；

属性识别模块，适于将所述衣服图像的CNN特征输入属性识别模型中，识别得到所述衣服图像的属性序列；

衣服图片数据库模块，依据所述属性序列对含有所述衣服图像的图片进行分类储存，形成电子衣橱；

所述第一模型生成模块包括：

图片数据库单元，适于提供若干含有衣服图像的图片，形成样本图片数据库；

样本准备单元，适于裁切出样本图片数据库中所有图片中的衣服图像区域，作为正例样本；并采用selective search算法检测出样本图片数据库中所有图片中的物体，选取所述物体中的非衣服图像区域，作为负例样本；

第一模型建立单元，适于对所有所述正例样本和负例样本分别进行padding预存处理，得到包括所述正例样本或负例样本的标准尺寸图片，并分别提取所有正例样本和负例样本的CNN特征；将所述CNN特征输入SVM分类器中学习，得到衣服检测模型；

所述第二模型生成模块包括：

图片数据库单元，适于提供若干含有衣服图像的图片，形成样本图片数据库；

第二模型建立单元，适于对样本图片数据库中所有图片进行属性标注，形成所述样本图片数据库的属性序列；检测出样本图片数据库中所有图片的衣服图像区域，并对每张图片中的衣服图像区域进行padding预处理得到包括所述衣服图像区域的标准尺寸图片，并提取所有衣服图像区域的CNN特征；将得到的所述CNN特征和属性序列输入PLDA分类器中进行学习，得到衣服属性识别模型；

所述衣服属性识别模型的训练方法是基于已标注服装属性的图片来采用多属性的PLDA算法，每个属性学习出一种分类器。

4.根据权利要求3所述的基于图片处理来对衣服进行分类管理的装置，其特征在于，所述图像预处理模块包括：

图像填充模块，适于提取所述衣服图像区域并对其进行等比例缩放处理，以将所述衣服图像区域完整地填充至一预设尺寸的标准空白图片上，得到包括所述衣服图像的标准尺寸图片；

特征提取模块，适于采用卷积神经网络来对所述标准尺寸图片中的衣服图像提取CNN特征。