CN105046280B

CN105046280B - 一种衣柜智能管理装置及方法

Info

Publication number: CN105046280B
Application number: CN201510486788.6A
Authority: CN
Inventors: 杨溢; 陈依
Original assignee: Beijing Xiaobao Science & Technology Co Ltd
Current assignee: Beijing Xiaobao Science & Technology Co Ltd
Priority date: 2015-08-10
Filing date: 2015-08-10
Publication date: 2018-05-04
Anticipated expiration: 2035-08-10
Also published as: CN105046280A

Abstract

本发明提供了一种衣柜智能管理装置及方法，用于物联网和智能家居技术领域。衣柜智能管理装置包括图像采集模块、图像分割模块、衣物特征提取模块、衣物存储模块和人机交互界面；图像采集模块拍摄衣物的图像；图像分割模块提取前景(衣物)图像；衣物特征提取模块生成衣物的特征向量，特征向量中包含衣物图像、颜色标签、颜色特征、局部纹理特征、纹理分类、轮廓特征和轮廓分类；衣物存储模块记录衣柜存放衣物的信息。衣柜智能管理方法基于本发明装置，利用衣柜存放衣物的数据表，进行衣物的存取、查找和浏览。本发明不用在衣物上附加多余识别器也不更改现有衣柜结构，就能准确识别不同衣物，实现结构简单、成本低。

Description

一种衣柜智能管理装置及方法

技术领域

本发明涉及物联网和智能家居技术领域，具体是指一种衣柜智能管理装置及方法。

背景技术

随着物联网、智能家居概念的推广，越来越多的消费者意识到设备的智能化可以为生活带来更多便利。正因如此，将原有的设备智能化就成了学术研究和产业资金的投资热点。但市场上现有的家庭智能硬件几乎都基于原有的电子设备，对衣柜等传统家具的智能化尝试却少有涉及。

对于普通家庭来说，衣柜作为室内最主要的家具之一，在日常生活中的使用频度非常高。但是传统的衣柜也存在有非常大的缺点，例如：无法在不去翻动的情况下查找想要的衣物；很多衣物购买后很少使用，甚至被遗忘，但想找时却找不到存放的位置等。

公布号为103246810的申请在2013年8月14日公开了一种物联网衣柜装置、系统及智能搭配推荐方法，其中使用近距离RFID(射频识别)或二维码的识别方式。该方案的硬件装置由通信模块、读码器模块、存储模块、计算模块、电源模块组成。其核心在于使用读码器模块读取衣物上的RFID标签或二维码信息进行衣物的识别。所读取的信息包括：品种、品牌、价格、使用季节和天气、颜色、样式、质地、购买年份、适用场合。然后利用这些信息来解决衣柜中衣物不可知的问题。但该方法存在如下问题：1)必须在衣物上附加RFID标签或二维码标签，这在现有的条件没有实际可操作性；2)包含在RFID标签或二维码中的衣物详细信息在实际中无法直接从衣物上得到，需要用户自己编写信息，工作量较大且繁琐；3)该方案仅能实现衣物是否存放在衣柜中的功能而无法实现衣物在衣柜中的定位功能，不能给查找衣物带来便利。

公告号为201847134的申请在2011年6月1日公开了一种智能衣柜，使用中距离RFID的识别方式，该智能衣柜包括柜体、RFID阅读器、显示器及通电后产生磁场覆盖整个柜体并能检测到柜体内安装有RFID芯片的衣物的RFID天线。当通电时，天线将检测到柜体内的RFID芯片，并由RFID阅读器读取这些检测到的RFID信息然后显示在显示器上。该方案试图解决不开柜门就能显示柜中衣物信息，达到方便查找衣物的目的。但该方案除了存在上面1)～3)的缺点外，还存在如下缺点：4)天线虽能通过调整频率、方向、形状、功率、结构等方式改变电磁场大小和形状以覆盖整个柜体，但在实际中不可能将电磁场大小形状调整到和柜体完全一致。这样就造成2个方面的问题：a.柜体中存在读取死区，造成RFID漏读；b.柜体外存在可读取的电磁场区域，造成柜体外RFID误读。5)天线需要一直工作，造成耗电量较大。

公告号为202636115的实用新型专利在2013年1月2日公开了一种智能衣柜处理系统及智能衣柜，使用接触开关的识别方式。该方案设计的衣柜有一个以上的存储空间，每个存储空间内设置有一个接触开关和一个指示灯，在衣柜上设置有条码或二维码阅读器和摄像头及带触摸功能的显示屏。当存入衣服时，先扫描衣服上的条码或二维码并拍照，记录相关信息，然后当衣服挂入衣柜时将触动接触开关，此时系统将先前扫描的记录和触动开关所在的储物空间相关联，达到定位的目的。此外用户还能在带有触摸功能的显示屏上进行衣服的查找功能。但该方案存在如下问题：a)必须在衣服上附加条码或二维码标签，这在现有的条件没有实际可操作性；b)包含在条码或二维码中的衣服详细信息在实际中无法得到；c)接触开关仅能由悬挂衣服的衣架触发，对于折叠按层堆积放置的衣物没有触发效果；d)需要对现有衣柜进行很大改动，成本较高推广普及难度大。

发明内容

针对现有智能衣柜管理存在的信息记录繁琐、需要额外附加标签或RFID芯片以及需要对衣柜进行大改动的问题，本发明提供了一种衣柜智能管理装置及方法。本发明的衣柜智能管理装置及方法仅从衣物图像中提取用于区分不同款式不同衣物的特征信息，然后利用这些特征信息对衣柜中的衣物进行管理、适用于各种类型衣柜且不改变衣柜本身结构。

一种衣柜智能管理装置，包括图像采集模块、图像分割模块、衣物特征提取模块、衣物存储模块和人机交互界面。

图像采集模块拍摄衣物的图像并发送给图像分割模块。图像分割模块从拍摄的图像中将衣物图像从背景中提取出来，然后将衣物图像发送给衣物特征提取模块。

衣物特征提取模块从衣物图像中进行特征提取，生成衣物的特征向量，特征向量中包含衣物图像、颜色标签、颜色特征、局部纹理特征、纹理分类、轮廓特征和轮廓分类。其中，颜色标签为文本形式，通过统计衣物图像中不同颜色下的像素数来确定。颜色特征用二进制向量表示，通过对衣物图像进行颜色特征提取获得。纹理分类为文本形式，利用已有标记纹理类型的衣物图片训练生成纹理分类器模型，将衣物图像的图像纹理特征通过训练好的分类器模型来确定纹理分类。轮廓分类为文本形式，利用已有标记轮廓类型的衣物图片训练生成轮廓分类器模型，将衣物图像的轮廓特征通过训练好的轮廓分类器模型来确定轮廓分类。

衣物存储模块利用衣柜存放衣物的数据表记录衣柜存放衣物的信息，每一条记录信息包括衣柜位置和衣物的特征向量。

用户通过人机交互界面控制图像采集模块工作，查看衣柜存放衣物的信息，对衣物进行浏览、查找或存取操作。

基于提供的衣柜智能管理装置，本发明还提供了一种衣柜智能管理方法，实现步骤如下：

步骤1，利用图像采集装置拍摄衣物的图像，并传送给图像分割模块；

步骤2，图像分割模块从拍摄的图像中将衣物从背景中分离，将背景像素变为透明，获取仅包含衣物的图像；

步骤3，对步骤2得到的衣物图像进行特征提取，包括步骤3.1～步骤3.6；

步骤3.1，统计衣物图像中不同颜色下的像素数，为衣物标记文本形式的颜色标签；

步骤3.2，对衣物图像进行颜色特征提取，获得二进制向量表示的颜色特征；

步骤3.3，利用图像纹理特征提取方法从衣物图像中提取局部纹理特征；

步骤3.4，设置文本形式的纹理分类，利用标记纹理分类的已有衣物图片训练生成纹理分类器模型，将衣物图像的图像纹理特征通过训练好的纹理分类器模型来确定纹理分类；

步骤3.5，利用图像轮廓特征提取方法从衣物图像中提取轮廓特征；

步骤3.6，设置文本形式的轮廓分类，利用标记轮廓分类的已有衣物图片训练生成轮廓分类器模型，将衣物图像的轮廓特征通过训练好的轮廓分类器模型来确定轮廓分类；

步骤4，生成衣物的特征向量，特征向量中包含步骤2获取的衣物图像以及步骤3得到的颜色标签、颜色特征、局部纹理特征、纹理分类、轮廓特征、轮廓分类。

步骤5，根据衣柜存放衣物的数据表，进行衣物的存取、查找和浏览。衣柜存放衣物的数据表中，每一个数据项包含一件衣物的特征向量以及在衣柜中的具体位置。

本发明的优点与积极效果在于：(1)不用在衣物上附加任何识别器件就能准确识别不同衣物，同时不更改现有衣柜结构，比现有智能衣柜系统更具有实际可操作性；(2)硬件结构简单，识别逻辑由图像识别方法完成，成本低；(3)建立同实际衣柜结构相同的2D或3D模型，使得衣物管理更加人性化，用户体验更佳。

附图说明

图1是本发明实施例所示的衣柜智能管理装置的结构框图；

图2是本发明实施例所示的衣柜智能管理方法的流程示意图；

图3是本发明实施例中进行颜色划分的示意图；

图4是本发明实施例进行取衣的流程示意图；

图5是本发明实施例进行存衣的流程示意图。

具体实施方式

下面将结合附图和实施例对本发明作进一步的详细说明。

本发明提供的是一种低成本、实际可操作、仅从衣物图像中就可提取用于区分不同款式不同衣物的特征信息，然后利用这些特征信息对衣柜中的衣物进行管理、适用于各种类型衣柜且不改变衣柜本身结构的衣柜智能管理装置及方法。

如图1所示，本发明的衣柜智能管理装置，至少包括图像采集模块1、图像分割模块2、衣物特征提取模块3、衣物存储模块4以及人机交互界面5。此外，根据需求，还设计有网络连接模块6、GPS定位模块7、麦克风8和扬声器9等。

图像采集模块1可以是摄像机、智能拍照终端等，用于拍摄衣物的图像。所拍摄的原始图像中除了衣物外还包含背景图像，因此需要进行背景剔除。图像采集模块1将拍摄的原始图像发送给图像分割模块2。

图像分割模块2用于将收到的原始图像进行背景和前景的分割，将与衣物无关的背景像素变为透明像素，提取仅包含衣物的图像区域，然后将得到的衣物图像输出给衣物特征提取模块3。

衣物特征提取模块3对衣物图像进行图像处理，生成衣物的特征向量，特征向量中包含衣物图像、颜色标签、颜色特征、局部纹理特征、纹理分类、轮廓特征和轮廓分类。其中，衣物图像为图像分割模块2输出的图像。颜色标签为文本形式，通过统计衣物图像中不同颜色下的像素数来确定。颜色特征用二进制向量表示，通过对衣物图像进行颜色特征提取获得。局部纹理特征利用图像问题特征提取方法来获得，可以是几种图像纹理特征的组合。纹理分类为文本形式，将衣物图像的纹理特征通过训练好的纹理分类器模型来确定纹理分类。轮廓特征对衣物图像提取轮廓特征，可以是几种轮廓特征的组合。轮廓分类为文本形式，利用已有标记轮廓类型的衣物图片训练生成轮廓分类器模型，将衣物图像的轮廓特征通过训练好的轮廓分类器模型来确定轮廓分类。

衣物存储模块4主要用于记录衣柜存放衣服的信息。其内保存有预先训练的纹理分类器模型和轮廓分类器模型，衣柜的2D或3D模型，衣柜存放衣物的数据表，当前衣柜智能管理装置的版本号以及版本信息等。其中，衣柜存放衣物的数据表中，每一条信息至少包括衣柜位置和衣物的特征向量，此外，还可以记录该衣物最近存取时间、存取频率等等。所存放的衣柜的2D或3D模型主要是提供给用户直观的显示界面，还可以设计用户通过点击衣柜不同的储物格，展示该储物格中所存放的衣物信息。

人机交互界面5用于实现人机交互，显示用于交互的信息。人机交互界面5可以是触摸显示屏、计算机或智能手机等智能显示终端。用户通过人机交互界面5控制图像采集模块1工作，并可查看各模块的输出结果，查看衣柜存放衣物的信息，对衣物进行浏览、查找或存取操作等。

网络连接模块6通过人机交互界面5启动，通过网络连接模块6将衣柜智能管理装置接入互联网，与云端服务器相关联，可定期将衣柜存放衣物的信息和衣柜智能管理装置的版本号发送到云端服务器中备份；也可定期从云端服务器接收衣柜智能管理装置的更新信息及天气预报、购物信息等推送信息。

GPS定位模块7用于获取本地衣柜的地理位置，用户可通过人机交互界面5来查看衣柜的地理位置，还可通过网络连接模块6将地理位置发送给云端服务器。

用户还可通过人机交互界面5打开麦克风8和扬声器9。麦克风8可获取用户的语音输入，扬声器9可播放提示信息给用户。

本发明提供的衣柜智能管理方法，基于上述装置，如图2所示，实现步骤包括步骤1～步骤5，下面对各步骤进行具体说明。

步骤1，利用图像采集模块1拍摄衣物的图像。所拍摄的图像称为原始图像，包含衣物在内，同时也还含有背景。

步骤2，图像分割模块2从步骤1拍摄的原始图像中将衣物从背景中分离，将背景像素变为透明，获取仅包含衣物的图像。

可利用指定包含前景的矩形区域来提取前景像素的方法来将衣物从背景中分离。本发明实施例使用GrabCut方法将前景物体，也就是衣物从整个场景中分离。GrabCut方法是一种从复杂背景中提取前景目标的交互式的分割算法。经过此步骤，图片中仅存在和衣物有关的像素，其它无关像素变为透明。

此步骤输出为仅包含衣物有关的图像区域，删除其它无关区域的图像。

步骤3，对衣物图像进行特征提取，特征提取的步骤包括步骤3.1～步骤3.6。

步骤3.1，进行颜色分类，统计衣物图像中的不同颜色下的像素数，为衣物标记颜色标签，颜色标签为文本形式。

本发明实施例将抠图得到的图片颜色转换到HSL(色相、饱和度、明度)空间。其中H取值范围为0～360，S取值范围为0～100，L取值范围为0～100。

在HSL空间中，将具体颜色数值通过阈值的方式量化成人所能直观理解的颜色文本类别。本发明实施例将颜色分为“红”，“橙”，“黄”，“绿”，“青”，“蓝”，“紫”，“灰”，“白”，“黑”，“杂色”共11种颜色。其中除了“白”、“黑”、“杂色”外其它颜色都具有“浅”，“正”，“深”三种修饰词。

各颜色的取值范围如下：

红：若H∈(330,15]则为红色域；

橙：若H∈(15,45]则为橙色域；

黄：若H∈(45,90]则为黄色域；

绿：若H∈(90,150]则为绿色域；

青：若H∈(150,210]则为青色域；

蓝：若H∈(210,270]则为蓝色域；

紫：若H∈(270,330]则为紫色域；

每个色域中具体浅、正、深颜色划分如图3所示，图3中横坐标为S，纵坐标为L。根据图3确定划分区域的直线方程，从而确定具体的颜色类型及修饰词。图3中：L∈(L₁,100]为白色域，L∈[0,L₈]为黑色域；在S∈[0,S₁]且L∈(L₈,L₁]的区域为灰色区域，当L∈(L₈,L₆]时为深灰，当L∈(L₆,L₃]时为正灰，当L∈(L₃,L₁]时为浅灰。在S∈(S₁,100]且L∈(L₈,L₁]的区域根据划分区域的直线方程来确定颜色的浅、正、深。其中，L₁～L₈以及S₁都是设定的值，可根据经验来设定。

除“黑”、“白”、“杂色”外的8种颜色，每种颜色有浅正深3种颜色修饰，加上黑白2种颜色，共8*3+2＝25种颜色，对所得到的衣物图像中的所有像素，统计分别属于这25种颜色下的像素个数，并将统计结果按照从大到小的顺序排列，此处某种颜色的统计结果＝属于该颜色的像素数/衣物图像中的总像素数。设定阈值c1，且1>c1>0，若排列的第1种颜色结果>c1，则使用该颜色作为衣物的颜色标签；若排列的第1种颜色结果<c1，但排列的第1种颜色+第2种颜色>c1，则将第1，2种颜色作为衣物的颜色标签；如果上述情况都不满足，则使用杂色作为衣物颜色标签。

此步骤输出为代表衣物颜色标签的文本。

上面颜色分类以HSL空间作为说明，在实际应用中，也可以在其它颜色空间，例如HSV(色调、饱和度、亮度)、RGB(红、绿、蓝)、CMY(青、洋红或品红、黄)、CMYK(青、洋红或品红、黄、黑)、HSB(色相、饱和度、亮度)、Ycc、XYZ、Lab、YUV等等，使用类似图3的直线或曲线划分方法来设定颜色区域。本发明实施例给出上面11种颜色，用户也可根据需要设定更加符合使用的颜色分类。

步骤3.2，对步骤2获取的衣物图像，提取二进制向量表示的颜色特征。

本发明实施例在HSL空间做颜色直方图统计，直方图的H部分采用颜色分类中的红～紫区间进行量化；S和L的量化阈值为10。其中颜色特征的量化阈值可以根据经验设定为其他不同的取值。

本发明实施例中本步骤输出为代表衣物颜色特征的、在HSL空间进行的颜色直方图统计得到的二进制向量表示的颜色特征。

此外，本步骤的颜色特征还可以使用主色调直方图、颜色集、颜色聚合向量、颜色相关图或者颜色自动相关图等技术。本发明实施例使用的是全局颜色特征，也可以使用分区域局部颜色特征。

步骤3.3：利用图像纹理特征提取方法，从步骤2得到的衣物图像中提取局部纹理特征。

本发明实施例分别从抠图结果中提取HOG(方向梯度直方图)、SURF(加速健壮特征)以及LBP(局部二值模式)特征。

本发明实施例中本步骤输出为代表衣物局部纹理特征的3个二进制向量信息。

局部纹理特征还可以使用其它图像特征或其组合，例如Haar特征、FAST特征点、灰度共生矩阵等。

步骤3.4：进行纹理分类。

本发明实施例将衣物的纹理分为：“纯色”，“条纹”，“格子”，“图案”，“大花”，“碎花”，“其它”7种类别。

事先可从网络上获取大量衣物图片，分别使用以上类别标注，并对每一个图片提取图像纹理特征，例如本发明实施例中提取HOG和LBP特征，然后训练用于纹理分类的分类器模型，例如使用SVM(支持向量机)训练多类别分类器模型。在使用时，将从衣物图像中提取的HOG和LBP特征输入上述SVM多类别分类器模型分类，从而得到所需的衣物纹理分类结果。

本发明实施例中本步骤输出为代表衣物纹理分类的文本类别。

本发明实施例给出上面7类衣物的纹理，用户也可根据需要设定更加符合实际的纹理分类，类别种类和具体描述都可根据需要设定。

步骤3.5：利用图像轮廓特征提取方法从步骤2得到的衣物图像中提取轮廓特征。

本发明实施例将抠图结果的Hu不变矩作为该衣物的轮廓特征，此步骤输出为代表衣物轮廓特征的Hu不变矩二进制向量信息。

衣物图像的轮廓特征还可以使用其它图像轮廓特征或其组合，例如CCH(链码编码直方图)、PGH(成对几何直方图)、CFSS(简单形状描述符的结合)、Hausdorff等。

步骤3.6：轮廓分类。

本发明实施例将衣物的轮廓分为：“长袖”，“短袖”，“长裤”，“短裤”，“背心”，“袜子”，“领带”，“内裤”，“文胸”，“裙子”，“其它”共11种类别。

同样，事先从网络上获取大量衣物图片，分别使用以上轮廓类别标注，并提取每个图片的轮廓特征，例如本发明实施例中对每一个图片提取Hu不变矩特征，然后训练用于轮廓分类的分类器模型，例如使用SVM(支持向量机)训练多类别分类器模型。将从抠图结果中提取Hu不变矩特征输入上述SVM多类别分类器模型分类，从而得到所需的衣物轮廓分类结果。本发明实施例此步骤输出为代表衣物轮廓分类的文本类别。

本发明实施例给出上面11种衣物轮廓类别，用户也可根据需要设定更加符合实际的类别，类别种类和具体描述都可根据需要设定。

此外，步骤3.4的纹理分类和步骤3.6的轮廓分类，在进行分类模型训练以及分类时，还可以采用其它分类器或其变种，例如神经网络、AdaBoost、随机森林、深度学习等方法。

步骤4，生成衣物的特征向量，特征向量中包含步骤2获取的衣物图像以及步骤3得到的颜色标签、颜色特征、局部纹理特征、纹理分类、轮廓特征和轮廓分类。

步骤5，设计衣柜存放衣物的数据表，用于记录衣柜存放衣服的信息。

衣柜存放衣物的数据表至少包括衣柜位置和所放衣物的特征向量；此外，还可以记录该衣物最近存取时间、存取频率等等。

对衣柜可以建立衣柜的2D或3D模型，并为衣柜的储物格编号，可以用储物格编号来标记储物格位置。本发明实施例中设计的衣柜存放衣物的数据表中，每一条信息包括储物格位置、位置序号、衣物的特征向量、是否已取出以及存取时间对队列。位置序号为衣物在储物格中上下或左右或前后顺序的数字。

通过上面步骤1～步骤4的处理，一件衣物可对应得到一个特征向量，根据衣柜存放衣物的数据表，可实现衣物的存取和查找等。

本发明的衣柜智能管理装置的人机交互界面5，在待机状态时，显示屏上仅显示当前时间、日期、天气信息、空气污染指数信息。通过使用命令，例如语音命令或屏幕手势、操作或按键等，唤醒衣柜智能管理装置进入工作状态，并根据提示(语音或屏幕显示)进行下一步操作：存衣，取衣，整理，浏览，查找。

如图4所示，用户存放衣物时，用户使用命令进入存衣模式，在人机交互界面5上显示和实际衣柜结构相同的2D或3D模型，用户选择需要存衣的衣柜储物格，激活摄像头，同时在屏幕显示摄像头所拍摄画面，并在画面中显示一个前景矩形框，提示用户需要将衣物完整放入矩形框内。用户将衣物放入矩形框后，发命令给摄像头抓拍图片。对所拍摄的图像，进行前景衣物提取以及提取衣物特征，获得该待存衣物的特征向量[衣物图像，颜色特征，局部纹理特征，纹理分类，轮廓特征，轮廓分类]。进行衣物识别，更新衣柜存放衣物的数据表，过程包括(1.1)～(1.4)。

(1.1)首先，将待存衣物的颜色特征与衣柜存放衣物的数据表中记录的衣物的颜色特征进行逐一比对，获取颜色特征的相似度；例如颜色特征是颜色直方图，则和衣物存储模块中保存的衣服颜色直方图进行逐一比对，使用欧氏距离作为相似度度量，将距离值从小到大排序，设最小距离为D_min。

(1.2)然后，根据设定的阈值n₁来判断是否存在与待存衣物的颜色特征相近的衣物，若最小距离D_min大于n₁，说明待存衣物为新衣物，当前不存在该衣物存取的记录，则直接将待存衣物放入所选的储物格，并更新衣柜存放衣物的数据表。若最小距离D_min小于等于n₁，说明待存衣物可能不是新衣物，当前存在与待存衣物的颜色相近的衣物，继续执行(1.3)。

(1.3)将待存衣物的图像纹理特征与相似度距离值小于n₁的衣物的图像纹理特征进行匹配，获取匹配度，匹配度为匹配的特征点个数/待存衣物图像的特征点个数，此外的衣物图像是指进行图像背景分离后的图像。例如对图像纹理特征SURF特征进行匹配，特征匹配方法可以使用Flann-based matcher或Brute-force matcher。将匹配度从高到低排序，设最高匹配度为M_max，次高匹配度为M₁。

(1.4)设定阈值n₂、n₃和n₄，其中n₂<n₃，n₄≥1。若最高匹配度M_max<n₂，则说明待存衣物为新衣物，当前不存在该衣物存取的记录，则直接将待存衣物放入所选的储物格，并更新衣柜存放衣物的数据表。若最高匹配度M_max≥n₂且M_max<n₃，则显示匹配度≥n₂的所有原衣物信息，由用户选择到底是新衣物还是原有衣服中的一件并修改可能误判的信息，然后进行衣物存放并更新衣柜存放衣物的数据表。若最高匹配度M_max≥n₃且是次高匹配度M₁的n₄倍，则显示最高匹配度的衣物信息，并由用户确认到底是新衣物还是匹配上的原有衣物并修改可能误判的信息，然后进行衣物存放并更新衣柜存放衣物的数据表。储物格中的衣物顺序是按照存入的先后顺序保存。上述预先设定的阈值n₁、n₂、n₃和n₄均为正数，可根据实验来设定和调整。

存衣还可以使用另一种批处理的逻辑：用户使用命令进入存衣模式，激活摄像头，用户将衣物放入矩形框后使用命令告知摄像头可以抓拍，抓拍后执行识别流程，识别完成后提示用户识别结果，接受用户修改可能误判的信息，然后保存到衣物存储模块；而后依次执行上述过程，直到处理完所有需要存入的衣物。然后在人机交互界面5上显示和实际衣柜结构相同的2D或3D模型和刚才识别的所有衣物列表，用户使用命令依次将衣物逐个放置到对应的储物格中。批处理流程在处理一次存入多件衣物时将会比上述依次处理每件衣物的流程具备更高的效率。

当用户取衣物的时候，存在两种情况。第一种情况是用户通过在人机交互界面5上浏览衣物，找到所要的衣物后，在直接确认取出，同时衣柜存放衣物的数据表进行更新，用户根据衣物所在的衣柜位置取出衣物，而不需要拍照识别确认。第二种情况是用户直接打开衣柜取出所要的衣物，此时需要对所取的衣物进行拍照，以用于更新衣柜存放衣物的数据表。

如图5所示，为第二种情况下取衣物的流程。用户使用命令进入取衣模式，激活摄像头，同时在屏幕显示摄像头所拍摄画面，并在画面中显示一个前景矩形框，提示用户需要将衣物完整放入矩形框内。用户将衣物放入矩形框后使用命令告知摄像头进行抓拍。对所拍摄的图像，进行前景衣物提取以及提取衣物特征，获得所取衣物的特征向量[衣物图像，颜色特征，局部纹理特征，纹理分类，轮廓特征，轮廓分类]。进行衣物识别，更新衣柜存放衣物的数据表，衣物识别判断的过程与存衣类似，具体是如下(2.1)～(2.4)。

(2.1)将所取衣物的颜色特征与衣柜存放衣物的数据表中记录的衣物的颜色特征进行逐一比对，获取颜色特征的相似度，用距离来描述相似度，设最小距离为D_min。

(2.2)判断最小距离D_min是否大于n₁，若是，说明当前衣柜存放衣物的数据表中出现记录遗漏，未记载该衣物的信息，此时，将所取衣物的记录增加到衣柜存放衣物的数据表中，并标记为已取出。

(2.3)将所取衣物的图像纹理特征与相似度距离值小于n₁的衣物的图像纹理特征进行匹配，获取匹配度，匹配度为匹配的特征点个数/待存衣物图像的特征点个数；将匹配度从高到低排序，设最高匹配度为M_max，次高匹配度为M₁；

(2.4)设定阈值n₂、n₃和n₄，其中n₂<n₃，n₄≥1；若M_max<n₂，则说明所取衣物未记录在衣柜存放衣物的数据表中，将所取衣物的记录增加到衣柜存放衣物的数据表中，并标记为已取出。若最高匹配度M_max≥n₂且M_max<n₃，则显示匹配度≥n₂的所有原衣物，由用户判断该衣物是否是原有衣服中的一件，还是该衣物为新衣物且未记录在衣柜存放衣物的数据表中，然后更新衣柜存放衣物的数据表；若最高匹配度M_max≥n₃且是次高匹配度M₁的n₄倍，则显示最高匹配度的衣物，由用户确认到底是否是匹配上的原有衣物，还是未记录的新衣物，并修改误判的信息，然后更新衣柜存放衣物的数据表。

用户使用命令进入整理或浏览模式时，屏幕显示和实际衣柜结构相同的2D或3D模型，用户使用命令选择需要整理的衣柜储物格，选中储物格后屏幕上显示该储物格中的所有衣物，用户可以浏览这些衣物或使用命令调整该储物格中的衣物先后顺序，用户也可以使用命令将选中的衣物摆放到其它储物格中。为了保证衣柜存放衣物数据表中信息的准确性，实际对衣物的整理应和对修改的记录一致。

用户使用命令进入查找模式时，屏幕显示查找界面，所提供的查找信息包括颜色，类型，纹理花色等。用户确认查找条件后，通过搜索衣柜存放衣物数据表，在屏幕显示匹配的衣物信息，用户选中某件衣物后，屏幕将在衣柜模型上显示该衣物所在的具体储物格位置，并还看显示诸如穿衣频度等统计信息。

Claims

1.一种衣柜智能管理装置，其特征在于，该装置包括图像采集模块、图像分割模块、衣物特征提取模块、衣物存储模块和人机交互界面；

图像采集模块拍摄衣物的图像并发送给图像分割模块；图像分割模块从拍摄的图像中将衣物图像从背景中提取出来，然后将衣物图像发送给衣物特征提取模块；

衣物特征提取模块对衣物图像进行图像处理，生成衣物的特征向量，特征向量中包含衣物图像、颜色标签、颜色特征、局部纹理特征、纹理分类、轮廓特征和轮廓分类；其中，颜色标签为文本形式，通过统计衣物图像中不同颜色下的像素数来确定；颜色特征用二进制向量表示，通过对衣物图像进行颜色特征提取获得；纹理分类为文本形式，利用已有标记纹理分类的衣物图片训练生成纹理分类器模型，将衣物图像的图像纹理特征通过训练好的分类器模型来确定纹理分类；轮廓分类为文本形式，利用已有标记轮廓分类的衣物图片训练生成轮廓分类器模型，将衣物图像的轮廓特征通过训练好的轮廓分类器模型来确定轮廓分类；

衣物存储模块利用衣柜存放衣物的数据表记录衣柜存放衣物的信息，每一条记录信息包括衣柜位置和衣物的特征向量；

2.根据权利要求1所述的一种衣柜智能管理装置，其特征在于，所述的衣柜智能管理装置还包括网络连接模块、GPS定位模块、麦克风和扬声器；网络连接模块将衣柜智能管理装置接入互联网；GPS定位模块用于获取本地衣柜的地理位置；麦克风用于获取用户的语音输入，扬声器用于播放提示信息给用户；通过网络连接模块定期将衣柜存放衣物的信息和衣柜智能管理装置的版本号发送到云端服务器中备份，定期从云端服务器获取推送信息。

3.根据权利要求1所述的一种衣柜智能管理装置，其特征在于，所述的衣物存储模块，保存有预先训练好的纹理分类器模型和轮廓分类器模型、衣柜的2D或3D模型、衣柜存放衣物的数据表、衣柜智能管理装置的版本号以及版本信息。

4.一种衣柜智能管理方法，其特征在于，通过如下步骤实现：

步骤1，利用图像采集模块拍摄衣物的图像，并传送给图像分割模块；

步骤3，对步骤2得到的衣物图像进行步骤3.1～步骤3.6的过程；

步骤3.4，设置文本形式的纹理分类，利用标记纹理分类的已有衣物图片训练生成用于纹理分类器模型，将衣物图像的图像纹理特征通过训练好的分类器模型来确定纹理分类；

步骤4，生成衣物的特征向量，特征向量中包含步骤2获取的衣物图像以及步骤3得到的颜色标签、颜色特征、局部纹理特征、纹理分类、轮廓特征和轮廓分类；

步骤5，根据衣柜存放衣物的数据表，进行衣物的存取、查找和浏览；衣柜存放衣物的数据表中，每一个数据项包含一件衣物的特征向量以及在衣柜中的具体位置。

5.根据权利要求4所述的一种衣柜智能管理方法，其特征在于，所述的步骤2中利用指定包含前景的矩形区域来提取前景像素的方法将衣物从背景中分离。

6.根据权利要求4所述的一种衣柜智能管理方法，其特征在于，所述的步骤3.3中，提取的局部纹理特征包括方向梯度直方图HOG、加速健壮特征SURF以及局部二值模式特征LBP。

7.根据权利要求4所述的一种衣柜智能管理方法，其特征在于，步骤5中所述的衣柜存放衣物的数据表中，每一条信息包括储物格位置、位置序号、衣物的特征向量、是否已取出以及存取时间对队列；位置序号为衣物在储物格中上下或左右或前后顺序的数字。

8.根据权利要求4所述的一种衣柜智能管理方法，其特征在于，所述的步骤5中，存放衣物时，通过图像采集模块拍摄照片，执行步骤2～步骤4，获得待存衣物的图像和待存衣物的特征向量，然后进行识别，识别过程如下：

(1.1)将待存衣物的颜色特征与衣柜存放衣物的数据表中记录的衣物的颜色特征进行逐一比对，获取颜色特征的相似度，用距离来描述相似度，设最小距离为D_min；

(1.2)判断最小距离D_min是否大于n₁，若是，说明待存衣物为新衣物，直接将待存衣物放入所选的储物格，并更新衣柜存放衣物的数据表；否则进行(1.3)；

(1.3)将待存衣物的图像纹理特征与相似度距离值小于n₁的衣物的图像纹理特征进行匹配，获取匹配度，匹配度为匹配的特征点个数/待存衣物图像的特征点个数；将匹配度从高到低排序，设最高匹配度为M_max，次高匹配度为M₁；

(1.4)设定阈值n₂、n₃和n₄，其中n₂<n₃，n₄≥1；若M_max<n₂，则说明待存衣物为新衣物，直接将待存衣物放入所选的储物格，并更新衣柜存放衣物的数据表；若最高匹配度M_max≥n₂且M_max<n₃，则显示匹配度≥n₂的所有原衣物，由用户选择到底是新衣物还是原有衣服中的一件并修改误判的信息，然后进行衣物存放并更新衣柜存放衣物的数据表；若最高匹配度M_max≥n₃且是次高匹配度M₁的n₄倍，则显示最高匹配度的衣物，并由用户确认到底是新衣物还是匹配上的原有衣物并修改误判的信息，然后进行衣物存放并更新衣柜存放衣物的数据表；

其中，阈值n₁、n₂、n₃和n₄均为正数。

9.根据权利要求4所述的一种衣柜智能管理方法，其特征在于，所述的步骤5中，取衣物时，通过图像采集模块拍摄照片，执行步骤2～步骤4，获得所取衣物的图像和所取衣物的特征向量，然后进行下面过程：

(2.1)将所取衣物的颜色特征与衣柜存放衣物的数据表中记录的衣物的颜色特征进行逐一比对，获取颜色特征的相似度，用距离来描述相似度，设最小距离为D_min；

(2.2)判断最小距离D_min是否大于n₁，若是，说明当前衣柜存放衣物的数据表中出现记录遗漏，未记载该衣物，此时，将所取衣物的记录增加到衣柜存放衣物的数据表中，并标记为已取出；

(2.4)设定阈值n₂、n₃和n₄，其中n₂<n₃，n₄≥1；若M_max<n₂，则说明所取衣物未记录在衣柜存放衣物的数据表中，将所取衣物的记录增加到衣柜存放衣物的数据表中，并标记为已取出；若最高匹配度M_max≥n₂且M_max<n₃，则显示匹配度≥n₂的所有原衣物，由用户判断该衣物是否是原有衣服中的一件，并更新衣柜存放衣物的数据表；若最高匹配度M_max≥n₃且是次高匹配度M₁的n₄倍，则显示最高匹配度的衣物，由用户确认到底是否是匹配上的原有衣物，并更新衣柜存放衣物的数据表；阈值n₁、n₂、n₃和n₄均为正数。