CN112148914A - 用于衣物图像检索的方法及装置、设备 - Google Patents

用于衣物图像检索的方法及装置、设备 Download PDF

Info

Publication number
CN112148914A
CN112148914A CN202010468740.3A CN202010468740A CN112148914A CN 112148914 A CN112148914 A CN 112148914A CN 202010468740 A CN202010468740 A CN 202010468740A CN 112148914 A CN112148914 A CN 112148914A
Authority
CN
China
Prior art keywords
picture
clothes
retrieved
image
retrieval
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010468740.3A
Other languages
English (en)
Inventor
张坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Haier Smart Technology R&D Co Ltd
Haier Smart Home Co Ltd
Original Assignee
Qingdao Haier Smart Technology R&D Co Ltd
Haier Smart Home Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Haier Smart Technology R&D Co Ltd, Haier Smart Home Co Ltd filed Critical Qingdao Haier Smart Technology R&D Co Ltd
Priority to CN202010468740.3A priority Critical patent/CN112148914A/zh
Publication of CN112148914A publication Critical patent/CN112148914A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Library & Information Science (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及智能设备技术领域，公开一种用于衣物图像检索的方法及装置、设备。该方法包括：获取包括待检索衣物的待检索图片；通过配置的卷积神经网络CNN模型的卷积层，对所述待检索图片进行特征提取，得到第一特征数据，并得到所述第一特征数据与检索模板集中衣物图片的第二特征数据之间的平方差值；将所述平方差值输入所述CNN模型的已二分类训练的全连接层后，得到所述待检索图片与所述衣物图片的匹配结果。这样，可以合理分配特征数据中每个元素的权重，使得每个元素数对于待匹配衣物的表达能力得到充分的利用，提高了衣物匹配的准确性。

Description

用于衣物图像检索的方法及装置、设备
技术领域
本申请涉及智能设备技术领域，例如涉及用于衣物图像检索的方法及装置、设备。
背景技术
随着科学技术的进步和人工智能的发展，智慧家居已与用户紧密相关，为了让用户在“穿”方面有更智能的体验，不少厂家推出了许多智能衣橱，在这些衣橱中，可利用传感器、遥控和各种智能设备，实现了自动除菌、除湿、照明等人性化功能。不仅如此，还可具有衣物识别、推荐等功能。而衣物识别，推荐等等都建立在衣物图像匹配检索之上。
目前，有很多衣物图像匹配检索在得到衣物特征向量后，可根据余弦相似度、欧式距离公式、曼哈顿距离、明可夫斯基距离、皮尔森相关系数、杰卡德相似系数等等，来确定待检索衣物图像与被检索衣物图像之间的匹配度，这些公式都是将两组特征向量进行比对，比对过程中都是固定的系数或者无系数的，简单地说就是不带有权重的。但是，提取的向量中的每个元素数对于待匹配衣物的表达能力并不完全相同，例如：其中的xi,xj...xk表达能力是最好的，但是却使用无差别的统一标准去比对，这样势必会浪费xi,xj...xk的表达能力。因此，降低了衣物匹配的准确性。
发明内容
为了对披露的实施例的一些方面有基本的理解，下面给出了简单的概括。所述概括不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围，而是作为后面的详细说明的序言。
本公开实施例提供了一种用于衣物图像检索的方法、装置和设备，以解决衣物图像匹配准确性不高的技术问题。
在一些实施例中，所述方法包括：
获取包括待检索衣物的待检索图片；
通过配置的卷积神经网络CNN模型的卷积层，对所述待检索图片进行特征提取，得到第一特征数据，并得到所述第一特征数据与检索模板集中衣物图片的第二特征数据之间的平方差值；
将所述平方差值输入所述CNN模型的已二分类训练的全连接层后，得到所述待检索图片与所述衣物图片的匹配结果。
在一些实施例中，所述装置包括：
获取模块，被配置为获取包括待检索衣物的待检索图片；
特征提取模块，被配置为通过配置的卷积神经网络CNN模型的卷积层，对所述待检索图片进行特征提取，得到第一特征数据，并得到所述第一特征数据与检索模板集中衣物图片的第二特征数据之间的平方差值；
匹配模块，被配置为将所述平方差值输入所述CNN模型的已二分类训练的全连接层后，得到所述待检索图片与所述衣物图片的匹配结果。
在一些实施例中，所述设备包括：上述用于衣物图像检索的装置。
本公开实施例提供的用于衣物图像检索的方法、装置和设备，可以实现以下技术效果：
可提取到待检索图片的特征数据以及检索模板集中衣物图片的特征数据后，将两个特征数据之间的平方差值输入CNN模型的全连接层，得到待检索图片与衣物图片之间的二分类匹配结果，这样，由于CNN模型中的权重系数是经过标定匹配特征标签的图像训练出来的，可以合理分配特征数据中每个元素的权重，使得每个元素数对于待匹配衣物的表达能力得到充分的利用，提高了衣物匹配的准确性。
以上的总体描述和下文中的描述仅是示例性和解释性的，不用于限制本申请。
附图说明
一个或多个实施例通过与之对应的附图进行示例性说明，这些示例性说明和附图并不构成对实施例的限定，附图中具有相同参考数字标号的元件示为类似的元件，附图不构成比例限制，并且其中：
图1是本公开实施例提供的一种用于衣物图像检索方法的流程示意图；
图2是本公开实施例提供的一种用于衣物图像检索衣橱的结构示意图；
图3是本公开实施例提供的一种用于衣物图像检索系统的结构示意图；
图4是本公开实施例提供的一种用于衣物图像检索方法的流程示意图；
图5是本公开实施例提供的一种用于衣物图像检索方法的流程示意图；
图6是本公开实施例提供的一种用于衣物图像检索装置的结构示意图；
图7是本公开实施例提供的一种用于衣物图像检索装置的结构示意图。
具体实施方式
为了能够更加详尽地了解本公开实施例的特点与技术内容，下面结合附图对本公开实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本公开实施例。在以下的技术描述中，为方便解释起见，通过多个细节以提供对所披露实施例的充分理解。然而，在没有这些细节的情况下，一个或多个实施例仍然可以实施。在其它情况下，为简化附图，熟知的结构和装置可以简化展示。
本公开实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开实施例的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。
除非另有说明，术语“多个”表示两个或两个以上。
本公开实施例中，字符“/”表示前后对象是一种“或”的关系。例如，A/B表示：A或B。
术语“和/或”是一种描述对象的关联关系，表示可以存在三种关系。例如，A和/或B，表示：A或B，或，A和B这三种关系。
目前，在衣物图像检索的方案中，在得到衣物特征向量后，可根据余弦相似度、欧式距离公式、曼哈顿距离、明可夫斯基距离、皮尔森相关系数、杰卡德相似系数等等，来确定待检索衣物图片与被检索衣物图片之间的匹配度，这些公式都是不带有权重的，但是，提取的特征向量中的每个元素数对于待匹配衣物的表达能力并不完全相同，而本公开实施例中，可以通过CNN模型中二分类方法，合理分配特征数据中每个元素的权重，使得每个元素数对于待匹配衣物的表达能力得到充分的利用，提高了衣物匹配的准确性。
智慧家居中，家居设备可与云端服务器进行通讯，这样，很多家居设备本地可进行衣物图像匹配，或者通过服务器进行衣物图像匹配，本公开实施例中，衣橱、电视等家居设备还可在衣物图像匹配的基础上进行衣物的识别、推荐或其它应用，即衣物图像匹配可在本地家居设备完成或可通过服务器完成。本公开实施例中，可提取到待检索图片的特征数据以及检索模板集中衣物图片的特征数据后，将两个特征数据之间的平方差值输入CNN模型的全连接层，得到待检索图片与衣物图片之间的二分类匹配结果，这样，由于CNN模型中权重系数是经过标定匹配特征标签的图像训练出来的，可以合理分配特征数据中每个元素的权重，使得每个元素数对于待匹配衣物的表达能力得到充分的利用，提高了衣物匹配的准确性。
图1是本公开实施例提供的一种用于衣物图像检索方法的流程示意图。如图1所示，用于衣物图像检索的过程包括：
步骤101：获取包括待检索衣物的待检索图片。
目前，随着智能化技术的发展，很多家居设备，例如：电视、冰箱、投影仪等等设备都是智能化设备，这些设备都具有图像识别的能力，并且，以前的很多家具逐渐电子化和智能化，例如：衣橱、书柜等等都具有自动除菌、除湿、照明等等功能。本公开实施例中，衣橱、电视等这些可与“衣物”相关的设备可以实现衣物图像的自动检索。
可通过设备上配置的图像采集设备，采集包含待检索衣物的待检索图片。图2是本公开实施例提供的一种用于衣物图像检索衣橱的结构示意图。如图2所示，在衣橱210的正上方配置有摄像头220，这样，通过摄像头220即可获取到用户的图像。从而，获取了包含待检索衣物的待检索图片。当然，家居设备上也可以通过人机交互界面获取到包括待检索衣物的待检索图片。
或者，衣橱、电视等家居设备可通过服务器实现衣物图像检索功能，从而，可将采集到待检索图片发送给服务器，从而，执行主体服务器可接收到包含待检索衣物的待检索图片。在一些实施例中，接收衣橱发送的用户视频信息，其中，用户视频信息是衣橱确定用户处于设定位置时通过图像采集设备采集的；根据用户视频信息，得到包含待检索衣物的待检索图片。
衣橱、电视等设备还可以控制图像采集设备的运行。例如：衣橱如图2，用户穿着待检索衣物后站到穿衣镜的设定位置后，衣橱即可启动摄像头采集用户视频信息，并发送给服务器，从而，服务器即可接收到用户视频信息，并对接收到用户视频信息每帧图片进行识别，得到包含待检索衣物的待检索图片。
在一些实施例中，衣橱、电视等设备，在确定用户离开设定位置时，即可关闭图像采集设备，这样，节省了资源。
步骤102：通过配置的卷积神经网络CNN模型的卷积层，对待检索图片进行特征提取，得到第一特征数据，并得到第一特征数据与检索模板集中衣物图片的第二特征数据之间的平方差值。
随着人工智能的发展，目前很多图像识别过程都是基于卷积神经网络(Convolutional Neural Networks，CNN)，本实施例中也采用CNN网络来进行图片的特征提取。一般，CNN模型中包括了卷积层，池化层、全连接层等等。获取到待检索图片后，输入配置的CNN模型后，进行预处理，然后，通过CNN模型的卷积层，即可进行特征提取，得到待检索图片的第一特征数据。CNN模型可包括一层或多层卷积层，在一些实施例中，待检索图片输入配置的CNN模型进行预处理后，经过卷积层，池化层，卷积层，池化层…，即可提取得到待检索图片的第一特征数据。
由于是在检索模板集中，检索到与待检索图片匹配的匹配衣物图像，因此，不仅需要获取待检索图片的第一特征数据，还需要获取检索模板集中衣物图片的第二特征数据，这样，才能实现衣物图像的检索。在一些实施例中，通过配置的CNN模型的卷积层，提取了待检索图片的第一特征数据，因此，可通过配置的CNN模型的卷积层，提取检索模板集中一张或多张衣物图片对应的第二特征数据，即在相同的CNN模型下，分别得到待检索图片的第一特征数据以及检索模板集中衣物图片的第二特征数据。可提前获取检索模板集中每张衣物图片的第二特征数据并保持，或者，获取第一特征数据的同时，获取检索模板集中衣物图片的第二特征数据。
得到第一特征数据以及第二特征数据后，即可得到第一特征数据与第二特征数据之间的平方差。
步骤103：将平方差值输入CNN模型的已二分类训练的全连接层后，得到待检索图片与衣物图片的匹配结果。
CNN模型的全连接层可将前面经过多次卷积后高度抽象化的特征进行整合，然后可以进行归一化，对各种分类情况都输出一个概率，之后的分类器(Classifier)可以根据全连接层得到的概率进行分类。因此，本公开实施例中，可将第一特征数据与第二特征数据之间的平方差值输入配置的CNN模型的全连接层，经softmax的归一化处理后可得到一个二分类结果，从而，可根据二分类结果，得到待检索图片的类别或匹配衣物图像等结果。
可见，本公开实施例中，不仅待检索图片的特征提取是通过配置的CNN模型实现的，并且，待检索图片与检索模板集中衣物图片的匹配结果也是通过配置的CNN模型的已二分类训练的全连接层实现的，因此，在实现衣物图像检索之前，需进行CNN模型的配置训练。
在进行CNN模型训练时，有多个衣物样本图像，每次选择一个batch进行训练，一个batch中包括了两组衣物样本图像(X1，X2)，并且这两组衣物样本图像之间的匹配特征也是已知的，从而，可根据这些已标定匹配特征标签的衣物样本图像进行CNN模型训练，其中，进行CNN模型的全连接层训练时，需要根据二分类结果，配置损失loss函数，因此，在一些实施例中，可根据二组已标定匹配特征标签的衣物样本图像(X1，X2)进行CNN模型训练，并在经过全连接层的训练后，得到对应的输出响应(y1，y2)；根据公式(1)的损失函数，配置卷积神经网络CNN模型；
Figure BDA0002513581120000061
这样，配置了CNN模型，且CNN模型的全连接层是经过二分类训练的后，全连接层就是由一堆权重组成的加权公式网络层，因此，在步骤103中得到待检索图片与衣物图片的匹配结果包括：在第一特征数据为F1＝(f11,f12,f13...f1n)，第二特征数据为F2＝(f21,f22,f23...f2n)的情况下，通过公式(2)，得到对应的输出响应(y1,y2)；然后，可根据输出响应(y1,y2)进行归一化处理，得到待检索图片与衣物图片的二分类结果；
Figure BDA0002513581120000071
其中，[W1,W2]＝[(w11,w12,w13...w1n),(w21,w22,w23...w2n)]为CNN模型中已训练的权重系数。
由于[W1,W2]可在CNN模型训练过程中自动学习并生成，这样，可自动合理分配特征数据中每个元素的权重，使得每个元素数对于待匹配衣物的表达能力得到充分的利用，从而，提高了衣物匹配的准确性。
可见，本实施例中，通过CNN模型中的二分类方法，确定待检索图片与检索模板集中衣物图片的匹配结果，使得提取的特征的对于待匹配衣物的表达能力更强，进一步提高了衣物匹配的准确性。
通过上述的衣物图像检索过程，可确定待检索图片与检索模板集中每张衣物图片之间的匹配结果。由于匹配结果是二分类结果，可包括匹配概率，那么根据与每张衣物图片对应的匹配概率，确定与待检索衣物对应的匹配衣物图像。其中，在一些实施例中，在匹配结果中匹配概率大于设定值的情况下，将对应的衣物图片确定为待检索衣物对应的匹配衣物图像。其中，可将与每张衣物图片对应的匹配概率进行排序，然后，将其中一个匹配概率确定为设定值，从而，将大于该匹配概率对应的衣物图片确定为待检索衣物对应的匹配衣物图像。例如：根据从大大小的顺序，将排在第四的匹配概率确定为设定值，从而，选择排在前三的匹配概率对应的衣物图片确定为待检索衣物对应的匹配衣物图像。或者，直接预设一个设定值，将匹配结果中匹配概率大于设定值的对应的衣物图片确定为待检索衣物对应的匹配衣物图像。
本公开实施例中，执行主体可为衣橱、电视等设备，也可为服务器。这样，在一些实施例中，服务器为执行主体时，还需将检索到的匹配衣物图像发送给衣橱，进行衣物识别或推荐。这样，不见减少了衣橱设备的资源占用，还能进一步提高了衣橱等设备的智能性。
下面将操作流程集合到具体实施例中，举例说明本发明实施例提供的用于衣物图像检索过程。
本公开一实施例中，图3是本公开实施例提供的一种用于衣物图像检索系统的结构示意图。如图3所示，包括：服务器1000、衣橱2000、以及终端3000。其中，服务器1000可与衣橱2000，以及终端3000进行通讯。服务器1000中根据公式(1)配置了CNN模型，其中，全连接层已二分类训练了。衣橱2000可如图2所示。
图4是本公开实施例提供的一种用于衣物图像检索方法的流程示意图。结合图4，用于衣物图像检索的过程包括：
步骤401：衣橱判断设定位置上是否感应到用户？若是，执行步骤402，否则，执行步骤406。
步骤402：衣橱启动摄像头采集用户视频信息。
步骤403：衣橱将采集的用户视频信息发送给服务器，使得服务器获取包含待检索衣物的待检索图片，并确定与待检索图片中待检索衣物匹配的匹配衣物图像。
步骤404：衣橱向服务器发送匹配结果请求信息。
步骤405：衣橱接收到服务器发送的匹配衣物图像，并进行对应的衣物处理。
步骤406：衣橱确定摄像头处于关闭状态。
衣橱将用户视频信息，发送给服务器，服务器即可进行衣物图像检索了。服务器中已根据公式(1)配置了CNN模型，其中，全连接层已二分类训练了。并且服务器中已经保存了检索模板集中衣物图片根据CNN模型提取的第二特征数据。
图5是本公开实施例提供的一种用于衣物图像检索方法的流程示意图。结合图5，用于衣物图像检索的过程包括：
步骤501：服务器根据用户视频信息，获取包含待检索衣物的待检索图片。
步骤502：将待检索图片输入配置的CNN模型的卷积层中，得到待检索衣物的第一特征数据。
步骤503：将保存的一个第二特征数据确定为当前第二特征数据，并得到第一特征数据与当前第二特征数据之间的当前平方差值。
步骤504：将当前平方差值输入CNN模型的已二分类训练的全连接层后，得到待检索图片与当前衣物图片的当前匹配结果。
步骤505：判断检索模板集中每个衣物图片的第二特征数据是否为当前第二特征数据？若是，执行步骤506，否则，返回步骤503。
步骤506：根据匹配结果中匹配概率，将匹配概率大于设定值对应的衣物图片确定为待检索衣物对应的匹配衣物图像，并发送给终端或衣橱。
可见，本实施例中，服务器可提取到待检索图片的特征数据以及检索模板集中衣物图片的特征数据后，将两个特征数据之间的平方差值输入CNN模型的全连接层，得到待检索图片与衣物图片之间的二分类匹配结果，这样，由于CNN模型中的权重系数是经过标定匹配特征标签的图像训练出来的，可以合理分配特征数据中每个元素的权重，使得每个元素数对于待匹配衣物的表达能力得到充分的利用，提高了衣物匹配的准确性。
根据上述用于衣物图像检索的过程，可构建一种用于衣物图像检索的装置。
图6是本公开实施例提供的一种用于衣物图像检索装置的结构示意图。如图6所示，用于衣物图像检索装置包括：获取模块610、特征提取模块620和匹配模块。
获取模块610，被配置为获取包括待检索衣物的待检索图片。
特征提取模块620，被配置为通过配置的卷积神经网络CNN模型的卷积层，对待检索图片进行特征提取，得到第一特征数据，并得到第一特征数据与检索模板集中衣物图片的第二特征数据之间的平方差值。
匹配模块630，被配置为将平方差值输入CNN模型的已二分类训练的全连接层后，得到待检索图片与衣物图片的匹配结果。
在一些实施例中，特征提取模块620，还被配置为通过CNN模型的卷积层，提取检索模板集中一张或多张衣物图片对应的第二特征数据。
在一些实施例中，还包括：配置训练模块，被配置为根据二组已标定匹配特征标签的衣物样本图像(X1，X2)进行卷积神经网络CNN模型训练，并在经过全连接层的训练后，得到对应的输出响应(y1，y2)；根据公式(1)的损失函数，配置卷积神经网络CNN模型；
Figure BDA0002513581120000101
在一些实施例中，匹配模块630，具体被配置为在第一特征数据为F1＝(f11,f12,f13...f1n)，第二特征数据为F2＝(f21,f22,f23...f2n)的情况下，通过公式(2)，得到对应的输出响应(y1,y2)；根据输出响应(y1,y2)进行归一化处理，得到待检索图片与衣物图片的二分类结果；
Figure BDA0002513581120000102
其中，[W1,W2]＝[(w11,w12,w13...w1n),(w21,w22,w23...w2n)]为CNN模型中已训练的权重系数。
在一些实施例中，还包括确定模块，被配置为在匹配结果中匹配概率大于设定值的情况下，将对应的衣物图片确定为待检索衣物对应的匹配衣物图像。
在一些实施例中，获取模块610，具体被配置为接收衣橱发送的用户视频信息，其中，用户视频信息是衣橱确定用户处于设定位置时通过图像采集设备采集的；根据用户视频信息，得到包含待检索衣物的待检索图片。
在一些实施例中，还包括：反馈模块，被配置为将检索到的匹配衣物图像发送给衣橱，进行衣物识别或推荐。
可见，本实施例中，用于衣物图像检索装置可提取到待检索图片的特征数据以及检索模板集中衣物图片的特征数据后，将两个特征数据之间的平方差值输入CNN模型的全连接层，得到待检索图片与衣物图片之间的二分类匹配结果，这样，由于CNN模型中的权重系数是经过标定匹配特征标签的图像训练出来的，可以合理分配特征数据中每个元素的权重，使得每个元素数对于待匹配衣物的表达能力得到充分的利用，提高了衣物匹配的准确性。
本公开实施例提供了一种用于衣物图像检索的装置，其结构如图7所示，包括：
处理器(processor)100和存储器(memory)101，还可以包括通信接口(Communication Interface)102和总线103。其中，处理器100、通信接口102、存储器101可以通过总线103完成相互间的通信。通信接口102可以用于信息传输。处理器100可以调用存储器101中的逻辑指令，以执行上述实施例的用于衣物图像检索的方法。
此外，上述的存储器101中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
存储器101作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令/模块。处理器100通过运行存储在存储器101中的程序指令/模块，从而执行功能应用以及数据处理，即实现上述方法实施例中的用于衣物图像检索的方法。
存储器101可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器101可以包括高速随机存取存储器，还可以包括非易失性存储器。
本公开实施例提供了一种设备，包含衣橱或服务器，包括：上述的用于衣物图像检索装置。
本公开实施例提供了一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令设置为执行上述用于衣物图像检索方法。
本公开实施例提供了一种计算机程序产品，所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述用于衣物图像检索方法。
上述的计算机可读存储介质可以是暂态计算机可读存储介质，也可以是非暂态计算机可读存储介质。
本公开实施例的技术方案可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括一个或多个指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开实施例所述方法的全部或部分步骤。而前述的存储介质可以是非暂态存储介质，包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
以上描述和附图充分地示出了本公开的实施例，以使本领域的技术人员能够实践它们。其他实施例可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选的，并且操作的顺序可以变化。一些实施例的部分和特征可以被包括在或替换其他实施例的部分和特征。本公开实施例的范围包括权利要求书的整个范围，以及权利要求书的所有可获得的等同物。当用于本申请中时，虽然术语“第一”、“第二”等可能会在本申请中使用以描述各元件，但这些元件不应受到这些术语的限制。这些术语仅用于将一个元件与另一个元件区别开。比如，在不改变描述的含义的情况下，第一元件可以叫做第二元件，并且同样第，第二元件可以叫做第一元件，只要所有出现的“第一元件”一致重命名并且所有出现的“第二元件”一致重命名即可。第一元件和第二元件都是元件，但可以不是相同的元件。而且，本申请中使用的用词仅用于描述实施例并且不用于限制权利要求。如在实施例以及权利要求的描述中使用的，除非上下文清楚地表明，否则单数形式的“一个”(a)、“一个”(an)和“所述”(the)旨在同样包括复数形式。类似地，如在本申请中所使用的术语“和/或”是指包含一个或一个以上相关联的列出的任何以及所有可能的组合。另外，当用于本申请中时，术语“包括”(comprise)及其变型“包括”(comprises)和/或包括(comprising)等指陈述的特征、整体、步骤、操作、元素，和/或组件的存在，但不排除一个或一个以上其它特征、整体、步骤、操作、元素、组件和/或这些的分组的存在或添加。在没有更多限制的情况下，由语句“包括一个…”限定的要素，并不排除在包括所述要素的过程、方法或者设备中还存在另外的相同要素。本文中，每个实施例重点说明的可以是与其他实施例的不同之处，各个实施例之间相同相似部分可以互相参见。对于实施例公开的方法、产品等而言，如果其与实施例公开的方法部分相对应，那么相关之处可以参见方法部分的描述。
本领域技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，可以取决于技术方案的特定应用和设计约束条件。所述技术人员可以对每个特定的应用来使用不同方法以实现所描述的功能，但是这种实现不应认为超出本公开实施例的范围。所述技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本文所披露的实施例中，所揭露的方法、产品(包括但不限于装置、设备等)，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，可以仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例。另外，在本公开实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
附图中的流程图和框图显示了根据本公开实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。在附图中的流程图和框图所对应的描述中，不同的方框所对应的操作或步骤也可以以不同于描述中所披露的顺序发生，有时不同的操作或步骤之间不存在特定的顺序。例如，两个连续的操作或步骤实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

Claims (10)

1.一种用于衣物图像检索的方法，其特征在于，包括：
获取包括待检索衣物的待检索图片；
通过配置的卷积神经网络CNN模型的卷积层，对所述待检索图片进行特征提取，得到第一特征数据，并得到所述第一特征数据与检索模板集中衣物图片的第二特征数据之间的平方差值；
将所述平方差值输入所述CNN模型的已二分类训练的全连接层后，得到所述待检索图片与所述衣物图片的匹配结果。
2.根据权利要求1所述的方法，其特征在于，所述得到所述第一特征数据与对应的第二特征数据之间的平方差值之前，还包括：
通过所述CNN模型的卷积层，提取所述检索模板集中一张或多张衣物图片对应的第二特征数据。
3.根据权利要求1或2所述的方法，其特征在于，所述得到第一特征数据之前，包括：
根据二组已标定匹配特征标签的衣物样本图像(X1，X2)进行所述卷积神经网络CNN模型训练，并在经过所述全连接层的训练后，得到对应的输出响应(y1，y2)；
根据公式(1)的损失函数，配置所述卷积神经网络CNN模型；
Figure FDA0002513581110000011
4.根据权利要求3所述的方法，其特征在于，所述得到所述待检索图片与所述衣物图片的匹配结果包括：
在所述第一特征数据为F1＝(f11,f12,f13...f1n)，所述第二特征数据为F2＝(f21,f22,f23...f2n)的情况下，通过公式(2)，得到对应的输出响应(y1,y2)；
根据所述输出响应(y1,y2)进行归一化处理，得到所述待检索图片与所述衣物图片的二分类结果；
Figure FDA0002513581110000021
其中，[W1,W2]＝[(w11,w12,w13...w1n),(w21,w22,w23...w2n)]为所述CNN模型中已训练的权重系数。
5.根据权利要求1所述的方法，其特征在于，所述得到所述待检索图片与所述衣物图片的匹配结果之后，还包括：
在所述匹配结果中匹配概率大于设定值的情况下，将对应的所述衣物图片确定为所述待检索衣物对应的匹配衣物图像。
6.根据权利要求1或5所述的方法，其特征在于，所述获取包括待检索衣物的待检索图片包括：
接收衣橱发送的用户视频信息，其中，所述用户视频信息是所述衣橱确定用户处于设定位置时通过图像采集设备采集的；
根据所述用户视频信息，得到包含待检索衣物的待检索图片。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
将检索到的所述匹配衣物图像发送给所述衣橱，进行衣物识别或推荐。
8.一种用于衣物图像检索的装置，其特征在于，包括：
获取模块，被配置为获取包括待检索衣物的待检索图片；
特征提取模块，被配置为通过配置的卷积神经网络CNN模型的卷积层，对所述待检索图片进行特征提取，得到第一特征数据，并得到所述第一特征数据与检索模板集中衣物图片的第二特征数据之间的平方差值；
匹配模块，被配置为将所述平方差值输入所述CNN模型的已二分类训练的全连接层后，得到所述待检索图片与所述衣物图片的匹配结果。
9.一种用于衣物图像检索的装置，该装置包括处理器和存储有程序指令的存储器，其特征在于，所述处理器被配置为在执行所述程序指令时，执行如权利要求1至7任一项所述用于衣物图像检索的方法。
10.一种设备，其特征在于，包括如权利要求8或9所述用于衣物图像检索的装置。
CN202010468740.3A 2020-05-28 2020-05-28 用于衣物图像检索的方法及装置、设备 Pending CN112148914A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010468740.3A CN112148914A (zh) 2020-05-28 2020-05-28 用于衣物图像检索的方法及装置、设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010468740.3A CN112148914A (zh) 2020-05-28 2020-05-28 用于衣物图像检索的方法及装置、设备

Publications (1)

Publication Number Publication Date
CN112148914A true CN112148914A (zh) 2020-12-29

Family

ID=73891435

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010468740.3A Pending CN112148914A (zh) 2020-05-28 2020-05-28 用于衣物图像检索的方法及装置、设备

Country Status (1)

Country Link
CN (1) CN112148914A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112834518A (zh) * 2021-01-06 2021-05-25 优刻得科技股份有限公司 颗粒缺陷检测方法、系统、设备和介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112834518A (zh) * 2021-01-06 2021-05-25 优刻得科技股份有限公司 颗粒缺陷检测方法、系统、设备和介质

Similar Documents

Publication Publication Date Title
US10025950B1 (en) Systems and methods for image recognition
US11080918B2 (en) Method and system for predicting garment attributes using deep learning
CN111523621B (zh) 图像识别方法、装置、计算机设备和存储介质
JP5934653B2 (ja) 画像分類装置、画像分類方法、プログラム、記録媒体、集積回路、モデル作成装置
US8645287B2 (en) Image tagging based upon cross domain context
US8724910B1 (en) Selection of representative images
US9460518B2 (en) Visual clothing retrieval
US20160350336A1 (en) Automated image searching, exploration and discovery
CN111814810A (zh) 图像识别方法、装置、电子设备及存储介质
CN110633669B (zh) 家居环境中基于深度学习的移动端人脸属性识别方法
CN111444366B (zh) 图像分类方法、装置、存储介质及电子设备
KR101835333B1 (ko) 얼굴 인식 서비스 제공 방법
CN111401306A (zh) 用于衣物穿搭推荐的方法及装置、设备
KR102664418B1 (ko) 디스플레이 장치 및 그의 서비스 제공 방법
CN114419391A (zh) 目标图像识别方法及装置、电子设备及可读存储介质
WO2019091988A1 (en) Change-aware person identification
CN112148914A (zh) 用于衣物图像检索的方法及装置、设备
CN110879944A (zh) 基于人脸相似度的主播推荐方法、存储介质、设备及系统
Bruns et al. Adaptive training of video sets for image recognition on mobile phones
CN110276283B (zh) 图片识别方法、目标识别模型训练方法及装置
Bhoir et al. Transfer learning with deep neural networks for image classification in the e-commerce industry
CN111428738A (zh) 用于衣物图像检索的方法及装置、设备
CN113465251B (zh) 智能冰箱及食材识别方法
Kang et al. Ontology-based inference system for adaptive object recognition
CN110490027B (zh) 人脸特征提取训练方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination