CN107622071B

CN107622071B - 通过间接相关反馈在无查源下的衣服图像检索系统及方法

Info

Publication number: CN107622071B
Application number: CN201610561407.0A
Authority: CN
Inventors: 张娅; 王延峰; 陈卓翔; 徐哲
Original assignee: Shanghai Media Intelligence Technology Co Ltd
Current assignee: Shanghai Media Intelligence Technology Co., Ltd.
Priority date: 2016-07-15
Filing date: 2016-07-15
Publication date: 2020-01-07
Anticipated expiration: 2036-07-15
Also published as: CN107622071A

Abstract

本发明提供一种通过间接相关反馈在无查源下的衣服图像检索系统及方法，所述方法为：获取大量衣服图片并按照种类和颜色聚类；对每张从衣服图片收集模块收集的图片，按照所在种类所选的多个特征，用深度神经网络提取固定长度的向量，并根据每一个特征计算图片之间的相似度；根据衣服图片特征提取及相似度计算步骤得到的图片间相似度，通过贝叶斯相关反馈结构算法，在用户每次点击和目标图片最相似的图片后，对所选特征的权值进行调整，再返回给用户推荐的衣服图片，通过迭代找到用户的目标图片。本发明解决了用户在无查源衣服图片而只能给出基本的种类和颜色的情况下，找到目标衣服图片的问题。

Description

通过间接相关反馈在无查源下的衣服图像检索系统及方法

技术领域

本发明涉及计算机视觉和数据挖掘领域，具体的，涉及一种通过间接相关反馈在无查源下的衣服图像检索系统及方法。

背景技术

随着网络技术，在线支付和物流配送的发展以及人们对网络更多的需求，在线购物商城尤其是企业为消费者(B2C)提供的网上购物平台近年来得到了迅猛的发展。这种购物模式为商家和用户节省了时间和空间，极大地提高了交易效率，同时还具有商品种类多、无购物时间限制、购物成本低等多种优点。

在线购买衣服是在线购物的一大主力军，各大网购平台有不少将衣服作为盈利的一大来源，甚至还有专注于某一类衣服的垂直购物网站。与此同时，越来越多的研究也集中在了衣服分析上，包括特征预测和图像检索等，这都使得衣服图像的检索得到了更多的关注。

传统的衣服图像检索往往都是基于文字的模糊搜索，特别地，也有基于图像内容的“以图搜图”；但是，经常也会碰到这样的情况：在街头或者在电视上看到一件中意的衣服却没有机会拍下一张照片，而这件衣服就只能存留在我们的脑海之中，而很有可能无法再遇见一次或者在网上购物商城中找到它。

经检索，公开号为CN104572680A、申请号为201310485364.9的中国发明专利申请，该发明提供一种基于颜色矩的衣服检索方法，依次包括以下步骤：(1)输入待检索衣服图片，对其进行预处理，得到预定像素的图片；(2)将所述预定像素的图片均分为K块；(3)对于每个块，将其中每个像素由RGB颜色空间转换到HSV颜色空间，并将每个像素值进行归一化操作，进而计算该块的颜色矩；(4)级联待检索衣服图片的K块颜色矩，得到该图片的颜色特征，即为待检索衣服图片的级联颜色矩向量；(5)遍历衣服库的颜色特征数据库中的所有颜色特征，与待检索衣服图片的级联颜色矩向量进行相似性计算和比较。

但是上述专利在搜图时需要提供一张目标图片作为搜索源，但是实际情况下很有可能目标只存在脑海之中，无法提供搜索源。因此无法实现在无查源情况下的衣服图像检索。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种通过间接相关反馈在无查源下的衣服图像检索方法及方法，以解决现有方法中只通过文字或图片来进行检索和无查源检索时不考虑权重变化的问题，通过多次迭代和反馈对用户的目标图片和变权特征建模，在不需要搜索源的情况下便可以搜寻到用户心中的目标图片。

根据本发明的第一目的，提供一种通过间接相关反馈在无查源下的衣服图像检索方法，包括以下步骤：

衣服图片收集分类步骤：获取大量衣服图片并按照种类和颜色聚类；

衣服图片特征提取及相似度计算步骤：对每张从衣服图片收集步骤收集的图片，按照所在种类所选的多个特征，用深度神经网络提取固定长度的向量，并根据每一个特征计算图片之间的相似度；

贝叶斯相关反馈结构算法步骤：根据衣服图片特征提取及相似度计算步骤得到的图片间相似度，通过贝叶斯相关反馈结构算法，在用户每次点击和目标图片最相似的图片后，返回给用户推荐的衣服图片，通过迭代找到用户的目标图片。

优选地，所述的衣服图片收集分类步骤，运用了网络爬虫技术，在互联网上收集所需要的大量衣服图片，并按照种类和颜色对图片进行了聚类，共分成l类别，每一类中再按颜色分为m类。

优选地，所述的衣服图片特征提取及相似度计算步骤，运用训练好的深度卷积网络，对已经聚类好的图片按照种类的不同提取所选定的多个特征

并在每个特征j∈{1,2,....M}下计算图片之间的相似度，其中N表示所选种类图片的数目，M表示总的特征数，M_n表示所选种类提取的特征数。

优选地，所述的贝叶斯相关反馈结构算法步骤，核心为将目标图片Y和变权特征W两个变量统一建模，并在贝叶斯结构中联动三个概率模型：更新模型、展示模型和回答模型，所述的变权特征W的含义是所选的多个特征会根据用户的点击进行权值变化，展示模型则根据特征权值变化计算得到下一轮展现给用户的图片。

更优选地，所述的更新模型，用于更新第t+1次用户反馈

后目标图片Y和变权特征W的后验概率p_t+1(k)＝P(Y＝k|B_t+1),k∈S和w_t+1(j)＝P(W＝j|B_t+1),j∈F，得到基于第t次的后验概率p_t(k)、w_t(j)和第t+1次用户的选择其中S为图片数据集，

为第i轮展示给用户的n幅图片，t表示迭代的总次数，

为第i次用户的选择，x_i为用户第i次的选择，F＝1,2,...M，M为特征数。

更优选地，所述的展示模型，所采用的方法为Voronoi分割最大熵，即在以往t次的结果B_t和最新一次的选择

下最小化目标的不确定性，用于决定下一轮将哪些图片展示给用户。

更优选地，所述的回答模型，用于计算每一轮展示的图片被选择的概率

其中令s_j(x,y)表示基于特征j图片x,y之间的相似度，X_D为任意一轮用户的选择，i∈{1,...n}为用户的选择，n为每一轮展示给用户的图片数。得到基于目标图片和当前所衡量相似度的特征；直观上来说，一张图片如果在当前选定特征下和目标图片更相似的话，那么其概率应该更大，反过来说如果所选定的不是概率较大的图片的话，或者是第k幅图片不是目标图片或者是第j个特征不是用户主要考虑的特征。

根据本发明的第二目的，提供一种通过间接相关反馈在无查源下的衣服图像检索系统，包括：

衣服图片收集分类模块：获取大量衣服图片并按照种类和颜色聚类；

衣服图片特征提取及相似度计算模块：对每张从衣服图片收集模块收集的图片，按照所在种类所选的多个特征，用深度神经网络提取固定长度的向量，并根据每一个特征计算图片之间的相似度；

贝叶斯相关反馈结构算法模块：根据衣服图片特征提取及相似度计算模块得到的图片间相似度，通过贝叶斯相关反馈结构算法，在用户每次点击和目标图片最相似的图片后，返回给用户推荐的衣服图片，通过迭代找到用户的目标图片。

与现有技术相比，本发明具有如下的有益效果：

本发明通过深入挖掘互联网上的衣服图片数据，根据衣服种类提取多个特征，改进了贝叶斯反馈结构算法模块中的更新模型，在用户不能提供搜索源的情况下，可以在进行相关反馈后根据反馈点击的结果更新特征权重，对权重的相似度进行综合，提供新一轮备选图片，不断迭代从而找到用户心中的目标图片。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明一实施例中方法的流程图；

图2为本发明一实施例中系统的结构框图；

图3为本发明一实施例中包括线下特征提取和线上相关反馈建模的示意图；

图4为本发明一实施例中衣服种类的划分和每一类中所提取的特征示意图；

图5为本发明一实施例中用户进入反馈实验的指导界面示意图；

图6为本发明一实施例中典型的用户相关反馈和权重分布调整迭代过程示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

如图1所示，为本实施例通过间接相关反馈的无查源下的衣服图像检索方法的流程图，步骤为：

所述检索方法是将目标图片和变权特征两个变量统一建模，通过用户每一轮点击和目标图片最相似的图片的结果进行特征权重的变动和相关图片的推荐，不断迭代直到找到用户心中的目标图片。

所述建模的过程是在贝叶斯相关反馈算法结构中联动三个概率模型：更新模型、展示模型和回答模型；通过更新模型和回答模型，可以将用户的一次点击反馈转换为目标图片和所选特征的权重变化，并通过展示模型确定下一轮要给用户展示的衣服图片，依此循环迭代找到目标。

本发明方法使用了卷积神经网络(CNNs)提取了图片的多种特征，并能根据用户的点击反馈情况对多种特征的权重进行调整，确定用户所选的主要特征。

如图2所示，对应于上述方法，一种通过间接相关反馈的无查源下的衣服图像检索系统，包括：

通过上述方法和系统的总体说明可以看出，主要分三部分：(一)衣服图片收集和聚类；(二)图片特征提取和相似度计算；(三)通过相关反馈算法进行衣服推荐检索目标图片。

下面结合实施例对上述三个部分的具体实现进行详细介绍：

(一)图片数据收集和聚类

在购物网站TAOBAO.com上收集大量(约30万)带有标签的衣服图片，带有的标签包括种类、颜色等一般特征和如裙子长度，扣子种类等特别特征，再按照种类聚类为四大类：外套，裤子，裙子，T恤，再在每一类中聚类为九种颜色，原先大量相同款式不同角度和尺寸的重复图片也由其中一张正面清晰图片作为了代表。

(二)图片特征提取和相似度计算

对每一种类选定五个有代表性的特征，利用从GoogleNet训练好的深度卷积神经网络，我们对每一张代表图片的所选定的每一个特征提取出1024维的特征向量，并在此种类颜色和特征下计算好商品之间的相似度。

(三)通过相关反馈算法检索目标图片

1.首先用户选择目标图片的基本种类和颜色。

2.用户进行选择之后随机出现八张相关种类和颜色的图片，用户点击其中最相似的一张，以后每一轮都如此。

3.用户点击之后，系统开始建模分析用户的行为：

a)建模的变量为目标图片Y和变权特征W，Y的初始分布为p₀(k)＝P(Y＝k),k∈S，其中S为图片数据集，包括图片I₁,I₂,...I_N，W的初始分布为w₀(j)＝P(W＝j),j∈F，其中F＝1,2,...M，M为特征数。

b)令s_j(x,j)为第j个特征下图片x和y之间的相似度，对i∈{1,...,n}，令为用户选择图片i的概率，结果较大时表示i越接近k，较小时表示或者第k个图片不是目标图片或者第j个特征不是用户主要考虑的特征。

c)根据前t次用户反馈

更新后验概率p_t(k)＝P(Y＝k|B_t),k∈S和w_t(j)＝P(W＝j|B_t),j∈F；其中t表示迭代次数，x_i为用户第i次的选择；同时更新辅助概率ρ_t(k,j)＝P(Y＝k|B_t,W＝j),k＝1,...N和ω_t(j,k)＝P(W＝j|B_t,Y＝k),j＝1,...M。

d)由贝叶斯概率公式和全概率公式可得

令P＝[ρ_t]_k,j、W＝[ω_t]_j,k、

这里P和W分别是N*M和M*N维的矩阵，表示t轮选择后目标图片对变权特征和变权特征对目标图片的后验概率，

和

分别是N和M维的向量，为表示的简洁省略了下标t，表示的是t轮后目标图片和变权特征的后延概率，于是有：和

根据向量零空间的计算，可得

和

e)根据得到的

和

系统将推荐下一轮的八幅图片给用户，推荐的原则为Voronoi分割最大熵，即在以往t次的结果B_t和最新一次的选择下最小化目标的不确定性，用于决定下一轮将哪些图片展示给用户。

4.经过多轮反馈迭代，系统将得到用户的目标图片。

如图3所示，为整个方法简要的图形化说明；

如图4所示，为衣服图片数据集每个分类所提取的多个特征说明；

如图5所示，为相关反馈实验附有指导说明的用户界面；

如图6所示，为相关反馈过程和结果权重分布的典型实例。

本发明解决了用户在无查源衣服图片而只能给出基本的种类和颜色的情况下，找到目标衣服图片的问题。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims

1.一种通过间接相关反馈在无查源下的衣服图像检索方法，其特征在于包括以下步骤：

贝叶斯相关反馈结构算法步骤：根据衣服图片特征提取及相似度计算步骤得到的图片间相似度，通过贝叶斯相关反馈结构算法，在用户每次点击和目标图片最相似的图片后，对所选特征的权值进行调整，返回给用户推荐的衣服图片，通过迭代找到用户的目标图片；

所述的贝叶斯相关反馈结构算法步骤，核心为将目标图片Y和变权特征W两个变量统一建模，并在贝叶斯结构中联动三个概率模型：更新模型、展示模型和回答模型，所述的变权特征W的含义是所选的多个特征会根据用户的点击进行权值变化，展示模型则根据特征权值变化计算得到下一轮展现给用户的图片；

所述的更新模型，用于更新第t+1次用户反馈

后目标图片Y和变权特征W的后验概率p_t+1(k)＝P(Y＝k|B_t+1),k∈S和w_t+1(j)＝P(W＝j|B_t+1),j∈F，得到基于第t次的后验概率p_t(k)、w_t(j)和第t+1次用户的选择

其中S为图片数据集，

为第i轮展示给用户的n幅图片，t表示迭代的总次数，

为第i次用户的选择，x_i为用户第i次的选择，F＝1,2,...M，M为特征数；

所述的展示模型，所采用的方法为Voronoi分割最大熵，即在以往t次的结果B_t和最新一次的选择

下最小化目标的不确定性，用于决定下一轮将哪些图片展示给用户；

所述的回答模型，用于计算每一轮展示的图片被选择的概率

其中令s_j(x,y)表示基于特征j图片x,y之间的相似度，X_D为任意一轮用户的选择，i∈{1,...n}为用户的选择，n为每一轮展示给用户的图片数，得到基于目标图片和当前所衡量相似度的特征；直观上来说，一张图片如果在当前选定特征下和目标图片更相似的话，那么其概率应该更大，反过来说，如果所选定的不是概率较大的图片的话，那么第k幅图片不是目标图片或者第j个特征不是用户主要考虑的特征。

2.根据权利要求1所述的通过间接相关反馈在无查源下的衣服图像检索方法，其特征在于，所述的衣服图片收集分类步骤，运用了网络爬虫技术，在互联网上收集所需要的大量衣服图片，并按照种类和颜色对图片进行了聚类，共分成l类别，每一类中再按颜色分为m类。

3.根据权利要求1所述的通过间接相关反馈在无查源下的衣服图像检索方法，其特征在于，所述的衣服图片特征提取及相似度计算步骤，运用训练好的深度卷积网络，对已经聚类好的图片按照种类的不同提取所选定的多个特征

4.一种用于实现权利要求1-3任一项的通过间接相关反馈在无查源下的衣服图像检索系统，其特征在于包括：

贝叶斯相关反馈结构算法模块：根据衣服图片特征提取及相似度计算模块得到的图片间相似度，通过贝叶斯相关反馈结构算法，在用户每次点击和目标图片最相似的图片后，对所选特征的权值进行调整，返回给用户推荐的衣服图片，通过迭代找到用户的目标图片。