CN102254043A - 一种基于语义映射的服装图像检索方法 - Google Patents

一种基于语义映射的服装图像检索方法 Download PDF

Info

Publication number
CN102254043A
CN102254043A CN 201110236889 CN201110236889A CN102254043A CN 102254043 A CN102254043 A CN 102254043A CN 201110236889 CN201110236889 CN 201110236889 CN 201110236889 A CN201110236889 A CN 201110236889A CN 102254043 A CN102254043 A CN 102254043A
Authority
CN
China
Prior art keywords
image
clothing
clothes
semantic
semantic information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN 201110236889
Other languages
English (en)
Other versions
CN102254043B (zh
Inventor
周景磊
叶茂
丁剑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN 201110236889 priority Critical patent/CN102254043B/zh
Publication of CN102254043A publication Critical patent/CN102254043A/zh
Application granted granted Critical
Publication of CN102254043B publication Critical patent/CN102254043B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明属于计算机多媒体技术领域,公开了一种基于语义映射的服装图像检索方法。具体包括构建服装领域知识库步骤、获取服装图像的语义信息步骤以及检索待查询服装图像步骤。本发明的方法依靠已有的服装图像和相应的文本描述信息,通过多类特征聚类的方式构建服装领域知识库,通过Graph Cut模型融合知识库中的服装图像信息、知识库中的服装图像与描述文本的共生信息、知识库中的服装描述文本信息,对提交的待查询图像进行服装语义的获取,并根据获取的服装语义对提交的服装图像进行相似服装图像的检索。

Description

一种基于语义映射的服装图像检索方法
技术领域
本发明属于计算机多媒体技术领域,具体涉及一种图像检索技术。
背景技术
伴随着我国经济的高速发展,人们生活水平的逐步提高以及互联网交易平台的逐渐发展完善,如今网络购物已经成为了日常消费的重要形式之一,而网络购物与传统购物最大的区别在于商品信息的获取方式上,传统购物可以通过询问、观察、触摸得到大量的第一手信息,通过走街串巷寻找类似的商品,但是在网络购物环境下顾客只能依靠搜索引擎来完成相似的活动,几乎国内外各大购物网站都提供了文本搜索的服务,但是文本搜索服务一般适用于标准化程度较高的产品或者消费者要有较强的领域背景,才能够比较迅速的定位到合适的商品,而对于标准化较低、个性化显著的商品,消费者所付出的搜索时间是相当可观的,而服装恰恰是这样一种个性化较强的大众日常消费品。据国内知名大型网上购物网站公布的统计数据,每天该网站商品搜索的关键字中有60%是与服装有关的,由此可以看出对于服装检索的市场需求是巨大的,而与此对应的是服装搜索手段的单一化,现存的商用服装搜索都是依靠文本检索来完成,这不但要求商家手工添加服装的描述信息,而且还要要求消费者具有一定的服装领域知识,而相比于文本搜索更为直观的图像搜索技术则由于不能有效的抽取层次化、结构化的图像语义信息,而且面向通用图像检索技术设计的语义抽取方式不能够有效的表达服装图像的语义信息,从而使得服装检索的手段一直停留在文本关键字检索的阶段。
在处理服装检索时也出现了一些图像搜索的方法。
在公开号为CN 101271476公开了一种“网络图像搜索中基于聚类的相关反馈检索方法”,该方法主要注重用户反馈信息的使用,而且以关键字为查询,对于以图像为主要表现形式的服装而言,适用性有限,并且该方法需要用户进行手工的标注,对用户的参与度要求较高,不能通过自主学习的机制判断用户的查询概念是否与图像包一致,推广性有限。
在公开号为CN 101329677公开了一种“基于图像内容的图像搜索引擎”,本发明使用图像名称、地址信息、页面文字等文本信息进行图像语义的提取,并没有将图像底层特征与图像的语义特征进行关联,不能直接通过图像底层特征获取图像语义特征,不具有稳定性,而且不利于推广,适用性有限。
发明内容
本发明的目的是为了解决现有的服装检索存在的问题,提出了一种基于语义映射的服装图像检索方法。
本发明的技术方案是:一种基于语义映射的服装图像检索方法,包括构建服装领域知识库步骤、获取服装图像的语义信息步骤以及检索待查询服装图像步骤,其中,构建服装领域知识库步骤具体过程如下:
S1.提取服装图像的底层特征:对服装图像数据库中的服装图像进行预处理,在预处理的基础之上,提取服装图像的底层特征;
S2.构建服装领域知识库:依靠服装图像的底层特征构建服装领域知识库,依次对服装图像的底层特征进行特征聚类,从归属于某一类别的服装图像所对应的服装网页中,提取高频词,作为描述该类别服装特征的领域知识,在得到该类别的服装领域知识之后,从该类别服装图像中剔除掉对该类别领域知识贡献度小于设定阈值的服装图像;
获取服装图像的语义步骤具体过程如下:
S3.依靠服装领域知识库,对待获取语义信息的服装图像进行语义获取,首先提取待获取语义信息的服装图像的底层特征,将得到的底层特征分配到距离最近的服装图像类别集中,将该类别集所对应的高频词库作为初始的语义信息,通过计算与所属类别集中所有服装图像的特征距离与语义距离之积的总和,来度量待获取语义信息的服装图像与已有服装图像的图像与图像,图像与语义的关联程度,并通过计算初始语义信息的语义距离来度量待获取语义信息的服装图像与已有服装图像的语义与语义的关联程度,最后从初始的语义信息中抽取用于描述待获取语义信息的服装图像的语义信息;
检索待查询服装图像步骤具体过程如下:
S4.根据步骤S3,获取待查询服装图像的语义信息,然后依据获取到的语义信息对服装图像进行检索,依照检索的结果从服装图像数据库中提取相应的服装图像作为查询结果返回。
这里,步骤S1中所述的底层特征包括颜色特征、纹理特征、梯度特征、形状特征以及局部点特征。
优选的,步骤S3具体采用Graph Cut模型从初始的语义信息中抽取用于描述服装图像的语义信息。
本发明的有益效果:为了满足对服装图像进行语义层次上的检索需要,本发明的方法依靠已有的服装图像和相应的文本描述信息,通过多类特征(颜色、纹理、梯度、形状以及局部点)聚类的方式构建服装领域知识库,通过Graph Cut模型融合知识库中的服装图像信息、知识库中的服装图像与描述文本的共生信息、知识库中的服装描述文本信息,对提交的待查询的图像进行服装语义的获取,并根据获取的服装语义对提交的服装图像进行相似服装图像的检索。
附图说明
图1为本发明基于语义映射的服装图像检索方法流程示意图。
图2为服装图像领域知识库构建流程示意图。
图3为服装图像语义映射模型结构示意图。
图4为基于语义映射的服装图像检索结果展示图。
具体实施方式
下面结合附图对本发明作进一步详细的描述:
如图1,图中描述的为基于语义映射的服装图像检索总体流程图。在构建服装领域知识库和获取服装图像的语义信息的基础上,用户提交待查询的服装图像,对待查询图像进行预处理,并且在预处理的基础之上提取待查询图像的颜色特征、纹理特征、梯度特征、形状特征以及局部点特征。根据这些提取出来的待查询服装图像的底层特征,计算与各类特征样本库中已有簇的距离,为待查询服装图像确定其底层特征的所属类别,至此待查询服装图像,在服装颜色样本库中应该确定了其颜色的所属图像簇,同理在服装纹理样本库、服装梯度样本库、服装形状样本库以及服装局部点样本库中确定了所属样本簇,接下来根据所确定的五个样本簇到服装图像高频词库中寻找对应的高频词簇,这样待查询服装图像就分别在服装颜色高频词库、服装纹理高频词库、服装梯度高频词库、服装形状高频词库以及服装局部点高频词库中确定了其对应的高频词簇,这些高频词簇作为待查询图像初始的语义信息集,将初始的语义信息集中的每一个语义词作为一个图节点,根据已经确定的服装颜色样本簇、服装纹理样本簇、服装梯度样本簇、服装形状样本簇、服装局部特征点样本簇以及其相对应的高频词簇,分别计算服装图像与图像的相关性、服装图像与语义词共生性、服装语义与语义相关性,通过这些计算为构建Graph Cut模型提高了边权重,通过Graph Cut模型的优化操作,得到适应度最高的语义词集,至此待查询图像即被映射成为特定的语义词集,以语义词集为新的查询请求,在服装图像语义索引库中进行文本检索,根据检索的结果从服装图像数据库中取出相应的服装图像作为待查询服装图像的检索结果。
具体过程如下:
提取服装图像的底层特征:对服装图像数据库中的服装图像进行预处理,在预处理的基础之上,对服装图像进行图像底层特征的提取。具体可以采用如下分步骤:
S11.对服装图像数据库中的服装图像进行中值滤波,滤除服装图像中存在的椒盐噪音;
S12.对滤波的服装图像进行灰度值拉伸;
S13.提取服装图像颜色特征描述符,采用RGB颜色空间的非线性混合运算作为特征描述子;
S14.提对服装图像纹理特征描述符,采用局部二值模式(LBP)作为特征描述子;
S15.提取服装图像梯度特征描述符,采用梯度直方图(HOG)作为特征描述子;
S16.提取服装图像形状特征描述符,采用形状上下文(Shape Context)作为特征描述子;
S17.提取服装图像局部特征点描述符,采用尺度不变特征点(SIFT)作为特征描述子。
服装往往是一种个性化很强的消费产品,因此对于服装的文本描述并没有标准化,通过文本搜索引擎往往用户因不知如何表达自己的服装搜索意愿或者表达错误,影响用户的购买体验,而网络上大量的服装销售网页本身就蕴含着对服装商品的通用描述,这种通用描述被服装销售方经常使用并且对于资深的服装购买用户也十分熟悉,但是对于并没有很多购买经验的普通消费者,这些通用描述是并不熟悉的,而这些通用描述就是服装的领域知识。因而可以通过利用网络中已有的服装图像和服装网页构建服装领域知识库,即为依靠服装图像的底层特征构建服装领域知识库,依次对服装图像的底层特征进行特征聚类,从归属于某一类别的服装图像所对应的服装网页中,提取高频词,作为描述该类别服装特征的领域知识,在得到该类别的服装领域知识之后,从该类别服装图像中剔除掉对该类别领域知识贡献度小于设定阈值的服装图像。这里的阈值可以设定为1%,即将描述词集包含的高频词数量少于该领域知识高频词总量的1%的服装图像从该类别服装图像中剔除。
具体如图2所示,可以采用如下分步骤:
S21.对服装图像的颜色特征进行聚类,对每个类别中的服装图像对应的服装网页进行高频词提取,将该类高频词集作为该类颜色特征的服装颜色知识库。
颜色特征采用一种基于RGB颜色通道非线性混合运算的颜色特征描述方式。假设当前待检索的原始彩色图像为I,其三个通道的值分别为rI,gI和bI,则用一个颜色特征向量vcolor来代表I的颜色特征,颜色特征向量的表达形式如下:
vcolor=(rIgI,rIbI,gIbI,rI 2gI 2,rI 2bI 2,gI 2bI 2,rIgIbI)
S22.对服装图像的纹理特征进行聚类,对每个类别中的服装图像对应的服装网页进行高频词提取,将该类高频词集作为该类纹理特征的服装纹理知识库。
使用局部二值模式(LBP)特征来表达服装图像的纹理特性,LBP特征具有对光照和一定旋转的不敏感性。
S23.对服装图像的梯度特征进行聚类,对每个类别中的服装图像对应的服装网页进行高频词提取,将该类高频词集作为该类梯度特征的服装梯度知识库。
使用HOG(梯度方向的直方图)特征来表达服装图像的梯度特征,HOG是描述图像整体或局部梯度信息的特征表达方式,从图像语义上表现为可以用来表示一些图像上有很好结构信息的元素。
S24.对服装图像的形状特征进行聚类,对每个类别中的服装图像对应的服装网页进行高频词提取,将该类高频词集作为该类形状特征的服装形状知识库。
使用形状上下文(shape context)表示服装图像的形状特征,shape context对于形状具有较高的描述性,能够容忍一定程度的形变。
S25.对服装图像的局部特征点进行聚类,对每个类别中的服装图像对应的服装网页进行高频词提取,将该类高频词集作为该类局部特征点的服装局部特征点知识库。
使用SIFT(Scale-invariant Feature Transform,尺度不变特征转换)提取服装图像的局部特征点。
SIFT主要有如下特点:
1.对旋转、尺度缩放、亮度变化保持不变性,对视角变化、仿射变换、噪声也保持一定程度的稳定性;
2.信息量丰富,使用于在海量特征数据库中进行快速、准确的匹配;
3.特征表达性好,对于未知结构信息的图像,哪怕含有较少的物体,也能够提取出大量的SIFT特征向量;
4.经过优化的SIFT算法,能够满足实时的要求,因此可以用在服装的在线智能分析上;
5.可以很方便地与其它特征进行融合分析。
S26.对服装颜色领域知识每一类中的服装图像进行选取,若该服装图像所对应的网页中包含一定比例的高频词则保留作为该类的样本图像,否则则将该图像移除。
该服装图像的过滤操作是为了保证服装颜色领域知识库语义层次与图像层次统一与一致。
S27.对服装纹理领域知识每一类中的服装图像进行选取,若该服装图像所对应的网页中包含一定比例的高频词则保留作为该类的样本图像,否则则将该图像移除。
该服装图像的过滤操作是为了保证服装纹理领域知识库语义层次与图像层次统一与一致。
S28.对服装梯度领域知识每一类中的服装图像进行选取,若该服装图像所对应的网页中包含一定比例的高频词则保留作为该类的样本图像,否则则将该图像移除。
该服装图像的过滤操作是为了保证服装梯度领域知识库语义层次与图像层次统一与一致。
S29.对服装形状领域知识每一类中的服装图像进行选取,若该服装图像所对应的网页中包含一定比例的高频词则保留作为该类的样本图像,否则则将该图像移除。
该服装图像的过滤操作是为了保证服装形状领域知识库语义层次与图像层次统一与一致。
S210.对服装局部特征点领域知识每一类中的服装图像进行选取,若该服装图像所对应的网页中包含一定比例的高频词则保留作为该类的样本图像,否则则将该图像移除。
该服装图像的过滤操作是为了保证服装局部特征点领域知识库语义层次与图像层次统一与一致。
这里的“包含一定比例”可以根据实际情况进行具体设定。
这里,将服装图像数据库中不符合贡献度要求的图像剔除后形成服装图像集合称为标准服装图像样本库,按照不同的底层特征的聚类结果将标准服装图像样本库分为服装颜色样本库,服装纹理样本库,服装梯度样本库,服装形状样本库以及服装局部点样本库。
依靠构建的服装领域知识库,可以对任何一张服装图像进行服装语义信息的获取。首先提取待获取语义信息的服装图像的底层特征,将得到的底层特征分配到距离最近的服装图像类别集中,将该类别集所对应的高频词库作为初始的语义信息,通过计算与所属类别集中所有服装图像的特征距离与语义距离之积的总和,来度量待获取语义信息的服装图像与已有服装图像的图像与图像,图像与语义的关联程度,并通过计算初始语义信息的语义距离来度量待获取语义信息的服装图像与已有服装图像的语义与语义的关联程度,最后使用Graph Cut模型从初始的语义信息中抽取用于描述待获取语义信息的服装图像的语义信息;具体步骤如下:
S31.对待获取服装语义信息的服装图像进行S11~S17步骤的操作。
S32.依据待获取服装语义信息的服装图像的颜色特征,确定其在服装颜色知识库中所属类别,将该类别的高频词集纳入初始服装语义信息集。
S33.依据待获取服装语义信息的服装图像的纹理特征,确定其在服装纹理知识库中所属类别,将该类别的高频词集纳入初始服装语义信息集。
S34.依据待获取服装语义信息的服装图像的梯度特征,确定其在服装梯度知识库中所属类别,将该类别的高频词集纳入初始服装语义信息集。
S35.依据待获取服装语义信息的服装图像的形状特征,确定其在服装形状知识库中所属类别,将该类别的高频词集纳入初始服装语义信息集。
S36.依据待获取服装语义信息的服装图像的局部特征点,确定其在服装局部特征点知识库中所属类别,将该类别的高频词集纳入初始服装语义信息集。
S37.计算待处理服装图像与初始服装语义信息集中包含的服装颜色领域知识所属类别的样本图像集中每一张服装图像的颜色特征距离。
S38.计算待处理服装图像与初始服装语义信息集中包含的服装纹理领域知识所属类别的样本图像集中每一张服装图像的纹理特征距离。
S39.计算待处理服装图像与初始服装语义信息集中包含的服装梯度领域知识所属类别的样本图像集中每一张服装图像的梯度特征距离。
S310.计算待处理服装图像与初始服装语义信息集中包含的服装形状领域知识所属类别的样本图像集中每一张服装图像的形状特征距离。
S311.计算待处理服装图像与初始服装语义信息集中包含的服装局部特征点领域知识所属类别的样本图像集中每一张服装图像的局部特征点距离。
S312.计算初始语义集中每个一语义是否出现在所属类别的样本图像的对应网页中,若出现则考虑该图像对于该语义的影响程度,否则不考虑该图像对于该语义的影响程度,最终对于每个语义加总,计算存在影响程度的样本图像与待处理服装图像的标准化距离。
S313.计算初始语义集中任何一个语义对的语义距离以及在服装网页中的共生概率,该语义距离与共生概率的乘积为语义相关程度的度量。
S314.将初始语义集中的语义词作为节点,利用S312~S313步骤中产生的距离度量,构建Graph Cut模型,利用Graph Cut模型得到最终的语义词集,该语义词集则为获取的服装图像的语义信息。
这里,初始语义集指的是通过S37~S311得到各种领域知识所属类别的总和,但是每种领域知识有多个类别,因此初始语义集是初始服装语义信息集的子集。初始语义集是初始服装语义信息集的子集,是与待处理服装图像对应的,不同的待处理服装图像有不同的初始语义集,但是都是初始服装语义信息集的子集。
检索服装图像的语义:
用户可以提交服装图像,通过服装语义映射将图像查询转变为语义文本查询,具体为:根据步骤S3获取待查询服装图像的语义信息,然后依据获取到的语义信息对服装图像进行检索,依照检索的结果从服装图像数据库中提取相应的服装图像作为查询结果返回。具体过程如下:
S41.对用户提交的待查询的服装图像进行S11~S17步骤的操作。
S42.根据步骤S41得到的特征数据,利用构建的服装领域知识库,进行S31~S314步骤的操作,获取待查询服装图像的语义信息,完成待查询服装图像的语义映射。
S43.根据步骤S42得到的服装语义信息,对服装语义索引库进行文本检索,依据检索的结果,从服装图像数据库中得到服装图像集合作为查询结果返回。
其中,服装语义索引库是对服装图像数据库中的所有图像进行S1~S3的操作,提取每幅服装图像的语义信息,通过倒排索引将图像的语义信息与对应服装图像建立映射,形成服装语义索引库,以便在查询过程中,使用查询语义词在服装语义索引库中迅速定位相关服装图像在服装图像数据库中的具体位置。
构建服装领域知识库之后,可以根据服装领域知识库对待查询的服装图像进行服装语义的映射,服装语义映射将原有的服装图像查询请求,转变为服装语义查询请求,如图3为服装图像语义映射模型结构示意图。
本发明的技术方案在服装图像的语义映射过程中借鉴了Graph Cut模型算法的基本思想,对步骤S32~S36得到的初始服装语义信息集进行最后的“分割”,选出最优的少数语义词,作为待查询服装图像语义映射的结果。设w1,w2,...wR是按步骤S32~S36为待查询服装图像Q挑选出的初始服装语义信息集的语义词。结合Graph Cut算法思想,如图3所示用一个无向图G=(V,E)来代表所涉及的数据原型。图中的S节点和T节点分别代表属于待查询服装图像Q和不属于待查询服装图像Q,中间的节点代表各个语义词,利用该模型,该算法实现的目标就是:寻求一种如图3所示的划分方式,将各个语义词wi对应的中间节点划分到两个端点,也就最终为Q找到了优化的服装语义词集。其基本思想是建立了一个划分损耗能量函数,使得这个函数取最小值是的一个划分就是系统要寻找的关键词“分割”方式。这个能量函数表示如下: E ( G ) = Σ w ∈ T D w ( s , w ) + Σ w ∈ W D w ( t , w ) + Σ w 1 ∈ W , w 2 ∈ T M ( w 1 , w 2 )
其中S和T是分别两个划分中语义词的个数。Dw(s,w)代表将某个语义词保留所需的系统代价,Dw(t,w)表示将某个语义词w去掉所花的系统代价,这些数值的计算由步骤S37~S312完成。M(w1,w2)代表初始语义信息集中,任意两个语义词的联系相关程度,该距离的计算由步骤S313完成。最后,可以通过动态规划算法,对这个能量函数进行优化,最后得到Q的最优服装语义词集,完成了对待查询服装图像语义映射。
本发明的技术方案中,利用存在网络上的服装领域知识,构建服装领域知识库,利用领域知识库完成服装图像的查询,将服装图像的查询转变为服装语义信息的检索,这一方面利用了服装图像的直观性,另一方面充分展现了语义信息的灵活性,如图4为基于语义映射的服装图像检索结果展示图所示,不论男装或是女装,本发明的技术方案都得到了比较满意的结果,这些服装检索结果并不是图像意义上的完全一致,而是在服装语义层的一致。
本发明的技术方案挖掘利用存在网络中的服装领域知识,以服装图像为查询请求,通过利用计算机视觉技术将服装图像映射为服装语义进行服装图像的检索,和现有技术相比,本发明的技术解决方案具有较高的准确度和灵活性。
本领域的普通技术人员将会意识到,这里所述的实施例是为了帮助读者理解本发明的原理,应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合,这些变形和组合仍然在本发明的保护范围内。

Claims (6)

1.一种基于语义映射的服装图像检索方法,包括构建服装领域知识库步骤、获取服装图像的语义信息步骤以及检索待查询服装图像步骤,其中,构建服装领域知识库步骤具体过程如下:
S1.提取服装图像的底层特征:对服装图像数据库中的服装图像进行预处理,在预处理的基础之上,提取服装图像的底层特征;
S2.构建服装领域知识库:依靠服装图像的底层特征构建服装领域知识库,依次对服装图像的底层特征进行特征聚类,从归属于某一类别的服装图像所对应的服装网页中,提取高频词,作为描述该类别服装特征的领域知识,在得到该类别的服装领域知识之后,从该类别服装图像中剔除掉对该类别领域知识贡献度小于设定阈值的服装图像;
获取服装图像的语义步骤具体过程如下:
S3.依靠服装领域知识库,对待获取语义信息的服装图像进行语义获取,首先提取待获取语义信息的服装图像的底层特征,将得到的底层特征分配到距离最近的服装图像类别集中,将该类别集所对应的高频词库作为初始的语义信息,通过计算与所属类别集中所有服装图像的特征距离与语义距离之积的总和,来度量待获取语义信息的服装图像与已有服装图像的图像与图像,图像与语义的关联程度,并通过计算初始语义信息的语义距离来度量待获取语义信息的服装图像与已有服装图像的语义与语义的关联程度,最后从初始的语义信息中抽取用于描述待获取语义信息的服装图像的语义信息;
检索待查询服装图像步骤具体过程如下:
S4.根据步骤S3,获取待查询服装图像的语义信息,然后依据获取到的语义信息对服装图像进行检索,依照检索的结果从服装图像数据库中提取相应的服装图像作为查询结果返回。
2.根据权利要求1所述的服装图像检索方法,其特征在于,步骤S1中所述的底层特征包括颜色特征、纹理特征、梯度特征、形状特征以及局部点特征。
3.根据权利要求1或2所述的服装图像检索方法,其特征在于,步骤S3具体采用GraphCut模型从初始的语义信息中抽取用于描述服装图像的语义信息。
4.根据权利要求3所述的服装图像检索方法,其特征在于,步骤S1具体包括如下分步骤:
S11.对服装图像进行中值滤波;
S12.对滤波的服装图像进行灰度值拉伸;
S13.提取服装图像颜色特征描述符,采用RGB颜色空间的非线性混合运算作为特征描述子;
S14.提对服装图像纹理特征描述符,采用局部二值模式作为特征描述子;
S15.提取服装图像梯度特征描述符,采用梯度直方图作为特征描述子;
S16.提取服装图像形状特征描述符,采用形状上下文作为特征描述子;
S17.提取服装图像局部特征点描述符,采用尺度不变特征点作为特征描述子。
5.根据权利要求3或4所述的服装图像检索方法,其特征在于,步骤S2具体包括如下分步骤:
S21.对服装图像的颜色特征进行聚类,对每个类别中的服装图像对应的服装网页进行高频词提取,将该类高频词集作为该类颜色特征的服装颜色知识库;
S22.对服装图像的纹理特征进行聚类,对每个类别中的服装图像对应的服装网页进行高频词提取,将该类高频词集作为该类纹理特征的服装纹理知识库;
S23.对服装图像的梯度特征进行聚类,对每个类别中的服装图像对应的服装网页进行高频词提取,将该类高频词集作为该类梯度特征的服装梯度知识库;
S24.对服装图像的形状特征进行聚类,对每个类别中的服装图像对应的服装网页进行高频词提取,将该类高频词集作为该类形状特征的服装形状知识库;
S25.对服装图像的局部特征点进行聚类,对每个类别中的服装图像对应的服装网页进行高频词提取,将该类高频词集作为该类局部特征点的服装局部特征点知识库;
S26.对服装颜色领域知识每一类中的服装图像进行选取,若该服装图像所对应的网页中包含一定比例的高频词则保留作为该类的样本图像,否则则将该图像移除;
S27.对服装纹理领域知识每一类中的服装图像进行选取,若该服装图像所对应的网页中包含一定比例的高频词则保留作为该类的样本图像,否则则将该图像移除;
S28.对服装梯度领域知识每一类中的服装图像进行选取,若该服装图像所对应的网页中包含一定比例的高频词则保留作为该类的样本图像,否则则将该图像移除;
S29.对服装形状领域知识每一类中的服装图像进行选取,若该服装图像所对应的网页中包含一定比例的高频词则保留作为该类的样本图像,否则则将该图像移除;
S210.对服装局部特征点领域知识每一类中的服装图像进行选取,若该服装图像所对应的网页中包含一定比例的高频词则保留作为该类的样本图像,否则则将该图像移除。
6.根据权利要求5所述的服装图像检索方法,其特征在于,步骤S3具体包括如下分步骤:
S31.对待获取服装语义信息的服装图像进行S11~S17步骤的操作;
S32.依据待获取服装语义信息的服装图像的颜色特征,确定其在服装颜色知识库中所属类别,将该类别的高频词集纳入初始服装语义信息集;
S33.依据待获取服装语义信息的服装图像的纹理特征,确定其在服装纹理知识库中所属类别,将该类别的高频词集纳入初始服装语义信息集;
S34.依据待获取服装语义信息的服装图像的梯度特征,确定其在服装梯度知识库中所属类别,将该类别的高频词集纳入初始服装语义信息集;
S35.依据待获取服装语义信息的服装图像的形状特征,确定其在服装形状知识库中所属类别,将该类别的高频词集纳入初始服装语义信息集;
S36.依据待获取服装语义信息的服装图像的局部特征点,确定其在服装局部特征点知识库中所属类别,将该类别的高频词集纳入初始服装语义信息集;
S37.计算待处理服装图像与初始服装语义信息集中包含的服装颜色领域知识所属类别的样本图像集中每一张服装图像的颜色特征距离;
S38.计算待处理服装图像与初始服装语义信息集中包含的服装纹理领域知识所属类别的样本图像集中每一张服装图像的纹理特征距离;
S39.计算待处理服装图像与初始服装语义信息集中包含的服装梯度领域知识所属类别的样本图像集中每一张服装图像的梯度特征距离;
S310.计算待处理服装图像与初始服装语义信息集中包含的服装形状领域知识所属类别的样本图像集中每一张服装图像的形状特征距离;
S311.计算待处理服装图像与初始服装语义信息集中包含的服装局部特征点领域知识所属类别的样本图像集中每一张服装图像的局部特征点距离;
S312.计算初始语义集中每个一语义是否出现在所属类别的样本图像的对应网页中,若出现则考虑该图像对于该语义的影响程度,否则不考虑该图像对于该语义的影响程度,最终对于每个语义加总,计算存在影响程度的样本图像与待处理服装图像的标准化距离。
S313.计算初始语义集中任何一个语义对的语义距离以及在服装网页中的共生概率,该语义距离与共生概率的乘积为语义相关程度的度量;
S314.将初始语义集中的语义词作为节点,利用S312~S313步骤中产生的距离度量,构建Graph Cut模型,利用Graph Cut模型得到最终的语义词集,该语义词集则为获取的服装图像的语义信息。
CN 201110236889 2011-08-17 2011-08-17 一种基于语义映射的服装图像检索方法 Expired - Fee Related CN102254043B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 201110236889 CN102254043B (zh) 2011-08-17 2011-08-17 一种基于语义映射的服装图像检索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201110236889 CN102254043B (zh) 2011-08-17 2011-08-17 一种基于语义映射的服装图像检索方法

Publications (2)

Publication Number Publication Date
CN102254043A true CN102254043A (zh) 2011-11-23
CN102254043B CN102254043B (zh) 2013-04-03

Family

ID=44981307

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201110236889 Expired - Fee Related CN102254043B (zh) 2011-08-17 2011-08-17 一种基于语义映射的服装图像检索方法

Country Status (1)

Country Link
CN (1) CN102254043B (zh)

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102663092A (zh) * 2012-04-11 2012-09-12 哈尔滨工业大学 一种基于服装组图的风格元素挖掘和推荐方法
CN103020172A (zh) * 2012-11-28 2013-04-03 北京京东世纪贸易有限公司 一种利用视频信息搜索物品的方法和装置
CN103049754A (zh) * 2012-12-07 2013-04-17 东软集团股份有限公司 社交网络的图片推荐方法和装置
CN103106265A (zh) * 2013-01-30 2013-05-15 北京工商大学 相似图像分类方法及系统
CN103345645A (zh) * 2013-06-27 2013-10-09 复旦大学 面向网购平台的商品图像类别预测方法
CN103729476A (zh) * 2014-01-26 2014-04-16 王玉娇 一种根据环境状态来关联内容的方法和系统
CN103955543A (zh) * 2014-05-20 2014-07-30 电子科技大学 基于多模态的服装图像检索方法
CN104298786A (zh) * 2014-11-12 2015-01-21 广州出益信息科技有限公司 一种图像检索方法及装置
CN104730930A (zh) * 2015-01-16 2015-06-24 小米科技有限责任公司 衣物分拣方法、衣物清洗方法及装置
CN104851095A (zh) * 2015-05-14 2015-08-19 江南大学 基于改进型形状上下文的工件图像稀疏立体匹配方法
CN104991954A (zh) * 2015-07-20 2015-10-21 河海大学 基于图像搜索的购物搜索系统及其实现方法
CN105718552A (zh) * 2016-01-19 2016-06-29 北京服装学院 基于服装手绘草图的服装图像检索方法
CN105765574A (zh) * 2013-10-29 2016-07-13 皮卡佰公司 用于物品和物品集合匹配的系统和方法
CN106776710A (zh) * 2016-11-18 2017-05-31 广东技术师范学院 一种基于垂直搜索引擎的图文知识库构建方法
CN107169508A (zh) * 2017-04-17 2017-09-15 杭州电子科技大学 一种基于融合特征的旗袍图像情感语义识别方法
CN107679110A (zh) * 2017-09-15 2018-02-09 广州唯品会研究院有限公司 结合文本分类与图片属性提取完善知识图谱的方法及装置
CN107748754A (zh) * 2017-09-15 2018-03-02 广州唯品会研究院有限公司 一种知识图谱完善方法和装置
CN107766394A (zh) * 2016-08-23 2018-03-06 阿里巴巴集团控股有限公司 业务数据处理方法及其系统
CN107862562A (zh) * 2017-09-15 2018-03-30 广州唯品会研究院有限公司 一种根据用户的图片喜好选择进行商品推荐的方法及装置
CN108228757A (zh) * 2017-12-21 2018-06-29 北京市商汤科技开发有限公司 图像搜索方法和装置、电子设备、存储介质、程序
CN108292309A (zh) * 2015-11-05 2018-07-17 脸谱公司 使用深度学习模型识别内容项
CN108875828A (zh) * 2018-06-19 2018-11-23 太原学院 一种相似图像的快速匹配方法和系统
CN109376748A (zh) * 2018-10-25 2019-02-22 惠州学院 一种图像形状特征提取系统
CN110826582A (zh) * 2018-08-10 2020-02-21 阿里巴巴集团控股有限公司 图像特征训练方法、装置和系统
CN112347289A (zh) * 2019-08-06 2021-02-09 Tcl集团股份有限公司 一种图像管理方法及终端
CN112905824A (zh) * 2021-02-08 2021-06-04 智慧眼科技股份有限公司 目标车辆追踪方法、装置、计算机设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1936892A (zh) * 2006-10-17 2007-03-28 浙江大学 图像内容语义标注方法
CN101692224A (zh) * 2009-07-08 2010-04-07 南京师范大学 融合空间关系语义的高分辨率遥感图像检索方法
CN101853299A (zh) * 2010-05-31 2010-10-06 杭州淘淘搜科技有限公司 一种基于感性认知的图像检索结果排序方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1936892A (zh) * 2006-10-17 2007-03-28 浙江大学 图像内容语义标注方法
CN101692224A (zh) * 2009-07-08 2010-04-07 南京师范大学 融合空间关系语义的高分辨率遥感图像检索方法
CN101853299A (zh) * 2010-05-31 2010-10-06 杭州淘淘搜科技有限公司 一种基于感性认知的图像检索结果排序方法

Cited By (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102663092B (zh) * 2012-04-11 2015-01-28 哈尔滨工业大学 一种基于服装组图的风格元素挖掘和推荐方法
CN102663092A (zh) * 2012-04-11 2012-09-12 哈尔滨工业大学 一种基于服装组图的风格元素挖掘和推荐方法
CN103020172A (zh) * 2012-11-28 2013-04-03 北京京东世纪贸易有限公司 一种利用视频信息搜索物品的方法和装置
CN103020172B (zh) * 2012-11-28 2015-08-19 北京京东世纪贸易有限公司 一种利用视频信息搜索物品的方法和装置
CN103049754B (zh) * 2012-12-07 2016-08-03 东软集团股份有限公司 社交网络的图片推荐方法和装置
CN103049754A (zh) * 2012-12-07 2013-04-17 东软集团股份有限公司 社交网络的图片推荐方法和装置
CN103106265A (zh) * 2013-01-30 2013-05-15 北京工商大学 相似图像分类方法及系统
CN103106265B (zh) * 2013-01-30 2016-10-12 北京工商大学 相似图像分类方法及系统
CN103345645A (zh) * 2013-06-27 2013-10-09 复旦大学 面向网购平台的商品图像类别预测方法
CN103345645B (zh) * 2013-06-27 2016-09-28 复旦大学 面向网购平台的商品图像类别预测方法
CN105765574A (zh) * 2013-10-29 2016-07-13 皮卡佰公司 用于物品和物品集合匹配的系统和方法
CN103729476A (zh) * 2014-01-26 2014-04-16 王玉娇 一种根据环境状态来关联内容的方法和系统
CN103955543A (zh) * 2014-05-20 2014-07-30 电子科技大学 基于多模态的服装图像检索方法
CN104298786A (zh) * 2014-11-12 2015-01-21 广州出益信息科技有限公司 一种图像检索方法及装置
CN104298786B (zh) * 2014-11-12 2018-07-10 广州出益信息科技有限公司 一种图像检索方法及装置
CN104730930A (zh) * 2015-01-16 2015-06-24 小米科技有限责任公司 衣物分拣方法、衣物清洗方法及装置
CN104851095A (zh) * 2015-05-14 2015-08-19 江南大学 基于改进型形状上下文的工件图像稀疏立体匹配方法
CN104851095B (zh) * 2015-05-14 2017-12-26 江南大学 基于改进型形状上下文的工件图像稀疏立体匹配方法
CN104991954A (zh) * 2015-07-20 2015-10-21 河海大学 基于图像搜索的购物搜索系统及其实现方法
CN104991954B (zh) * 2015-07-20 2018-08-21 河海大学 基于图像搜索的购物搜索系统及其实现方法
CN108292309A (zh) * 2015-11-05 2018-07-17 脸谱公司 使用深度学习模型识别内容项
CN105718552A (zh) * 2016-01-19 2016-06-29 北京服装学院 基于服装手绘草图的服装图像检索方法
CN107766394A (zh) * 2016-08-23 2018-03-06 阿里巴巴集团控股有限公司 业务数据处理方法及其系统
CN107766394B (zh) * 2016-08-23 2021-12-21 阿里巴巴集团控股有限公司 业务数据处理方法及其系统
CN106776710A (zh) * 2016-11-18 2017-05-31 广东技术师范学院 一种基于垂直搜索引擎的图文知识库构建方法
CN107169508B (zh) * 2017-04-17 2020-08-25 杭州电子科技大学 一种基于融合特征的旗袍图像情感语义识别方法
CN107169508A (zh) * 2017-04-17 2017-09-15 杭州电子科技大学 一种基于融合特征的旗袍图像情感语义识别方法
CN107748754A (zh) * 2017-09-15 2018-03-02 广州唯品会研究院有限公司 一种知识图谱完善方法和装置
CN107862562A (zh) * 2017-09-15 2018-03-30 广州唯品会研究院有限公司 一种根据用户的图片喜好选择进行商品推荐的方法及装置
CN107679110A (zh) * 2017-09-15 2018-02-09 广州唯品会研究院有限公司 结合文本分类与图片属性提取完善知识图谱的方法及装置
CN107862562B (zh) * 2017-09-15 2022-01-07 唯品会(海南)电子商务有限公司 一种根据用户的图片喜好选择进行商品推荐的方法及装置
CN108228757A (zh) * 2017-12-21 2018-06-29 北京市商汤科技开发有限公司 图像搜索方法和装置、电子设备、存储介质、程序
CN108875828A (zh) * 2018-06-19 2018-11-23 太原学院 一种相似图像的快速匹配方法和系统
CN108875828B (zh) * 2018-06-19 2022-01-28 太原学院 一种相似图像的快速匹配方法和系统
CN110826582A (zh) * 2018-08-10 2020-02-21 阿里巴巴集团控股有限公司 图像特征训练方法、装置和系统
CN110826582B (zh) * 2018-08-10 2023-05-05 阿里巴巴集团控股有限公司 图像特征训练方法、装置和系统
CN109376748A (zh) * 2018-10-25 2019-02-22 惠州学院 一种图像形状特征提取系统
CN112347289A (zh) * 2019-08-06 2021-02-09 Tcl集团股份有限公司 一种图像管理方法及终端
CN112905824A (zh) * 2021-02-08 2021-06-04 智慧眼科技股份有限公司 目标车辆追踪方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN102254043B (zh) 2013-04-03

Similar Documents

Publication Publication Date Title
CN102254043B (zh) 一种基于语义映射的服装图像检索方法
Mao et al. Multiobjective e-commerce recommendations based on hypergraph ranking
CN103678335B (zh) 商品标识标签的方法、装置及商品导航的方法
WO2018014759A1 (zh) 一种聚类数据表的展现方法、装置和系统
CN103593425B (zh) 基于偏好的智能检索方法及系统
CN103886048B (zh) 一种基于聚类的增量数字图书推荐方法
CN104573130B (zh) 基于群体计算的实体解析方法及装置
Gatzioura et al. A case-based recommendation approach for market basket data
CN101216853B (zh) 一种智能Web查询接口系统及其方法
CN102129470A (zh) 标签聚类方法和系统
CN103914492A (zh) 查询词融合方法、商品信息发布方法和搜索方法及系统
CN106407349A (zh) 一种产品推荐方法及装置
CN109460519B (zh) 浏览对象推荐方法及装置、存储介质、服务器
CN107918818A (zh) 基于大数据技术的供应链管理决策支持系统
CA3059929C (en) Text searching method, apparatus, and non-transitory computer-readable storage medium
CN106157156A (zh) 一种基于用户社区的协作推荐系统
CN106960044A (zh) 一种基于张量分解及加权hits的时间感知个性化poi推荐方法
CN107895303A (zh) 一种基于ocean模型的个性化推荐的方法
CN104216993A (zh) 一种标签共现的标签聚类方法
CN103778206A (zh) 一种网络服务资源的提供方法
CN106846088A (zh) 一种快消品电商网站的商品推荐方法
CN106980639B (zh) 短文本数据聚合系统及方法
CN104133913B (zh) 一种基于视频分析与搜索聚合的城市商铺信息库自动构建系统及方法
Cousseau et al. Linking place records using multi-view encoders
CN112989053A (zh) 一种期刊推荐方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130403

Termination date: 20150817

EXPY Termination of patent right or utility model