CN102254043B - 一种基于语义映射的服装图像检索方法 - Google Patents
一种基于语义映射的服装图像检索方法 Download PDFInfo
- Publication number
- CN102254043B CN102254043B CN 201110236889 CN201110236889A CN102254043B CN 102254043 B CN102254043 B CN 102254043B CN 201110236889 CN201110236889 CN 201110236889 CN 201110236889 A CN201110236889 A CN 201110236889A CN 102254043 B CN102254043 B CN 102254043B
- Authority
- CN
- China
- Prior art keywords
- image
- clothing
- clothes
- semantic
- high frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
本发明属于计算机多媒体技术领域,公开了一种基于语义映射的服装图像检索方法。具体包括构建服装领域知识库步骤、获取服装图像的语义信息步骤以及检索待查询服装图像步骤。本发明的方法依靠已有的服装图像和相应的文本描述信息,通过多类特征聚类的方式构建服装领域知识库,通过Graph Cut模型融合知识库中的服装图像信息、知识库中的服装图像与描述文本的共生信息、知识库中的服装描述文本信息,对提交的待查询图像进行服装语义的获取,并根据获取的服装语义对提交的服装图像进行相似服装图像的检索。
Description
技术领域
本发明属于计算机多媒体技术领域,具体涉及一种图像检索技术。
背景技术
伴随着我国经济的高速发展,人们生活水平的逐步提高以及互联网交易平台的逐渐发展完善,如今网络购物已经成为了日常消费的重要形式之一,而网络购物与传统购物最大的区别在于商品信息的获取方式上,传统购物可以通过询问、观察、触摸得到大量的第一手信息,通过走街串巷寻找类似的商品,但是在网络购物环境下顾客只能依靠搜索引擎来完成相似的活动,几乎国内外各大购物网站都提供了文本搜索的服务,但是文本搜索服务一般适用于标准化程度较高的产品或者消费者要有较强的领域背景,才能够比较迅速的定位到合适的商品,而对于标准化较低、个性化显著的商品,消费者所付出的搜索时间是相当可观的,而服装恰恰是这样一种个性化较强的大众日常消费品。据国内知名大型网上购物网站公布的统计数据,每天该网站商品搜索的关键字中有60%是与服装有关的,由此可以看出对于服装检索的市场需求是巨大的,而与此对应的是服装搜索手段的单一化,现存的商用服装搜索都是依靠文本检索来完成,这不但要求商家手工添加服装的描述信息,而且还要要求消费者具有一定的服装领域知识,而相比于文本搜索更为直观的图像搜索技术则由于不能有效的抽取层次化、结构化的图像语义信息,而且面向通用图像检索技术设计的语义抽取方式不能够有效的表达服装图像的语义信息,从而使得服装检索的手段一直停留在文本关键字检索的阶段。
在处理服装检索时也出现了一些图像搜索的方法。
在公开号为CN 101271476公开了一种“网络图像搜索中基于聚类的相关反馈检索方法”,该方法主要注重用户反馈信息的使用,而且以关键字为查询,对于以图像为主要表现形式的服装而言,适用性有限,并且该方法需要用户进行手工的标注,对用户的参与度要求较高,不能通过自主学习的机制判断用户的查询概念是否与图像包一致,推广性有限。
在公开号为CN 101329677公开了一种“基于图像内容的图像搜索引擎”,本发明使用图像名称、地址信息、页面文字等文本信息进行图像语义的提取,并没有将图像底层特征与图像的语义特征进行关联,不能直接通过图像底层特征获取图像语义特征,不具有稳定性,而且不利于推广,适用性有限。
发明内容
本发明的目的是为了解决现有的服装检索存在的问题,提出了一种基于语义映射的服装图像检索方法。
本发明的技术方案是:一种基于语义映射的服装图像检索方法,包括构建服装领域知识库步骤、获取服装图像的语义信息步骤以及检索待查询服装图像步骤,其中,构建服装领域知识库步骤具体过程如下:
S1.提取服装图像的底层特征:对服装图像数据库中的服装图像进行预处理,在预处理的基础之上,提取服装图像的底层特征;
S2.构建服装领域知识库:依靠服装图像的底层特征构建服装领域知识库,依次对服装图像的底层特征进行特征聚类,从归属于某一类别的服装图像所对应的服装网页中,提取高频词,作为描述该类别服装特征的领域知识,在得到该类别的服装领域知识之后,从该类别服装图像中剔除掉对该类别领域知识贡献度小于设定阈值的服装图像;
获取服装图像的语义信息步骤具体过程如下:
S3.依靠服装领域知识库,对待获取语义信息的服装图像进行语义获取,首先提取待获取语义信息的服装图像的底层特征,将得到的底层特征分配到距离最近的服装图像类别集中,将该类别集所对应的高频词库作为初始语义集,通过计算与所属类别集中所有服装图像的特征距离与语义距离之积的总和,来度量待获取语义信息的服装图像与已有服装图像的图像与图像,图像与语义的关联程度,并通过计算初始语义集的语义距离来度量待获取语义信息的服装图像与已有服装图像的语义与语义的关联程度,最后从初始语义集中抽取用于描述待获取语义信息的服装图像的语义信息;
检索待查询服装图像步骤具体过程如下:
S4.根据步骤S3,获取待查询服装图像的语义信息,然后依据获取到的语义信息对服装图像进行检索,依照检索的结果从服装图像数据库中提取相应的服装图像作为查询结果返回。
这里,步骤S1中所述的底层特征包括颜色特征、纹理特征、梯度特征、形状特征以及局部点特征。
优选的,步骤S3具体采用Graph Cut模型从初始的语义信息中抽取用于描述服装图像的语义信息。
本发明的有益效果:为了满足对服装图像进行语义层次上的检索需要,本发明的方法依靠已有的服装图像和相应的文本描述信息,通过多类特征(颜色、纹理、梯度、形状以及局部点)聚类的方式构建服装领域知识库,通过Graph Cut模型融合知识库中的服装图像信息、知识库中的服装图像与描述文本的共生信息、知识库中的服装描述文本信息,对提交的待查询的图像进行服装语义的获取,并根据获取的服装语义对提交的服装图像进行相似服装图像的检索。
附图说明
图1为本发明基于语义映射的服装图像检索方法流程示意图。
图2为服装图像领域知识库构建流程示意图。
图3为服装图像语义映射模型结构示意图。
图4为基于语义映射的服装图像检索结果展示图。
具体实施方式
下面结合附图对本发明作进一步详细的描述:
如图1,图中描述的为基于语义映射的服装图像检索总体流程图。在构建服装领域知识库和获取服装图像的语义信息的基础上,用户提交待查询的服装图像,对待查询图像进行预处理,并且在预处理的基础之上提取待查询图像的颜色特征、纹理特征、梯度特征、形状特征以及局部点特征。根据这些提取出来的待查询服装图像的底层特征,计算与各类特征样本库中已有簇的距离,为待查询服装图像确定其底层特征的所属类别,至此待查询服装图像,在服装颜色样本库中应该确定了其颜色的所属图像簇,同理在服装纹理样本库、服装梯度样本库、服装形状样本库以及服装局部点样本库中确定了所属样本簇,接下来根据所确定的五个样本簇到服装图像高频词库中寻找对应的高频词簇,这样待查询服装图像就分别在服装颜色高频词库、服装纹理高频词库、服装梯度高频词库、服装形状高频词库以及服装局部点高频词库中确定了其对应的高频词簇,这些高频词簇作为待查询图像初始的语义信息集,将初始的语义信息集中的每一个语义词作为一个图节点,根据已经确定的服装颜色样本簇、服装纹理样本簇、服装梯度样本簇、服装形状样本簇、服装局部特征点样本簇以及其相对应的高频词簇,分别计算服装图像与图像的相关性、服装图像与语义词共生性、服装语义与语义相关性,通过这些计算为构建Graph Cut模型提高了边权重,通过Graph Cut模型的优化操作,得到适应度最高的语义词集,至此待查询图像即被映射成为特定的语义词集,以语义词集为新的查询请求,在服装图像语义索引库中进行文本检索,根据检索的结果从服装图像数据库中取出相应的服装图像作为待查询服装图像的检索结果。
具体过程如下:
提取服装图像的底层特征:对服装图像数据库中的服装图像进行预处理,在预处理的基础之上,对服装图像进行图像底层特征的提取。具体可以采用如下分步骤:
S11.对服装图像数据库中的服装图像进行中值滤波,滤除服装图像中存在的椒盐噪音;
S12.对滤波的服装图像进行灰度值拉伸;
S13.提取服装图像颜色特征描述符,采用RGB颜色空间的非线性混合运算作为特征描述子;
S14.提对服装图像纹理特征描述符,采用局部二值模式(LBP)作为特征描述子;
S15.提取服装图像梯度特征描述符,采用梯度直方图(HOG)作为特征描述子;
S16.提取服装图像形状特征描述符,采用形状上下文(Shape Context)作为特征描述子;
S17.提取服装图像局部特征点描述符,采用尺度不变特征点(SIFT)作为特征描述子。
服装往往是一种个性化很强的消费产品,因此对于服装的文本描述并没有标准化,通过文本搜索引擎往往用户因不知如何表达自己的服装搜索意愿或者表达错误,影响用户的购买体验,而网络上大量的服装销售网页本身就蕴含着对服装商品的通用描述,这种通用描述被服装销售方经常使用并且对于资深的服装购买用户也十分熟悉,但是对于并没有很多购买经验的普通消费者,这些通用描述是并不熟悉的,而这些通用描述就是服装的领域知识。因而可以通过利用网络中已有的服装图像和服装网页构建服装领域知识库,即为依靠服装图像的底层特征构建服装领域知识库,依次对服装图像的底层特征进行特征聚类,从归属于某一类别的服装图像所对应的服装网页中,提取高频词,作为描述该类别服装特征的领域知识,在得到该类别的服装领域知识之后,从该类别服装图像中剔除掉对该类别领域知识贡献度小于设定阈值的服装图像。这里的阈值可以设定为1%,即将描述词集包含的高频词数量少于该领域知识高频词总量的1%的服装图像从该类别服装图像中剔除。
具体如图2所示,可以采用如下分步骤:
S21.对服装图像的颜色特征进行聚类,对每个类别中的服装图像对应的服装网页进行高频词提取,获取颜色特征的高频词库,将该类高频词库作为该类颜色特征的服装颜色知识库。
颜色特征采用一种基于RGB颜色通道非线性混合运算的颜色特征描述方式。假设当前待检索的原始彩色图像为I,其三个通道的值分别为rI,gI和bI,则用一个颜色特征向量vcolor来代表I的颜色特征,颜色特征向量的表达形式如下:
vcolor=(rIgI,rIbI,gIbI,rI 2gI 2,rI 2bI 2,gI 2bI 2,rIgIbI)
S22.对服装图像的纹理特征进行聚类,对每个类别中的服装图像对应的服装网页进行高频词提取,获取纹理特征的高频词库,将该类高频词库作为该类纹理特征的服装纹理知识库。
使用局部二值模式(LBP)特征来表达服装图像的纹理特性,LBP特征具有对光照和一定旋转的不敏感性。
S23.对服装图像的梯度特征进行聚类,对每个类别中的服装图像对应的服装网页进行高频词提取,获取梯度特征的高频词库,将该类高频词库作为该类梯度特征的服装梯度知识库。
使用HOG(梯度方向的直方图)特征来表达服装图像的梯度特征,HOG是描述图像整体或局部梯度信息的特征表达方式,从图像语义上表现为可以用来表示一些图像上有很好结构信息的元素。
S24.对服装图像的形状特征进行聚类,对每个类别中的服装图像对应的服装网页进行高频词提取,获取形状特征的高频词库,将该类高频词库作为该类形状特征的服装形状知识库。
使用形状上下文(shape context)表示服装图像的形状特征,shape context对于形状具有较高的描述性,能够容忍一定程度的形变。
S25.对服装图像的局部特征点进行聚类,对每个类别中的服装图像对应的服装网页进行高频词提取,获取局部特征点的高频词库,将该类高频词库作为该类局部特征点的服装局部特征点知识库。
使用SIFT(Scale-invariant Feature Transform,尺度不变特征转换)提取服装图像的局部特征点。
SIFT主要有如下特点:
1.对旋转、尺度缩放、亮度变化保持不变性,对视角变化、仿射变换、噪声也保持一定程度的稳定性;
2.信息量丰富,使用于在海量特征数据库中进行快速、准确的匹配;
3.特征表达性好,对于未知结构信息的图像,哪怕含有较少的物体,也能够提取出大量的SIFT特征向量;
4.经过优化的SIFT算法,能够满足实时的要求,因此可以用在服装的在线智能分析上;
5.可以很方便地与其它特征进行融合分析。
S26.对步骤S21得到的服装颜色领域知识库中的每一类中的服装图像进行选取,若该服装图像所对应的网页中包含一定比例的高频词则保留作为该类的样本图像,否则则将该图像移除。
该服装图像的过滤操作是为了保证服装颜色领域知识库语义层次与图像层次统一与一致。
S27.对步骤S22得到的服装纹理领域知识库中的每一类中的服装图像进行选取,若该服装图像所对应的网页中包含一定比例的高频词则保留作为该类的样本图像,否则则将该图像移除。
该服装图像的过滤操作是为了保证服装纹理领域知识库语义层次与图像层次统一与一致。
S28.对步骤S23得到的服装梯度领域知识库中的每一类中的服装图像进行选取,若该服装图像所对应的网页中包含一定比例的高频词则保留作为该类的样本图像,否则则将该图像移除。
该服装图像的过滤操作是为了保证服装梯度领域知识库语义层次与图像层次统一与一致。
S29.对步骤S24得到的服装形状领域知识库中的每一类中的服装图像进行选取,若该服装图像所对应的网页中包含一定比例的高频词则保留作为该类的样本图像,否则则将该图像移除。
该服装图像的过滤操作是为了保证服装形状领域知识库语义层次与图像层次统一与一致。
S210.对步骤S25得到的服装局部特征点领域知识库中的每一类中的服装图像进行选取,若该服装图像所对应的网页中包含一定比例的高频词则保留作为该类的样本图像,否则则将该图像移除。
该服装图像的过滤操作是为了保证服装局部特征点领域知识库语义层次与图像层次统一与一致。
这里的“包含一定比例”可以根据实际情况进行具体设定。
这里,将服装图像数据库中不符合贡献度要求的图像剔除后形成服装图像集合称为标准服装图像样本库,按照不同的底层特征的聚类结果将标准服装图像样本库分为服装颜色样本库,服装纹理样本库,服装梯度样本库,服装形状样本库以及服装局部点样本库。
依靠构建的服装领域知识库,可以对任何一张服装图像进行服装语义信息的获取。首先提取待获取语义信息的服装图像的底层特征,将得到的底层特征分配到距离最近的服装图像类别集中,将该类别集所对应的高频词库作为初始的语义信息,通过计算与所属类别集中所有服装图像的特征距离与语义距离之积的总和,来度量待获取语义信息的服装图像与已有服装图像的图像与图像,图像与语义的关联程度,并通过计算初始语义信息的语义距离来度量待获取语义信息的服装图像与已有服装图像的语义与语义的关联程度,最后使用Graph Cut模型从初始的语义信息中抽取用于描述待获取语义信息的服装图像的语义信息;具体步骤如下:
S31.对待获取服装语义信息的服装图像进行S11~S17步骤的操作。
S32.依据待获取服装语义信息的服装图像的颜色特征,确定其在服装颜色知识库中所属类别,将确定的所属类别对应的该类别的高频词库纳入初始服装语义信息集。
S33.依据待获取服装语义信息的服装图像的纹理特征,确定其在服装纹理知识库中所属类别,将确定的所属类别对应的该类别的高频词库纳入初始服装语义信息集。
S34.依据待获取服装语义信息的服装图像的梯度特征,确定其在服装梯度知识库中所属类别,将确定的所属类别对应的该类别的高频词库纳入初始服装语义信息集。
S35.依据待获取服装语义信息的服装图像的形状特征,确定其在服装形状知识库中所属类别,将确定的所属类别对应的该类别的高频词库纳入初始服装语义信息集。
S36.依据待获取服装语义信息的服装图像的局部特征点,确定其在服装局部特征点知识库中所属类别,将确定的所属类别对应的该类别的高频词库纳入初始服装语义信息集。
S37.计算待处理服装图像与初始服装语义信息集中包含的服装颜色领域知识库所属类别的样本图像集中每一张服装图像的颜色特征距离。
S38.计算待处理服装图像与初始服装语义信息集中包含的服装纹理领域知识库所属类别的样本图像集中每一张服装图像的纹理特征距离。
S39.计算待处理服装图像与初始服装语义信息集中包含的服装梯度领域知识库所属类别的样本图像集中每一张服装图像的梯度特征距离。
S310.计算待处理服装图像与初始服装语义信息集中包含的服装形状领域知识库所属类别的样本图像集中每一张服装图像的形状特征距离。
S311.计算待处理服装图像与初始服装语义信息集中包含的服装局部特征点领域知识库所属类别的样本图像集中每一张服装图像的局部特征点距离。
S312.计算初始语义集中每个一语义词是否出现在所属类别的样本图像的对应网页中,若出现则考虑该样本图像对于该语义的影响程度,否则不考虑该样本图像对于该语义的影响程度,利用步骤S37得到的颜色特征距离、步骤S38得到的纹理特征距离、步骤S39得到的梯度特征距离、步骤S310得到的形状特征距离和步骤S311得到的局部特征点距离对于每个语义词加总,计算存在影响程度的样本图像与待处理服装图像的标准化距离。
S313.计算初始语义集中任何一个语义词对的语义距离以及在服装网页中的共生概率,该语义距离与共生概率的乘积为语义相关程度的度量。
S314.将初始语义集中的语义词作为节点,利用步骤S312得到的标准化距离和步骤S313得到的语义相关程度的度量,构建Graph Cut模型,利用Graph Cut模型得到最终的语义词集,该语义词集则为获取的服装图像的语义信息。
这里,初始语义集指的是通过S37~S311得到各种领域知识所属类别的总和,但是每种领域知识有多个类别,因此初始语义集是初始服装语义信息集的子集。初始语义集是初始服装语义信息集的子集,是与待处理服装图像对应的,不同的待处理服装图像有不同的初始语义集,但是都是初始服装语义信息集的子集。
检索服装图像的语义:
用户可以提交服装图像,通过服装语义映射将图像查询转变为语义文本查询,具体为:根据步骤S3获取待查询服装图像的语义信息,然后依据获取到的语义信息对服装图像进行检索,依照检索的结果从服装图像数据库中提取相应的服装图像作为查询结果返回。具体过程如下:
S41.对用户提交的待查询的服装图像进行S11~S17步骤的操作。
S42.根据步骤S41得到的特征数据,利用构建的服装领域知识库,进行S31~S314步骤的操作,获取待查询服装图像的语义信息,完成待查询服装图像的语义映射。
S43.根据步骤S42得到的服装语义信息,对服装语义索引库进行文本检索,依据检索的结果,从服装图像数据库中得到服装图像集合作为查询结果返回。
其中,服装语义索引库是对服装图像数据库中的所有图像进行S1~S3的操作,提取每幅服装图像的语义信息,通过倒排索引将图像的语义信息与对应服装图像建立映射,形成服装语义索引库,以便在查询过程中,使用查询语义词在服装语义索引库中迅速定位相关服装图像在服装图像数据库中的具体位置。
构建服装领域知识库之后,可以根据服装领域知识库对待查询的服装图像进行服装语义的映射,服装语义映射将原有的服装图像查询请求,转变为服装语义查询请求,如图3为服装图像语义映射模型结构示意图。
本发明的技术方案在服装图像的语义映射过程中借鉴了Graph Cut模型算法的基本思想,对步骤S32~S36得到的初始服装语义信息集进行最后的“分割”,选出最优的少数语义词,作为待查询服装图像语义映射的结果。设w1,w2,...wR是按步骤S32~S36为待查询服装图像Q挑选出的初始服装语义信息集的语义词。结合Graph Cut算法思想,如图3所示用一个无向图G=(V,E)来代表所涉及的数据原型。图中的S节点和T节点分别代表属于待查询服装图像Q和不属于待查询服装图像Q,中间的节点代表各个语义词,利用该模型,该算法实现的目标就是:寻求一种如图3所示的划分方式,将各个语义词wi对应的中间节点划分到两个端点,也就最终为Q找到了优化的服装语义词集。其基本思想是建立了一个划分损耗能量函数,使得这个函数取最小值是的一个划分就是系统要寻找的关键词“分割”方式。这个能量函数表示如下:
其中S和T是分别两个划分中语义词的个数。Dw(s,w)代表将某个语义词保留所需的系统代价,Dw(t,w)表示将某个语义词w去掉所花的系统代价,这些数值的计算由步骤S37~S312完成。M(w1,w2)代表初始语义信息集中,任意两个语义词的联系相关程度,该距离的计算由步骤S313完成。最后,可以通过动态规划算法,对这个能量函数进行优化,最后得到Q的最优服装语义词集,完成了对待查询服装图像语义映射。
本发明的技术方案中,利用存在网络上的服装领域知识,构建服装领域知识库,利用领域知识库完成服装图像的查询,将服装图像的查询转变为服装语义信息的检索,这一方面利用了服装图像的直观性,另一方面充分展现了语义信息的灵活性,如图4为基于语义映射的服装图像检索结果展示图所示,不论男装或是女装,本发明的技术方案都得到了比较满意的结果,这些服装检索结果并不是图像意义上的完全一致,而是在服装语义层的一致。
本发明的技术方案挖掘利用存在网络中的服装领域知识,以服装图像为查询请求,通过利用计算机视觉技术将服装图像映射为服装语义进行服装图像的检索,和现有技术相比,本发明的技术解决方案具有较高的准确度和灵活性。
本领域的普通技术人员将会意识到,这里所述的实施例是为了帮助读者理解本发明的原理,应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合,这些变形和组合仍然在本发明的保护范围内。
Claims (6)
1.一种基于语义映射的服装图像检索方法,包括构建服装领域知识库步骤、获取服装图像的语义信息步骤以及检索待查询服装图像步骤,其中,构建服装领域知识库步骤具体过程如下:
S1.提取服装图像的底层特征:对服装图像数据库中的服装图像进行预处理,在预处理的基础之上,提取服装图像的底层特征;
S2.构建服装领域知识库:依靠服装图像的底层特征构建服装领域知识库,依次对服装图像的底层特征进行特征聚类,从归属于某一类别的服装图像所对应的服装网页中,提取高频词,作为描述该类别服装特征的领域知识,在得到该类别的服装领域知识之后,从该类别服装图像中剔除掉对该类别领域知识贡献度小于设定阈值的服装图像;
获取服装图像的语义信息步骤具体过程如下:
S3.依靠服装领域知识库,对待获取语义信息的服装图像进行语义获取,首先提取待获取语义信息的服装图像的底层特征,将得到的底层特征分配到距离最近的服装图像类别集中,将该类别集所对应的高频词库作为初始语义集,通过计算与所属类别集中所有服装图像的特征距离与语义距离之积的总和,来度量待获取语义信息的服装图像与已有服装图像的图像与图像,图像与语义的关联程度,并通过计算初始语义集的语义距离来度量待获取语义信息的服装图像与已有服装图像的语义与语义的关联程度,最后从初始语义集中抽取用于描述待获取语义信息的服装图像的语义信息;
检索待查询服装图像步骤具体过程如下:
S4.根据步骤S3,获取待查询服装图像的语义信息,然后依据获取到的语义信息对服装图像进行检索,依照检索的结果从服装图像数据库中提取相应的服装图像作为查询结果返回。
2.根据权利要求1所述的服装图像检索方法,其特征在于,步骤S1中所述的底层特征包括颜色特征、纹理特征、梯度特征、形状特征以及局部点特征。
3.根据权利要求1或2所述的服装图像检索方法,其特征在于,步骤S3具体采用GraphCut模型从初始的语义信息中抽取用于描述服装图像的语义信息。
4.根据权利要求3所述的服装图像检索方法,其特征在于,步骤S1具体包括如下分步骤:
S11.对服装图像进行中值滤波;
S12.对滤波的服装图像进行灰度值拉伸;
S13.提取服装图像颜色特征描述符,采用RGB颜色空间的非线性混合运算作为特征描述子;
S14.提对服装图像纹理特征描述符,采用局部二值模式作为特征描述子;
S15.提取服装图像梯度特征描述符,采用梯度直方图作为特征描述子;
S16.提取服装图像形状特征描述符,采用形状上下文作为特征描述子;
S17.提取服装图像局部特征点描述符,采用尺度不变特征点作为特征描述子。
5.根据权利要求4所述的服装图像检索方法,其特征在于,步骤S2具体包括如下分步骤:
S21.对服装图像的颜色特征进行聚类,对每个类别中的服装图像对应的服装网页进行高频词提取,获取颜色特征的高频词库,将该类高频词库作为该类颜色特征的服装颜色知识库;
S22.对服装图像的纹理特征进行聚类,对每个类别中的服装图像对应的服装网页进行高频词提取,获取纹理特征的高频词库,将该类高频词库作为该类纹理特征的服装纹理知识库;
S23.对服装图像的梯度特征进行聚类,对每个类别中的服装图像对应的服装网页进行高频词提取,获取梯度特征的高频词库,将该类高频词库作为该类梯度特征的服装梯度知识库;
S24.对服装图像的形状特征进行聚类,对每个类别中的服装图像对应的服装网页进行高频词提取,获取形状特征的高频词库,将该类高频词库作为该类形状特征的服装形状知识库;
S25.对服装图像的局部特征点进行聚类,对每个类别中的服装图像对应的服装网页进行高频词提取,获取局部特征点的高频词库,将该类高频词库作为该类局部特征点的服装局部特征点知识库;
S26.对步骤S21得到的服装颜色领域知识库中的每一类中的服装图像进行选取,若该服装图像所对应的网页中包含一定比例的高频词则保留作为该类的样本图像,否则则将该图像移除;
S27.对步骤S22得到的服装纹理领域知识库中的每一类中的服装图像进行选取,若该服装图像所对应的网页中包含一定比例的高频词则保留作为该类的样本图像,否则则将该图像移除;
S28.对步骤S23得到的服装梯度领域知识库中的每一类中的服装图像进行选取,若该服装图像所对应的网页中包含一定比例的高频词则保留作为该类的样本图像,否则则将该图像移除;
S29.对步骤S24得到的服装形状领域知识库中的每一类中的服装图像进行选取,若该服装图像所对应的网页中包含一定比例的高频词则保留作为该类的样本图像,否则则将该图像移除;
S210.对步骤S25得到的服装局部特征点领域知识库中的每一类中的服装图像进行选取,若该服装图像所对应的网页中包含一定比例的高频词则保留作为该类的样本图像,否则则将该图像移除。
6.根据权利要求5所述的服装图像检索方法,其特征在于,步骤S3具体包括如下分步骤:
S31.对待获取服装语义信息的服装图像进行S11~S17步骤的操作;
S32.依据待获取服装语义信息的服装图像的颜色特征,确定其在服装颜色知识库中所属类别,将确定的所属类别对应的高频词库纳入初始服装语义信息集;
S33.依据待获取服装语义信息的服装图像的纹理特征,确定其在服装纹理知识库中所属类别,将确定的所属类别对应的高频词库纳入初始服装语义信息集;
S34.依据待获取服装语义信息的服装图像的梯度特征,确定其在服装梯度知识库中所属类别,将确定的所属类别对应的高频词库纳入初始服装语义信息集;
S35.依据待获取服装语义信息的服装图像的形状特征,确定其在服装形状知识库中所属类别,将确定的所属类别对应的高频词库纳入初始服装语义信息集;
S36.依据待获取服装语义信息的服装图像的局部特征点,确定其在服装局部特征点知识库中所属类别,将确定的所属类别对应的高频词库纳入初始服装语义信息集;
S37.计算待处理服装图像与初始服装语义信息集中包含的服装颜色领域知识库所属类别的样本图像集中每一张服装图像的颜色特征距离;
S38.计算待处理服装图像与初始服装语义信息集中包含的服装纹理领域知识库所属类别的样本图像集中每一张服装图像的纹理特征距离;
S39.计算待处理服装图像与初始服装语义信息集中包含的服装梯度领域知识库所属类别的样本图像集中每一张服装图像的梯度特征距离;
S310.计算待处理服装图像与初始服装语义信息集中包含的服装形状领域知识库所属类别的样本图像集中每一张服装图像的形状特征距离;
S311.计算待处理服装图像与初始服装语义信息集中包含的服装局部特征点领域知识库所属类别的样本图像集中每一张服装图像的局部特征点距离;
S312.计算初始语义集中每个一语义词是否出现在所属类别的样本图像的对应网页中,若出现则考虑该样本图像对于该语义词的影响程度,否则不考虑该样本图像对于该语义词的影响程度,利用步骤S37得到的颜色特征距离、步骤S38得到的纹理特征距离、步骤S39得到的梯度特征距离、步骤S310得到的形状特征距离和步骤S311得到的局部特征点距离对于每个语义词加总,计算存在影响程度的样本图像与待处理服装图像的标准化距离;
S313.计算初始语义集中任何一个语义词对的语义距离以及在服装网页中的共生概率,该语义距离与共生概率的乘积为语义相关程度的度量;
S314.将初始语义集中的语义词作为节点,利用步骤S312得到的标准化距离和步骤S313步骤得到的语义相关程度的度量,构建Graph Cut模型,利用Graph Cut模型得到最终的语义词集,该语义词集则为获取的服装图像的语义信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201110236889 CN102254043B (zh) | 2011-08-17 | 2011-08-17 | 一种基于语义映射的服装图像检索方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201110236889 CN102254043B (zh) | 2011-08-17 | 2011-08-17 | 一种基于语义映射的服装图像检索方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102254043A CN102254043A (zh) | 2011-11-23 |
CN102254043B true CN102254043B (zh) | 2013-04-03 |
Family
ID=44981307
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 201110236889 Expired - Fee Related CN102254043B (zh) | 2011-08-17 | 2011-08-17 | 一种基于语义映射的服装图像检索方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102254043B (zh) |
Families Citing this family (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102663092B (zh) * | 2012-04-11 | 2015-01-28 | 哈尔滨工业大学 | 一种基于服装组图的风格元素挖掘和推荐方法 |
CN103020172B (zh) * | 2012-11-28 | 2015-08-19 | 北京京东世纪贸易有限公司 | 一种利用视频信息搜索物品的方法和装置 |
CN103049754B (zh) * | 2012-12-07 | 2016-08-03 | 东软集团股份有限公司 | 社交网络的图片推荐方法和装置 |
CN103106265B (zh) * | 2013-01-30 | 2016-10-12 | 北京工商大学 | 相似图像分类方法及系统 |
CN103345645B (zh) * | 2013-06-27 | 2016-09-28 | 复旦大学 | 面向网购平台的商品图像类别预测方法 |
US9727620B2 (en) * | 2013-10-29 | 2017-08-08 | Peekabuy, Inc. | System and method for item and item set matching |
CN103729476A (zh) * | 2014-01-26 | 2014-04-16 | 王玉娇 | 一种根据环境状态来关联内容的方法和系统 |
CN103955543A (zh) * | 2014-05-20 | 2014-07-30 | 电子科技大学 | 基于多模态的服装图像检索方法 |
CN104298786B (zh) * | 2014-11-12 | 2018-07-10 | 广州出益信息科技有限公司 | 一种图像检索方法及装置 |
CN104730930B (zh) * | 2015-01-16 | 2017-12-29 | 小米科技有限责任公司 | 衣物分拣方法、衣物清洗方法及装置 |
CN104851095B (zh) * | 2015-05-14 | 2017-12-26 | 江南大学 | 基于改进型形状上下文的工件图像稀疏立体匹配方法 |
CN104991954B (zh) * | 2015-07-20 | 2018-08-21 | 河海大学 | 基于图像搜索的购物搜索系统及其实现方法 |
US20170132510A1 (en) * | 2015-11-05 | 2017-05-11 | Facebook, Inc. | Identifying Content Items Using a Deep-Learning Model |
CN105718552A (zh) * | 2016-01-19 | 2016-06-29 | 北京服装学院 | 基于服装手绘草图的服装图像检索方法 |
CN107766394B (zh) * | 2016-08-23 | 2021-12-21 | 阿里巴巴集团控股有限公司 | 业务数据处理方法及其系统 |
CN106776710A (zh) * | 2016-11-18 | 2017-05-31 | 广东技术师范学院 | 一种基于垂直搜索引擎的图文知识库构建方法 |
CN107169508B (zh) * | 2017-04-17 | 2020-08-25 | 杭州电子科技大学 | 一种基于融合特征的旗袍图像情感语义识别方法 |
CN107748754B (zh) * | 2017-09-15 | 2021-10-26 | 广州唯品会研究院有限公司 | 一种知识图谱完善方法和装置 |
CN107679110A (zh) * | 2017-09-15 | 2018-02-09 | 广州唯品会研究院有限公司 | 结合文本分类与图片属性提取完善知识图谱的方法及装置 |
CN107862562B (zh) * | 2017-09-15 | 2022-01-07 | 唯品会(海南)电子商务有限公司 | 一种根据用户的图片喜好选择进行商品推荐的方法及装置 |
CN108228757A (zh) * | 2017-12-21 | 2018-06-29 | 北京市商汤科技开发有限公司 | 图像搜索方法和装置、电子设备、存储介质、程序 |
CN108875828B (zh) * | 2018-06-19 | 2022-01-28 | 太原学院 | 一种相似图像的快速匹配方法和系统 |
CN110826582B (zh) * | 2018-08-10 | 2023-05-05 | 阿里巴巴集团控股有限公司 | 图像特征训练方法、装置和系统 |
CN109376748A (zh) * | 2018-10-25 | 2019-02-22 | 惠州学院 | 一种图像形状特征提取系统 |
CN112347289A (zh) * | 2019-08-06 | 2021-02-09 | Tcl集团股份有限公司 | 一种图像管理方法及终端 |
CN112905824A (zh) * | 2021-02-08 | 2021-06-04 | 智慧眼科技股份有限公司 | 目标车辆追踪方法、装置、计算机设备及存储介质 |
CN113409455A (zh) * | 2021-07-16 | 2021-09-17 | 北京沃东天骏信息技术有限公司 | 服装展示方法、装置、电子设备和存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1936892A (zh) * | 2006-10-17 | 2007-03-28 | 浙江大学 | 图像内容语义标注方法 |
CN101692224A (zh) * | 2009-07-08 | 2010-04-07 | 南京师范大学 | 融合空间关系语义的高分辨率遥感图像检索方法 |
CN101853299A (zh) * | 2010-05-31 | 2010-10-06 | 杭州淘淘搜科技有限公司 | 一种基于感性认知的图像检索结果排序方法 |
-
2011
- 2011-08-17 CN CN 201110236889 patent/CN102254043B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1936892A (zh) * | 2006-10-17 | 2007-03-28 | 浙江大学 | 图像内容语义标注方法 |
CN101692224A (zh) * | 2009-07-08 | 2010-04-07 | 南京师范大学 | 融合空间关系语义的高分辨率遥感图像检索方法 |
CN101853299A (zh) * | 2010-05-31 | 2010-10-06 | 杭州淘淘搜科技有限公司 | 一种基于感性认知的图像检索结果排序方法 |
Also Published As
Publication number | Publication date |
---|---|
CN102254043A (zh) | 2011-11-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102254043B (zh) | 一种基于语义映射的服装图像检索方法 | |
Mao et al. | Multiobjective e-commerce recommendations based on hypergraph ranking | |
CN103678335B (zh) | 商品标识标签的方法、装置及商品导航的方法 | |
KR102075833B1 (ko) | 미술 작품 추천 큐레이션 방법 및 시스템 | |
WO2018014759A1 (zh) | 一种聚类数据表的展现方法、装置和系统 | |
Xie et al. | Community-aware user profile enrichment in folksonomy | |
CN102279851B (zh) | 一种智能导航方法、装置和系统 | |
CN109359244A (zh) | 一种个性化信息推荐方法和装置 | |
CN103886048B (zh) | 一种基于聚类的增量数字图书推荐方法 | |
CN101216853B (zh) | 一种智能Web查询接口系统及其方法 | |
CN105574216A (zh) | 基于概率模型和用户行为分析的个性化推荐方法、系统 | |
Fakhari et al. | Combination of classification and regression in decision tree for multi-labeling image annotation and retrieval | |
CN106960044A (zh) | 一种基于张量分解及加权hits的时间感知个性化poi推荐方法 | |
Gao et al. | Fashion clothes matching scheme based on Siamese Network and AutoEncoder | |
Kotouza et al. | Towards fashion recommendation: an AI system for clothing data retrieval and analysis | |
CN105677828A (zh) | 基于大数据的用户信息处理方法 | |
CN107895303A (zh) | 一种基于ocean模型的个性化推荐的方法 | |
CN104216993A (zh) | 一种标签共现的标签聚类方法 | |
CN103927339B (zh) | 知识重组系统和知识重组方法 | |
CN107341199A (zh) | 一种基于文献信息共性模式的推荐方法 | |
Shimizu et al. | Fashion intelligence system: An outfit interpretation utilizing images and rich abstract tags | |
CN107622071A (zh) | 通过间接相关反馈在无查源下的衣服图像检索系统及方法 | |
CN104133913B (zh) | 一种基于视频分析与搜索聚合的城市商铺信息库自动构建系统及方法 | |
Yang et al. | Design and application of handicraft recommendation system based on improved hybrid algorithm | |
An et al. | A heuristic approach on metadata recommendation for search engine optimization |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20130403 Termination date: 20150817 |
|
EXPY | Termination of patent right or utility model |