CN104298749A - 一种图像视觉和文本语义融合商品检索方法 - Google Patents

Abstract

本发明公开了一种基于图像视觉和文本语义融合商品图像检索方法，该方法首先对检索商品图通过分割，在图像库中根据视觉匹配进行相似度度量检索，得到一系列的视觉相似结果集，根据检索商品的文本信息通过文本相似度检索，得到一系列的文本相似商品结果集，然后对视觉检索的相似结果集进行文本相似度度量，合并视觉和文本相似结果集，得到综合相似商品集，使用视觉特征统一进行视觉相似分度量，最后对综合商品集中的商品进行质量分度量，在展示输出时，对文本相似分和视觉相似分、商品质量分三个因子进行加权计算，优化排序结果。本发明提高了检索的商品相似性，进一步满足了对用户推荐商品的需求，具有很强的扩展性，对于任何商品类目均可兼容。

Description

一种图像视觉和文本语义融合商品检索方法

技术领域

本发明涉及图像搜索技术领域，尤其涉及一种图像视觉和文本语义融合商品检索方法。

背景技术

随着多媒体信息技术和互联网技术的发展，特别是大规模数字图像库的出现，图像信息越来越得到重视。而如何管理飞速增长的图像信息，并从海量的图像集合中快速有效的查找出人们感兴趣的图像成为了具有广泛实际意义的工作。

目前主流的图像检索方法大致可以分为两大类，即基于关键词的图像检索(TBIR)和基于内容的图像检索(CBIR)，图像主要包含两种类型的信息，一种是图像本身所包含的丰富的视觉信息，另一种是图像所在网页包含的丰富的文本信息。TBIR仅仅使用从文本信息中抽取的文本特征索引和检索图像，而CBIR仅仅使用从图像视觉信息中抽取的低层视觉特征索引和检索用户。显然，要较好地满足用户检索商品图像的需求，在图像检索过程中必须充分利用并融合上述两种不同类型的信息。

对商品检索来讲，用户上传或是点击一个商品图，期望能找到与其相同或是相似的高质量的商品推荐。所以在相似的基础上，还要考虑到推荐商品的优劣，提高推荐服务意义。

发明内容

本发明的目的利用文本信息和图像视觉特征信息，提供一种图像视觉和文本语义融合商品检索方法。

本发明的目的是通过以下技术方案来实现的，

1.一种图像视觉和文本语义融合商品检索方法，包括如下步骤：

(1)视觉相似图像集的筛选，具体为：

1.1通过分水岭图像分割的方法，提取待检索商品图像和商品图像库中的图像的前景(商品主体)，然后针对商品主体图像，提取视觉特征；所述视觉特征包括颜色特征和纹理特征，其中颜色特征采用颜色直方图描述符CHD、颜色结构描述符CSD、颜色布局描述符CLD；纹理特征采用了MPEG-7的边缘直方图描述符EHD、GIST特征、梯度直方图HOG特征；将以上6种视觉特征对商品进行特征提取，并保存到特征库；

1.2使用加权度量方法，对待检索的图像特征向量与图像库中的任一图像的特征向量进行视觉相似度度量，相似度距离D_Sim通过以下公式得到：

D_Sim＝w_CSD*D_CSD+w_CLD*D_CLD+w_EHD*D_EHD+w_GIST*D_GIST+w_CHD*D_CHD+w_HOG*D_HOG其中，D_Sim是相似度距离，D_CHD，D_CSD，D_CLD，D_EHD，D_GIST，D_HOG分别是待检索商品图像和商品图像库中的任一图像的对应的6个视觉特征归一化后的距离，w_CSD，w_CLD，w_EHD，w_GIST，w_CHD，w_HOG分别是对应的视觉特征的权重；

1.3将待检索的图像与图像库中的所有图像的视觉特征向量进行视觉相似度度量，得到一系列相似度距离的集合{D_Sim}；将集合{D_Sim}中的相似度距离按照从小到大排序，将排名靠前的前100个图像结果，选定为从商品图像库中筛选出视觉相似图像集，对应的商品集为视觉相似商品集；

1.4根据步骤1.3筛选出的视觉相似商品集，从商品库中获取各个商品图像对应的有效文本信息词汇(word)作为文本信息特征；所述有效文本信息词汇来源于属性描述；

1.5对步骤1.4提取的视觉相似商品集中文本信息特征与待检索商品图像的文本信息进行文本相似度量，得到文本相似分；

根据实际应用场景，文本相似分TextSimilarity通过以下公式得到：

TextSimilarity＝QueryNorm(Q)*Coord(Q,D)*VSM(Q,D)

其中，Q为待检索图像的文本信息特征，D为任意一条商品库索引中的文本信息特征，Q和D均表示为属性词(word)的集合；

为检索条件的度量分，表征单次检索的复杂度；idf(word)＝ln(索引中的文档数/索引中word出现的次数)，为逆向文本频率；Coord(Q,D)＝|Q∩D|/|Q|，表示商品库中索引文本和待检索图像的文本信息特征的重合度；用于表达重合词的权重；

(2)文本相似商品集的筛选，具体为：

2.1对待检索商品图像的文本信息作为检索语义信息，通过文本相似性，对商品库中的所有商品进行文本相似分度量，文本相似分的计算同步骤1.5；

将文本相似分TextSimilarity按照从大到小排序，取排名靠前的前100个结果，选定为从商品库中筛选出文本相似商品集；

2.2对步骤2.1筛选出文本相似商品集中的商品图像提取图像集视觉特征信息；视觉特征信息方法同步骤1.1；

(3)合并步骤1.3筛选的视觉相似商品集和步骤2.1筛选的文本相似商品集，得到相似商品集，并对相似商品集进行视觉相似度计算，视觉相似度计算方法同步骤1；

(4)将相似商品集中的文本相似分T_s和视觉相似分V_s分别进行归一化处理，然后计算商品集的T_s和V_s的平均分T_m和V_m，筛选出高相似商品集{T_S≥T_m∩V_S≥V_m}，对高相似商品集{T_S≥T_m∩V_S≥V_m}中的商品进行商品质量分从高到低排序，排序方法为：

根据高相似商品集{T_S≥T_m∩V_S≥V_m}中每个商品的信息描述，对价格、销量、评论数量、店铺等级进行度量，统一得到商品质量分；分别对各个因子采用归一化处理，处理方法同步骤3；得到商品质量分p_s：p_s＝p₁w₁+p₂w₂+p₃w₃+p₄w₄；

p₁为价格归一化后的分数，价格越高，分数越小，w₁为价格的权重；p₂为销量归一化后的分数，销量越高，分数越大，w₂为销量的权重；p₃为评论数量归一化后的分数，评论数量越高，分数越大，w₃为评论数量的权重；p₄为店铺等级归一化后的分数，店铺等级越高，分数越大，w₄为店铺等级的权重。

本发明的有益效果是，利用商品图像的视觉特征首先进行视觉相似度检索得到视觉相似结果集，并获取对应商品集的商品文本特征信息，然后利用检索文本同商品库进行文本语义相似度检索得到文本相似商品结果集，合并两个商品结果集，分别对文本相似度和视觉相似度进行统一度量，综合利用了文本信息和视觉信息，从而提高了检索的商品相似性，最后在排序推荐输出时，对商品的质量分进行参考度量，给用户推荐满足高相似高质量的商品。

附图说明

图1是图像视觉和文本语义融合的商品检索方法的流程图。

具体实施方式

下面结合附图详细描述本发明，本发明的目的和效果将变得更加明显。

如图1所示，本发明一种图像视觉和文本语义融合商品检索方法包括如下步骤：

步骤1视觉相似图像集的筛选，具体为：

1.1通过分水岭图像分割的方法，提取待检索商品图像和商品图像库中的图像的前景(商品主体)，然后针对商品主体图像，提取视觉特征；

所述视觉特征包括颜色特征和纹理特征，其中颜色特征采用了颜色直方图描述符CHD、颜色结构描述符CSD、颜色布局描述符CLD；纹理特征采用了MPEG-7的边缘直方图描述符EHD、GIST特征、梯度直方图HOG特征；将以上6种视觉特征对商品进行特征提取，并保存到特征库。

1.2使用加权度量方法，对待检索的图像特征向量与图像库中的任一图像的特征向量进行视觉相似度度量，相似度距离D_Sim通过以下公式得到：

D_Sim＝w_CSD*D_CSD+w_CLD*D_CLD+w_EHD*D_EHD+w_GIST*D_GIST+w_CHD*D_CHD+w_HOG*D_HOG

其中D_Sim是相似度距离，D_CHD，D_CSD，D_CLD，D_EHD，D_GIST，D_HOG分别是待检索商品图像和商品图像库中的任一图像的对应的6个视觉特征归一化后的距离，w_CSD，w_CLD，w_EHD，w_GIST，w_CHD，w_HOG分别是对应的视觉特征的权重，在具体实际中，根据不同的商品类目，设置不同的权值。以满足用户实际的检索需求。(以上6种特征，本领域技术人员可参考现有的图像特征相关的技术文档)

1.3将待检索的图像与图像库中的所有图像的视觉特征向量进行视觉相似度度量，得到一系列相似度距离的集合{D_Sim}；将集合{D_Sim}中的相似度距离按照从小到大排序，排名靠前的前100个图像结果，选定为从商品图像库中筛选出视觉相似图像集，对应的商品集为视觉相似商品集。

1.4根据步骤1.3筛选出的视觉相似商品集，从商品库中获取各个商品图像对应的有效文本信息词汇(word)作为文本信息特征。所述有效文本信息词汇来源于属性描述。

1.5对步骤1.4提取的视觉相似商品集中文本信息特征与待检索商品图像的文本信息进行文本相似度量，得到文本相似分。

根据实际应用场景，文本相似分TextSimilarity通过以下公式得到：

TextSimilarity＝QueryNorm(Q)*Coord(Q,D)*VSM(Q,D)

其中，Q为待检索图像的文本信息特征，D为任意一条商品库索引中的文本信息特征，Q和D均表示为属性词(word)的集合；为检索条件的度量分，表征单次检索的复杂度；

idf(w)＝ln(索引中的文档数/索引中w出现的次数)，为逆向文本频率；

Coord(Q,D)＝|Q∩D|/|Q|，表示商品库中索引文本和待检索图像的文本信息特征的重合度；用于表达重合词的权重。

步骤2：文本相似商品集的筛选，具体为：

2.1对待检索商品图像的文本信息作为检索语义信息，通过文本相似性，对商品库中的所有商品进行文本相似分度量，文本相似分的计算同步骤1.5。

将文本相似分TextSimilarity按照从大到小排序，取排名靠前的前100个结果，选定为从商品库中筛选出文本相似商品集。

2.2对步骤2.1筛选出文本相似商品集中的商品图像提取图像集视觉特征信息。视觉特征信息方法同步骤1.1.

步骤3合并步骤1.3筛选的视觉相似商品集和步骤2.1筛选的文本相似商品集，得到相似商品集，并对相似商品集进行视觉相似度计算，视觉相似度计算方法同步骤1

步骤4将相似商品集中的文本相似分T_s和视觉相似分V_s分别进行归一化处理，

然后计算商品集的T_s和V_s的平均分T_m和V_m，筛选出高相似商品集{T_S≥T_m∩V_S≥V_m}，该集合综合考虑了文本高相似性和视觉的高相似性，提高了检索的商品的相似性；对高相似商品集{T_S≥T_m∩V_S≥V_m}中的商品进行商品质量分从高到低排序，提高检索商品的质量，使用户对检索出来的商品结果更有兴趣，提高推荐服务质量，排序方法为：

根据高相似商品集{T_S≥T_m∩V_S≥V_m}中每个商品的信息描述，对价格、销量、评论数量、店铺等级进行度量，统一得到商品质量分。分别对各个因子采用归一化处理，同步骤3中，采用加权度量。得到商品质量分p_s，

p_s＝p₁w₁+p₂w₂+p₃w₃+p₄w₄，

p₁为价格归一化后的分数，价格越高，分数越小，w₁为价格的权重；p₂为销量归一化后的分数，销量越高，分数越大，w₂为销量的权重；p₃为评论数量归一化后的分数，评论数量越高，分数越大，w₃为评论数量的权重；p₄为店铺等级归一化后的分数，店铺等级越高，分数越大，w₄为店铺等级的权重。

本发明通过对商品图像和文本描述信息分别提取视觉特征信息和文本语义信息，对检索商品分别进行视觉相似性和文本相似性度量，获取视觉相似商品集和文本相似商品集，然后对合并后的综合商品集进行统一性视觉相似度量，在检索输出时，统一考虑文本相似分和视觉相似分以及商品质量分，融合了图像和文本检索信息，提高了商品相似性，同时兼顾了商业因子，提高了推荐了服务质量，满足了用户对推荐商品的需求。

Claims (1)

1.一种图像视觉和文本语义融合商品检索方法，其特征在于，包括如下步骤：

(1)视觉相似图像集的筛选，具体为：

1.1通过分水岭图像分割的方法，提取待检索商品图像和商品图像库中的图像的前景(商品主体)，然后针对商品主体图像，提取视觉特征；所述视觉特征包括颜色特征和纹理特征，其中颜色特征采用颜色直方图描述符CHD、颜色结构描述符CSD、颜色布局描述符CLD；纹理特征采用了MPEG-7的边缘直方图描述符EHD、GIST特征、梯度直方图HOG特征；将以上6种视觉特征对商品进行特征提取，并保存到特征库；

1.2使用加权度量方法，对待检索的图像特征向量与图像库中的任一图像的特征向量进行视觉相似度度量，相似度距离D_Sim通过以下公式得到：

D_Sim＝w_CSD*D_CSD+w_CLD*D_CLD+w_EHD*D_EHD+w_GIST*D_GIST+w_CHD*D_CHD+w_HOG*D_HOG其中，D_Sim是相似度距离，D_CHD，D_CSD，D_CLD，D_EHD，D_GIST，D_HOG分别是待检索商品图像和商品图像库中的任一图像的对应的6个视觉特征归一化后的距离，w_CSD，w_CLD，w_EHD，w_GIST，w_CHD，w_HOG分别是对应的视觉特征的权重；

1.3将待检索的图像与图像库中的所有图像的视觉特征向量进行视觉相似度度量，得到一系列相似度距离的集合{D_Sim}；将集合{D_Sim}中的相似度距离按照从小到大排序，将排名靠前的前100个图像结果，选定为从商品图像库中筛选出视觉相似图像集，对应的商品集为视觉相似商品集；

1.4根据步骤1.3筛选出的视觉相似商品集，从商品库中获取各个商品图像对应的有效文本信息词汇(word)作为文本信息特征；所述有效文本信息词汇来源于属性描述；

1.5对步骤1.4提取的视觉相似商品集中文本信息特征与待检索商品图像的文本信息进行文本相似度量，得到文本相似分；

根据实际应用场景，文本相似分TextSimilarity通过以下公式得到：

TextSimilarity＝QueryNorm(Q)*Coord(Q,D)*VSM(Q,D)

其中，Q为待检索图像的文本信息特征，D为任意一条商品库索引中的文本信息特征，Q和D均表示为属性词(word)的集合；

为检索条件的度量分，表征单次检索的复杂度；idf(word)＝ln(索引中的文档数/索引中word出现的次数)，为逆向文本频率；Coord(Q,D)＝|Q∩D|/|Q|，表示商品库中索引文本和待检索图像的文本信息特征的重合度；用于表达重合词的权重；

(2)文本相似商品集的筛选，具体为：

2.1对待检索商品图像的文本信息作为检索语义信息，通过文本相似性，对商品库中的所有商品进行文本相似分度量，文本相似分的计算同步骤1.5；

将文本相似分TextSimilarity按照从大到小排序，取排名靠前的前100个结果，选定为从商品库中筛选出文本相似商品集；

2.2对步骤2.1筛选出文本相似商品集中的商品图像提取图像集视觉特征信息；视觉特征信息方法同步骤1.1；

(3)合并步骤1.3筛选的视觉相似商品集和步骤2.1筛选的文本相似商品集，得到相似商品集，并对相似商品集进行视觉相似度计算，视觉相似度计算方法同步骤1；

(4)将相似商品集中的文本相似分T_s和视觉相似分V_s分别进行归一化处理，然后计算商品集的T_s和V_s的平均分T_m和V_m，筛选出高相似商品集{T_S≥T_m∩V_S≥V_m}，对高相似商品集{T_S≥T_m∩V_S≥V_m}中的商品进行商品质量分从高到低排序，排序方法为：

根据高相似商品集{T_S≥T_m∩V_S≥V_m}中每个商品的信息描述，对价格、销量、评论数量、店铺等级进行度量，统一得到商品质量分；分别对各个因子采用归一化处理，处理方法同步骤3；得到商品质量分p_s：p_s＝p₁w₁+p₂w₂+p₃w₃+p₄w₄；

p₁为价格归一化后的分数，价格越高，分数越小，w₁为价格的权重；p₂为销量归一化后的分数，销量越高，分数越大，w₂为销量的权重；p₃为评论数量归一化后的分数，评论数量越高，分数越大，w₃为评论数量的权重；p₄为店铺等级归一化后的分数，店铺等级越高，分数越大，w₄为店铺等级的权重。