CN104991954B - 基于图像搜索的购物搜索系统及其实现方法 - Google Patents

Abstract

本发明公开一种基于图像搜索的购物搜索系统及其实现方法，系统分为移动端、管理端和服务端，移动端拍摄商品图片并上传到服务端，服务端根据移动端上传的商品图片从数据库中检索出相应商品，将检索出的商品信息返回给移动端，供用户查看购买；系统管理员可在管理端对数据库中的商品进行管理。方法利用基于图的快速分割算法对图像对象的识别能力，以及商品目标的空间位置分布特性和大小特性，提取商品目标，去除背景干扰；提取图像的颜色特征和SIFT特征，利用欧式距离和Bag Of Words分别匹配颜色特征和SIFT特征。本发明提高了购物图像的搜索准确度，和搜索速度。

Description

基于图像搜索的购物搜索系统及其实现方法

技术领域

本发明涉及一种基于图像搜索的购物搜索系统及其实现方法，属于模式识别技术领域。

背景技术

由于电子商务网站的成功发展，在线购物已经成为一种方便、快捷、廉价的购物方式。然而目前电子购物网站的搜索引擎仍然以基于文本的搜索引擎为主，这些搜索引擎将与商品相关的文字、用户评论等建立文字索引，用户提供关键字可以搜索需要的商品。虽然文本是一种直接快捷的搜索方式，但一般的文字搜索引擎对于图像数据来说几乎束手无策。文本搜索在购物搜索中存在着缺陷，对于服饰、包包、鞋类等商品，用户难以准确的描述它们的样式、花纹、造型等属性；用户更有兴趣关注从广告、电视、电影、网络等途径看到的商品。因此，拍下所需要的照片在相关购物网站搜索是更新颖有效的搜索方式。

针对购物搜索上的缺点，如今一些购物网站已经提供了查找视觉相似商品的搜索服务，这些图像搜索引擎将图像的形状、纹理、颜色等全局视觉特征转换为指纹或签名，每一个图片对应一个高维和特征向量。当用户搜索时，将查询图像的特征向量与数据库中所有图像的向量比较，在有限的时间反馈回相似的结果。但是这些搜索引擎是对复杂背景的图像直接提取形状、纹理、颜色等的全局视觉特征，所以受到图像背景噪声的干扰匹配的准确度有待提高，并且使用的图像特征和匹配算法精度和速度不够理想，因此无法取得理想的搜索效果。为了提高购物图像的搜索准确度，和搜索速度，必须去除图像的复杂背景，即提取出图像中的商品目标，并使用匹配准确并快速的图像特征和算法来对图像进行匹配，以达到提高购物图像搜索的精度和速度。

发明内容

发明目的：针对目前市场上的查找视觉相似商品的搜索引擎在精度和速度上不够理想，根据图像搜索出的商品不尽如人意。为了提高购物图像的搜索准确度和搜索速度，本发明提出更好的商品目标提取算法以及商品特征匹配算法，并且实现了基于图像搜索的购物搜索系统。

技术方案：一种基于图像搜索的购物搜索系统，系统分为移动端、管理端和服务端，移动端拍摄商品图片并上传到服务端，服务端根据移动端上传的商品图片从数据库中检索出相应商品，将检索出的商品信息返回给移动端，供用户查看购买。系统管理员可在管理端对数据库中的商品进行管理。移动端为手机客户端，管理端为浏览器。

一种基于图像搜索的购物搜索系统的实现方法，主要由以下几个部分组成：

1.商品目标提取：来自系统管理员导入系统中的商品图片，以及来自移动端拍摄上传的商品图片一般是自然场景下的图像，图像中不仅仅包含商品，还很可能包含很多其它的干扰物。图像虽然背景复杂却有这样的特点：商品目标一般位于图像中心的位置，并且商品应占图像足够的比例以醒目。基于这两个特性，利用基于图的快速分割算法对图像对象的识别能力，以及商品目标的空间位置分布特性和大小特性，提取商品目标，去除背景干扰。

2.特征提取：颜色、纹理、形状是最常用的底层视觉特征。SIFT特征能对图像中的物体和场景进行不同视角地准确匹配，SIFT算法对图像尺度、旋转都有不变性；颜色作为最普遍使用的视觉特征，最能直观反映搜索结果。因此本发明主要提取颜色特征和SIFT特征。

3.特征匹配：本发明使用欧式距离匹配颜色特征。而图像的SIFT特征信息量较大，在搜索速度上相对于其它图像特征具有明显的劣势，本发明使用一种称为“Bag Of Words”的方法，这种方法将文本搜索中建立词汇表和倒排文件等理念引入图像搜索，从而实现大规模的图像搜索。

系统在管理员录入商品数据时从商品图像中提取出商品目标，提取颜色特征和SIFT特征，将商品信息和提取出的特征保存至数据库。服务端收到移动端上传的商品图像时也先提取出商品目标，提取颜色特征和SIFT特征，利用欧式距离和Bag Of Words分别匹配颜色特征和SIFT特征，从数据库中检索出相应商品，将商品信息返回给移动端。

本发明采用上述技术方案，具有以下有益效果：用户看到一件感兴趣的商品时，可使用手机拍摄商品图像搜索相应的商品查看或购买。搜索系统能够快速并且准备的搜索到用户想找的商品。

附图说明

图1为本发明实施例的基于图像搜索的购物搜索系统的结构示意图；

图2为本发明实施例的实现模块流程图；

图3为本发明实施例的商品目标提取算法流程图。

具体实施方式

下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

如图1所示，基于图像搜索的购物搜索系统，系统分为移动端、管理端和服务端，移动端拍摄商品图片并上传到服务端，服务端根据移动端上传的商品图片从数据库中检索出相应商品，将检索出的商品信息返回给移动端，供用户查看购买。系统管理员可在管理端对数据库中的商品进行管理。移动端为手机客户端，管理端为浏览器。

如图2所示，基于图像搜索的购物搜索系统的实现方法，主要由以下几个部分组成：

一、商品目标提取

虽然购物图像背景复杂，这些图像仍然具有这样的特点：商品目标位于图像中心或靠近中心，卖家为了强调待售物品，会将商品置于图像中心附近进行拍摄，用户拍摄的商品图像商品也一般位于图像中心；商品所占图像的比例较大，以凸显商品面吸引顾客。也就是说，区域所在空间位置越接近图像中心并且区域越大我们就认为该区域是商品主目标的可能性越大。根据以上分析提出商品目标提取算法，如图3所示，算法主要包括以下几个模块：

1.基于图的快速分割：利用基于图的快速分割算法得到图像中的不同对象,它将图像划分成若干区域，每个区域对应某个对象或对象的一部分。具体实现为将图像的各像素映射为图的顶点，像素之间的差异映射为图的边的权重，这样将图像用一副无向图表示，然后利用图的分割理论，将无向图分割成若干个等价类，每一个等价类对应图像的一个区域。

2.主目标正态分布假设：采用正态分布描述商品目标的空间位置和区域大小特性。商品目标为封闭区域，一般位于图像中心或靠近中心，并且所占图像的比例较大，可采用正态分布描述商品目标在图像中的空间位置和区域大小。

3.区域选择：确定目标商品区域，得到提取出的商品目标。基于正态分布假设，计算出每个区域是目标商品区域的概率，概率最大的即认为是目标商品。

二、特征提取

1.颜色特征

本发明使用HSV颜色空间的归一化颜色直方图表示图像的颜色特征。HSV颜色空间是一种面向视觉感知的颜色空间模型，HSV分别代表Hue色调、Saturation饱和度和Value亮度。RGB颜色空间到HSV颜色空间转换如下：

其中H∈[0，360°]，S∈[0，1]，V∈[0，1]。

为了有效的统计图像的颜色特性，将H、S、V离散化。将H值均匀映射到h₁，h₂，…，h₁₈的18个值，将S和V均匀映射到和s₁，s₂，s₃和v₁，v₂，v₃。颜色特征被表示成24维的向量：color＝(f₁，f₂，f₃，…，f₂₄)，其中f₁～f₁₈表示对H值的统计，f₁₉，f₂₀，f₂₁和f₂₂，f₂₃，f₂₄分别表示对S和V值的统计。color的表示方法如下：

式中N表示图像中总的像素个数，h_i，s_j，v_k分别代表对应值的统计值。

2.SIFT特征

SIFT(Scale Invariant Feature Transform)描述算子，即尺度不变特征变换，对尺度空间，图像缩放，旋转和仿射具有不变性。SIFT算法的实现过程主要包括这几步：第一在尺度空间进行特征检测，以确定关键(Keypoints)的位置和关键点所处的尺度。第二使用关键点领域梯度的主方向作为该点的方向特征，以实现算子对尺度方向的无关性。第三每个特征点用一个128维的特征向量描述。

SIFT特征向量的生成算法包括以下四步：

1)检测尺度空间的极值，得到关键点的位置的尺度。为了检测关键点，需要比较目标像素与它周围8领域的像素和相邻尺度对应的9x 2个像素(一共26个像素)进行比较。

2)通过三维二次函数的拟合来精确确定关键点的位置的尺度，同时通过去除低对比度的关键点和不稳定的边缘相应点来增强匹配稳定性，提高抗噪能力。

3)利用目标关键点领域像素的梯度方向作为关键点的方向参数，这样可以得到旋转不变性。至此，完成了检测关键点的工作，每个关键点包含三个信息：位置、尺度、方向。

4)生成SIFT特征向量，即用SIFT描述算子表示特征点，每个关键点对应一个128维的特征向量。

三、特征匹配

1.颜色特征匹配

颜色特征被量化为24维的特征向量,形如color＝(f₁，f₂，f₃，…，f₂₄)的形式，用欧式距离对颜色特征进行匹配。若两幅图像分别为I₁和I₂，那么I₁和I₂的欧式距离用下式计算：

结果越接近0，两幅图像的颜色相差越小。设定一个阈值，小于这个值的两幅图像认为比较相似。

2.SIFT特征匹配

一幅图像有很多个局部特征点，并且每个特征点用128维的向量表示，导致图像局部特征点的信息量较大。本发明将图像搜索和文本搜索类比，一幅图像可以看作是文本搜索中的一篇文章，图像中的特征点看作是文章中的单词，将文本搜索的算法Bag of Words(BOW)引入图像匹配上。

BOW模型是信息检索领域常用的文档表示方法。在信息检索中，BOW模型假定对于一个文档，忽略它的单词顺序和语法、句法等要素，将其仅仅看作是若干个词汇的集合。例如有如下两个文档：

1：Bob likes to play basketball,Jim likes too.

2：Bob also likes to play football games.

基于这两个文本文档，构造一个词典：

Dictionary＝{1.“Bob”，2.“like”，3.“to”，4.“play”，5.“basketball”，6.“also”，7.“football”，8.“games”，9.“Jim”，10.“too”}

这个词典一共包含10个不同的单词，利用词典的索引号，上面两个文档每一个都可以用一个10维向量表示：

1：[1，2，1，1，1，0，0，0，1，1]

2：[1，1，1，1，0，1，1，1，0，0]

将SIFT特征点的128维特征向量进行矢量量化，即将大量训练集中所有图像的所有特征点进行聚类，将相似的特征点都归为一类，以减少特征点的个数。聚类后的特征点作为虚拟词汇表。聚类主要使用K-Means算法。

聚类后，每一幅图像都可以用一个向量来表示。例如，训练集中的所有图像一共提取了10000个特征点，这10000个特征点聚类为1000个，则根据BOW算法，每幅图像可用一个1000维的向量表示。每一幅图像的SIFT特征都可以用一个向量来表示。我们使用向量夹角的余弦值来匹配图像的颜色特征。余弦值越接近1，说明两幅图像越相似。

系统先使用大量训练集图像进行训练，得到匹配SIFT特征的BOW算法需要使用的虚拟词汇表。在管理员录入商品数据时从商品图像中提取出商品目标，提取颜色特征和SIFT特征，将商品信息和提取出的特征保存至数据库。服务端收到移动端上传的商品图像时也先提取出商品目标，提取颜色特征和SIFT特征，利用欧式距离和BOW分别匹配颜色特征和SIFT特征，从数据库中检索出相应商品，将商品信息返回给移动端。至此完成整个图像搜索过程。

Claims (1)

1.一种基于图像搜索的购物搜索系统的实现方法，其特征在于：利用基于图的快速分割算法对图像对象的识别能力，以及商品目标的空间位置分布特性和大小特性，提取商品目标，去除背景干扰；提取图像的颜色特征和SIFT特征，利用欧式距离和Bag Of Words分别匹配颜色特征和SIFT特征；

基于图的快速分割：利用基于图的快速分割算法得到图像中的不同对象,将图像划分成若干区域，每个区域对应某个对象或对象的一部分；具体实现为将图像的各像素映射为图的顶点，像素之间的差异映射为图的边的权重，将图像用一副无向图表示，然后利用图的分割理论，将无向图分割成若干个等价类，每一个等价类对应图像的一个区域；

采用正态分布描述商品目标的空间位置和区域大小特性；商品目标为封闭区域，采用正态分布描述商品目标在图像中的空间位置和区域大小；

确定目标商品区域，得到提取出的商品目标；基于正态分布假设，计算出每个区域是目标商品区域的概率，概率最大的即认为是目标商品；

使用HSV颜色空间的归一化颜色直方图表示图像的颜色特征，RGB颜色空间到HSV颜色空间转换如下：

其中H∈[0，360°]，S∈[0，1]，V∈[0，1]；

为了有效的统计图像的颜色特性，将H、S、V离散化，将H值均匀映射到h₁，h₂，…，h₁₈的18个值，将S和V均匀映射到和s₁，s₂，s₃和v₁，v₂，v₃，颜色特征被表示成24维的向量：color＝(f₁，f₂，f₃，…，f₂₄)，其中f₁～f₁₈表示对H值的统计，f₁₉，f₂₀，f₂₁和f₂₂，f₂₃，f₂₄分别表示对S和V值的统计，color的表示方法如下：

式中N表示图像中总的像素个数，h_i，s_j，v_k分别代表对应值的统计值，

SIFT算法的实现过程主要包括这几步：第一在尺度空间进行特征检测，以确定关键的位置和关键点所处的尺度，第二使用关键点领域梯度的主方向作为该点的方向特征，以实现算子对尺度方向的无关性，第三每个特征点用一个128维的特征向量描述；

SIFT特征向量的生成算法包括以下四步：

1)检测尺度空间的极值，得到关键点的位置的尺度，为了检测关键点，需要比较目标像素与它周围8领域的像素和相邻尺度对应的9x2个像素进行比较；

2)通过三维二次函数的拟合来精确确定关键点的位置的尺度，同时通过去除低对比度的关键点和不稳定的边缘相应点来增强匹配稳定性，提高抗噪能力；

3)利用目标关键点领域像素的梯度方向作为关键点的方向参数，这样可以得到旋转不变性；至此，完成了检测关键点的工作，每个关键点包含三个信息：位置、尺度、方向；

4)生成SIFT特征向量，即用SIFT描述算子表示特征点，每个关键点对应一个128维的特征向量；

颜色特征被量化为24维的特征向量,形如color＝(f₁，f₂，f₃，…，f₂₄)的形式，用欧式距离对颜色特征进行匹配；若两幅图像分别为I₁和I₂，那么I₁和I₂的欧式距离用下式计算：

结果越接近0，两幅图像的颜色相差越小；设定一个阈值，小于这个值的两幅图像认为比较相似；

将图像搜索和文本搜索类比，一幅图像可以看作是文本搜索中的一篇文章，图像中的特征点看作是文章中的单词，将文本搜索的算法Bag of Words(BOW)引入图像匹配上；

系统先使用训练集图像进行训练，得到匹配SIFT特征的BOW算法需要使用的虚拟词汇表；在管理员录入商品数据时从商品图像中提取出商品目标，提取颜色特征和SIFT特征，将商品信息和提取出的特征保存至数据库；服务端收到移动端上传的商品图像时也先提取出商品目标，提取颜色特征和SIFT特征，利用欧式距离和BOW分别匹配颜色特征和SIFT特征，从数据库中检索出相应商品，将商品信息返回给移动端；至此完成整个图像搜索过程。