CN109146640B - 一种线上商品搜索方法及系统 - Google Patents

Abstract

本发明公开了一种线上商品搜索方法及系统。所述方法及系统采用卷积神经网络将图像中的对象特征提取出来，通过深层次卷积神经网络结合哈希码算法的方式创建哈希码，再利用深度学习的方式进行哈希码的匹配，不仅有效地保证对象搜索的准确性和全面性，而且保证了搜索的高效性以及商品推荐的准确性。本发明提供的方法及系统适合应用于各类型的购物软件，实现所需成本小，应用范围广，可以解决用户目前所遇到的对象搜索问题。

Description

一种线上商品搜索方法及系统

技术领域

本发明涉及在线购物技术领域，特别是涉及一种线上商品搜索方法及系统。

背景技术

伴随着科学技术的发展，互联网出现在我们的生活里。随着互联网的迅猛崛起，人们开始利用互联网解决各类生活中的问题。为了满足人们利用互联网购物的需求，淘宝、京东等公司出现在了我们眼前，满足了我们的需求。网上购物逐渐成为了人们日常生活中不可或缺的一部分，网上购物的顾客成为了一个庞大的新生群体。09年，淘宝的用户量就已经达到1.4亿，12年，这个数字变成了8亿。与此同时，网上店铺的数量也在飞速增长，还是以淘宝为例，17年淘宝号称店铺数量已经达到了千万级别。伴随着网上购物领域的繁荣发展，可以看到数据量也在急剧增加，这时，由于数据量变得太过巨大，线上购物的一些弊端开始浮现。

虽然技术在不断的革新，但是线上的庞大数据量，很难如线下一样让顾客轻松找到自己心仪的商品。搜索困难成为顾客购物过程中面临的一大问题。为解决这一问题，近些年来提出了很多的“导购”系统。但大多数搜索系统，都只是根据客户端存储的搜索或浏览记录，来推荐一些商品，很难解决线上线下信息不对称的问题。因为线下拿到了某一商品时，想要进行线上的搜索，不是以往的历史记录可以解决的。例如在现实中看到了一瓶矿泉水，无法确定其准确信息，这时搜索矿泉水，由于数据量的庞大，很难从庞大的搜索结果中找到想要的该商品。当然得知的商品相关信息越多，搜索可以变得越来越精确，但是想要迅速且准确的从大量的数据中得到想要的商品，并不是一件容易的事情。

近些年来，图像检索技术的不断进步，使得很多领域随之发生了巨大的变革。基于内容的图像检索技术的出现，使得线上的图像识别从构想变成了现实。基于内容的图像检索技术(Content-based Image Retrieval，CBIR)借助对图像信息从低层到高层进行处理、分析和理解的过程获取其内容并根据内容进行检索。CBIR技术分为三个层次，一是依据提取图像本身的颜色、纹理、形状等低层特征进行检索；二是基于图像的低层特征，通过识别图像中的对象类别及对象间的空间拓扑关系进行检索；三是基于图像抽象属性(场景语义、行为语义和情感语义)的推理学习进行检索。上述三个层次由低到高，与人的认知接近。CBIR使得很多领域与图像检索联系到了一起，比如我们所熟知的火车站飞机场等人脸识别系统。这些系统的检测方式，大概可以分为两类：(1)基于属性组合的检索：将视频对象提取出来，然后把对象的特征(如颜色、形状、速度、方向等)作为对象的属性，通过属性的组合进行查询与搜索；(2)基于可视词组的视频搜索：通过对视频图像提取特征，然后利用聚类方法将特征转化为可视词组，利用文本检索的相关索引技术，进行视频的检索。但是当今这些应用所采用的识别框架，仍然存在着诸如语意损失过大，识别效率低等问题。尤其是现有的购物推荐与搜索系统通常采用CF(Collaborative Filtering，协同过滤)识别算法，由于该算法并不采用图像分析的方法，单纯进行数据矩阵运算，导致该方法具有识别偏差过大、识别效率低的缺陷。

发明内容

本发明的目的是提供一种线上商品搜索方法及系统，通过采用高精度哈希算法进行线上商品搜索，减少了图像识别误差与语义损失，提高了对象搜索的准确性和全面性，并提高了搜索效率。

为实现上述目的，本发明提供了如下方案：

一种线上商品搜索方法，所述方法包括：

获取服务端存储的服务端商品图片；

采用卷积神经网络提取所述服务端商品图片的视觉特征；

根据所述视觉特征，采用深层次卷积神经网络结合哈希码创建算法生成深度哈希模型；

利用所述深度哈希模型生成服务端商品图片的服务端哈希码；

获取客户端拍摄的客户端商品图片；

采用卷积神经网络提取所述客户端商品图片的视觉特征；

根据所述客户端商品图片的视觉特征，调用所述深度哈希模型生成客户端商品图片的查询哈希码；

从所述服务端搜索与所述查询哈希码相匹配的匹配服务端哈希码；

根据所述匹配服务端哈希码提取对应的服务端商品图片进行显示。

可选的，所述采用卷积神经网络提取所述服务端商品图片的视觉特征，具体包括：

采用选择搜索算法在所述服务端商品图片中提取预设数量的候选区域；

将每个所述候选区域缩放成预设大小后，输入到卷积神经网络中进行深度学习；

获取所述卷积神经网络的fc7层的输出作为卷积神经网络特征；

采用支持向量机对所述卷积神经网络特征进行分类，获得所述务端商品图片的视觉特征。

可选的，在所述根据所述视觉特征，采用深层次卷积神经网络结合哈希码创建算法生成深度哈希模型之前，还包括：

对所述视觉特征的格式进行规范化处理，生成格式规范的视觉特征。

可选的，所述利用所述深度哈希模型生成服务端商品图片的服务端哈希码，具体包括：

利用所述深度哈希模型

对所述服务端商品图片的多个高维的视觉特征进行哈希计算，生成低维的所述服务端哈希码；其中H表示哈希码；W表示视觉特征的转置矩阵；b表示偏置项；tr()表示求矩阵的迹；N表示输入视觉特征向量的临近集合，S为创建的临近相似矩阵，φC为偏置参数；I为单位矩阵。

可选的，所述从服务端搜索与所述查询哈希码相匹配的匹配服务端哈希码，具体包括：

获取服务端中存储的所有服务端哈希码；

将所述查询哈希码与所述服务端哈希码带入到卷积神经网络中进行学习比对，计算每个所述服务端哈希码与所述查询哈希码的相似度；

确定所述相似度大于90％的服务端哈希码为所述匹配服务端哈希码。

本发明还提供了一种线上商品搜索系统，所述系统包括：

商品信息存储模块，用于获取服务端存储的服务端商品图片；

服务特征提取模块，用于采用卷积神经网络提取所述服务端商品图片的视觉特征；

深度哈希模型生成模块，用于根据所述视觉特征，采用深层次卷积神经网络结合哈希码创建算法生成深度哈希模型；

哈希码创建模块，用于利用所述深度哈希模型生成服务端商品图片的服务端哈希码；

图片拍摄模块，用于获取客户端拍摄的客户端商品图片；

特征提取模块，用于采用卷积神经网络提取所述客户端商品图片的视觉特征；

查询模块，用于根据所述客户端商品图片的视觉特征，调用所述深度哈希模型生成客户端商品图片的查询哈希码；

哈希码比对搜索模块，用于从所述服务端搜索与所述查询哈希码相匹配的匹配服务端哈希码；

显示模块，用于根据所述匹配服务端哈希码提取对应的服务端商品图片进行显示。

可选的，所述服务特征提取模块具体包括：

候选区域提取单元，用于采用选择搜索算法在所述服务端商品图片中提取预设数量的候选区域；

深度学习单元，用于将每个所述候选区域缩放成预设大小后，输入到卷积神经网络中进行深度学习；

CNN特征输出单元，用于获取所述卷积神经网络的fc7层的输出作为卷积神经网络特征；

服务特征提取单元，用于采用支持向量机对所述卷积神经网络特征进行分类，获得所述务端商品图片的视觉特征。

可选的，所述系统还包括：

格式处理模块，用于在采用深层次卷积神经网络结合哈希码创建算法生成深度哈希模型之前，对所述视觉特征的格式进行规范化处理，生成格式规范的视觉特征。

可选的，所述哈希码创建模块具体包括：

哈希码创建单元，用于利用所述深度哈希模型

对所述服务端商品图片的多个高维的视觉特征进行哈希计算，生成低维的所述服务端哈希码；其中H表示哈希码；W表示视觉特征的转置矩阵；b表示偏置项；tr()表示求矩阵的迹；N表示输入视觉特征向量的临近集合，S为创建的临近相似矩阵，φC为偏置参数；I为单位矩阵。

可选的，所述哈希码比对搜索模块具体包括：

服务端哈希码获取单元，用于获取服务端中存储的所有服务端哈希码；

相似度计算单元，用于将所述查询哈希码与所述服务端哈希码带入到卷积神经网络中进行学习比对，计算每个所述服务端哈希码与所述查询哈希码的相似度；

匹配哈希码确定单元，用于确定所述相似度大于90％的服务端哈希码为所述匹配服务端哈希码。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明提供一种线上商品搜索方法及系统，所述方法及系统采用CNN(Convolutional Neural Network，卷积神经网络)将图像中的对象特征提取出来，通过深层次卷积神经网络结合哈希码算法的方式创建哈希码，再利用深度学习的方式进行哈希码的匹配，不仅有效地保证对象搜索的准确性和全面性，而且保证了搜索的高效性以及商品推荐的准确性。本发明提供的方法及系统适合应用于各类型的购物软件，实现所需成本小，应用范围广，可以解决用户目前所遇到的对象搜索问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的线上商品搜索方法的方法流程图；

图2为本发明提供的线上商品搜索系统的系统框架图；

图3为本发明提供的线上商品搜索系统的系统结构图；

图4为本发明提供的哈希码对比搜索模块进行图片识别的方法流程图；

图5为本发明提供的线上商品搜索方法及系统的运算框架示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种线上商品搜索方法及系统，通过采用高精度哈希算法进行线上商品搜索，减少了图像识别误差与语义损失，提高了对象搜索的准确性和全面性，并提高了搜索效率。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1为本发明提供的线上商品搜索方法的方法流程图。参见图1，本发明提供的一种线上商品搜索方法，具体包括：

步骤101：获取服务端存储的服务端商品图片。

本发明提供的线上商品搜索方法基于一种线上商品搜索系统，图2为本发明提供的线上商品搜索系统的系统框架图。参见图2，所述线上商品搜索系统包括服务端201和客户端202。

所述服务端201预存有商品图片集及其相关链接信息，并以图片的视觉特征建立索引。所述服务端的载体可以是第三方机构的服务器，也可以是各购物app的网站。它的主要作用是存储商品信息与商品链接，对图片集进行处理，建立索引表，并处理检索请求，向客户端发送检索结果。

所述客户端202获取客户拍摄得到的感兴趣的商品图片，提取感兴趣图片的视觉特征，依据该属性在服务端中检索得到与其内容相关的图片及相关链接信息，并反馈相近的信息与链接作为推荐。所述客户端的载体可以是带摄像头的个人电脑、笔记本电脑、平板电脑、智能手机以及其它带有摄像头并可以连接互联网的设备。客户端的主要用途是拍摄商品图片，对图片进行初步处理，将检索请求发送到服务端，并显示检索返回的结果。

图3为本发明提供的线上商品搜索系统的系统结构图。参见图3，本发明提供的线上商品搜索系统的服务端201具体包括商品信息存储模块301、服务特征提取模块302、深度哈希模型生成模块303、哈希码创建模块304和哈希码比对搜索模块308；所述客户端202具体包括图片拍摄模块305、特征提取模块306、查询模块307和显示模块309。

所述服务端包括商品信息储存模块301，其中包含着服务端数据库中所储存的所有商品信息，包括图片、商品链接及各类信息，其作用是为服务端中索引标签的创建提供数据，同时为客户端商品信息的显示提供数据支持，可以说是基础信息储存模块。

本发明所述步骤101即是从所述商品信息储存模块301中获取服务端存储的服务端商品图片。

步骤102：采用卷积神经网络提取所述服务端商品图片的视觉特征。

所述步骤102的目的是定位商品信息储存模块301中的服务端商品图片中商品的位置，进而提取商品的视觉特征，然后将视觉特征传递到服务端深度哈希模型。其中图片定位与提取过程采用R-CNN(Regions with Convolutional Neural Network，卷积神经网络的特征区域)进行目标对象检测。

所述步骤102采用卷积神经网络提取所述服务端商品图片的视觉特征，具体包括：

(1)采用选择搜索(selective search)算法在所述服务端商品图片中提取预设数量的候选区域(region proposal)；其中预设数量通常为2000个。

(2)将每个region proposal缩放(warp)成预设大小后，输入到卷积神经网络CNN中进行深度学习；其中预设大小通常为227x227的大小。

(3)获取所述卷积神经网络的fc7层的输出作为CNN特征。

(4)将每个region proposal提取到的CNN特征输入到SVM(Support VectorMachine，支持向量机)进行分类，获得所述务端商品图片的视觉特征。

在分类之后，将提取到的视觉特征传送至下一阶段，用于创建对应图像的哈希码。

步骤103：根据所述视觉特征，采用深层次卷积神经网络结合哈希码创建算法生成深度哈希模型。

此步骤的作用为接收服务端服务特征提取模块302所提取的视觉特征后，利用一个层次较深的卷积神经网络，结合哈希码创建算法，创建深度哈希模型，在此之后可利用深度哈希模型进行哈希码的生成。生成的哈希码可用来进行图片的比对，进而进行图像的比对检测。

在所述根据所述视觉特征，采用深层次卷积神经网络结合哈希码创建算法生成深度哈希模型之前，还包括：

对所述视觉特征的格式进行规范化处理，生成格式规范的视觉特征。

步骤104：利用所述深度哈希模型生成服务端商品图片的服务端哈希码。

其具体操作为，将多个高维的特征(视觉特征)进行哈希计算生成低维的哈希码，本发明中生成的哈希码为二值哈希表，生成的二值哈希表为所检测图片最准确最简洁的哈希码。将二值哈希表传送给哈希码对比搜索模块308，为哈希码比对搜索环节提供哈希码数据。

创建索引阶段按照如下方式对提取的视觉特征构建哈希码和训练哈希函数:

训练特征为：X＝[x₁,x₂,...,x_n]∈R^p×n，训练特征为前面环节所输入的视觉特征，其中R为参数矩阵，n为训练图像的个数，p为视觉特征的维数，x_i为第i个视觉特征。设哈希码为H＝[h₁,h₂,...,h_n]^T∈{1,-1}^n×c，其中c是哈希码的长度，n为图片数量。

创建相似矩阵矩阵S_ij：

其中N_k(x)表示特征向量x的近邻集合，x为x_i或x_j。

最终哈希函数(即本发明创建的深度哈希模型)可表示为：

以上哈希函数为最终哈希码H的计算公式，其含义为选取(N-S+φC)的最小非零特征值作为H的数值。其中N为输入视觉特征向量的临近集合，S为创建的临近相似矩阵，φC为偏置参数，I为单位矩阵，W表示视觉特征的转置矩阵；b表示偏置项；tr()表示求矩阵的迹；

利用所述深度哈希模型对所述服务端商品图片的多个高维的视觉特征进行哈希计算，生成低维的所述服务端哈希码H。

步骤105：获取客户端拍摄的客户端商品图片。

所述客户端的载体可以是带摄像头的个人电脑、笔记本电脑、平板电脑、智能手机以及其它带有摄像头并可以连接互联网的设备。客户端的图片拍摄模块305的主要用途是拍摄商品图片，对图片进行初步处理，将检索请求发送到服务端的查询模块307。

步骤106：采用卷积神经网络提取所述客户端商品图片的视觉特征。

同步骤102的操作，利用R-CNN从在线图片拍摄模块305传递的图像中提取目标，得到目标的区域图，并提取视觉特征，并将视觉特征传递到查询模块307，为下一阶段创建哈希码提供基础数据。

步骤107：根据所述客户端商品图片的视觉特征，调用所述深度哈希模型生成客户端商品图片的查询哈希码。

接收到特征提取模块306所传递的视觉特征后，将步骤103创建的深度哈希模型传递至客户端使其进行更新，使客户端的深度哈希模型与服务端保持一至，客户端与服务端所生成的哈希码保持同一格式。调用自服务端更新的深度哈希模型，创建客户端商品图像的哈希码，并将其传输到服务端的哈希码对比搜索模块308。创建哈希码的方法同步骤104，均为将多个高维的特征进行哈希计算生成低维的二值哈希表。具体是通过CNN来获得图像视觉特征，在此基础上，利用KNN(k-Nearest Neighbor，K最近邻分类)算法构造特征图模型，并利用迭代局部搜索(Iterated Local Search，ILS)算法对其进行映射，然后应用二值化方法将结果映射到哈希码作为哈希标签。这种方法的优点是，它结合了特征提取的优点，利用深度学习的优点，以及在处理未标记数据时的浅哈希算法的优点，减少了语义损失，提高了编码效率。

步骤108：从所述服务端搜索与所述查询哈希码相匹配的匹配服务端哈希码。

图4为本发明提供的哈希码对比搜索模块进行图片识别的方法流程图。参见图4，哈希码对比搜索模块308将查询模块307所传递的二值哈希表带入哈希函数进行学习，然后根据查询请求携带的查询哈希码在服务端信息库中检索得到精确匹配的商品作为反馈。学习阶段选择单隐藏层MLP(Multi-Layer Perceptron，多层感知器)来学习hash标签。其中单隐藏层MLP为只含有一个隐藏层的多层神经网络，hash标签则为之前所创建的哈希码。检测阶段会将查询哈希码带入到神将网络中进行学习比对，当两个哈希码的匹配程度达到预设的90％，则会作为查询结果进行显示。采用单隐藏层MLP，该结构具有结构简单、易于实现等特点，并且可以根据隐藏层中不同节点的不同权重对输入进行调整。

所述步骤108从服务端搜索与所述查询哈希码相匹配的匹配服务端哈希码，具体包括：

获取服务端中存储的所有服务端哈希码；

将所述查询哈希码与所述服务端哈希码带入到卷积神经网络中进行学习比对，计算每个所述服务端哈希码与所述查询哈希码的相似度；

确定所述相似度大于90％的服务端哈希码为所述匹配服务端哈希码。

得到精确的哈希码之后，采用一种端到端哈希深度学习来学习哈希函数，具体采用的是一种人工神经网络(ANN)，由输入层、隐藏层和输出层组成。它可以根据隐藏层中不同节点的不同权重对输入进行调整。在CNNs之后，选择单隐藏层MLP来学习hash标签。最后生成的用于计算所述相似度的训练函数可表示为：

其中x为输出向量，y为其对应的标签(哈希码)，m是批的样品数量，d是最后的输出完整的连接层的数量。该训练函数为对输入的查询哈希码与服务端库文件中的服务端哈希码进行比对，算出查询哈希码与对应库文件中服务端哈希码的相似度。

步骤109：根据所述匹配服务端哈希码提取对应的服务端商品图片进行显示。

将所述匹配服务端哈希码对应的服务端商品图片及相关链接信息作为查询结果，通过客户端显示模块309进行可视化显示。

可见，本发明提供的基于高精度哈希算法的线上商品搜索方法，能够根据用户拍摄的商品图片，为用户搜索其感兴趣的商品信息及相关链接，使得用户能更准确地搜索自己喜欢的商品，并且可以根据相近比对提供更为丰富的推荐信息，很好地解决了用户在购物过程中遇到的商品搜索困难问题。

图5为本发明提供的线上商品搜索方法及系统的运算框架示意图。参见图5，本发明所提供的线上商品搜索方法及系统的运算框架大体分为两个阶段：

第一阶段主要功能为哈希码创建的第一阶段，首先采用深层的CNN网络结构来获取图像的视觉特征，通过深层次的CNN获取的视觉特征，可以保证商品图片视觉特征提取的准确性与详细程度。

在图片经过深层次的神经网络捕捉特征后，采用数学公式对获取的视觉特征进行数据格式上的规范化处理，使视觉特征的数据格式能够完全符合接下来的哈希码创建公式(即深度哈希模型)。接下来建立一个n×n的相似矩阵Sij，两个二进制码h_i和h_j之间的汉明距离(对应于特征x_i和x_j)是由它们之间不同的比特数给出的。本发明寻求将加权平均汉明距离最小化来表示语义损失，使结果更加精确。在此之后，得到的是精确详细又符合计算公式的哈希码，接下来采用所述深度哈希模型来创建哈希码。本发明在第一阶段采用了相对深层次的网络结构，这保证了所创建的哈希码的准确性，但是在下一个阶段，则采用了相对较为简单的网络结构。

在第二阶段，本发明主要是实现了一种端到端的深度学习算法来学习哈希函数。首先，导入在哈希标签生成阶段获得的哈希码标签。在此之后，采用MLP算法来学习哈希函数。MLP包括一个输入层，一个输出层和若干个隐含层。对于MLP，采用Backprop(backwardpropagation oferrors，误差的反向传播，简称BP)算法实现它的建模，由于采用了相对较为简单的网络结构，该算法具有结构简单、易于实现等特点。此阶段中采用的是一种人工神经网络(Artificial Neural Network，ANN)，由输入层、隐藏层和输出层组成，它可以根据隐藏层中不同节点的不同权重对输入进行调整。在卷积神经网络CNNs之后，选择单隐藏层型的MLP来学习哈希码标签的原因是CNNs也是MLP的一种转换模型。因此，本发明可以在多输出条件下构建ANN的端到端的深度学习模型。

本发明还提供了一种线上商品搜索系统，所述系统包括客户端202和服务端201。

所述客户端202对感兴趣的商品拍摄得到输入的图片，并提取商品的视觉特征，调用更新自服务端的深度哈希模型，将携带有哈希码的查询请求发送给服务端，接收并显示服务端反馈的查询结果。

服务端201，用于预存商品图片集及相关链接信息，生成深度哈希模型，并以图片的视觉特征建立哈希码；接收客户端的查询请求，依据查询请求携带的特征信息检索客户端感兴趣的商品及相关链接信息，在反馈准确搜索结果的同时反馈相近的搜索结果，并将检索结果反馈给客户端。

所述服务端201使用深度学习进行训练，进而得到哈希函数以查询客户端传导的视觉特征并计算哈希码，依据哈希码初步检索到客户端可能感兴趣的商品，并依据视觉特征在初步检索到的商品中进行定位；然后从筛选得到的图片中选取与用户的所提供信息相匹配的商品信息反馈给用户端，并且提供相似商品信息的推荐。

所述服务端201具体包括商品信息存储模块301、服务特征提取模块302、深度哈希模型生成模块303、哈希码创建模块304和哈希码比对搜索模块308；所述客户端202具体包括图片拍摄模块305、特征提取模块306、查询模块307和显示模块309。

根据服务端201所储存的各类商品信息，创建深度哈希模型后，以商品的图片为对象提取特征进而创建哈希码。客户端202对用户拍摄的想要查询的商品进行特征提取，依据提取的特征，从服务端更新深度哈希模型，之后在服务端中进行比对与检索，得到与其内容相关的商品信息，同时显示出与其哈希码相近的商品的信息作为额外的推荐。

具体的，所述商品信息存储模块301，其中包含着服务端数据库中所储存的所有商品信息，包括商品图片、图片相关链接及各类信息，其作用是为服务端中哈希码标签的创建提供数据，同时为客户端商品信息的显示提供数据支持，可以说是基础信息储存模块，可用于获取服务端存储的服务端商品图片。

服务特征提取模块302，其作用为定位商品信息存储模块301中的服务端商品图片中商品的位置，进而采用卷积神经网络提取所述服务端商品图片的视觉特征，然后将特征传递到深度哈希模型生成模块303。

深度哈希模型生成模块303，其作用为接收服务端特征提取模块302所提取的特征后，用于根据所述视觉特征，采用深层次卷积神经网络结合哈希码创建算法生成深度哈希模型，之后将创建的深度哈希模型传递至客户端使其进行更新。其具体操作为，将多个高维的特征进行哈希计算生成低维的二值哈希表，并将服务端商品的二值哈希表传送给哈希码对比搜索模块308。

哈希码创建模块304，利用所述深度哈希模型生成服务端商品图片的服务端哈希码；进而创建信息存储库中的商品的哈希索引。

所述服务端的哈希码创建模块304利用深度学习得到哈希训练函数的框架结构。对于哈希码的创建，采用机器学习构建目标函数，将其最小化，得到邻域结构保存的哈希码，然后采用ILS算法，进一步最小化目标函数值，得到精确的哈希码。

图片拍摄模块305，用于拍摄和获取用户想要查询的商品的图片，并且将商品图片传递给客户端特征提取模块306。

特征提取模块306，用于从在线图片拍摄模块305传递的图像中提取目标，得到目标的区域图，采用与服务端特征提取模块302相同的方式提取客户想要搜索的商品的视觉特征，并将特征传递到查询模块307。

查询模块307，用于在特征成功提取之后，根据所述客户端商品图片的视觉特征，调用所述深度哈希模型生成客户端商品图片的查询哈希码。并向服务端发送查询请求，查询请求含有商品图片的查询哈希码。

哈希码比对搜索模块308，将查询模块307所传递的二值哈希码集带入哈希函数进行学习，然后根据查询请求携带的查询哈希码从所述服务端搜索与所述查询哈希码相匹配的匹配服务端哈希码；根据查询请求携带的查询哈希码在信息库中检索得到精确匹配的图片，并且根据哈希函数的学习结果反馈相近商品。

显示模块309，接收哈希码对比搜索模块308反馈的信息，根据所述匹配服务端哈希码提取对应的服务端商品图片进行显示，通过可视化方法反馈给用户。

所述服务特征提取模块302具体包括：

候选区域提取单元，用于采用选择搜索算法在所述服务端商品图片中提取预设数量的候选区域；

深度学习单元，用于将每个所述候选区域缩放成预设大小后，输入到卷积神经网络中进行深度学习；

CNN特征输出单元，用于获取所述卷积神经网络的fc7层的输出作为卷积神经网络特征；

服务特征提取单元，用于采用支持向量机对所述卷积神经网络特征进行分类，获得所述务端商品图片的视觉特征。

所述系统还包括：

格式处理模块，用于在采用深层次卷积神经网络结合哈希码创建算法生成深度哈希模型之前，对所述视觉特征的格式进行规范化处理，生成格式规范的视觉特征。

所述哈希码创建模块304具体包括：

哈希码创建单元，用于利用所述深度哈希模型

对所述服务端商品图片的多个高维的视觉特征进行哈希计算，生成低维的所述服务端哈希码；其中H表示哈希码；W表示视觉特征的转置矩阵；b表示偏置项；tr()表示求矩阵的迹；N表示输入视觉特征向量的临近集合，S为创建的临近相似矩阵，φC为偏置参数；I为单位矩阵。

所述哈希码比对搜索模块308具体包括：

服务端哈希码获取单元，用于获取服务端中存储的所有服务端哈希码；

相似度计算单元，用于将所述查询哈希码与所述服务端哈希码带入到卷积神经网络中进行学习比对，计算每个所述服务端哈希码与所述查询哈希码的相似度；

匹配哈希码确定单元，用于确定所述相似度大于90％的服务端哈希码为所述匹配服务端哈希码。

可见，本发明提供的基于高精度哈希算法的在线商品搜索系统，通过提取所拍摄图片对象，然后通过深度学习的训练提取图像视觉特征，构建深度哈希模型后，将图片中的对象转化为包含语义信息的多个二值哈希码，然后进行哈希码的搜索与匹配，进而达到对使用者想要查询的商品进行快速且高精度的匹配进而推荐商品。本发明将图像中的对象提取出来，通过局部迭代搜索算法的方式创建哈希码，再利用深度学习的方式进行哈希码的匹配，不仅有效地保证对象搜索的准确性和全面性，而且保证了搜索的高效性以及推荐的准确性。本发明适合应用于各类型的购物软件，实现所需成本小，应用范围广，且可以解决用户目前所遇到的问题。

总体而言，通过本发明提供的线上商品搜索方法及系统与现有技术相比，本发明提供了一种新的基于高精度哈希算法的购物搜索与推荐系统，结合了图像搜索和文本搜索，允许用户使用智能手机、平板电脑或者个人电脑拍摄商品，然后利用拍摄的商品图片检索以获得用户想要搜索的商品。本发明提供的方法及系统可以使用户很便捷地在终端上进行商品搜索，用户的自主性，搜索结果的准确性更强。相比于传统的购物推荐系统，本发明提供给用户的搜索结果更加切合现实需求。进一步地，本发明中的哈希方法采用了自主研究的高精度自学哈希算法，可以使可视搜索更加快捷准确。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (4)

1.一种线上商品搜索方法，其特征在于，所述方法包括：

获取服务端存储的服务端商品图片；

采用卷积神经网络提取所述服务端商品图片的视觉特征，具体包括：

采用选择搜索算法在所述服务端商品图片中提取预设数量的候选区域；其中预设数量为2000个；

将每个所述候选区域缩放成预设大小后，输入到卷积神经网络中进行深度学习；其中预设大小为227×227的大小；

获取所述卷积神经网络的fc7层的输出作为卷积神经网络特征；

采用支持向量机对所述卷积神经网络特征进行分类，获得所述服务端商品图片的视觉特征；

根据所述视觉特征，采用深层次卷积神经网络结合哈希码创建算法生成深度哈希模型；

采用深层次卷积神经网络结合哈希码创建算法生成深度哈希模型之前，还包括：

对所述视觉特征的格式进行规范化处理，生成格式规范的视觉特征；

利用所述深度哈希模型生成服务端商品图片的服务端哈希码，具体包括：

利用所述深度哈希模型

对所述服务端商品图片的多个高维的视觉特征进行哈希计算，生成低维的所述服务端哈希码；其中H表示哈希码；W表示视觉特征的转置矩阵；b表示偏置项；tr()表示求矩阵的迹；N表示输入视觉特征向量的临近集合，S为创建的临近相似矩阵，φC为偏置参数；I为单位矩阵；

获取客户端拍摄的客户端商品图片；

采用卷积神经网络提取所述客户端商品图片的视觉特征；

根据所述客户端商品图片的视觉特征，调用所述深度哈希模型生成客户端商品图片的查询哈希码；

从所述服务端搜索与所述查询哈希码相匹配的匹配服务端哈希码；

根据所述匹配服务端哈希码提取对应的服务端商品图片进行显示。

2.根据权利要求1所述的线上商品搜索方法，其特征在于，所述从服务端搜索与所述查询哈希码相匹配的匹配服务端哈希码，具体包括：

获取服务端中存储的所有服务端哈希码；

将所述查询哈希码与所述服务端哈希码带入到卷积神经网络中进行学习比对，计算每个所述服务端哈希码与所述查询哈希码的相似度；

确定所述相似度大于90％的服务端哈希码为所述匹配服务端哈希码。

3.一种线上商品搜索系统，其特征在于，所述系统包括：

商品信息存储模块，用于获取服务端存储的服务端商品图片；

服务特征提取模块，用于采用卷积神经网络提取所述服务端商品图片的视觉特征；

所述服务特征提取模块具体包括：

候选区域提取单元，用于采用选择搜索算法在所述服务端商品图片中提取预设数量的候选区域；其中预设数量为2000个；

深度学习单元，用于将每个所述候选区域缩放成预设大小后，输入到卷积神经网络中进行深度学习；其中预设大小为227×227的大小；

CNN特征输出单元，用于获取所述卷积神经网络的fc7层的输出作为卷积神经网络特征；

服务特征提取单元，用于采用支持向量机对所述卷积神经网络特征进行分类，获得所述务端商品图片的视觉特征；

深度哈希模型生成模块，用于根据所述视觉特征，采用深层次卷积神经网络结合哈希码创建算法生成深度哈希模型；

格式处理模块，用于在采用深层次卷积神经网络结合哈希码创建算法生成深度哈希模型之前，对所述视觉特征的格式进行规范化处理，生成格式规范的视觉特征；

哈希码创建模块，用于利用所述深度哈希模型生成服务端商品图片的服务端哈希码；

所述哈希码创建模块具体包括：

哈希码创建单元，用于利用所述深度哈希模型

对所述服务端商品图片的多个高维的视觉特征进行哈希计算，生成低维的所述服务端哈希码；其中H表示哈希码；W表示视觉特征的转置矩阵；b表示偏置项；tr()表示求矩阵的迹；N表示输入视觉特征向量的临近集合，S为创建的临近相似矩阵，φC为偏置参数；I为单位矩阵；

图片拍摄模块，用于获取客户端拍摄的客户端商品图片；

特征提取模块，用于采用卷积神经网络提取所述客户端商品图片的视觉特征；

查询模块，用于根据所述客户端商品图片的视觉特征，调用所述深度哈希模型生成客户端商品图片的查询哈希码；

哈希码比对搜索模块，用于从所述服务端搜索与所述查询哈希码相匹配的匹配服务端哈希码；

显示模块，用于根据所述匹配服务端哈希码提取对应的服务端商品图片进行显示。

4.根据权利要求3所述的线上商品搜索系统，其特征在于，所述哈希码比对搜索模块具体包括：

服务端哈希码获取单元，用于获取服务端中存储的所有服务端哈希码；

相似度计算单元，用于将所述查询哈希码与所述服务端哈希码带入到卷积神经网络中进行学习比对，计算每个所述服务端哈希码与所述查询哈希码的相似度；

匹配哈希码确定单元，用于确定所述相似度大于90％的服务端哈希码为所述匹配服务端哈希码。

Images