CN104572965A

CN104572965A - 基于卷积神经网络的以图搜图系统

Info

Publication number: CN104572965A
Application number: CN201410850827.1A
Authority: CN
Inventors: 邓佳; 王永利; 李延超; 姚静天; 许业旺; 俞研; 李大鹏; 付安民; 孙淑荣; 刘冬梅
Original assignee: Nanjing University of Science and Technology
Current assignee: Nanjing University of Science and Technology
Priority date: 2014-12-31
Filing date: 2014-12-31
Publication date: 2015-04-29

Abstract

本发明公开了一种基于卷积神经网络的以图搜图系统，该系统基于Deep？Learning的卷积神经网络智能算法，构建图片知识库，在此基础上对用户输入的图片在该知识库中进行反向检索，并完善卷积神经网络模型。该系统将图片本身作为输入，提高搜索的效率和可靠性。本系统的创新之处在于其自学习性，采用基于卷积神经网络的智能算法，对知识库中图片的属性进行学习，这意味着它的初始“知识”是0，但会越学越多。因此，随着对图片搜索的次数增加，它输出的属性会变得愈发精确。

Description

基于卷积神经网络的以图搜图系统

技术领域

本发明涉及到一种图像检索技术，具体是一种结合了Deep Learning中卷积神经网络和反向检索方法的以图搜图系统，给用户提供的搜索具有高效性和可靠性。

背景技术

随着WWW的急剧增长以及多媒体技术和电子商务的飞速发展，快速有效地进行互联网图片信息检索、查询和浏览，成为人们的迫切需求。把图片作为直接输入进行搜索，也就是“以图搜图”，无疑会帮助用户精准、快捷地找到其感兴趣的产品。

发明内容

本发明的目的在于提供一种基于Deep Learning中卷积神经网络和反向搜索的以图搜图系统。

实现本发明目的的技术方案为：一种基于卷积神经网络的以图搜图系统，包括图片知识库生成子系统、卷积神经网络、图片知识库和图片查询子系统；

图片知识库生成子系统、图片知识库、图片查询子系统分别和卷积神经网络相连，图片知识库生成子系统为卷积神经网络提供初始训练集，卷积神经网络训练自动处理图片的模型，将图片特征和相关索引信息存到图片知识库，输入查询对象图片时，图片知识库查询子系统将该图片信息与图片知识库中存储的图片特征匹配，并将匹配结果反馈到卷积神经网络，辅助其完成进一步模型校正。

图片知识库生成子系统包括图片采集和图片预处理，卷积神经网络包括训练集和机器学习模型；图片采集使用爬虫算法从网络上获得图片，然后通过图片预处理提取图片的品类、区位、地区、品牌特征，并将获得的特征作为卷积神经网络中的训练集，通过训练集构建可以自动处理图片获得图片特征的机器学习模型。

图片知识库包括图片的注释和图片的索引信息，图片的注释用来存储已被处理图片的特征，图片的索引信息用来存储已被处理图片的存放位置信息；其中图片的注释是卷积神经网络中模型自动处理图片得到的特征输出。

图片知识库查询子系统包括图片信息存储装置、图片相似度计算、图片索引匹配和输出匹配度高的目标图片；

用户输入要查询的图片，通过卷积神经网络已训练好的模型自动处理输入的图片，将得到的特征输出给图片信息存储装置；

图片相似度计算接收图片信息存储装置中存储的图片特征，计算该图片特征与图片的注释中存储的图片特征之间的相似度；

图片索引匹配用于存储相似度高的图片的索引信息；

输出匹配度高的目标图片输出图片索引匹配存储的索引信息对应的图片。

卷积神经网络使用图片知识库生成子系统处理得到的图片特征作为初始训练集，得到机器学习模型，使用该模型处理大量图片构建图片知识库，同时图片知识库查询子系统使用该模型分析用户图片特征并通过查询结果不断完善该模型。

本发明与现有技术相比，其显著优点：(1)本发明系统将图片本身作为输入，提高了搜索的效率和可靠性。(2)本发明采用基于卷积神经网络的智能算法，对知识库中图片的属性进行学习，这意味着它的初始“知识”是0，但会越学越多。因此，随着对图片搜索的次数增加，它输出的属性会变得愈发精确。

附图说明

图1是按照本发明实现装置描述的一个基于卷积神经网络的以图搜图系统下的图片搜索流程图示例。

图2是基于卷积神经网络的以图搜图系统模块框图。

图3是图2基于卷积神经网络的以图搜图系统构建图片知识库的卷积神经网络的网络结构图示例。

图4是图2基于卷积神经网络的以图搜图系统构建图片知识库的卷积神经网络构建和训练过程的流程图示例。

具体实施方式

本发明系统的包括：

1)图片知识库生成子系统获取网络图片，预处理之后，作为训练集，构造卷积神经网络，建立机器模型，系统自学习处理图片信息；

2)系统输出连接到图片知识库单元，构建图片知识库；

3)图片知识库查询子系统在已建好的图片知识库的基础上，对用户输入的图片进行反向搜索，并把搜索结果反馈到图片知识库；

4)图片知识库生成子系统中的卷积神经网络模型，在搜索结果的反馈下得到校正。

更进一步说，完成以图搜图系统，第一步是建立图片知识库。

图片知识库的建立基于Deep Learning中的卷积神经网络方法，该方法降低了网络模型的复杂度，减少了权值的数量，避免了显式的特征抽取，而隐式地从训练数据中进行学习，网络结构简单，适应性强。

第二步是在图片知识库的基础上进行反向检索。

反向检索技术的查询条件来自于图像本身，在提取图像特征时，图像的特征即为查询的条件。在获得查询条件后，通过比较其特征与图像库中的特征来决定其和图像库中图像的相似度。如果图像库庞大，那么在检索的过程中，时效性变得尤为突出。也是评价一个检索系统好坏的标准。在基于图像内容的检索系统中，人们通常用颜色、纹理、轮廓等底层特征来描述一副图像的基本特征，而检索的结果是以上基本特征相互匹配与图像库中特征对比计算得来的。反向检索主要完成三部分内容：特征分析抽取、特征匹配、相似度计算。

基于图片形式特征的抽取：由图片分析软件自动抽取图片的颜色、形状、纹理等特征，建立特征索引库，用户只需将要查找的图片的大致特征描述出来，就可以找出与之具有相近特征的图片。这是一种基于图片特征层次的机械匹配，特别适用于检索目标明确的查询要求(例如对商标的检索)。产生的结果也是最接近用户要求的。但目前这种较成熟的检索技术主要应用于图片数据库的检索，在网上图片搜索引擎中应用这种检索技术还具有一定的困难。

基于图片内容特征匹配：这是一种语义层次的匹配。需要对图片的内容(如物体、背景、构成、颜色特征等)进行描述并分类，给出描述词。检索时，将主要在这些描述词中搜索你的检索词。这种查询方式是比较准确的，一般来讲可以获得较好的查准率。

在相似度匹对方面，本发明拟采用感知哈希算法设计图片搜索算法，它的作用是对每张图片生成一个“指纹”(fingerprint)字符串，然后比较不同图片的指纹。结果越接近，就说明图片越相似。下面是一个最简单的实现：

第一步，缩小尺寸。

将图片缩小到8x8的尺寸，总共64个像素。这一步的作用是去除图片的细节，只保留结构、明暗等基本信息，摒弃不同尺寸、比例带来的图片差异。

第二步，简化色彩。

将缩小后的图片，转为64级灰度。即所有像素点总共只有64种颜色。

第三步，计算平均值。

计算所有64个像素的灰度平均值。

第四步，比较像素的灰度。

将每个像素的灰度，与平均值进行比较。大于或等于平均值，记为1；小于平均值，记为0。

第五步，计算哈希值。

将上一步的比较结果，组合在一起，就构成了一个64位的整数，这就是这张图片的指纹。组合的次序并不重要，只要保证所有图片都采用同样次序就行了。

得到指纹以后，就可以对比不同的图片，看看64位中有多少位是不一样的。在理论上，这等同于计算“汉明距离”(Hamming distance)。如果不相同的数据位不超过5，就说明两张图片很相似；如果大于10，就说明这是两张不同的图片。

下面结合附图对本发明做进一步说明。

本发明提供了一种以图搜图的系统，利用爬虫技术从网络上获得图片信息，对图片进行信息采集的预处理，得到图片的包括自然特征和分类特征的属性，将以上采集到的信息作为训练集，构建和训练卷积神经网络模型。

系统可通过卷积神经网络模型，获得自学习能力，自动完成图片处理，得到图片知识库，图片知识库包括图片的品类、区位、地区、品牌、设计师、特定名称、时代风格、价值品味、颜色、材质、尺寸比例、形状、工艺等属性。

在已构建的图片知识库基础上，对用户输入的图片进行反向搜索，反向搜索包括以下三项内容：特征分析抽取、特征匹配、相似度计算。输出相似度高的图片，并将搜索结果反馈到知识库，进一步校正卷积神经网络模型。

参照图1，显示了基于卷积神经网络的以图搜图系统下的图片搜索流程图，首先对图片数据进行特征数据抽取、特征数据标引、特征数据索引建立等预处理操作，获得图片信息，将预处理获得的图片信息作为训练集，训练构建卷积神经网络模型，然后自动处理图片构建图片知识库，其中图片知识库包含了图片注释、图片索引等信息。用户输入图片后，对其进行特征分析抽取、特征信息标引、特征匹配、相似度计算等操作，在已构建的图片知识库中进行图片检索，按照相似度排列检索结果集，最后将检索结果输出给客户。

参照图2，显示了基于卷积神经网络的以图搜图系统模块框图，包括图片知识库生成子系统2、卷积神经网络3、图片知识库4、图片查询子系统5。图片知识库生成子系统2、图片知识库4、图片查询子系统5都和卷积神经网络3相连，其中的卷积神经网络3是以图搜图系统的核心部分。图片知识库生成子系统2为卷积神经网络3提供初始训练集，卷积神经网络3构建自动处理图片的模型，将图片特征和相关索引信息存到图片知识库4，输入查询对象图片时，图片知识库查询子系统5将该图片信息与图片知识库4中存储的图片特征匹配，并将匹配结果反馈到卷积神经网络3，辅助其完成进一步模型校正。

参照图3，是图2基于卷积神经网络的以图搜图系统构建图片知识库的卷积神经网络的网络结构图示例。输入图像通过和三个可训练的滤波器和可加偏置进行卷积，卷积后在C1层产生三个特征映射图，然后特征映射图中每组的四个像素再进行求和，加权值，加偏置，通过一个Sigmoid函数得到三个S2层的特征映射图。这些映射图再进过滤波得到C3层。这个层级结构再和S2一样产生S4。最终，这些像素值被光栅化，并连接成一个向量输入到传统的神经网络，得到输出。

参照图4，是图2基于卷积神经网络的以图搜图系统构建图片知识库的卷积神经网络构建和训练过程的流程图示例。过程140开始构造并训练卷积神经网络，V表示神经网络输入层到隐层的权值矩阵，M表示隐层到输入层的权值矩阵，P表示训练样本对的总数，p表示样本模式计数器，q表示训练次数计数器，E表示误差变量，E_min表示网络训练精度。

构造与训练卷积神经网络主要包括4步，这4步被分为两个阶段：

第一阶段，参照块141，为向前传播阶段：

a)从图像集中取一个样本(X_p，d^p)，将X_p输入卷积神经网络；样本是(输入向量，理想输出向量)的向量对；

b)计算相应的实际输出Op。

在此阶段，信息从输入层经过逐级的变换，传送到输出层。这个过程也是网络在完成训练后正常运行时执行的过程。在此过程中，网络执行的是计算(实际上就是输入向量与每层的权值矩阵(V，M)相点乘，V表示神经网络输入层到隐层的权值矩阵，M表示隐层到输入层的权值矩阵，得到最后的输出结果)：

Op＝Fn(…(F2(F1(X_pW(1))W(2))…)W(n))

c)计算误差E；(计算实际输出Op与理想输出向量d_p的差，其中P表示训练样本对的总数，m表示输出层单元数)：

第二阶段，参照块142，为向后传播阶段：

a)误差反传，调整各层权值V、M；

b)检查是否对所有样本一次轮训(是否所有样本都加入训练)；

c)检查网络总误差是否到达精度E_min，误差小于精度则结束训练，误差大于精度继续回到训练第一阶段的开始；

d)按极小化误差的方法反向传播调整权矩阵。

Claims

1.一种基于卷积神经网络的以图搜图系统，其特征在于：包括图片知识库生成子系统2、卷积神经网络3、图片知识库4和图片查询子系统5；

图片知识库生成子系统2、图片知识库4、图片查询子系统5分别和卷积神经网络3相连，图片知识库生成子系统2为卷积神经网络3提供初始训练集，卷积神经网络3训练自动处理图片的卷积神经网络模型222，将图片特征和相关索引信息存到图片知识库4，输入查询对象图片时，图片知识库查询子系统5将该图片信息与图片知识库4中存储的图片特征匹配，并将匹配结果反馈到卷积神经网络3，辅助其完成进一步模型校正。

2.根据权利要求1所述的基于卷积神经网络的以图搜图系统，其特征在于：图片知识库生成子系统2包括图片采集121和图片预处理122，卷积神经网络3包括训练集221和机器学习卷积神经网络模型222；图片采集121使用爬虫算法从网络上获得图片，然后通过图片预处理122提取图片的品类、区位、地区、品牌特征，并将获得的特征作为卷积神经网络3中的训练集221，通过训练集221构建可以自动处理图片获得图片特征的机器学习卷积神经网络模型222。

3.根据权利要求1或2中所述的基于卷积神经网络的以图搜图系统，其特征在于：图片知识库4包括图片的注释321和图片的索引信息322，图片的注释321用来存储已被处理图片的特征，图片的索引信息322用来存储已被处理图片的存放位置信息；其中图片的注释321是卷积神经网络3中卷积神经网络模型222自动处理图片得到的特征输出。

4.根据权利要求1中所述的基于卷积神经网络的以图搜图系统，其特征在于：图片知识库查询子系统5包括图片信息存储装置421、图片相似度计算422、图片索引匹配423和输出匹配度高的目标图片424；

用户输入要查询的图片，通过卷积神经网络3已训练好的卷积神经网络模型222自动处理输入的图片，将得到的特征输出给图片信息存储装置421；

图片相似度计算422接收图片信息存储装置421中存储的图片特征，计算该图片特征与图片的注释321中存储的图片特征之间的相似度；

图片索引匹配423用于存储相似度高的图片的索引信息；

输出匹配度高的目标图片424输出图片索引匹配423存储的索引信息对应的图片。

5.根据权利要求1所述的基于卷积神经网络的以图搜图系统，其特征在于：所述训练卷积神经网络模型222，训练分为两个阶段：

第一阶段，为向前传播阶段；

第二阶段，为向后传播阶段。

6.根据权利要求5所述的基于卷积神经网络的以图搜图系统，其特征在于：第一阶段实现过程如下：

a)从图片集中取一个样本(X_p，d_p)，将X_p输入卷积神经网络，X_p为输入向量，d_p为理想输出向量；

b)计算相应的实际输出Op；

Op＝Mn(…(M2(M1(X_pV(1))V(2))…)V(n))

V表示神经网络输入层到隐层的权值矩阵，M表示隐层到输入层的权值矩阵；

c)计算误差E：

E = \frac{1}{2} Σ_{p = 1}^{P} Σ_{k = 1}^{m} {(O_{pk} - d_{pk})}^{2}

其中P表示训练样本对的总数，m表示输出层单元数。

7.根据权利要求5所述的基于卷积神经网络的以图搜图系统，其特征在于：第二阶段实现过程如下：

a)误差E反传，调整各层权值V、M；

b)检查是否对所有样本一次轮训)；

c)检查网络误差E是否到达精度E_min，误差小于精度则结束训练，误差大于精度继续回到训练第一阶段；

d)按极小化误差的方法反向传播调整权矩阵。