CN110019902A

CN110019902A - 一种基于特征匹配的家居图片搜索方法及装置

Info

Publication number: CN110019902A
Application number: CN201710894253.1A
Authority: CN
Inventors: 包科旻
Original assignee: Nanjing Unbounded Home Technology Co Ltd
Current assignee: Nanjing Unbounded Home Technology Co Ltd
Priority date: 2017-09-28
Filing date: 2017-09-28
Publication date: 2019-07-16
Anticipated expiration: 2037-09-28
Also published as: CN110019902B

Abstract

本发明公开了一种基于特征匹配的家居图片搜索方法及装置，包括：利用获取的中间图片集使用第一卷积算法生成中间特征集；利用获取的目标图片使用第二卷积算法生成目标特征；使用聚类算法从所述中间特征集的元素中匹配出与所述目标特征对应的结果特征；获取与所述结果特征对应的结果图片；通过间接中间特征与结果特征匹配，特征占用的数据内存远远小于图片本身占用的数据内存，能够节省大量的实时计算硬件资源，如降低计算内存的占用以及计算时间的占用，同时，结果特征是目标图片中最能代表用户搜索意图的信号，以结果特征作为匹配导向能够搜索到用户想要的结果图片，提高图片搜索的准确性，切合用户图片搜索的需要。

Description

一种基于特征匹配的家居图片搜索方法及装置

技术领域

本发明涉及图片搜索技术领域，更具体地说，它涉及一种基于特征匹配的家居图片搜索方法及装置。

背景技术

在互联网上，一般会使用文字信息来搜索所需图片信息，系统从数据库中获取其特征值与文字信息相匹配的图片。以在家居垂直搜索领域中的搜索引擎搜索家具图片为例，以前搜索引擎在搜索家具图片时，只要给出足够的关键词就可以搜索出想要的家具图片。但是对于图片搜索来说，如果用于想要找到和一张图片内容相似的所有图片，但是手头没有关键词，只有“关键词”，例如用户手上已经有一张家具图片，想要找到与该家具图片形状、风格、所属空间相似的家具图片。目前相似图片识别技术中，使用比较多的是基于图片局部特征的方法即：从待识别的图片中提取大量局部特征，将待识别的图片表示为局部特征的集合。比较两幅图片的相似度时，以局部特征集合的重合比例作为比较标准，从数据库中逐一匹配图片，当两个图片的局部特征集合的重合比例高于某个固定阈值时则认为两幅图片是相似(或者称之为相匹配)的，推送匹配后认定相似的图片。

由于局部特征是针对图片中的一些局部特征点计算出来的，如果局部特征选择不恰当，那么基于局部特征匹配而搜出来的相似图片可能是错误图片，错误图片与原图在整体视觉上往往没有任何相似性。同时这种方法需要将搜索图片与数据库中的图片一一比对，局部特征点数量要求高(数量太低无法得到准确结果)，计算复杂度高又耗时，并且，在计算过程中需要保留大量的匹配关系和位置信息，计算过程需要消耗大量的内存空间。

发明内容

本发明技术方案所解决的技术问题为，如何在垂直领域的搜索引擎中以图搜图时，提高搜索速度，降低搜索图片时占用的硬件资源。

为实现上述目的，本发明技术方案提供了一种基于特征匹配的家居图片搜索方法，包括：

A.利用获取的中间图片集使用第一卷积算法生成中间特征集；

B.利用获取的目标图片使用第二卷积算法生成目标特征；

C.使用聚类算法从所述中间特征集的元素中匹配出与所述目标特征对应的结果特征；

D.获取与所述结果特征对应的结果图片。

进一步的，所述A步骤包括：以所述中间图片集中的所有元素作为总训练集输入第一卷积算法进行训练产生所述第二卷积算法，所述第二卷积算法用于从其输入图片中提取出与中间图片的中间特征关联的输入特征。

进一步的，所述B步骤包括：使用所述第二卷积算法提取所述目标图片的目标特征后，将所述目标特征的提取过程插入所述第一卷积算法的训练内容；

插入训练内容的所述第一卷积算法更新所述第二卷积算法，将所述目标图片更新至所述中间图片集，将所述目标特征更新至所述中间特征集。

进一步的，使用所述聚类算法遍历所述中间特征集中的元素生成中间矢量集并建立索引文件；

将所述中间图片集中元素的图片ID映射至所述索引文件中；

将所述目标特征输入所述聚类算法中生成目标矢量，所述聚类算法根据所述目标矢量检索所述中间矢量集，输出所述中间矢量集中匹配成功的元素；

根据元素获取对应的所述中间特征，并输出为所述结果特征。

进一步的，所述D步骤包括：根据所述结果特征从所述索引文件中查询对应的图片ID；

以所述图片ID获取所述结果图片。

为了解决上述技术问题，本发明技术方案还提供了一种基于特征匹配的图片搜索装置，包括：

中间图片获取单元，用于获取中间图片集；

第一卷积单元，用于利用获取的中间图片集使用第一卷积算法生成中间特征集；

目标图片获取单元，用于获取目标图片；

第二卷积单元，用于利用获取的目标图片使用第二卷积算法生成目标特征；

聚类匹配单元，用于使用聚类算法从所述中间特征集的元素中匹配出与所述目标特征对应的结果特征；

结果图片获取单元，用于获取与所述结果特征对应的结果图片。

进一步的，所述第一卷积单元包括：

训练子单元，用于以所述中间图片集中的所有元素作为总训练集输入第一卷积单元进行训练产生所述第二卷积单元，所述第二卷积单元用于从其输入图片中提取出与中间图片的中间特征关联的输入特征。

进一步的，所述第二卷积单元包括：

插入子单元，用于在使用所述第二卷积单元提取所述目标图片的目标特征后，将所述目标特征的提取过程插入所述第一卷积单元的训练内容；

更新子单元，用于让插入训练内容的所述第一卷积单元更新所述第二卷积单元，将所述目标图片更新至所述中间图片集，将所述目标特征更新至所述中间特征集。

进一步的，所述聚类匹配单元包括：

遍历子单元，用于使用所述聚类算法遍历所述中间特征集中的元素生成中间矢量集并建立索引文件；

映射子单元，用于将所述中间图片集中元素的图片ID映射至所述索引文件中；

检索子单元，用于将所述目标特征输入所述聚类算法中生成目标矢量，所述聚类算法根据所述目标矢量检索所述中间矢量集，输出所述中间矢量集中匹配成功的元素；

输出子单元，用于根据元素获取对应的所述中间特征，并输出为所述结果特征。

进一步的，所述结果图片获取单元包括：

查询子单元，用于根据所述结果特征从所述索引文件中查询对应的图片ID；

获取子单元，用于以所述图片ID获取所述结果图片。

本发明技术方案的有益效果至少包括：

本发明技术方案通过使用第一卷积算法计算目标图片的目标特征，对目标图片进行实时处理，通过第二卷积算法计算出中间图片集的中间特征集，使用目标特征使用聚类算法从中间特征集的元素中匹配出与目标特征相对应的结果特征，然后根据结果特征推送结果图片，单独处理中间图片无需将中间图片与目标图片直接进行计算匹配，而间接通过中间特征与结果特征匹配，特征占用的数据内存远远小于图片本身占用的数据内存，能够节省大量的实时计算硬件资源，如降低计算内存的占用以及计算时间的占用，同时，结果特征是目标图片中最能代表用户搜索意图的信号，以结果特征作为匹配导向能够搜索到用户想要的结果图片，提高图片搜索的准确性，切合用户图片搜索的需要；

在用户输入目标图片进行搜索后，将目标图片加入第一卷积算法的训练内容，从而实时更新优化第二卷积算法，让下一次目标特征的计算更切合用户的搜索习惯与搜索需求，利于提高图片搜索的准确性。

附图说明

图1为现有技术中以图搜图的方法流程示意图；

图2为本发明实施例一的方法流程示意图；

图3为本发明实施例一S1的方法流程示意图；

图4为本发明实施例一S2的方法流程示意图；

图5为本发明实施例一S3的方法流程示意图；

图6为本发明实施例一S4的方法流程示意图；

图7为本发明实施例二的装置结构框图；

图8为本发明实施例二第一卷积单元的框图；

图9为本发明实施例二第二卷积单元的框图；

图10为本发明实施例二聚类匹配单元的框图；

图11为本发明实施例二结果图片获取单元的框图。

附图标记：100、中间图片获取单元；200、第一卷积单元；201、训练子单元；300、目标图片获取单元；400、第二卷积单元；401、插入子单元；402、更新子单元；500、聚类匹配单元；501、遍历子单元；502、映射子单元；503、检索子单元；504、输出子单元；600、结果图片获取单元；601、查询子单元；602、获取子单元。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

发明人在实现本发明的过程中，对现有技术进入深入分析，发现现有技术存在消耗大量的内存空间的原因是：

如图1所示，目前相似图片识别技术中，使用比较多的是基于图片局部特征的方法即：从待识别的图片中提取大量局部特征，将待识别的图片表示为局部特征的集合。比较两幅图片的相似度时，以局部特征集合的重合比例作为比较标准，从数据库中逐一匹配图片，当两个图片的局部特征集合的重合比例高于某个固定阈值时则认为两幅图片是相似(或者称之为相匹配)的，推送匹配后认定相似的图片。由于局部特征是针对图片中的一些局部特征点计算出来的，如果局部特征选择不恰当，或者计算出来的局部特征不切合用户的需求，那么基于局部特征匹配而搜出来的相似图片可能是错误图片，错误图片与原图在整体视觉上往往没有任何相似性，导致重复运算，也使用户进行重复搜索，体验性差。同时这种方法需要将搜索图片与数据库中的图片一一比对，单个图片的信息量大，数据库中的图片总量也大，局部特征点数量要求高(数量太低无法得到准确结果)，计算复杂度高又耗时，并且，在计算过程中需要保留大量的匹配关系和位置信息，计算过程需要消耗大量的内存空间。

基于上述现有技术的缺陷，本发明技术方案提供了解决思路。本发明技术方案使用第一卷积算法对数据库中现有大量存放的中间图片集进行特征提取，并以此训练出用于处理用户输入的目标图片的第二卷积算法，从而让中间图片的特征与目标图片的特征相互切合，从而在中间图片中找出切合用不需求的结果图片，并将用户输入的图片作为训练内容让第一卷积算法进一步优化第二卷积算法，从而不断地匹配用户的搜索需求提高，图片搜索的准确度。同时，使用从图片上提取的特征通过聚类算法进行间接匹配，特征信息量远小于图片信息量，从而能够节省大量的实时计算硬件资源，提高目标图片的匹配速度，提高用户的图片搜索体验。

需要注意的是，本发明技术方案所述输入端、用户端指的是移动智能设备或者非移动智能设备，比如手机、平板电脑、笔记本电脑或者智能电视；本发明技术方案所述服务器、服务端则是网络教学开发商为网络教学平台所使用的后台服务器，该服务器可以设置一台或多台，该服务器可以包括但不限于数据库服务器、应用服务器及WEB服务器。

实施例一

结合本发明技术方案的上述发明思路，一种基于特征匹配的家居图片搜索方法，如图2所示，包括如下步骤：

步骤S1：利用获取的中间图片集使用第一卷积算法生成中间特征集。

如图3所示，其中步骤S1还包括步骤S11：以中间图片集中的所有元素作为总训练集输入第一卷积算法进行训练产生第二卷积算法，第二卷积算法用于从其输入图片中提取出与中间图片的中间特征关联的输入特征。

例如，数据库中存有约150万张的中间图片组成的中间图片集，中间图片为家具图片，服务端可往中间图片集中定时或不定时添加定量或不定量的额外中间图片。服务端使用TensorFlow库中现有的CNN卷积神经网络算法作为第一卷积算法。服务端使用第一卷积算法遍历计算出中间图片集中的每一张图片的中间特征，中间特征可为家具的家具类别、所属空间、家具风格以及空间风格。第一卷积算法在用户端离线时由服务端进行，从而不占用用户端在线搜索时需要的计算资源与计算速度。TensorFlow库以中间图片集作为总训练集输入第一卷积算法进行训练产生第二卷积算法。

产生第二卷积算法后进行步骤S2：利用获取的目标图片使用第二卷积算法生成目标特征。

第二卷积算法用于对用户端输入的目标图片进行卷积计算从而获得目标特征，目标特征与中间特征相关联，即目标特征的元素为中间特征的元素中的全部或者部分。

如图4所示，其中步骤S2还包括步骤S21和步骤S22。

步骤S21：使用第二卷积算法提取目标图片的目标特征后，将目标特征的提取过程插入第一卷积算法的训练内容。

步骤S22：插入训练内容的第一卷积算法更新第二卷积算法，将目标图片更新至中间图片集，将目标特征更新至中间特征集。

当用户端在线时，服务端将用户端输入的目标图片经过第二卷积算法计算出目标特征后，将目标图片加入第一卷积算法的训练库进行下一次第二卷积算法的训练，从而使服务端让TensorFlow库在用户端搜索一次后就对第二卷积算法进行更新，同时将用户端作为搜索记录的目标图片保存在中间图片集中，从而使用户端能够搜索到之前的目标图片，也能将作为判断用户端搜索习惯的判断加权依据。而依据用户搜索习惯而更新的第二卷积算法能不断切合用户端的搜索需求，根据搜索需求来提取目标特征，从而提高图片搜索的准确率。

值得注意的是，由于TensorFlow库中现有的CNN卷积神经网络算法为本领域常用技术，而本发明着重于将中间图片集中的所有的元素作为总训练集输入CNN卷积神经网络算法即第一卷积算法以生成中间特征集以及参数变化的第二卷积算法，即发明重点在于第一卷积算法的输入对象与输出对象，而不是第一卷积算法本身，因此对于第一卷积算法不作过多描述。

提取出目标特征后继续进行步骤S3：使用聚类算法从中间特征集的元素中匹配出与目标特征对应的结果特征。

如图5所示，其中步骤S3还包括步骤S31、步骤S32、步骤S33和步骤S34。

步骤S31：服务端使用聚类算法遍历中间特征集中的元素生成中间矢量集并建立索引文件。例如服务端采用Faiss库中现有的K-means算法对中间特征集中的元素遍历计算生成中间矢量集。Faiss库还根据中间特征集建立与内部元素具有映射关系的索引文件，索引文件用于查询所需要的中间特征。

步骤S32：服务端将中间图片集中元素的图片ID映射至索引文件中，并与中间特征集成映射关系。

步骤S33：服务端还计算目标特征的目标矢量，从而在中间矢量集中匹配出与目标矢量对应的中间矢量，输出中间矢量集中匹配成功的元素。

步骤S34：服务端根据元素获取对应的中间特征，并输出为聚类算法计算后的结果特征，结果特征作为目标图片的键值在服务端中进行查询。

以结果特征完成查询后服务端会进行步骤S4：根据元素获取对应的所述中间特征，并输出为所述结果特征。值得注意的是，由于Faiss库中现有的K-means算法即本文所述聚类算法为本领域常用技术，而本发明着重于使用该聚类算法进行特征的匹配，以及索引文件的建立，即发明重点在于聚类算法的输入对象与输出对象，而不是聚类算法本身，因此对于聚类算法不作过多描述。

如图6所示，其中步骤S4还包括步骤S41和步骤S42。

步骤S41：服务端根据计算出的结果特征从索引文件中查询对应中间特征，并提取出中间特征映射的图片ID。

步骤S42：然后，服务器根据图片ID从数据库中获取结果图片，并将结果图片推送至用户端，完成图片的搜索。

本发明技术方案的图片为家具图片，数据库中的中间图片的中间特征值的数据进一步包括家具类别、所属空间、家具风格与空间风格，中间特征由服务端在离线时使用TensorFlow库中第一卷积算法计算数据库中的中间图片集获得；目标特征与结果特征为中间特征的数据或者其之一，且也使用TensorFlow库进行卷积获得；根据具体的特征在匹配所需要的特征能够极大地提高搜索到的结果图片的准确性，切合用户的需求，提高用户的搜索体验；

本发明技术方案利用TensorFlow库离线计算出数据库内中间图片的中间特征以及在线计算出用户端输入的目标图片的目标特征，再通过Faiss库让目标特征从中间特征中匹配出用户需要的结果特征，并通过索引文件提取到与结果特征对应的结果图片，将结果图片推送至输入端，不仅充分利用了服务端在用户端离线时的空闲资源对中间图片进行计算，节省服务端在用户端在线时的计算资源占用程度，也降低了服务端搜索图片时的计算量，提高了图片搜索的准确度与速度。

实施例二

结合本发明技术方案的上述发明思路，一种基于特征匹配的家居图片搜索装置，如图7所示，包括：

中间图片获取单元100，用于获取中间图片集。

第一卷积单元200，用于利用获取的中间图片集使用第一卷积算法生成中间特征集。

如图8所示，第一卷积单元200包括训练子单元201，训练子单元201用于以中间图片集中的所有元素作为总训练集输入第一卷积单元200进行训练产生第二卷积单元400，第二卷积单元400用于从其输入图片中提取出与中间图片的中间特征关联的输入特征。

目标图片获取单元300，用于获取目标图片。

第二卷积单元400，用于利用获取的目标图片使用第二卷积算法生成目标特征。如图9所示，第二卷积单元400包括插入子单元401与更新子单元402。

插入子单元401，用于在使用第二卷积单元400提取目标图片的目标特征后，将目标特征的提取过程插入第一卷积单元200的训练内容。

更新子单元402，用于让插入训练内容的第一卷积单元200更新第二卷积单元400，将目标图片更新至中间图片集，将目标特征更新至中间特征集。

聚类匹配单元500，用于使用聚类算法从中间特征集的元素中匹配出与目标特征对应的结果特征。如图10所示，聚类匹配单元500包括：

遍历子单元501，用于使用聚类算法遍历中间特征集中的元素生成中间矢量集并建立索引文件；

映射子单元502，用于将中间图片集中元素的图片ID映射至索引文件中；

检索子单元503，用于将目标特征输入聚类算法中生成目标矢量，聚类算法根据目标矢量检索中间矢量集，输出中间矢量集中匹配成功的元素；

输出子单元504，用于根据元素获取对应的中间特征，并输出为结果特征。

结果图片获取单元600，用于获取与结果特征对应的结果图片。如图11所示，结果图片获取单元600包括：

查询子单元601，用于根据结果特征从索引文件中查询对应的图片ID；

获取子单元602，用于以图片ID获取结果图片。

以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims

1.一种基于特征匹配的家居图片搜索方法，其特征在于，包括：

B.利用获取的目标图片使用第二卷积算法生成目标特征；

D.获取与所述结果特征对应的结果图片。

2.根据权利要求1所述的方法，其特征在于，所述A步骤包括：

以所述中间图片集中的所有元素作为总训练集输入第一卷积算法进行训练产生所述第二卷积算法，所述第二卷积算法用于从其输入图片中提取出与中间图片的中间特征关联的输入特征。

3.根据权利要求2所述的方法，其特征在于，所述B步骤包括：

使用所述第二卷积算法提取所述目标图片的目标特征后，将所述目标特征的提取过程插入所述第一卷积算法的训练内容；

4.根据权利要求3所述的方法，其特征在于，所述C步骤包括：

使用所述聚类算法遍历所述中间特征集中的元素生成中间矢量集并建立索引文件；

将所述中间图片集中元素的图片ID映射至所述索引文件中；

5.根据权利要求4所述的方法，其特征在于，所述D步骤包括：

根据所述结果特征从所述索引文件中查询对应的图片ID；

以所述图片ID获取所述结果图片。

6.一种基于特征匹配的家居图片搜索装置，包括：

中间图片获取单元（100），用于获取中间图片集；

第一卷积单元（200），用于利用获取的中间图片集使用第一卷积算法生成中间特征集；

目标图片获取单元（300），用于获取目标图片；

第二卷积单元（400），用于利用获取的目标图片使用第二卷积算法生成目标特征；

聚类匹配单元（500），用于使用聚类算法从所述中间特征集的元素中匹配出与所述目标特征对应的结果特征；

结果图片获取单元（600），用于获取与所述结果特征对应的结果图片。

7.根据权利要求6所述的装置，其特征在于，所述第一卷积单元（200）包括：

训练子单元（201），用于以所述中间图片集中的所有元素作为总训练集输入第一卷积单元（200）进行训练产生所述第二卷积单元（400），所述第二卷积单元（400）用于从其输入图片中提取出与中间图片的中间特征关联的输入特征。

8.根据权利要求7所述的装置，其特征在于，所述第二卷积单元（400）包括：

插入子单元（401），用于在使用所述第二卷积单元（400）提取所述目标图片的目标特征后，将所述目标特征的提取过程插入所述第一卷积单元（200）的训练内容；

更新子单元（402），用于让插入训练内容的所述第一卷积单元（200）更新所述第二卷积单元（400），将所述目标图片更新至所述中间图片集，将所述目标特征更新至所述中间特征集。

9.根据权利要求8所述的装置，其特征在于，所述聚类匹配单元（500）包括：

遍历子单元（501），用于使用所述聚类算法遍历所述中间特征集中的元素生成中间矢量集并建立索引文件；

映射子单元（502），用于将所述中间图片集中元素的图片ID映射至所述索引文件中；

检索子单元（503），用于将所述目标特征输入所述聚类算法中生成目标矢量，所述聚类算法根据所述目标矢量检索所述中间矢量集，输出所述中间矢量集中匹配成功的元素；

输出子单元（504），用于根据元素获取对应的所述中间特征，并输出为所述结果特征。

10.根据权利要求9所述的装置，其特征在于，所述结果图片获取单元（600）包括：

查询子单元（601），用于根据所述结果特征从所述索引文件中查询对应的图片ID；

获取子单元（602），用于以所述图片ID获取所述结果图片。