CN106909625A - 一种基于Siamese网络的图像检索方法及系统 - Google Patents

Abstract

本发明提供了一种基于Siamese网络的图像检索方法及系统，所述的方法包括：S1，将待检索图像输入训练后的单支Siamese网络，以便通过单支Siamese网络提取出待检索图像的深度网络特征；S2，计算待检索图像的深度网络特征与数据库中每一个模板图像的深度网络特征之间的相似度，该相似度表征待检索图像与每一个模板图像之间的相似度；S3，将与所述待检索图像的相似度最大的模板图像作为所述待检索图像对应的检索结果图像。本发明通过构建Siamese网络，并进行训练，通过训练后的Siamese网络提取图像的深度网络特征，提取的特征鉴别力很强，使得Siamese网络用在图像检索领域具有很高的精确性。

Description

一种基于Siamese网络的图像检索方法及系统

技术领域

本发明涉及图像检索技术领域，更具体地，涉及一种基于Siamese网络的图像检索方法及系统。

背景技术

随着手机、相机等电子设备的日渐普及以及互联网和计算机技术的快速发展，图片和视频数据成爆炸式增长，达到了海量规模。如何有效利用丰富的多媒体资源是大数据时代需要面临的挑战和急需的关键技术。基于内容的图像搜索技术是深度利用和管理海量图片数据的关键技术之一，也是计算机视觉领域和多媒体领域的前沿课题。不仅如此，图像搜索技术在实际生活中也有着重要的应用。目前正在步入安防社会，摄像头已遍布在生活中的各个场所，图像搜索可以在海量的监控视频中查找到特定的目标，比如某辆车、某个人或者某个物体，为警方破案提供关键线索。图像搜索技术也使得日常生活更加智能和便捷，人们可以随时随地拍摄喜欢的衣服或者物品，然后根据图片在网上商城查找相关的商品。因此，图像搜索具有广泛的应用前景。

目前图像搜索多采用基于局部不变特征的词袋模型，该方法虽然能较好的捕捉图像局部的纹理特性，但是对图像的全局信息、语义信息等描述能力较差。此外，基于局部特征的词袋模型利用倒排表进行快速的图像搜索，由于倒排表的内存和检索效率的限制，该方法在实际的大规模的图像检索应用中能够索引的图像数目有限。随着深度学习技术的在图像分类和检测中的进展，预训练的网络提取的特征在图像检索中也展示了其有效性。然而，图像检索不同于图像分类，图像检索要求精准匹配，由于物体类别繁多，每一种类的物体很多，在面对开放的图像匹配检索的过程中，模板图像非常多，因此，对每一模板图像提取的特征比较少，图像检索的精度存在着很大的挑战。

发明内容

本发明提供一种克服上述问题或者至少部分地解决上述问题的基于Siamese网络的图像检索方法及系统，能够提高图像检索的准确度。

根据本发明的一个方面，提供了一种基于Siamese网络的图像检索方法，包括：

S1，将待检索图像输入训练后的单支Siamese网络，以便通过所述单支Siamese网络提取出所述待检索图像的深度网络特征；

S2，计算所述待检索图像的深度网络特征与数据库中每一个模板图像的深度网络特征之间的相似度，该相似度表征待检索图像与每一个模板图像之间的相似度；

S3，将与所述待检索图像的相似度最大的模板图像确定为所述待检索图像对应的检索结果图像。

根据本发明的另一个方面，还提供了一种基于Siamese网络的图像检索系统，包括：

第一特征提取模块，用于将待检索图像输入训练后的单支Siamese网络，以便通过所述单支Siamese网络提取出所述待检索图像的深度网络特征；

相似度计算模块，用于计算所述待检索图像的深度网络特征与数据库中每一个模板图像的深度网络特征之间的相似度，该相似度表征待检索图像与每一个模板图像之间的相似度；

确定模块，用于将与所述待检索图像的相似度最大的模板图像确定为所述待检索图像对应的检索结果图像。

本发明的有益效果为：通过构建Siamese网络，并对构建的Siamese网络进行训练，通过训练后的Siamese网络提取图像的深度网络特征，随后将待检索图像的深度网络特征与每一个模板图像的深度网络特征进行相似性的计算，与待检索图像的特征最相似的模板图像即为检索结果图像，使用训练后的Siamese网络提取图像的深度网络特征具有很高的鉴别力，因此使得Siamese网络用在图像检索领域具有很高的精确性。

附图说明

图1为本发明一个实施例的基于Siamese网络的图像检索方法流程图；

图2为构建的双分支Siamese网络架构图；

图3为本发明另一个实施例的基于Siamese网络的图像检索系统示意图；

图4为本发明又一个实施例的基于Siamese网络的图像检索系统整体框图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

参见图1，为本发明一个实施例的基于Siamese网络的图像检索方法，包括：

S1，将待检索图像输入训练后的单支Siamese网络，以便通过所述单支Siamese网络提取出所述待检索图像的深度网络特征；S2，计算所述待检索图像的深度网络特征与数据库中每一个模板图像的深度网络特征之间的相似度，该相似度表征待检索图像与每一个模板图像之间的相似度；S3，将与所述待检索图像的相似度最大的模板图像确定为所述待检索图像对应的检索结果图像。

步骤S1中，将待检索图像输入训练后的单支Siamese网络，通过训练后的单支Siamese网络提取待检索图像的深度网络特征。

需要说明的是，在步骤S1之前需要构建Siamese网络，参见图2，本实施例中构建的Siamese网络为双分支Siamese网络，该双分支Siamese网络由传统的两支相同的单支Siamese网络并联拼接而成。传统的每支单支Siamese网络均具有多个全连接层，通常为7个全连接层。本实施例构建的双分支Siamese网络的每单支Siamese网络的前6个全连接层中包含的神经元个数与传统的Siamese网络包含的神经元个数相等，本实施例对传统的单支Siamese网络进行改进，将最后一个，即第7个全连接层设计为包含预设数量的神经元，该第7个全连接层的神经元个数即为提取图像的深度网络特征的维数，比如，本实施例中设置为128个，即通过该单支Siamese网络能够提取图像的128维深度网络特征。本实施例还在拼接后的双分支Siamese网络后连接两个全连接层，其中，第一全连接层包含的神经元按照具体情况设定，第二个全连接层包含的神经元个数与整个双分支Siamese网络的输出结果种类个数相等。

前述构建好了双分支Simese网络后，对构建的双分支Siamese进行样本训练，其中，本实施例采用正集合样本和负集合样本对构建的双Siamese网络进行训练，其中，所述正集合样本为具有相似性的样本图像对，所述负集合样本为不具有相似性的样本图像对。即本实施例选取大量的样本图像对，其中，一部分样本图像对为相似图相对，另一部分样本图像对为不相似的图相对。选取不同相似性的样本图像对来对构建的Siamese网络进行训练，使训练出来的Siamese网络更精确。

具体的训练过程为：选取具有相似性的样本图像对和不具相似性的样本图像对，将样本图像对中的两幅图像分别输入双Siamese网络的两分支网络，并获取双Siamese网络出输出的样本图像对的相似性结果；计算双分支Siamese网络输出的样本图像对的相似性结果与该样本图像对已知的相似性状态之间的误差值；根据所述误差值对双分支Siamese网络的网络参数反复进行调整，直到所述误差值小于预设误差值。比如，输入双分支Siamese网络的样本图像对为相似的图像对，其中一幅图像输入双分支Siamese网络的一支，另一幅图像输入双分支Siamese网络的另一支，两幅图像分别通过单支的Siamese网络提取128维深度网络特征，然后对两幅图像的128维深度网络特征计算相似度，并输出该两幅图像是否相似的结果。假设双分支Siamese网络输出的结果为不相似，此时表明该双分支Siamese网络输出的结果不准确，因此，需要调整整个Siamese网络的网络参数，使之输出的结果与已知的结果一致，即输出的结果为两幅图像相似。本实施例采用大量的样本图像对对双分支Siamese网络进行训练，训练后的Siamese网络的精准度很高。

此处，补充一点，由于整个双分支Siamese网络的输出结果为相似或者不相似两种结果，因此，前述所说的构建的双分支Siamese网络连接的两个全连接层的最后一个全连接层包含两个神经元，代表两种不同种类的结果。另外，由于单支Siamese网络的最后一个全连接层的神经元个数为128个，两个单支Siamese网络的最后一个全连接层拼接起来的神经元个数有256个，而整个双分支Siamese网络的最后一个全连接层的神经元个数为2个，为了更好的过渡，在整个双分支Siamese网络的最后一个全连接层之前再连接一个全连接层，其包含的神经元个数可以设定在256和2之间，本实施例通过设定为64和神经元。

对构建的双分支Siamese网络训练之后，采用训练后的单支Siamese网络提取图像的深度网络特征，提取的深度网络特征具有很强的鉴别力，本实施例提取的深度网络特征属于全局特征，对图像的全局信息和语义信息等描述能力较强。具体的，从训练后的双分支Siamese网络中选取一支Siamese网络来提取图像的深度网络特征。将数据库中的每一个模板图像均输入训练后的单支Siamese网络，通过该单支Siamese网络提取每一个模板图像的128维深度网络特征，并将每一个模板图像和其128维深度网络特征的对应关系存储于数据库中。

步骤S1中还将待检索图像输入训练后的单支Siamese网络，通过该单支Siamese网络提取待检索图像的128维深度网络特征。

步骤S2计算提取的待检索图像的128维深度网络特征与数据库中每一个模板图像的128维深度网络特征之间的相似度，这128维深度网络特征之间的相似度表征待检索图像与模板图像之间的相似度。本实施例中，计算待检索图像的128维深度网络特征与每一个模板图像的128维深度网络特征之间的欧式距离或者余弦距离，距离越小，表明待检索图像与模板图像之间的相似度越大，距离越大，表明待检索图像与模板图像之间的相似性越小。步骤S3将与待检索图像的128维深度网络特征的欧式距离或者余弦距离最小的128维深度网络特征对应的模板图像确定为待检索图像的检索结果图像。

本实施例通过训练后的Siamese网络提取图像的深度网络特征，通过Siamese网络提取的深度网络特征的鉴别力强，使得最终图像检索准确率高；通过改造Siamese网络，使提取图像的深度网络特征的维数可以根据检索效率适当设定，相比现有的基于局部特征的众多数量而言，采用本实施例的Siamese网络可以提取适当维数的深度网络特征，检索效率高。

参见图3，为本发明另一个实施例的基于Siamese网络的图像检索系统，包括第一特征提取模块21、相似度计算模块22和确定模块23。

第一特征提取模块21，用于将待检索图像输入训练后的单支Siamese网络，以便通过所述单支Siamese网络提取出所述待检索图像的深度网络特征。

相似度计算模块22，用于计算所述待检索图像的深度网络特征与数据库中每一个模板图像的深度网络特征之间的相似度，该相似度表征待检索图像与每一个模板图像之间的相似度。

确定模块23，用于将与所述待检索图像的相似度最大的模板图像确定为所述待检索图像对应的检索结果图像。

参见图4，本实施例提供的基于Siamese网络的图像检索系统，还包括第二特征提取模块24和存储模块25。

第二特征提取模块24，用于将数据库中的每一个模板图像均通过训练后的单支Siamese网络，以便通过所述单支Siamese网络提取每一个模板图像的多个深度网络特征。

存储模块25，用于将每一个模板图像与其多个深度网络特征的对应关系存储于数据库中。

其中，所述第一提取模块21，具体用于：

将待检索图像输入训练后的单支Siamese网络，以便提取待检索图像的多个深度网络特征；

所述相似度计算模块22，具体用于：

计算所述待检索图像的多个深度网络特征与每一个模板图像的多个深度网络特征之间的欧氏距离或者余弦距离；

所述确定模块23，具体用于：

将与所述待检索图像的多个深度网络特征的欧式距离或者余弦距离最小的多个深度网络特征对应的模板图像确定为待检索图像的检索结果图像。

本发明提供的一种基于Siamese网络的图像检索方法及系统，通过构建Siamese网络，并对构建的Siamese网络进行训练，通过训练后的Siamese网络提取图像的深度网络特征，随后将待检索图像的深度网络特征与每一个模板图像的深度网络特征进行相似性的计算，与待检索图像的特征最相似的模板图像即为检索结果图像，使用训练后的Siamese网络提取图像的深度网络特征具有很高的鉴别力，因此使得Siamese网络用在图像检索领域具有很高的精确性；通过改造Siamese网络，使提取图像的深度网络特征的维数可以根据检索效率适当设定，相比现有的基于局部特征的众多数量而言，采用本实施例的Siamese网络可以提取适当维数的深度网络特征，提取的深度网络特征的维数比局部特征的数量较少，检索效率高，同时相比现有的采用预训练的网络提取的特征，提取的深度网络特征的维数比较多，保证了图像检索的精确度，因此，本发明既保证了图像检索的效率，同时也保证了图像检索的准确度。

本申请的方法和系统仅为较佳的实施方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于Siamese网络的图像检索方法，其特征在于，包括：

S1，将待检索图像输入训练后的单支Siamese网络，以便通过所述单支Siamese网络提取出所述待检索图像的深度网络特征；

S2，计算所述待检索图像的深度网络特征与数据库中每一个模板图像的深度网络特征之间的相似度，该相似度表征待检索图像与每一个模板图像之间的相似度；

S3，将与所述待检索图像的相似度最大的模板图像确定为所述待检索图像对应的检索结果图像。

2.如权利要求1所述的基于Siamese网络的图像检索方法，其特征在于，所述步骤S1之前还包括：

构建双分支的Siamese网络，其中，所述双分支的Siamese网络由两支相同的单支Siamese网络并联拼接而成。

3.如权利要求2所述的基于Siamese网络的图像检索方法，其特征在于，每支单支Siamese网络均具有多个全连接层，最后一个全连接层包含预设数量的神经元，且拼接后的双分支Siamese网络还连接有两个全连接层，其中，第一全连接层包含的神经元按照具体情况设定，第二个全连接层包含的神经元个数与整个双分支Siamese网络的输出结果种类个数相等。

4.如权利要求3所述的基于Siamese网络的图像检索方法，其特征在于，所述步骤S1之前还包括：

采用正集合样本和负集合样本对构建的双Siamese网络进行训练，其中，所述正集合样本为具有相似性的样本图像对，所述负集合样本为不具有相似性的样本图像对。

5.如权利要求4所述的基于Siamese网络的图像检索方法，其特征在于，所述采用正集合样本和负集合样本对构建的双Siamese网络进行训练具体包括：

选取具有相似性的样本图像对和不具相似性的样本图像对，将样本图像对中的两幅图像分别输入双Siamese网络的两分支网络，并获取双Siamese网络输出的样本图像对的相似性结果；

计算双分支Siamese网络输出的样本图像对的相似性结果与该样本图像对已知的相似性结果之间的误差值；

根据所述误差值对双分支Siamese网络的网络参数反复进行调整，直到所述误差值小于预设误差值。

6.如权利要求5所述的基于Siamese网络的图像检索方法，其特征在于，所述步骤S1之前还包括：

将数据库中的每一个模板图像均通过训练后的单支Siamese网络，以便通过所述单支Siamese网络提取每一个模板图像的多个深度网络特征，并将每一个模板图像与其多个深度网络特征的对应关系存储于数据库中。

7.如权利要求6所述的基于Siamese网络的图像检索方法，其特征在于，所述步骤S1具体包括：

将待检索图像输入训练后的单支Siamese网络，以便提取待检索图像的多个深度网络特征；

所述步骤S2具体包括：

计算所述待检索图像的多个深度网络特征与每一个模板图像的多个深度网络特征之间的欧氏距离或者余弦距离；

所述步骤S3具体包括：

将与所述待检索图像的多个深度网络特征的欧式距离或者余弦距离最小的多个深度网络特征对应的模板图像确定为待检索图像的检索结果图像。

8.一种基于Siamese网络的图像检索系统，其特征在于，包括：

第一特征提取模块，用于将待检索图像输入训练后的单支Siamese网络，以便通过所述单支Siamese网络提取出所述待检索图像的深度网络特征；

相似度计算模块，用于计算所述待检索图像的深度网络特征与数据库中每一个模板图像的深度网络特征之间的相似度，该相似度表征待检索图像与每一个模板图像之间的相似度；

确定模块，用于将与所述待检索图像的相似度最大的模板图像确定为所述待检索图像对应的检索结果图像。

9.如权利要求8所述的基于Siamese网络的图像检索系统，其特征在于，还包括：

第二特征提取模块，用于将数据库中的每一个模板图像均通过训练后的单支Siamese网络，以便通过所述单支Siamese网络提取每一个模板图像的多个深度网络特征；

存储模块，用于将每一个模板图像与其多个深度网络特征的对应关系存储于数据库中。

10.如权利要求9所述的基于Siamese网络的图像检索系统，其特征在于，

所述第一提取模块，具体用于：

将待检索图像输入训练后的单支Siamese网络，以便提取待检索图像的多个深度网络特征；

所述相似度计算模块，具体用于：

计算所述待检索图像的多个深度网络特征与每一个模板图像的多个深度网络特征之间的欧氏距离或者余弦距离；

所述确定模块，具体用于：

将与所述待检索图像的多个深度网络特征的欧式距离或者余弦距离最小的多个深度网络特征对应的模板图像确定为待检索图像的检索结果图像。