CN111090768A - 一种基于深度卷积神经网络的相似图像检索系统和方法 - Google Patents

Abstract

本发明提供了一种基于深度卷积神经网络的相似图像检索系统和方法，图像检索系统通信连接互联网，包括：一样本生成模块；一对比模块；一训练模块；一辅助筛选模块；其中样本生成模块用于识别和分析随机样本的图像特征信息，通过计算样本图像特征矢量，并形成样本图像特征矢量库，对比模块用于图像特征矢量对比，以获取相似图像信息，其中样本训练模块采用Lifted Struct loss函数训练样本数据，用于形成第一算法模型，辅助筛选模块用于标注相似图像，本发明通过构建两种数据模型可使得训练的数据更快收敛。

Description

一种基于深度卷积神经网络的相似图像检索系统和方法

发明领域

技术方案涉及一种图像检索系统和方法，特别涉及一种基于深度卷积神经网络的相似图像检索系统和方法。

发明背景

随着网络通信的发展，基于图像内容的检索越来越流行，但在现有图像检索由于受到信息孤岛和检索方式的影响，图像检索效率低下，效果不能满足需求，比如在对服饰的检索需求中，无法对服饰图像特有的分类逻辑和视觉特征进行优化，从而导致检索结果无法达到用户预期。在图像检索领域中，深度学习技术通常采用损失函数对训练的样本集进行训练，常用的损失函数包括：Contrastive loss函数、Triplet loss函数、Lifted Structloss函数等，在传统的图像检索方案中常用图片的全局特征比如颜色、纹理、形状或者局部特征如SIFT、SURF或者是两者的结合作为图像矢量用来度量图片之间的距离，在实际的检索过程中，输出图像可能非常相似或是相同，也就是说，传统基于深度度学习的图像检索仅仅是将数据处理后的图像数据输入深度网络进行训练，对背景泛化能力较弱，并且通常训练数据不充分，输出的数据精度不高。

发明内容

本发明其中一个目的在于提供一种基于深度卷积神经网络的相似图像检索系统和方法,其中所述检索系统和方法可根据用户特定的分类的逻辑和视觉特征进行个性化检索，可提高图像检索的效率和质量。

本发明另一个目的在于提供一种基于深度卷积神经网络的相似图像检索系统和方法，其中所述检索系统和方可用于联网学习，基于深度卷积神经网络算法可提高图像数据检索的精度。

本发明另一个目的在于提供一种基于深度卷积神经网络的相似图像检索系统和方法，其中所述图像检索方法优选采用Lifted Struct loss函数进行数据集训练，由于Lifted Struct loss函数能考虑选取的数据集中所有成对图像之间的成对距离，从而可以提高数据集相似度的查全率。

本发明另一个目的在于提供一种基于深度卷积神经网络的相似图像检索系统和方法，其中所述图像检索和方法在建立初版数据模型后，选择不相似的数据集中的相似图像重新构成样本集，并投入数据模型进行相似度训练，并根据相似度大小按顺序排列输出，藉此，可使检索结果更加全面和准确。

本发明另一个目的在于提供一种基于深度卷积神经网络的相似图像检索系统和方法，其中所述检索系统和方法通过图像内容中区域裁剪和选择，用户可手动选择裁剪图像区域，从而可实现个性化检索服务。

本发明另一个目的在于提供一种基于深度卷积神经网络的相似图像检索系统和方法，所述检索系统方法可同时采用自动学习和主动学习的方式可以有效地提高数据训练的效率。

本发明另一个目的在于提供一种基于深度卷积神经网络的相似图像检索系统和方法，其中所述检索系统和方法还包括辅助筛选步骤，通过数据的输出后将不满足检索要求类别的图片按照一定筛选规则进行人工或自动筛选，从而可以使得输出的数据结果更加合理准确。

本发明另一个目的在于提供一种基于深度卷积神经网络的相似图像检索系统和方法，其中所述检索系统和方法采用深度卷积神经网络提提取相似度特征，并优选采用局部感知的方式获取图像信息，以提高图像检索效率，并且使得输出的数据图像更加符合实际场景。

本发明另一个目的在于提供一种基于深度卷积神经网络的相似图像检索系统和方法，所述检索系统和方法采用包括但不仅限于随机采集、图像水平翻转、颜色空间转换、随机转换对样本集数据增强。

为了实现至少一个上述发明目的，本发明进一步提供一种基于深度卷积神经网络的相似图像检索系统，所述图像检索系统通信连接互联网，用于样本数据采集，包括：

一样本生成模块；

一对比模块；

一训练模块；

一辅助筛选模块；

其中所述样本生成模块用于识别和分析随机样本的图像特征信息，通过计算所述样本图像特征矢量，并形成所述样本图像特征矢量库，所述对比模块用于图像特征矢量对比，以获取相似图像信息，其中样本训练模块采用Lifted Struct loss函数训练样本数据，用于形成第一算法模型，所述辅助筛选模块用于标注相似图像。

根据本发明其中一个较佳实施例，所述样本生成模块还用于构建困难样本集，其中通过获取不同类别中相似度较大的图像重新构成所述困难样本集，所述困难样本集供训练模块数据训练。

根据本发明其中一个较佳实施例，所述样本生成模块还用于从互联网随机获取并构建所述困难样本集，以供所述训练模块进行样本数据训练，以形成第二算法模型。

根据本发明其中一个较佳实施例，所述样本生成模块采用深度卷积神经网络获取图像特征信息，便于获取更精准的图像特征信息。

根据本发明其中一个较佳实施例，所述辅助筛选模块采用包括人工/自动筛选去除相似不同类图像，以优化所述第一和/或第二算法模型。

根据本发明其中一个较佳实施例，所述图像检索系统还包括数据增强模块，所述数据增强模块采用矩阵框随机裁剪、图片翻转、颜色空间转换、随机旋转中的至少一种方式增强数据，用于泛化图像背景。

为了实现上述至少一发明目的，本发明进一步提供一种基于深度卷积神经网络的相似图像检索方法，包括如下步骤：

S01：构建第一样本集，通过标记筛选所述第一样本集中指定类别的图像，以形成第二样本集；

S02：通过深度卷积神经网络提取所述第二样本集中图像特征信息，并计所述第二样本集中图像特征信息的特征矢量，以形成对应于所述第二样本集的特征矢量库；

S03:计算目标图像特征矢量，并和所述第二样本集中图像特征矢量相对比提取相似度信息，通过对比并按照相似度大小排序输出图像特征信息；

S04：根据输出的图像特征信息标记筛选，选出相似图标并重复上述S01-S03步骤。

根据本发明其中一个较佳实施例，在上述S02步骤中进一步包括以下步骤：

S021：在所述第二样本集中随机选取n(n大于等于4)个图像中任意2个图像作为成对图像组成一容量为2n训练集，通过计算所述训练集的特征矢量，对比目标图像特征矢量和训练集中特征矢量，按照相似度大小排列输出图像特征，以形成第一算法模型。

根据本发明另一较佳实施例，在上述S02步骤中进一步包括以下步骤：

S022：通过联网查询和获取不同类别中的相似图像，组成一困难样本集，计算所述困难样本集的特征矢量，根据Lifted struct loss函数训练所述困难样本集，并输出相似图像特征，以形成第二算法模型。

进一步地，在上述困难样本集的构建包括如下步骤：

S0221：选取至少一万张图像，采用上述第一或第二算法模型计算生成该组图像的特征矢量；

S0222：计算并生成特征矢量距离矩阵，获取不同类别中平均距离最近类别的特征矢量，构建所述困难样本集，用于数据训练。

根据本发明其中一个较佳实施例，在上述S021中还包括如下步骤：对所述训练集中图像采用随机裁剪、图片水平翻转、颜色空间转换、图片随机缩放以及随机旋转等方式中的至少一种增强数据，以避免数据过拟合。

根据本发明其中一个较佳实施例，在上述S021步骤中，第一和第二算法模型所提到的方法中，Lifted struct loss函数的base lr(学习率)数值为0.01-0.0001，lr_mult(学习系数)＝1，训练数据量为1000万张图片。

根据本发明其中一个较佳实施例，在上述S02步骤中，所述深度卷积神经网络识别获取图像的局部特征，从而可以减少运算压力。

附图说明

图1显示的是本发明一种基于深度卷积神经网络的相似图像检索系统的流程示意图；

图2显示的是本发明一种基于深度卷积神经网络的相似图像检索方法流程示意图；

图3显示的是本发明一种基于深度卷积神经网络的相似图像检索系统模块示意图；

图4显示的是本发明一种基于深度卷积神经网络的相似图像检索方法困难样本构建方法示意图。

具体实施方式

以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。

本领域技术人员应理解的是，在本发明的揭露中，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系是基于附图所示的方位或位置关系，其仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此上述术语不能理解为对本发明的限制。

可以理解的是，术语“一”应理解为“至少一”或“一个或多个”，即在一个实施例中，一个元件的数量可以为一个，而在另外的实施例中，该元件的数量可以为多个，术语“一”不能理解为对数量的限制

请参考本发明图3显示的检索系统模块示意图，所述检索系统包括一样本生成模块，一对比模块，一训练模块，和一辅助筛选模块，其中所述样本生成模块用于生成供样本集或训练集，以供训练模块训练，其中所述样本集和训练集可选择地从数据库或互联网中构建。在一较佳实施方式中，所述样本生成模块从已有的数据库中构建第一样本集，在用户输入目标检索图像内容时，通过分类和筛选以形成指定类别的第二样本集，举例来说：从数据库中获取的第一样本集中可能包括衣服、鞋子、裤子、帽子，而用户的检索目标是一种帽子上的花纹，因此，为了使得样本集在数据训练的时候更快收敛，可以通过分类的方式筛选出帽子的样本集，从而便于检索和数据训练，由于程序进行筛选和分类可能会出现一些误差，因此筛选步骤还包括人工筛选标记。本实施方式通过训练所获得第一数据模型，由于训练数据较小，训练的结果可能是检索到过于相似或相同的数据集。

第二样本集通过深度卷积神经网络获取所述第二样本集的图像特征，由于深度神经卷积网络具有较好的识别和分析能力，可以识别分析更细微多元的高级特征，比如可用深度神经卷积网络识别花纹的深度和花纹的种类，因此可大幅提高图像检索能力。

请参考图1和图2显示的相似图像检索方法流程示意图，根据目标检索条件，计算所述第二样本集中的图像相似度信息，根据相似度排名输出对应的相似度信息，需要说明的是，对于所述第二样本中的相似度信息，优选按照如下方法获取：

S01：构建图像特征矢量库；

S02：通过深度卷积神经网络识别获取目标图像特征；

S03：计算获得目标图像的特征矢量；

S04：从图像特征矢量库中根据从特征矢量相似度大小排列提取图像；

值得一提的是，在上述的构建图像特征矢量库步骤中，构建方式包括从已有的数据库中构建，或者通过拍照输入形成数据库，并且数据库的可以是单个或多个数据库，所述图像特征矢量库的存储方式包括但不仅限于硬盘存储或分布式存储，可以理解的是，图像特征矢量库的形成方式不是本发明的限制。

需要说明的是，所述样本生成模块采用深度卷积神经网络识别获取目标图像特征或数据库图像特征包括通过计算机像素扫描的方式获取对应的目标图像，其中目标图像的获取包括但不仅限于用户截图，指定区域点击扫描，用户语音识别计算等，也就是说，用户端的在上述实施方式中，可嵌入其他比如语音识模块，接触感应模块等辅助识别和获取指定图像的功能模块，构建的图像特征矢量库可以通过深度卷积神经网络对第二样本集中的图像进行分析和处理，以获取所述第二样本集中的图像特征矢量，由于深度卷积神经网络中卷积层对图像的提取依据图片的像素特征和数目，因此，为了减少深度卷积神经网络中神经元的参数，本发明优选采用局部感知的方式获取图像特征，并且在不同的神经元(卷积层)之间获取和输出不同图像特征矢量。

请参考图2和3，需要进一步说明的是，所述样本生成模块生成的样本集用于数据集训练，所述第二样本集中相似度提取的方法中包括通过第二样本集对进行训练：随机从所述第二样本集中选取n(n大于等于4)的不相似图像中任意两图像成对地组成一个容量为2n的训练集，并且以随机裁剪、图片水平翻转、颜色空间转换，图片随机缩放以及随机旋转方式进行数据增强，并根据Lifted struct loss函数计算所述训练集的相似度信息，并输出训练后的图像信息，以形成第一数据模型。训练后的图像可以通过设置自动筛选或人工筛选的方式重新组建样本集，并再次投入所述数据模型中训练，从而优化所述数据模型，以形成第一算法模型，当然上述训练集的形成方式仅仅是作为一种举例，在其他可行的实施方式中，样本容量可根据实际场景选择大小。

所述第一数据模型是基于现有的图像数据库训练的结果，数据模型进步缓慢，由于用于训练的数据量较小，并且数据种类单一，输出的图像信息高度同质化，因此，为了符合检索需求，所述样本生成模块进一步采用联网构建困难样本集，用于数据模型训练，包括如下步骤：

S022：通过联网查询和获取不同类别的相似图像，组成一困难样本集，计算所述困难样本集的特征矢量，根据Lifted struct loss函数训练所述困难样本集，并输出相似图像特征，以形成第二算法模型。

其中，对于训练后的输出结果，可进一步通过辅助筛选程序剔除不同类别不相似图片，藉此可实现训练后用户搜索的图片相似的更加相似，不相似的更加不相似。

所述样本生成模块可设置一爬虫，用于批量下载或抓取互联网、局域网中的图像信息，用于生成所述困难样本集，本发明通过网络抓取的图像数据优选为1000万张图片，并且优选设置深度学习的学习率为0.001，学习系数为1。

请参考图4所示的困难样本集形成方法图，所述困难样本集生成方法包括如下步骤：

S0221：选取至少一万张图像，计算该组图片的特征矢量；

S0222：计算并生成特征矢量距离矩阵，获取不同类别中平均距离最近类别的特征矢量，构建所述困难样本集，用于数据训练。

需要说明的是，在S0221中，联网构建困难样本在初始阶段使用第一算法模型进行数据训练，后续可使用所述第二算法模型进行数据训练，通过筛选和调整算法模型不断更新算法模型，以供后续数据训练。

所述第一算法模型和第二算法模型可同时使用，并且可以根据实际的场景做适配性更改，第一算法模型和第二算法模型的结合使用可兼顾数据训练的效率和质量。

为了更好地理解本发明，本发明以检索服饰纹样为例解释本发明的技术效果：

当用户输入指定检索图像时，比如毛衣上的红色心形图像，通过现有图像数据库中直接构建初版数据模型，根据Lifted struct loss函数训练现有数据库以形成所述初版数据模型，初版数据模型中检索到的可能是同类的相似图像信息(毛衣上一个心形图)或完全不同类不相似信息(鞋子上一个方形图)或近似类相似信息(寸衫上一个心形图)，通过人工或计算机筛选的方式排除(鞋子上一个方形图)，保留(毛衣上一个心形图)和(寸衫上一个心形图)，并将保留的图像信息重新输入构建的初版数据模型，使得数据模型更加精准，由于数据库的和现有技术识别能力的限制，数据库中可能并没有(寸衫心形数据图像)，因此检索到图像可能仅仅是(毛衣上一个心形图)，数据模型无法得到更好的训练，因此通过联网的方式从互联网抓取图像信息用于数据训练可以解决这类问题，并且通过构建矢量矩阵的方式寻找最接近目标检索图像距离的同类图像作为困难样本集训练所述数据模型可以使得数据模型收敛更快，效果更好，也就是说，通过爬虫抓取互联网上的图像信息，并且构建比如最接近的类可能是棉质毛衣，通过大批量的数据训练可以找到大量的相似的图像信息，使得数据模型效果更好，当然本发明还可以根据困难样本集中的距离矩阵找到更拓展的相似图像信息，可以根据不同用户需求做适配性调整。

需要说明的是，本发明中所提及的相似度较大指的的是根据对图片中特征矢量进行计算，通过对比获取的相似度大小的比较，并且可以通过人工或自动筛选的方式进行筛选，较大的含义在本发明中是可能根据筛选的规则判定，因此较大在本发明中的定义是清楚的。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。在该计算机程序被中央处理单元(CPU)执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本领域的技术人员应理解，上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明，本发明的目的已经完整并有效地实现，本发明的功能及结构原理已在实施例中展示和说明，在没有背离所述原理下，本发明的实施方式可以有任何变形或修改。

Claims (12)

1.一种基于深度卷积神经网络的相似图像检索系统，所述图像检索系统通信连接互联网，其特征在于，包括：

一样本生成模块；

一对比模块；

一训练模块；

一辅助筛选模块；

其中所述样本生成模块用于识别和分析随机样本的图像特征信息，通过计算所述样本图像特征矢量，并形成所述样本图像特征矢量库，所述对比模块将图像特征矢量对比，以获取相似图像信息，其中所述训练模块采用Lifted Struct loss函数训练样本数据，用于形成第一算法模型，所述辅助筛选模块用于标注相似图像。

2.根据权利要求1所述的一种基于深度卷积神经网络的相似图像检索系统，其特征在于，所述样本生成模块还用于构建困难样本集，其中通过获取不同类别中相似度较大的图像重新构成所述困难样本集，所述困难样本集供训练模块数据训练。

3.根据权利要求2所述的一种基于深度卷积神经网络的相似图像检索系统，其特征在于，所述样本生成模块还用于从互联网随机获取并构建所述困难样本集，以供所述训练模块进行样本数据训练，以形成第二算法模型。

4.根据权利要求1所述的一种基于深度卷积神经网络的相似图像检索系统，其特征在于，所述样本生成模块采用深度卷积神经网络获取图像特征信息，便于获取更精准的图像特征信息。

5.根据权利要求1所述的一种基于深度卷积神经网络的相似图像检索系统，其特征在于，所述辅助筛选模块采用包括人工/自动筛选去除相似不同类图像，以优化所述第一和/或第二算法模型。

6.根据权利要求1所述的一种基于深度卷积神经网络的相似图像检索系统，其特征在于，所述图像检索系统还包括数据增强模块，所述数据增强模块采用矩阵框随机裁剪、图片翻转、颜色空间转换、随机旋转中的至少一种方式增强数据，用于泛化图像背景。

7.一种基于深度卷积神经网络的相似图像检索方法，其特征在于，包括如下步骤：

S01：构建第一样本集，通过标记筛选所述第一样本集中指定类别的图像，以形成第二样本集；

S02：通过深度卷积神经网络提取所述第二样本集中图像特征信息，并计所述第二样本集中图像特征信息的特征矢量，以形成对应于所述第二样本集的特征矢量库；

S03:计算目标图像特征矢量，并和所述第二样本集中图像特征矢量相对比提取相似度信息，通过对比并按照相似度大小排序输出图像特征信息；

S04：根据输出的图像特征信息标记筛选，选出相似图标并重复上述S01-S03步骤。

8.根据权利要求7所述的一种基于深度卷积神经网络的相似图像检索方法，其特征在于，在上述S02步骤中进一步包括以下步骤：

S021：从所述第二样本集中随机选取n(n大于等于4)个图像中任意2个图像作为成对图像组成一容量为2n训练集，通过计算所述训练集的特征矢量，对比目标图像特征矢量和训练集中特征矢量，按照相似度大小排列输出图像特征，以形成第一算法模型。

9.根据权利要求7或8所述的一种基于深度卷积神经网络的相似图像检索方法，其特征在于，在上述S02步骤中进一步包括以下步骤：

S022：通过联网查询和获取不同类别中的相似图像，组成一困难样本集，计算所述困难样本集的特征矢量，根据Lifted struct loss函数训练所述困难样本集，并输出相似图像特征，以形成第二算法模型。

10.根据权利要求9所述的一种基于深度卷积神经网络的相似图像检索方法，其特征在于，在所述困难样本集的构建包括如下步骤：

S0221：选取至少一万张图像，采用上述第一或第二算法模型计算生成该组图像的特征矢量；

S0222：计算并生成特征矢量距离矩阵，获取不同类别中平均距离最近类别的特征矢量，构建所述困难样本集，用于数据训练。

11.根据权利要求10所述的一种基于深度卷积神经网络的相似图像检索方法，其特征在于，在上述S021中还包括如下步骤：

对所述训练集中图像采用随机裁剪、图片水平翻转、颜色空间转换、图片随机缩放以及随机旋转等方式中的至少一种增强数据，以避免数据过拟合。

12.根据权利要求7所述的一种基于深度卷积神经网络的相似图像检索方法，其特征在于，在上述S02步骤中，所述深度卷积神经网络识别获取图像的局部特征，以减少运算压力。

Images