CN112163106A

CN112163106A - 二阶相似感知的图像哈希码提取模型建立方法及其应用

Info

Publication number: CN112163106A
Application number: CN202011059408.8A
Authority: CN
Inventors: 刘渝; 汪洋涛; 周可; 管飞宇; 夏天
Original assignee: Huazhong University of Science and Technology
Current assignee: Huazhong University of Science and Technology
Priority date: 2020-09-30
Filing date: 2020-09-30
Publication date: 2021-01-01
Anticipated expiration: 2040-09-30
Also published as: CN112163106B

Abstract

本发明公开了一种二阶相似感知的图像哈希码提取模型建立方法及其应用，属于图像检索领域，包括：利用预训练模型提取图像数据集中各图像的特征；以特征为节点，以特征间的相似度为对应节点间边的权重，建立图模型，并构建其邻接矩阵；建立同时包含一阶和二阶接近度重构误差的损失函数；以邻接矩阵中的每一行为输入，对自编码器进行训练；在损失函数收敛时，提取自编码器正中间隐藏层的输出，并转换为二进制哈希码，作为对应图像的哈希标签；对图像数据集进行抽样，由抽样得到的图像及其对应的哈希标签构成训练集；利用训练集训练神经网络，得到图像哈希码提取模型。本发明能够修复图像特征中存在的语义偏差，提高图像检索的准确性。

Description

二阶相似感知的图像哈希码提取模型建立方法及其应用

技术领域

本发明属于图像检索领域，更具体地，涉及一种二阶相似感知的图像哈希码提取模型建立方法及其应用。

背景技术

哈希算法因其在图像存储和匹配的高效性而被广泛用于大规模检索。随着深度学习的飞速发展，基于卷积神经网络(CNN)的图像特征提取已经成为主流的哈希方法。但是，在深度学习训练中对标签信息的依赖性限制了深度哈希算法的实用性，一方面，精心收集此类标签是劳动密集型且昂贵的，另一方面，得到的标签集也很难涵盖所有分类的多样性。因而需要更好的解决办法。

针对上述限制，现有解决方法技术存在以下问题：

1、语义相关性衡量不准确：目前的自学习哈希算法所依赖的图嵌入算法只考虑了图像的一阶相似性，导致通过单目标图像模型在提取多目标图像特征时，会产生比较严重的语义偏差，降低了检索的准确性。

2、计算开销过大：现有方法使用图算法必须在图上完成映射，因此，每当有新数据出现时，都必须重复构图，重新计算数据间的彼此关系，进而导致巨大的计算开销。

总体而言，现有的针对图像检索的哈希算法在检索准确性和计算开销上仍然需要进一步提高。

发明内容

针对现有技术的缺陷和改进需求，本发明提供了一种二阶相似感知的图像哈希码提取模型建立方法及其应用，其目的在于，在单标签模型获得的特征下，通过二阶相似性修复一阶相似性无法捕捉的关系，再将这些关系映射到伪标签中，训练端到端的哈希模型，由此解决现有的哈希算法的检索准确性低、计算开销大的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种二阶相似感知的图像哈希码提取模型建立方法，包括：哈希标签生成阶段和哈希模型学习阶段；

哈希标签生成阶段包括：

利用预训练模型提取图像数据集中各图像的特征；以特征为节点，以特征间的相似度为对应节点间边的权重，建立图模型，并构建图模型的邻接矩阵；

建立同时包含一阶接近度损失和二阶接近度重构误差的损失函数；以邻接矩阵中的每一行为自编码器的输入，对自编码器进行训练，直至损失函数收敛；

在损失函数收敛时，提取自编码器中位于正中间的隐藏层的输出，并转换为二进制哈希码，作为对应图像的哈希标签，从而得到图像数据集中各图像对应的哈希标签；

哈希模型学习阶段包括：

对图像数据集进行抽样，由抽样得到的图像及其对应的哈希标签构成训练集；

利用训练集对神经网络进行训练，从而在训练结束后，得到图像哈希码提取模型。

进一步地，哈希标签生成阶段中，所建立的损失函数为：

L＝αL_so+βL_fo+γL_r；

其中，L_so为二阶接近度重构误差，L_fo为一阶接近度损失，为L_r为防止过拟合的正则项；α、β、γ均为超参数，且α+β+γ＝1。

进一步地，

其中，μ为超参数，N表示所提取的特征总数，u_i为邻接矩阵的第i行，

为将u_i输入自编码器后得到的输出，L_soh为每个隐藏层重构误差之和，||·||₂表示二阶范数。

进一步地，

其中，

和

分别表示将邻接矩阵的i行u_i和第j行u_j输入自编码器后，自编码器中位于正中间的隐藏层的输出；N表示所提取的特征总数，||·||₂表示二阶范数。

进一步地，

其中，M表示自编码器中位于正中间的隐藏层f_i ^(M)对应的层数，W^(m)表示自编码器中第m层隐藏层f_i ^(m)的权重，

表示自编码器中隐藏层

的权重，隐藏层f_i ^(m)和

关于隐藏层f_i ^(M)对称，||·||₂表示二阶范数，||·||_F表示F范数。

进一步地，哈希标签生成阶段中，将自编码器中位于正中间的隐藏层的输出

转换为二进制哈希码h_i，其转换公式为：

其中，

表示输出

中的第p位，

表示二进制哈希码h_i中的第p位。

进一步地，图像哈希码提取模型中的输出层用于将前一层的输出

转换为二进制哈希码H_i，且其转换公式为：

其中，

表示输出

中的第p位，

表示二进制哈希码H_i中的第p位。

按照本发明的另一个方面，提供了一种二阶相似感知的图像哈希码提取方法，包括：将待处理图像输入由本发明提供的二阶相似感知的图像哈希码提取模型建立方法建立的图像哈希码提取模型，以提取待处理图像的哈希码。

按照本发明的又一个方面，提供了一种图像检索方法，包括：

图像哈希码库建立步骤：利用本发明提供的二阶相似感知的图像哈希码提取方法，提取图像库中各图像的哈希码并存储，以建立用于图像检索的图像哈希码库；

检索步骤：对于待检索的目标图像，利用本发明提供的二阶相似感知的图像哈希码提取方法提取其哈希码，并获取图像哈希码库中与目标图像的哈希码距离最近的前topK图像，作为检索结果；

其中，topK为正整数。

按照本发明的又一个方面，提供了一种计算机可读存储介质，包括存储的计算机程序，计算机程序被处理器执行时，控制计算机可读存储介质设备执行本发明提供的二阶相似感知的图像哈希码提取模型建立方法，和/或本发明提供的二阶相似感知的图像哈希码提取方法，和/或本发明提供的图像检索方法。

总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：

(1)本发明在对自编码器进行训练的过程中，在损失函数中引入二阶接近度重构误差，使得自编码器在对图像特征进行编码的过程中，能够捕捉到两幅图像的特征与相同图像的特征关联相似的距离，即二阶相似性，从而修复了图像特征中存在的语义偏差，有效解决现有的哈希算法中存在的语义相关性衡量不准确的问题，提高了图像检索的准确性。

(2)本发明先利用自编码器对图像特征进行压缩，并转换为对应的二进制哈希码，作为伪标签来训练得到端到端的图像哈希码提取模型，避免了为新数据重建图像的开销，有效解决了现有的哈希算法计算开销大的问题，提高了图像检索的效率。

(3)本发明在图像检索过程中，通过图像哈希码间的距离来确定检索结果，所涉及的计算量小，能够进一步提高图像检索的效率；由于图像的哈希码具有唯一性，能够进一步提高图像检索的准确性。

附图说明

图1为本发明实施例提供的二阶相似感知的图像哈希码提取模型建立方法示意图；

图2为本发明实施例提供的哈希标签生成阶段示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

在本发明中，本发明及附图中的术语“第一”、“第二”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

为了解决现有的面向大规模图像检索的哈希算法中所存在的检索准确率低、计算开销大的技术问题，本发明提供了一种二阶相似感知的图像哈希码提取模型建立方法及其应用，其整体思路在于：在单标签模型获得的特征下，通过二阶相似性修复一阶相似性无法捕捉的关系，再将这些关系映射到伪标签中，训练端到端的哈希模型，用于提取图像的哈希码。以下为实施例。

实施例1：

一种二阶相似感知的图像哈希码提取模型建立方法，如图1所示，包括：哈希标签生成阶段和哈希模型学习阶段；

如图1和图2所示，哈希标签生成阶段包括：

哈希模型学习阶段包括：

作为一种可选的实施方式，如图1所示，本实施例的哈希标签生成阶段中，用于提取图像特征的预训练模型为GoogLeNet，应当说明的是，此处仅为本发明的一种可选的实施方式，在本发明其他的一些实施例中，也可采用ResNet等其他图像特征提取模型；

本实施例中，所提取的特征为z(z为正整数)维空间特征向量，所提取的特征总数为N，相应地，在哈希标签生成阶段中，所建立的图模型表示为g＝(FV,sε)，其中，FV＝{v₁,v₂,......v_N}代表图g中的N个节点，

代表图g中的边，边的权重

作为一种可选的实施方式，本实施例中，在计算图g中边的权重时，特征间的相似度具体为余弦相似度，其计算公式为：

应当说明的是，在本发明其他的一些实施例中，也可使用其他的计算方式计算特征间的相似度；

本实施例所建立的图g的邻接矩阵由N个元素组成，表示为U＝{u₁,u₂,......u_N}；

作为一种可选的实施方式，本实施例中，自编码器具体为SAE(StackedAutoencoder)模型，如图1所示，其中位于正中间的隐藏层为f_i ^(M)，对应的层数为M；位于隐藏层f_i ^(M)之前的隐藏层f_i ^(m)与位于隐藏层f_i ^(M)之后的隐藏层

关于隐藏层f_i ^(M)对称；为便于描述，在以下计算表达式中，各隐藏层的输出采用与隐藏层相同的符号进行表示，具体地，每层的输出为：

其中，m表示隐藏层的层数，

表示激活函数，W^(m)和b^(m)分别表示第m层隐藏层f_i ^(m)的权重和偏置；

如图2所示，本实施例中，哈希标签生成阶段中，所建立的损失函数为：

L＝αL_so+βL_fo+γL_r；

其中，L_so为二阶接近度重构误差，其表达式为：

μ为超参数，u_i为邻接矩阵U的第i行，

为将u_i输入自编码器后得到的输出，L_soh为每个隐藏层重构误差之和，

其中K_t满足

∑K_t＝1，

L_fo为一阶接近度损失，其表达式为：

和

分别表示将邻接矩阵的i行u_i和第j行u_j输入自编码器后，隐藏层f_i ^(M)的输出；

为L_r为防止过拟合的正则项，其表达式为：

W^(m)表示自编码器中第m层隐藏层f_i ^(m)的权重，

表示自编码器中隐藏层

的权重；

α、β、γ均为超参数，且α+β+γ＝1；

在上述表达式中，||·||₂表示二阶范数，||·||_F表示F范数。

在本实施例中，哈希标签生成阶段中，将自编码器中位于正中间的隐藏层f_i ^(M)的输出

转换为二进制哈希码h_i，其转换公式为：

其中，

表示输出

中的第p位，

表示二进制哈希码h_i中的第p位。

如图1所示，本实施例中，所建立的图像哈希码提取模型为神经网络模型，包括级联的多个卷积层和多个全连接层，每一层的输出分别表示为

其中，x表示输入的图像，q表示层数，

表示对应第q层的输出，W_h ^(q)和b_h ^q分别表示图像哈希码提取模型中第q层的权重和偏置，σ(·)表示激活函数；可选地，本实施例中，激活函数σ(·)具体为LeakyReLU函数，其公式为

λ表示激活函数中直线的斜率；

本实施例中，图像哈希码提取模型中的输出层用于将前一层的输出

转换为二进制哈希码H_i，且其转换公式为：

其中，

表示输出

中的第p位，

表示二进制哈希码H_i中的第p位；

本实施例中，在图像哈希码提取模型的最后一层，使用

作为激活函数，损失函数使用二进制交叉损失熵(BCEL)，具体表达式为：

其中，bl表示二进制哈希码的二进制长度。

本实施例在对自编码器进行训练的过程中，在损失函数中引入二阶接近度重构误差，使得自编码器在对图像特征进行编码的过程中，能够捕捉到两幅图像的特征与相同图像的特征关联相似的距离，即二阶相似性，从而修复了图像特征中存在的语义偏差，有效解决现有的哈希算法中存在的语义相关性衡量不准确的问题，提高了图像检索的准确性；

本实施例先利用自编码器对图像特征进行压缩，并转换为对应的二进制哈希码，作为伪标签来训练得到端到端的图像哈希码提取模型，避免了为新数据重建图像的开销，有效解决了现有的哈希算法计算开销大的问题，提高了图像检索的效率。

总体而言，本实施例在图嵌入算法(Graph embedding，GE)理论基础上，经图嵌入算法处理后的数据，可以通过生成的伪标签来衡量语义相关性，并避免过拟合的问题；在保留图嵌入算法优点的同时，考虑了二阶相似性，能够更加准确地衡量数据间语义相关性，使得多对象图像分类更加准确，同时通过训练哈希模型最大程度的减少资源开销。

实施例2：

一种二阶相似感知的图像哈希码提取方法，包括：将待处理图像输入由上述实施例1提供的二阶相似感知的图像哈希码提取模型建立方法建立的图像哈希码提取模型，以提取待处理图像的哈希码。

本实施例利用上述实施例1建立得到的图像哈希码提取模型，所提取的哈希码中包含了图像中的对象信息以及对象之间的关联关系，由此能够捕捉到两幅图像的特征与相同图像的特征关联相似的距离，即二阶相似性，修复了预训练模型的语义偏差，实现准确衡量语义相关性的目的。

通过对多组数据集的测试表明，本实施例提供的二阶相似性的图想哈希码提取方法(简称为DSTGeH)不仅可以在单对象数据集上产生良好的结果，而且在多对象数据集上产生非常优异的结果，这是因为多目标图像具有更丰富的语义信息和彼此之间的复杂关系。由此可见，DSTGeH可以捕获并建立图像之间更合理的语义关系从而准确地表达这种复杂的拓扑结构，达到在多对象数据集上的由于其他模型的更优效果。

实施例3：

一种图像检索方法，包括：

图像哈希码库建立步骤：利用上述实施例2提供的二阶相似感知的图像哈希码提取方法，提取图像库中各图像的哈希码并存储，以建立用于图像检索的图像哈希码库；

检索步骤：对于待检索的目标图像，利用上述实施例2提供的二阶相似感知的图像哈希码提取方法提取其哈希码，并获取图像哈希码库中与目标图像的哈希码距离最近的前topK图像，作为检索结果；

其中，topK为正整数。

实施例4：

一种计算机可读存储介质，包括存储的计算机程序，计算机程序被处理器执行时，控制计算机可读存储介质设备执行上述实施例1提供的二阶相似感知的图像哈希码提取模型建立方法，和/或上述实施例2提供的二阶相似感知的图像哈希码提取方法，和/或上述实施例3提供的图像检索方法。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。