CN117056550B - 长尾图像检索方法、系统、设备及存储介质 - Google Patents

长尾图像检索方法、系统、设备及存储介质 Download PDF

Info

Publication number
CN117056550B
CN117056550B CN202311320335.7A CN202311320335A CN117056550B CN 117056550 B CN117056550 B CN 117056550B CN 202311320335 A CN202311320335 A CN 202311320335A CN 117056550 B CN117056550 B CN 117056550B
Authority
CN
China
Prior art keywords
agent
hash
dynamic
category
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311320335.7A
Other languages
English (en)
Other versions
CN117056550A (zh
Inventor
谢洪涛
姜炎
张勇东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN202311320335.7A priority Critical patent/CN117056550B/zh
Publication of CN117056550A publication Critical patent/CN117056550A/zh
Application granted granted Critical
Publication of CN117056550B publication Critical patent/CN117056550B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种长尾图像检索方法、系统、设备及存储介质，它们是一一对应的方案，方案中：在尾部类别样本过少的情况下利用动态哈希代理和动态特征代理准确描述类别语义，从而有效提高尾部类别样本对应哈希码的判别性，本发明可应用于各类以图搜图场景，能够在部分数据稀缺的情况下实现准确高效的大规模图像检索，在实施上，可以安装于各类以图搜图系统的后台服务器，具有存储开销低，检索速度快，检索精度高等优点。

Description

长尾图像检索方法、系统、设备及存储介质
技术领域
本发明涉及大规模图像检索技术领域，尤其涉及一种长尾图像检索方法、系统、设备及存储介质。
背景技术
深度哈希能够把高维数据映射为低维二元哈希码，实现高效的相似度计算和便捷的存储，进而被广泛应用于大规模图像检索领域。
传统的深度哈希方法通常基于一个各类别样本数完全均衡的数据集来学习哈希模型。然而，在实际应用中很难获取这样完全均衡的数据集。现实中的数据大多呈现出一种长尾分布，这导致了传统的深度哈希方法很难基于这些数据学习一个准确的哈希模型。
为了解决这样一个问题并在实际应用中实现准确高效的大规模图像检索，一些长尾哈希的方法被提出，并能够基于长尾分布的数据集学习一个较优的哈希模型。然而，这些方法不能捕捉到尾部类别数据的准确语义信息，也不能有效提高尾部类别样本对应哈希码的判别性，影响了在实际应用中尾部类别样本的检索性能。
有鉴于此，特提出本发明。
发明内容
本发明的目的是提供一种长尾图像检索方法、系统、设备及存储介质，可以实现准确高效的大规模图像检索。
本发明的目的是通过以下技术方案实现的：
一种长尾图像检索方法，包括：
构建哈希模型，包括：特征提取与编码网络、哈希层、动态哈希代理学习单元、动态特征代理学习单元，以及基于超图的知识迁移单元；
训练所述哈希模型，包括：输入图像经过特征提取与编码网络获得图像特征，所述图像特征经哈希层获得哈希码；所述动态哈希代理学习单元为每个类别在数据空间定义了一个可学习的动态哈希代理，结合每个类别对应的动态哈希代理与哈希码获得输入图像的第一分类概率分布，并以此计算动态哈希代理学习的损失函数；所述动态特征代理学习单元为每个类别在特征空间定义了一个可学习的动态特征代理，结合每个类别对应的动态特征代理与图像特征获得输入图像的第二分类概率分布，并以此计算动态特征代理学习的损失函数；所述基于超图的知识迁移单元中利用图像特征与代理构建超图数据，并输入至超图神经网络获得分类结果，再以此计算分类损失函数；结合动态哈希代理学习的损失函数、动态特征代理学习的损失函数与分类损失函数训练哈希模型；
训练完毕后，对于任意图像，通过训练后的哈希模型中的特征提取与编码网络、以及哈希层获得二元哈希码，并利用获得的二元哈希码实现图像检索。
一种长尾图像检索系统，包括：
模型构建单元，用于构建哈希模型，包括：特征提取与编码网络、哈希层、动态哈希代理学习单元、动态特征代理学习单元，以及基于超图的知识迁移单元；
模型训练单元，用于训练所述哈希模型，包括：输入图像经过特征提取与编码网络获得图像特征，所述图像特征经哈希层获得哈希码；所述动态哈希代理学习单元为每个类别在数据空间定义了一个可学习的动态哈希代理，结合每个类别对应的动态哈希代理与哈希码获得输入图像的第一分类概率分布，并以此计算动态哈希代理学习的损失函数；所述动态特征代理学习单元为每个类别在特征空间定义了一个可学习的动态特征代理，结合每个类别对应的动态特征代理与图像特征获得输入图像的第二分类概率分布，并以此计算动态特征代理学习的损失函数；所述基于超图的知识迁移单元中利用图像特征与代理构建超图数据，并输入至超图神经网络获得分类结果，再以此计算分类损失函数；结合动态哈希代理学习的损失函数、动态特征代理学习的损失函数与分类损失函数训练哈希模型；
图像检索单元，用于训练完毕后，对于任意图像，通过训练后的哈希模型中的特征提取与编码网络、以及哈希层获得二元哈希码，并利用获得的二元哈希码实现图像检索。
一种处理设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；
其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现前述的方法。
一种可读存储介质，存储有计算机程序，当计算机程序被处理器执行时实现前述的方法。
由上述本发明提供的技术方案可以看出，在尾部类别样本过少的情况下利用动态哈希代理和动态特征代理准确描述类别语义，从而有效提高尾部类别样本对应哈希码的判别性，因此，本发明能够基于实际应用中获取的长尾分布数据实现更准确高效的大规模图像检索。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
图1为本发明实施例提供的一种长尾图像检索方法的流程图；
图2为本发明实施例提供的哈希模型训练框架示意图；
图3为本发明实施例提供的一种长尾图像检索系统的示意图；
图4为本发明实施例提供的一种处理设备的示意图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
首先对本文中可能使用的术语进行如下说明：
术语“包括”、“包含”、“含有”、“具有”或其它类似语义的描述，应被解释为非排它性的包括。例如：包括某技术特征要素（如原料、组分、成分、载体、剂型、材料、尺寸、零件、部件、机构、装置、步骤、工序、方法、反应条件、加工条件、参数、算法、信号、数据、产品或制品等），应被解释为不仅包括明确列出的某技术特征要素，还可以包括未明确列出的本领域公知的其它技术特征要素。
术语“由……组成”表示排除任何未明确列出的技术特征要素。若将该术语用于权利要求中，则该术语将使权利要求成为封闭式，使其不包含除明确列出的技术特征要素以外的技术特征要素，但与其相关的常规杂质除外。如果该术语只是出现在权利要求的某子句中，那么其仅限定在该子句中明确列出的要素，其他子句中所记载的要素并不被排除在整体权利要求之外。
下面对本发明所提供的一种长尾图像检索方法、系统、设备及存储介质进行详细描述。本发明实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术。本发明实施例中未注明具体条件者，按照本领域常规条件或制造商建议的条件进行。
实施例一
本发明实施例提供一种长尾图像检索方法，如图1所示，其主要包括如下步骤：
步骤1、构建哈希模型。
本发明实施例中，构建的哈希模型主要包括：特征提取与编码网络、哈希层、动态哈希代理学习单元、动态特征代理学习单元，以及基于超图的知识迁移单元。
步骤2、训练所述哈希模型。
本发明实施例中，哈希模型的训练过程如下：
（1）输入图像经过特征提取与编码网络获得图像特征，所述图像特征经哈希层获得哈希码。
（2）所述动态哈希代理学习单元为每个类别在数据空间定义了一个可学习的动态哈希代理，结合每个类别对应的动态哈希代理与哈希码获得输入图像的第一分类概率分布，并以此计算动态哈希代理学习的损失函数。
具体的：结合每个类别对应的动态哈希代理与哈希码，基于平方欧氏距离计算相应输入图像的第一分类概率分布，所述第一分类概率分布中包含了输入图像属于每个类别的第一概率，再结合输入图像的真实类别计算动态哈希代理学习的损失函数。
（3）所述动态特征代理学习单元为每个类别在特征空间定义了一个可学习的动态特征代理，结合每个类别对应的动态特征代理与图像特征获得输入图像的第二分类概率分布，并以此计算动态特征代理学习的损失函数。
具体的：结合每个类别对应的动态特征代理与图像特征，基于L2归一化处理与平方欧氏距离计算相应输入图像的第二分类概率分布，所述第二分类概率分布中包含了输入图像属于每个类别的第二概率，再结合输入图像的真实类别计算动态特征代理学习的损失函数。
需要说明的是，以上步骤（2）与步骤（3）不区分执行的先后顺序，二者可同步执行，亦可按照任意顺序先后执行。
（4）所述基于超图的知识迁移单元中利用图像特征与代理构建超图数据，并输入至超图神经网络获得分类结果，再以此计算分类损失函数。
具体的：将输入图像与动态哈希代理均作为结点，将类别定义为超边，构建出超图数据；使用邻接矩阵描述结点和超边的关系，其中，对于动态哈希代理对应的结点，根据其所述类别计算与每个超边的关系，对于输入图像对应的结点，利用图像特征与每个类别对应的动态特征代理的相似度来计算与每个超边的关系；将超图数据输入至超图神经网络，通过超图神经网络对超图数据中各结点的结点信息进行聚合和更新；将超图神经网络最后一层的输出作为分类结果，并结合结点的真实类别计算分类损失函数。
（5）结合动态哈希代理学习的损失函数、动态特征代理学习的损失函数与分类损失函数训练哈希模型。
本发明可对模型进行端到端的训练，优化模型参数，直至收敛，此部分所涉及的流程可参照常规技术实现，故不做赘述。
步骤3、训练完毕后，对于任意图像，通过训练后的哈希模型中的特征提取与编码网络、以及哈希层获得二元哈希码，并利用获得的二元哈希码实现图像检索。
利用二元哈希码实现图像检索的具体方案可以为：将数据库中的图像分别输入至训练后的哈希模型，获得对应的二元哈希码，此部分可以预先完成；之后，对于输入的查询图像，通过相同的方式获得二元哈希码，根据查询图像的二元哈希码与数据库中各图像的二元哈希码的距离生成检索列表。例如，以二元哈希码的距离对数据库图像进行排序，二元哈希码的距离越小排序越靠前，最终选择排序中最靠前的指定数目的图像来生成检索列表。
本发明实施例提供的上述方案，能够利用对偶动态代理（即动态哈希代理与动态特征代理）准确描述类别语义，并有效提高尾部类别样本对应哈希码的判别性，最终实现准确高效的大规模图像检索。
本发明实施例提供的上述方案可以应用于电商拍照识图、图片版权鉴定等以图搜图场景，能够在部分数据稀缺的情况下实现准确高效的大规模图像检索。在实施上，可以安装于各类以图搜图系统的后台服务器，通常将数据库图像映射为低维二元哈希码进行保存，相比于直接保存原始图像或高维连续特征，低维二元哈希码的存储开销大大降低，并且还具有检索速度快，检索精度高等优点。
为了更加清晰地展现出本发明所提供的技术方案及所产生的技术效果，下面结合图2所示的训练框架对相关的训练与推理方案进行详细描述。
一、特征提取与哈希码计算。
本发明实施例中，对于输入图像（样本），利用特征提取与编码网络获得图像特征，并经哈希层获得哈希码。
本发明实施例中，所述特征提取与编码网络包括：骨干网络与特征编码器；其中，所述骨干网络负责提取出初级特征，所述特征编码器负责编码所述初级特征，获得图像特征。
示例性的：骨干网络可以使用ResNet34（34层的深度残差网络）骨干网络；特征编码器可由两个全连接层和一个ReLU（修正线性单元）激活函数组成；哈希层由一个全连接层组成，并且在训练阶段利用tanh函数（双曲正切函数）计算哈希码以便于端到端训练，而在推理阶段利用sign函数（符号函数）计算二元哈希码。
二、动态哈希代理学习。
本发明实施例中，动态哈希代理学习单元为每个类别在数据空间定义了一个可学习的动态哈希代理，表示为：，其中，/>表示类别j对应的动态哈希代理，/>为类别个数，数据空间为汉明空间。为了学习能够准确描述类别语义的动态哈希代理，希望减小哈希码和其对应类别的动态哈希代理之间的汉明距离。
由于哈希码和动态哈希代理之间的汉明距离正比于它们之间的平方欧氏距离，增加或减小它们之间的平方欧氏距离就等同于增加或减小它们之间的汉明距离。因此，结合每个类别对应的动态哈希代理与哈希码，基于平方欧氏距离计算相应输入图像的第一分类概率分布，所述第一分类概率分布中包含了输入图像属于每个类别的第一概率，再结合输入图像的真实类别计算动态哈希代理学习的损失函数。
其中，输入图像属于类别j的第一概率的计算公式表示为：
；
其中，为输入图像/>属于类别j的第一概率，exp表示以自然常数e为底的指数函数，/>表示输入图像/>的哈希码，/>表示类别j对应的动态哈希代理，/>表示类别k对应的动态哈希代理，/>为类别个数，/>表示计算平方欧氏距离，/>是一个超参数，用于控制第一分类概率分布的平滑程度。第一分类概率分布包含所有的/>，即输入图像/>属于各个类别的第一概率形成的分类概率分布，当/>很小（接近于0）时，第一分类概率分布趋于平滑，属于各个类别的第一概率十分接近；当/>很大（趋向于无穷大）时，第一分类概率分布趋于尖锐，属于某个（或某些）类别的第一概率远远超过其他类别。因此，需要/>控制第一分类概率分布的平滑程度。
本发明实施例中，基于交叉熵函数计算动态哈希代理学习的损失函数，表示为：
；
其中，表示动态哈希代理学习的损失函数，/>表示输入图像/>的真实类别，表示输入图像属于真实类别/>的第一概率，所述真实类别/>为/>个类别中的其中一个类别，N为输入图像的数目，i为输入图像的序号。
三、动态特征代理学习。
本发明实施例中，动态特征代理学习单元为每个类别在特征空间定义了一个可学习的动态特征代理，表示为：，其中，/>表示类别j对应的动态特征代理，/>为类别个数。
为了学习能够准确描述类别语义的动态特征代理，希望减小样本特征和其对应类别的特征代理在L2归一化后的平方欧氏距离。因此，结合每个类别对应的动态特征代理与图像特征，基于L2归一化处理与平方欧氏距离计算相应输入图像的第二分类概率分布，所述第二分类概率分布中包含了输入图像属于每个类别的第二概率，再结合输入图像的真实类别计算动态特征代理学习的损失函数。
其中，输入图像属于类别j的第二概率的计算公式表示为：
；
其中，表示输入图像/>属于类别j的第二概率，exp表示以自然常数e为底的指数函数，/>表示输入图像/>的图像特征，/>表示类别j对应的动态特征代理，/>表示类别k对应的动态特征代理，/>为类别个数，/>表示L2范数，/>表示L2归一化处理，/>表示计算平方欧氏距离，/>是一个超参数，用于控制第二分类概率分布的平滑程度，其原理可参见前文针对超参数/>中的介绍，此处的第二分类概率分布包含所有的/>，即输入图像/>属于各个类别的第二概率形成的分类概率分布。
类似的，基于交叉熵函数计算动态特征代理学习的损失函数，表示为：
；
其中，表示动态特征代理学习的损失函数，/>表示输入图像/>的真实类别，表示输入图像属于真实类别/>的第二概率，所述真实类别/>为/>个类别中的其中一个类别，N为输入图像的数目，i为输入图像的序号。
四、基于超图的知识迁移。
为了充分利用动态代理学习到的语义信息并迁移到哈希码的学习中，将输入图像和动态哈希代理定义为结点，将类别定义为超边，构建出超图数据，借助超图来捕捉样本和代理之间的邻域关系。
本发明实施例中，用邻接矩阵H来描述结点和超边之间的关系。
（1）对于结点v，如果它是动态哈希代理对应的结点，认为它只与其所属类别对应的超边有关，即，其中，/>表示结点v对应的真实类别，/>为指示函数，满足括号中的条件/>（即真实类别/>为类别j），则输出为1，否则输出为0。
（2）对于结点v，如果它是输入图像对应的结点，则利用图像特征与每个类别对应的动态特征代理的相似度来计算与每个超边的关系，即：；其中，/>表示结点v对应的图像特征，/>表示类别j对应的动态特征代理，cos为余弦相似度，/>是一个超参数，用于将余弦相似度映射到一个设定范围（合理的范围），使/>能够准确描述结点和超边的关系。
本发明实施例中，是邻接矩阵H的第v行第j列的值，该值大小在0到1之间，用于描述结点v和类别j对应的超边的关系，根据不同的结点，选择第（1）或第（2）种方式计算。
之后，将超图数据输入至超图神经网络，通过超图神经网络对超图数据中各结点的哈希码或动态哈希代理进行聚合和更新。所述超图神经网络的总层数为L，超图神经网络的每一层会不断地进行聚合并更新所有结点的结点信息，对于动态哈希代理对应的结点，结点信息即为动态哈希代理，对于输入图像对应的结点，结点信息即为哈希码。其中，在聚合更新的过程中需要利用结点与边的关系，即邻接矩阵。
其中第层的计算过程表示为：
；
其中，为非线性激活函数，例如，具体实施时使用的是Leaky ReLU激活函数（它是一种修正线性单元函数），H为邻接矩阵，/>为第/>层的聚合并更新得到的所有结点的结点信息，当/>时，/>表示构建的超图数据中所有结点的结点信息，/>表示第/>层的聚合并更新得到的所有结点的结点信息，/>为第/>层的特征变换矩阵，/>表示所有结点的度数构成的对角矩阵，/>表示所有超边的度数构成的对角矩阵，/>表示所有超边的权重构成的对角矩阵；T为转置符号。
将超图神经网络最后一层的输出作为分类器输出的分类结果（logit），在训练时只考虑输入图像/>对应的结点，结合输入图像的真实类别计算分类损失函数，同样基于交叉熵计算，表示为：
；
其中，最后一层的输出是第L层聚合并更新得到的所有结点的结点信息，也即所有结点的分类结果，/>与/>均属于最后一层的输出/>中的信息，/>表示输入图像/>对应于真实类别/>的分类结果，/>表示输入图像/>对应于类别k的分类结果，表示输入图像/>被分类为真实类别/>的概率，N表示输入图像的数目，为类别个数，/>表示分类损失函数。
五、总损失函数。
本发明可进行端到端的训练，总损失函数定义为：
；
其中，为总损失函数，/>与/>为超参数，用于控制相应损失函数的比重。
利用总损失函数进行训练，不断优化模型的参数，直至收敛，获得训练好的哈希模型。
图2直观的展示了训练过程，其包含四类箭头符号：第一类是单箭头的宽体箭头符号（例如，由输入图像指向骨干网络的箭头符号），它表示前向传播；第二类是虚线箭头，它表示反向传播；第三类与第四类均为双箭头的宽体箭头符号（位于中间区域的特征空间与汉明空间中），两个箭头方向朝内则表示距离拉近，两个箭头方向朝外则表示距离推远；在特征空间中，大圆指动态特征代理，小圆指图像特征；在汉明空间中，大圆指动态哈希代理，小圆指图像哈希码；右上角的超图中，大圆指动态特征代理，小圆指图像特征，该部分表达的意思是需要通过图像特征和动态特征代理来计算邻接矩阵。
六、推理方案。
推理过程中主要使用训练好的哈希模型中的特征提取与编码网络、以及哈希层，任意输入图像，可以经训练好的哈希模型中的特征提取与编码网络、以及哈希层处理，获得二元哈希码，之后，可结合现有方案实现图像检索。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质（可以是CD-ROM，U盘，移动硬盘等）中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述的方法。
实施例二
本发明还提供一种长尾图像检索系统，其主要用于实现前述实施例提供的方法，如图3所示，该系统主要包括：
模型构建单元，用于构建哈希模型，包括：特征提取与编码网络、哈希层、动态哈希代理学习单元、动态特征代理学习单元，以及基于超图的知识迁移单元；
模型训练单元，用于训练所述哈希模型，包括：输入图像经过特征提取与编码网络获得图像特征，所述图像特征经哈希层获得哈希码；所述动态哈希代理学习单元为每个类别在数据空间定义了一个可学习的动态哈希代理，结合每个类别对应的动态哈希代理与哈希码获得输入图像的第一分类概率分布，并以此计算动态哈希代理学习的损失函数；所述动态特征代理学习单元为每个类别在特征空间定义了一个可学习的动态特征代理，结合每个类别对应的动态特征代理与图像特征获得输入图像的第二分类概率分布，并以此计算动态特征代理学习的损失函数；所述基于超图的知识迁移单元中利用图像特征与代理构建超图数据，并输入至超图神经网络获得分类结果，再以此计算分类损失函数；结合动态哈希代理学习的损失函数、动态特征代理学习的损失函数与分类损失函数训练哈希模型；
图像检索单元，用于训练完毕后，对于任意图像，通过训练后的哈希模型中的特征提取与编码网络、以及哈希层获得二元哈希码，并利用获得的二元哈希码实现图像检索。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将系统的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
实施例三
本发明还提供一种处理设备，如图4所示，其主要包括：一个或多个处理器；存储器，用于存储一个或多个程序；其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现前述实施例提供的方法。
进一步的，所述处理设备还包括至少一个输入设备与至少一个输出设备；在所述处理设备中，处理器、存储器、输入设备、输出设备之间通过总线连接。
本发明实施例中，所述存储器、输入设备与输出设备的具体类型不做限定；例如：
输入设备可以为触摸屏、图像采集设备、物理按键或者鼠标等；
输出设备可以为显示终端；
存储器可以为随机存取存储器（Random Access Memory，RAM），也可为非不稳定的存储器（non-volatile memory），例如磁盘存储器。
实施例四
本发明还提供一种可读存储介质，存储有计算机程序，当计算机程序被处理器执行时实现前述实施例提供的方法。
本发明实施例中可读存储介质作为计算机可读存储介质，可以设置于前述处理设备中，例如，作为处理设备中的存储器。此外，所述可读存储介质也可以是U盘、移动硬盘、只读存储器（Read-Only Memory，ROM）、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (7)

1.一种长尾图像检索方法，其特征在于，包括：
构建哈希模型，包括：特征提取与编码网络、哈希层、动态哈希代理学习单元、动态特征代理学习单元，以及基于超图的知识迁移单元；
训练所述哈希模型，包括：输入图像经过特征提取与编码网络获得图像特征，所述图像特征经哈希层获得哈希码；所述动态哈希代理学习单元为每个类别在数据空间定义了一个可学习的动态哈希代理，结合每个类别对应的动态哈希代理与哈希码获得输入图像的第一分类概率分布，并以此计算动态哈希代理学习的损失函数；所述动态特征代理学习单元为每个类别在特征空间定义了一个可学习的动态特征代理，结合每个类别对应的动态特征代理与图像特征获得输入图像的第二分类概率分布，并以此计算动态特征代理学习的损失函数；所述基于超图的知识迁移单元中利用图像特征与代理构建超图数据，并输入至超图神经网络获得分类结果，再以此计算分类损失函数；结合动态哈希代理学习的损失函数、动态特征代理学习的损失函数与分类损失函数训练哈希模型；
训练完毕后，对于任意图像，通过训练后的哈希模型中的特征提取与编码网络、以及哈希层获得二元哈希码，并利用获得的二元哈希码实现图像检索；
所述动态哈希代理学习单元为每个类别在数据空间定义了一个可学习的动态哈希代理，结合每个类别对应的动态哈希代理与哈希码获得输入图像的第一分类概率分布，并以此计算动态哈希代理学习的损失函数包括：动态哈希代理学习单元为每个类别在数据空间定义了一个可学习的动态哈希代理，表示为：，其中，/>表示类别j对应的动态哈希代理，/>为类别个数，数据空间为汉明空间；结合每个类别对应的动态哈希代理与哈希码，基于平方欧氏距离计算相应输入图像的第一分类概率分布，所述第一分类概率分布中包含了输入图像属于每个类别的第一概率，再结合输入图像的真实类别计算动态哈希代理学习的损失函数；
所述动态特征代理学习单元为每个类别在特征空间定义了一个可学习的动态特征代理，结合每个类别对应的动态特征代理与图像特征获得输入图像的第二分类概率分布，并以此计算动态特征代理学习的损失函数包括：动态特征代理学习单元为每个类别在特征空间定义了一个可学习的动态特征代理，表示为：，其中，/>表示类别j对应的动态特征代理，/>为类别个数；结合每个类别对应的动态特征代理与图像特征，基于L2归一化处理与平方欧氏距离计算相应输入图像的第二分类概率分布，所述第二分类概率分布中包含了输入图像属于每个类别的第二概率，再结合输入图像的真实类别计算动态特征代理学习的损失函数；
所述基于超图的知识迁移单元中利用图像特征与代理构建超图数据，并输入至超图神经网络获得分类结果，再以此计算分类损失函数包括：将输入图像与动态哈希代理均作为结点，将类别定义为超边，构建出超图数据；使用邻接矩阵描述结点和超边的关系，其中，对于动态哈希代理对应的结点，根据其所述类别计算与每个超边的关系，对于输入图像对应的结点，利用图像特征与每个类别对应的动态特征代理的相似度来计算与每个超边的关系；将超图数据输入至超图神经网络，通过超图神经网络对超图数据中各结点的结点信息进行聚合和更新；将超图神经网络最后一层的输出作为分类结果，并结合结点的真实类别计算分类损失函数。
2.根据权利要求1所述的一种长尾图像检索方法，其特征在于，输入图像属于类别j的第一概率的计算公式表示为：
；
其中，为输入图像/>属于类别j的第一概率，exp表示以自然常数e为底的指数函数，表示输入图像/>的哈希码，/>表示类别k对应的动态哈希代理，/>表示计算平方欧氏距离，/>为超参数，用于控制第一分类概率分布的平滑程度。
3.根据权利要求1所述的一种长尾图像检索方法，其特征在于，输入图像属于类别j的第二概率的计算公式表示为：
；
其中，表示输入图像/>属于类别j的第二概率，exp表示以自然常数e为底的指数函数，/>表示输入图像/>的图像特征，/>表示类别k对应的动态特征代理，/>表示L2范数，表示L2归一化处理，/>表示计算平方欧氏距离，/>为超参数，用于控制第二分类概率分布的平滑程度。
4.根据权利要求1所述的一种长尾图像检索方法，其特征在于，
所述超图神经网络的总层数为L，其中第层的计算过程表示为：
；
其中，为非线性激活函数，H为邻接矩阵，/>为第/>层的聚合并更新得到的所有结点的结点信息，当/>时，/>表示构建的超图数据中所有结点的结点信息，/>表示第/>层的聚合并更新得到的所有结点的结点信息，/>为第/>层的特征变换矩阵，/>表示所有结点的度数构成的对角矩阵，/>表示所有超边的度数构成的对角矩阵，/>表示所有超边的权重构成的对角矩阵；T为转置符号；
利用输入图像对应的结点，并结合真实类别计算分类损失函数，表示为：
；
其中，表示输入图像/>对应于真实类别/>的分类结果，/>表示输入图像/>对应于类别k的分类结果，/>与/>均属于最后一层的输出/>中的信息，表示输入图像/>被分类为真实类别/>的概率，N表示输入图像的数目，为类别个数，/>表示分类损失函数。
5.一种长尾图像检索系统，其特征在于，包括：
模型构建单元，用于构建哈希模型，包括：特征提取与编码网络、哈希层、动态哈希代理学习单元、动态特征代理学习单元，以及基于超图的知识迁移单元；
模型训练单元，用于训练所述哈希模型，包括：输入图像经过特征提取与编码网络获得图像特征，所述图像特征经哈希层获得哈希码；所述动态哈希代理学习单元为每个类别在数据空间定义了一个可学习的动态哈希代理，结合每个类别对应的动态哈希代理与哈希码获得输入图像的第一分类概率分布，并以此计算动态哈希代理学习的损失函数；所述动态特征代理学习单元为每个类别在特征空间定义了一个可学习的动态特征代理，结合每个类别对应的动态特征代理与图像特征获得输入图像的第二分类概率分布，并以此计算动态特征代理学习的损失函数；所述基于超图的知识迁移单元中利用图像特征与代理构建超图数据，并输入至超图神经网络获得分类结果，再以此计算分类损失函数；结合动态哈希代理学习的损失函数、动态特征代理学习的损失函数与分类损失函数训练哈希模型；
图像检索单元，用于训练完毕后，对于任意图像，通过训练后的哈希模型中的特征提取与编码网络、以及哈希层获得二元哈希码，并利用获得的二元哈希码实现图像检索；
所述动态哈希代理学习单元为每个类别在数据空间定义了一个可学习的动态哈希代理，结合每个类别对应的动态哈希代理与哈希码获得输入图像的第一分类概率分布，并以此计算动态哈希代理学习的损失函数包括：动态哈希代理学习单元为每个类别在数据空间定义了一个可学习的动态哈希代理，表示为：，其中，/>表示类别j对应的动态哈希代理，/>为类别个数，数据空间为汉明空间；结合每个类别对应的动态哈希代理与哈希码，基于平方欧氏距离计算相应输入图像的第一分类概率分布，所述第一分类概率分布中包含了输入图像属于每个类别的第一概率，再结合输入图像的真实类别计算动态哈希代理学习的损失函数；
所述动态特征代理学习单元为每个类别在特征空间定义了一个可学习的动态特征代理，结合每个类别对应的动态特征代理与图像特征获得输入图像的第二分类概率分布，并以此计算动态特征代理学习的损失函数包括：动态特征代理学习单元为每个类别在特征空间定义了一个可学习的动态特征代理，表示为：，其中，/>表示类别j对应的动态特征代理，/>为类别个数；结合每个类别对应的动态特征代理与图像特征，基于L2归一化处理与平方欧氏距离计算相应输入图像的第二分类概率分布，所述第二分类概率分布中包含了输入图像属于每个类别的第二概率，再结合输入图像的真实类别计算动态特征代理学习的损失函数；
所述基于超图的知识迁移单元中利用图像特征与代理构建超图数据，并输入至超图神经网络获得分类结果，再以此计算分类损失函数包括：将输入图像与动态哈希代理均作为结点，将类别定义为超边，构建出超图数据；使用邻接矩阵描述结点和超边的关系，其中，对于动态哈希代理对应的结点，根据其所述类别计算与每个超边的关系，对于输入图像对应的结点，利用图像特征与每个类别对应的动态特征代理的相似度来计算与每个超边的关系；将超图数据输入至超图神经网络，通过超图神经网络对超图数据中各结点的结点信息进行聚合和更新；将超图神经网络最后一层的输出作为分类结果，并结合结点的真实类别计算分类损失函数。
6.一种处理设备，其特征在于，包括：一个或多个处理器；存储器，用于存储一个或多个程序；
其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1~4任一项所述的方法。
7.一种可读存储介质，存储有计算机程序，其特征在于，当计算机程序被处理器执行时实现如权利要求1~4任一项所述的方法。
CN202311320335.7A 2023-10-12 2023-10-12 长尾图像检索方法、系统、设备及存储介质 Active CN117056550B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311320335.7A CN117056550B (zh) 2023-10-12 2023-10-12 长尾图像检索方法、系统、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311320335.7A CN117056550B (zh) 2023-10-12 2023-10-12 长尾图像检索方法、系统、设备及存储介质

Publications (2)

Publication Number Publication Date
CN117056550A CN117056550A (zh) 2023-11-14
CN117056550B true CN117056550B (zh) 2024-02-23

Family

ID=88657587

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311320335.7A Active CN117056550B (zh) 2023-10-12 2023-10-12 长尾图像检索方法、系统、设备及存储介质

Country Status (1)

Country Link
CN (1) CN117056550B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111753189A (zh) * 2020-05-29 2020-10-09 中山大学 一种少样本跨模态哈希检索共同表征学习方法
CN114064949A (zh) * 2021-11-11 2022-02-18 艾迪恩(山东)科技有限公司 基于元学习的深度哈希检索算法
CN114358188A (zh) * 2022-01-05 2022-04-15 腾讯科技（深圳）有限公司 特征提取模型处理、样本检索方法、装置和计算机设备
WO2022161380A1 (zh) * 2021-01-30 2022-08-04 华为技术有限公司 一种训练模型的方法、图像检索的方法以及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10839006B2 (en) * 2015-05-18 2020-11-17 Oath Inc. Mobile visual search using deep variant coding

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111753189A (zh) * 2020-05-29 2020-10-09 中山大学 一种少样本跨模态哈希检索共同表征学习方法
WO2022161380A1 (zh) * 2021-01-30 2022-08-04 华为技术有限公司 一种训练模型的方法、图像检索的方法以及装置
CN114064949A (zh) * 2021-11-11 2022-02-18 艾迪恩(山东)科技有限公司 基于元学习的深度哈希检索算法
CN114358188A (zh) * 2022-01-05 2022-04-15 腾讯科技（深圳）有限公司 特征提取模型处理、样本检索方法、装置和计算机设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Dongbao Yang,Hongtao Xie等.Supervised deep quantization for efficient image search.2017 IEEE International Conference on Multimedia & Expo Workshops(ICMEW)).2017,全文. *
基于深度神经网络的哈希算法研究综述;李建昊;陈征;;无线通信技术(02);全文 *
适用于图像检索的强化对抗生成哈希方法;施鸿源等;小型微型计算机系统(第05期);全文 *

Also Published As

Publication number Publication date
CN117056550A (zh) 2023-11-14

Similar Documents

Publication Publication Date Title
CN108334574B (zh) 一种基于协同矩阵分解的跨模态检索方法
CN110222218B (zh) 基于多尺度NetVLAD和深度哈希的图像检索方法
Unar et al. Detected text‐based image retrieval approach for textual images
CN109063719B (zh) 一种联合结构相似性和类信息的图像分类方法
CN111563192B (zh) 实体对齐方法、装置、电子设备及存储介质
CN106570141A (zh) 近似重复图像检测方法
CN110674407A (zh) 基于图卷积神经网络的混合推荐方法
CN104834693A (zh) 基于深度搜索的视觉图像检索方法及系统
CN102385592B (zh) 图像概念的检测方法和装置
Niu et al. Knowledge-based topic model for unsupervised object discovery and localization
CN104199826A (zh) 一种基于关联分析的异构媒体相似性计算方法和检索方法
Abdul-Rashid et al. Shrec’18 track: 2d image-based 3d scene retrieval
CN111950728A (zh) 图像特征提取模型的构建方法、图像检索方法及存储介质
CN106844518A (zh) 一种基于子空间学习的不完整跨模态检索方法
CN111680506A (zh) 数据库表的外键映射方法、装置、电子设备和存储介质
Wang Remote sensing image semantic segmentation algorithm based on improved ENet network
Du et al. Structure tuning method on deep convolutional generative adversarial network with nondominated sorting genetic algorithm II
CN110321565B (zh) 基于深度学习的实时文本情感分析方法、装置及设备
Zhu et al. Enhancing semi-supervised learning with cross-modal knowledge
CN117056550B (zh) 长尾图像检索方法、系统、设备及存储介质
CN116578708A (zh) 一种基于图神经网络的论文数据姓名消歧算法
CN111339258A (zh) 基于知识图谱的大学计算机基础习题推荐方法
CN111241326A (zh) 基于注意力金字塔图网络的图像视觉关系指代定位方法
CN107423294A (zh) 一种社群图像检索方法及系统
CN117217929A (zh) 注册对象风险识别方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant