CN113515660B - 基于三维张量对比策略的深度特征对比加权图像检索方法 - Google Patents

基于三维张量对比策略的深度特征对比加权图像检索方法 Download PDF

Info

Publication number
CN113515660B
CN113515660B CN202110805136.XA CN202110805136A CN113515660B CN 113515660 B CN113515660 B CN 113515660B CN 202110805136 A CN202110805136 A CN 202110805136A CN 113515660 B CN113515660 B CN 113515660B
Authority
CN
China
Prior art keywords
image
depth
feature map
depth feature
contrast
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110805136.XA
Other languages
English (en)
Other versions
CN113515660A (zh
Inventor
卢奋
张伯健
刘广海
陆周
孔令杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangxi Normal University
Original Assignee
Guangxi Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangxi Normal University filed Critical Guangxi Normal University
Priority to CN202110805136.XA priority Critical patent/CN113515660B/zh
Publication of CN113515660A publication Critical patent/CN113515660A/zh
Application granted granted Critical
Publication of CN113515660B publication Critical patent/CN113515660B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开一种基于三维张量对比策略的深度特征对比加权图像检索方法，首先将数据库的图像输入卷积神经网络模型，并提取深度特征；其次，对深度特征增强、融合和对比，生成对比权重并保存；然后，将数据库图像和待查询图像输入卷积神经网络模型，并提取深度特征；接着，利用对比权重对深度特征进行加权、加权增强、融合，生成匹配特征向量；最后，将待查询图像的匹配特征向量与数据库图像的匹配特征向量进行相似性匹配，从而返回检索图像。本发明模拟了人脑的视觉显著性对比处理机制，利用卷积神经网络模型获取图像的深度特征进行对比，能够有效描述图像可辨别的高级语义特征，能够提高图像检索精确度。

Description

基于三维张量对比策略的深度特征对比加权图像检索方法
技术领域
本发明涉及图像检索技术领域，具体涉及一种基于三维张量对比策略的深度特征对比加权图像检索方法。
背景技术
随着智能手机和移动通讯技术的迅速发展和广泛应用，现在人们随时随地都可以拍照并非常轻易地通过分享通道上传到互联网，在此背景下，互联网获得了海量的图像数据信息。面对海量的图像，不管是服务端的企业管理者，还是用户端的个人，都面临着从海量图像中检索图像的难题和挑战。一方面，企业管理者需要对海量图像数据进行高效地管理，其中图像检索是其核心管理业务之一，比如检索出图像库中包含某些敏感内容的所有图像，以进行清除管理。另一方面，个人用户需要对其分享的图像进行浏览查询，比如检索出该个人用户上传的某个场景的所有图像。因此，有效的图像检索方法成为了热门的研究技术。
近年来，作为模拟人脑神经系统连接机制的机器学习热点技术，深度学习技术在计算机视觉的模式分类领域获得了引人瞩目的成就。目前，深度学习主要是构建深度卷积神经网络，通过深层次的自主学习训练，获得图像从低层的属性特征到高级的语义特征，生成卷积神经网络模型，帮助对新图像的自主识别和分类。如今，人们利用卷积神经网络模型，提取图像的深度特征，生成能够用于图像检索的特征向量，从而实现了图像检索新技术。在此背景下，如何利用人脑的视觉信息处理机制构建基于深度特征的图像检索方法以提高检索性能，成为了图像检索的技术热点和难点。
发明内容
本发明针对如何模拟了人脑的视觉显著性对比处理信息的机制的问题，提供一种基于三维张量对比策略的深度特征对比加权图像检索方法。
为解决上述问题，本发明是通过以下技术方案实现的：
基于三维张量对比策略的深度特征对比加权图像检索方法，包括步骤如下：
步骤1、分别将数据库中的每张数据库图像输入卷积神经网络模型，提取每张数据库图像的深度特征图；
步骤2、分别对步骤1所得的每张数据库图像的深度特征图进行增强处理，得到每张数据库图像的增强深度特征图；
步骤3、基于三维张量对比策略，分别将步骤2所得的每张数据库图像的增强深度特征图进行融合，得到每张数据库图像的融合特征三维张量；
步骤4、将步骤3所得的数据库中所有数据库图像的融合特征三维张量进行两两对比，得到对比权重；
步骤5、分别将步骤1所得的每张数据库图像的深度特征图与步骤4所得的对比权重进行点乘，得到每张数据库图像的对比加权算子；
步骤6、基于步骤5所得的每张数据库图像的对比加权算子，分别对步骤1所得的每张数据库图像的深度特征图进行对比加权增强处理，得到每张数据库图像的加权增强深度特征图；
步骤7、分别将步骤6所得的每张数据库图像的加权增强深度特征图进行融合，得到每张数据库图像的匹配特征向量；
步骤8、将待查询图像输入卷积神经网络模型，提取待查询图像的深度特征图；
步骤9、将步骤8所得的待查询图像的深度特征图与步骤4所得的对比权重进行点乘，得到待查询图像的对比加权算子；
步骤10、基于步骤9所得的待查询图像的对比加权算子，对步骤8所得的待查询图像的深度特征图进行对比加权增强处理，得到待查询图像的加权增强深度特征图；
步骤11、将步骤10所得的待查询图像的加权增强深度特征图进行融合，得到待查询图像的匹配特征向量；
步骤12、将步骤11所得的待查询图像的匹配特征向量与步骤7所得的数据库中的每张数据库图像的匹配特征向量进行相似度匹配，匹配结果即为待查询图像的检索结果。
上述步骤3中，每张数据库图像的融合特征三维张量为：
Figure BDA0003166206340000021
式中，Tijdn表示第n张数据库图像的融合特征三维张量的第d个深度特征图对应的第i行第j列的特征值；X"ijdn表示第n张数据库图像的第d个深度特征图对应的增强深度特征图的第i行第j列的像素值；i＝1,2,3,...,W，W表示深度特征图的宽；j＝1,2,3,...,H，H表示深度特征图的高；d＝1,2,3,...,D，D表示深度特征图的数量；n＝1,2,3，...,N，N表示数据库图像的数量。
上述步骤4中，对比权重为：
Figure BDA0003166206340000022
式中，CWd表示对比权重的第d个深度特征图对应的权重值，Tijdn表示第n张数据库图像的融合特征三维张量的第d个深度特征图对应的第i行第j列的特征值；Tijdp表示第p张数据库图像的融合特征三维张量的第d个深度特征图对应的第i行第j列的特征值；i＝1,2,3,...,W，W表示深度特征图的宽；j＝1,2,3,...,H，H表示深度特征图的高；d＝1,2,3,...,D，D表示深度特征图的数量；n＝1,2,3，...,N，N表示数据库图像的数量；符号·表示点乘。
上述步骤2中，对每张数据库图像的深度特征图进行增强处理，得到每张数据库图像的增强深度特征图的过程为：
1)对每张数据库图像的深度特征图进行显著性特征增强，得到每张数据库图像的初增强深度特征图：
Figure BDA0003166206340000031
2)对每张数据库图像的初增强特征图进行非显著性特征增强，得到每张数据库图像的增强深度特征图：
Figure BDA0003166206340000032
式中，Xijdn表示第n张数据库图像的第d个深度特征图的第i行第j列的像素值；X'ijdn表示第n张数据库图像的第d个深度特征图对应的初增强深度特征图的第i行第j列的像素值，X"ijdn表示第n张数据库图像的第d个深度特征图对应的增强深度特征图的第i行第j列的像素值；ε表示设定的标量；i＝1,2,3,...,W，W表示深度特征图的宽；j＝1,2,3,...,H，H表示深度特征图的高；d＝1,2,3,...,D，D表示深度特征图的数量；n＝1,2,3，...,N，N表示数据库图像的数量；符号·表示点乘。
上述步骤6中，基于每张数据库图像的对比加权算子，分别对每张数据库图像的深度特征图进行对比加权增强处理，得到每张数据库图像的加权增强深度特征图的过程为：
1)对每张数据库图像的深度特征图进行加权显著性特征增强，得到每张数据库图像的初加权增强深度特征图：
Figure BDA0003166206340000041
2)对每张数据库图像的初加权增强深度特征图进行加权非显著性特征增强，得到每张数据库图像的加权增强深度特征图：
Figure BDA0003166206340000042
式中，Xijdn表示第n张数据库图像的第d个深度特征图的第i行第j列的像素值；Yijdn表示第n张数据库图像的第d个深度特征图对应的对比加权算子的第i行第j列的算子值；
Figure BDA0003166206340000043
表示第n张数据库图像的第d个深度特征图对应的初加权增强深度特征图的第i行第j列的像素值；
Figure BDA0003166206340000044
表示第n张数据库图像的第d个深度特征图对应的加权增强深度特征图的第i行第j列的像素值；ε表示设定的标量；i＝1,2,3,...,W，W表示深度特征图的宽；j＝1,2,3,...,H，H表示深度特征图的高；d＝1,2,3,...,D，D表示深度特征图的数量；n＝1,2,3，...,N，N表示数据库图像的数量；符号·表示点乘。
上述步骤10中，基于待查询图像的对比加权算子，对待查询图像的深度特征图进行对比加权增强处理，得到待查询图像的加权增强深度特征图的过程为：
1)对待查询图像的深度特征图进行加权显著性特征增强，得到待查询图像的初加权增强深度特征图：
Figure BDA0003166206340000045
2)对待查询图像的初加权增强深度特征图进行加权非显著性特征增强，得到待查询图像的加权增强深度特征图：
Figure BDA0003166206340000051
式中，Xijd表示待查询图像的第d个深度特征图的第i行第j列的像素值；Yijd表示待查询图像的第d个深度特征图对应的对比加权算子的第i行第j列的算子值；
Figure BDA0003166206340000052
表示待查询图像的第d个深度特征图对应的初加权增强深度特征图的第i行第j列的像素值；
Figure BDA0003166206340000053
表示待查询图像的第d个深度特征图对应的加权增强深度特征图的第i行第j列的像素值；ε表示设定的标量；i＝1,2,3,...,W，W表示深度特征图的宽；j＝1,2,3,...,H，H表示深度特征图的高；d＝1,2,3,...,D，D表示深度特征图的数量；符号·表示点乘。
上述步骤7中，每张数据库图像的匹配特征向量为：
Figure BDA0003166206340000054
式中，CVdn表示第n张数据库图像的匹配特征向量的第d个深度特征图对应的特征值；
Figure BDA0003166206340000055
表示第n张数据库图像的第d个深度特征图对应的加权增强深度特征图的第i行第j列的像素值；i＝1,2,3,...,W，W表示深度特征图的宽；j＝1,2,3,...,H，H表示深度特征图的高；d＝1,2,3,...,D，D表示深度特征图的数量；n＝1,2,3，...,N，N表示数据库图像的数量。
上述步骤11中，待查询图像的匹配特征向量为：
Figure BDA0003166206340000056
式中，CVd表示待查询图像的匹配特征向量的第d个深度特征图对应的特征值；
Figure BDA0003166206340000057
表示待查询图像的第d个深度特征图对应的加权增强深度特征图的第i行第j列的像素值；i＝1,2,3,...,W，W表示深度特征图的宽；j＝1,2,3,...,H，H表示深度特征图的高；d＝1,2,3,...,D，D表示深度特征图的数量。
上述步骤5中，每张数据库图像的对比加权算子为：
Yijdn＝CWd·Xijdn
式中，Yijdn表示第n张数据库图像的第d个深度特征图对应的对比加权算子的第i行第j列的算子值；CWd表示对比权重的第d个深度特征图对应的权重值；Xijdn表示第n张数据库图像的第d个深度特征图的第i行第j列的像素值；i＝1,2,3,...,W，W表示深度特征图的宽；j＝1,2,3,...,H，H表示深度特征图的高；d＝1,2,3,...,D，D表示深度特征图的数量；n＝1,2,3，...,N，N表示数据库图像的数量。
上述步骤9中，待查询图像的对比加权算子为：
Yijd＝CWd·Xijd
式中，Yijd表示待查询图像的第d个深度特征图对应的对比加权算子的第i行第j列的算子值；CWd表示对比权重的第d个深度特征图对应的权重值；Xijd表示待查询图像的第d个深度特征图的第i行第j列的像素值；i＝1,2,3,...,W，W表示深度特征图的宽；j＝1,2,3,...,H，H表示深度特征图的高；d＝1,2,3,...,D，D表示深度特征图的数量。
与现有技术相比，本发明在图像深度特征的视觉应用基础上，模拟了人脑的视觉显著性对比处理机制，并提出对比加权深度特征的算法，得到一种新的基于全局特征的对比加权描述子。本发明能够对卷积神经网络模型获取到的图像深度特征进行视觉显著性对比处理，能够利用对比结果有效增强描述图像可辨别的高级语义特征，能够有效提高图像检索精确度。
附图说明
图1为基于三维张量对比策略的深度特征对比加权图像检索方法的流程图。
图2为基于三维张量对比策略计算对比权重的示例图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实例，对本发明进一步详细说明。
本发明的基本思路是：图像输入深度卷积神经网络模型，生成深度特征，该深度特征包括一组特征图，每一个特征图表示图像的局部语义信息，而人类视觉系统可以通过对比方式选择区别图像的关键语义信息。从基本思路出发，本发明所提出的基于三维张量对比策略的深度特征对比加权图像检索方法，通过图像深度特征对比，通过权重值对那些包括有关键语义信息的特征图赋予更高权重，以提高图像的可辨别性能。
基于三维张量对比策略的深度特征对比加权图像检索方法，如图1所示，包括的具体步骤如下：
阶段一、获取数据库中的每张数据库图像的匹配特征向量：
步骤(1)分别将数据库中的每张数据库图像输入卷积神经网络模型，提取每张数据库图像的深度特征图。
步骤(2)分别对步骤1所得的每张数据库图像的深度特征图进行增强处理，得到每张数据库图像的增强深度特征图。
增强处理分为两个方面：显著性特征增强和非显著性特征增强。
1)对每张数据库图像的深度特征图进行显著性特征增强，得到每张数据库图像的初增强深度特征图：
Figure BDA0003166206340000071
2)对每张数据库图像的初增强特征图进行非显著性特征增强，得到每张数据库图像的增强深度特征图：
Figure BDA0003166206340000072
式中，Xijdn表示第n张数据库图像的第d个深度特征图的第i行第j列的像素值；X'ijdn表示第n张数据库图像的第d个深度特征图对应的初增强深度特征图的第i行第j列的像素值，X"ijdn表示第n张数据库图像的第d个深度特征图对应的增强深度特征图的第i行第j列的像素值；ε表示设定的标量；W表示深度特征图的宽；H表示深度特征图的高；D表示深度特征图的数量；n＝1,2,3，...,N，N表示数据库图像的数量；符号·表示点乘。
步骤(3)基于三维张量对比策略，分别将步骤2所得的每张数据库图像的增强深度特征图进行融合，得到每张数据库图像的融合特征三维张量。
Figure BDA0003166206340000073
式中，Tijdn表示第n张数据库图像的融合特征三维张量的第d个深度特征图对应的第i行第j列的特征值；X"ijdn表示第n张数据库图像的第d个深度特征图对应的增强深度特征图的第i行第j列的像素值；W表示深度特征图的宽；H表示深度特征图的高；i＝1,2,3,...,W，W表示深度特征图的宽；j＝1,2,3,...,H，H表示深度特征图的高；d＝1,2,3,...,D，D表示深度特征图的数量；n＝1,2,3，...,N，N表示数据库图像的数量。
步骤(4)将步骤3所得的数据库中所有数据库图像的融合特征三维张量进行两两对比，得到对比权重，如图2所示。
Figure BDA0003166206340000074
式中，CWd表示对比权重的第d个深度特征图对应的权重值，Tijdn表示第n张数据库图像的融合特征三维张量的第d个深度特征图对应的第i行第j列的特征值；Tijdp表示第p张数据库图像的融合特征三维张量的第d个深度特征图对应的第i行第j列的特征值；i＝1,2,3,...,W，W表示深度特征图的宽；j＝1,2,3,...,H，H表示深度特征图的高；d＝1,2,3,...,D，D表示深度特征图的数量；n＝1,2,3，...,N，N表示数据库图像的数量；符号·表示点乘。
步骤(5)分别将步骤1所得的每张数据库图像的深度特征图与步骤4所得的对比权重进行点乘，得到每张数据库图像的对比加权算子。
Yijdn＝CWd·Xijdn (5)
式中，Yijdn表示第n张数据库图像的第d个深度特征图对应的对比加权算子的第i行第j列的算子值；CWd表示对比权重的第d个深度特征图对应的权重值；Xijdn表示第n张数据库图像的第d个深度特征图的第i行第j列的像素值；i＝1,2,3,...,W，W表示深度特征图的宽；j＝1,2,3,...,H，H表示深度特征图的高；d＝1,2,3,...,D，D表示深度特征图的数量；n＝1,2,3，...,N，N表示数据库图像的数量。
步骤(6)基于步骤5所得的每张数据库图像的对比加权算子，分别对步骤1所得的每张数据库图像的深度特征图进行对比加权增强处理，得到每张数据库图像的加权增强深度特征图。
1)对每张数据库图像的深度特征图进行加权显著性特征增强，得到每张数据库图像的初加权增强深度特征图：
Figure BDA0003166206340000081
2)对每张数据库图像的初加权增强深度特征图进行加权非显著性特征增强，得到每张数据库图像的加权增强深度特征图：
Figure BDA0003166206340000082
式中，Xijdn表示第n张数据库图像的第d个深度特征图的第i行第j列的像素值；Yijdn表示第n张数据库图像的第d个深度特征图对应的对比加权算子的第i行第j列的算子值；
Figure BDA0003166206340000083
表示第n张数据库图像的第d个深度特征图对应的初加权增强深度特征图的第i行第j列的像素值；
Figure BDA0003166206340000091
表示第n张数据库图像的第d个深度特征图对应的加权增强深度特征图的第i行第j列的像素值；ε表示设定的标量；i＝1,2,3,...,W，W表示深度特征图的宽；j＝1,2,3,...,H，H表示深度特征图的高；d＝1,2,3,...,D，D表示深度特征图的数量；n＝1,2,3，...,N，N表示数据库图像的数量；符号·表示点乘。
步骤(7)分别将步骤6所得的每张数据库图像的加权增强深度特征图进行融合，得到每张数据库图像的匹配特征向量。
Figure BDA0003166206340000092
式中，CVdn表示第n张数据库图像的匹配特征向量的第d个深度特征图对应的特征值；
Figure BDA0003166206340000093
表示第n张数据库图像的第d个深度特征图对应的加权增强深度特征图的第i行第j列的像素值；W表示深度特征图的宽；H表示深度特征图的高；i＝1,2,3,...,W，W表示深度特征图的宽；j＝1,2,3,...,H，H表示深度特征图的高；d＝1,2,3,...,D，D表示深度特征图的数量；n＝1,2,3，...,N，N表示数据库图像的数量。
阶段二、获取待查询图像的匹配特征向量：
步骤(8)将待查询图像输入卷积神经网络模型，提取待查询图像的深度特征图。
步骤(9)将步骤8所得的待查询图像的深度特征图与步骤4所得的对比权重进行点乘，得到待查询图像的对比加权算子。
Yijd＝CWd·Xijd (9)
式中，Yijd表示待查询图像的第d个深度特征图对应的对比加权算子的第i行第j列的算子值；CWd表示对比权重的第d个深度特征图对应的权重值；Xijd表示待查询图像的第d个深度特征图的第i行第j列的像素值；i＝1,2,3,...,W，W表示深度特征图的宽；j＝1,2,3,...,H，H表示深度特征图的高；d＝1,2,3,...,D，D表示深度特征图的数量。
步骤(10)基于步骤9所得的待查询图像的对比加权算子，对步骤8所得的待查询图像的深度特征图进行对比加权增强处理，得到待查询图像的加权增强深度特征图。
1)对待查询图像的深度特征图进行加权显著性特征增强，得到待查询图像的初加权增强深度特征图：
Figure BDA0003166206340000101
2)对待查询图像的初加权增强深度特征图进行加权非显著性特征增强，得到待查询图像的加权增强深度特征图：
Figure BDA0003166206340000102
式中，Xijd表示待查询图像的第d个深度特征图的第i行第j列的像素值；Yijd表示待查询图像的第d个深度特征图对应的对比加权算子的第i行第j列的算子值；
Figure BDA0003166206340000103
表示待查询图像的第d个深度特征图对应的初加权增强深度特征图的第i行第j列的像素值；
Figure BDA0003166206340000104
表示待查询图像的第d个深度特征图对应的加权增强深度特征图的第i行第j列的像素值；ε表示设定的标量；i＝1,2,3,...,W，W表示深度特征图的宽；j＝1,2,3,...,H，H表示深度特征图的高；d＝1,2,3,...,D，D表示深度特征图的数量；n＝1,2,3，...,N，N表示数据库图像的数量；符号·表示点乘。
步骤(11)将步骤10所得的待查询图像的加权增强深度特征图进行融合，得到待查询图像的匹配特征向量。
Figure BDA0003166206340000105
式中，CVd表示待查询图像的匹配特征向量的第d个深度特征图对应的特征值；
Figure BDA0003166206340000106
表示待查询图像的第d个深度特征图对应的加权增强深度特征图的第i行第j列的像素值；i＝1,2,3,...,W，W表示深度特征图的宽；j＝1,2,3,...,H，H表示深度特征图的高；d＝1,2,3,...,D，D表示深度特征图的数量。
阶段三、检索
步骤(12)将步骤11所得的待查询图像的匹配特征向量与步骤7所得的数据库中的每张数据库图像的匹配特征向量进行相似度匹配，对{Simn}进行降序排序，取前面的M张图像作为匹配结果，M由用户进行图像检索时指定，匹配结果即为待查询图像的检索结果。
Figure BDA0003166206340000107
式中，CVd表示待查询图像的匹配特征向量的第d个深度特征图对应的特征值；CVdn表示第n张数据库图像的匹配特征向量的第d个深度特征图对应的特征值；Simn表示待查询图像与第n张数据库图像的相似度匹配的度量值；n＝1,2,3，...,N，N表示数据库图像的数量；d＝1,2,3,...,D，D表示深度特征图的数量。
本发明公开基于三维张量对比策略的深度特征对比加权图像检索方法，涉及人工智能(Artificial Intelligence,AI)与计算机视觉(Computer Vision,CV)领域。具体地，本申请实施例的方法包括：首先将数据库的图像输入卷积神经网络模型，并提取深度特征图；其次，对深度特征图进行增强、融合和对比，生成对比权重并保存；然后，将数据库图像和待查询图像输入卷积神经网络模型，提取深度特征图，利用对比权重对深度特征图进行加权生成对比加权算子；接着，利用对比加权算子对深度特征图进行加权增强，生成加权增强特征；紧接着，将加权增强特征进行融合，生成匹配特征向量；最后，将待查询图像的匹配特征向量与数据库图像的匹配特征向量进行相似性匹配，从而返回检索图像。该方法模拟了人脑的视觉显著性对比处理机制，利用卷积神经网络模型获取图像的深度特征进行对比，能够有效描述图像可辨别的高级语义特征，能够提高图像检索精确度。
需要说明的是，尽管以上本发明所述的实施例是说明性的，但这并非是对本发明的限制，因此本发明并不局限于上述具体实施方式中。在不脱离本发明原理的情况下，凡是本领域技术人员在本发明的启示下获得的其它实施方式，均视为在本发明的保护之内。

Claims (5)

1.基于三维张量对比策略的深度特征对比加权图像检索方法，其特征是，包括步骤如下：
步骤1、分别将数据库中的每张数据库图像输入卷积神经网络模型，提取每张数据库图像的深度特征图；
步骤2、分别对步骤1所得的每张数据库图像的深度特征图进行增强处理，得到每张数据库图像的增强深度特征图；即：
1)对每张数据库图像的深度特征图进行显著性特征增强，得到每张数据库图像的初增强深度特征图：
Figure FDA0003501603880000011
2)对每张数据库图像的初增强特征图进行非显著性特征增强，得到每张数据库图像的增强深度特征图：
Figure FDA0003501603880000012
步骤3、基于三维张量对比策略，分别将步骤2所得的每张数据库图像的增强深度特征图进行融合，得到每张数据库图像的融合特征三维张量：
Figure FDA0003501603880000013
步骤4、将步骤3所得的数据库中所有数据库图像的融合特征三维张量进行两两对比，得到对比权重：
Figure FDA0003501603880000014
步骤5、分别将步骤1所得的每张数据库图像的深度特征图与步骤4所得的对比权重进行点乘，得到每张数据库图像的对比加权算子；
步骤6、基于步骤5所得的每张数据库图像的对比加权算子，分别对步骤1所得的每张数据库图像的深度特征图进行对比加权增强处理，得到每张数据库图像的加权增强深度特征图；即：
1)对每张数据库图像的深度特征图进行加权显著性特征增强，得到每张数据库图像的初加权增强深度特征图：
Figure FDA0003501603880000021
2)对每张数据库图像的初加权增强深度特征图进行加权非显著性特征增强，得到每张数据库图像的加权增强深度特征图：
Figure FDA0003501603880000022
步骤7、分别将步骤6所得的每张数据库图像的加权增强深度特征图进行融合，得到每张数据库图像的匹配特征向量：
Figure FDA0003501603880000023
步骤8、将待查询图像输入卷积神经网络模型，提取待查询图像的深度特征图；
步骤9、将步骤8所得的待查询图像的深度特征图与步骤4所得的对比权重进行点乘，得到待查询图像的对比加权算子；
步骤10、基于步骤9所得的待查询图像的对比加权算子，对步骤8所得的待查询图像的深度特征图进行对比加权增强处理，得到待查询图像的加权增强深度特征图；
步骤11、将步骤10所得的待查询图像的加权增强深度特征图进行融合，得到待查询图像的匹配特征向量；
步骤12、将步骤11所得的待查询图像的匹配特征向量与步骤7所得的数据库中的每张数据库图像的匹配特征向量进行相似度匹配，匹配结果即为待查询图像的检索结果；
上述各式中，Xijdn表示第n张数据库图像的第d个深度特征图的第i行第j列的像素值；X'ijdn表示第n张数据库图像的第d个深度特征图对应的初增强深度特征图的第i行第j列的像素值，X"ijdn表示第n张数据库图像的第d个深度特征图对应的增强深度特征图的第i行第j列的像素值；Tijdn表示第n张数据库图像的融合特征三维张量的第d个深度特征图对应的第i行第j列的特征值，Tijdp表示第p张数据库图像的融合特征三维张量的第d个深度特征图对应的第i行第j列的特征值；CWd表示对比权重的第d个深度特征图对应的权重值；Yijdn表示第n张数据库图像的第d个深度特征图对应的对比加权算子的第i行第j列的算子值；
Figure FDA0003501603880000024
表示第n张数据库图像的第d个深度特征图对应的初加权增强深度特征图的第i行第j列的像素值；
Figure FDA0003501603880000031
表示第n张数据库图像的第d个深度特征图对应的加权增强深度特征图的第i行第j列的像素值；CVdn表示第n张数据库图像的匹配特征向量的第d个深度特征图对应的特征值；ε表示设定的标量；i＝1,2,3,...,W，W表示深度特征图的宽；j＝1,2,3,...,H，H表示深度特征图的高；d＝1,2,3,...,D，D表示深度特征图的数量；n＝1,2,3，...,N，N表示数据库图像的数量；符号·表示点乘。
2.根据权利要求1所述的基于三维张量对比策略的深度特征对比加权图像检索方法，其特征是，步骤5中，每张数据库图像的对比加权算子为：
Yijdn＝CWd·Xijdn
式中，Yijdn表示第n张数据库图像的第d个深度特征图对应的对比加权算子的第i行第j列的算子值；CWd表示对比权重的第d个深度特征图对应的权重值；Xijdn表示第n张数据库图像的第d个深度特征图的第i行第j列的像素值；i＝1,2,3,...,W，W表示深度特征图的宽；j＝1,2,3,...,H，H表示深度特征图的高；d＝1,2,3,...,D，D表示深度特征图的数量；n＝1,2,3，...,N，N表示数据库图像的数量。
3.根据权利要求1所述的基于三维张量对比策略的深度特征对比加权图像检索方法，其特征是，步骤9中，待查询图像的对比加权算子为：
Yijd＝CWd·Xijd
式中，Yijd表示待查询图像的第d个深度特征图对应的对比加权算子的第i行第j列的算子值；CWd表示对比权重的第d个深度特征图对应的权重值；Xijd表示待查询图像的第d个深度特征图的第i行第j列的像素值；i＝1,2,3,...,W，W表示深度特征图的宽；j＝1,2,3,...,H，H表示深度特征图的高；d＝1,2,3,...,D，D表示深度特征图的数量。
4.根据权利要求1所述的基于三维张量对比策略的深度特征对比加权图像检索方法，其特征是，步骤10中，基于待查询图像的对比加权算子，对待查询图像的深度特征图进行对比加权增强处理，得到待查询图像的加权增强深度特征图的过程为：
1)对待查询图像的深度特征图进行加权显著性特征增强，得到待查询图像的初加权增强深度特征图：
Figure FDA0003501603880000041
2)对待查询图像的初加权增强深度特征图进行加权非显著性特征增强，得到待查询图像的加权增强深度特征图：
Figure FDA0003501603880000042
式中，Xijd表示待查询图像的第d个深度特征图的第i行第j列的像素值；Yijd表示待查询图像的第d个深度特征图对应的对比加权算子的第i行第j列的算子值；
Figure FDA0003501603880000043
表示待查询图像的第d个深度特征图对应的初加权增强深度特征图的第i行第j列的像素值；
Figure FDA0003501603880000044
表示待查询图像的第d个深度特征图对应的加权增强深度特征图的第i行第j列的像素值；ε表示设定的标量；i＝1,2,3,...,W，W表示深度特征图的宽；j＝1,2,3,...,H，H表示深度特征图的高；d＝1,2,3,...,D，D表示深度特征图的数量；符号·表示点乘。
5.根据权利要求1所述的基于三维张量对比策略的深度特征对比加权图像检索方法，其特征是，步骤11中，待查询图像的匹配特征向量为：
Figure FDA0003501603880000045
式中，CVd表示待查询图像的匹配特征向量的第d个深度特征图对应的特征值；
Figure FDA0003501603880000046
表示待查询图像的第d个深度特征图对应的加权增强深度特征图的第i行第j列的像素值；i＝1,2,3,...,W，W表示深度特征图的宽；j＝1,2,3,...,H，H表示深度特征图的高；d＝1,2,3,...,D，D表示深度特征图的数量。
CN202110805136.XA 2021-07-16 2021-07-16 基于三维张量对比策略的深度特征对比加权图像检索方法 Active CN113515660B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110805136.XA CN113515660B (zh) 2021-07-16 2021-07-16 基于三维张量对比策略的深度特征对比加权图像检索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110805136.XA CN113515660B (zh) 2021-07-16 2021-07-16 基于三维张量对比策略的深度特征对比加权图像检索方法

Publications (2)

Publication Number Publication Date
CN113515660A CN113515660A (zh) 2021-10-19
CN113515660B true CN113515660B (zh) 2022-03-18

Family

ID=78067340

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110805136.XA Active CN113515660B (zh) 2021-07-16 2021-07-16 基于三维张量对比策略的深度特征对比加权图像检索方法

Country Status (1)

Country Link
CN (1) CN113515660B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107273458A (zh) * 2017-06-01 2017-10-20 百度在线网络技术（北京）有限公司 深度模型训练方法及装置、图像检索方法及装置
CN109523590A (zh) * 2018-10-22 2019-03-26 福州大学 一种基于样例的3d图像深度信息视觉舒适度评估方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108829826B (zh) * 2018-06-14 2020-08-07 清华大学深圳研究生院 一种基于深度学习和语义分割的图像检索方法
CN109446368B (zh) * 2018-09-21 2020-07-10 华中科技大学 一种基于类别信息的鸟类检索方法及系统
CN110599451B (zh) * 2019-08-05 2023-01-20 平安科技（深圳）有限公司 医学图像病灶检测定位方法、装置、设备及存储介质
CN112132156B (zh) * 2020-08-18 2023-08-22 山东大学 多深度特征融合的图像显著性目标检测方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107273458A (zh) * 2017-06-01 2017-10-20 百度在线网络技术（北京）有限公司 深度模型训练方法及装置、图像检索方法及装置
CN109523590A (zh) * 2018-10-22 2019-03-26 福州大学 一种基于样例的3d图像深度信息视觉舒适度评估方法

Also Published As

Publication number Publication date
CN113515660A (zh) 2021-10-19

Similar Documents

Publication Publication Date Title
CN109325148A (zh) 生成信息的方法和装置
CN108288051B (zh) 行人再识别模型训练方法及装置、电子设备和存储介质
EP4002161A1 (en) Image retrieval method and apparatus, storage medium, and device
WO2019137185A1 (zh) 一种图片筛选方法及装置、存储介质、计算机设备
CN114298122B (zh) 数据分类方法、装置、设备、存储介质及计算机程序产品
CN110765882B (zh) 一种视频标签确定方法、装置、服务器及存储介质
US11966829B2 (en) Convolutional artificial neural network based recognition system in which registration, search, and reproduction of image and video are divided between and performed by mobile device and server
CN113033507B (zh) 场景识别方法、装置、计算机设备和存储介质
CN111709398A (zh) 一种图像识别的方法、图像识别模型的训练方法及装置
CN107291825A (zh) 一种视频中同款商品的检索方法和系统
CN111080551B (zh) 基于深度卷积特征和语义近邻的多标签图像补全方法
CN112733602B (zh) 关系引导的行人属性识别方法
CN115131698B (zh) 视频属性确定方法、装置、设备及存储介质
CN113868448A (zh) 一种细粒度场景级基于草图的图像检索方法及系统
CN114358109A (zh) 特征提取模型训练、样本检索方法、装置和计算机设备
CN115687760A (zh) 一种基于图神经网络的用户学习兴趣标签预测方法
CN115909036A (zh) 局部-全局自适应引导增强的车辆重识别方法及系统
CN108717436B (zh) 一种基于显著性检测的商品目标快速检索方法
CN111191065B (zh) 一种同源图像确定方法及装置
Lu et al. Web multimedia object classification using cross-domain correlation knowledge
CN113515660B (zh) 基于三维张量对比策略的深度特征对比加权图像检索方法
CN114972959B (zh) 深度学习中样本生成和类内排序损失的遥感图像检索方法
CN113641845B (zh) 一种基于向量对比策略的深度特征对比加权图像检索方法
CN110287348A (zh) 一种基于机器学习的gif格式图片搜索方法
CN114328904A (zh) 内容处理方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant