CN113515660B - 基于三维张量对比策略的深度特征对比加权图像检索方法 - Google Patents
基于三维张量对比策略的深度特征对比加权图像检索方法 Download PDFInfo
- Publication number
- CN113515660B CN113515660B CN202110805136.XA CN202110805136A CN113515660B CN 113515660 B CN113515660 B CN 113515660B CN 202110805136 A CN202110805136 A CN 202110805136A CN 113515660 B CN113515660 B CN 113515660B
- Authority
- CN
- China
- Prior art keywords
- image
- depth
- feature map
- depth feature
- contrast
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 239000013598 vector Substances 0.000 claims abstract description 32
- 238000012545 processing Methods 0.000 claims abstract description 17
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 16
- 230000004927 fusion Effects 0.000 claims abstract description 13
- 230000000007 visual effect Effects 0.000 abstract description 8
- 210000004556 brain Anatomy 0.000 abstract description 6
- 230000002708 enhancing effect Effects 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Library & Information Science (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Databases & Information Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开一种基于三维张量对比策略的深度特征对比加权图像检索方法,首先将数据库的图像输入卷积神经网络模型,并提取深度特征;其次,对深度特征增强、融合和对比,生成对比权重并保存;然后,将数据库图像和待查询图像输入卷积神经网络模型,并提取深度特征;接着,利用对比权重对深度特征进行加权、加权增强、融合,生成匹配特征向量;最后,将待查询图像的匹配特征向量与数据库图像的匹配特征向量进行相似性匹配,从而返回检索图像。本发明模拟了人脑的视觉显著性对比处理机制,利用卷积神经网络模型获取图像的深度特征进行对比,能够有效描述图像可辨别的高级语义特征,能够提高图像检索精确度。
Description
技术领域
本发明涉及图像检索技术领域,具体涉及一种基于三维张量对比策略的深度特征对比加权图像检索方法。
背景技术
随着智能手机和移动通讯技术的迅速发展和广泛应用,现在人们随时随地都可以拍照并非常轻易地通过分享通道上传到互联网,在此背景下,互联网获得了海量的图像数据信息。面对海量的图像,不管是服务端的企业管理者,还是用户端的个人,都面临着从海量图像中检索图像的难题和挑战。一方面,企业管理者需要对海量图像数据进行高效地管理,其中图像检索是其核心管理业务之一,比如检索出图像库中包含某些敏感内容的所有图像,以进行清除管理。另一方面,个人用户需要对其分享的图像进行浏览查询,比如检索出该个人用户上传的某个场景的所有图像。因此,有效的图像检索方法成为了热门的研究技术。
近年来,作为模拟人脑神经系统连接机制的机器学习热点技术,深度学习技术在计算机视觉的模式分类领域获得了引人瞩目的成就。目前,深度学习主要是构建深度卷积神经网络,通过深层次的自主学习训练,获得图像从低层的属性特征到高级的语义特征,生成卷积神经网络模型,帮助对新图像的自主识别和分类。如今,人们利用卷积神经网络模型,提取图像的深度特征,生成能够用于图像检索的特征向量,从而实现了图像检索新技术。在此背景下,如何利用人脑的视觉信息处理机制构建基于深度特征的图像检索方法以提高检索性能,成为了图像检索的技术热点和难点。
发明内容
本发明针对如何模拟了人脑的视觉显著性对比处理信息的机制的问题,提供一种基于三维张量对比策略的深度特征对比加权图像检索方法。
为解决上述问题,本发明是通过以下技术方案实现的:
基于三维张量对比策略的深度特征对比加权图像检索方法,包括步骤如下:
步骤1、分别将数据库中的每张数据库图像输入卷积神经网络模型,提取每张数据库图像的深度特征图;
步骤2、分别对步骤1所得的每张数据库图像的深度特征图进行增强处理,得到每张数据库图像的增强深度特征图;
步骤3、基于三维张量对比策略,分别将步骤2所得的每张数据库图像的增强深度特征图进行融合,得到每张数据库图像的融合特征三维张量;
步骤4、将步骤3所得的数据库中所有数据库图像的融合特征三维张量进行两两对比,得到对比权重;
步骤5、分别将步骤1所得的每张数据库图像的深度特征图与步骤4所得的对比权重进行点乘,得到每张数据库图像的对比加权算子;
步骤6、基于步骤5所得的每张数据库图像的对比加权算子,分别对步骤1所得的每张数据库图像的深度特征图进行对比加权增强处理,得到每张数据库图像的加权增强深度特征图;
步骤7、分别将步骤6所得的每张数据库图像的加权增强深度特征图进行融合,得到每张数据库图像的匹配特征向量;
步骤8、将待查询图像输入卷积神经网络模型,提取待查询图像的深度特征图;
步骤9、将步骤8所得的待查询图像的深度特征图与步骤4所得的对比权重进行点乘,得到待查询图像的对比加权算子;
步骤10、基于步骤9所得的待查询图像的对比加权算子,对步骤8所得的待查询图像的深度特征图进行对比加权增强处理,得到待查询图像的加权增强深度特征图;
步骤11、将步骤10所得的待查询图像的加权增强深度特征图进行融合,得到待查询图像的匹配特征向量;
步骤12、将步骤11所得的待查询图像的匹配特征向量与步骤7所得的数据库中的每张数据库图像的匹配特征向量进行相似度匹配,匹配结果即为待查询图像的检索结果。
上述步骤3中,每张数据库图像的融合特征三维张量为:
式中,Tijdn表示第n张数据库图像的融合特征三维张量的第d个深度特征图对应的第i行第j列的特征值;X"ijdn表示第n张数据库图像的第d个深度特征图对应的增强深度特征图的第i行第j列的像素值;i=1,2,3,...,W,W表示深度特征图的宽;j=1,2,3,...,H,H表示深度特征图的高;d=1,2,3,...,D,D表示深度特征图的数量;n=1,2,3,...,N,N表示数据库图像的数量。
上述步骤4中,对比权重为:
式中,CWd表示对比权重的第d个深度特征图对应的权重值,Tijdn表示第n张数据库图像的融合特征三维张量的第d个深度特征图对应的第i行第j列的特征值;Tijdp表示第p张数据库图像的融合特征三维张量的第d个深度特征图对应的第i行第j列的特征值;i=1,2,3,...,W,W表示深度特征图的宽;j=1,2,3,...,H,H表示深度特征图的高;d=1,2,3,...,D,D表示深度特征图的数量;n=1,2,3,...,N,N表示数据库图像的数量;符号·表示点乘。
上述步骤2中,对每张数据库图像的深度特征图进行增强处理,得到每张数据库图像的增强深度特征图的过程为:
1)对每张数据库图像的深度特征图进行显著性特征增强,得到每张数据库图像的初增强深度特征图:
2)对每张数据库图像的初增强特征图进行非显著性特征增强,得到每张数据库图像的增强深度特征图:
式中,Xijdn表示第n张数据库图像的第d个深度特征图的第i行第j列的像素值;X'ijdn表示第n张数据库图像的第d个深度特征图对应的初增强深度特征图的第i行第j列的像素值,X"ijdn表示第n张数据库图像的第d个深度特征图对应的增强深度特征图的第i行第j列的像素值;ε表示设定的标量;i=1,2,3,...,W,W表示深度特征图的宽;j=1,2,3,...,H,H表示深度特征图的高;d=1,2,3,...,D,D表示深度特征图的数量;n=1,2,3,...,N,N表示数据库图像的数量;符号·表示点乘。
上述步骤6中,基于每张数据库图像的对比加权算子,分别对每张数据库图像的深度特征图进行对比加权增强处理,得到每张数据库图像的加权增强深度特征图的过程为:
1)对每张数据库图像的深度特征图进行加权显著性特征增强,得到每张数据库图像的初加权增强深度特征图:
2)对每张数据库图像的初加权增强深度特征图进行加权非显著性特征增强,得到每张数据库图像的加权增强深度特征图:
式中,Xijdn表示第n张数据库图像的第d个深度特征图的第i行第j列的像素值;Yijdn表示第n张数据库图像的第d个深度特征图对应的对比加权算子的第i行第j列的算子值;表示第n张数据库图像的第d个深度特征图对应的初加权增强深度特征图的第i行第j列的像素值;表示第n张数据库图像的第d个深度特征图对应的加权增强深度特征图的第i行第j列的像素值;ε表示设定的标量;i=1,2,3,...,W,W表示深度特征图的宽;j=1,2,3,...,H,H表示深度特征图的高;d=1,2,3,...,D,D表示深度特征图的数量;n=1,2,3,...,N,N表示数据库图像的数量;符号·表示点乘。
上述步骤10中,基于待查询图像的对比加权算子,对待查询图像的深度特征图进行对比加权增强处理,得到待查询图像的加权增强深度特征图的过程为:
1)对待查询图像的深度特征图进行加权显著性特征增强,得到待查询图像的初加权增强深度特征图:
2)对待查询图像的初加权增强深度特征图进行加权非显著性特征增强,得到待查询图像的加权增强深度特征图:
式中,Xijd表示待查询图像的第d个深度特征图的第i行第j列的像素值;Yijd表示待查询图像的第d个深度特征图对应的对比加权算子的第i行第j列的算子值;表示待查询图像的第d个深度特征图对应的初加权增强深度特征图的第i行第j列的像素值;表示待查询图像的第d个深度特征图对应的加权增强深度特征图的第i行第j列的像素值;ε表示设定的标量;i=1,2,3,...,W,W表示深度特征图的宽;j=1,2,3,...,H,H表示深度特征图的高;d=1,2,3,...,D,D表示深度特征图的数量;符号·表示点乘。
上述步骤7中,每张数据库图像的匹配特征向量为:
式中,CVdn表示第n张数据库图像的匹配特征向量的第d个深度特征图对应的特征值;表示第n张数据库图像的第d个深度特征图对应的加权增强深度特征图的第i行第j列的像素值;i=1,2,3,...,W,W表示深度特征图的宽;j=1,2,3,...,H,H表示深度特征图的高;d=1,2,3,...,D,D表示深度特征图的数量;n=1,2,3,...,N,N表示数据库图像的数量。
上述步骤11中,待查询图像的匹配特征向量为:
式中,CVd表示待查询图像的匹配特征向量的第d个深度特征图对应的特征值;表示待查询图像的第d个深度特征图对应的加权增强深度特征图的第i行第j列的像素值;i=1,2,3,...,W,W表示深度特征图的宽;j=1,2,3,...,H,H表示深度特征图的高;d=1,2,3,...,D,D表示深度特征图的数量。
上述步骤5中,每张数据库图像的对比加权算子为:
Yijdn=CWd·Xijdn
式中,Yijdn表示第n张数据库图像的第d个深度特征图对应的对比加权算子的第i行第j列的算子值;CWd表示对比权重的第d个深度特征图对应的权重值;Xijdn表示第n张数据库图像的第d个深度特征图的第i行第j列的像素值;i=1,2,3,...,W,W表示深度特征图的宽;j=1,2,3,...,H,H表示深度特征图的高;d=1,2,3,...,D,D表示深度特征图的数量;n=1,2,3,...,N,N表示数据库图像的数量。
上述步骤9中,待查询图像的对比加权算子为:
Yijd=CWd·Xijd
式中,Yijd表示待查询图像的第d个深度特征图对应的对比加权算子的第i行第j列的算子值;CWd表示对比权重的第d个深度特征图对应的权重值;Xijd表示待查询图像的第d个深度特征图的第i行第j列的像素值;i=1,2,3,...,W,W表示深度特征图的宽;j=1,2,3,...,H,H表示深度特征图的高;d=1,2,3,...,D,D表示深度特征图的数量。
与现有技术相比,本发明在图像深度特征的视觉应用基础上,模拟了人脑的视觉显著性对比处理机制,并提出对比加权深度特征的算法,得到一种新的基于全局特征的对比加权描述子。本发明能够对卷积神经网络模型获取到的图像深度特征进行视觉显著性对比处理,能够利用对比结果有效增强描述图像可辨别的高级语义特征,能够有效提高图像检索精确度。
附图说明
图1为基于三维张量对比策略的深度特征对比加权图像检索方法的流程图。
图2为基于三维张量对比策略计算对比权重的示例图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实例,对本发明进一步详细说明。
本发明的基本思路是:图像输入深度卷积神经网络模型,生成深度特征,该深度特征包括一组特征图,每一个特征图表示图像的局部语义信息,而人类视觉系统可以通过对比方式选择区别图像的关键语义信息。从基本思路出发,本发明所提出的基于三维张量对比策略的深度特征对比加权图像检索方法,通过图像深度特征对比,通过权重值对那些包括有关键语义信息的特征图赋予更高权重,以提高图像的可辨别性能。
基于三维张量对比策略的深度特征对比加权图像检索方法,如图1所示,包括的具体步骤如下:
阶段一、获取数据库中的每张数据库图像的匹配特征向量:
步骤(1)分别将数据库中的每张数据库图像输入卷积神经网络模型,提取每张数据库图像的深度特征图。
步骤(2)分别对步骤1所得的每张数据库图像的深度特征图进行增强处理,得到每张数据库图像的增强深度特征图。
增强处理分为两个方面:显著性特征增强和非显著性特征增强。
1)对每张数据库图像的深度特征图进行显著性特征增强,得到每张数据库图像的初增强深度特征图:
2)对每张数据库图像的初增强特征图进行非显著性特征增强,得到每张数据库图像的增强深度特征图:
式中,Xijdn表示第n张数据库图像的第d个深度特征图的第i行第j列的像素值;X'ijdn表示第n张数据库图像的第d个深度特征图对应的初增强深度特征图的第i行第j列的像素值,X"ijdn表示第n张数据库图像的第d个深度特征图对应的增强深度特征图的第i行第j列的像素值;ε表示设定的标量;W表示深度特征图的宽;H表示深度特征图的高;D表示深度特征图的数量;n=1,2,3,...,N,N表示数据库图像的数量;符号·表示点乘。
步骤(3)基于三维张量对比策略,分别将步骤2所得的每张数据库图像的增强深度特征图进行融合,得到每张数据库图像的融合特征三维张量。
式中,Tijdn表示第n张数据库图像的融合特征三维张量的第d个深度特征图对应的第i行第j列的特征值;X"ijdn表示第n张数据库图像的第d个深度特征图对应的增强深度特征图的第i行第j列的像素值;W表示深度特征图的宽;H表示深度特征图的高;i=1,2,3,...,W,W表示深度特征图的宽;j=1,2,3,...,H,H表示深度特征图的高;d=1,2,3,...,D,D表示深度特征图的数量;n=1,2,3,...,N,N表示数据库图像的数量。
步骤(4)将步骤3所得的数据库中所有数据库图像的融合特征三维张量进行两两对比,得到对比权重,如图2所示。
式中,CWd表示对比权重的第d个深度特征图对应的权重值,Tijdn表示第n张数据库图像的融合特征三维张量的第d个深度特征图对应的第i行第j列的特征值;Tijdp表示第p张数据库图像的融合特征三维张量的第d个深度特征图对应的第i行第j列的特征值;i=1,2,3,...,W,W表示深度特征图的宽;j=1,2,3,...,H,H表示深度特征图的高;d=1,2,3,...,D,D表示深度特征图的数量;n=1,2,3,...,N,N表示数据库图像的数量;符号·表示点乘。
步骤(5)分别将步骤1所得的每张数据库图像的深度特征图与步骤4所得的对比权重进行点乘,得到每张数据库图像的对比加权算子。
Yijdn=CWd·Xijdn (5)
式中,Yijdn表示第n张数据库图像的第d个深度特征图对应的对比加权算子的第i行第j列的算子值;CWd表示对比权重的第d个深度特征图对应的权重值;Xijdn表示第n张数据库图像的第d个深度特征图的第i行第j列的像素值;i=1,2,3,...,W,W表示深度特征图的宽;j=1,2,3,...,H,H表示深度特征图的高;d=1,2,3,...,D,D表示深度特征图的数量;n=1,2,3,...,N,N表示数据库图像的数量。
步骤(6)基于步骤5所得的每张数据库图像的对比加权算子,分别对步骤1所得的每张数据库图像的深度特征图进行对比加权增强处理,得到每张数据库图像的加权增强深度特征图。
1)对每张数据库图像的深度特征图进行加权显著性特征增强,得到每张数据库图像的初加权增强深度特征图:
2)对每张数据库图像的初加权增强深度特征图进行加权非显著性特征增强,得到每张数据库图像的加权增强深度特征图:
式中,Xijdn表示第n张数据库图像的第d个深度特征图的第i行第j列的像素值;Yijdn表示第n张数据库图像的第d个深度特征图对应的对比加权算子的第i行第j列的算子值;表示第n张数据库图像的第d个深度特征图对应的初加权增强深度特征图的第i行第j列的像素值;表示第n张数据库图像的第d个深度特征图对应的加权增强深度特征图的第i行第j列的像素值;ε表示设定的标量;i=1,2,3,...,W,W表示深度特征图的宽;j=1,2,3,...,H,H表示深度特征图的高;d=1,2,3,...,D,D表示深度特征图的数量;n=1,2,3,...,N,N表示数据库图像的数量;符号·表示点乘。
步骤(7)分别将步骤6所得的每张数据库图像的加权增强深度特征图进行融合,得到每张数据库图像的匹配特征向量。
式中,CVdn表示第n张数据库图像的匹配特征向量的第d个深度特征图对应的特征值;表示第n张数据库图像的第d个深度特征图对应的加权增强深度特征图的第i行第j列的像素值;W表示深度特征图的宽;H表示深度特征图的高;i=1,2,3,...,W,W表示深度特征图的宽;j=1,2,3,...,H,H表示深度特征图的高;d=1,2,3,...,D,D表示深度特征图的数量;n=1,2,3,...,N,N表示数据库图像的数量。
阶段二、获取待查询图像的匹配特征向量:
步骤(8)将待查询图像输入卷积神经网络模型,提取待查询图像的深度特征图。
步骤(9)将步骤8所得的待查询图像的深度特征图与步骤4所得的对比权重进行点乘,得到待查询图像的对比加权算子。
Yijd=CWd·Xijd (9)
式中,Yijd表示待查询图像的第d个深度特征图对应的对比加权算子的第i行第j列的算子值;CWd表示对比权重的第d个深度特征图对应的权重值;Xijd表示待查询图像的第d个深度特征图的第i行第j列的像素值;i=1,2,3,...,W,W表示深度特征图的宽;j=1,2,3,...,H,H表示深度特征图的高;d=1,2,3,...,D,D表示深度特征图的数量。
步骤(10)基于步骤9所得的待查询图像的对比加权算子,对步骤8所得的待查询图像的深度特征图进行对比加权增强处理,得到待查询图像的加权增强深度特征图。
1)对待查询图像的深度特征图进行加权显著性特征增强,得到待查询图像的初加权增强深度特征图:
2)对待查询图像的初加权增强深度特征图进行加权非显著性特征增强,得到待查询图像的加权增强深度特征图:
式中,Xijd表示待查询图像的第d个深度特征图的第i行第j列的像素值;Yijd表示待查询图像的第d个深度特征图对应的对比加权算子的第i行第j列的算子值;表示待查询图像的第d个深度特征图对应的初加权增强深度特征图的第i行第j列的像素值;表示待查询图像的第d个深度特征图对应的加权增强深度特征图的第i行第j列的像素值;ε表示设定的标量;i=1,2,3,...,W,W表示深度特征图的宽;j=1,2,3,...,H,H表示深度特征图的高;d=1,2,3,...,D,D表示深度特征图的数量;n=1,2,3,...,N,N表示数据库图像的数量;符号·表示点乘。
步骤(11)将步骤10所得的待查询图像的加权增强深度特征图进行融合,得到待查询图像的匹配特征向量。
式中,CVd表示待查询图像的匹配特征向量的第d个深度特征图对应的特征值;表示待查询图像的第d个深度特征图对应的加权增强深度特征图的第i行第j列的像素值;i=1,2,3,...,W,W表示深度特征图的宽;j=1,2,3,...,H,H表示深度特征图的高;d=1,2,3,...,D,D表示深度特征图的数量。
阶段三、检索
步骤(12)将步骤11所得的待查询图像的匹配特征向量与步骤7所得的数据库中的每张数据库图像的匹配特征向量进行相似度匹配,对{Simn}进行降序排序,取前面的M张图像作为匹配结果,M由用户进行图像检索时指定,匹配结果即为待查询图像的检索结果。
式中,CVd表示待查询图像的匹配特征向量的第d个深度特征图对应的特征值;CVdn表示第n张数据库图像的匹配特征向量的第d个深度特征图对应的特征值;Simn表示待查询图像与第n张数据库图像的相似度匹配的度量值;n=1,2,3,...,N,N表示数据库图像的数量;d=1,2,3,...,D,D表示深度特征图的数量。
本发明公开基于三维张量对比策略的深度特征对比加权图像检索方法,涉及人工智能(Artificial Intelligence,AI)与计算机视觉(Computer Vision,CV)领域。具体地,本申请实施例的方法包括:首先将数据库的图像输入卷积神经网络模型,并提取深度特征图;其次,对深度特征图进行增强、融合和对比,生成对比权重并保存;然后,将数据库图像和待查询图像输入卷积神经网络模型,提取深度特征图,利用对比权重对深度特征图进行加权生成对比加权算子;接着,利用对比加权算子对深度特征图进行加权增强,生成加权增强特征;紧接着,将加权增强特征进行融合,生成匹配特征向量;最后,将待查询图像的匹配特征向量与数据库图像的匹配特征向量进行相似性匹配,从而返回检索图像。该方法模拟了人脑的视觉显著性对比处理机制,利用卷积神经网络模型获取图像的深度特征进行对比,能够有效描述图像可辨别的高级语义特征,能够提高图像检索精确度。
需要说明的是,尽管以上本发明所述的实施例是说明性的,但这并非是对本发明的限制,因此本发明并不局限于上述具体实施方式中。在不脱离本发明原理的情况下,凡是本领域技术人员在本发明的启示下获得的其它实施方式,均视为在本发明的保护之内。
Claims (5)
1.基于三维张量对比策略的深度特征对比加权图像检索方法,其特征是,包括步骤如下:
步骤1、分别将数据库中的每张数据库图像输入卷积神经网络模型,提取每张数据库图像的深度特征图;
步骤2、分别对步骤1所得的每张数据库图像的深度特征图进行增强处理,得到每张数据库图像的增强深度特征图;即:
1)对每张数据库图像的深度特征图进行显著性特征增强,得到每张数据库图像的初增强深度特征图:
2)对每张数据库图像的初增强特征图进行非显著性特征增强,得到每张数据库图像的增强深度特征图:
步骤3、基于三维张量对比策略,分别将步骤2所得的每张数据库图像的增强深度特征图进行融合,得到每张数据库图像的融合特征三维张量:
步骤4、将步骤3所得的数据库中所有数据库图像的融合特征三维张量进行两两对比,得到对比权重:
步骤5、分别将步骤1所得的每张数据库图像的深度特征图与步骤4所得的对比权重进行点乘,得到每张数据库图像的对比加权算子;
步骤6、基于步骤5所得的每张数据库图像的对比加权算子,分别对步骤1所得的每张数据库图像的深度特征图进行对比加权增强处理,得到每张数据库图像的加权增强深度特征图;即:
1)对每张数据库图像的深度特征图进行加权显著性特征增强,得到每张数据库图像的初加权增强深度特征图:
2)对每张数据库图像的初加权增强深度特征图进行加权非显著性特征增强,得到每张数据库图像的加权增强深度特征图:
步骤7、分别将步骤6所得的每张数据库图像的加权增强深度特征图进行融合,得到每张数据库图像的匹配特征向量:
步骤8、将待查询图像输入卷积神经网络模型,提取待查询图像的深度特征图;
步骤9、将步骤8所得的待查询图像的深度特征图与步骤4所得的对比权重进行点乘,得到待查询图像的对比加权算子;
步骤10、基于步骤9所得的待查询图像的对比加权算子,对步骤8所得的待查询图像的深度特征图进行对比加权增强处理,得到待查询图像的加权增强深度特征图;
步骤11、将步骤10所得的待查询图像的加权增强深度特征图进行融合,得到待查询图像的匹配特征向量;
步骤12、将步骤11所得的待查询图像的匹配特征向量与步骤7所得的数据库中的每张数据库图像的匹配特征向量进行相似度匹配,匹配结果即为待查询图像的检索结果;
上述各式中,Xijdn表示第n张数据库图像的第d个深度特征图的第i行第j列的像素值;X'ijdn表示第n张数据库图像的第d个深度特征图对应的初增强深度特征图的第i行第j列的像素值,X"ijdn表示第n张数据库图像的第d个深度特征图对应的增强深度特征图的第i行第j列的像素值;Tijdn表示第n张数据库图像的融合特征三维张量的第d个深度特征图对应的第i行第j列的特征值,Tijdp表示第p张数据库图像的融合特征三维张量的第d个深度特征图对应的第i行第j列的特征值;CWd表示对比权重的第d个深度特征图对应的权重值;Yijdn表示第n张数据库图像的第d个深度特征图对应的对比加权算子的第i行第j列的算子值;表示第n张数据库图像的第d个深度特征图对应的初加权增强深度特征图的第i行第j列的像素值;表示第n张数据库图像的第d个深度特征图对应的加权增强深度特征图的第i行第j列的像素值;CVdn表示第n张数据库图像的匹配特征向量的第d个深度特征图对应的特征值;ε表示设定的标量;i=1,2,3,...,W,W表示深度特征图的宽;j=1,2,3,...,H,H表示深度特征图的高;d=1,2,3,...,D,D表示深度特征图的数量;n=1,2,3,...,N,N表示数据库图像的数量;符号·表示点乘。
2.根据权利要求1所述的基于三维张量对比策略的深度特征对比加权图像检索方法,其特征是,步骤5中,每张数据库图像的对比加权算子为:
Yijdn=CWd·Xijdn
式中,Yijdn表示第n张数据库图像的第d个深度特征图对应的对比加权算子的第i行第j列的算子值;CWd表示对比权重的第d个深度特征图对应的权重值;Xijdn表示第n张数据库图像的第d个深度特征图的第i行第j列的像素值;i=1,2,3,...,W,W表示深度特征图的宽;j=1,2,3,...,H,H表示深度特征图的高;d=1,2,3,...,D,D表示深度特征图的数量;n=1,2,3,...,N,N表示数据库图像的数量。
3.根据权利要求1所述的基于三维张量对比策略的深度特征对比加权图像检索方法,其特征是,步骤9中,待查询图像的对比加权算子为:
Yijd=CWd·Xijd
式中,Yijd表示待查询图像的第d个深度特征图对应的对比加权算子的第i行第j列的算子值;CWd表示对比权重的第d个深度特征图对应的权重值;Xijd表示待查询图像的第d个深度特征图的第i行第j列的像素值;i=1,2,3,...,W,W表示深度特征图的宽;j=1,2,3,...,H,H表示深度特征图的高;d=1,2,3,...,D,D表示深度特征图的数量。
4.根据权利要求1所述的基于三维张量对比策略的深度特征对比加权图像检索方法,其特征是,步骤10中,基于待查询图像的对比加权算子,对待查询图像的深度特征图进行对比加权增强处理,得到待查询图像的加权增强深度特征图的过程为:
1)对待查询图像的深度特征图进行加权显著性特征增强,得到待查询图像的初加权增强深度特征图:
2)对待查询图像的初加权增强深度特征图进行加权非显著性特征增强,得到待查询图像的加权增强深度特征图:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110805136.XA CN113515660B (zh) | 2021-07-16 | 2021-07-16 | 基于三维张量对比策略的深度特征对比加权图像检索方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110805136.XA CN113515660B (zh) | 2021-07-16 | 2021-07-16 | 基于三维张量对比策略的深度特征对比加权图像检索方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113515660A CN113515660A (zh) | 2021-10-19 |
CN113515660B true CN113515660B (zh) | 2022-03-18 |
Family
ID=78067340
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110805136.XA Active CN113515660B (zh) | 2021-07-16 | 2021-07-16 | 基于三维张量对比策略的深度特征对比加权图像检索方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113515660B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107273458A (zh) * | 2017-06-01 | 2017-10-20 | 百度在线网络技术(北京)有限公司 | 深度模型训练方法及装置、图像检索方法及装置 |
CN109523590A (zh) * | 2018-10-22 | 2019-03-26 | 福州大学 | 一种基于样例的3d图像深度信息视觉舒适度评估方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108829826B (zh) * | 2018-06-14 | 2020-08-07 | 清华大学深圳研究生院 | 一种基于深度学习和语义分割的图像检索方法 |
CN109446368B (zh) * | 2018-09-21 | 2020-07-10 | 华中科技大学 | 一种基于类别信息的鸟类检索方法及系统 |
CN110599451B (zh) * | 2019-08-05 | 2023-01-20 | 平安科技(深圳)有限公司 | 医学图像病灶检测定位方法、装置、设备及存储介质 |
CN112132156B (zh) * | 2020-08-18 | 2023-08-22 | 山东大学 | 多深度特征融合的图像显著性目标检测方法及系统 |
-
2021
- 2021-07-16 CN CN202110805136.XA patent/CN113515660B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107273458A (zh) * | 2017-06-01 | 2017-10-20 | 百度在线网络技术(北京)有限公司 | 深度模型训练方法及装置、图像检索方法及装置 |
CN109523590A (zh) * | 2018-10-22 | 2019-03-26 | 福州大学 | 一种基于样例的3d图像深度信息视觉舒适度评估方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113515660A (zh) | 2021-10-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109325148A (zh) | 生成信息的方法和装置 | |
CN108288051B (zh) | 行人再识别模型训练方法及装置、电子设备和存储介质 | |
EP4002161A1 (en) | Image retrieval method and apparatus, storage medium, and device | |
WO2019137185A1 (zh) | 一种图片筛选方法及装置、存储介质、计算机设备 | |
CN114298122B (zh) | 数据分类方法、装置、设备、存储介质及计算机程序产品 | |
CN110765882B (zh) | 一种视频标签确定方法、装置、服务器及存储介质 | |
US11966829B2 (en) | Convolutional artificial neural network based recognition system in which registration, search, and reproduction of image and video are divided between and performed by mobile device and server | |
CN113033507B (zh) | 场景识别方法、装置、计算机设备和存储介质 | |
CN111709398A (zh) | 一种图像识别的方法、图像识别模型的训练方法及装置 | |
CN107291825A (zh) | 一种视频中同款商品的检索方法和系统 | |
CN111080551B (zh) | 基于深度卷积特征和语义近邻的多标签图像补全方法 | |
CN112733602B (zh) | 关系引导的行人属性识别方法 | |
CN115131698B (zh) | 视频属性确定方法、装置、设备及存储介质 | |
CN113868448A (zh) | 一种细粒度场景级基于草图的图像检索方法及系统 | |
CN114358109A (zh) | 特征提取模型训练、样本检索方法、装置和计算机设备 | |
CN115687760A (zh) | 一种基于图神经网络的用户学习兴趣标签预测方法 | |
CN115909036A (zh) | 局部-全局自适应引导增强的车辆重识别方法及系统 | |
CN108717436B (zh) | 一种基于显著性检测的商品目标快速检索方法 | |
CN111191065B (zh) | 一种同源图像确定方法及装置 | |
Lu et al. | Web multimedia object classification using cross-domain correlation knowledge | |
CN113515660B (zh) | 基于三维张量对比策略的深度特征对比加权图像检索方法 | |
CN114972959B (zh) | 深度学习中样本生成和类内排序损失的遥感图像检索方法 | |
CN113641845B (zh) | 一种基于向量对比策略的深度特征对比加权图像检索方法 | |
CN110287348A (zh) | 一种基于机器学习的gif格式图片搜索方法 | |
CN114328904A (zh) | 内容处理方法、装置、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |