CN109597906B - 图像检索方法及装置 - Google Patents

图像检索方法及装置 Download PDF

Info

Publication number
CN109597906B
CN109597906B CN201811486518.5A CN201811486518A CN109597906B CN 109597906 B CN109597906 B CN 109597906B CN 201811486518 A CN201811486518 A CN 201811486518A CN 109597906 B CN109597906 B CN 109597906B
Authority
CN
China
Prior art keywords
target image
feature
feature map
neural network
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811486518.5A
Other languages
English (en)
Other versions
CN109597906A (zh
Inventor
李磊
董远
白洪亮
熊风烨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SUZHOU FEISOU TECHNOLOGY Co.,Ltd.
Original Assignee
Suzhou Feisou Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Feisou Technology Co ltd filed Critical Suzhou Feisou Technology Co ltd
Priority to CN201811486518.5A priority Critical patent/CN109597906B/zh
Publication of CN109597906A publication Critical patent/CN109597906A/zh
Application granted granted Critical
Publication of CN109597906B publication Critical patent/CN109597906B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供一种图像检索方法及装置，所述方法包括：使用卷积神经网络提取目标图像的特征，根据卷积神经网络中最后一个卷积层输出的目标图像特征图，将同一位置的特征图中像素的总得分作为目标图像的类激活映射表；将各特征图与类激活映射表进行相乘后求和池化，将求和池化结果与目标图像各特征图的权重进行相乘，获取目标图像各特征图的中间特征；根据卷积神经网络的判别层输出的目标图像类别概率和目标图像各特征图的中间特征，获取目标图像各特征图的空间语义特征；根据目标图像各特征图的空间语义特征和预先获取的各待检索图像各特征图的空间语义特征，获取检索结果。本发明实施例使用空间语义信息进行检索，提高了检索精度。

Description

图像检索方法及装置
技术领域
本发明实施例属于信息检索技术领域，更具体地，涉及一种图像检索方法及装置。
背景技术
图像检索是指从图像数据库中检索出与指定图像相似的图像。包括基于文本的图像检索和基于内容的图像检索。基于文本的图像检索是利用文本描述的方式描述图像的特征，基于内容的图像检索是使用图像的内容语义，如颜色、纹理和布局等进行分析和检索。
传统的基于内容的图像检索主要以手工制作的特征，即通过均值方差等数学上的信息对图像进行编码来获取特征，再进行余弦距离或者欧式距离的匹配来进行检索。随着卷积神经网络在图像识别上取得的成就，衍生出了提取卷积神经网络的全连接层的特征来进行检索。针对不同的检索任务，首先对该任务训练一个分类网络，在特定数据集上进行微调，然后提取全连接层的特征进行匹配检索。又有研究表明，卷积神经网络的卷积层输出相比全连接层的输出具有更多的空间信息，对于检索的效果更好。于是又尝试将卷积层的特征与内部感兴趣区域获取结合起来，加入监督学习的方式，如目标检测来获取图像中的关键区域，提取卷积层的特征进行检索。
由于图像检索中所使用的特征对检索结果有重大影响，即从图像中提取的特征越精确，越精细，检索结果越精确。因此，直接使用卷积神经网络中提取的空间特征进行图像检索的结果不精确。
发明内容
为克服上述现有的图像检索方法的检索结果不精确的问题或者至少部分地解决上述问题，本发明实施例提供一种图像检索方法及装置。
根据本发明实施例的第一方面，提供一种图像检索方法，包括：
使用卷积神经网络提取目标图像的特征，根据所述卷积神经网络中最后一个卷积层输出的目标图像特征图，将同一位置的所述目标图像特征图中像素的总得分作为所述目标图像的类激活映射表；
将所述目标图像的各特征图与所述目标图像的类激活映射表进行相乘后求和池化，将求和池化结果与所述目标图像各特征图的权重进行相乘，获取所述目标图像各特征图的中间特征；
根据所述卷积神经网络的判别层输出的目标图像类别概率和所述目标图像各特征图的中间特征，获取所述目标图像各特征图的空间语义特征；
根据所述目标图像各特征图的空间语义特征和预先获取的各待检索图像各特征图的空间语义特征，获取检索结果。
根据本发明实施例第二方面提供一种图像检索装置，包括：
映射模块，用于使用卷积神经网络提取目标图像的特征，根据所述卷积神经网络中最后一个卷积层输出的目标图像特征图，将同一位置的所述目标图像特征图中像素的总得分作为所述目标图像的类激活映射表；
第一获取模块，用于将所述目标图像的各特征图与所述目标图像的类激活映射表进行相乘后求和池化，将求和池化结果与所述目标图像各特征图的权重进行相乘，获取所述目标图像的各特征图的中间特征；
第二获取模块，用于根据所述卷积神经网络的判别层输出的目标图像类别概率和所述目标图像各特征图的中间特征，获取所述目标图像各特征图的空间语义特征；
检索模块，用于根据所述目标图像各特征图的空间语义特征和预先获取的各待检索图像各特征图的空间语义特征，获取检索结果。
根据本发明实施例的第三个方面，还提供一种电子设备，包括：
至少一个处理器；以及
与所述处理器通信连接的至少一个存储器，其中：
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行第一方面的各种可能的实现方式中任一种可能的实现方式所提供的图像检索方法。
根据本发明实施例的第四个方面，还提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行第一方面的各种可能的实现方式中任一种可能的实现方式所提供的图像检索方法。
本发明实施例提供一种图像检索方法及装置，该方法通过训练用于大数据集上进行图像分类的卷积神经网络，使之用于图像检索，对卷积神经网络最后一个卷积层的输出进行编码，更好表现出图像特征，卷积层的输出具有空间信息，对于图像检索具有重大作用，利用类激活映射根据卷积神经网络的卷积层提取的特征生成语义感知权重，从而获取相应的语义信息，空间信息和语义信息的结合更具有表征性，提高了检索的精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的图像检索方法整体流程示意图；
图2为本发明实施例提供的图像检索装置整体结构示意图；
图3为本发明实施例提供的电子设备整体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的一个实施例中提供一种图像检索方法，图1为本发明实施例提供的图像检索方法整体流程示意图，该方法包括：S101，使用卷积神经网络提取目标图像的特征，根据所述卷积神经网络中最后一个卷积层输出的目标图像特征图，将同一位置的所述目标图像特征图中像素的总得分作为所述目标图像的类激活映射表；
其中，卷积神经网络是一种特殊的深层神经网络模型，该网络中神经元间的连接是非全连接的，同一层中某些神经元之间的连接的权重是共享的，即相同的。非全连接和权值共享的网络结构使卷积神经网络更类似于生物神经网络，降低了网络模型的复杂度，减少了权值的数量。本实施例不限于卷积神经网络的具体结构。目标图像为用户输入的搜索图像，从数据库中检索与目标图像相似的图像，将数据库中的图像作为待检索图像。使用卷积神经网络提取目标图像的特征，获取卷积神经网络中最后一个卷积层输出的目标图像的特征图。其中，卷积神经网络中的卷积层是由多个卷积核构成的一种结果，主要用于卷积运算。计算当卷积神经网络的预测结果为预设类别c类时，目标图像的各特征图中每个像素的得分，将所有特征图中同一位置像素的得分进行相加，获取同一位置像素的总得分。将该总得分作为目标图像的类激活映射表。
S102，将所述目标图像的各特征图与所述目标图像的类激活映射表进行相乘后求和池化，将求和池化结果与所述目标图像各特征图的权重进行相乘，获取所述目标图像各特征图的中间特征；
其中，各特征图的权重用于表示个特征图的重要程度，本实施例不限于特征图权重的计算方法。对于从卷积神经网络最后一个卷积层输出的K个分辨率为W*H的特征图，当预测结果为类别为c时，将目标图像的各特征图与目标图像的类激活映射表进行相乘后，将W*H的区域进行求和池化，生成一个K维向量表征目标图像特征图的特征，从而使目标图像的空间信息得到充分利用。最后将各特征图的信息融合进该K维特征，从而将空间特征和语义特征联合。首先，将求和池化结果与目标图像各特征图的权重进行相乘，获取目标图像各特征图的中间特征
Figure BDA0001894655290000051
中间特征的获取公式如下：
Figure BDA0001894655290000052
从而得到一个对应于c类的K维特征，即
Figure BDA0001894655290000053
S103，根据所述卷积神经网络的判别层输出的目标图像类别概率和所述目标图像各特征图的中间特征，获取所述目标图像各特征图的空间语义特征；
将卷积神经网络的全连接层的输出作为经过卷积神经网络中判别层的处理后获取目标图像的类别概率，如预测结果为c类的概率。将各特征图的中间特征与类别概率进行相乘，获取各特征图的空间语义特征，即加权的全图特征。该判别层可以为softmax层。
S104，根据所述目标图像各特征图的空间语义特征和预先获取的各待检索图像各特征图的空间语义特征，获取检索结果。
其中，各待检索图像各特征图的获取方法与目标图像特征图的获取方法相同。各待检索图像各特征图的空间语义特征的获取方法与目标图像特征图的空间语义特征的获取方法相同。各待检索图像各特征图的空间语义特征预先获取，并进行存储，便于重复利用。在进行检索时可以直接从数据库中获取各待检索图像各特征图的空间语义特征。可以根据目标图像各特征图的空间语义特征和各待检索图像各特征图的预先获取的空间语义特征之间的余弦距离，获取检索结果。但本实施例不限于余弦距离这种相似度计算方法。
本实施例通过训练用于大数据集上进行图像分类的卷积神经网络，使之用于图像检索，对卷积神经网络最后一个卷积层的输出进行编码，更好表现出图像特征，卷积层的输出具有空间信息，对于图像检索具有重大作用，利用类激活映射根据卷积神经网络的卷积层提取的特征生成语义感知权重，从而获取相应的语义信息，空间信息和语义信息的结合更具有表征性，提高了检索的精度。
在上述实施例的基础上，本实施例中通过以下公式根据所述卷积神经网络中最后一个卷积层输出的目标图像特征图，将同一位置的所述目标图像特征图中像素的总得分作为所述目标图像的类激活映射表：
Figure BDA0001894655290000061
其中，CAMc(x,y)为所述目标图像所有特征图中坐标为(x,y)的像素的总得分，fk(x,y)表示最后一个卷积层输出的目标图像第k个特征图中坐标为(x,y)的像素特征，
Figure BDA0001894655290000062
为目标图像第k个特征图的预测结果为c类时所述卷积神经网络的全连接层的权重参数。
具体地，卷积神经网络中最后一个卷积层之后设有全局平均池化层GAP，设GAP前一级输出的第k个特征图为fk(x,y)，各特征图通过GAP进行处理后得到输出的各特征图Fk为：
Fk＝∑x,yfk(x,y)。
卷积神经网络的预测结果为c类时的得分Sc如下：
Figure BDA0001894655290000063
其中，
Figure BDA0001894655290000064
为目标图像第k个特征图的预测结果为c类时所述卷积神经网络的全连接层的权重参数。考虑到累加性，将Sc计算公式的后一部分取出，定义为(x,y)位置像素的类激活映射值，得到类激活映射表，即：
Figure BDA0001894655290000065
在上述实施例的基础上，本实施例中在将求和池化结果与所述目标图像各特征图的权重进行相乘，获取所述目标图像各特征图的中间特征的步骤之前，还包括通过以下公式计算所述目标图像各特征图的权重：
Figure BDA0001894655290000066
其中，CWk表示所述目标图像第k个特征图的权重，K为所述目标图像特征图的总个数，Qn为目标图像第n个特征图中非零像素的比例，Qk为目标图像第k个特征图中非零像素的比例。
在本发明的另一个实施例中提供一种图像检索装置，该装置用于实现前述各实施例中的方法。因此，在前述图像检索方法的各实施例中的描述和定义，可以用于本发明实施例中各个执行模块的理解。图2为本发明实施例提供的图像检索装置整体结构示意图，该装置包括映射模块201、第一获取模块202、第二获取模块203和检索模块204；其中：
映射模块201用于使用卷积神经网络提取目标图像的特征，根据所述卷积神经网络中最后一个卷积层输出的目标图像特征图，将同一位置的所述目标图像特征图中像素的总得分作为所述目标图像的类激活映射表；
其中，目标图像为用户输入的搜索图像，从数据库中检索与目标图像相似的图像，将数据库中的图像作为待检索图像。映射模块201使用卷积神经网络提取目标图像的特征，获取卷积神经网络中最后一个卷积层输出的目标图像的特征图。计算当卷积神经网络的预测结果为预设类别c类时，目标图像的各特征图中每个像素的得分，将所有特征图中同一位置像素的得分进行相加，获取同一位置像素的总得分。将该总得分作为目标图像的类激活映射表。
第一获取模块202用于将所述目标图像的各特征图与所述目标图像的类激活映射表进行相乘后求和池化，将求和池化结果与所述目标图像各特征图的权重进行相乘，获取所述目标图像的各特征图的中间特征；
其中，各特征图的权重用于表示个特征图的重要程度，本实施例不限于特征图权重的计算方法。第一获取模块202将目标图像的各特征图与目标图像的类激活映射表进行相乘后，进行求和池化，从而使目标图像的空间信息得到充分利用。将求和池化结果与目标图像各特征图的权重进行相乘，获取目标图像各特征图的中间特征
Figure BDA0001894655290000073
中间特征的获取公式如下：
Figure BDA0001894655290000071
从而得到一个对应于c类的K维特征，即
Figure BDA0001894655290000072
第二获取模块203用于根据所述卷积神经网络的判别层输出的目标图像类别概率和所述目标图像各特征图的中间特征，获取所述目标图像各特征图的空间语义特征；
第二获取模块203将卷积神经网络的全连接层的输出作为经过卷积神经网络中判别层的处理后获取目标图像的类别概率，如预测结果为c类的概率。将各特征图的中间特征与类别概率进行相乘，获取各特征图的空间语义特征，即加权的全图特征。该判别层可以为softmax层。
检索模块204用于根据所述目标图像各特征图的空间语义特征和预先获取的各待检索图像各特征图的空间语义特征，获取检索结果。
其中，各待检索图像各特征图的获取方法与目标图像特征图的获取方法相同。各待检索图像各特征图的空间语义特征的获取方法与目标图像特征图的空间语义特征的获取方法相同。各待检索图像各特征图的空间语义特征预先获取，并进行存储，便于重复利用。在进行检索时可以直接从数据库中获取各待检索图像各特征图的空间语义特征。检索模块204根据目标图像各特征图的空间语义特征和各待检索图像各特征图的预先获取的空间语义特征之间的余弦距离，获取检索结果。但本实施例不限于余弦距离这种相似度计算方法。
本实施例通过训练用于大数据集上进行图像分类的卷积神经网络，使之用于图像检索，对卷积神经网络最后一个卷积层的输出进行编码，更好表现出图像特征，卷积层的输出具有空间信息，对于图像检索具有重大作用，利用类激活映射根据卷积神经网络的卷积层提取的特征生成语义感知权重，从而获取相应的语义信息，空间信息和语义信息的结合更具有表征性，提高了检索的精度。
在上述实施例的基础上，本实施例中映射模块具体通过以下公式根据所述卷积神经网络中最后一个卷积层输出的目标图像特征图，将同一位置的所述目标图像特征图中像素的总得分作为所述目标图像的类激活映射表：
Figure BDA0001894655290000081
其中，CAMc(x,y)为所述目标图像所有特征图中坐标为(x,y)的像素的总得分，fk(x,y)表示最后一个卷积层输出的目标图像第k个特征图中坐标为(x,y)的像素特征，
Figure BDA0001894655290000082
为目标图像第k个特征图的预测结果为c类时所述卷积神经网络的全连接层的权重参数。
在上述实施例的基础上，本实施例中第一获取模块还用于通过以下公式计算所述目标图像各特征图的权重：
Figure BDA0001894655290000091
其中，CWk表示所述目标图像第k个特征图的权重，K为所述目标图像特征图的总个数，Qn为目标图像第n个特征图中非零像素的比例，Qk为目标图像第k个特征图中非零像素的比例。
在上述实施例的基础上，本实施例中第二获取模块具体用于：根据所述卷积神经网络的全连接层的输出，使用softmax判别层获取所述目标图像的类别概率；将所述类别概率与所述目标图像各特征图的中间特征进行相乘，获取所述目标图像各特征图的空间语义特征。
在上述各实施例的基础上，本实施例中各所述待检索图像各特征图的获取方法与所述目标图像特征图的获取方法相同；各所述待检索图像各特征图的空间语义特征的获取方法与所述目标图像特征图的空间语义特征的获取方法相同。
在上述各实施例的基础上，本实施例中检索模块具体用于：计算所述目标图像各特征图的空间语义特征和各待检索图像各特征图的预先获取的空间语义特征之间的余弦距离，根据所述余弦距离获取检索结果。
本实施例提供一种电子设备，图3为本发明实施例提供的电子设备整体结构示意图，该设备包括：至少一个处理器301、至少一个存储器302和总线303；其中，
处理器301和存储器302通过总线303完成相互间的通信；
存储器302存储有可被处理器301执行的程序指令，处理器调用程序指令能够执行上述各方法实施例所提供的方法，例如包括：使用卷积神经网络提取目标图像的特征，根据卷积神经网络中最后一个卷积层输出的目标图像特征图，将同一位置的特征图中像素的总得分作为目标图像的类激活映射表；将各特征图与类激活映射表进行相乘后求和池化，将求和池化结果与目标图像各特征图的权重进行相乘，获取目标图像各特征图的中间特征；根据卷积神经网络的判别层输出的目标图像类别概率和目标图像各特征图的中间特征，获取目标图像各特征图的空间语义特征；根据目标图像各特征图的空间语义特征和预先获取的各待检索图像各特征图的空间语义特征，获取检索结果。
本实施例提供一种非暂态计算机可读存储介质，非暂态计算机可读存储介质存储计算机指令，计算机指令使计算机执行上述各方法实施例所提供的方法，例如包括：使用卷积神经网络提取目标图像的特征，根据卷积神经网络中最后一个卷积层输出的目标图像特征图，将同一位置的特征图中像素的总得分作为目标图像的类激活映射表；将各特征图与类激活映射表进行相乘后求和池化，将求和池化结果与目标图像各特征图的权重进行相乘，获取目标图像各特征图的中间特征；根据卷积神经网络的判别层输出的目标图像类别概率和目标图像各特征图的中间特征，获取目标图像各特征图的空间语义特征；根据目标图像各特征图的空间语义特征和预先获取的各待检索图像各特征图的空间语义特征，获取检索结果。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种图像检索方法，其特征在于，包括：
使用卷积神经网络提取目标图像的特征，根据所述卷积神经网络中最后一个卷积层输出的目标图像特征图，将同一位置的所述目标图像特征图中像素的总得分作为所述目标图像的类激活映射表；
将所述目标图像的各特征图与所述目标图像的类激活映射表进行相乘后求和池化，将求和池化结果与所述目标图像各特征图的权重进行相乘，获取所述目标图像各特征图的中间特征；
根据所述卷积神经网络的判别层输出的目标图像类别概率和所述目标图像各特征图的中间特征，获取所述目标图像各特征图的空间语义特征；
根据所述目标图像各特征图的空间语义特征和预先获取的各待检索图像各特征图的空间语义特征，获取检索结果。
2.根据权利要求1所述的方法，其特征在于，通过以下公式根据所述卷积神经网络中最后一个卷积层输出的目标图像特征图，将同一位置的所述目标图像特征图中像素的总得分作为所述目标图像的类激活映射表：
Figure FDA0001894655280000011
其中，CAMc(x,y)为所述目标图像所有特征图中坐标为(x,y)的像素的总得分，fk(x,y)表示最后一个卷积层输出的目标图像第k个特征图中坐标为(x,y)的像素特征，
Figure FDA0001894655280000012
为目标图像第k个特征图的预测结果为c类时所述卷积神经网络的全连接层的权重参数。
3.根据权利要求1所述的方法，其特征在于，在将求和池化结果与所述目标图像各特征图的权重进行相乘，获取所述目标图像各特征图的中间特征的步骤之前，还包括通过以下公式计算所述目标图像各特征图的权重：
Figure FDA0001894655280000013
其中，CWk表示所述目标图像第k个特征图的权重，K为所述目标图像特征图的总个数，Qn为目标图像第n个特征图中非零像素的比例，Qk为目标图像第k个特征图中非零像素的比例。
4.根据权利要求1所述的方法，其特征在于，根据所述卷积神经网络的判别层输出的目标图像类别概率和所述目标图像各特征图的中间特征，获取所述目标图像各特征图的空间语义特征的步骤具体包括：
根据所述卷积神经网络的全连接层的输出，使用softmax判别层获取所述目标图像的类别概率；
将所述类别概率与所述目标图像各特征图的中间特征进行相乘，获取所述目标图像各特征图的空间语义特征。
5.根据权利要求1-4任一所述的方法，其特征在于，各所述待检索图像各特征图的获取方法与所述目标图像特征图的获取方法相同；
各所述待检索图像各特征图的空间语义特征的获取方法与所述目标图像特征图的空间语义特征的获取方法相同。
6.根据权利要求1-4任一所述的方法，其特征在于，根据所述目标图像各特征图的空间语义特征和预先获取的各待检索图像各特征图的空间语义特征，获取检索结果的步骤具体包括：
计算所述目标图像各特征图的空间语义特征和各待检索图像各特征图的预先获取的空间语义特征之间的余弦距离，根据所述余弦距离获取检索结果。
7.一种图像检索装置，其特征在于，包括：
映射模块，用于使用卷积神经网络提取目标图像的特征，根据所述卷积神经网络中最后一个卷积层输出的目标图像特征图，将同一位置的所述目标图像特征图中像素的总得分作为所述目标图像的类激活映射表；
第一获取模块，用于将所述目标图像的各特征图与所述目标图像的类激活映射表进行相乘后求和池化，将求和池化结果与所述目标图像各特征图的权重进行相乘，获取所述目标图像的各特征图的中间特征；
第二获取模块，用于根据所述卷积神经网络的判别层输出的目标图像类别概率和所述目标图像各特征图的中间特征，获取所述目标图像各特征图的空间语义特征；
检索模块，用于根据所述目标图像各特征图的空间语义特征和预先获取的各待检索图像各特征图的空间语义特征，获取检索结果。
8.根据权利要求7所述的装置，其特征在于，所述映射模块具体通过以下公式根据所述卷积神经网络中最后一个卷积层输出的目标图像特征图，将同一位置的所述目标图像特征图中像素的总得分作为所述目标图像的类激活映射表：
Figure FDA0001894655280000031
其中，CAMc(x,y)为所述目标图像所有特征图中坐标为(x,y)的像素的总得分，fk(x,y)表示最后一个卷积层输出的目标图像第k个特征图中坐标为(x,y)的像素特征，
Figure FDA0001894655280000032
为目标图像第k个特征图的预测结果为c类时所述卷积神经网络的全连接层的权重参数。
9.一种电子设备，其特征在于，包括：
至少一个处理器、至少一个存储器和总线；其中，
所述处理器和存储器通过所述总线完成相互间的通信；
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至6任一所述的方法。
10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至6任一所述的方法。
CN201811486518.5A 2018-12-06 2018-12-06 图像检索方法及装置 Active CN109597906B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811486518.5A CN109597906B (zh) 2018-12-06 2018-12-06 图像检索方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811486518.5A CN109597906B (zh) 2018-12-06 2018-12-06 图像检索方法及装置

Publications (2)

Publication Number Publication Date
CN109597906A CN109597906A (zh) 2019-04-09
CN109597906B true CN109597906B (zh) 2020-11-13

Family

ID=65962189

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811486518.5A Active CN109597906B (zh) 2018-12-06 2018-12-06 图像检索方法及装置

Country Status (1)

Country Link
CN (1) CN109597906B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113095300A (zh) * 2021-05-13 2021-07-09 华南理工大学 一种融合人种信息的年龄预测方法及其系统
CN113806582B (zh) * 2021-11-17 2022-02-25 腾讯科技（深圳）有限公司 图像检索方法、装置、电子设备和存储介质
CN114333850B (zh) * 2022-03-15 2022-08-19 清华大学 一种语音声纹可视化方法与装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108399406A (zh) * 2018-01-15 2018-08-14 中山大学 基于深度学习的弱监督显著性物体检测的方法及系统
CN108664967A (zh) * 2018-04-17 2018-10-16 上海交通大学 一种多媒体页面视觉显著性预测方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11210777B2 (en) * 2016-04-28 2021-12-28 Blancco Technology Group IP Oy System and method for detection of mobile device fault conditions

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108399406A (zh) * 2018-01-15 2018-08-14 中山大学 基于深度学习的弱监督显著性物体检测的方法及系统
CN108664967A (zh) * 2018-04-17 2018-10-16 上海交通大学 一种多媒体页面视觉显著性预测方法及系统

Also Published As

Publication number Publication date
CN109597906A (zh) 2019-04-09

Similar Documents

Publication Publication Date Title
US11227185B2 (en) Identifying visually similar digital images utilizing deep learning
WO2020108608A1 (zh) 搜索结果处理方法、装置、终端、电子设备及存储介质
CN106649487B (zh) 基于兴趣目标的图像检索方法
Li et al. SHREC’13 track: large scale sketch-based 3D shape retrieval
CN109960742B (zh) 局部信息的搜索方法及装置
US9218364B1 (en) Monitoring an any-image labeling engine
CN109902665A (zh) 相似人脸检索方法、装置及存储介质
CN110413816B (zh) 彩色草图图像搜索
CN109597906B (zh) 图像检索方法及装置
CN111311614B (zh) 基于分割网络和对抗网络的三维点云语义分割方法
US9129152B2 (en) Exemplar-based feature weighting
JP2023073231A (ja) イメージ処理方法及び装置
Chen et al. Multi-SVM based Dempster–Shafer theory for gesture intention understanding using sparse coding feature
CN111984817A (zh) 一种基于自注意力机制加权的细粒度图像检索方法
CN113297410A (zh) 一种图像检索方法、装置、计算机设备及存储介质
CN113343981A (zh) 一种视觉特征增强的字符识别方法、装置和设备
CN114168768A (zh) 图像检索方法及相关设备
JP4570995B2 (ja) マッチング方法およびマッチング装置ならびにプログラム
CN116935057A (zh) 目标评价方法、电子设备和计算机可读存储介质
CN113033587A (zh) 图像识别结果评估方法、装置、电子设备及存储介质
US11961249B2 (en) Generating stereo-based dense depth images
Li et al. Research on YOLOv3 pedestrian detection algorithm based on channel attention mechanism
Zulkifli Plant leaf identification using moment invariants & general regression neural network
CN111914110A (zh) 一种基于深度激活显著区域的实例检索方法
WO2021137942A1 (en) Pattern generation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20201015

Address after: 215000 unit 2-b702, creative industry park, No. 328, Xinghu street, Suzhou Industrial Park, Suzhou City, Jiangsu Province

Applicant after: SUZHOU FEISOU TECHNOLOGY Co.,Ltd.

Address before: 100876 Beijing, Haidian District, 10 West Road, Beijing, 12 Beijing, North Post Science and technology exchange center, room 1216

Applicant before: BEIJING FEISOU TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant