CN117407555A - 图像处理方法、电子设备及计算机可读介质 - Google Patents

图像处理方法、电子设备及计算机可读介质 Download PDF

Info

Publication number
CN117407555A
CN117407555A CN202311329932.6A CN202311329932A CN117407555A CN 117407555 A CN117407555 A CN 117407555A CN 202311329932 A CN202311329932 A CN 202311329932A CN 117407555 A CN117407555 A CN 117407555A
Authority
CN
China
Prior art keywords
feature map
similarity
map
obtaining
similarity result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311329932.6A
Other languages
English (en)
Inventor
周健
李佩易
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Bilibili Technology Co Ltd
Original Assignee
Shanghai Bilibili Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Bilibili Technology Co Ltd filed Critical Shanghai Bilibili Technology Co Ltd
Priority to CN202311329932.6A priority Critical patent/CN117407555A/zh
Publication of CN117407555A publication Critical patent/CN117407555A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例提供一种图像处理方法、电子设备及计算机可读介质，用以解决图像检索目标图耗时长的问题。该图像处理方法获取查询图的第一特征图和第二特征图。以及，获取样本图的第三特征图和第四特征图。第一特征图、第二特征图、第三特征图和第四特征图都是二维特征。由第一特征图、第二特征图分别与第三特征图和第四特征图交叉计算得到第一相似度结果、第二相似度结果、第三相似度结果和第四相似度结果，皆通过特征向量计算。以此得到第一相似度特征图，进而得到查询图和样本图的相似度。本申请实施例提供的图像处理方法能够降低计算量，提升图像检索的速度。

Description

图像处理方法、电子设备及计算机可读介质
技术领域
本申请涉及图像处理技术领域，尤其涉及一种图像处理方法、电子设备及计算机可读介质。
背景技术
图像检索技术，能够实现在海量的图库中搜索与“给定的查询图”相似的“目标图”。图像检索的方式可以为以图搜图。图库中包括多个样本图。对于每一张“给定的查询图”，计算查询图与图库中每一张样本图的相似度。相似度的值越高，则对应的查询图与样本图越相似。符合预设相似度条件的样本图可以是“目标图”。
随着信息技术及互联网的发展，图库中样本图的数量飞速增长。数以亿计的样本图使得以图搜图的图像检索方式耗时长。如何在海量的图库中快速的检索目标图片成为亟待解决的问题。
发明内容
本申请实施例提供一种图像处理方法、电子设备及计算机可读介质，用以解决图像检索目标图耗时长的问题。
第一方面，提供一种图像处理方法，该图像处理方法包括：确定查询图的第一特征图，第一特征图包括查询图的二维特征；根据第一特征图，得到第二特征图；第一特征图和第二特征图的大小不相同；确定样本图的第三特征图，第三特征图包括样本图的二维特征；根据第三特征图，得到第四特征图；第三特征图和第四特征图的大小不相同；根据第一特征图和第三特征图，得到第一相似度结果；根据第一特征图和第四特征图，得到第二相似度结果；根据第二特征图和第三特征图，得到第三相似度结果；根据第二特征图和第四特征图，得到第四相似度结果；根据第一相似度结果、第二相似度结果、第三相似度结果和第四相似度结果，得到第一相似度特征图。
基于上述本申请实施例提供的图像处理方法，可知，该图像处理方法获取查询图的两个大小不同的二维特征图，即第一特征图和第二特征图。第一特征图和第二特征图用于表征查询图的不同向量特征。以及，获取样本图的两个大小不同的二维特征图，即第三特征图和第四特征图。第三特征图和第四特征图用于表征样本图的不同向量特征。第一特征图、第二特征图、第三特征图和第四特征图都是二维特征，计算相似度时，根据第一特征图和第三特征图得到第一相似度结果。即计算相似度时通过特征向量计算。与之相似的，根据第一特征图和第四特征图得到第二相似度结果。根据第二特征图和第三特征图得到第三相似度结果。根据第二特征图和第四特征图得到第四相似度结果。以上都是通过特征向量计算，再根据第一相似度结果、第二相似度结果、第三相似度结果和第四相似度结果得到第一相似度特征图，进而得到查询图和样本图的相似度。相比通过直接通过查询图的原图和计算相似度，本申请实施例提供的图像处理方法能够降低计算量，提升图像检索的速度。
以及，本申请实施例中第一相似度结果、第二相似度结果、第三相似度结果和第四相似度结果，是由第一特征图、第二特征图分别与第三特征图和第四特征图交叉计算得到的，能够完成查询图的局部特征匹配目标图的局部特征的操作，得到第一相似度特征图表征查询图和样本图的相似度时更加准确，有利于找到与查询图更为相似的样本图，使得以图搜图的结果更加准确。
在第一方面可行的实现方式中，图像处理方法还包括：确定查询图的多个不同尺寸的二维特征图；确定样本图的多个不同尺寸的二维特征图；将查询图的每个二维特征图与样本图的每个二维特征图交叉计算，得到第一相似度特征图。
这样，交叉计算能够完成查询图的局部特征匹配目标图的局部特征的操作，有利于找到与查询图更为相似的样本图，使得以图搜图的结果更加准确。
在第一方面可行的实现方式中，图像处理方法还包括：根据第一特征图，得到第五特征图；第一特征图的尺寸大于第二特征图，第二特征图的尺寸大于第五特征图；根据第五特征图和第三特征图，得到第五相似度结果；根据第五特征图和第四特征图，得到第六相似度结果；根据第五相似度结果和第六相似度结果，得到第一相似度特征图。
通过获得第五特征图，增加查询图的二维特征图。第五相似度结果和第六相似度结果能够丰富第一相似度特征图，进一步增加以图搜图的结果的准确性。
在第一方面可行的实现方式中，图像处理方法还包括：根据第三特征图，得到第六特征图；第三特征图的尺寸大于第四特征图，第四特征图的尺寸大于第六特征图；根据第一特征图和第六特征图，得到第七相似度结果；根据第二特征图和第六特征图，得到第八相似度结果；根据第五特征图和第六特征图，得到第九相似度结果；根据第七相似度结果、第八相似度结果和第九相似度结果，得到第一相似度特征图。
通过获得第六特征图，增加样本图的二维特征图。第七相似度结果、第八相似度结果和第九相似度结果能够丰富第一相似度特征图，进一步增加以图搜图的结果的准确性。
在第一方面可行的实现方式中，图像处理方法还包括：确定查询图的空间注意力图；空间注意力图用于表征图像的重点区域；根据第一相似度特征图和空间注意力图，得到查询图和样本图的相似度。
这样，通过查询图计算空间注意力图，作用于第一相似度特征图，计算查询图和样本图的相似度，相似度的准确性提升。例如，本申请实施例提供的图像处理方法能够消除大面积无关背景对相似度结果计算的影响。
在第一方面可行的实现方式中，根据第一相似度特征图和空间注意力图，得到查询图和样本图的相似度，包括：通过卷积神经网络结合第一相似度特征图和空间注意力图；其中，卷积神经网络包括多个不同的卷积层；第一相似度特征图分别通过一个或多个卷积层得到第一卷积特征图；第一卷积特征图乘以空间注意力图得到第一编码图；第一编码图依次通过一个或多个得到第二相似度特征图；将第二相似度特征图全局平均池化和归一化，得到相似度。
一个或多个卷积层能够进一步提取特征，进行深化处理，有利于增加以图搜图的结果的准确性。
在第一方面可行的实现方式中，根据第一相似度特征图和空间注意力图，得到查询图和样本图的相似度，包括：通过卷积神经网络结合第一相似度特征图和空间注意力图；其中，卷积神经网络包括第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层；第一相似度特征图分别通过第一卷积层、第二卷积层得到第一卷积特征图；第一卷积特征图乘以空间注意力图得到第一编码图；第一编码图依次通过第三卷积层、第四卷积层和第五卷积层得到第二相似度特征图；将第二相似度特征图全局平均池化和归一化，得到相似度。第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层为不同的卷积层，比如，卷积核滑动的步长不同，和/或卷积核的大小不同。
这样，本申请实施例提供的图像处理方法能够得到空间注意力加权的特征图，即第二相似度特征图。通过第二相似度特征图来计算相似度时，更关注图像重点区域的相似度，进一步增加以图搜图的结果的准确性。例如，当查询图和样本图均包括大块白色背景时，本申请实施例能排除大块白色背景的干扰。
以及，第一编码图依次通过第三卷积层、第四卷积层和第五卷积层得到第二相似度特征图，能够进一步提取特征，有利于增加以图搜图的结果的准确性。
在第一方面可行的实现方式中，第一特征图的大小和第三特征图的大小相同；第二特征图和第四特征图的大小相同。
在第一方面可行的实现方式中，根据第一特征图得到第二特征图，包括：第一特征图通过卷积和缩小得到第二特征图。
本申请实施例提供的图像处理方法通过二维卷积计算图像相似度，二维卷积具备更强的解释性，有利于快速准确的实现图片检索。
在第一方面可行的实现方式中，确定查询图的空间注意力图；包括：在特征维度，得到查询图的二维特征的平均值和最大值；将平均值和最大值特征维度拼接，得到空间注意力图。
在第一方面可行的实现方式中，确定查询图的空间注意力图；包括：在特征维度，得到查询图的二维特征的平均值和最大值；将平均值和最大值特征维度拼接和归一化，得到空间注意力图。
在第一方面可行的实现方式中，根据第一相似度结果、第二相似度结果、第三相似度结果和第四相似度结果，得到第一相似度特征图，包括：放大第一相似度结果、第二相似度结果、第三相似度结果和第四相似度结果，以使根据第一相似度结果、第二相似度结果、第三相似度结果和第四相似度结果尺寸相同；拼接第一相似度结果、第二相似度结果、第三相似度结果和第四相似度结果。
第二方面，提供一种电子设备，该电子设备包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面提供的图像处理方法。
本申请实施例提供的电子设备能够执行如第一方面提供的图像处理方法，这样，电子设备涉及以图搜图的各个应用的性能能够得到提升，从而提升电子设备的整体性能，使得电子设备能够适应更多的应用场景。
第三方面，提供一种计算机可读存储介质，其上存储有计算机程序指令，计算机程序指令可被处理器执行以实现如第一方面提供的图像处理方法。
本申请实施例提供的计算机可读存储介质存储有能够执行如第一方面提供的图像处理方法的计算机程序指令，这样，该计算机可读存储介质能够实现以图搜图的速度和准确性的双重提升。
附图说明
图1为本申请一实施例提供的图像处理方法的流程示意图；
图2为本申请另一实施例提供的图像处理方法的流程示意图；
图3为本申请又一实施例提供的图像处理方法的流程示意图；
图4为本申请再一实施例提供的图像处理方法的流程示意图；
图5为本申请再一实施例提供的图像处理方法的流程示意图；
图6为本申请实施例提供的查询图的示意图；
图7为本申请实施例提供的样本图的示意图；
图8为本申请实施例提供的查询图和空间注意力图的示意图；
图9为适用于实现本申请实施例中的方案的一种设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例提供了一种图像处理方法，该方法可以用于实现计算机视觉(computer vision，CV)的图像检索(image retrieval，IR)。计算机视觉是计算机科学领域与人工智能领域中的一个重要方向，研究用计算机对数字图像进行识别、处理和生成。图像检索是计算机视觉的一个重要课题，研究通过文字、图像等方式在海量图库中检索目标图。本申请实施例的图像检索指的是用查询图(query)检索目标图。
在一些应用场景中，图像检索包括图像检索重排(image retrieval re-rank)。在进行图片检索时，可以先过滤绝大部分相似度较低的图像，得到少量相似度较高的候选样本。再将这些相似度较高的候选样本用重排模型重新计算查询图像和目标图像的相似度，并根据新的相似度对检索结果重新排序。这样得到的目标图与查询图的相似度准确性更高。
下面以图像处理方法应用在图像检索重排中，对本申请实施例提供的图像处理方法进行说明。
为了更快更准确的找到与查询图相似的样本图，在一些实施例中，确定查询图的多个不同尺寸的二维特征图。确定样本图的多个不同尺寸的二维特征图。将查询图的每个二维特征图与样本图的每个二维特征图交叉计算，得到第一相似度特征图。这样，交叉计算能够完成查询图的局部特征匹配目标图的局部特征的操作，有利于找到与查询图更为相似的样本图，使得以图搜图的结果更加准确。
其中，查询图的多个不同尺寸的二维特征图的数目可以是两个，也可以是三个，还可以是四个。对于查询图的多个不同尺寸的二维特征图的数目，本申请不做限定。与之相同的，样本图的多个不同尺寸的二维特征图的数目可以是两个，也可以是三个，还可以是四个。对于样本图的多个不同尺寸的二维特征图的数目，本申请不做限定。
下面以查询图的两个不同尺寸的二维特征图，样本图的两个不同尺寸的二维特征图为例，对本申请实施例提供的图像处理方法进行说明。
图1为本申请一实施例提供的图像处理方法的流程示意图。如图1所示，该图像处理方法方法包括以下的处理步骤：
步骤S101，确定查询图的第一特征图，第一特征图包括查询图的二维特征。
示例性的，查询图的第一特征图的尺寸可以为40×40。
步骤S102，根据第一特征图，得到第二特征图；第一特征图和第二特征图的大小不相同。
在一种实现方式中，第一特征图可以通过卷积和缩小得到第二特征图。本申请实施例提供的图像处理方法通过二维卷积计算图像相似度，二维卷积具备更强的解释性，有利于快速准确的实现图片检索。示例性的，查询图的第一特征图的尺寸为40×40时，查询图的第二特征图的尺寸可以为20×20。
步骤S103，确定样本图的第三特征图，第三特征图包括样本图的二维特征。
在一种实现方式中，查询图的第一特征图的尺寸，与样本图的第三特征图的尺寸可以相同。示例性的，样本图的第三特征图的尺寸可以为40×40。
在另一种实现方式中，步骤S101和步骤S103可以同时进行。在又一种实现方式中，步骤S103可以比步骤S101先执行。本申请不作限定。
步骤S104，根据第三特征图，得到第四特征图；第三特征图和第四特征图的大小不相同。
在一种实现方式中，第三特征图可以通过卷积和缩小得到第四特征图。本申请实施例提供的图像处理方法通过二维卷积计算图像相似度，二维卷积具备更强的解释性，有利于快速准确的实现图片检索。示例性的，样本图的第三特征图的尺寸为40×40时，样本图的第四特征图的尺寸可以为为20×20。
步骤S105，根据第一特征图和第三特征图，得到第一相似度结果。
在一种实现方式中，第一特征图Q的特征Q∈RD×H1×W1，其中，D表示特征维度，H1表示特征图高度，W1表示特征图宽度。第三特征图G的特征G∈RD×H2×W2，其中，D表示特征维度，H2表示特征图高度，W2表示特征图宽度。第一相似度结果S可计算为S∈R(H2*W2)×H1×W1。示例性的，给定Q的任意位置的D维特征F_ij，其中，i表示特征图高度维度的下标，j表示特征图宽度的维度的下标。F_ij与G逐位置特征计算余弦(cosine)相似度，并展开为(H2*W2)维的高维向量，即为S_ij。这样，第一相似度结果的计算时间较短。
步骤S106，根据第一特征图和第四特征图，得到第二相似度结果。
该步骤可以参见步骤S105，在此不作赘述。
在一种实现方式中，第三特征图和第四特征图的大小不同，因而第一相似度结果和第二相似度结果的尺寸也不同。
步骤S107，根据第二特征图和第三特征图，得到第三相似度结果。
该步骤可以参见步骤S105，在此不作赘述。
步骤S108，根据第二特征图和第四特征图，得到第四相似度结果。
该步骤可以参见步骤S105，在此不作赘述。
在一种实现方式中，第三特征图和第四特征图的大小不同，因而第三相似度结果和第四相似度结果的尺寸也不同。
步骤S109，根据第一相似度结果、第二相似度结果、第三相似度结果和第四相似度结果，得到第一相似度特征图。
在一种实现方式中，第一相似度结果、第二相似度结果、第三相似度结果和第四相似度结果的尺寸有大有小。放大第一相似度结果、第二相似度结果、第三相似度结果和第四相似度结果，以使根据第一相似度结果、第二相似度结果、第三相似度结果和第四相似度结果尺寸相同。拼接第一相似度结果、第二相似度结果、第三相似度结果和第四相似度结果。示例性的，以第一相似度结果、第二相似度结果、第三相似度结果和第四相似度结果中尺寸最大的相似度结果为基准，对第一相似度结果、第二相似度结果、第三相似度结果和第四相似度结果进行放大。也就是说，第一相似度结果、第二相似度结果、第三相似度结果和第四相似度结果中有一个相似度结果的放大倍数可以是一倍。
第一特征图、第二特征图、第三特征图和第四特征图都是二维特征，计算相似度时，根据第一特征图和第三特征图得到第一相似度结果。即计算相似度时通过特征向量计算。与之相似的，第二相似度结果、第三相似度结果和第四相似度结果都是通过特征向量计算得到的。相比通过直接通过查询图的原图和计算相似度，本申请实施例提供的图像处理方法能够降低计算量，提升图像检索的速度。
以及，本申请实施例中第一相似度结果、第二相似度结果、第三相似度结果和第四相似度结果，是由第一特征图、第二特征图分别与第三特征图和第四特征图交叉计算得到的，能够完成查询图的局部特征匹配目标图的局部特征的操作，得到第一相似度特征图表征查询图和样本图的相似度时更加准确，有利于找到与查询图更为相似的样本图，使得以图搜图的结果更加准确。
本申请实施例通过二维(2dimension，2D)卷积计算图像相似度，2D卷积具备更强解释性，与查询图或样本图之间的联系更加直观。相比4D卷积缺乏解释性，本申请实施例通过2D卷积能够适应更多的应用场景。
为了更加准确的计算相似度，可以使用查询图的三个或三个以上不同尺寸的二维特征图，分别与样本图的三个或三个以上不同尺寸的二维特征图计算得到相似度结果，丰富第一相似度特征图。下面以三个二维特征图为例进行说明。
查询图的不同大小的二维特征图设置有三个。此时，如图2所示，执行步骤S201至步骤S204。
步骤S201，根据第一特征图，得到第五特征图。第一特征图的尺寸大于第二特征图，第二特征图的尺寸大于第五特征图。
示例性的，查询图的第一特征图的尺寸为40×40，查询图的第二特征图的尺寸为20×20时，查询图的第五特征图的尺寸可以为10×10。
在一种实现方式中，可以根据查询图的第二特征图，通过卷积和缩小，得到查询图的第五特征图。
在一种实现方式中，执行步骤S102之后，执行步骤S109之前，执行步骤S201。
步骤S202，根据第五特征图和第三特征图，得到第五相似度结果。
步骤S203，根据第五特征图和第四特征图，得到第六相似度结果。
在一些实施例中，执行步骤S109之前，执行步骤S201至步骤S203。
步骤S204，根据第五相似度结果和第六相似度结果，得到第一相似度特征图。
在一些实施例中，执行S109的同时，执行步骤S204。
样本图的不同大小的二维特征图也设置有三个。此时，如图3所示，执行步骤S301至步骤S305。
步骤S301，根据第三特征图，得到第六特征图。第三特征图的尺寸大于第四特征图，第四特征图的尺寸大于第六特征图。
步骤S302，根据第一特征图和第六特征图，得到第七相似度结果。
步骤S303，根据第二特征图和第六特征图，得到第八相似度结果。
步骤S304，根据第五特征图和第六特征图，得到第九相似度结果。
在一些实施例中，在执行步骤S109之前，执行步骤S302至步骤S304。通过执行步骤S302至步骤S304，查询图的二维特征图和样本图的二维特征图实现交叉计算。
步骤S305，根据第七相似度结果、第八相似度结果和第九相似度结果，得到第一相似度特征图。
在一些实施例中，执行S109的同时，执行步骤S305。在一种实现方法中，拼接第一相似度结果、第二相似度结果、第三相似度结果、第四相似度结果、第五相似度结果、第六相似度结果、第七相似度结果、第八相似度结果和第九相似度结果得到第一相似度特征图。示例性的，第一相似度结果的尺寸为f1*40*40，其中，f1表示为第一相似度结果的特征纬度，40*40表示为第一相似度结果的空间纬度。第二相似度结果的尺寸为f2*20*20，其中，f2表示为第二相似度结果的特征纬度，20*20表示为第二相似度结果的空间纬度。将第二相似度结果的尺寸放大为f2*40*40。第三相似度结果的尺寸为f3*10*10，其中，f3表示为第三相似度结果的特征纬度，10*10表示为第三相似度结果的空间纬度。将第三相似度结果的尺寸放大为f3*40*40。与之相似的，将第五相似度结果的尺寸放大为f5*40*40。将第六相似度结果的尺寸放大为f6*40*40。将第七相似度结果的尺寸放大为f7*40*40。将第八相似度结果的尺寸放大为f8*40*40。将第九相似度结果的尺寸放大为f9*40*40。则最终以特征维度拼接起来的第一相似度特征图为(f1+f2+f3…+f9)*40*40。
通过获得第六特征图，增加样本图的二维特征图。第七相似度结果、第八相似度结果和第九相似度结果能够丰富第一相似度特征图，进一步增加以图搜图的结果的准确性。
可以理解的是，上述实施例仅示例性的示出查询图的二维特征图为三个，样本图的二维特征图为三个的情形，并不构成对二维图的数目的限定。比如，查询图不同大小的二维特征图可以设置有四个，样本图的不同大小的二维特征图也设置有四个。
以上，通过查询图的局部特征匹配目标图的局部特征的操作，得到第一相似度特征图表征查询图和样本图的相似度时更加准确，有利于找到与查询图更为相似的样本图，使得以图搜图的结果更加准确。
在一些场景中，查询图和样本图中包括占据图片较大面积的背景。背景为图片的非重点区域时，由于背景占据了较大面积，对于相似度的结果会造成干扰。示例性的，如图6所示的查询图和如图7所示的样本图均包括大块白色背景。图6所示的查询图的重点区域为猫，而如图7所示的样本图的重点区域为人。
为了排除非重点区域的干扰，本申请实施例执行步骤S101至步骤S109之后。如图4所示，该图像处理方法还包括：
步骤S401，确定查询图的空间注意力图。空间注意力图用于表征图像的重点区域。
空间注意力，为一种注意力机制。通过二维特征图计算一个二维的注意力图。该注意力图的数值在0到1之间。注意力图的数值越大，表示其对应的区域越重要。示例性的，注意力图的数值达到一定预设条件时，其对应的区域为重点区域。
在一种实现方式中，在特征维度，得到查询图的二维特征的平均值和最大值。将平均值和最大值特征维度拼接和归一化，得到空间注意力图。
示例性的，查询图的二维特征M表示为M∈RK×H×W，其中，K表示特征维度，H表示特征图高度，W表示特征图宽度。查询图的二维特征M的平均值表示为Me，Me∈R1×H×W。查询图的二维特征M的最大值表示为Ma，Ma∈R1×H×W。
空间注意力图sa计算方式如下所示：；
sa＝sigmoid(conv([Me，Ma]))；
其中，[Me，Ma]表示Me和Ma沿着特征维度拼接；conv表示卷积；归一化(sigmoid)是sigmoid函数。
步骤S402，根据第一相似度特征图和空间注意力图，得到查询图和样本图的相似度。
在一种实现方式中，根据第一相似度特征图和空间注意力图，得到查询图和样本图的相似度，包括：通过卷积神经网络结合第一相似度特征图和空间注意力图。其中，卷积神经网络包括多个卷积层。第一相似度特征图分别通过一个或多个卷积层得到第一卷积特征图。第一卷积特征图乘以空间注意力图得到第一编码图。第一编码图依次通过一个或多个得到第二相似度特征图。将第二相似度特征图全局平均池化和归一化，得到相似度。一个或多个卷积层能够进一步提取特征，进行深化处理，有利于增加以图搜图的结果的准确性。
示例性的，卷积神经网络包括第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层。如图5所示，包括以下步骤：
步骤S4021，第一相似度特征图分别通过第一卷积层、第二卷积层得到第一卷积特征图。第一卷积层、第二卷积层为不同的卷积层，比如，卷积核滑动的步长不同，和/或卷积核的大小不同。
步骤S4022，第一卷积特征图乘以空间注意力图得到第一编码图。
步骤S4023，第一编码图依次通过第三卷积层、第四卷积层和第五卷积层得到第二相似度特征图。第三卷积层、第四卷积层和第五卷积层为不同的卷积层，比如，卷积核滑动的步长不同，和/或卷积核的大小不同。
第一编码图依次通过第三卷积层、第四卷积层和第五卷积层得到第二相似度特征图，能够进一步提取特征，有利于增加以图搜图的结果的准确性。
可以理解的是，步骤S4023中仅示例性的示出第一编码图通过的卷积层的数目为三个。并不构成对第一编码图通过的卷积层的数目的限定。比如，在另一些实施例中，第一编码图通过的卷积层的数目可以是一个，可以是两个，也可以是四个。
在一些实施例中，步骤S4024，将第二相似度特征图全局平均池化和归一化(sigmoid)，得到相似度。
这样，通过查询图计算空间注意力图，作用于第一相似度特征图，计算查询图和样本图的相似度，相似度的准确性提升。本申请实施例提供的图像处理方法能够得到空间注意力加权的特征图，即第二相似度特征图。通过第二相似度特征图来计算相似度时，更关注图像重点区域的相似度，进一步增加以图搜图的结果的准确性。
在一些实施例中，相似度可以是一个从0到1的数值，数值越高表示查询图和样本图越相似。
为了说明本申请实施例提供的图像处理方法对查询图和样本图的相似度的计算准确性，构建“两万查询图-候选图对的训练集”和“两千查询图-候选图对的测试集”。
表1表示不同测试方法的准确率。
表1
方法 准确率(％)
向量检索 82.0
4D卷积重排 98.6
2D卷积重排(本申请实施例) 98.5
2D卷积重排+空间注意力(本申请实施例) 98.9
如表1所示，通过现有的向量检索的方法的准确率最低，且大幅落后重排方法(包括4D卷积重排和2D卷积重排)。可以理解的是，重排方法即是前文所说的图像检索重排。
本申请实施例提供的图像处理方法，通过结合空间注意力，更关注图像重点区域，准确率大幅提升。如图8所示，人像图片作为查询图时，模型更关注人脸部分以及人手的部分，背景部分注意力分数较低，从而提升相似度的准确性。
基于同一发明构思，本申请实施例中还提供了一种电子设备，所述电子设备对应的方法可以是前述实施例中的用于图像检索的图像处理方法，并且其解决问题的原理与该方法相似。本申请实施例提供的所述电子设备包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述本申请的多个实施例的方法和/或技术方案。
所述电子设备可以是用户设备、或者用户设备与网络设备通过网络相集成所构成的设备，或者也可以是运行于上述设备的应用程序，所述用户设备包括但不限于计算机、手机、平板电脑、智能手表、手环等各类终端设备，所述网络设备包括但不限于如网络主机、单个网络服务器、多个网络服务器集或基于云计算的计算机集合等实现，可以用于实现设置闹钟时的部分处理功能。在此，云由基于云计算(Cloud Computing)的大量主机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个虚拟计算机。
图9示出了适用于实现本申请实施例中的方法和/或技术方案的一种设备的结构。如图9所示，在一些实施例中，该设备1200包括中央处理单元(CPU，Central ProcessingUnit)1201，其可以根据存储在只读存储器(ROM，Read Only Memory)1202中的程序或者从存储部分1208加载到随机访问存储器(RAM，Random Access Memory)1203中的程序而执行各种适当的动作和处理。在RAM 1203中，还存储有系统操作所需的各种程序和数据。CPU1201、ROM 1202以及RAM 1203通过总线1204彼此相连。输入/输出(I/O，Input/Output)接口1205也连接至总线1204。
以下部件连接至I/O接口1205：包括键盘、鼠标、触摸屏、麦克风、红外传感器等的输入部分1206；包括诸如阴极射线管(CRT，Cathode Ray Tube)、液晶显示器(LCD，LiquidCrystal Display)、LED显示器、OLED显示器等以及扬声器等的输出部分1207；包括硬盘、光盘、磁盘、半导体存储器等一个或多个计算机可读介质的存储部分1208；以及包括诸如LAN(局域网，Local Area Network)卡、调制解调器等的网络接口卡的通信部分1209。通信部分1209经由诸如因特网的网络执行通信处理。
特别地，本申请实施例中的方法和/或实施例可以被实现为计算机软件程序。例如，本申请公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在该计算机程序被中央处理单元(CPU)1201执行时，执行本申请的方法中限定的上述功能。
本申请另一实施例还提供了一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令可被处理器执行以实现前述本申请的任意一个或多个实施例的方法和/或技术方案。
具体来说，本实施例可以采用一个或多个计算机可读介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图或框图示出了按照本申请各种实施例的设备、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的针对硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或页面组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一个计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (10)

1.一种图像处理方法，其中，所述图像处理方法包括：
确定查询图的第一特征图，所述第一特征图包括所述查询图的二维特征；根据所述第一特征图，得到第二特征图；所述第一特征图和所述第二特征图的大小不相同；
确定样本图的第三特征图，所述第三特征图包括样本图的二维特征；根据所述第三特征图，得到第四特征图；所述第三特征图和所述第四特征图的大小不相同；
根据所述第一特征图和所述第三特征图，得到第一相似度结果；
根据所述第一特征图和所述第四特征图，得到第二相似度结果；
根据所述第二特征图和所述第三特征图，得到第三相似度结果；
根据所述第二特征图和所述第四特征图，得到第四相似度结果；
根据所述第一相似度结果、所述第二相似度结果、所述第三相似度结果和所述第四相似度结果，得到第一相似度特征图。
2.根据权利要求1所述的图像处理方法，其特征在于，所述图像处理方法还包括：
根据所述第一特征图，得到第五特征图；所述第一特征图的尺寸大于所述第二特征图，所述第二特征图的尺寸大于所述第五特征图；
根据所述第五特征图和所述第三特征图，得到第五相似度结果；
根据所述第五特征图和所述第四特征图，得到第六相似度结果；
根据所述第五相似度结果和所述第六相似度结果，得到所述第一相似度特征图。
3.根据权利要求2所述的图像处理方法，其特征在于，所述图像处理方法还包括：
根据所述第三特征图，得到第六特征图；所述第三特征图的尺寸大于所述第四特征图，所述第四特征图的尺寸大于所述第六特征图；
根据所述第一特征图和所述第六特征图，得到第七相似度结果；
根据所述第二特征图和所述第六特征图，得到第八相似度结果；
根据所述第五特征图和所述第六特征图，得到第九相似度结果；
根据所述第七相似度结果、所述第八相似度结果和所述第九相似度结果，得到所述第一相似度特征图。
4.根据权利要求1-3任一项所述的图像处理方法，其特征在于，所述图像处理方法还包括：
确定所述查询图的空间注意力图；所述空间注意力图用于表征图像的重点区域；
根据所述第一相似度特征图和所述空间注意力图，得到所述查询图和所述样本图的相似度。
5.根据权利要求4所述的图像处理方法，其特征在于，根据所述第一相似度特征图和所述空间注意力图，得到所述查询图和所述样本图的相似度，包括：
通过卷积神经网络结合所述第一相似度特征图和所述空间注意力图；其中，所述卷积神经网络包括多个卷积层；所述第一相似度特征图通过一个或多个所述卷积层得到第一卷积特征图；所述第一卷积特征图乘以所述空间注意力图得到第一编码图；所述第一编码图依次通过一个或多个所述卷积层得到第二相似度特征图；将所述第二相似度特征图全局平均池化和归一化，得到所述相似度。
6.根据权利要求4所述的图像处理方法，其特征在于，所述确定所述查询图的所述空间注意力图；包括：
在特征维度，得到所述查询图的二维特征的平均值和最大值；
将所述平均值和所述最大值特征维度拼接，得到所述空间注意力图。
7.根据权利要求1-3任一项所述的图像处理方法，其特征在于，所述根据所述第一特征图得到所述第二特征图，包括：
所述第一特征图通过卷积和缩小得到所述第二特征图。
8.根据权利要求1-3任一项所述的图像处理方法，其特征在于，所述根据所述第一相似度结果、所述第二相似度结果、所述第三相似度结果和所述第四相似度结果，得到所述第一相似度特征图，包括：
放大所述第一相似度结果、所述第二相似度结果、所述第三相似度结果和所述第四相似度结果，以使所述根据所述第一相似度结果、所述第二相似度结果、所述第三相似度结果和所述第四相似度结果尺寸相同；
拼接所述第一相似度结果、所述第二相似度结果、所述第三相似度结果和所述第四相似度结果。
9.一种电子设备，所述电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至8中任一项所述的方法。
10.一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令可被处理器执行以实现如权利要求1至8中任一项所述的方法。
CN202311329932.6A 2023-10-13 2023-10-13 图像处理方法、电子设备及计算机可读介质 Pending CN117407555A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311329932.6A CN117407555A (zh) 2023-10-13 2023-10-13 图像处理方法、电子设备及计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311329932.6A CN117407555A (zh) 2023-10-13 2023-10-13 图像处理方法、电子设备及计算机可读介质

Publications (1)

Publication Number Publication Date
CN117407555A true CN117407555A (zh) 2024-01-16

Family

ID=89495515

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311329932.6A Pending CN117407555A (zh) 2023-10-13 2023-10-13 图像处理方法、电子设备及计算机可读介质

Country Status (1)

Country Link
CN (1) CN117407555A (zh)

Similar Documents

Publication Publication Date Title
CN108804532B (zh) 一种查询意图的挖掘和查询意图的识别方法、装置
CN111062871B (zh) 一种图像处理方法、装置、计算机设备及可读存储介质
WO2017045443A1 (zh) 一种图像检索方法及系统
US11132392B2 (en) Image retrieval method, image retrieval apparatus, image retrieval device and medium
CN108875487B (zh) 行人重识别网络的训练及基于其的行人重识别
CN110910422A (zh) 目标跟踪方法、装置、电子设备和可读存储介质
WO2022033111A1 (zh) 图像信息提取方法、训练方法及装置、介质和电子设备
CN112818995B (zh) 图像分类方法、装置、电子设备及存储介质
CN114298997B (zh) 一种伪造图片检测方法、装置及存储介质
CN113344016A (zh) 深度迁移学习方法、装置、电子设备及存储介质
KR20190124436A (ko) 영상 기반 건물 검색 방법 및 장치
CN114463805B (zh) 深度伪造检测方法、装置、存储介质及计算机设备
Tsai et al. MobileNet-JDE: a lightweight multi-object tracking model for embedded systems
JP2022541832A (ja) 画像を検索するための方法及び装置
CN118097157A (zh) 基于模糊聚类算法的图像分割方法及系统
CN113221977B (zh) 一种基于抗混叠语义重构的小样本语义分割方法
CN111985616B (zh) 一种图像特征提取方法、图像检索方法、装置及设备
CN111914809A (zh) 目标对象定位方法、图像处理方法、装置和计算机设备
CN113821689B (zh) 基于视频序列的行人检索方法、装置和电子设备
CN103377381A (zh) 识别图像的内容属性的方法和装置
CN114155388B (zh) 一种图像识别方法、装置、计算机设备和存储介质
CN116958852A (zh) 视频与文本的匹配方法、装置、电子设备和存储介质
CN117407555A (zh) 图像处理方法、电子设备及计算机可读介质
CN115082999A (zh) 合影图像人物分析方法、装置、计算机设备和存储介质
CN114610938A (zh) 遥感图像检索方法、装置、电子设备和计算机可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination