CN111930989B - 一种以图搜图方法 - Google Patents

一种以图搜图方法 Download PDF

Info

Publication number
CN111930989B
CN111930989B CN202010998676.XA CN202010998676A CN111930989B CN 111930989 B CN111930989 B CN 111930989B CN 202010998676 A CN202010998676 A CN 202010998676A CN 111930989 B CN111930989 B CN 111930989B
Authority
CN
China
Prior art keywords
image
retrieved
images
template
confidence probability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010998676.XA
Other languages
English (en)
Other versions
CN111930989A (zh
Inventor
罗世操
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Xinmai Microelectronics Co ltd
Original Assignee
Hangzhou Xiongmai Integrated Circuit Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Xiongmai Integrated Circuit Technology Co Ltd filed Critical Hangzhou Xiongmai Integrated Circuit Technology Co Ltd
Priority to CN202010998676.XA priority Critical patent/CN111930989B/zh
Publication of CN111930989A publication Critical patent/CN111930989A/zh
Application granted granted Critical
Publication of CN111930989B publication Critical patent/CN111930989B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种以图搜图方法，构建了多空间尺度孪生神经网络模型，该神经网络模型具有3个不同空间尺度的高层语义匹配层，可以实现跨空间匹配，进而实现了即使将不同尺寸的模板图像和待检索图像作为神经网络模型的输入数据也能够准确检索到与模板图像匹配的待检索图像，模型匹配精准度高，稳定性优良。

Description

一种以图搜图方法
技术领域
本申请涉及图片信息处理技术领域，特别是涉及一种以图搜图方法。
背景技术
以图搜图是指根据图像视觉特征或者语义特征检索出具有相似内容的图像，是目前互联网上一种新型的检索方式。与以文字作为检索索引的检索方式不同，图像搜索技术的出现，使得用户对网上图像信息的搜索变得更加简单化和多样化。构建一个以图搜图系统需要解决两个最关键的问题：首先，如何提取图像特征；其次，如何构建特征数据搜索引擎，即如何使得特征数据构建成数据库并提供相似性搜索的功能。
由于置入匹配模型的模板图像和待检索图像的原始图像大小很有可能不一致，传统的以图搜图的方法的处理方式是在检索前对每张图像缩放一次。这种方式带了的一个很大的问题是，无法确定缩放后的模板图像和待检索图像的大小是否一致。而且。在每张图片检索时都要缩放一次图像，耗费大量的匹配模型计算量。图像缩放过小的话，图像的核心信息提取困难，因为图像缩放后目标边界框所包围的面积过小，核心信息的部分也缩放得过小，和其他非核心信息的部分区别不明显。因此，传统的以图搜图的方法导致匹配模型的匹配精准度不够准确，匹配模型稳定性差。
发明内容
基于此，有必要针对传统以图搜图方法无法确定缩放后的模板图像和待检索图像的大小是否一致的问题，提供一种以图搜图方法。
本申请提供一种以图搜图方法，所述以图搜图方法包括：
选取多张模板图像和多张待检索图像，对多张模板图像和多张待检索图像进行预处理；
构建多空间尺度孪生神经网络模型，将多空间尺度孪生神经网络模型作为特征提取器，并在多层特征输出层上构建相似度匹配器网络；
将预处理后的多张模板图像和多张待检索图像作为训练数据，将相似度匹配器网络作为辅助训练的工具，对多空间尺度孪生神经网络进行端对端的训练，得到多空间尺度孪生神经网络模型中的模型参数；
通过损失函数对模型参数进行校正，得到训练后的多空间尺度孪生神经网络模型；
当进行以图搜图时，将一张图像作为模板图像，将多张与模板图像近似的图像作为待检索图像，将模板图像和多张待检索图像输入至所述训练后的多空间尺度孪生神经网络模型；
获取训练后的多空间尺度孪生神经网络模型输出的模板图像的相似度检索结果。
本申请涉及的一种以图搜图方法，构建了多空间尺度孪生神经网络模型，该神经网络模型具有3个不同空间尺度的高层语义匹配层，可以实现跨空间匹配，进而实现了即使将不同尺寸的模板图像和待检索图像作为神经网络模型的输入数据也能够准确检索到与模板图像匹配的待检索图像，模型匹配精准度高，稳定性优良。
附图说明
图1为本申请一实施例提供的以图搜图方法的流程示意图；
图2为多空间尺度孪生神经网络模型对一个样本对中的待检索图像和模板的卷积处理过程示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供一种以图搜图方法。需要说明的是，本申请提供的以图搜图方法的应用于图片信息处理领域。
此外，本申请提供的以图搜图方法不限制其执行主体。可选地，本申请提供的以图搜图方法的执行主体的可以为一种图片搜索处理终端。具体地，本申请提供的以图搜图方法的执行主体的可以为图片搜索处理终端中的一个或多个处理器。所述图片搜索处理终端包括多空间尺度孪生神经网络模型和相似度匹配器网络。
如图1所示，在本申请的一实施例中，所述以图搜图方法包括：
S100，选取多张模板图像和多张待检索图像，对多张模板图像和多张待检索图像进行预处理。
S200，构建多空间尺度孪生神经网络模型。将多空间尺度孪生神经网络模型作为特征提取器。进一步地，在多层特征输出层上构建相似度匹配器网络。
S300，将预处理后的多张模板图像和多张待检索图像作为训练数据。将相似度匹配器网络作为辅助训练的工具。对多空间尺度孪生神经网络进行端对端的训练，得到多空间尺度孪生神经网络模型中的模型参数。
S400，通过损失函数对模型参数进行校正，得到训练后的多空间尺度孪生神经网络模型。
S500，当进行以图搜图时，将一张图像作为模板图像，将多张与模板图像近似的图像作为待检索图像，将模板图像和多张待检索图像输入至所述训练后的多空间尺度孪生神经网络模型。
S600，获取训练后的多空间尺度孪生神经网络模型输出的模板图像的相似度检索结果。
具体地，步骤S100是多空间尺度孪生神经网络模型的训练数据的预处理过程。步骤S200是多空间尺度孪生神经网络模型的构建过程。步骤S300是多空间尺度孪生神经网络模型的训练过程。步骤S500至步骤S600是多空间尺度孪生神经网络模型训练结束后，应用多空间尺度孪生神经网络模型进行以图搜图的实际应用过程。
多空间尺度孪生神经网络模型在训练时，为了批量训练，采用同一尺寸的模板图像和待检索图像作为训练数据。在模型训练完成后，由于模型是多空间尺度的，待检索图像的分支是有3路不同空间尺寸特征的输出，因此模型在投入使用时可以不用固定待检索图像的图像像素大小，只需要固定模板图像的大小为固定尺寸即可，这是为了更贴合现实图像数据库中，待检索图像大小和模板图像大小均是随机的问题。
本实施例构建了多空间尺度孪生神经网络模型，该神经网络模型具有3个不同空间尺度的高层语义匹配层，可以实现跨空间匹配，进而实现了即使将不同尺寸的模板图像和待检索图像作为神经网络模型的输入数据也能够准确检索到与模板图像匹配的待检索图像，模型匹配精准度高，稳定性优良。
在本申请的一实施例中，所述步骤S100包括：
S110，从图像库中选取M张图像作为模板图像。选取N张图像作为待检索图像。M和N均为大于1的正整数。
具体地，M和N的数量可以不相等。M和N的取值越大，在后续多空间尺度孪生神经网络模型训练后，多空间尺度孪生神经网络模型的匹配精准度越高，这是因为M和N的取值越大，训练数据样本越复杂，越全面。
S120，对每一张模板图像和每一张待检索图像均进行类别标注。
具体地，每一张图像均有其相关的类别信息，例如一张长颈鹿的图像存在动物、鹿等类别信息。对每一张模板图像和每一张待检索图像均进行类别标注，有利于后续多空间尺度孪生神经网络模型训练时，对不同的图像进行区别。
可选地，在类别标注时，选取和图像最相关的类别信息，对图像进行标注。例如，一张长颈鹿的图像存在动物、鹿等类别信息，选取最相关的“鹿”，作为该图像的类别标注。
S130，对每一张模板图像进行缩放处理，得到M张缩放处理后的模板图像。
S140，对每一张待检索图像进行缩放处理，得到N张缩放处理后的待检索图像。
具体地，对模板图像和待检索图像进行缩放处理，可以减少后续多空间尺度孪生神经网络模型训练时，产生的数据运算量。
可选地，M张缩放处理后的模板图像的尺寸一致。N张缩放处理后的待检索图像一致。这样便于多空间尺度孪生神经网络模型训练时进行卷积与迁移。
S150，从M张处理后的模板图像中随机抽取一张。从N张处理后的待检索图像中随机抽取一张。将两张图像组合为一个样本对。
S160，反复执行K次所述步骤S150，得到K个样本对。K为大于1的正整数。
具体地，K个样本对即作为后续多空间尺度孪生神经网络模型的训练数据。
本实施例中，通过对待检索图像和模板图像的选取，类别标注，尺寸处理，使得多空间尺度孪生神经网络模型训练前的训练数据准备工作完整，为多空间尺度孪生神经网络模型训练提供便利。
在本申请的一实施例中，所述步骤S130包括：
S131，选取一张模板图像，利用目标边界框将模板图像分为目标区域和非目标区域。
具体地，目标边界框为一个矩形方框。一张模板图像可以具有核心信息和非核心信息。例如，一张长颈鹿的图像，长颈鹿就是核心信息，周围的草地就是非核心信息。因此，可以通过矩形的目标边界框将模板图像分为目标区域和非目标区域。目标区域用于展示核心信息。非目标区域用于展示非核心信息。
S132，去除模板图像中的非目标区域，保留目标区域和目标边界框。
具体地，本步骤去除不重要的非目标区域，保留矩形的目标边界框和目标边界框内的目标区域。
S133，设定模板图像缩放后的宽和高，依据公式1计算缩放系数；
Figure GDA0002869992260000061
其中，s为缩放系数。w为目标边界框的宽度。h为目标边界框的高度。A1为模板图像缩放后的宽度。B1为模板图像缩放后的高度。
具体地，模板图像缩放后的宽和高可以人为设定。
S134，依据缩放系数计算在宽度方向上的填充边缘长度，以及在高度方向上的填充边缘长度。
Figure GDA0002869992260000062
其中，Pw为在宽度方向上的填充边缘长度。Ph为高度方向上的填充边缘长度。在s为缩放系数。w为目标边界框的宽度。h为目标边界框的高度。A1为模板图像缩放后的宽度。B1为模板图像缩放后的高度。
具体地，由于步骤S132中，去除模板图像中的非目标区域时，模板图像的边缘被去除，为了防止图像的目标区域在模型训练中不丢失，本步骤需要补充一定长度的图像边缘。
S135，在所述目标边界框的基础上，在宽度方向上扩充Pw，在长度方向上扩充Ph，以在目标边界框的四周形成边缘，将包括目标边界框和边缘的模板图像进行缩放至宽度为A1，高度为B1的图像。
S136，对每一张模板图像执行所述步骤S131至步骤S135，直至所有模板图像处理完毕。
具体地，对模板图像缩放时，不仅仅包括目标区域的缩放，还包括目标边界框和边缘的缩放。即，对目标区域，目标边界框和边缘组成的整体进行缩放。
本实施例中，通过将多个模板图像缩放至同一固定尺寸，不但保留了图像的核心信息，而且便于后续模型的训练。
在本申请的一实施例中，所述步骤S140包括：
S141，选取一张待检索图像，利用目标边界框将待检索图像分为目标区域和非目标区域。
S142，获取目标边界框的中心点，以该中心点为物理中心，裁剪出一个正方形区域。保留待检索图像的正方形区域，将其他区域去除。所述正方形区域的边长大于目标边界框的宽度，小于目标边界框宽度的8倍。
S143，设定待检索图像缩放后的宽度A2和高度B2。将裁剪后的待检索图像缩放至宽度为A2，高度为B2的图像。
S144，反复执行所述步骤S141至步骤S143，直至所有待检索图像处理完毕。
具体地，待检索图像缩放后的宽度和高度也由人为设定。可选地，待检索图像缩放后的宽度和高度可以相等。
本实施例中，通过将多个待检索图像缩放至同一固定尺寸，便于后续模型的训练过程。
在本申请的一实施例中，所述模板图像缩放后的宽度为127像素，高度为127像素，所述待检索图像缩放后的宽度为255像素高度为255像素。
具体地，本实施例是一个优选的实施例，模板图像和待检索图像缩放后的尺寸符合常规多空间尺度孪生神经网络模型的训练习惯，模型训练不会耗费太大的计算量。
本实施例中，通过设定模板图像和待检索图像缩放后的尺寸，使得后续多空间尺度孪生神经网络模型在训练时，不会耗费太大的计算量。
在本申请的一实施例中，所述步骤S200包括：
S210，依据全卷积网络架构构建多空间尺度孪生神经网络模型。
具体地，依据全卷积网络架构构建多空间尺度孪生神经网络模型，可以使得输入多空间尺度孪生神经网络模型的待检索图像和模板图像的尺寸不一致，且模型的匹配准确率高，模型鲁棒性高。
本实施例中，通过设置全卷积网络架构，可以使得输入多空间尺度孪生神经网络模型的待检索图像和模板图像的尺寸不一致，且模型的匹配准确率高，鲁棒性高。鲁棒性即稳定性。
在本申请的一实施例中，所述步骤S300包括：
S310，选取一个样本对，将该样本对输入至多空间尺度孪生神经网络模型。
具体地，样本对是一个一个输入至多空间尺度孪生神经网络模型，作为训练数据训练模型的训练数据。
S320，将样本对中的待检索图像通过第一卷积操作，生成第一待检索图像特征模块。
将样本对中的待检索图像通过第二卷积操作，生成第二待检索图像特征模块。
将样本对中的待检索图像通过第三卷积操作，生成第三待检索图像特征模块。
S330，将样本对中的模板图像通过小空间尺寸特征迁移模块，迁移至小尺寸映射空间，生成2个第一模板特征模块，以使所述第一模板特征模块和所述第一待检索图像特征模块处于同一映射空间。
将样本对中的模板图像通过等空间尺寸特征迁移模块，迁移至等尺寸映射空间，生成2个第二模板特征模块，以使所述第二模板特征模块和所述第二待检索图像特征模块处于同一映射空间。
将样本对中的模板图像通过大空间尺寸特征迁移模块，迁移至大尺寸映射空间，生成2个第三模板特征模块，以使所述第三模板特征模块和所述第三待检索图像特征模块处于同一映射空间。
S340，将第一待检索图像特征模块和2个第一模板图像特征模块输入至相似度匹配网络模块中。将2个第一模板图像特征模块作为2个卷积核，在第一待检索图像特征模块上卷积，生成第一置信概率图。
将第二待检索图像特征模块和2个第二模板图像特征模块输入至相似度匹配网络模块中。将2个第二模板图像特征模块作为2个卷积核，在第二待检索图像特征模块上卷积，生成第二置信概率图。
将第三待检索图像特征模块和2个第三模板图像特征模块输入至相似度匹配网络模块中。将2个第三模板图像特征模块作为2个卷积核，在第三待检索图像特征模块上卷积，生成第三置信概率图。
S350，分别对第一置信概率图、第二置信概率图和第三置信概率图进行分析处理，对置信概率图中的正负样本点进行区分。
S360，对每一个样本对均执行所述步骤S310至步骤S350。
具体地，如图2所示，图2为多空间尺度孪生神经网络模型对一个样本对中的待检索图像和模板的卷积处理过程。图2仅起示意作用。
X为待检索图像。Z为模板图像。待检索图像X经缩放后的像素尺寸为255×255。模板图像Z经缩放后的像素尺寸为127×127。
待检索图像X经历第一卷积操作
Figure GDA0002869992260000101
生成第一待检索图像特征模块48×48×96。可以得知待检索图像X经历第一卷积操作
Figure GDA0002869992260000102
后，尺寸发生了变化，由255×255变为48×48。96为通道方向特征值。同理，待检索图像X还经历第二卷积操作
Figure GDA0002869992260000103
生成第二待检索图像特征模块22×22×128。待检索图像X还经历第三卷积操作
Figure GDA0002869992260000104
生成第三待检索图像特征模块9×9×192。卷积本身是不断将底层抽象至高层，高层抽象至更高层的过程。因此，通道方向特征值是不断增大的。
为了能够与三个不同的待检索图像特征模块匹配(实际上是为了与三个不同的通道方向特征值匹配)，模板图像需要通过三个空间尺度的迁移。
如图2所示，M1为模板图像通过小空间尺寸特征迁移模块，迁移至小尺寸映射空间，生成2个第一模板特征模块6×6×96。通过这种方式，所述第一模板特征模块6×6×96和所述第一待检索图像特征模块48×48×96处于了同一映射空间，通道方向特征值均是96。
M2为模板图像通过等空间尺寸特征迁移模块，迁移至等尺寸映射空间，生成2个第二模板特征模块6×6×128。通过这种方式，所述第二模板特征模块6×6×128和所述第二待检索图像特征模块22×22×128处于了同一映射空间，通道方向特征值均是128。
M3为模板图像通过大空间尺寸特征迁移模块，迁移至大尺寸映射空间，生成2个第三模板特征模块6×6×192。通过这种方式，所述第三模板特征模块6×6×192和所述第三待检索图像特征模块9×9×192处于了同一映射空间，通道方向特征值均是192。
需要注意的是，模板图像在向三个空间尺寸迁移时，特征模块的尺寸均没有变化，变化的是通道方向特征值。
本实施例中，为了实现多空间尺寸的语义检索，本实施例通过引入特征迁移模块，实现将模板图像的中层语义特征迁移至低层语义特征和高层语义特征。这样可以使得多空间尺度孪生神经网络模型可以实现跨空间匹配，在节省匹配时间的同时，能够准确检索到与模板图像匹配的待检索图像，且无须限制待检索图像和模板图像的尺寸必须一致。
在本申请的一实施例中，所述步骤S350包括：
S351，依据公式3分别计算第一置信概率图中每一个样本点的目标匹配度y1[u]，第二置信概率图中每一个样本点的目标匹配度y2[u]和第三置信概率图中每一个样本点的目标匹配度y3[u]。
Figure GDA0002869992260000111
其中，ys[u]为第s置信概率图中第u个样本点的目标匹配度。u为置信概率图上的样本点的序号。x为待检索图像。z为模板图像。area为图像缩放后目标边界框的面积。s为置信概率图的序号。
具体地，一个置信概率图中具有多个样本点。area(x)为待检索图像缩放后待检索图像内目标边界框的面积。area(z)为模块图像缩放后模块图像内目标边界框的面积。
若置信概率图中的左上角有一个样本点，且该样本点的目标匹配度为1，则表明在这个空间尺寸上的待检索图像X的左上角的这个位置，找到了与模板图像匹配的目标。
若置信概率图中的右下角有一个样本点，且该样本点的目标匹配度为-1，则表明在这个空间尺寸上的待检索图像X的右下角的这个位置，没有找到与模板图像匹配的目标。s取1,2,3是代表了三个不同尺寸。
本实施例中，通过对每一个置信概率图中每一个样本点的目标匹配度计算，可以获知待检索图像和模板图像的匹配情况。
在本申请的一实施例中，所述步骤S400包括：
S410，选取第一置信概率图，获取第一置信概率图中，每一个点的置信分数值，以及每一个点的目标匹配度。
S420，依据公式4计算第一置信概率图中每一个点的损失函数值。
Figure GDA0002869992260000121
其中，y1[u]为第一置信概率图中第u个样本点的目标匹配度。v1[u]为第一置信概率图中第u个样本点的置信分数值。l(y1[u],v1[u])为第一置信概率图中第u个样本点的损失函数值。
S430，依据公式5计算第一置信概率图中所有样本点的损失函数平均值。
Figure GDA0002869992260000122
其中，l(y1[u],v1[u])为第一置信概率图中第u个样本点的损失函数值。L(y1,v1)为第一置信概率图中所有样本点的损失函数平均值。u为第一置信概率图中样本点的总数。
S440，对第二置信概率图和第三置信概率图均执行所述步骤S410至步骤S440，得出三个置信概率图各自对应的损失函数值。
S450，对每一个样本对执行所述步骤S410至步骤S440，得到每一个样本对对应的三个损失函数值。依据每一个样本对对应的三个损失函数值，对多空间尺度孪生神经网络模型中的模型参数进行修正，得到训练后的多空间尺度孪生神经网络模型。
具体地，损失函数的作用是对多空间尺度孪生神经网络模型中的模型参数进行修正，其本质的作用是指导多空间尺度孪生神经网络模型的训练过程。
v1[u]为第一置信概率图中第u个样本点的置信分数值，这是卷积过程中自动得到的2个二分类值，在本实施例中，可以任意选取1个作为v1[u]的取值。
损失函数平均值越大，待检索图像与模板图像越不相似。损失函数平均值越小，待检索图像与模板图像越相似。卷积参数决定了多空间尺度孪生神经网络模型的准确性和鲁棒性。鲁棒性即稳定性。
本实施例中，通过计算三个置信概率图各自对应的损失函数值，并依据损失函数值对多空间尺度孪生神经网络模型中的模型参数进行修正，提高了对多空间尺度孪生神经网络模型的匹配准确性和鲁棒性。
在本申请的一实施例中，所述步骤S500包括：
S510，选取一张图片作为模板图像，将多张与模板图像近似的图像作为待检索图像。
S520，将所述模板图像依据步骤S130进行缩放处理。将缩放处理后的模板图像和多张待检索图像输入至训练后的多空间尺度孪生神经网络模型。
S530，运行训练后的多空间尺度孪生神经网络模型，得到模型输出的每一个待检索图像对应的第一置信概率图、第二置信概率图和第三置信概率图。
S540，遍历每一个待检索图像对应的第一置信概率图、第二置信概率图和第三置信概率图，寻找置信分数值最大的样本点，将该样本点对应的置信分数值作为该待检索图像的相似度。
S550，将各个待检索图像的相似度依照从大到小的顺序进行排序。选取相似度最大的前N个待检索图像，作为模板图像的相似度检索结果输出。N为正整数且为预设值。
具体地，举例说明，当某一用户在一大型商场丢失钱包时，用户可以提供1个钱包的照片作为模板图像，将所述模板图像依据步骤S130进行缩放处理。进一步地，将该张模板图像输入至多空间尺度孪生神经网络模型。
大型商场可以调取三天之内的监控录像，截取2000张疑似图像作为待检索图像。2000张疑似图像不用进行缩放处理，直接输入至多空间尺度孪生神经网络模型。
通过运行多空间尺度孪生神经网络模型对2000张待检索图像进行分析，可以获得每一个待检索图像对应的第一置信概率图、第二置信概率图和第三置信概率图，并获取每一个待检索图像的相似度。
可以取相似度最大的前50个待检索图像，作为模板图像的相似度检索结果输出。用户可以通过查阅这50个待检索图像，判断自己丢失的钱包是否出现在这50个待检索图像中，最终实现了以图搜图的目的。
本实施例中，多空间尺度孪生神经网络模型在应用过程中，不需要限制待检索图像的尺寸大小，也不需要对待检索图像的尺寸进行裁剪或锁附处理，即可得到待检索图像与模板图像的匹配比对结果，且匹配精准度高，稳定性优良。
以上所述实施例的各技术特征可以进行任意的组合，各方法步骤也并不做执行顺序的限制，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (9)

1.一种以图搜图方法，其特征在于，所述以图搜图方法包括：
S100，选取多张模板图像和多张待检索图像，对多张模板图像和多张待检索图像进行预处理；
所述S100还包括从多张预处理后的模板图像中随机抽取一张，从多张预处理后的待检索图像中随机抽取一张，将两张图像组合为一个样本对，反复重复随机抽取过程，得到多个样本对；
S200，构建多空间尺度孪生神经网络模型，将多空间尺度孪生神经网络模型作为特征提取器，并在多层特征输出层上构建相似度匹配器网络；
S300，将预处理后的多张模板图像和多张待检索图像作为训练数据，将相似度匹配器网络作为辅助训练的工具，对多空间尺度孪生神经网络进行端对端的训练，得到多空间尺度孪生神经网络模型中的模型参数；
S400，通过损失函数对模型参数进行校正，得到训练后的多空间尺度孪生神经网络模型；
S500，当进行以图搜图时，将一张图像作为模板图像，将多张与模板图像近似的图像作为待检索图像，将模板图像和多张待检索图像输入至所述训练后的多空间尺度孪生神经网络模型；
S600，获取训练后的多空间尺度孪生神经网络模型输出的模板图像的相似度检索结果；
所述S300包括：
S310，选取一个样本对，将该样本对输入至多空间尺度孪生神经网络模型；
S320，将样本对中的待检索图像通过第一卷积操作，生成第一待检索图像特征模块；
将样本对中的待检索图像通过第二卷积操作，生成第二待检索图像特征模块；
将样本对中的待检索图像通过第三卷积操作，生成第三待检索图像特征模块；
S330，将样本对中的模板图像通过小空间尺寸特征迁移模块，迁移至小尺寸映射空间，生成2个第一模板特征模块，以使所述第一模板特征模块和所述第一待检索图像特征模块处于同一映射空间；
将样本对中的模板图像通过等空间尺寸特征迁移模块，迁移至等尺寸映射空间，生成2个第二模板特征模块，以使所述第二模板特征模块和所述第二待检索图像特征模块处于同一映射空间；
将样本对中的模板图像通过大空间尺寸特征迁移模块，迁移至大尺寸映射空间，生成2个第三模板特征模块，以使所述第三模板特征模块和所述第三待检索图像特征模块处于同一映射空间；
S340，将第一待检索图像特征模块和2个第一模板图像特征模块输入至相似度匹配网络模块中，将2个第一模板图像特征模块作为2个卷积核，在第一待检索图像特征模块上卷积，生成第一置信概率图；
将第二待检索图像特征模块和2个第二模板图像特征模块输入至相似度匹配网络模块中，将2个第二模板图像特征模块作为2个卷积核，在第二待检索图像特征模块上卷积，生成第二置信概率图；
将第三待检索图像特征模块和2个第三模板图像特征模块输入至相似度匹配网络模块中，将2个第三模板图像特征模块作为2个卷积核，在第三待检索图像特征模块上卷积，生成第三置信概率图；
S350，分别对第一置信概率图、第二置信概率图和第三置信概率图进行分析处理，对置信概率图中的正负样本点进行区分；
S360，对每一个样本对均执行所述S310至S350。
2.根据权利要求1所述的以图搜图方法，其特征在于，所述S100包括：
S110，从图像库中选取M张图像作为模板图像，选取N张图像作为待检索图像；M和N均为大于1的正整数；
S120，对每一张模板图像和每一张待检索图像均进行类别标注；
S130，对每一张模板图像进行缩放处理，得到M张缩放处理后的模板图像；
S140，对每一张待检索图像进行缩放处理，得到N张缩放处理后的待检索图像；
S150，从M张处理后的模板图像中随机抽取一张，从N张处理后的待检索图像中随机抽取一张，将两张图像组合为一个样本对；
S160，反复执行K次所述S150，得到K个样本对；K为大于1的正整数。
3.根据权利要求2所述的以图搜图方法，其特征在于，所述S130包括：
S131，选取一张模板图像，利用目标边界框将模板图像分为目标区域和非目标区域；
S132，去除模板图像中的非目标区域，保留目标区域和目标边界框；
S133，设定模板图像缩放后的宽和高，依据公式1计算缩放系数；
Figure FDA0002869992250000031
其中，s为缩放系数，w为目标边界框的宽度，h为目标边界框的高度，A1为模板图像缩放后的宽度，B1为模板图像缩放后的高度；
S134，依据缩放系数计算在宽度方向上的填充边缘长度，以及在高度方向上的填充边缘长度；
Figure FDA0002869992250000041
其中，Pw为在宽度方向上的填充边缘长度，Ph为高度方向上的填充边缘长度，在s为缩放系数，w为目标边界框的宽度，h为目标边界框的高度，A1为模板图像缩放后的宽度，B1为模板图像缩放后的高度；
S135，在所述目标边界框的基础上，在宽度方向上扩充Pw，在长度方向上扩充Ph，以在目标边界框的四周形成边缘，将包括目标边界框和边缘的模板图像缩放至宽度为A1，高度为B1的图像；
S136，对每一张模板图像执行所述S131至S135，直至所有模板图像处理完毕。
4.根据权利要求3所述的以图搜图方法，其特征在于，所述S140包括：
S141，选取一张待检索图像，利用目标边界框将待检索图像分为目标区域和非目标区域；
S142，获取目标边界框的中心点，以该中心点为物理中心，裁剪出一个正方形区域，保留待检索图像的正方形区域，将其他区域去除；所述正方形区域的边长大于目标边界框的宽度，小于目标边界框宽度的8倍；
S143，设定待检索图像缩放后的宽度A2和高度B2，将裁剪后的待检索图像缩放至宽度为A2，高度为B2的图像；
S144，反复执行所述S141至S143，直至所有待检索图像处理完毕。
5.根据权利要求4所述的以图搜图方法，其特征在于，所述模板图像缩放后的宽度为127像素，高度为127像素，所述待检索图像缩放后的宽度为255像素，高度为255像素。
6.根据权利要求5所述的以图搜图方法，其特征在于，所述S200包括：
S210，依据全卷积网络架构构建多空间尺度孪生神经网络模型。
7.根据权利要求6所述的以图搜图方法，其特征在于，所述S350包括：
S351，依据公式3分别计算第一置信概率图中每一个样本点的目标匹配度y1[u]，第二置信概率图中每一个样本点的目标匹配度y2[u]和第三置信概率图中每一个样本点的目标匹配度y3[u]；
Figure FDA0002869992250000051
其中，ys[u]为第s置信概率图中第u个样本点的目标匹配度，u为置信概率图上的样本点的序号，x为待检索图像，z为模板图像，area为图像缩放后目标边界框的面积，s为置信概率图的序号。
8.根据权利要求7所述的以图搜图方法，其特征在于，所述S400包括：
S410，选取第一置信概率图，获取第一置信概率图中，每一个点的置信分数值，以及每一个点的目标匹配度；
S420，依据公式4计算第一置信概率图中每一个点的损失函数值；
Figure FDA0002869992250000052
其中，y1[u]为第一置信概率图中第u个样本点的目标匹配度，v1[u]为第一置信概率图中第u个样本点的置信分数值，l(y1[u],v1[u])为第一置信概率图中第u个样本点的损失函数值；
S430，依据公式5计算第一置信概率图中所有样本点的损失函数平均值；
Figure FDA0002869992250000053
其中，l(y1[u],v1[u])为第一置信概率图中第u个样本点的损失函数值，L(y1,v1)为第一置信概率图中所有样本点的损失函数平均值，u为第一置信概率图中样本点的总数；
S440，对第二置信概率图和第三置信概率图均执行所述S410至S440，得出三个置信概率图各自对应的损失函数值；
S450，对每一个样本对执行所述S410至S440，得到每一个样本对对应的三个损失函数值，依据每一个样本对对应的三个损失函数值，对多空间尺度孪生神经网络模型中的模型参数进行修正，得到训练后的多空间尺度孪生神经网络模型。
9.根据权利要求8所述的以图搜图方法，其特征在于，所述S500包括：
S510，选取一张图片作为模板图像，将多张与模板图像近似的图像作为待检索图像；
S520，将所述模板图像依据S130进行缩放处理，将缩放处理后的模板图像和多张待检索图像输入至训练后的多空间尺度孪生神经网络模型；
S530，运行训练后的多空间尺度孪生神经网络模型，得到模型输出的每一个待检索图像对应的第一置信概率图、第二置信概率图和第三置信概率图；
S540，遍历每一个待检索图像对应的第一置信概率图、第二置信概率图和第三置信概率图，寻找置信分数值最大的样本点，将该样本点对应的置信分数值作为该待检索图像的相似度；
S550，将各个待检索图像的相似度依照从大到小的顺序进行排序，选取相似度最大的前N个待检索图像，作为模板图像的相似度检索结果输出，N为正整数且为预设值。
CN202010998676.XA 2020-09-22 2020-09-22 一种以图搜图方法 Active CN111930989B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010998676.XA CN111930989B (zh) 2020-09-22 2020-09-22 一种以图搜图方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010998676.XA CN111930989B (zh) 2020-09-22 2020-09-22 一种以图搜图方法

Publications (2)

Publication Number Publication Date
CN111930989A CN111930989A (zh) 2020-11-13
CN111930989B true CN111930989B (zh) 2021-02-23

Family

ID=73334882

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010998676.XA Active CN111930989B (zh) 2020-09-22 2020-09-22 一种以图搜图方法

Country Status (1)

Country Link
CN (1) CN111930989B (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107562805B (zh) * 2017-08-08 2020-04-03 浙江大华技术股份有限公司 一种以图搜图的方法及装置
CN109117744A (zh) * 2018-07-20 2019-01-01 杭州电子科技大学 一种用于人脸验证的孪生神经网络训练方法
CN110414349A (zh) * 2019-06-26 2019-11-05 长安大学 引入感知模型的孪生卷积神经网络人脸识别算法

Also Published As

Publication number Publication date
CN111930989A (zh) 2020-11-13

Similar Documents

Publication Publication Date Title
WO2020224424A1 (zh) 图像处理方法、装置、计算机可读存储介质和计算机设备
CN107833213B (zh) 一种基于伪真值自适应法的弱监督物体检测方法
CN109960742B (zh) 局部信息的搜索方法及装置
EP2955645A1 (en) System for automated segmentation of images through layout classification
CN113240691A (zh) 一种基于u型网络的医学图像分割方法
CN107220277A (zh) 基于手绘草图的图像检索算法
CN112508975A (zh) 一种图像识别方法、装置、设备及存储介质
CN108846404B (zh) 一种基于相关约束图排序的图像显著性检测方法及装置
CN103870597B (zh) 一种无水印图片的搜索方法及装置
CN106844518B (zh) 一种基于子空间学习的不完整跨模态检索方法
CN107730553B (zh) 一种基于伪真值搜寻法的弱监督物体检测方法
CN110727819B (zh) 一种尺度自适应病理全切片图像数据库检索方法
CN114332680A (zh) 图像处理、视频搜索方法、装置、计算机设备和存储介质
CN111507226B (zh) 道路图像识别模型建模方法、图像识别方法及电子设备
Galvanin et al. Extraction of building roof contours from LiDAR data using a Markov-random-field-based approach
CN115294150A (zh) 一种图像处理方法和终端设备
CN115061769B (zh) 用于支持跨分辨率的自迭代rpa界面元素匹配方法及系统
Kucer et al. DeepPatent: Large scale patent drawing recognition and retrieval
CN113269224A (zh) 一种场景图像分类方法、系统及存储介质
CN108268510A (zh) 一种图像标注方法和装置
CN113988147A (zh) 基于图网络的遥感图像场景多标签分类方法及装置、多标签检索方法及装置
CN114239754B (zh) 基于属性特征学习解耦的行人属性识别方法及系统
CN116206334A (zh) 一种野生动物识别方法和装置
CN115797929A (zh) 基于双注意力机制的小型农田图像分割方法、装置
CN114387608A (zh) 一种联合卷积与图神经网络的表格结构识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A method of searching map by map

Effective date of registration: 20221109

Granted publication date: 20210223

Pledgee: Zhejiang Fuyang Rural Commercial Bank branch Limited by Share Ltd. Silver Lake

Pledgor: Hangzhou xiongmai integrated circuit technology Co.,Ltd.

Registration number: Y2022980021287

CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: 311422 4th floor, building 9, Yinhu innovation center, 9 Fuxian Road, Yinhu street, Fuyang District, Hangzhou City, Zhejiang Province

Patentee after: Zhejiang Xinmai Microelectronics Co.,Ltd.

Address before: 311400 4th floor, building 9, Yinhu innovation center, No.9 Fuxian Road, Yinhu street, Fuyang District, Hangzhou City, Zhejiang Province

Patentee before: Hangzhou xiongmai integrated circuit technology Co.,Ltd.

PC01 Cancellation of the registration of the contract for pledge of patent right
PC01 Cancellation of the registration of the contract for pledge of patent right

Granted publication date: 20210223

Pledgee: Zhejiang Fuyang Rural Commercial Bank branch Limited by Share Ltd. Silver Lake

Pledgor: Hangzhou xiongmai integrated circuit technology Co.,Ltd.

Registration number: Y2022980021287