CN114821128B - 一种尺度自适应的模板匹配方法 - Google Patents

一种尺度自适应的模板匹配方法 Download PDF

Info

Publication number
CN114821128B
CN114821128B CN202210720448.5A CN202210720448A CN114821128B CN 114821128 B CN114821128 B CN 114821128B CN 202210720448 A CN202210720448 A CN 202210720448A CN 114821128 B CN114821128 B CN 114821128B
Authority
CN
China
Prior art keywords
image
similarity
template
feature
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210720448.5A
Other languages
English (en)
Other versions
CN114821128A (zh
Inventor
刘红敏
蔡越峰
王星
樊彬
曾慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology Beijing USTB
Beijing Electromechanical Engineering Research Institute
Original Assignee
University of Science and Technology Beijing USTB
Beijing Electromechanical Engineering Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology Beijing USTB, Beijing Electromechanical Engineering Research Institute filed Critical University of Science and Technology Beijing USTB
Priority to CN202210720448.5A priority Critical patent/CN114821128B/zh
Publication of CN114821128A publication Critical patent/CN114821128A/zh
Application granted granted Critical
Publication of CN114821128B publication Critical patent/CN114821128B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种尺度自适应的模板匹配方法，包括：获取不同角度的同一场景的两幅图像，在其中一幅中手工框取感兴趣图像块作为模板图像，另一幅作为搜索图像；将模板图像和搜索图像输入特征提取网络，获取对应的特征图F T和F IS；计算归一化后的F T和F IS各像素之间的相似性，获取相似性度量图；产生自适应多尺度候选框；生成均值滤波后的相似性度量图；在搜索图像中选取出候选图像块；获取任一候选图像块和模板的特征描述；计算模板的特征描述符与任一候选图像块的特征描述符的相似性；将相似性最大的特征描述符所对应的候选图像块作为模板图像最终的匹配结果。本发明可自适应产生目标框，且适用于视角变化较大的立体结构的图像匹配问题。

Description

一种尺度自适应的模板匹配方法
技术领域
本发明涉及计算机视觉中的图像模板匹配技术领域，特别涉及一种适用于大视角变换下立体结构模板匹配的尺度自适应的模板匹配方法。
背景技术
模板匹配技术是计算机视觉应用中最常用的技术之一，在视频跟踪，图像拼接，目标检测，字符识别，三维重建等方面均有重要应用。
经典的模板匹配方法通常使用SSD或NCC来计算模板与底层图像之间的相似度得分。与基于图像内容的特征匹配方法不同，模板匹配具有自身的局限性，主要表现在它只能进行平行移动。当图像视角差距较大，或目标物体非刚性时，传统方法往往不能实现较好的匹配。此外，由于存在遮挡和颜色变化等其他因素，传统方法更容易失效。
人们提出了许多方法来克服这些现实生活中应用模板匹配的困难。Dekel等人引入了最近邻度量方法，该方法关注最近邻匹配，以去除潜在的和由背景像素引起的错误匹配。Talmi等人考虑了模板的形变，利用了搜索图像中模板与潜在匹配区域之间神经网络特征匹配的多样性，引入了可变形多样性相似度。Kat等人引入了基于共现的模板匹配来量化搜索图像中模板与潜在匹配区域之间的差异。Cheng等人利用深度神经网络提取图像特征在像素空间上进行相似性匹配度量。这些方法确实提高了模板匹配的性能。但均无法实现模板匹配框的自适应性，且难以实现视角差异大的图像对的匹配。
发明内容
本发明提供了一种尺度自适应的模板匹配方法，以解决现有模板匹配中存在的目标框无法自适应生成的技术问题。
为解决上述技术问题，本发明提供了如下技术方案：
一种尺度自适应的模板匹配方法，该方法可以自适应产生目标框，且适用于视角变化较大的立体结构的图像匹配问题，其包括以下步骤：
从不同角度拍摄同一场景两幅不同图像并输入计算机，在其中一幅图像中手工框取感兴趣图像块，作为模板图像，将另一幅图像作为搜索图像；
将所述模板图像和所述搜索图像分别输入到预设的特征提取网络中，以获取所述模板图像对应的特征图F T以及所述搜索图像对应的特征图F IS；
对F T和F IS分别进行归一化操作，得到归一化后的F T和F IS；
计算归一化后的F T和F IS各像素之间的相似性，获取相似性度量图；
产生自适应多尺度候选框；
基于所述多尺度候选框，指定窗口大小，生成均值滤波后的相似性度量图；
基于均值滤波后的相似性度量图中最大值所在的位置以及指定窗口大小，在所述搜索图像中选取出候选图像块；
对于任一候选图像块，将其输入预设的特征描述网络中，获取其特征描述符；并且将所述模板图像输入所述特征描述网络中，获取模板的特征描述符；
计算模板的特征描述符与任一候选图像块的特征描述符的相似性；将相似性最大的特征描述符所对应的候选图像块作为所述模板图像最终的匹配结果。
进一步地，所述对F T和F IS分别进行归一化操作，包括：
针对待进行归一化的特征图，对相应特征计算出对应的均值
Figure 514195DEST_PATH_IMAGE001
和方差
Figure 125305DEST_PATH_IMAGE002
；
采取
Figure DEST_PATH_IMAGE003
的方式对待进行归一化的特征图进行归一化操作。
进一步地，所述计算归一化后的F T和F IS各像素之间的相似性，获取相似性度量图，包括：
在F T和F IS中逐像素计算各点余弦相似性
Figure 213346DEST_PATH_IMAGE004
，计算得到所述模板图像对所述搜索 图像的相似性
Figure 293429DEST_PATH_IMAGE005
及所述搜索图像对所述模板图像的相似性
Figure 226750DEST_PATH_IMAGE006
：
Figure 895629DEST_PATH_IMAGE007
其中，
Figure 154572DEST_PATH_IMAGE008
为可调节参数，
Figure 705639DEST_PATH_IMAGE009
为F IS中某点对F T中各个点的相似性，
Figure 708230DEST_PATH_IMAGE010
为F T中某点 对F IS中各个点的相似性；
Figure 231615DEST_PATH_IMAGE011
表示F T中像素点，
Figure 208929DEST_PATH_IMAGE012
表示F IS中像素点；
从而得到相似性度量图
Figure 450555DEST_PATH_IMAGE013
。
进一步地，所述产生自适应多尺度候选框，包括：
设置一组不同的长宽比
Figure 991258DEST_PATH_IMAGE014
，并根据所述模板图像与所述搜索图像的大小设置 不同的尺度
Figure 369149DEST_PATH_IMAGE015
，将
Figure 32212DEST_PATH_IMAGE014
和
Figure 495554DEST_PATH_IMAGE015
两者的组合乘积作为多尺度候选框的集合M。
进一步地，所述基于所述多尺度候选框，指定窗口大小，生成均值滤波后的相似性度量图，包括：
指定长度为
Figure 839948DEST_PATH_IMAGE016
，宽度为
Figure 150975DEST_PATH_IMAGE017
的窗口，对于均值滤波后的相似性度量图中的任一像素
Figure 657042DEST_PATH_IMAGE018
，其取值大小为
Figure 873260DEST_PATH_IMAGE019
；
其中，
Figure 755765DEST_PATH_IMAGE020
为均值函数；
Figure 170566DEST_PATH_IMAGE021
，
Figure 847535DEST_PATH_IMAGE022
表示窗口的 个数。
进一步地，所述基于均值滤波后的相似性度量图中最大值所在的位置以及指定窗口大小，在所述搜索图像中选取出候选图像块，包括：
在均值滤波后的相似性度量图中，记其最大值所在的位置为
Figure 285470DEST_PATH_IMAGE023
，取所述搜 索图像中以
Figure 971666DEST_PATH_IMAGE023
为中心、长度为
Figure 254355DEST_PATH_IMAGE024
、宽度为
Figure 571067DEST_PATH_IMAGE025
的图像块为候选图像块。
进一步地，所述特征描述网络将候选图像块映射为一定维度的特征向量作为特征描述符；计算模板的特征描述符与任一候选图像块的特征描述符的相似性时采用余弦度量计算。
进一步地，所述预设的特征提取网络为VGG19网络的变体；进行特征提取时，将VGG19网络的block1输出y1与block3的输出y3进行特征融合：
Figure 761877DEST_PATH_IMAGE026
其中，
Figure 314081DEST_PATH_IMAGE027
表示对两个特征图进行特征融合，获得融合后的特征图；
Figure 906737DEST_PATH_IMAGE028
分别表示模板分支的VGG19网络的block1输出与block3的输出；
Figure 191087DEST_PATH_IMAGE029
分别表示搜索 图像分支的VGG19网络的block1输出与block3的输出。
本发明提供的技术方案带来的有益效果至少包括：
本发明的技术方案首先利用深度神经网络对两幅图像进行特征提取，计算相似性获取热图，然后利用多尺度方法计算各个候选区域与模板区域的相似性，得到最终模板匹配结果。本发明提供的方法不仅能够实现对视角变化较大的立体结构的模板匹配，而且候选框自适应生成，适用性高于原有模板匹配方法；同时，该方法提高了模板匹配方法的鲁棒性，可用于现实生活中的其他应用。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的尺度自适应的模板匹配方法的执行流程示意图。
图2是本发明实施例提供的尺度自适应的模板匹配方法的总体模型示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
针对现有模板匹配中存在的目标框无法自适应生成的问题，本实施例提供了一种尺度自适应的模板匹配方法，该方法可以自适应产生目标框，且适用于视角变化较大的立体结构的图像匹配问题，该方法可以由电子设备实现，该电子设备可以是终端或者服务器。该方法包括：采集图像并输入计算机、确定感兴趣区域、VGG网络特征提取、特征归一化、计算对应像素点特征相似性、计算QATM相似性并获取热图、生成多尺度候选框、生成候选区域、生成候选区域特征向量、计算各特征向量与模板向量相似性、选取相似性最高的候选区域作为最终匹配区域。具体地，该方法的总体模型如图2所示，该方法的执行流程如图1所示，包括以下步骤：
S1，从不同角度拍摄同一场景两幅不同图像并输入计算机，其中一幅图像为模板所在的图像，记作I T ，另一幅为搜索图像，记作I S ；
S2，在I T 中手工框取感兴趣图像块，作为模板图像T；
S3，将模板图像T和搜索图像I S 分别输入到预设的特征提取网络中，以获取模板图像对应的特征图F T以及搜索图像对应的特征图F IS；
其中，模板图像T、搜索图像I S 的大小分别为
Figure 338035DEST_PATH_IMAGE030
Figure 366034DEST_PATH_IMAGE031
，利用VGG网络对模板图像T、搜索图像I S 进行特 征提取，分别获取对应的特征图F T和F IS，大小分别为
Figure 95087DEST_PATH_IMAGE032
，其中
Figure 550339DEST_PATH_IMAGE033
为通道数。
具体地，本实施例采用的特征提取网络为VGG19网络的变体；进行特征提取时，将VGG19网络的block1输出y1与block3的输出y3进行特征融合：
Figure 450162DEST_PATH_IMAGE026
其中，
Figure 344168DEST_PATH_IMAGE027
表示对两个特征图进行特征融合，获得融合后的特征图；
Figure 380257DEST_PATH_IMAGE028
分别表示模板分支的VGG19网络的block1输出与block3的输出；
Figure 6411DEST_PATH_IMAGE029
分别表示搜索 图像分支的VGG19网络的block1输出与block3的输出。
S4，对F T和F IS分别进行归一化操作，得到归一化后的F T和F IS；
具体地，在本实施例中，归一化方式如下：
针对待进行归一化的特征图，对相应特征计算出对应的均值
Figure 127950DEST_PATH_IMAGE001
和方差
Figure 310801DEST_PATH_IMAGE002
；
采取
Figure 466976DEST_PATH_IMAGE003
的方式对待进行归一化的特征图进行归一化操作。
S5，计算归一化后的F T和F IS各像素之间的相似性，获取相似性度量图；
具体地，在本实施例中，获取相似性度量图E的方式如下：
在F T和F IS中逐像素计算各点余弦相似性
Figure 264031DEST_PATH_IMAGE004
，计算得到模板图像T对搜索图像I S 的 相似性
Figure 669604DEST_PATH_IMAGE005
及搜索图像I S 对模板图像T的相似性
Figure 577518DEST_PATH_IMAGE006
：
Figure 588199DEST_PATH_IMAGE007
其中，
Figure 556155DEST_PATH_IMAGE008
为可调节参数，
Figure 730915DEST_PATH_IMAGE009
为F IS中某点对F T中各个点的相似性，
Figure 442519DEST_PATH_IMAGE010
为F T中某点 对F IS中各个点的相似性；
Figure 573286DEST_PATH_IMAGE011
表示F T中像素点，
Figure 712144DEST_PATH_IMAGE012
表示F IS中像素点；
从而得到相似性度量图
Figure 826730DEST_PATH_IMAGE013
。
S6，产生自适应多尺度候选框；
具体地，在本实施例中，上述S6具体为：设置一组不同的长宽比
Figure 342025DEST_PATH_IMAGE014
，并根据模 板图像T与搜索图像I S 的大小设置不同的尺度
Figure 327299DEST_PATH_IMAGE015
，将
Figure 718616DEST_PATH_IMAGE014
和
Figure 523761DEST_PATH_IMAGE015
两者的组合乘积 作为多尺度候选框的集合M。指定窗口大小
Figure 577167DEST_PATH_IMAGE034
。
S7，基于多尺度候选框，指定窗口大小，生成均值滤波后的相似性度量图；
具体地，在本实施例中，指定长度为
Figure 416947DEST_PATH_IMAGE016
，宽度为
Figure 959924DEST_PATH_IMAGE017
的窗口，对于均值滤波后的相似 性度量图Gi中的任一像素
Figure 517944DEST_PATH_IMAGE018
，其取值大小为
Figure 109463DEST_PATH_IMAGE019
；其中，
Figure 616799DEST_PATH_IMAGE035
为均 值函数；
Figure 268360DEST_PATH_IMAGE021
，
Figure 48097DEST_PATH_IMAGE022
表示窗口的个数。
S8，基于均值滤波后的相似性度量图中最大值所在的位置以及指定窗口大小，在所述搜索图像中选取出候选图像块；
具体地，在本实施例中，候选图像块的选取方式为：在均值滤波后的相似性度量图 Gi中，记其最大值所在的位置为
Figure 771202DEST_PATH_IMAGE023
，取搜索图像I S 中以
Figure 585575DEST_PATH_IMAGE023
为中心、长度为
Figure 408037DEST_PATH_IMAGE024
、宽 度为
Figure 675070DEST_PATH_IMAGE025
的图像块
Figure 421441DEST_PATH_IMAGE036
为候选图像块。
S9，对于任一候选图像块，将其输入预设的特征描述网络中，获取其特征描述符；并且将模板图像输入特征描述网络中，获取模板的特征描述符；
具体地，在本实施例中，候选图像块以
Figure 90319DEST_PATH_IMAGE036
表示，
Figure 83683DEST_PATH_IMAGE021
，
Figure 900329DEST_PATH_IMAGE036
的特征描述符以
Figure 902920DEST_PATH_IMAGE037
表示；模板的特征描述符以
Figure 426306DEST_PATH_IMAGE038
表示。
S10，计算模板的特征描述符与任一候选图像块的特征描述符的相似性；将相似性最大的特征描述符所对应的候选图像块作为模板图像最终的匹配结果。
其中，所述特征描述网络将候选图像块映射为一定维度的特征向量作为特征描述符；计算模板的特征描述符与任一候选图像块的特征描述符的相似性时可采用余弦度量计算。
本实施例的方法首先利用深度神经网络对两幅图像进行特征提取，计算相似性获取热图，然后利用多尺度方法计算各个候选区域与模板区域的相似性，得到最终模板匹配结果。本发明提供的方法不仅能够实现对视角变化较大的立体结构的模板匹配，而且候选框自适应生成，适用性高于原有模板匹配方法；同时，该方法提高了模板匹配方法的鲁棒性，可用于现实生活中的其他应用。
此外，需要说明的是，本发明可提供为方法、装置或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
还需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
最后需要说明的是，以上所述是本发明优选实施方式，应当指出，尽管已描述了本发明优选实施例，但对于本技术领域的技术人员来说，一旦得知了本发明的基本创造性概念，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

Claims (7)

1.一种尺度自适应的模板匹配方法，其特征在于，包括：
从不同角度拍摄同一场景两幅不同图像并输入计算机，在其中一幅图像中手工框取感兴趣图像块，作为模板图像，将另一幅图像作为搜索图像；
将所述模板图像和所述搜索图像分别输入到预设的特征提取网络中，以获取所述模板图像对应的特征图F T以及所述搜索图像对应的特征图F IS；
对F T和F IS分别进行归一化操作，得到归一化后的F T和F IS；
计算归一化后的F T和F IS各像素之间的相似性，获取相似性度量图；
产生自适应多尺度候选框；
基于所述多尺度候选框，指定窗口大小，生成均值滤波后的相似性度量图；
基于均值滤波后的相似性度量图中最大值所在的位置以及指定窗口大小，在所述搜索图像中选取出候选图像块；
对于任一候选图像块，将其输入预设的特征描述网络中，获取其特征描述符；并且将所述模板图像输入所述特征描述网络中，获取模板的特征描述符；
计算模板的特征描述符与任一候选图像块的特征描述符的相似性；将相似性最大的特征描述符所对应的候选图像块作为所述模板图像最终的匹配结果；
所述产生自适应多尺度候选框，包括：设置一组不同的长宽比
Figure 187839DEST_PATH_IMAGE001
，并根据所述模板图像与所述搜索图像的大小设置不同的尺度
Figure 950258DEST_PATH_IMAGE002
，将
Figure 194158DEST_PATH_IMAGE001
和
Figure 649410DEST_PATH_IMAGE002
两者的组合乘积作为多尺度候选框的集合M。
2.如权利要求1所述的尺度自适应的模板匹配方法，其特征在于，所述对F T和F IS分别进行归一化操作，包括：
针对待进行归一化的特征图，对相应特征计算出对应的均值
Figure 549233DEST_PATH_IMAGE003
和方差
Figure 928393DEST_PATH_IMAGE004
；
采取
Figure 964482DEST_PATH_IMAGE005
的方式对待进行归一化的特征图进行归一化操作。
3.如权利要求1所述的尺度自适应的模板匹配方法，其特征在于，所述计算归一化后的F T和F IS各像素之间的相似性，获取相似性度量图，包括：
在F T和F IS中逐像素计算各点余弦相似性
Figure 590635DEST_PATH_IMAGE006
，计算得到所述模板图像对所述搜索图像 的相似性
Figure 40071DEST_PATH_IMAGE007
及所述搜索图像对所述模板图像的相似性
Figure 144294DEST_PATH_IMAGE008
：
Figure 300468DEST_PATH_IMAGE009
其中，
Figure 97523DEST_PATH_IMAGE010
为可调节参数，
Figure 519408DEST_PATH_IMAGE011
为F IS中某点对F T中各个点的相似性，
Figure 692901DEST_PATH_IMAGE012
为F T中某点对F IS 中各个点的相似性；
Figure 703582DEST_PATH_IMAGE013
表示F T中像素点，
Figure 671538DEST_PATH_IMAGE014
表示F IS中像素点；
从而得到相似性度量图
Figure 829987DEST_PATH_IMAGE015
。
4.如权利要求1所述的尺度自适应的模板匹配方法，其特征在于，所述基于所述多尺度候选框，指定窗口大小，生成均值滤波后的相似性度量图，包括：
指定长度为
Figure 276012DEST_PATH_IMAGE016
，宽度为
Figure 406779DEST_PATH_IMAGE017
的窗口，对于均值滤波后的相似性度量图中的任一像素
Figure 545636DEST_PATH_IMAGE018
，其取值大小为
Figure 942113DEST_PATH_IMAGE019
；
其中，
Figure 191829DEST_PATH_IMAGE020
为均值函数；
Figure 177103DEST_PATH_IMAGE021
，
Figure 549178DEST_PATH_IMAGE022
表示窗口的个 数；x，y分别为待处理的均值滤波后的相似性度量图中的任一像素的横纵坐标值。
5.如权利要求4所述的尺度自适应的模板匹配方法，其特征在于，所述基于均值滤波后的相似性度量图中最大值所在的位置以及指定窗口大小，在所述搜索图像中选取出候选图像块，包括：
在均值滤波后的相似性度量图中，记其最大值所在的位置为
Figure 619902DEST_PATH_IMAGE023
，取所述搜索图像 中以
Figure 673309DEST_PATH_IMAGE024
为中心、长度为
Figure 513089DEST_PATH_IMAGE025
、宽度为
Figure 809728DEST_PATH_IMAGE026
的图像块为候选图像块；其中，
Figure 102169DEST_PATH_IMAGE027
分别为均 值滤波后的相似性度量图中最大值所在位置的横纵坐标值。
6.如权利要求1所述的尺度自适应的模板匹配方法，其特征在于，所述特征描述网络将候选图像块映射为预设维度的特征向量作为特征描述符；计算模板的特征描述符与任一候选图像块的特征描述符的相似性时采用余弦度量计算。
7.如权利要求1~6任一项所述的尺度自适应的模板匹配方法，其特征在于，所述预设的特征提取网络为VGG19网络的变体；进行特征提取时，将VGG19网络的block1输出y1与block3的输出y3进行特征融合：
Figure 959267DEST_PATH_IMAGE028
其中，
Figure 653553DEST_PATH_IMAGE029
表示对两个特征图进行特征融合，获得融合后的特征图；
Figure 367431DEST_PATH_IMAGE030
分别 表示模板分支的VGG19网络的block1输出与block3的输出；
Figure 412748DEST_PATH_IMAGE031
分别表示搜索图像 分支的VGG19网络的block1输出与block3的输出。
CN202210720448.5A 2022-06-24 2022-06-24 一种尺度自适应的模板匹配方法 Active CN114821128B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210720448.5A CN114821128B (zh) 2022-06-24 2022-06-24 一种尺度自适应的模板匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210720448.5A CN114821128B (zh) 2022-06-24 2022-06-24 一种尺度自适应的模板匹配方法

Publications (2)

Publication Number Publication Date
CN114821128A CN114821128A (zh) 2022-07-29
CN114821128B true CN114821128B (zh) 2022-09-09

Family

ID=82520784

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210720448.5A Active CN114821128B (zh) 2022-06-24 2022-06-24 一种尺度自适应的模板匹配方法

Country Status (1)

Country Link
CN (1) CN114821128B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108182205A (zh) * 2017-12-13 2018-06-19 南京信息工程大学 一种基于sift的hash算法的图像快速检索方法
CN114022510A (zh) * 2021-10-20 2022-02-08 浙江大立科技股份有限公司 一种基于内容检索的目标长时跟踪方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7353224B2 (en) * 2001-12-04 2008-04-01 Hewlett-Packard Development Company, L.P. System and method for efficiently finding near-similar images in massive databases
US7382897B2 (en) * 2004-04-27 2008-06-03 Microsoft Corporation Multi-image feature matching using multi-scale oriented patches
CA2613936C (en) * 2007-12-07 2014-03-25 University Of Ottawa Image classification and search
KR101913336B1 (ko) * 2011-10-06 2018-10-31 삼성전자주식회사 이동 장치 및 그 제어 방법
CN109345514A (zh) * 2018-09-12 2019-02-15 河南理工大学 一种基于PatchMatch的数字图像盲取证技术
CN109949340A (zh) * 2019-03-04 2019-06-28 湖北三江航天万峰科技发展有限公司 基于OpenCV的目标尺度自适应跟踪方法
CN111522986B (zh) * 2020-04-23 2023-10-10 北京百度网讯科技有限公司 图像检索方法、装置、设备和介质
CN113240716B (zh) * 2021-05-31 2023-04-18 西安电子科技大学 一种多特征融合的孪生网络目标跟踪方法及系统
CN113592911B (zh) * 2021-07-31 2023-02-28 西南电子技术研究所（中国电子科技集团公司第十研究所） 表观增强深度目标跟踪方法
CN114119658A (zh) * 2021-11-12 2022-03-01 无锡恒士轮科技有限公司 一种多特征自适应融合的跟随算法
CN114359591A (zh) * 2021-12-13 2022-04-15 重庆邮电大学 一种融合边缘特征的自适应图像匹配算法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108182205A (zh) * 2017-12-13 2018-06-19 南京信息工程大学 一种基于sift的hash算法的图像快速检索方法
CN114022510A (zh) * 2021-10-20 2022-02-08 浙江大立科技股份有限公司 一种基于内容检索的目标长时跟踪方法

Also Published As

Publication number Publication date
CN114821128A (zh) 2022-07-29

Similar Documents

Publication Publication Date Title
Melekhov et al. Dgc-net: Dense geometric correspondence network
US10198623B2 (en) Three-dimensional facial recognition method and system
CN110414507B (zh) 车牌识别方法、装置、计算机设备和存储介质
WO2020107717A1 (zh) 视觉显著性区域检测方法及装置
CN109711416B (zh) 目标识别方法、装置、计算机设备和存储介质
CN110334762B (zh) 一种基于四叉树结合orb和sift的特征匹配方法
CN108550166B (zh) 一种空间目标图像匹配方法
CN110909724A (zh) 一种多目标图像的缩略图生成方法
CN110827312A (zh) 一种基于协同视觉注意力神经网络的学习方法
CN113538569A (zh) 一种弱纹理物体位姿估计方法和系统
CN112037109A (zh) 一种改进的基于显著性目标检测的图像水印添加方法和系统
CN114267029A (zh) 一种车道线检测方法、装置、设备及存储介质
CN114444565A (zh) 一种图像篡改检测方法、终端设备及存储介质
CN112329662B (zh) 基于无监督学习的多视角显著性估计方法
CN117132503A (zh) 一种图像局部高亮区域修复方法、系统、设备及存储介质
CN114821128B (zh) 一种尺度自适应的模板匹配方法
CN111612063A (zh) 一种图像匹配方法、装置、设备及计算机可读存储介质
CN108765384B (zh) 一种联合流形排序和改进凸包的显著性检测方法
CN106056575A (zh) 一种基于似物性推荐算法的图像匹配方法
CN114882372A (zh) 一种目标检测的方法及设备
CN111461139B (zh) 一种复杂场景下的多目标视觉显著性分层检测方法
CN103617616A (zh) 一种仿射不变的图像匹配方法
CN112529081A (zh) 基于高效注意力校准的实时语义分割方法
CN114723973A (zh) 大尺度变化鲁棒的图像特征匹配方法及装置
Seychell et al. Efficient object selection using depth and texture information

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant