CN112149728B - 一种快速的多模态图像模板匹配方法 - Google Patents

一种快速的多模态图像模板匹配方法 Download PDF

Info

Publication number
CN112149728B
CN112149728B CN202011000035.7A CN202011000035A CN112149728B CN 112149728 B CN112149728 B CN 112149728B CN 202011000035 A CN202011000035 A CN 202011000035A CN 112149728 B CN112149728 B CN 112149728B
Authority
CN
China
Prior art keywords
template
matched
gradient
area
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011000035.7A
Other languages
English (en)
Other versions
CN112149728A (zh
Inventor
叶沅鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Zhiyao Yuntu Information Technology Co ltd
Original Assignee
Chengdu Zhiyao Yuntu Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Zhiyao Yuntu Information Technology Co ltd filed Critical Chengdu Zhiyao Yuntu Information Technology Co ltd
Priority to CN202011000035.7A priority Critical patent/CN112149728B/zh
Publication of CN112149728A publication Critical patent/CN112149728A/zh
Application granted granted Critical
Publication of CN112149728B publication Critical patent/CN112149728B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • General Health & Medical Sciences (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Algebra (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种快速的多模态图像模板匹配方法，属于图像识别技术领域。本发明先利用稠密的梯度特征构建一种多维结构特征描述符，并对该描述符进行特征降维，形成一种有效的低维特征描述符，即L‑CMOG描述符，该描述符能有效刻画多模态影像间的共有属性，如结构，轮廓和形状特征等，可以适应影像间复杂的非线性灰度差异，然后利用快速傅里叶变换将L‑CMOG描述符转换到频率空间，利用互相关技术构建匹配相似性测度，并采用模板匹配的策略进行同名点识别。本发明通过以上设计，能有效抵抗多模态影像间复杂的灰度和纹理差异，实现多模态遥感影像，多模态医学影像，多模态自然影像间的快速精确自动匹配。

Description

一种快速的多模态图像模板匹配方法
技术领域
本发明属于图像识别技术领域，尤其涉及一种快速的多模态图像模板匹配方法。
背景技术
影像匹配是在两幅或者多幅影像间识别同名点的过程，是计算机视觉和影像处理一个基础工作。同时，影像匹配也是影像配准，影像拼接、三维重建、目标识别等诸多影像分析工作的一项重要预处理步骤，匹配精度对这些后续的分析与应用产生重要的影响。多模态图像是指利用不同传感器获取的影像数据，主要包括有多模态遥感图像如可见光图像，红外图像，SAR图像等，多模态医学影像如MR核磁共振图像，CT图像，PET(超声波)等，以及多模态自然影像。由于成像机理的不同，多模态图像间往往呈现出完全不同的辐射信息，具体表现为同一场景图像的灰度信息完全不同，即使人眼也难进行同名点识别。
模板匹配是指给一个影像窗口(称为模板)，在待匹配影像上进行逐像素滑动，并利用某种相似性测度来检测最佳匹配窗口，然后将模板窗口和匹配窗口的中心作为同名点的过程，在此过程中，相似性测度的选择至关重要。目前常用的相似性测度有差平方和，归一化相关系数，互信息等，这些相似性测度主要根据灰度信息进行匹配，对于复杂的灰度差异较为敏感，不能很好应用于多模态影像的匹配。鉴于此，许多学者通过提取特征来构建相似性测度，这些特征主要包括梯度方向直方图，局部相似性，相位一致性方向直方图和方向梯度特征通道等，这些特征通过描述和提取影像的结构和形状属性，能较好地抵抗多模态影像间的差异。不过，这些特征维数较高，计算效率较大，其匹配速率还有待进一步的提高。
发明内容
针对现有技术中的上述不足，本发明提供的一种快速的多模态图像模板匹配方法解决了现有模板匹配技术特征维度较高，计算效率较低的问题。
为了达到以上目的，本发明采用的技术方案为：
本方案提供一种快速的多模态图像模板匹配方法，包括以下步骤：
S1、获取参考影像和输入影像；
S2、在参考影像上提取特征点，并根据提取的特征点构建模板区域；
S3、根据所述模板区域，在输入影像上确定待匹配的模板区域；
S4、利用多方向梯度信息分别构建模板区域的低维特征描述符和待匹配模板区域的低维特征描述符；
S5、根据所述模板区域的低维特征描述符和待匹配模板区域的低维特征描述符，利用快速傅里叶变换构建相似性测度，并根据相似性测度识别出待匹配模板区域和模板区域的同名特征点，从而完成对多模态图像模板的匹配。
本发明的有益效果是：本发明首先利用稠密的梯度特征构建一种多维结构特征描述符，并对该描述符进行特征降维，形成一种有效的低维特征描述符，即L-CMOG描述符，然后利用快速傅里叶变换将L-CMOG描述符转换到频率空间，利用互相关技术构建匹配相似性测度，并采用模板匹配的策略进行同名点识别。本发明能有效抵抗多模态影像间复杂的灰度和纹理差异，实现多模态遥感影像，多模态医学影像，多模态自然影像间的快速精确自动匹配，解决了现有模板匹配技术特征维度较高，计算效率较低的问题。
进一步地，所述步骤S2包括以下步骤：
S201、在参考影像上提取特征点，并将所有提取的特征点记为特征点集P1i，其中，i表示特征点的个数，且i＝1,2,3,…,N，N表示特征点的总数；
S202、以特征点集P1i为中心取半径为r1的窗口，并根据所述窗口构建模板区域T1i。
上述进一步方案的有益效果是：本发明在参考影像上提取一定数量特征点，并以特征点为中心能有效地确定对应的模板窗口，从而构建模板区域。
再进一步地，所述步骤S3包括以下步骤：
S301、在输入影像上预测半径为r2的搜索区域S1i，并记所述搜索区域S1i的中心点为p2i，且r2>r1，其中，r1表示在参考影像中以特征集P1i为中心的半径；
S302、以中心点p2i为中心，将所述集P1i对应的同名点设置于所述搜索区域S1i内，并根据对应的同名点确定输入影像上待匹配的模板区域。
上述进一步方案的有益效果是是：本发明通过在搜索区域内包括特征点集对应的同名点，并根据对应的同名点确定输入影像上待匹配的模板区域，为后续识别出进行模板匹配提供了良好的条件。
再进一步地，所述步骤S4包括以下步骤：
S401、利用梯度一阶差分方法分别计算模板区域和待匹配模板区域中每个像素点水平和垂直方向的梯度特征，并取绝对值，记为g1和g2，其中，g1表示模板区域和待匹配模板区域中每个像素点水平方向的梯度特征，g2表示模板区域和待匹配模板区域中每个像素点垂直方向的梯度特征；
S402、利用滤波器分别计算模板区域和待匹配模板区域中每个像素点对角线方向45度和135度的梯度特征，并取绝对值，记为g3和g4，其中，g3表示模板区域和待匹配模板区域中每个像素点45度方向的梯度特征，g4表示模板区域和待匹配模板区域中每个像素点135度方向的梯度特征；
S403、分别将模板区域和待匹配模板区域中每个像素点的梯度特征g1、g2、g3和g4进行重叠处理，得到模板区域的多方向梯度特征图和待匹配模板区域的多方向梯度特征图；
S404、分别对所述模板区域的多方向梯度特征图和待匹配模板区域的多方向梯度特征图进行卷积计算，得到模板区域的卷积多方向梯度特征图和待匹配模板区域的卷积多方向梯度特征图；
S405、根据模板区域的卷积多方向梯度特征图和待匹配模板区域的卷积多方向梯度特征图，分别利用反正切函数计算得到g1和g2的梯度方向角theta1以及g3和g4的梯度方向角theta2；
S406、将所述梯度方向角theta1和theta2融合为复数特征，并根据所述复数特征得到模板区域的低维特征描述符和待匹配模板区域的低维特征描述符。
上述进一步方案的有益效果是：本发明利用稠密的梯度特征构建一种多维结构特征描述符，并对该描述符进行特征降维，形成一种有效的低维特征描述符，即L-CMOG描述符，该描述符能有效刻画多模态影像间的共有属性，如结构，轮廓和形状特征等，可以适应影像间复杂的非线性灰度差异。
再进一步地，所述步骤S5包括以下步骤：
S501、分别对模板区域的低维特征描述符和待匹配模板区域的低维特征描述符进行快速傅里叶变换，得到F(C1(x,y))和F(C2(x,y))，其中，F(C1(x,y))表示模板区域低维特征描述符的正向快速傅里叶变换，F(C2(x,y))表示待匹配模板区域低维特征描述符的正向快速傅里叶变换；
S502、取F(C2(x,y))的复数共轭得到F*(C2(x,y))，其中，F*(C2(x,y))表示F(C2(x,y))的共轭复数；
S503、将F(C1(x,y))和F*(C2(x,y))进行点乘计算，并对计算结果进行快速傅里叶逆变换得到相似性测度；
S504、根据所述相似性测度的最大值位置，得到C1(x,y)和C2(x,y)中心点间的偏移量，其中，C1(x,y)表示模板区域的低维特征描述符，C2(x,y)表示待匹配模板区域的低维特征描述符；
S505、根据所述偏移量得到待匹配模板区域和模板区域的同名特征点，从而完成对多模态图像模板的匹配。
上述进一步方案的有益效果是：本发明利用快速傅里叶变换将L-CMOG描述符转换到频率空间，利用互相关技术构建匹配相似性测度，并采用模板匹配的策略进行同名点识别，能有效抵抗多模态影像间复杂的灰度和纹理差异，实现多模态遥感影像，多模态医学影像，多模态自然影像间的快速精确自动匹配。
再进一步地，所述步骤S504中偏移量的表达式如下：
其中，di表示偏移量，d表示待匹配模板区域和模板区域之间的平移量，F-1表示逆向快速傅里叶变换，F(C1(x,y))表示模板区域低维特征描述符的正向快速傅里叶变换，F*(C2(x,y)表示F(C2(x,y))的复数共轭，F(C2(x,y))表示待匹配模板区域低维特征描述符的正向快速傅里叶变换。
再进一步地，所述步骤S505包括以下步骤：
S5051、记所述偏移量di为(Δx,Δy)，并根据所述偏移量(Δx,Δy)得到模板区域中特征点p1i(x,y)对应的待匹配的模板区域中的同名点p2i(x-Δx,y-Δy)，记为
S5052、根据所述同名点得到同名点对/>
S5053、重复步骤S4和步骤S5，得到待匹配模板区域和模板区域的同名特征点。
上述进一步方案的有益效果是：本发明通过所述偏移量能快速识别出同名点。
附图说明
图1为本发明的方法流程图。
图2为本实施例中计算4个方向梯度的滤波窗口示意图。
图3为本实施例中低维特征描述符L-CMOG的构建过程示意图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
实施例
如图1所示，本发明提供了一种快速的多模态图像模板匹配方法，其实现方法如下：
S1、获取参考影像和输入影像；
S2、在参考影像上提取特征点，并根据提取的特征点构建模板区域，其实现方法如下：
S201、在参考影像上提取特征点，并将所有提取的特征点记为特征点集P1i，其中，i表示特征点的个数，且i＝1,2,3,…,N，N表示特征点的总数；
S202、以特征点集P1i为中心取半径为r1的窗口，并根据窗口构建模板区域T1i。
本实施例中，利用FAST算子或者Harris算子在参考影像上提取一定数量的特征点记为特征点集P1i(i＝1,2,3,…,N)，并以点P1i为中心取半径为r1大小的窗口，将其定义为模板区域，记为T1i(i＝1,2,3,…,N)，其中，r1的值由用户决定。
S3、根据模板区域，在输入影像上确定待匹配的模板区域，其实现方法如下：
S301、在输入影像上预测半径为r2的搜索区域S1i，并记搜索区域S1i的中心点为p2i，且r2>r1，其中，r1表示在参考影像中以特征集P1i为中心的半径；
S302、以中心点p2i为中心，将所述集P1i对应的同名点设置于所述搜索区域S1i内，并根据对应的同名点确定输入影像上待匹配的模板区域。
本实施例中，对于参考影像上一个特征点P1i，其对应的模板区域为T1i，然后在输入影像上预测半径为r2的一个搜索区域S1i，该区域中心点记为p2i，其中，r2>r1,并且搜索区域中一定要包括特征点P1i对应的同名点。
S4、利用多方向梯度信息分别构建模板区域的低维特征描述符和待匹配模板区域的低维特征描述符，其实现方法如下：
S401、利用梯度一阶差分方法分别计算模板区域和待匹配模板区域中每个像素点水平和垂直方向的梯度特征，并取绝对值，记为g1和g2，其中，g1表示模板区域和待匹配模板区域中每个像素点水平方向的梯度特征，g2表示模板区域和待匹配模板区域中每个像素点垂直方向的梯度特征；
S402、利用滤波器分别计算模板区域和待匹配模板区域中每个像素点对角线方向45度和135度的梯度特征，并取绝对值，记为g3和g4，其中，g3表示模板区域和待匹配模板区域中每个像素点45度方向的梯度特征，g4表示模板区域和待匹配模板区域中每个像素点135度方向的梯度特征；
S403、分别将模板区域和待匹配模板区域中每个像素点的梯度特征g1、g2、g3和g4进行重叠处理，得到模板区域的多方向梯度特征图和待匹配模板区域的多方向梯度特征图；
S404、分别对模板区域的多方向梯度特征图和待匹配模板区域的多方向梯度特征图进行卷积计算，得到模板区域的卷积多方向梯度特征图和待匹配模板区域的卷积多方向梯度特征图；
S405、根据模板区域的卷积多方向梯度特征图和待匹配模板区域的卷积多方向梯度特征图，分别利用反正切函数计算得到g1和g2的梯度方向角theta1以及g3和g4的梯度方向角theta2；
S406、将梯度方向角theta1和theta2融合为复数特征，并根据所述复数特征得到模板区域的低维特征描述符和待匹配模板区域的低维特征描述符。
本实施例中，本发明是利用影像的多方向梯度信息构建相似性测度进行模板匹配。首先计算模板区域和待匹配模板区域影像每个像素点的水平、垂直、对角等4个方向上的梯度，形成多方向梯度特征图，再利用高斯滤波器对特征图进行卷积，生成多方向梯度卷积特征图，该特征图每个像素点的特征具有4个维度，并利用不同方向的特征图计算梯度方向角，并将方向角整合为一维的复数特征，形成一种有效的低维特征描述符，即L-CMOG描述符。该描述符能有效刻画多模态影像间的共有属性，如结构，轮廓和形状特征等，可以适应影像间复杂的非线性灰度差异，其具体如下：
利用梯度一阶差分算子[-1,0,1]和[-1,0,1]T计算模板区域和待匹配模板区域中每个像素点水平和垂直方向的梯度，并取绝对值，记为g1和g2，再利用滤波器[0,0,1；0,0,0；-1,0,0]和[-1,0,0；0,0,0；0,0,1]计算对角线方向45度和135度的梯度，并取绝对值，记为g3和g4。如图2所示，图2显示了计算这4个方向梯度的滤波窗口示意图，然后将每个点的梯度特征g1、g2、g3和g4叠置起来，形成三维的多方向梯度特征图(Multi-orientatedgradients，MOG)，然后利用高斯滤波器或者三角滤波器对MOG进行卷积运算形成卷积多方向梯度特征图(convolutional multi-orientated gradients,CMOG)。CMOG每个像点的特征维数为4，数据量较大。于是，接下来对CMOG进行降维处理，利用反正切函数atan计算g1和g2的梯度方向角theta1，以及g3和g4的梯度方向角theta2，然后将theta1和theta2整合一个复数特征theta1+theta2*i，其中，i表示特征点的个数，这样就将特征维数为4的CMOG降为维数1的特征，称为L-CMOG。L-CMOG的每个像素点就是一个复数特征，大大地降低了数据量，如图3所示，图3显示L-CMOG的构建过程。
S5、根据模板区域的低维特征描述符和待匹配模板区域的低维特征描述符，利用快速傅里叶变换构建相似性测度，并根据相似性测度识别出待匹配模板区域和模板区域的同名特征点，从而完成对多模态图像模板的匹配，其实现方法如下：
S501、分别对模板区域的低维特征描述符和待匹配模板区域的低维特征描述符进行快速傅里叶变换，得到F(C1(x,y))和F(C2(x,y))，其中，F(C1(x,y))表示模板区域低维特征描述符的正向快速傅里叶变换，F(C2(x,y))表示待匹配模板区域低维特征描述符的正向快速傅里叶变换；
S502、取F(C2(x,y))的复数共轭得到F*(C2(x,y))，其中，F*(C2(x,y))表示F(C2(x,y))的共轭复数；
S503、将F(C1(x,y))和F*(C2(x,y))进行点乘计算，并对计算结果进行快速傅里叶逆变换得到相似性测度；
S504、根据所述相似性测度的最大值位置，得到C1(x,y)和C2(x,y)中心点间的偏移量，其中，C1(x,y)表示模板区域的低维特征描述符，C2(x,y)表示待匹配模板区域的低维特征描述符；
S505、根据所述偏移量得到待匹配模板区域和模板区域的同名特征点，从而完成对多模态图像模板的匹配，其实现方法如下：
S5051、记所述偏移量di为(Δx,Δy)，并根据所述偏移量(Δx,Δy)得到模板区域中特征点p1i(x,y)对应的待匹配的模板区域中的同名点p2i(x-Δx,y-Δy)，记为
S5052、根据所述同名点得到同名点对/>
S5053、重复步骤S4和步骤S5，得到待匹配模板区域和模板区域的同名特征点。
本实施例中，在参考影像上，给定一个特征点P1i，并以该点为中心取一个模板区域T1i，然后在输入影像上预测半径为r2的一个搜索区域S1i，该区域中心点记为p2i，其中，r2>r1，并且搜索区域中一定要包括特征点P1i对应的同名点。首先计算区域T1i和S1i的L-CMOG特征，分别命名为C1(x,y)和C2(x,y)，然后在频率域中利用相关运算建立匹配相似性测度，如以下公式所示：
其中，di表示偏移量，d表示待匹配模板区域和模板区域之间的平移量，F-1表示逆向快速傅里叶变换，F(C1(x,y))表示模板区域低维特征描述符的正向快速傅里叶变换，F*(C2(x,y)表示F(C2(x,y))的复数共轭，F(C2(x,y))表示待匹配模板区域低维特征描述符的正向快速傅里叶变换。
本实施例中，首先对C1(x,y)和C2(x,y)进行快速傅里叶变换分别得到F(C1(x,y))和F(C2(x,y))，并取F(C2(x,y))的复数共轭得到F*(C2(x,y))，然后将F(C1(x,y))和F*(C2(x,y))进行点乘运算，然后对运算结果进行傅里叶逆变换获得相似性图Sim，Sim的最大值位置对应了C1(x,y)和C2(x,y)中心点之间的偏移量di，也就是点p1i(x,y)和点p2i(x,y)之间的偏移量，记为(Δx,Δy)，则点p1i(x,y)对应的同名点p2i(x-Δx,y-Δy)，记为获得的同名点对记为/>重复本实施例中步骤S4和步骤S5，得到最终的同名点对/>其中，i＝1,2,3,…,N。
本发明通过以上设计，能有效抵抗多模态影像间复杂的灰度和纹理差异，实现多模态遥感影像，多模态医学影像，多模态自然影像间的快速精确自动匹配。

Claims (6)

1.一种快速的多模态图像模板匹配方法，其特征在于，包括以下步骤：
S1、获取参考影像和输入影像；
S2、在参考影像上提取特征点，并根据提取的特征点构建模板区域；
S3、根据所述模板区域，在输入影像上确定待匹配的模板区域；
S4、利用多方向梯度信息分别构建模板区域的低维特征描述符和待匹配模板区域的低维特征描述符；
所述步骤S4包括以下步骤：
S401、利用梯度一阶差分方法分别计算模板区域和待匹配模板区域中每个像素点水平和垂直方向的梯度特征，并取绝对值，记为g1和g2，其中，g1表示模板区域和待匹配模板区域中每个像素点水平方向的梯度特征，g2表示模板区域和待匹配模板区域中每个像素点垂直方向的梯度特征；
S402、利用滤波器分别计算模板区域和待匹配模板区域中每个像素点对角线方向45度和135度的梯度特征，并取绝对值，记为g3和g4，其中，g3表示模板区域和待匹配模板区域中每个像素点45度方向的梯度特征，g4表示模板区域和待匹配模板区域中每个像素点135度方向的梯度特征；
S403、分别将模板区域和待匹配模板区域中每个像素点的梯度特征g1、g2、g3和g4进行重叠处理，得到模板区域的多方向梯度特征图和待匹配模板区域的多方向梯度特征图；
S404、分别对所述模板区域的多方向梯度特征图和待匹配模板区域的多方向梯度特征图进行卷积计算，得到模板区域的卷积多方向梯度特征图和待匹配模板区域的卷积多方向梯度特征图；
S405、根据模板区域的卷积多方向梯度特征图和待匹配模板区域的卷积多方向梯度特征图，分别利用反正切函数计算得到g1和g2的梯度方向角theta1以及g3和g4的梯度方向角theta2；
S406、将所述梯度方向角theta1和theta2融合为复数特征，并根据所述复数特征得到模板区域的低维特征描述符和待匹配模板区域的低维特征描述符；
S5、根据所述模板区域的低维特征描述符和待匹配模板区域的低维特征描述符，利用快速傅里叶变换构建相似性测度，并根据相似性测度识别出待匹配模板区域和模板区域的同名特征点，从而完成对多模态图像模板的匹配。
2.根据权利要求1所述的快速的多模态图像模板匹配方法，其特征在于，所述步骤S2包括以下步骤：
S201、在参考影像上提取特征点，并将所有提取的特征点记为特征点集P1i，其中，i表示特征点的个数，且i＝1,2,3,…,N，N表示特征点的总数；
S202、以特征点集P1i为中心取半径为r1的窗口，并根据所述窗口构建模板区域。
3.根据权利要求2所述的快速的多模态图像模板匹配方法，其特征在于，所述步骤S3包括以下步骤：
S301、在输入影像上预测半径为r2的搜索区域S1i，并记所述搜索区域S1i的中心点为p2i，且r2>r1，其中，r1表示在参考影像中以特征集P1i为中心的半径；
S302、以中心点p2i为中心，将所述集P1i对应的同名点设置于所述搜索区域S1i内，并根据对应的同名点确定输入影像上待匹配的模板区域。
4.根据权利要求1所述的快速的多模态图像模板匹配方法，其特征在于，所述步骤S5包括以下步骤：
S501、分别对模板区域的低维特征描述符和待匹配模板区域的低维特征描述符进行快速傅里叶变换，得到F(C1(x,y))和F(C2(x,y))，其中，F(C1(x,y))表示模板区域低维特征描述符的正向快速傅里叶变换，F(C2(x,y))表示待匹配模板区域低维特征描述符的正向快速傅里叶变换；
S502、取F(C2(x,y))的复数共轭得到F*(C2(x,y))，其中，F*(C2(x,y))表示F(C2(x,y))的共轭复数；
S503、将F(C1(x,y))和F*(C2(x,y))进行点乘计算，并对计算结果进行快速傅里叶逆变换得到相似性测度；
S504、根据所述相似性测度的最大值位置，得到C1(x,y)和C2(x,y)中心点间的偏移量，其中，C1(x,y)表示模板区域的低维特征描述符，C2(x,y)表示待匹配模板区域的低维特征描述符；
S505、根据所述偏移量得到待匹配模板区域和模板区域的同名特征点，从而完成对多模态图像模板的匹配。
5.根据权利要求4所述的快速的多模态图像模板匹配方法，其特征在于，所述步骤S504中偏移量的表达式如下：
其中，di表示偏移量，d表示待匹配模板区域和模板区域之间的平移量，F-1表示逆向快速傅里叶变换，F(C1(x,y))表示模板区域低维特征描述符的正向快速傅里叶变换，F*(C2(x,y)表示F(C2(x,y))的复数共轭，F(C2(x,y))表示待匹配模板区域低维特征描述符的正向快速傅里叶变换。
6.根据权利要求5所述的快速的多模态图像模板匹配方法，其特征在于，所述步骤S505包括以下步骤：
S5051、记所述偏移量di为(Δx,Δy)，并根据所述偏移量(Δx,Δy)得到模板区域中特征点p1i(x,y)对应的待匹配的模板区域中的同名点p2i(x-Δx,y-Δy)，记为
S5052、根据所述同名点得到同名点对/>
S5053、重复步骤S4和步骤S5，得到待匹配模板区域和模板区域的同名特征点。
CN202011000035.7A 2020-09-22 2020-09-22 一种快速的多模态图像模板匹配方法 Active CN112149728B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011000035.7A CN112149728B (zh) 2020-09-22 2020-09-22 一种快速的多模态图像模板匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011000035.7A CN112149728B (zh) 2020-09-22 2020-09-22 一种快速的多模态图像模板匹配方法

Publications (2)

Publication Number Publication Date
CN112149728A CN112149728A (zh) 2020-12-29
CN112149728B true CN112149728B (zh) 2023-11-17

Family

ID=73893650

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011000035.7A Active CN112149728B (zh) 2020-09-22 2020-09-22 一种快速的多模态图像模板匹配方法

Country Status (1)

Country Link
CN (1) CN112149728B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113361636B (zh) * 2021-06-30 2022-09-20 山东建筑大学 一种图像分类方法、系统、介质及电子设备
CN114419716B (zh) * 2022-01-26 2024-03-15 北方工业大学 一种人脸图像面部关键点标定的校准方法

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000123177A (ja) * 1998-10-19 2000-04-28 Dainippon Screen Mfg Co Ltd 画像処理装置およびその処理を実行するためのプログラムを記録した記録媒体
CN102034237A (zh) * 2010-12-10 2011-04-27 中国人民解放军国防科学技术大学 二维图像对应性寻找方法
CN102903078A (zh) * 2012-07-13 2013-01-30 南京大学 一种基于多分辨率傅里叶分析理论的运动模糊图像参数估计方法
CN103136751A (zh) * 2013-02-05 2013-06-05 电子科技大学 一种改进型sift图像特征匹配算法
CN103235949A (zh) * 2013-04-12 2013-08-07 北京大学 图像兴趣点检测方法和装置
CN103679200A (zh) * 2013-12-14 2014-03-26 复旦大学 一种用于图像匹配、识别、检索的频域形状描述方法
WO2016012915A1 (en) * 2014-07-21 2016-01-28 Politecnico Di Torino Improved method for fingerprint matching and camera identification, device and system
CN106558072A (zh) * 2016-11-22 2017-04-05 重庆信科设计有限公司 一种基于改进sift特征在遥感图像上配准的方法
CN107563438A (zh) * 2017-08-31 2018-01-09 西南交通大学 一种快速鲁棒的多模态遥感影像匹配方法和系统
CN108197649A (zh) * 2017-12-29 2018-06-22 厦门大学 一种太赫兹图像聚类分析方法及系统
CN108665422A (zh) * 2017-08-30 2018-10-16 西安电子科技大学 傅里叶域内逆向感知的单帧红外非均匀性检测方法
CN109300137A (zh) * 2018-09-20 2019-02-01 北京航空航天大学 一种多曲面估计区间二型模糊聚类磁共振脑图像分割方法
CN109711324A (zh) * 2018-12-24 2019-05-03 南京师范大学 基于傅里叶变换和卷积神经网络的人体姿态识别方法
CN110097496A (zh) * 2019-04-28 2019-08-06 燕山大学 基于局部稳定区域的鱼眼图像匹配方法
CN110197184A (zh) * 2019-04-19 2019-09-03 哈尔滨工业大学 一种基于傅里叶变换的快速图像sift提取方法
CN110210511A (zh) * 2019-04-19 2019-09-06 哈尔滨工业大学 一种基于余弦测度的改进pca-sift图像配准方法
KR20200062014A (ko) * 2018-11-26 2020-06-03 삼성전자주식회사 다이어딕 매트릭스 형태의 웨이트를 이용해 뉴럴 네트워크를 가속하는 장치 및 그것의 동작 방법
CN111310817A (zh) * 2020-02-10 2020-06-19 深圳大学 谱聚类方法、装置、系统、计算机设备和存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6963667B2 (en) * 2001-01-12 2005-11-08 National Instruments Corporation System and method for signal matching and characterization

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000123177A (ja) * 1998-10-19 2000-04-28 Dainippon Screen Mfg Co Ltd 画像処理装置およびその処理を実行するためのプログラムを記録した記録媒体
CN102034237A (zh) * 2010-12-10 2011-04-27 中国人民解放军国防科学技术大学 二维图像对应性寻找方法
CN102903078A (zh) * 2012-07-13 2013-01-30 南京大学 一种基于多分辨率傅里叶分析理论的运动模糊图像参数估计方法
CN103136751A (zh) * 2013-02-05 2013-06-05 电子科技大学 一种改进型sift图像特征匹配算法
CN103235949A (zh) * 2013-04-12 2013-08-07 北京大学 图像兴趣点检测方法和装置
CN103679200A (zh) * 2013-12-14 2014-03-26 复旦大学 一种用于图像匹配、识别、检索的频域形状描述方法
WO2016012915A1 (en) * 2014-07-21 2016-01-28 Politecnico Di Torino Improved method for fingerprint matching and camera identification, device and system
CN106558072A (zh) * 2016-11-22 2017-04-05 重庆信科设计有限公司 一种基于改进sift特征在遥感图像上配准的方法
CN108665422A (zh) * 2017-08-30 2018-10-16 西安电子科技大学 傅里叶域内逆向感知的单帧红外非均匀性检测方法
CN107563438A (zh) * 2017-08-31 2018-01-09 西南交通大学 一种快速鲁棒的多模态遥感影像匹配方法和系统
CN108197649A (zh) * 2017-12-29 2018-06-22 厦门大学 一种太赫兹图像聚类分析方法及系统
CN109300137A (zh) * 2018-09-20 2019-02-01 北京航空航天大学 一种多曲面估计区间二型模糊聚类磁共振脑图像分割方法
KR20200062014A (ko) * 2018-11-26 2020-06-03 삼성전자주식회사 다이어딕 매트릭스 형태의 웨이트를 이용해 뉴럴 네트워크를 가속하는 장치 및 그것의 동작 방법
CN109711324A (zh) * 2018-12-24 2019-05-03 南京师范大学 基于傅里叶变换和卷积神经网络的人体姿态识别方法
CN110197184A (zh) * 2019-04-19 2019-09-03 哈尔滨工业大学 一种基于傅里叶变换的快速图像sift提取方法
CN110210511A (zh) * 2019-04-19 2019-09-06 哈尔滨工业大学 一种基于余弦测度的改进pca-sift图像配准方法
CN110097496A (zh) * 2019-04-28 2019-08-06 燕山大学 基于局部稳定区域的鱼眼图像匹配方法
CN111310817A (zh) * 2020-02-10 2020-06-19 深圳大学 谱聚类方法、装置、系统、计算机设备和存储介质

Also Published As

Publication number Publication date
CN112149728A (zh) 2020-12-29

Similar Documents

Publication Publication Date Title
CN104599258B (zh) 一种基于各向异性特征描述符的图像拼接方法
CN104200461B (zh) 基于互信息图像选块和sift特征的遥感图像配准方法
CN111462198B (zh) 一种尺度、旋转和辐射不变性的多模态影像配准方法
CN107066961B (zh) 指纹配准方法及装置
CN112149728B (zh) 一种快速的多模态图像模板匹配方法
CN105631872B (zh) 基于多特征点的遥感图像配准方法
CN104200463A (zh) 基于傅立叶梅林变换和最大互信息理论的图像配准方法
CN109509164A (zh) 一种基于gdgf的多传感器图像融合方法及系统
CN101655982A (zh) 基于改进Harris角点的图像配准方法
CN110223331B (zh) 一种大脑mr医学图像配准方法
CN103308000B (zh) 基于双目视觉的曲线物体测量方法
CN107154017A (zh) 一种基于sift特征点匹配的图像拼接方法
Shu et al. An unsupervised network for fast microscopic image registration
CN108564607A (zh) 三维脑图谱数据集空间校准方法及系统
CN104732230A (zh) 一种基于细胞核统计信息的病理图像局部特征提取方法
CN105678720A (zh) 一种全景拼接判断图像匹配方法及装置
Chen et al. Image stitching algorithm research based on OpenCV
CN115588033A (zh) 基于结构提取的合成孔径雷达与光学图像配准系统及方法
CN104966283A (zh) 图像分层配准方法
CN108447084B (zh) 基于orb特征的立体匹配补偿方法
CN104820992B (zh) 一种基于超图模型的遥感图像语义相似性度量方法及装置
CN116740583A (zh) 一种高精度的多模态遥感影像自动匹配方法和系统
Wu et al. Point-matching algorithm based on local neighborhood information for remote sensing image registration
CN115423851A (zh) 一种基于os-sift的可见光-sar图像配准算法
CN114022521B (zh) 一种非刚性多模医学图像的配准方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant