CN108764249B - 一种旋转不变多源影像局部特征描述方法、系统和装置 - Google Patents

一种旋转不变多源影像局部特征描述方法、系统和装置 Download PDF

Info

Publication number
CN108764249B
CN108764249B CN201810367087.4A CN201810367087A CN108764249B CN 108764249 B CN108764249 B CN 108764249B CN 201810367087 A CN201810367087 A CN 201810367087A CN 108764249 B CN108764249 B CN 108764249B
Authority
CN
China
Prior art keywords
formula
point
determining
value
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810367087.4A
Other languages
English (en)
Other versions
CN108764249A (zh
Inventor
付志涛
蒋作
高明虎
郭晓可
于志强
梁志茂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yunnan Minzu University
Original Assignee
Yunnan Minzu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yunnan Minzu University filed Critical Yunnan Minzu University
Priority to CN201810367087.4A priority Critical patent/CN108764249B/zh
Publication of CN108764249A publication Critical patent/CN108764249A/zh
Application granted granted Critical
Publication of CN108764249B publication Critical patent/CN108764249B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种旋转不变多源影像局部特征描述方法、系统和装置。该方法基于多尺度多方向的log Gabor滤波器构建旋转不变多源影像局部特征匹配的描述符，该描述符不仅能适应非线性亮度变化引起的多源影像间的差异，而且对噪声有一定的抑制作用，同时还能适应影像间的几何变化，例如平移与旋转等变化，从而保证描述符具有更强的鲁棒性，使该描述符对支持旋转不变性的局部特征描述方法更为准确与高效。

Description

一种旋转不变多源影像局部特征描述方法、系统和装置
技术领域
本发明涉及图像处理技术领域，具体涉及一种旋转不变多源影像局部特征描述方法、系统和装置。
背景技术
随着计算机技术和传感器技术的不断进步，对同一场景可以使用多种类型的传感器获取影像信息，我们称这类影像为多源影像。为了充分利用多源影像信息，需要通过配准和融合将多源影像校正到统一的坐标系下，而影像匹配又是配准的关键步骤，直接影响配准和融合的质量。由于各种传感器的工作原理、成像特性等存在差异，导致同一场景在多源影像中可能存在不同程度的辐射差异和几何变化，给影像匹配带来极大挑战。
现有的多源影像匹配方法大致分为两类：基于区域的方法和基于特征的匹配方法。基于区域的匹配方法，包括互相关、互信息和HOPC等，可以获得较高的匹配精度，但该方法只对平移变换有效，对平移变换之外的几何变换匹配效果不佳。为了适应影像的不连续、阴影和遮挡等问题，一般需要使用较大的模板来保证匹配的精度，同时匹配的时间消耗也较大。基于特征的匹配方法，除了特征点检测外，还需要进行局部特征描述和相似性测度实现特征点之间的匹配，主要通过构建局部不变特征描述符来进行匹配，大多数的特征提取算法都是基于影像梯度信息进行特征描述，如SIFT、SURF、HOG和ORB等描述符，但这些描述符对影像之间的非线性亮度差异变化较为敏感，存在一定的局限性。而利用边缘特征(EOH)、轮廓特征(Shape Context)、结构信息(LSS)进行局部特征描述时，虽然在一定程度上解决了非线性亮度问题，但受噪声影响较大，通常只适用于图像之间差异较小的情况，且不具备旋转不变性。
现有的支持旋转不变性的局部特征描述方法中，SIFT、SURF等主要通过计算主梯度方向来获取主方向，并根据主方向来实现旋转不变性，但不适合具有非线性亮度差异的多源影像，且该方法存在一定的角度误差。PIIFD通过梯度反转获取主方向，但该方法依然存在角度误差，导致匹配精度下降。而LIOP在计算过程中不需要主方向，而是通过灰度值排序，进行group分组获取空间结构信息，实现旋转不变性描述，但该方法仅适用于具有线性亮度变化的灰度图像，不适合具有非线性亮度变化的图像，且该方法对噪声较为敏感。
发明内容
针对现有技术的不足，本发明提供一种旋转不变多源影像局部特征描述方法、系统和装置。
第一方面，本发明提供了一种旋转不变多源影像局部特征描述方法，该方法包括：
步骤1，在图像上确定圆形检测区域；
步骤2，利用log Gabor滤波器对所述圆形检测区域进行卷积，获得多尺度多方向的奇对称小波响应，并根据所述奇对称小波响应确定每个方向下的所有尺度响应之和；
步骤3，利用所述圆形检测区域内每个点的每个方向下的所述所有尺度响应之和确定每个点的结构张量矩阵，通过奇异值分解所述结构张量矩阵获得特征值和主特征向量，并利用所述特征值和所述主特征向量获得一致性值和方向值；
步骤4，利用所述一致性值和所述方向值进行共线一致性增强，获得所述圆形检测区域的共线一致性增强特征图；
步骤5，采用对数极坐标变换将所述共线一致性增强特征图划分为多个由多条径向射线和多个同轴圆分割得到的子区域，获得每个所述子区域的特征图的统计直方图，对每个所述统计直方图进行一维离散傅里叶变换并对响应幅值归一化，获得子特征向量；
步骤6，依照逆时针顺序，将所有所述子区域对应的所述子特征向量连接在一起，获得具有旋转不变性的作为所述圆形检测区域的特征描述符的特征向量。
第二方面，本发明提供了一种旋转不变多源影像局部特征描述系统，该系统包括：
获取模块，用于在图像上确定圆形检测区域；
第一处理模块，用于利用log Gabor滤波器对所述圆形检测区域进行卷积，获得多尺度多方向的奇对称小波响应，并根据所述奇对称小波响应确定每个方向下的所有尺度响应之和；
第二处理模块，用于利用所述圆形检测区域内每个点的每个方向下的所述所有尺度响应之和确定每个点的结构张量矩阵，通过奇异值分解所述结构张量矩阵获得特征值和主特征向量，并利用所述特征值和所述主特征向量获得一致性值和方向值；
第三处理模块，用于利用所述一致性值和所述方向值进行共线一致性增强，获得所述圆形检测区域的共线一致性增强特征图；
第四处理模块，用于采用对数极坐标变换将所述共线一致性增强特征图划分为多个由多条径向射线和多个同轴圆分割得到的子区域，获得每个所述子区域的特征图的统计直方图，对每个所述统计直方图进行一维离散傅里叶变换并对响应幅值归一化，获得子特征向量；
第五处理模块，用于依照逆时针顺序，将所有所述子区域对应的所述子特征向量连接在一起，获得具有旋转不变性的作为所述圆形检测区域的特征描述符的特征向量。
第三方面，本发明提供了一种旋转不变多源影像局部特征描述装置，包括存储器和处理器，
所述存储器，用于存储计算机程序；
所述处理器，用于当读取所述存储器存储的所述计算机程序时，执行上述的旋转不变多源影像局部特征描述方法。
第四方面，本发明还提供了一种计算机可读存储介质，用于存储计算机程序，当所述计算机程序被处理器执行时，实现如上述的旋转不变多源影像局部特征描述方法。
本发明提供的旋转不变多源影像局部特征描述方法、系统和装置的有益效果是，基于多尺度多方向的log Gabor滤波器构建旋转不变多源影像局部特征匹配的描述符，该描述符不仅能适应非线性亮度变化引起的多源影像间的差异，而且对噪声有一定的抑制作用，同时还能适应影像间的几何变化，例如平移与旋转等变化，从而保证描述符具有更强的鲁棒性，使该描述符对支持旋转不变性的局部特征描述方法更为准确与高效。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的一种旋转不变多源影像局部特征描述方法的流程示意图；
图2为本发明实施例的log Gabor在频域下8个方向的滤波器示意图；
图3为本发明实施例的log Gabor在空域下的奇对称小波示意图；
图4为本发明实施例的一致性值和方向值示意图；
图5为本发明实施例的共线一致性增强的角度划分示意图；
图6为本发明实施例的一组可见光与红外图像的同名区域和对应的共线一致性增强特征图；
图7为本发明实施例的对数极坐标变换的子空间划分图；
图8为本发明实施例的一种旋转不变多源影像局部特征描述系统的结构框图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
如图1所示，本发明实施例的一种旋转不变多源影像局部特征描述方法包括：
步骤1，在图像上确定圆形检测区域。
步骤2，利用多尺度多方向的log Gabor滤波器对所述圆形检测区域进行卷积，获得多尺度多方向的奇对称小波响应，并根据所述奇对称小波响应确定每个方向下的所有尺度响应之和。
步骤3，利用所述圆形检测区域内每个点的每个方向下的所述所有尺度响应之和确定每个点的结构张量矩阵，通过奇异值分解所述结构张量矩阵获得特征值和主特征向量，并利用所述特征值和所述主特征向量获得一致性值和方向值。
步骤4，利用所述一致性值和所述方向值进行共线一致性增强，获得所述圆形检测区域的共线一致性增强特征图。
步骤5，采用对数极坐标变换将所述共线一致性增强特征图划分为多个由多条径向射线和多个同轴圆分割得到的子区域，获得每个所述子区域的特征图的统计直方图，对每个所述统计直方图进行一维离散傅里叶变换并对响应幅值归一化，获得子特征向量。
步骤6，依照逆时针顺序，将所有所述子区域对应的所述子特征向量连接在一起，获得具有旋转不变性的作为所述圆形检测区域的特征描述符的特征向量。
在本实施例中，基于多尺度多方向的log Gabor滤波器建立与旋转不变多源影像局部特征匹配的描述符，该描述符不仅能适应非线性亮度变化引起的多源影像间的差异，而且对噪声有一定的抑制作用，同时还能适应影像间的几何变化，例如平移与旋转等变化，从而保证描述符具有更强的鲁棒性，使通过描述符对支持旋转不变性的局部特征描述方法更为准确与高效。
优选地，所述步骤1的具体实现为：获取所述图像上的特征点，其中，所述特征点的邻域为正方形区域，以所述正方形区域的中心为圆心，以所述正方形区域的边长的一半为半径，确定所述圆形检测区域。
由于设置为了圆形检测区域，可以保证旋转不变性。本实施例中，令圆形区域的半径长度为32。
所述log Gabor滤波器在线性频域尺度下的定义为：
Figure BDA0001637472010000061
其中，G(ω)为ω的径向分量，ω为频率自变量，ωo为滤波器的中心频率，k为随ωo变化的变量。为了使滤波器的形状保持恒定，对于不同中心频域ωo，参数k/ωo保持不变。当k/ωo为0.55时，滤波器的带宽约为2倍频。
在二维空间中，具有方向性的log Gabor滤波器分为径向分量和角度分量，径向分量类似于线性的log Gabor滤波器，即为一组带宽和中心频域逐步增大的滤波器组。角度分量则决定滤波器的方向信息，表达式为：
Figure BDA0001637472010000071
其中，G(θ)为θ的角度分量，θ为角度自变量，θo为滤波器的中心方向，σθ为角度方向上高斯函数的标准差。
如图2所示，在本实施例中，log Gabor在线性频域下采用8个方向的滤波器，考虑到log Gabor滤波器的对称性，每个方向的角度间距为π/8。log Gabor在频域下的滤波函数为：
Figure BDA0001637472010000072
其中，LG(ω，θ)表示频率为ω，角度为θ的滤波器。
优选地，所述步骤2具体包括：
步骤2.1，根据第一公式确定所述奇对称小波响应。
所述第一公式为：
Figure BDA0001637472010000073
其中，I(x，y)为二维图像输入信号，
Figure BDA0001637472010000074
和
Figure BDA0001637472010000075
分别表示尺度编号为n，方向编号为c的奇对称(正弦)小波和偶对称(余弦)小波，dnc(x，y)为奇对称小波响应，enc(x，y)为偶对称小波响应。
考虑到log Gabor函数在空域，也就是空间域中没有具体的解析式，对其进行傅里叶逆变换可以得到对应的偶对称滤波器和奇对称滤波器。
如图3所示，为log Gabor空域下的奇对称滤波器，即奇对称小波。相对于偶对称小波，log Gabor奇对称小波卷积结果能反映方向上的能量变化，对图像中对应方向的边缘有较强的响应。本实施例采用多尺度多方向上的奇对称小波响应表示所有尺度响应。
步骤2.2，根据第二公式确定方向编号为c的方向下的所述所有尺度响应之和。
所述第二公式为：
Figure BDA0001637472010000076
其中，SAc为所有尺度响应之和，S为log Gabor滤波器的尺度数量，n为尺度编号。
在设计log Gabor滤波器参数时，令对应的k/ωo的大小为0.55，滤波器的方向数量R为8，尺度数量S为3。
优选地，考虑到利用结构张量矩阵得到的一致性值和方向值不仅具有抗噪性，而且得到的方向具有各向同性，所述步骤3具体包括：
步骤3.1，顺次选定所述圆形检测区域内任意一点q，根据第三公式确定点q的所述结构张量矩阵。
所述第三公式为：
Figure BDA0001637472010000081
其中
Figure BDA0001637472010000082
Figure BDA0001637472010000083
Figure BDA0001637472010000084
其中，R为log Gabor滤波器的方向数量，c为方向编号，θc为方向编号为c的方向下的角度值。
Figure BDA0001637472010000085
表示方向编号c的取值从1到R的所有方向求和，a，b，t共同构成结构张量矩阵S(q)。
步骤3.2，所述特征值包括λ1和λ2，根据第四公式确定λ1，根据第五公式确定λ2，根据第六公式确定主特征向量v1。
所述第四公式为：
Figure BDA0001637472010000086
所述第五公式为：
Figure BDA0001637472010000087
所述第六公式为：
Figure BDA0001637472010000088
步骤3.3，根据第七公式确定点q的一致性值cvalue，根据第八公式确定点q的方向值theta，
所述第七公式为：cvalue＝λ1-λ2。
所述第八公式为：theta＝atan2(2b，a-t)。
如图4所示，为本实施例中某一圆形检测区域通过计算log Gabor多尺度多方向的奇对称小波响应和结构张量矩阵，使用奇异值分解该矩阵计算得到的一致性值和方向值。
通过共线一致性增强策略，不仅可以强化反映几何结构信息的多源影像共性特征，而且可以抑制反映多源影像差异的纹理细节信息。
优选地，所述步骤4具体包括：
步骤4.1，将点q对应的方向值归一化到[0，π)，具体操作为：L(q)＝mod(theta+π，π)，mod表示取模运算。并将归一化后点q的值L(q对应的[0，π)分成N等份，在本实施例中，取N＝4，标记为L(q)∈[1，2，3，4]。
如图5所示，为将[0，π)进行4等分划分的示意图。
步骤4.2，根据第九公式确定点q在方向i上的任意圆形区域内的共线一致性值之和fi(q)。
所述第九公式为：fi(q)＝∑q′∈N(q)|cos(L(q)-L(q′))|σ(L(q′)＝＝i)cvalue(q′)，
其中，N(q)为以点q为中心，半径为2的圆形区域。
q′为q的邻域，cvalue(q′)为q′的一致性值，L(q′)为归一化后q′的值，当L(q′)＝＝i时，σ(L(q′)＝＝i)＝1，否则，σ(L(q′)＝＝i)＝0。
步骤4.3，根据第十公式，通过比较4个方向的共线一致性值之和确定点q的特征值。
所述第十公式为：
Figure BDA0001637472010000091
也就是
Figure BDA0001637472010000092
其中，T为约束阈值，由圆形检测区域的一致性值的统计直方图确定，max{f(q)}表示取所有方向的fi(q)的最大值，arg maxi{fi(q)}表示取最大值时对应的方向编号，F(q)∈[1，2，3，4，5]，else表示否则。
如图6所示，为可见光与红外图像的同一圆形检测区域对应的共线一致性增强特征图，由图可见，虽然两幅图的灰度值差异较大，但对应的共性特征图的几何结构却非常清晰且极为相似。
需要注意的是，共线一致性增强特征图由图像上特征点的特征值表示的。
优选地，所述步骤5具体包括：
步骤5.1，确定以点q为中心的圆形区域为
Figure BDA0001637472010000101
根据第十一公式，对
Figure BDA0001637472010000102
以点q为中心进行对数极坐标变换确定每个子区域的特征图
Figure BDA0001637472010000103
所述第十一公式为：
Figure BDA0001637472010000104
Figure BDA0001637472010000105
其中，
Figure BDA0001637472010000106
为角度，且
Figure BDA0001637472010000107
的编号为
Figure BDA0001637472010000108
μ为径向半径，μ的取值为{1，...，Nμ}，
Figure BDA0001637472010000109
为圆形区域
Figure BDA00016374720100001010
内q的邻域，
Figure BDA00016374720100001011
表示
Figure BDA00016374720100001012
的编号的最大值，Nμ表示μ的最大值。
Figure BDA00016374720100001013
和∠分别为不小于符号内数值的最小整数和角度运算符。
在本实施例中，取
Figure BDA00016374720100001014
的编号为{1，...，12}，μ的取值为{3，...，5}。
考虑到在构建特征向量时，需要对每个子区域的统计特征图，就需要每个子区域内有足够的像素点，因此在径向划分时，在本实施例中，将对数变换后对应的径向半径为1和2的区域合并在一起，且不进行角度划分，对应图7所示的对数极坐标变换的子空间划分方式图中编号0所在的区域。而半径为3至5的环形区域，保留原有的划分方式，对应图7所示的编号1，2，3，…，36。径向和环形子区域是由多条径向射线和多个同轴圆分割圆形区域得到的，也就是图7中各扇形的子区域。
步骤5.2，根据第十二公式对每个子区域内的特征图进行统计直方图。
所述第十二公式为：
Figure BDA00016374720100001015
其中，Mq(s)为统计直方图对应的特征向量，
Figure BDA00016374720100001016
Figure BDA00016374720100001017
表示按照角度方向索引。hist表示统计直方图运算。
在本实施例中，s∈{0，1，...，36}，且如图7所示的径向逆时针方向编号索引。
步骤5.3，在对数极坐标域中的循环平移对应频域下的相位改变，而在对数极坐标系下的旋转变化不会引起频域下幅值的改变，基于此，根据第十三公式确定通过一维离散傅里叶变换的Mq(s)的响应。
所述第十三公式为：
Figure BDA0001637472010000111
Figure BDA0001637472010000112
也就是
Figure BDA0001637472010000113
其中，ψq(s(u))表示响应，Mq(s(k))表示Mq(s)内的统计特征值。j为虚数单位，k＝0,1,…,N-1。
步骤5.4，根据第十四公式对响应的幅值进行归一化并确定子特征向量，可进一步消除因亮度或部分形变引起的差异。
所述第十四公式为：
Figure BDA0001637472010000114
其中，Dq(s(u))表示子特征向量，
Figure BDA0001637472010000115
表示共轭操作符，
Figure BDA0001637472010000116
表示计算所有子区域内的所有统计特征值的幅值之和。
优选地，所述步骤6的具体实现为：将每个子区域内的Dq(s(u))连接在一起，得到所述子区域的特征向量组合Dq(s)，依照径向逆时针索引方向，将每个所述子区域的Dq(s)连接，获得作为所述圆形检测区域的特征描述符的特征向量DSq，其中，DSq＝[Dq(0)，Dq(1)，...，Dq(NQ)]，也就是DSq＝[Dq(0)，Dq(1)，...，Dq(36)]。
如图8所示，本发明实施例的一种旋转不变多源影像局部特征描述系统包括：
获取模块，用于在图像上确定圆形检测区域。
第一处理模块，用于利用log Gabor滤波器对所述圆形检测区域进行卷积，获得多尺度多方向的奇对称小波响应，并根据所述奇对称小波响应确定每个方向下的所有尺度响应之和。
第二处理模块，用于利用所述圆形检测区域内每个点的每个方向下的所述所有尺度响应之和确定每个点的结构张量矩阵，通过奇异值分解所述结构张量矩阵获得特征值和主特征向量，并利用所述特征值和所述主特征向量获得一致性值和方向值。
第三处理模块，用于利用所述一致性值和所述方向值进行共线一致性增强，获得所述圆形检测区域的共线一致性增强特征图。
第四处理模块，用于采用对数极坐标变换将所述共线一致性增强特征图划分为多个由多条径向射线和多个同轴圆分割得到的子区域，获得每个所述子区域的特征图的统计直方图，对每个所述统计直方图进行一维离散傅里叶变换并对响应幅值归一化，获得子特征向量。
第五处理模块，用于依照逆时针顺序，将所有所述子区域对应的所述子特征向量连接在一起，获得具有旋转不变性的作为所述圆形检测区域的特征描述符的特征向量。
本发明实施例的一种旋转不变多源影像局部特征描述装置包括存储器和处理器。所述存储器，用于存储计算机程序；所述处理器，用于当读取所述存储器存储的所述计算机程序时，执行上述的旋转不变多源影像局部特征描述方法。
本发明实施例的一种计算机可读存储介质，用于存储计算机程序，当所述计算机程序被处理器执行时，实现如上述的旋转不变多源影像局部特征描述方法。
在本发明实施例提供的旋转不变多源影像局部特征描述方法和系统中。
(1)log Gabor空域下多尺度多方向的奇对称小波响应能够反映边缘强度变化，利于捕捉多源影像的几何结构信息，采用奇异值分解结构张量矩阵得到的一致性值和方向不仅具有旋转不变性，而且相对于梯度值和梯度方向，具有更好的抗噪性。
(2)利用共线一致性增强策略得到的共线一致性增强特征图不仅增强了几何结构信息，而且抑制了弱纹理信息，对于具有非线性亮度变化的多源影像，该特征图反映了它们的共性信息。
(3)利用log Polar对数极坐标变换进行分割并按照角度索引方向对每个子区域的统计直方图进行一维离散傅里叶变换并对幅值归一化，使得到的局部特征具有良好的区分能力和抗旋转能力，从而使描述符具有更好的鲁棒性。
读者应理解，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (8)

1.一种旋转不变多源影像局部特征描述方法，其特征在于，所述方法包括：
步骤1，在图像上确定圆形检测区域；
步骤2，利用log Gabor滤波器对所述圆形检测区域进行卷积，获得多尺度多方向的奇对称小波响应，并根据所述奇对称小波响应确定每个方向下的所有尺度响应之和；
步骤3，利用所述圆形检测区域内每个点的每个方向下的所述所有尺度响应之和确定每个点的结构张量矩阵，通过奇异值分解所述结构张量矩阵获得特征值和主特征向量，并利用所述特征值和所述主特征向量获得一致性值和方向值；
步骤4，利用所述一致性值和所述方向值进行共线一致性增强，获得所述圆形检测区域的共线一致性增强特征图；
步骤5，采用对数极坐标变换将所述共线一致性增强特征图划分为多个由多条径向射线和多个同轴圆分割得到的子区域，获得每个所述子区域的特征图的统计直方图，对每个所述统计直方图进行一维离散傅里叶变换并对响应幅值归一化，获得子特征向量；
步骤6，依照逆时针顺序，将所有所述子区域对应的所述子特征向量连接在一起，获得具有旋转不变性的作为所述圆形检测区域的特征描述符的特征向量；
所述步骤3具体包括：
步骤3.1，顺次选定所述圆形检测区域内任意一点q，根据第三公式确定点q的所述结构张量矩阵，
所述第三公式为：
Figure FDA0003087251040000011
其中
Figure FDA0003087251040000021
Figure FDA0003087251040000022
Figure FDA0003087251040000023
其中，R为log Gabor滤波器的方向数量，c为方向编号，θc为方向编号为c的方向下的角度值，SAc为方向编号为c的方向下的所述所有尺度响应之和；
步骤3.2，所述特征值包括λ1和λ2，根据第四公式确定λ1，根据第五公式确定λ2，根据第六公式确定主特征向量v1，
所述第四公式为：
Figure FDA0003087251040000024
所述第五公式为：
Figure FDA0003087251040000025
所述第六公式为：
Figure FDA0003087251040000026
步骤3.3，根据第七公式确定点q的一致性值cvalue，根据第八公式确定点q的方向值theta，
所述第七公式为：cvalue＝λ1-λ2，
所述第八公式为：theta＝atan2(2b,a-t)；
所述步骤4具体包括：
步骤4.1，将点q对应的方向值归一化到[0,π)，并将归一化后点q的值L(q)对应的[0,π)分成N等份，标记为L(q)∈[1,2,3,…,N]；
步骤4.2，根据第九公式确定点q在方向i上的任意圆形区域内的共线一致性值之和fi(q)，
所述第九公式为：fi(q)＝∑q'∈N(q)|cos(L(q)-L(q'))|σ(L(q')＝＝i)cvalue(q')，
其中，N(q)为以点q为中心的圆形区域，q'为q的邻域，cvalue(q')为q'的一致性值，L(q')为归一化后q'的值，当L(q')＝＝i时，σ(L(q')＝＝i)＝1，否则，σ(L(q')＝＝i)＝0；
步骤4.3，根据第十公式，通过比较N个方向的共线一致性值之和确定点q的特征值，
所述第十公式为：
Figure FDA0003087251040000031
其中，T为约束阈值，max{f(q)}表示取所有方向的fi(q)的最大值，
Figure FDA0003087251040000032
表示取最大值时对应的方向编号，F(q)∈[1,2,3,…,N,N+1]。
2.根据权利要求1所述的旋转不变多源影像局部特征描述方法，其特征在于，所述步骤1的具体实现为：获取所述图像上的特征点，其中，所述特征点的邻域为正方形区域，以所述正方形区域的中心为圆心，以所述正方形区域的边长的一半为半径，确定所述圆形检测区域。
3.根据权利要求2所述的旋转不变多源影像局部特征描述方法，其特征在于，所述步骤2具体包括：
步骤2.1，根据第一公式确定所述奇对称小波响应，
所述第一公式为：
Figure FDA0003087251040000033
其中，I(x,y)为二维图像输入信号，
Figure FDA0003087251040000034
和
Figure FDA0003087251040000035
分别表示尺度编号为n，方向编号为c的奇对称小波和偶对称小波，dnc(x,y)为奇对称小波响应，enc(x,y)为偶对称小波响应；
步骤2.2，根据第二公式确定方向编号为c的方向下的所述所有尺度响应之和，
所述第二公式为：
Figure FDA0003087251040000036
其中，SAc为所有尺度响应之和，S为log Gabor滤波器的尺度数量，n为尺度编号。
4.根据权利要求1所述的旋转不变多源影像局部特征描述方法，其特征在于，所述步骤5具体包括：
步骤5.1，确定以点q为中心的圆形区域为
Figure FDA0003087251040000041
根据第十一公式，对
Figure FDA0003087251040000042
以点q为中心进行对数极坐标变换确定每个子区域的特征图
Figure FDA0003087251040000043
所述第十一公式为：
Figure FDA0003087251040000044
Figure FDA0003087251040000045
其中，
Figure FDA0003087251040000046
为角度，且
Figure FDA0003087251040000047
的编号为
Figure FDA0003087251040000048
μ为径向半径，μ的取值为{1,…,Nμ}，
Figure FDA0003087251040000049
为圆形区域
Figure FDA00030872510400000410
内q的邻域，
Figure FDA00030872510400000411
表示
Figure FDA00030872510400000412
的编号的最大值，Nμ表示μ的最大值；
步骤5.2，根据第十二公式对每个子区域内的特征图进行统计直方图，
所述第十二公式为：
Figure FDA00030872510400000413
其中，Mq(s)为统计直方图对应的特征向量，
Figure FDA00030872510400000414
Figure FDA00030872510400000415
表示按照角度方向索引；
步骤5.3，根据第十三公式确定通过一维离散傅里叶变换的Mq(s)的响应，
所述第十三公式为：
Figure FDA00030872510400000416
Figure FDA00030872510400000417
其中，ψq(s(u))表示响应，Mq(s(k))表示Mq(s)内的统计特征值；
步骤5.4，根据第十四公式对响应的幅值进行归一化并确定子特征向量，
所述第十四公式为：
Figure FDA00030872510400000418
其中，Dq(s(u))表示子特征向量，
Figure FDA00030872510400000420
表示共轭操作符，
Figure FDA00030872510400000419
表示计算所有子区域内的所有统计特征值的幅值之和。
5.根据权利要求4所述的旋转不变多源影像局部特征描述方法，其特征在于，所述步骤6的具体实现为：将每个子区域内的Dq(s(u))连接在一起，得到所述子区域的特征向量组合Dq(s)，依照径向逆时针索引方向，将每个所述子区域的Dq(s)连接，获得作为所述圆形检测区域的特征描述符的特征向量DSq，其中，DSq＝[Dq(0),Dq(1),…,Dq(NQ)]。
6.一种旋转不变多源影像局部特征描述系统，其特征在于，所述系统包括：
获取模块，用于在图像上确定圆形检测区域；
第一处理模块，用于利用log Gabor滤波器对所述圆形检测区域进行卷积，获得多尺度多方向的奇对称小波响应，并根据所述奇对称小波响应确定每个方向下的所有尺度响应之和；
第二处理模块，用于利用所述圆形检测区域内每个点的每个方向下的所述所有尺度响应之和确定每个点的结构张量矩阵，通过奇异值分解所述结构张量矩阵获得特征值和主特征向量，并利用所述特征值和所述主特征向量获得一致性值和方向值；
第三处理模块，用于利用所述一致性值和所述方向值进行共线一致性增强，获得所述圆形检测区域的共线一致性增强特征图；
第四处理模块，用于采用对数极坐标变换将所述共线一致性增强特征图划分为多个由多条径向射线和多个同轴圆分割得到的子区域，获得每个所述子区域的特征图的统计直方图，对每个所述统计直方图进行一维离散傅里叶变换并对响应幅值归一化，获得子特征向量；
第五处理模块，用于依照逆时针顺序，将所有所述子区域对应的所述子特征向量连接在一起，获得具有旋转不变性的作为所述圆形检测区域的特征描述符的特征向量；
所述第二处理模块，具体用于顺次选定所述圆形检测区域内任意一点q，根据第三公式确定点q的所述结构张量矩阵，
所述第三公式为：
Figure FDA0003087251040000051
其中
Figure FDA0003087251040000052
Figure FDA0003087251040000053
Figure FDA0003087251040000061
其中，R为log Gabor滤波器的方向数量，c为方向编号，θc为方向编号为c的方向下的角度值，SAc为方向编号为c的方向下的所述所有尺度响应之和；
所述特征值包括λ1和λ2，根据第四公式确定λ1，根据第五公式确定λ2，根据第六公式确定主特征向量v1，
所述第四公式为：
Figure FDA0003087251040000062
所述第五公式为：
Figure FDA0003087251040000063
所述第六公式为：
Figure FDA0003087251040000064
根据第七公式确定点q的一致性值cvalue，根据第八公式确定点q的方向值theta，
所述第七公式为：cvalue＝λ1-λ2，
所述第八公式为：theta＝atan2(2b,a-t)；
所述第四处理模块，具体用于将点q对应的方向值归一化到[0,π)，并将归一化后点q的值L(q)对应的[0,π)分成N等份，标记为L(q)∈[1,2,3,…,N]；
根据第九公式确定点q在方向i上的任意圆形区域内的共线一致性值之和fi(q)，
所述第九公式为：fi(q)＝∑q'∈N(q)|cos(L(q)-L(q'))|σ(L(q')＝＝i)cvalue(q')，
其中，N(q)为以点q为中心的圆形区域，q'为q的邻域，cvalue(q')为q'的一致性值，L(q')为归一化后q'的值，当L(q')＝＝i时，σ(L(q')＝＝i)＝1，否则，σ(L(q')＝＝i)＝0；
根据第十公式，通过比较N个方向的共线一致性值之和确定点q的特征值，
所述第十公式为：
Figure FDA0003087251040000071
其中，T为约束阈值，max{f(q)}表示取所有方向的fi(q)的最大值，
Figure FDA0003087251040000072
表示取最大值时对应的方向编号，F(q)∈[1,2,3,…,N,N+1]。
7.一种旋转不变多源影像局部特征描述装置，其特征在于，包括存储器和处理器，
所述存储器，用于存储计算机程序；
所述处理器，用于当读取所述存储器存储的所述计算机程序时，执行如权利要求1至5任一项所述的旋转不变多源影像局部特征描述方法。
8.一种计算机可读存储介质，其特征在于，用于存储计算机程序，当所述计算机程序被处理器执行时，实现如权利要求1至5任一项所述的旋转不变多源影像局部特征描述方法。
CN201810367087.4A 2018-04-23 2018-04-23 一种旋转不变多源影像局部特征描述方法、系统和装置 Active CN108764249B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810367087.4A CN108764249B (zh) 2018-04-23 2018-04-23 一种旋转不变多源影像局部特征描述方法、系统和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810367087.4A CN108764249B (zh) 2018-04-23 2018-04-23 一种旋转不变多源影像局部特征描述方法、系统和装置

Publications (2)

Publication Number Publication Date
CN108764249A CN108764249A (zh) 2018-11-06
CN108764249B true CN108764249B (zh) 2021-07-09

Family

ID=64011403

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810367087.4A Active CN108764249B (zh) 2018-04-23 2018-04-23 一种旋转不变多源影像局部特征描述方法、系统和装置

Country Status (1)

Country Link
CN (1) CN108764249B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110084834B (zh) * 2019-04-28 2021-04-06 东华大学 一种基于快速张量奇异值分解特征降维的目标跟踪方法
CN111161187A (zh) * 2019-12-30 2020-05-15 湖南云顶智能科技有限公司 一种改进的局部自相关描述方法及其自相关描述符
CN111950566A (zh) * 2020-08-04 2020-11-17 国网安徽省电力有限公司电力科学研究院 一种旋转不变的hog红外图像电力设备识别方法
CN112801865B (zh) * 2021-03-22 2021-08-06 深圳棱镜空间智能科技有限公司 旋转不变的模板图像生成方法、装置、设备及存储介质
CN113191202B (zh) * 2021-04-07 2022-07-12 烟台艾睿光电科技有限公司 一种图像处理方法、装置及电子设备
CN113177442B (zh) * 2021-04-12 2024-01-30 广东省科学院智能制造研究所 一种基于边缘计算的人体行为检测方法及装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101169868A (zh) * 2006-10-25 2008-04-30 爱克发医疗保健公司 用于分割数字医学图像的方法
CN101847163A (zh) * 2010-05-28 2010-09-29 广东工业大学 一种多特征融合的外观设计专利图像检索方法
CN103593675A (zh) * 2013-11-25 2014-02-19 中国人民解放军国防科学技术大学 一种基于对数极坐标变换的静脉匹配方法
CN103646239A (zh) * 2013-12-25 2014-03-19 武汉大学 基于极坐标傅里叶变换的旋转不变性图像特征提取方法
CN105261014A (zh) * 2015-09-30 2016-01-20 西南交通大学 一种多传感器遥感影像匹配方法
CN105719263A (zh) * 2016-01-22 2016-06-29 昆明理工大学 基于nsct域底层视觉特征的可见光和红外图像融合算法
CN106250919A (zh) * 2016-07-25 2016-12-21 河海大学 基于空间金字塔模型的多特征组合表达的场景图像分类方法
CN106485253A (zh) * 2016-09-14 2017-03-08 同济大学 一种最大粒度结构描述符的行人再辨识方法
CN106530338A (zh) * 2016-10-31 2017-03-22 武汉纺织大学 生物组织非线性形变前后mr影像特征点匹配方法及系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101169868A (zh) * 2006-10-25 2008-04-30 爱克发医疗保健公司 用于分割数字医学图像的方法
CN101847163A (zh) * 2010-05-28 2010-09-29 广东工业大学 一种多特征融合的外观设计专利图像检索方法
CN103593675A (zh) * 2013-11-25 2014-02-19 中国人民解放军国防科学技术大学 一种基于对数极坐标变换的静脉匹配方法
CN103646239A (zh) * 2013-12-25 2014-03-19 武汉大学 基于极坐标傅里叶变换的旋转不变性图像特征提取方法
CN105261014A (zh) * 2015-09-30 2016-01-20 西南交通大学 一种多传感器遥感影像匹配方法
CN105719263A (zh) * 2016-01-22 2016-06-29 昆明理工大学 基于nsct域底层视觉特征的可见光和红外图像融合算法
CN106250919A (zh) * 2016-07-25 2016-12-21 河海大学 基于空间金字塔模型的多特征组合表达的场景图像分类方法
CN106485253A (zh) * 2016-09-14 2017-03-08 同济大学 一种最大粒度结构描述符的行人再辨识方法
CN106530338A (zh) * 2016-10-31 2017-03-22 武汉纺织大学 生物组织非线性形变前后mr影像特征点匹配方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A Local Feature Descriptor Based on Log-Gabor Filters for Keypoint Matching in Multispectral Images;Crisitiano F.G.Nunes等;《 IEEE GEOSCIENCE AND REMOTE SENSING LETTERS》;20171231;第14卷(第10期);全文 *
一种Log Gabor滤波结合特征融合的虹膜方法;王风华 等;《西安交通大学学报》;20070831;第41卷(第8期);全文 *
面向震害信息提取的多源遥感图像自动配准;杨德贺 等;《国土资源遥感》;20131231;全文 *

Also Published As

Publication number Publication date
CN108764249A (zh) 2018-11-06

Similar Documents

Publication Publication Date Title
CN108764249B (zh) 一种旋转不变多源影像局部特征描述方法、系统和装置
Esteves et al. Polar transformer networks
Darom et al. Scale-invariant features for 3-D mesh models
Sedaghat et al. Uniform robust scale-invariant feature matching for optical remote sensing images
Prakhya et al. B-SHOT: a binary 3D feature descriptor for fast Keypoint matching on 3D point clouds
CN101650784B (zh) 一种利用结构上下文特征进行图像匹配的方法
Gao et al. MS-HLMO: Multiscale histogram of local main orientation for remote sensing image registration
Yang et al. Large-scale and rotation-invariant template matching using adaptive radial ring code histograms
Lim et al. 3D object recognition using scale-invariant features
Dosil et al. A new radial symmetry measure applied to photogrammetry
Nanni et al. Ensemble of shape descriptors for shape retrieval and classification
Diaz-Escobar et al. A new invariant to illumination feature descriptor for pattern recognition
Zhang et al. LPPCO: A novel multimodal medical image registration using new feature descriptor based on the local phase and phase congruency of different orientations
Zhu et al. SFOC: A novel multi-directional and multi-scale structural descriptor for multimodal remote sensing image matching
Shao et al. Feature matching for illumination variation images
Walia et al. Zernike moments and LDP-weighted patches for content-based image retrieval
Rana et al. Comparative analysis of feature and intensity based image registration algorithms in variable agricultural scenarios
Chang et al. The shape of patterns tells more: Using two dimensional Hough transform to detect circles
Correa-Tome et al. Fast similarity metric for real-time template-matching applications
Hsu et al. Rat brain registration using improved speeded up robust features
Duan et al. Optimization of SURF Algorithm for Image Matching of Parts
Xing et al. A robust line matching method based on local appearance descriptor and neighboring geometric attributes
Senyukova et al. Fast brain MRI registration with automatic landmark detection using a single template image
Lu et al. A Sar Image registration method based on SIFT Algorithm
Liu Eyeball Image Registration and Fusion Based on SIFT+ RANSAC Algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant