CN117237680B - 一种基于异质模型拟合的多源图像匹配方法及系统 - Google Patents
一种基于异质模型拟合的多源图像匹配方法及系统 Download PDFInfo
- Publication number
- CN117237680B CN117237680B CN202311050564.1A CN202311050564A CN117237680B CN 117237680 B CN117237680 B CN 117237680B CN 202311050564 A CN202311050564 A CN 202311050564A CN 117237680 B CN117237680 B CN 117237680B
- Authority
- CN
- China
- Prior art keywords
- model
- representing
- image
- matching
- constructing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 230000009466 transformation Effects 0.000 claims abstract description 81
- 238000010276 construction Methods 0.000 claims description 42
- 238000013139 quantization Methods 0.000 claims description 32
- 238000006243 chemical reaction Methods 0.000 claims description 14
- 239000013598 vector Substances 0.000 claims description 13
- 238000006073 displacement reaction Methods 0.000 claims description 11
- 238000005070 sampling Methods 0.000 claims description 9
- 230000001174 ascending effect Effects 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 238000009825 accumulation Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 5
- 238000001514 detection method Methods 0.000 abstract description 5
- 230000005855 radiation Effects 0.000 abstract description 4
- 230000002159 abnormal effect Effects 0.000 abstract description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 239000008186 active pharmaceutical agent Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于异质模型拟合的多源图像匹配方法及系统,该方法包括下述步骤:构建多方向相位一致性模型,融合相位一致性、图像幅度和方向检测特征点,利用子区域网格和方向直方图构建具有可变大小箱体的对数极坐标描述符,通过异质模型拟合有效估计模型的参数,累加来自不同异质模型的满足预设联合位置偏移变换误差的匹配对,输出最终匹配对,完成多源图像匹配。本发明通过构建多方向相位一致性模型,降低了非线性辐射失真的影响,利用子区域网格和方向直方图构建具有可变大小箱体的对数极坐标描述符,使用异质模型拟合方法去除多源图像中的异常匹配关系,输出最终匹配关系,从而提高特征检测的准确性和鲁棒性,提高多源图像匹配性能。
Description
技术领域
本发明涉及图像处理技术领域,具体涉及一种基于异质模型拟合的多源图像匹配方法及系统。
背景技术
多源图像匹配是通过不同的时相、视角或不同模态传感器捕获的具有重叠区域的两幅或多幅图像之间建立对应关系的过程,然而。多源图像匹配往往会受到传感器类型、旋转、噪音、模糊或时间变化元素影响,导致产生大量的异常值和不正确的对应,这对多源图像匹配提出了很大的挑战;
针对多源图像匹配问题,尺度不变特征变换(SIFT)是一种经典的特征提取方法,它对尺度、旋转和线性强度变化具有鲁棒性,但对非线性强度差异非常敏感,一些改进的SIFT变体(例如均匀鲁棒SIFT和尺度约束SURF)通过改进局部特征来解决这个问题,然而,由于多源图像中强度和纹理的巨大差异,从多源图像中提取的特征通常具有较低的局部可重复性,因此,这些方法仅适用于特定类型的图像,其应用范围有限。
发明内容
为了克服现有技术存在的缺陷与不足,本发明提供一种基于异质模型拟合的多源图像匹配方法,本发明通过构建多方向相位一致性模型,降低了非线性辐射失真的影响,利用子区域网格和方向直方图构建具有可变大小箱体的对数极坐标描述符,使用异质模型拟合方法去除多源图像中的异常匹配关系,输出最终匹配关系,从而提高特征检测的准确性和鲁棒性,提高多源图像匹配性能。
为了达到上述目的,本发明采用以下技术方案:
本发明提供一种基于异质模型拟合的多源图像匹配方法,包括下述步骤:
获取二维图像,构建所述二维图像的二维log-Gabor滤波器;
基于傅里叶反变换将二维log-Gabor滤波器从频域转换到空间域;
计算相对于尺度和方向的振幅分量和相位分量;
基于振幅分量和相位分量构建相位一致性模型,计算多个方向的相位一致性权重,基于相位一致性模型和多个方向的相位一致性权重构建多方向相位一致性模型;
利用Shi-Tomasi算子从多方向相位一致性模型中提取图像特征信息,过滤响应值低于设定阈值的特征点;
基于图像特征信息构建可变大小箱体策略,所述可变大小箱体策略根据不同的角度量化规则将特征分布的环形区域划分为若干个数量不同的子区域,且不同的环形区域使用不同大小的梯度方向直方图作为局部描述符;
计算每个子区域的方向直方图作为描述符,并对每个特征点的直方图量化方向定义描述符,对描述符向量进行归一化;
将所述二维图像作为参考图像,获取待匹配的目标图像,构建最优几何变换模型,使得参考图像与目标图像之间的特征信息最小化;
获取分别来自参考图像和目标图像的两个特征点的坐标,构建初始匹配对;
基于异质模型为每两个图像生成多个模型假设,所述模型假设通过从特征点中随机抽样多个最小子集而生成;
利用Sampson距离计算参考图像和目标图像的任意两个特征点相对于模型假设的变换误差并形成升序序列,选择平方变换误差的最小k阶统计量作为最小成本,k表示结构的可接受大小;
结合水平位移、垂直位移以及描述符向量的余弦相似度作为约束条件提取更多的匹配对,计算匹配对在水平和垂直方向上的偏移量作为位置变换误差约束特征描述符,构建得到联合位置偏移变换误差;
累加来自不同异质模型的满足预设联合位置偏移变换误差的匹配对,若判定两个匹配对具有相同的特征点,则只保留一个匹配对,累加操作后输出最终匹配对,完成多源图像匹配。
作为优选的技术方案,构建所述二维图像的二维log-Gabor滤波器,具体表示为:
其中,和/>分别表示滤波器在极径ρ和极角δ方向上的带宽,σ和μ代表二维log-Gabor滤波器/>的尺度和方向,ρσ表示滤波器的中心频率,δ(σ,μ)表示极坐标下的角向频率。
作为优选的技术方案,基于傅里叶反变换将二维log-Gabor滤波器从频域转换到空间域,具体表示为:
其中,和/>分别表示二维log-Gabor滤波器/>的偶数和奇数部分,i表示虚数单位。
作为优选的技术方案,基于相位一致性模型和多个方向的相位一致性权重构建多方向相位一致性模型,具体表示为:
其中,表示振幅分量,/>表示相位分量,ωσ(x,y)为权重因子,为截断函数,/>为相对于尺度σ和方向μ的相位偏差,γ和∈是常数,/>和表示与尺度σ相对应的最大权重和最小权重,/>代表方向的权重系数,/>表示相位一致性模型,/>表示多方向相位一致性模型,I(x,y)表示二维图像,/>和/>分别表示二维log-Gabor滤波器/>的偶数和奇数部分。
作为优选的技术方案,计算每个子区域的方向直方图作为描述符,并对每个特征点的直方图量化方向定义描述符,具体表示为:
其中,表示第h个径向量化的第ι个角向量化的子区域,/>表示第h个径向量化的第q个直方图量化的方向直方图;n是径向量化的数量;m直方图量化的数量;κ是角量化的数量;
每个描述符的维数描述为:
作为优选的技术方案,利用Sampson距离计算参考图像和目标图像的任意两个特征点相对于模型假设的变换误差并形成升序序列,具体表示为:
其中,满足 表示相对于每种类型模型的特征点的偏好,/>表示任意两个特征点(si,s′i)相对于模型假设/>的变换误差,si和s′i分别表示来自参考图像和目标图像的两个特征点的坐标。
作为优选的技术方案,所述选择平方变换误差的最小k阶统计量作为最小成本,具体表示为:
其中,表示第j个排序后的平方变换误差,p表示随机抽样多个最小子集的大小。
作为优选的技术方案,所述构建得到联合位置偏移变换误差,具体表示为:
其中,si和s′j分别表示两个异源图像中的特征点,下标i和下标j表示特征点在图像中的索引,表示si到s′j的逆余弦相似度,/>表示(si,s′j)之间的位置转换误差,/>表示任意两个特征点(si,s′i)相对于模型假设/>的变换误差。
作为优选的技术方案,所述累加来自不同异质模型的具有较小联合位置偏移变换误差的匹配对,具体表示为:
其中,表示通过遍历所有候选匹配对来去除重复项,/>表示使用联合位置偏移变换误差定义的候选匹配对,/>表示对每种异质模型进行累加操作,/>表示异质模型。
本发明还提供一种基于异质模型拟合的多源图像匹配系统,包括:图像获取模块、log-Gabor滤波器构建模块、频域转换模块、多方向相位一致性模型构建模块、图像特征信息提取模块、可变大小箱体策略构建模块、描述符构建模块、归一化模块、目标图像获取模块、最优几何变换模型构建模块、初始匹配对构建模块、模型假设生成模块、最小成本计算模块、联合位置偏移变换误差构建模块、匹配输出模块;
所述图像获取模块用于获取二维图像;
所述log-Gabor滤波器构建模块用于构建所述二维图像的二维log-Gabor滤波器;
所述频域转换模块用于基于傅里叶反变换将二维log-Gabor滤波器从频域转换到空间域;
所述多方向相位一致性模型构建模块用于构建多方向相位一致性模型,计算相对于尺度和方向的振幅分量和相位分量,基于振幅分量和相位分量构建相位一致性模型,计算多个方向的相位一致性权重,基于相位一致性模型和多个方向的相位一致性权重构建多方向相位一致性模型;
所述图像特征信息提取模块用于利用Shi-Tomasi算子从多方向相位一致性模型中提取图像特征信息,过滤响应值低于设定阈值的特征点;
所述可变大小箱体策略构建模块用于基于图像特征信息构建可变大小箱体策略,所述可变大小箱体策略根据不同的角度量化规则将特征分布的环形区域划分为若干个数量不同的子区域,且不同的环形区域使用不同大小的梯度方向直方图作为局部描述符;
所述描述符构建模块用于计算每个子区域的方向直方图作为描述符,并对每个特征点的直方图量化方向定义描述符;
所述归一化模块用于对描述符向量进行归一化;
所述目标图像获取模块用于将所述二维图像作为参考图像,获取待匹配的目标图像;
所述最优几何变换模型构建模块用于构建最优几何变换模型,使得参考图像与目标图像之间的特征信息最小化;
所述初始匹配对构建模块用于获取分别来自参考图像和目标图像的两个特征点的坐标,构建初始匹配对;
所述模型假设生成模块用于基于异质模型为每两个图像生成多个模型假设,所述模型假设通过从特征点中随机抽样多个最小子集而生成;
所述最小成本计算模块用于利用Sampson距离计算参考图像和目标图像的任意两个特征点相对于模型假设的变换误差并形成升序序列,选择平方变换误差的最小k阶统计量作为最小成本,k表示结构的可接受大小;
所述联合位置偏移变换误差构建模块用于构建联合位置偏移变换误差,结合水平位移、垂直位移以及描述符向量的余弦相似度作为约束条件提取更多的匹配对,计算匹配对在水平和垂直方向上的偏移量作为位置变换误差约束特征描述符,构建得到联合位置偏移变换误差;
所述匹配输出模块用于累加来自不同异质模型的满足预设联合位置偏移变换误差的匹配对,若判定两个匹配对具有相同的特征点,则只保留一个匹配对,累加操作后输出最终匹配对,完成多源图像匹配。
本发明与现有技术相比,具有如下优点和有益效果:
(1)本发明构建多方向相位一致性模型,降低了非线性辐射失真的影响,利用子区域网格和方向直方图构建具有可变大小箱体的对数极坐标描述符,使用异质模型拟合方法去除多源图像中的异常匹配关系,从而提高特征检测的准确性和鲁棒性。
(2)本发明采用了鲁棒异构模型拟合的技术方案,解决了多源图像对应中单一基本变换模型的局限性对图像对应性能的影响的技术问题,有效地整合不同类型的基本模型,从而提高多源图像匹配性能。
附图说明
图1为本发明基于异质模型拟合的多源图像匹配方法的流程示意图;
图2为本发明可变大小箱体策略的实现方式示意图;
图3为本发明和相似模型、仿射模型、透视模型在TENM-DS数据集上的匹配结果对比示意图;
图4(a)为本发明在光学图像与深度图像建立对应匹配关系的示意图;
图4(b)为本发明在地图与光学图像建立对应匹配关系的示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
实施例1
如图1所示,本实施例提供一种基于异质模型拟合的多源图像匹配方法,包括下述步骤:
S1:准备一组初始匹配坐标S、异质模型模型假设数量M与结构可接受大小k;
S2:构建多方向相位一致性模型,融合相位一致性、图像幅度和方向检测特征点;
在本实施例中,构建多方向相位一致性模型进行多方向特征检测,具体步骤包括:
S21:给定二维图像I(x,y),关于该图像的二维log-Gabor滤波器可表示为:
其中,和/>分别表示滤波器在极径ρ和极角δ方向上的带宽,带宽是指滤波器在频率或方向上的范围,它决定了滤波器对不同频率或方向的响应程度;σ和μ代表二维log-Gabor滤波器/>的尺度和方向,ρσ表示滤波器的中心频率,δ(σ,μ)表示极坐标下的角向频率;
S22:使用傅里叶反变换将二维log-Gabor滤波器从频域转换到空间域,具体表示为:
其中,和/>分别表示二维log-Gabor滤波器/>的偶数和奇数部分,i代表虚数单位;
S23:计算相对于尺度σ和方向μ的振幅分量和相位分量/>
其中,表示在σ尺度和方向μ下进行卷积运算得到的log-Gabor结果。
S24:利用振幅分量和相位分量/>构建相位一致性/>模型:
其中,ωσ(x,y)为权重因子,为截断函数,它用于将一个实数截断为一个整数,可以有效地减少非线性辐射畸变(NRDs)的影响。/>为振幅分量,/>为相对于尺度σ和方向μ的相位偏差,γ和∈是常数,防止分母为0。
S25:为了加强鲁棒性,计算多个方向的相位一致性权重;
其中,和/>表示与尺度σ相对应的最大权重和最小权重,φ(σ,μ)表示在尺度σ和方向μ处的角度。
S26:利用基于相位一致性模型和多方向权重构建多方向相位一致性模型以降低非线性辐射畸变(NRDs)的影响:
其中,代表方向的权重系数。
S27:利用Shi-Tomasi算子从多方向相位一致性模型中提取特征点,并且过滤响应值较低的点;具体来说,Shi-Tomasi算子首先计算多方向相位一致性模型/>中每个像素的结构张量得到每个像素的最小特征值,然后根据设定的阈值选择最小特征值较大的像素作为角点,这些特征信息表示图像中的显著特征,如角点和边缘,提取得到的特征信息将参与到后续的描述符构建中。
S3:利用子区域网格和方向直方图构建具有可变大小箱体的对数极坐标描述符,该描述符对几何失真具有鲁棒性;
本实施例构建具有可变大小箱体的对数极坐标描述符,能够改善描述符对局部几何失真的鉴别能力,建立高质量的初始对应关系,具体步骤包括:
S31:如图2所示,根据Shi-Tomasi算子提取的特征位置信息构建可变大小箱体策略,由于中心区域对特征描述的贡献通常大于其周边区域。因此,不同于传统的每个环形均使用相同数量的子区域,该策略根据不同的角度量化规则将环形划分为若干个数量不同的子区域,且不同环形区域使用不同大小的梯度方向直方图作为局部描述符,以适应不同的特征分布,从而提高描述符的稳定性和鲁棒性。
S32:计算每个子区域的方向直方图作为描述符并对每个特征点的直方图量化方向定义描述符:
其中,表示第h个径向量化的第ι个角向量化的子区域,/>表示第h个径向量化的第q个直方图量化的方向直方图;n是径向量化的数量;m直方图量化的数量;κ是角量化的数量,因此,每个描述符的维数可以描述为/>
S33:对描述符向量进行归一化,以减少光照变化的影响。归一化后的描述符向量可将用于后续的匹配过程,以计算评估图像对之间的相似性进而并获得确定初始匹配对;
S4:通过异质模型拟合有效估计模型的参数,通过整合多种基本变换模型的优势,能够有效估计模型的参数,以减轻异常值的影响,具体步骤包括:
S41:给定二维图像(即,参考图像)I(x,y)和另一幅需要进行匹配的图像(目标图像)I'(x,y),本步骤的目标是找到一个最优几何变换模型使得参考图像I(x,y)和变换后的目标图像I′(f(x,y))之间的特征信息(例如距离)最小化:
其中,f(x,y)、I′(f(x,y))和Φ分别代表几何变换模型、变换后的目标图像和距离度量;代表最优的几何变换模型,最优几何变换模型是指能够使特征信息距离最小化的几何变换模型。例如,两幅图像之间的特征匹配点对可以用于估计仿射变换矩阵(或称仿射变换模型),如果能找到一个足够多特征匹配点对都服从的仿射变换模型(即特征匹配点对与模型之间的距离最小化),则认为当前几何变换是最优的(即最优几何变换模型)。另外,由于图像通常存在形变等因素,那两幅图像要实现准确匹配就需要符合几何变换模型的约束。
S42:给定一组初始匹配对其中N是匹配对的数量,si=(xi,yi)和s′i=(xi,yi)分别表示来自参考图像和目标图像的两个特征点的坐标。
S43:对于每种类型模型v∈V,为每两个图像生成M个模型假设其中,/>表示异质模型(即,不同类型模型的集合,包括相似性变换模型、仿射变换模型及透视变换模型)。这些模型假设是通过从特征点中随机抽样p个最小子集而生成。
S44:利用Sampson距离计算参考图像和目标图像的任意两个特征点(si,s′i)相对于模型假设的变换误差/>并形成升序序列:
满足并且/>表示相对于每种类型模型的特征点的偏好。如果特征点属于变换模型的内点,则其值较小,反之亦然。
S45:引入了一个修改后的成本函数,用于选择平方变换误差的最小k阶统计量作为最小成本:
其中,表示第j个排序后的平方变换误差;k表示结构的可接受大小,它大于最小子集的大小(k>>p)。
S46:使用上述成本函数,可以有效地量化k阶统计量的最小成本作为显著模型,接着结合水平和垂直位移以及描述符向量的余弦相似度作为约束条件来提取更多正确的匹配对。
S47:显著变换模型通过最小化残差平方的k阶统计量来评估随机采样生成的模型假设的质量。基于显著变换模型可以获得少量可靠的特征匹配对。但是显著模型通常仅包含少量可靠的特征匹配对。因此,需要计算这些匹配对在水平和垂直方向上的偏移量作为位置变换误差来约束特征描述符,具体来说,可以通过计算匹配对之间的欧几里得距离来得到它们在水平和垂直方向上的偏移量,然后,利用这些偏移量作为位置变换误差来约束特征描述符,最后定义一个联合位置偏移变换误差具体表示为:
其中,si和s′j分别表示两个异源图像中的特征点,下标i和下标j都是用来表示特征点在图像中的索引,代表si到s′j的逆余弦相似度,/>代表(si,s′j)之间的位置转换误差。需要遍历所有可能的匹配对,并计算它们之间的相似度,以确定哪些匹配对是正确的,当联合位置偏移变换误差小于某个阈值时,特征点si和s′j被认为是候选匹配对/>
S48:在此之后,累加来自不同模型(即相似性模型、仿射模型和透视模型等)的具有较小联合位置偏移变换误差的匹配对。
其中,表示通过遍历所有候选匹配对来去除重复项。如果两个匹配对具有相同的特征点,则只保留一个匹配对;/>表示使用联合位置偏移变换误差定义的候选匹配对。/>表示对每种异质模型进行累加操作。
S5:输出最终匹配对
如图3所示,得到本发明和三种基本变换模型(即,相似模型、仿射模型、透视模型)在TENM-DS数据集上进行图像匹配的结果对比,其中,在相似模型中的数量为432,均方根误差为1.91,在仿射模型中的数量为367,均方根误差为1.83,在透视模型中的数量为153,均方根误差为1.65,在本发明的数量584,均方根误差为1.79,其实验结果表明,本发明能够有效地融合多种变换模型的优势,提高匹配的准确性和鲁棒性。如图4(a)和图4(b)所示,本发明能够在光学图像与深度图像之间、在地图与光学图像之间建立对应匹配关系。
实施例2
本实施例除以下技术内容外,其余技术内容与上述实施例1相同;
本实施例提供一种基于异质模型拟合的多源图像匹配系统,包括:图像获取模块、log-Gabor滤波器构建模块、频域转换模块、多方向相位一致性模型构建模块、图像特征信息提取模块、可变大小箱体策略构建模块、描述符构建模块、归一化模块、目标图像获取模块、最优几何变换模型构建模块、初始匹配对构建模块、模型假设生成模块、最小成本计算模块、联合位置偏移变换误差构建模块、匹配输出模块;
在本实施例中,图像获取模块用于获取二维图像;
在本实施例中,log-Gabor滤波器构建模块用于构建所述二维图像的二维log-Gabor滤波器;
在本实施例中,频域转换模块用于基于傅里叶反变换将二维log-Gabor滤波器从频域转换到空间域;
在本实施例中,多方向相位一致性模型构建模块用于构建多方向相位一致性模型,计算相对于尺度和方向的振幅分量和相位分量,基于振幅分量和相位分量构建相位一致性模型,计算多个方向的相位一致性权重,基于相位一致性模型和多个方向的相位一致性权重构建多方向相位一致性模型;
在本实施例中,图像特征信息提取模块用于利用Shi-Tomasi算子从多方向相位一致性模型中提取图像特征信息,过滤响应值低于设定阈值的特征点;
在本实施例中,可变大小箱体策略构建模块用于基于图像特征信息构建可变大小箱体策略,可变大小箱体策略根据不同的角度量化规则将特征分布的环形区域划分为若干个数量不同的子区域,且不同的环形区域使用不同大小的梯度方向直方图作为局部描述符;
在本实施例中,描述符构建模块用于计算每个子区域的方向直方图作为描述符,并对每个特征点的直方图量化方向定义描述符;
在本实施例中,归一化模块用于对描述符向量进行归一化;
在本实施例中,目标图像获取模块用于将所述二维图像作为参考图像,获取待匹配的目标图像;
在本实施例中,最优几何变换模型构建模块用于构建最优几何变换模型,使得参考图像与目标图像之间的特征信息最小化;
在本实施例中,初始匹配对构建模块用于获取分别来自参考图像和目标图像的两个特征点的坐标,构建初始匹配对;
在本实施例中,模型假设生成模块用于基于异质模型为每两个图像生成多个模型假设,所述模型假设通过从特征点中随机抽样多个最小子集而生成;
在本实施例中,最小成本计算模块用于利用Sampson距离计算参考图像和目标图像的任意两个特征点相对于模型假设的变换误差并形成升序序列,选择平方变换误差的最小k阶统计量作为最小成本,k表示结构的可接受大小;
在本实施例中,联合位置偏移变换误差构建模块用于构建联合位置偏移变换误差,结合水平位移、垂直位移以及描述符向量的余弦相似度作为约束条件提取更多的匹配对,计算匹配对在水平和垂直方向上的偏移量作为位置变换误差约束特征描述符,构建得到联合位置偏移变换误差;
在本实施例中,匹配输出模块用于累加来自不同异质模型的满足预设联合位置偏移变换误差的匹配对,若判定两个匹配对具有相同的特征点,则只保留一个匹配对,累加操作后输出最终匹配对,完成多源图像匹配。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。
Claims (7)
1.一种基于异质模型拟合的多源图像匹配方法,其特征在于,包括下述步骤:
获取二维图像,构建所述二维图像的二维log-Gabor滤波器,具体表示为:
其中,和/>分别表示滤波器在极径ρ和极角δ方向上的带宽,σ和μ代表二维log-Gabor滤波器/>的尺度和方向,ρσ表示滤波器的中心频率,δ(σ,μ)表示极坐标下的角向频率;
基于傅里叶反变换将二维log-Gabor滤波器从频域转换到空间域,具体表示为:
其中,和/>分别表示二维log-Gabor滤波器/>的偶数和奇数部分,i表示虚数单位;
计算相对于尺度和方向的振幅分量和相位分量;
基于振幅分量和相位分量构建相位一致性模型,计算多个方向的相位一致性权重,基于相位一致性模型和多个方向的相位一致性权重构建多方向相位一致性模型,具体表示为:
其中,表示振幅分量,/>表示相位分量,ωσ(x,y)为权重因子,/>为截断函数,/>为相对于尺度σ和方向μ的相位偏差,γ和∈是常数,/>和/>表示与尺度σ相对应的最大权重和最小权重,/>代表方向的权重系数,/>表示相位一致性模型,/>表示多方向相位一致性模型,I(x,y)表示二维图像,/>和/>分别表示二维log-Gabor滤波器/>的偶数和奇数部分;
利用Shi-Tomasi算子从多方向相位一致性模型中提取图像特征信息,过滤响应值低于设定阈值的特征点;
基于图像特征信息构建可变大小箱体策略,所述可变大小箱体策略根据不同的角度量化规则将特征分布的环形区域划分为若干个数量不同的子区域,且不同的环形区域使用不同大小的梯度方向直方图作为局部描述符;
计算每个子区域的方向直方图作为描述符,并对每个特征点的直方图量化方向定义描述符,对描述符向量进行归一化;
将所述二维图像作为参考图像,获取待匹配的目标图像,构建最优几何变换模型,使得参考图像与目标图像之间的特征信息最小化;
获取分别来自参考图像和目标图像的两个特征点的坐标,构建初始匹配对;
基于异质模型为每两个图像生成多个模型假设,所述模型假设通过从特征点中随机抽样多个最小子集而生成;
利用Sampson距离计算参考图像和目标图像的任意两个特征点相对于模型假设的变换误差并形成升序序列,选择平方变换误差的最小k阶统计量作为最小成本,k表示结构的可接受大小;
结合水平位移、垂直位移以及描述符向量的余弦相似度作为约束条件提取更多的匹配对,计算匹配对在水平和垂直方向上的偏移量作为位置变换误差约束特征描述符,构建得到联合位置偏移变换误差;
累加来自不同异质模型的满足预设联合位置偏移变换误差的匹配对,若判定两个匹配对具有相同的特征点,则只保留一个匹配对,累加操作后输出最终匹配对,完成多源图像匹配。
2.根据权利要求1所述的基于异质模型拟合的多源图像匹配方法,其特征在于,计算每个子区域的方向直方图作为描述符,并对每个特征点的直方图量化方向定义描述符,具体表示为:
其中,表示第h个径向量化的第ι个角向量化的子区域,/>表示第h个径向量化的第q个直方图量化的方向直方图;n是径向量化的数量;m直方图量化的数量;κ是角量化的数量;
每个描述符的维数描述为:
3.根据权利要求1所述的基于异质模型拟合的多源图像匹配方法,其特征在于,利用Sampson距离计算参考图像和目标图像的任意两个特征点相对于模型假设的变换误差并形成升序序列,具体表示为:
其中,满足 表示相对于每种类型模型的特征点的偏好,/>表示任意两个特征点(si,s′i)相对于模型假设θi (v)的变换误差,si和s′i分别表示来自参考图像和目标图像的两个特征点的坐标。
4.根据权利要求1所述的基于异质模型拟合的多源图像匹配方法,其特征在于,所述选择平方变换误差的最小k阶统计量作为最小成本,具体表示为:
其中,表示第j个排序后的平方变换误差,p表示随机抽样多个最小子集的大小。
5.根据权利要求1所述的基于异质模型拟合的多源图像匹配方法,其特征在于,所述构建得到联合位置偏移变换误差,具体表示为:
其中,si和s′j分别表示两个异源图像中的特征点,下标i和下标j表示特征点在图像中的索引,表示si到s′j的逆余弦相似度,/>表示(si,s′j)之间的位置转换误差,/>表示任意两个特征点(si,s′i)相对于模型假设θi (v)的变换误差。
6.根据权利要求1所述的基于异质模型拟合的多源图像匹配方法,其特征在于,所述累加来自不同异质模型的具有较小联合位置偏移变换误差的匹配对,具体表示为:
其中,表示通过遍历所有候选匹配对来去除重复项,/>表示使用联合位置偏移变换误差定义的候选匹配对,/>表示对每种异质模型进行累加操作,/>表示异质模型。
7.一种基于异质模型拟合的多源图像匹配系统,其特征在于,包括:图像获取模块、log-Gabor滤波器构建模块、频域转换模块、多方向相位一致性模型构建模块、图像特征信息提取模块、可变大小箱体策略构建模块、描述符构建模块、归一化模块、目标图像获取模块、最优几何变换模型构建模块、初始匹配对构建模块、模型假设生成模块、最小成本计算模块、联合位置偏移变换误差构建模块、匹配输出模块;
所述图像获取模块用于获取二维图像;
所述log-Gabor滤波器构建模块用于构建所述二维图像的二维log-Gabor滤波器,具体表示为:
其中,和/>分别表示滤波器在极径ρ和极角δ方向上的带宽,σ和μ代表二维log-Gabor滤波器/>的尺度和方向,ρσ表示滤波器的中心频率,δ(σ,μ)表示极坐标下的角向频率;
所述频域转换模块用于基于傅里叶反变换将二维log-Gabor滤波器从频域转换到空间域具体表示为:
其中,和/>分别表示二维log-Gabor滤波器/>的偶数和奇数部分,i表示虚数单位;
所述多方向相位一致性模型构建模块用于构建多方向相位一致性模型,计算相对于尺度和方向的振幅分量和相位分量,基于振幅分量和相位分量构建相位一致性模型,计算多个方向的相位一致性权重,基于相位一致性模型和多个方向的相位一致性权重构建多方向相位一致性模型,具体表示为:
其中,表示振幅分量,/>表示相位分量,ωσ(x,y)为权重因子,/>为截断函数,/>为相对于尺度σ和方向μ的相位偏差,γ和∈是常数,/>和/>表示与尺度σ相对应的最大权重和最小权重,/>代表方向的权重系数,/>表示相位一致性模型,/>表示多方向相位一致性模型,I(x,y)表示二维图像,/>和/>分别表示二维log-Gabor滤波器/>的偶数和奇数部分;
所述图像特征信息提取模块用于利用Shi-Tomasi算子从多方向相位一致性模型中提取图像特征信息,过滤响应值低于设定阈值的特征点;
所述可变大小箱体策略构建模块用于基于图像特征信息构建可变大小箱体策略,所述可变大小箱体策略根据不同的角度量化规则将特征分布的环形区域划分为若干个数量不同的子区域,且不同的环形区域使用不同大小的梯度方向直方图作为局部描述符;
所述描述符构建模块用于计算每个子区域的方向直方图作为描述符,并对每个特征点的直方图量化方向定义描述符;
所述归一化模块用于对描述符向量进行归一化;
所述目标图像获取模块用于将所述二维图像作为参考图像,获取待匹配的目标图像;
所述最优几何变换模型构建模块用于构建最优几何变换模型,使得参考图像与目标图像之间的特征信息最小化;
所述初始匹配对构建模块用于获取分别来自参考图像和目标图像的两个特征点的坐标,构建初始匹配对;
所述模型假设生成模块用于基于异质模型为每两个图像生成多个模型假设,所述模型假设通过从特征点中随机抽样多个最小子集而生成;
所述最小成本计算模块用于利用Sampson距离计算参考图像和目标图像的任意两个特征点相对于模型假设的变换误差并形成升序序列,选择平方变换误差的最小k阶统计量作为最小成本,k表示结构的可接受大小;
所述联合位置偏移变换误差构建模块用于构建联合位置偏移变换误差,结合水平位移、垂直位移以及描述符向量的余弦相似度作为约束条件提取更多的匹配对,计算匹配对在水平和垂直方向上的偏移量作为位置变换误差约束特征描述符,构建得到联合位置偏移变换误差;
所述匹配输出模块用于累加来自不同异质模型的满足预设联合位置偏移变换误差的匹配对,若判定两个匹配对具有相同的特征点,则只保留一个匹配对,累加操作后输出最终匹配对,完成多源图像匹配。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311050564.1A CN117237680B (zh) | 2023-08-18 | 2023-08-18 | 一种基于异质模型拟合的多源图像匹配方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311050564.1A CN117237680B (zh) | 2023-08-18 | 2023-08-18 | 一种基于异质模型拟合的多源图像匹配方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117237680A CN117237680A (zh) | 2023-12-15 |
CN117237680B true CN117237680B (zh) | 2024-03-12 |
Family
ID=89083501
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311050564.1A Active CN117237680B (zh) | 2023-08-18 | 2023-08-18 | 一种基于异质模型拟合的多源图像匹配方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117237680B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1776716A (zh) * | 2004-04-27 | 2006-05-24 | 微软公司 | 使用多尺度取向片段的多图像匹配 |
CN109523585A (zh) * | 2018-11-19 | 2019-03-26 | 武汉大学 | 一种基于方向相位一致性的多源遥感影像特征匹配方法 |
CN114463397A (zh) * | 2022-01-10 | 2022-05-10 | 武汉大学 | 一种基于渐进式滤波的多模态图像配准方法 |
CN116129146A (zh) * | 2023-03-29 | 2023-05-16 | 中国工程物理研究院计算机应用研究所 | 一种基于局部特征一致性的异源图像匹配方法及系统 |
-
2023
- 2023-08-18 CN CN202311050564.1A patent/CN117237680B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1776716A (zh) * | 2004-04-27 | 2006-05-24 | 微软公司 | 使用多尺度取向片段的多图像匹配 |
CN109523585A (zh) * | 2018-11-19 | 2019-03-26 | 武汉大学 | 一种基于方向相位一致性的多源遥感影像特征匹配方法 |
CN114463397A (zh) * | 2022-01-10 | 2022-05-10 | 武汉大学 | 一种基于渐进式滤波的多模态图像配准方法 |
CN116129146A (zh) * | 2023-03-29 | 2023-05-16 | 中国工程物理研究院计算机应用研究所 | 一种基于局部特征一致性的异源图像匹配方法及系统 |
Non-Patent Citations (1)
Title |
---|
局部相位特征描述的多源遥感影像自动匹配;叶沅鑫;慎利;陈敏;王继成;;武汉大学学报(信息科学版);20170905(09);97-103 * |
Also Published As
Publication number | Publication date |
---|---|
CN117237680A (zh) | 2023-12-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6904544B2 (ja) | 信号間の変換を推定するための方法及びコンピュータ可読媒体 | |
EP2677464B1 (en) | Feature detection in numeric data | |
US8897572B2 (en) | Fast subspace projection of descriptor patches for image recognition | |
US8582889B2 (en) | Scale space normalization technique for improved feature detection in uniform and non-uniform illumination changes | |
Lee et al. | Robust CCD and IR image registration using gradient-based statistical information | |
JP6320649B1 (ja) | 機械学習装置及び画像認識装置 | |
US8774508B2 (en) | Local feature amount calculating device, method of calculating local feature amount, corresponding point searching apparatus, and method of searching corresponding point | |
JP2007334795A (ja) | 情報処理装置および方法、並びにプログラム | |
CN111797744B (zh) | 一种基于共现滤波算法的多模态遥感图像匹配方法 | |
CN110120013B (zh) | 一种点云拼接方法及装置 | |
Wang et al. | Automatic fundus images mosaic based on SIFT feature | |
CN116883464A (zh) | 一种针对大视角差异光学与sar遥感图像的配准方法 | |
CN117237680B (zh) | 一种基于异质模型拟合的多源图像匹配方法及系统 | |
Yu et al. | SAR image change detection based on joint dictionary learning with iterative adaptive threshold optimization | |
Liu et al. | An automatic image fusion algorithm for unregistered multiply multi-focus images | |
Kaur et al. | Optimisation of image fusion using feature matching based on sift and ransac | |
WO2018076137A1 (zh) | 一种高光谱图像特征描述子的获取方法及装置 | |
CN111160433B (zh) | 一种高分辨率图像特征点的高速匹配方法及系统 | |
Li et al. | Reliable and fast mapping of keypoints on large-size remote sensing images by use of multiresolution and global information | |
CN113066015A (zh) | 一种基于神经网络的多模态遥感影像旋转差异校正方法 | |
CN116342912B (zh) | 基于相关峰分析的异源遥感图像匹配方法及系统 | |
CN114648564B (zh) | 用于非稳态目标的可见光和红外图像优化配准方法及系统 | |
Jiang et al. | Visible and infrared image automatic registration algorithm using mutual information | |
Guo-ping et al. | Slant correction of vehicle license plate based on feature point and principal component analysis | |
Torre-Ferrero et al. | A Coarse-to-Fine Algorithm for 3 D Registration Based on Wavelet Decomposition |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |