CN114723770B - 一种基于特征空间关系的异源图像匹配方法 - Google Patents
一种基于特征空间关系的异源图像匹配方法 Download PDFInfo
- Publication number
- CN114723770B CN114723770B CN202210526414.2A CN202210526414A CN114723770B CN 114723770 B CN114723770 B CN 114723770B CN 202210526414 A CN202210526414 A CN 202210526414A CN 114723770 B CN114723770 B CN 114723770B
- Authority
- CN
- China
- Prior art keywords
- image
- sub
- matching
- template
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 239000011159 matrix material Substances 0.000 claims abstract description 22
- 230000009466 transformation Effects 0.000 claims abstract description 15
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 9
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 5
- 239000013598 vector Substances 0.000 claims description 18
- 230000004044 response Effects 0.000 claims description 17
- 238000001914 filtration Methods 0.000 claims description 12
- 230000002457 bidirectional effect Effects 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 7
- 238000003708 edge detection Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 3
- 239000002131 composite material Substances 0.000 abstract description 3
- 238000004519 manufacturing process Methods 0.000 abstract 1
- 238000003384 imaging method Methods 0.000 description 7
- 230000001629 suppression Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 238000010187 selection method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013329 compounding Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明属于图像匹配与识别领域，具体公开一种基于特征空间关系的异源图像匹配方法，所述方法包括：在可见光模板图像中截取多个子模板，制作子模板图像组；对子模板图像组中的每个子模板图像，分别采用基于Canny与SURF特征的空间域复合匹配方法和基于NSCT特征分解与RANSAC算法的变换域复合匹配方法，与红外/SAR实时图像匹配，得到空间域和变换域精确匹配点；剔除同一个子模板重复的和不满足多子模板特征间像素坐标位置关系的匹配点对；计算仿射变换矩阵，得到目标点在实时图像中的坐标。所述方法适应范围广、保障要求低，可满足基于可见光图像的红外/SAR图像匹配识别需求。
Description
技术领域
本发明属于图像匹配以及图像识别技术领域，涉及一种基于特征空间关系的异源图像匹配方法，尤其涉及一种针对可见光与红外图像和SAR图像的异源图像匹配识别方法。
背景技术
近年来，可见光、红外及SAR（Synthetic Aperture Radar）传感器作为最常见的图像源，被广泛应用于无人机平台目标探测与识别领域，对于不同类型探测器的目标识别技术也得到了迅猛发展。针对地面固定目标的识别，模板匹配识别是应用最为广泛的方案，该方案通过预先获取目标模板图像，利用模板图像与探测器拍摄的实时图像进行图像匹配，从而获取目标在实时图像中的坐标。
目前，大多数基于模板匹配的图像识别方法需提供相同成像体制的模板图像作为保障数据，而红外、SAR图像获取困难，导致目标模板数据保障难度大。同时，目标可见光图像较易获取，因此提出了基于可见光模板图像实现对红外、SAR实时图像目标识别的应用需求。针对同构图像的匹配，国内外已出现了许多比较成熟的方法，但针对异源图像匹配，比如可见光图像与红外图像、可见光图像与SAR图像的匹配，由于异源图像成像机理、成像条件及成像时间不同，使得图像间共有特征提取及匹配难度较大。至今为止，还没有特别有效的匹配和识别方法。
发明内容
本发明的目的针对低保障条件下无人机平台对地面固定目标识别过程中，针对成像机理、成像条件及成像时间不同的可见光、红外图像以及SAR图像匹配，图像间共有特征提取及匹配难度较大的技术问题，提出了一种基于特征空间关系的异源图像匹配方法。所述方法采用多特征复合与多模板关联相结合，首先通过在模板图像截取多个子模板图像建立子模板图像组，然后对每个子模板图像与实时图像分别进行基于空间域的匹配和基于变换域的匹配并对两次匹配结果点进行重复点剔除，最后利用多个子模板图像特征间像素坐标关系，进一步剔除误匹配点，得到模板图像与实时图像的精确匹配点对，据此计算仿射变换矩阵和目标点坐标，从而完成匹配。
为了实现上述目的，本发明采取如下技术解决方案：
一种基于特征空间关系的异源图像匹配方法，其特征在于，包括如下步骤：
S1：在可见光模板图像中截取N个子图像作为子模板图像，并记录这N个子模板图像在可见光模板图像中的像素坐标信息，构成子模板图像组；S2：对子模板图像组中的每个子模板图像以及实时图像进行边缘检测，提取SURF特征点，对SURF特征点进行双向两级匹配，得到基于空间域匹配的精确匹配点；所述实时图像为红外或SAR实时图像；所述双向两级匹配包括双向最近邻/次近邻匹配和随机采样一致算法；S3：对子模板图像组中的每个子模板图像和实时图像进行NSCT变换，分别提取低频子带图像和高频子带图像，对所述低频子带图像进行SURF特征点匹配，对所述高频子带图像进行归一化互相关匹配，获得子模板图像中与低频子带图像匹配点和高频子带图像匹配点对应的匹配点，剔除其中的重复匹配点，得到基于变换域匹配的精确匹配点；S4：剔除同一个子模板图像基于空间域和变换域精确匹配点中重复的匹配点，然后根据N个子模板图像间的像素坐标关系，剔除不满足子模板图像匹配点间位置关系的匹配点，得到所有子模板图像的匹配点；S5：将所有子模板图像的匹配点转换为可见光模板图像匹配点，基于可见光模板图像与实时图像的匹配点对，计算可见光模板图像与实时图像的仿射变换矩阵，得到可见光模板图像中的目标点在实时图像中的坐标，完成目标识别。
所述N的取值范围为3～10。
所述S1中截取N个子图像，具体包括步骤S11：在可见光模板图像中，以1/K可见光模板图像宽和高作为截取尺寸，选择特征丰富的图像区域，截取N个子图像，作为子模板图像；所述K的取值范围为3～6。
所述步骤S2具体包括如下步骤：S21:分别对子模板图像以及实时图像进行预处理；即对子模板图像和红外实时图像进行图像增强；对SAR实时图像进行去噪；S22：使用Canny算子分别对预处理后的子模板图像以及实时图像进行边缘检测，得到边缘图像；S23：在边缘图像上提取SURF特征点，为每个特征点构建特征向量；S24：对子模板图像SURF特征向量和实时图像SURF特征向量进行双向两级匹配，得到子模板图像与实时图像基于空间域匹配的匹配点对。所述步骤S3具体包括如下步骤：S31：采用NSCT变换，对子模板图像和实时图像分别进行NSCT分解和方向滤波，得到低频子带图像和多个方向的高频子带图像；S32：若子模板图像和实时图像分解后的两幅低频子带图像灰度均值之差大于给定灰度差阈值则对实时图像的低频子带图像进行取反，并对子模板图像的低频子带图像和取反后的实时图像的低频子带图像进行SURF特征提取，否则，直接对分解后的子模板图像及实时图像的低频子带图像进行SURF特征提取；S33：对提取的SURF特征进行双向最近邻/次近邻法粗匹配，然后采用RANSAC算法对粗匹配特征点进行精确匹配，得到低频子带图像匹配点；S34：在子模板图像和实时图像的高频子带图像上提取特征点，并利用归一化互相关系数对特征点进行粗匹配，然后使用RANSAC算法对粗匹配结果进行精确匹配，得到高频子带图像匹配点；S35：基于子模板图像与低频子带图像和高频子带图像的变换关系，由低频子带图像匹配点和高频子带图像匹配点得到子模板图像的匹配点，剔除其中的重复匹配点，得到精确匹配的匹配点；S36：对所有子模板图像重复步骤S31至步骤S35，得到所有子模板图像的基于变换域匹配的精确匹配点。
所述步骤S4具体包括如下步骤：S41：对每个子模板图像，剔除其基于空间域和基于变换域的精确匹配点中重复的匹配点；S42：对子模板图像组，对N个子模板图像间的匹配点进行空间位置关联，剔除关联不成功的匹配点，得到子模板图像的匹配点，具体过程为：S421：
对子模板图像M1的匹配点i，记为
，在实时图像上对应的匹配点为
；子模板图像M2的匹配点j，记为
，其在实时图像对应的匹配点为
，i相对j的位置关联误差为：
S422：若位置关联误差大于位置误差阈值Therr，则该匹配点关联失败；否则该匹配点关联成功；所述位置误差阈值Therr取值范围为2个像素至20个像素； S423：将该匹配点与其他子模板图像所有匹配点进行位置关联，若关联成功比例大于给定关联阈值Thsuc，则保留该匹配点；所述误差阈值Thsuc取值范围为0.5～0.9；S424：将步骤S41确定的所有匹配点进行空间位置关联，得到所有子模板图像的匹配点。
所述S11包括如下步骤：
S111：将可见光模板图像按照W/2K和H/2K的等像素间隔和W/K宽、H/K高的像素尺寸，划分为2K×2K个网格图像；S112：对每个网格图像，计算其灰度标准差Std：
其中，I(i,j)为网格图像I在坐标(i,j)处的灰度值，AGL是网格图像的灰度均值,W为可见光模板图像宽，H为可见光模板图像高；S113：对灰度标准差从大到小排序，统计灰度标准差大于标准差阈值Tstd的网格图像个数，若大于等于N，则取灰度标准差为前N个的网格图像作为子模板图像；若小于N，则对可见光模板图像进行图像增强，重复S111和S112步骤后，取灰度标准差为前N个的网格图像作为子模板图像；所述标准差阈值Tstd取值范围为15～50。
步骤S23中构建特征向量具体包括如下步骤：S231：将边缘图像转换为积分图像；S232：计算单尺度下积分图像所有像素的Hessian矩阵行列式；所述计算图像Hessian矩阵行列式采用盒子滤波方法，得到滤波器的响应值及单个像素点的Hessian矩阵行列式数值；遍历图像中所有像素点，得到单尺度下图像所有像素的Hessian矩阵行列式，即盒子滤波器与积分图像的响应矩阵；S233：特征点定位；S234：计算特征点方向；S235：构建SURF特征向量。
有益效果：
本发明提出了一种基于特征空间关系的异源图像匹配方法，与现有图像匹配方法相比，具有如下有益效果：
1.所述图像匹配方法应用广泛，基于多特征复合匹配和多模板特征关联，可普遍适用于可见光与红外图像、可见光与SAR图像等异构匹配应用场景，解决了异源图像特征差异问题；
2.所述图像匹配方法通过多特征匹配及多模板关联，具有鲁棒性强、误匹配概率低以及目标识别概率高的优点；
3.所述图像匹配方法具有数据保障要求低、对模板图像质量要求低以及对保障数据分辨率、时效性要求低的优势。
附图说明
图1为本发明一种基于特征空间关系的异源图像匹配方法的流程示意图；
图2为本发明一种基于特征空间关系的异源图像匹配方法步骤S2基于空间域匹配的精确匹配点提取流程图；
图3为本发明一种基于特征空间关系的异源图像匹配方法步骤S3盒子滤波器示意图；
图4为本发明一种基于特征空间关系的异源图像匹配方法步骤S3基于变换域匹配的精确匹配点提取流程图。
具体实施方式
下面结合附图及实施例对本发明一种基于特征空间关系的异源图像匹配方法的具体实施进行详细阐述。
本发明一种基于图像特征空间关系的异源图像匹配方法，具体实施时，流程如图1所示，包括如下步骤：
S1：可见光模板图像切片，构建子模板图像组；在可见光模板图像中截取N个子图像作为子模板图像，并记录这N个子模板图像在可见光模板图像中的像素坐标信息，构成子模板图像组；
所述可见光模板图像即为原始模板图像；所述N的取值范围为3到10，具体到本实施例，典型值为5个；
具体为：
S11：在可见光模板图像中，以1/K可见光模板图像宽（W）和高（H）作为截取尺寸，采用子模板图像选择方法，选择特征丰富的图像区域，截取N个子图像，作为子模板图像；
所述K的取值范围为3到6，即以1/6可见光模板图像到1/3可见光模板图像宽和高作为截取尺寸，具体到本实施例，典型值为4；
所述子模板图像选择方法包括如下步骤：
S111：将可见光模板图像按照W/2K和H/2K的等像素间隔和W/K宽、H/K高的像素尺寸，划分为2K×2K个网格图像；
S112：对每个网格图像，计算其灰度标准差Std：
其中，I(i,j)为网格图像I在坐标(i,j)处的灰度值，AGL是网格图像的灰度均值。
S113：对灰度标准差从大到小排序，统计灰度标准差大于标准差阈值Tstd的网格图像个数，若大于等于N，则取灰度标准差为前N个的网格图像作为子模板图像；若小于N，则对可见光模板图像进行图像增强后，重复S111和S112步骤后，取灰度标准差为前N个的网格图像作为子模板图像。
所述标准差阈值Tstd取值范围为15至50，具体到本实施例，典型值为25；
优选地，所述图像增强为直方图均衡化；
S12：记录每个子模板图像在可见光模板图像中的像素坐标信息，与子模板图像构成子模板图像组。
S2：对子模板图像组中的每个子模板图像以及红外或SAR实时图像进行边缘检测，提取SURF特征点，对SURF特征点进行双向两级匹配，得到基于空间域匹配的精确匹配点。
如图2所示，具体包括如下步骤：
S21:分别对子模板图像以及红外实时图像或SAR实时图像进行预处理；
即对子模板图像和红外实时图像进行图像增强；对SAR实时图像进行去噪。优选地，所述图像增强为直方图均衡化；所述去噪为使用3×3的滤波窗口Lee滤波；
S22：使用Canny算子分别对预处理后的子模板图像以及红外实时图像或SAR实时图像进行边缘检测，得到边缘图像；
S23：在边缘图像上提取SURF特征点，为每个特征点构建特征向量。
所述构建特征向量具体包括如下步骤：
S231：将边缘图像转换为积分图像；
所述积分图像中的任意一点(x,y)的值II(x,y)为该点到边缘图像原点所构成的矩形区域内所有像素灰度值之和；
该步骤S231主要用于提高运算效率；
S232：计算单尺度下积分图像所有像素的Hessian矩阵行列式；
所述计算积分图像Hessian矩阵行列式采用盒子滤波方法，以高斯二阶微分尺度参数s为1.2为例，盒子滤波器尺寸为9×9，其中Dxx、Dyy、Dxy滤波器分别如图3左中右所示，图3中灰色部分权值为0，白色部分权值为1，黑色部分权值为-2。滤波器对积分图像滤波处理响应值计算一般公式如下：
非零相同权值像素组成的连续区域记为1个像素块，其中m表示像素块数，Dxx和Dyy滤波器的M为3，Dxy滤波器的M为4；Sm表示单个像素块的像素个数，Dxx和Dyy滤波器该数值为15，Dxy滤波器该数值为9；wm为像素块中像素的权值；Am 、Bm 、Cm 、Dm分别表示滤波时像素块对应的积分图像中的左上点、右上点、左下点、右下点像素坐标。
按照上式可分别计算得到3个滤波器的响应值Rxx、Ryy和Rxy，则单个像素点的Hessian矩阵行列式数值为：
遍历图像中所有像素点，得到该图像在尺度s为1.2下的Hessian矩阵行列式，即盒子滤波器与积分图像的响应矩阵。
S233：特征点定位；
通过增大滤波器模板尺寸，建立四组四层不同尺度的滤波器金字塔并计算每一层与积分图像的滤波响应矩阵，对响应矩阵进行三维非极大值抑制，实现特征点定位；
所述四组四层不同尺度的滤波器金字塔每层尺寸如下表：
表1 每层模板尺寸大小及对应尺度
所述三维非极大值抑制，在同一组内的3×3×3范围内进行非极大值抑制，包括当前层8个像素、上一层和下一层各9个像素；
所述特征点定位，为四组滤波响应矩阵分别进行三维非极大值抑制的所有极值点计算结果。
S234：计算特征点方向；
在以特征点为中心、6s为半径的圆形区域内，分别计算积分图像x和y方向的Harr小波响应，并对响应值进行高斯加权；以加权后的x方向和y方向Harr小波响应值为x轴和y轴建立坐标系，将张角为
的扇形以角度步长
滑动窗口，计算窗口内累计的模值
和方向
，计算模值
最大时对应的方向
即为该特征点方向。
高斯加权函数方差为2s；
所述模值
和方向
计算公式如下：
其中dx、dy分别为扇形窗口内x方向和y方向Harr小波响应值；所述
表示扇形滑动窗口内所有x方向Harr小波响应值的累加和，
表示扇形滑动窗口内所有y方向Harr小波响应值的累加和；
优选地，张角
为π/3，滑动窗口角度步长
为0.2弧度。
S235：构建SURF特征向量；
具体为：对单个SURF特征点，将子模板图像和实时图像坐标轴旋转为该特征点方向，以特征点为中心，将20s×20s的图像区域划分为4×4个子区域，用尺寸为2s的Haar模板计算每个子区域内的响应值，并对响应值进行高斯加权处理，统计
，形成该子区域的4维特征向量:[
]。重复处理其他子区域，可得到单个SURF特征点的64维特征向量。重复处理其他SURF特征点，完成所有SURF特征点的特征向量构建。
S24：对子模板图像SURF特征向量和实时图像SURF特征向量进行双向两级匹配，得到子模板图像与实时图像基于空间域匹配的匹配点对；
所述双向两级匹配包括双向最近邻/次近邻匹配（粗匹配）和随机采样一致算法（RANSAC）（精匹配）两个步骤。
所述最近邻/次近邻匹配，对子模板图像中的某个特征点，计算其与实时图像每个特征点的特征向量欧氏距离，得到该特征点到实时图像最近特征点距离dn和次近特征点距离dnn，若dn与dnn的比值小于距离比例阈值ε，则该子模板图像特征点与实时图像特征点形成匹配点对。遍历子模板图像中所有特征点，完成子模板图像到实时图像的最近邻/次近邻匹配。
所述距离比例阈值ε取值范围为0.45至0.8，具体到本实施例，典型值为0.73；
所述双向匹配，在子模板图像到实时图像的最近邻/次近邻匹配基础上，进行实时图像到子模板图像的最近邻/次近邻匹配，保留匹配结果一致的匹配点对。
S25：对所有子模板图像重复步骤S21至步骤S24，得到所有子模板图像的基于空间域匹配的精确匹配点。
S3：对子模板图像组中的每个子模板图像和实时图像进行NSCT变换，分别提取低频子带图像和高频子带图像，对所述低频子带图像进行SURF特征点匹配，对所述高频子带图像进行归一化互相关匹配，获得子模板图像中与低频子带图像匹配点和高频子带图像匹配点对应的匹配点，剔除其中的重复匹配点，得到基于变换域匹配的精确匹配点；
如图4所示，具体包括如下子步骤：
S31：采用NSCT变换，对子模板图像和实时图像分别进行NSCT分解和方向滤波，得到低频子带图像和多个方向的高频子带图像；
具体为：
采用NSCT变换中的非下采样塔式滤波器和非下采样滤波器组对子模板图像和实时图像分别进行分解和方向滤波，得到低频子带图像和多个方向的高频子带图像。所述低频子带图像通过非下采样塔式滤波器（NSP）将子模板图像和实时图像分解得到；
所述多个方向的高频子带图像，具体通过非下采样塔式滤波器（NSP）及非下采样滤波器组（NSDFB）将子模板图像和实时图像分解和多向滤波得到。
S32：若子模板图像和实时图像分解后的两幅低频子带图像灰度均值之差大于给定灰度差阈值
（典型值为100）,则对实时图像的低频子带图像进行取反，并对子模板图像的低频子带图像和取反后的实时图像的低频子带图像进行SURF特征提取，否则，直接对分解后的子模板图像及实时图像的低频子带图像进行SURF特征提取；
所述灰度差阈值
取值范围为80至150，具体到本实施例，典型值为100；
S33：对S32提取的SURF特征进行双向最近邻/次近邻法粗匹配，然后采用RANSAC算法对粗匹配特征点进行精确匹配，得到低频子带图像匹配点；
S34：在子模板图像和实时图像的高频子带图像上提取特征点，并利用归一化互相关系数对特征点进行粗匹配，然后使用RANSAC算法对粗匹配结果进行精确匹配，得到高频子带图像匹配点；
S341：对子模板图像和实时图像进行E层NSCT分解，每层的高频特征方向为L个，得到各层L个方向的高频子带；
所述E层NSCT分解，第1层NSCT分解输入为原始子模板图像或实时图像，其他层均为上一层NSCT分解的低频子带；
所述分解层数E取值范围为2至6，具体到本实施例，典型值为4；
所述方向L取值范围为4至9，具体到本实施例，典型值为6；
S342：对高频子带，求相邻尺度同一方向子带的差值，得到L个高频差值图像；
S343：在 L个高频差值图像对应的每一个像素点位置，进行模极大值检测，得到一幅NSCT模极大值图像；
S344：利用显著性阈值
去除模极大值图像上不显著的特征点，即当 NSCT 模极大值大于显著性阈值值
时，将该点保留，否则，置零。
所述显著性阈值计算方法为：
δ和μ是NSCT模极大值图像的标准方差和均值，c取值范围为1.0至1.5，具体到本实施例，典型值为1.2。
S345：以保留下来的特征点为中心，在w×w的邻域内进行非极大值抑制，最后得到的点为所提取的高频子带图像特征点；
所述w取值范围为3至9，具体到本实施例，典型值为5；
S346：利用归一化互相关系数对高频子带图像特征点进行粗匹配，得到高频子带图像特征点粗匹配结果；
S347：采用RANSAC算法，对高频子带图像特征点粗匹配结果进行精确匹配，得到高频子带图像匹配点；
S35：基于子模板图像与低频子带图像和高频子带图像的变换关系，由低频子带图像匹配点和高频子带图像匹配点得到子模板图像的匹配点，剔除其中的重复匹配点，得到精确匹配的匹配点；
S36：对所有子模板图像重复步骤S31至步骤S35，得到所有子模板图像的基于变换域匹配的精确匹配点；
S4：剔除同一个子模板图像基于空间域和变换域精确匹配点中重复的匹配点，然后根据N个子模板图像间的像素坐标关系，剔除不满足子模板图像特征（匹配点）间位置关系的匹配点，得到所有子模板图像的匹配点。具体包括：
S41：对每个子模板图像，剔除其基于空间域和基于变换域的精确匹配点中重复的匹配点；
S42：对子模板图像组，对多个子模板图像间的匹配点进行空间位置关联，剔除关联不成功的匹配点，得到子模板图像的匹配点；
S421：对子模板图像M1的匹配点i，记为
，在实时图像上对应的匹配点为
；子模板图像M2的匹配点j，记为
，其在实时图像对应的匹配点为
，i相对j的位置关联误差为：
S422：若位置关联误差大于位置误差阈值Therr，则该匹配点关联失败；否则该匹配点关联成功；
所述误差阈值Therr取值范围为2个像素至20个像素，具体到本实施例，典型值为6。
S423：将该匹配点与其他子模板图像所有匹配点进行位置关联，若关联成功比例大于给定关联阈值Thsuc，则保留该匹配点。
所述误差阈值Thsuc取值范围为0.5至0.9，具体到本实施例，典型值为0.65。
S424：将所有匹配点进行空间位置关联，得到所有子模板图像的匹配点；
S5：将所有子模板图像的匹配点转换为可见光模板图像匹配点，基于可见光模板图像与实时图像的匹配点对，计算可见光模板图像与实时图像的仿射变换矩阵，得到可见光模板图像中的目标点在实时图像中的坐标，完成目标识别。
以上所述为本发明的较佳实施例而已，本发明不应该局限于该实施例和附图所公开的内容。凡是不脱离本发明所公开的精神下完成的等效或修改，都落入本发明保护的范围。
Claims (8)
1.一种基于特征空间关系的异源图像匹配方法，其特征在于，包括如下步骤：
S1：在可见光模板图像中截取N个子图像作为子模板图像，并记录这N个子模板图像在可见光模板图像中的像素坐标信息，构成子模板图像组；
S2：对子模板图像组中的每个子模板图像以及实时图像进行边缘检测，提取SURF特征点，对SURF特征点进行双向两级匹配，得到基于空间域匹配的精确匹配点；
所述实时图像为红外或SAR实时图像；所述双向两级匹配包括双向最近邻/次近邻匹配和随机采样一致算法；
S3：对子模板图像组中的每个子模板图像和实时图像进行NSCT变换，分别提取低频子带图像和高频子带图像，对所述低频子带图像进行SURF特征点匹配，对所述高频子带图像进行归一化互相关匹配，获得子模板图像中与低频子带图像匹配点和高频子带图像匹配点对应的匹配点，剔除其中的重复匹配点，得到基于变换域匹配的精确匹配点；
S4：剔除同一个子模板图像基于空间域和变换域精确匹配点中重复的匹配点，然后根据N个子模板图像间的像素坐标关系，剔除不满足子模板图像匹配点间位置关系的匹配点，得到所有子模板图像的匹配点；
S5：将所有子模板图像的匹配点转换为可见光模板图像匹配点，基于可见光模板图像与实时图像的匹配点对，计算可见光模板图像与实时图像的仿射变换矩阵，得到可见光模板图像中的目标点在实时图像中的坐标，完成目标识别。
2.根据权利要求1所述的基于特征空间关系的异源图像匹配方法，其特征在于，所述N的取值范围为3～10。
3.根据权利要求1所述的基于特征空间关系的异源图像匹配方法，其特征在于，所述S1中截取N个子图像，具体包括步骤S11：在可见光模板图像中，以1/K可见光模板图像宽和高作为截取尺寸，选择特征丰富的图像区域，截取N个子图像，作为子模板图像；所述K的取值范围为3～6。
4.根据权利要求1所述的基于特征空间关系的异源图像匹配方法，其特征在于，所述步骤S2具体包括如下步骤：
S21:分别对子模板图像以及实时图像进行预处理；即对子模板图像和红外实时图像进行图像增强；对SAR实时图像进行去噪；
S22：使用Canny算子分别对预处理后的子模板图像以及实时图像进行边缘检测，得到边缘图像；
S23：在边缘图像上提取SURF特征点，为每个特征点构建特征向量；
S24：对子模板图像SURF特征向量和实时图像SURF特征向量进行双向两级匹配，得到子模板图像与实时图像基于空间域匹配的匹配点对。
5.根据权利要求1所述的基于特征空间关系的异源图像匹配方法，其特征在于，所述步骤S3具体包括如下步骤：
S31：采用NSCT变换，对子模板图像和实时图像分别进行NSCT分解和方向滤波，得到低频子带图像和多个方向的高频子带图像；
S32：若子模板图像和实时图像分解后的两幅低频子带图像灰度均值之差大于给定灰度差阈值
， 则对实时图像的低频子带图像进行取反，并对子模板图像的低频子带图像和取反后的实时图像的低频子带图像进行SURF特征提取，否则，直接对分解后的子模板图像及实时图像的低频子带图像进行SURF特征提取；
S33：对提取的SURF特征进行双向最近邻/次近邻法粗匹配，然后采用RANSAC算法对粗匹配特征点进行精确匹配，得到低频子带图像匹配点；
S34：在子模板图像和实时图像的高频子带图像上提取特征点，并利用归一化互相关系数对特征点进行粗匹配，然后使用RANSAC算法对粗匹配结果进行精确匹配，得到高频子带图像匹配点；
S35：基于子模板图像与低频子带图像和高频子带图像的变换关系，由低频子带图像匹配点和高频子带图像匹配点得到子模板图像的匹配点，剔除其中的重复匹配点，得到精确匹配的匹配点；
S36：对所有子模板图像重复步骤S31至步骤S35，得到所有子模板图像的基于变换域匹配的精确匹配点。
6.根据权利要求1所述的基于特征空间关系的异源图像匹配方法，其特征在于，所述步骤S4具体包括如下步骤：
S41：对每个子模板图像，剔除其基于空间域和基于变换域的精确匹配点中重复的匹配点；
S42：对子模板图像组，对N个子模板图像间的匹配点进行空间位置关联，剔除关联不成功的匹配点，得到子模板图像的匹配点，具体过程为：
S421：对子模板图像M1的匹配点i，记为
，在实时图像上对应的匹配点为
；子模板图像M2的匹配点j，记为
，其在实时图像对应的匹配点为
，i相对j的位置关联误差为：
S422：若位置关联误差大于位置误差阈值Therr，则该匹配点关联失败；否则该匹配点关联成功；
所述位置误差阈值Therr取值范围为2个像素至20个像素；
S423：将该匹配点与其他子模板图像所有匹配点进行位置关联，若关联成功比例大于给定关联阈值Thsuc，则保留该匹配点；
所述误差阈值Thsuc取值范围为0.5～0.9；
S424：将步骤S41确定的所有匹配点进行空间位置关联，得到所有子模板图像的匹配点。
7.根据权利要求3所述的基于特征空间关系的异源图像匹配方法，其特征在于，所述S11包括如下步骤：
S111：将可见光模板图像按照W/2K和H/2K的等像素间隔和W/K宽、H/K高的像素尺寸，划分为2K×2K个网格图像；
S112：对每个网格图像，计算其灰度标准差Std：
其中，I(i,j)为网格图像I在坐标(i,j)处的灰度值，AGL是网格图像的灰度均值,W为可见光模板图像宽，H为可见光模板图像高；
S113：对灰度标准差从大到小排序，统计灰度标准差大于标准差阈值Tstd的网格图像个数，若大于等于N，则取灰度标准差为前N个的网格图像作为子模板图像；若小于N，则对可见光模板图像进行图像增强，重复S111和S112步骤后，取灰度标准差为前N个的网格图像作为子模板图像；所述标准差阈值Tstd取值范围为15～50。
8.根据权利要求4所述的异源图像匹配方法，其特征在于，步骤S23中构建特征向量具体包括如下步骤：
S231：将边缘图像转换为积分图像；
S232：计算单尺度下积分图像所有像素的Hessian矩阵行列式；
所述计算图像Hessian矩阵行列式采用盒子滤波方法，得到滤波器的响应值及单个像素点的Hessian矩阵行列式数值；
遍历图像中所有像素点，得到单尺度下图像所有像素的Hessian矩阵行列式，即盒子滤波器与积分图像的响应矩阵；
S233：特征点定位；
S234：计算特征点方向；
S235：构建SURF特征向量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210526414.2A CN114723770B (zh) | 2022-05-16 | 2022-05-16 | 一种基于特征空间关系的异源图像匹配方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210526414.2A CN114723770B (zh) | 2022-05-16 | 2022-05-16 | 一种基于特征空间关系的异源图像匹配方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114723770A CN114723770A (zh) | 2022-07-08 |
| CN114723770B true CN114723770B (zh) | 2022-08-09 |
Family
ID=82231134
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210526414.2A Active CN114723770B (zh) | 2022-05-16 | 2022-05-16 | 一种基于特征空间关系的异源图像匹配方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114723770B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106886977A (zh) * | 2017-02-08 | 2017-06-23 | 徐州工程学院 | 一种多图自动配准及融合拼接方法 |
| CN107464252A (zh) * | 2017-06-30 | 2017-12-12 | 南京航空航天大学 | 一种基于混合特征的可见光与红外异源图像识别方法 |
| CN109409292A (zh) * | 2018-10-26 | 2019-03-01 | 西安电子科技大学 | 基于精细化特征优化提取的异源图像匹配方法 |
| CN110097093A (zh) * | 2019-04-15 | 2019-08-06 | 河海大学 | 一种异源图像精确匹配方法 |
| CN110148162A (zh) * | 2019-04-29 | 2019-08-20 | 河海大学 | 一种基于复合算子的异源图像匹配方法 |
| WO2021248270A1 (zh) * | 2020-06-08 | 2021-12-16 | 上海交通大学 | 一种异源图像配准方法及系统 |
-
2022
- 2022-05-16 CN CN202210526414.2A patent/CN114723770B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106886977A (zh) * | 2017-02-08 | 2017-06-23 | 徐州工程学院 | 一种多图自动配准及融合拼接方法 |
| CN107464252A (zh) * | 2017-06-30 | 2017-12-12 | 南京航空航天大学 | 一种基于混合特征的可见光与红外异源图像识别方法 |
| CN109409292A (zh) * | 2018-10-26 | 2019-03-01 | 西安电子科技大学 | 基于精细化特征优化提取的异源图像匹配方法 |
| CN110097093A (zh) * | 2019-04-15 | 2019-08-06 | 河海大学 | 一种异源图像精确匹配方法 |
| CN110148162A (zh) * | 2019-04-29 | 2019-08-20 | 河海大学 | 一种基于复合算子的异源图像匹配方法 |
| WO2021248270A1 (zh) * | 2020-06-08 | 2021-12-16 | 上海交通大学 | 一种异源图像配准方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| SURF与RANSAC算法结合的图像跟踪方法;权巍 等;《计算机仿真》;20160930;第33卷(第9期);第268-272页 * |
| 基于NSCT和SURF的遥感图像匹配;吴一全 等;《遥感学报》;20140331;第18卷(第3期);第624-628页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114723770A (zh) | 2022-07-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109360156B (zh) | 基于生成对抗网络的图像分块的单张图像去雨方法 | |
| US7020335B1 (en) | Methods and apparatus for object recognition and compression | |
| CN105182350B (zh) | 一种应用特征跟踪的多波束声呐目标探测方法 | |
| CN104574324B (zh) | 对地面建筑群遥感图像频谱特性约束的去噪方法和系统 | |
| CN104463877B (zh) | 一种基于雷达影像与电子海图信息的岸线配准方法 | |
| CN109858527B (zh) | 一种图像融合方法 | |
| CN105069807A (zh) | 一种基于图像处理的冲压工件缺陷检测方法 | |
| CN106408597A (zh) | 基于邻域熵和一致性检测的sar图像配准方法 | |
| CN104504652A (zh) | 一种快速有效保留边缘及方向特征的图像去噪方法 | |
| CN107092876A (zh) | 基于Retinex与S‑SIFT特征结合的低照度车型识别方法 | |
| CN109685730B (zh) | 一种基于自适应非局域均值的小波去噪方法 | |
| CN109376641A (zh) | 一种基于无人机航拍视频的运动车辆检测方法 | |
| Xiao et al. | Image Fusion | |
| CN111091111A (zh) | 一种车底危险目标识别方法 | |
| CN106886747A (zh) | 一种基于扩展小波变换的复杂背景下舰船检测方法 | |
| CN112669249A (zh) | 结合改进nsct变换和深度学习的红外与可见光图像融合方法 | |
| CN112862716A (zh) | 基于双树复数小波和模糊理论的声呐图像目标增强方法 | |
| CN116128820A (zh) | 一种基于改进yolo模型的销钉状态的识别方法 | |
| CN114723770B (zh) | 一种基于特征空间关系的异源图像匹配方法 | |
| CN113642463A (zh) | 一种视频监控和遥感图像的天地多视图对齐方法 | |
| CN106355576A (zh) | 基于mrf图像分割算法的sar图像配准方法 | |
| CN1916935A (zh) | 一种可调节的光谱和空间特征混合分类方法 | |
| CN113610906B (zh) | 一种基于融合图像引导的多视差图像序列配准方法 | |
| CN115512310A (zh) | 一种基于视频监控下车脸特征的车型识别方法及系统 | |
| Venkateswaran et al. | A survey on unsupervised change detection algorithms |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |