CN114119686A - 空间布局相似计算的多源遥感影像配准方法 - Google Patents
空间布局相似计算的多源遥感影像配准方法 Download PDFInfo
- Publication number
- CN114119686A CN114119686A CN202111402739.1A CN202111402739A CN114119686A CN 114119686 A CN114119686 A CN 114119686A CN 202111402739 A CN202111402739 A CN 202111402739A CN 114119686 A CN114119686 A CN 114119686A
- Authority
- CN
- China
- Prior art keywords
- image
- similarity
- indicator
- points
- remote sensing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 109
- 238000004364 calculation method Methods 0.000 title claims description 24
- 230000006872 improvement Effects 0.000 claims abstract description 41
- 238000000605 extraction Methods 0.000 claims abstract description 28
- 239000013598 vector Substances 0.000 claims description 33
- 238000005070 sampling Methods 0.000 claims description 25
- 230000000694 effects Effects 0.000 claims description 19
- 238000007667 floating Methods 0.000 claims description 19
- 230000009466 transformation Effects 0.000 claims description 15
- 238000004458 analytical method Methods 0.000 claims description 14
- 238000001514 detection method Methods 0.000 claims description 13
- 238000011524 similarity measure Methods 0.000 claims description 13
- 230000008859 change Effects 0.000 claims description 9
- 238000010276 construction Methods 0.000 claims description 9
- 238000003384 imaging method Methods 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 8
- 238000000691 measurement method Methods 0.000 claims description 6
- 230000000903 blocking effect Effects 0.000 claims description 4
- 238000005286 illumination Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 238000002474 experimental method Methods 0.000 abstract description 7
- 230000009286 beneficial effect Effects 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 8
- 230000004927 fusion Effects 0.000 description 5
- 238000003672 processing method Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000008030 elimination Effects 0.000 description 3
- 238000003379 elimination reaction Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请提出一种改进Shi‑Tomasi特征提取和自相似性描述符的多源遥感图像配准方法，并对Shi‑Tomasi角点提取方法和自相似性描述符进行了特征和性能提升，首先通过Shi‑Tomasi特征点提取方法在异源影像上提取出大量的点特征，再利用自相似性描述符进行特征描述，完成图像匹配，通过图像匹配建立的两幅图像的连接点关系，即可利用简单的空间变换模型实现多源遥感图像的配准，自相似性描述符反映图像局部几何布局，虽然自相似性描述符能够较好的反映灰度值非线性变换的异源图像，但其辨识度较差，因此本申请针对于自相似性描述符这一缺点进行改进。实验证明，本申请方法与改进有助于提高多源遥感图像配准的准确度和效率。
Description
技术领域
本申请涉及一种多源遥感影像配准方法，特别涉及一种空间布局相似计算的多源遥感影像配准方法，属于遥感影像配准技术领域。
背景技术
在数字影像处理中，影像配准是一项重要且基础的技术，它既是后续影像融合、影像分类等影像处理技术的先决条件，同时影像配准也广泛运用于医学分析、目标识别、计算机视觉及遥感影像处理等领域。
随着航空航天技术的快速发展，各类遥感平台层出不穷，传感器技术不断发展，越来越多的异源遥感影像数据被技术人员获取并加以利用。如各类低空无人机、各类分辨率的商业可见光、红外及多光谱影像和合成孔径雷达SAR影像等。
由于不同来源的遥感影像的成像原理不同,它们反映出的影像信息也不完全一样，差异主要体现在分辨率、辐射特性、时相等各方面。在遥感和计算机视觉技术不断进步中,人们希望能从遥感影像中获取到更多的信息以解决更加复杂的问题。但仅仅依靠一张影像难以完整表达该地区的地形、地貌及地物特征，从多源遥感影像获取的同一地区的多幅影像能够形成有效互补，产生更丰富的地理信息。因此，将这些多源数据进行影像配准非常重要。
多源遥感影像都分别具有自身的局限性,它们相互之间也存在一定的差异性，多源遥感影像能够优势互补，影像配准之后可提高遥感影像处理的效率。另一方面,随着影像配准技术不断提高，已经产生了一系列的针对各类多源遥感影像的配准方法，但每一类问题的处理方法都不相同，这也给处理方法增添了很大困难。对于多源遥感影像数据，由于视角、灰度变换、特征等方面都存在较大差异，现有技术的影像配准方法并不能有效配准，并且算法精度和效率也不尽如人意。如何尽量去适应多数情况下的多源遥感影像配准，并且尽量提高配准的精度和速度，是一个非常具有挑战性的工作。
由于影像融合、影像分类等遥感影像处理技术，必须要先完成配准。配准的准确率、对复杂变化的抵抗能力，甚至配准的速度及效率等都会直接影响到后期融合及分类效果，当前多源遥感影像配准方法的性能存在较大短板。研发能够有效提高各类多源遥感影像配准的准确度、速度及稳健性的方法，是影像配准的一个关键点，具有十分重要的意义。
多源遥感影像往往具有复杂的变化,例如不同时相、不同视角、不同波段、不同成像传感器等。由于这些原因，基准影像和浮动影像之间具有非线性灰度变化，采用传统的配准方法已无法在两幅影像上寻找到合理的相似部分。
随着对多源传感器遥感影像配准技术的发展,如今已经涌现出了一些解决方案。现有技术多源影像配准存在的主要问题是：
第一，同一区域的多源遥感影像灰度差异大且极易存在非线性灰度差异，导致提取同名特征较困难。由于尺度不变特征变换算法(SIFT)对于影像具有尺度和旋转不变性，当两幅配准影像的灰度差异及其复杂时，SIFT算法仅能提取出少量的相似特征点，仅对于粗匹配有效果。为尽量提高检测出的特征点的数量及正确率，现有技术为了适应多源影像配准，进行了一些改进，但这些方法同名特征提取数量偏少，且只采用了特征局部的信息，会导致对于非线性的灰度差异十分敏感。
第二，相似性测度的选取多样复杂。由于多传源遥感影像配准两两之间组合繁多，需要具体情况具体分析，导致在一种情形下能有效实现配准的相似性测度在另一情况下并不适用，基于互信息的方法由于抵抗多源遥感影像的非线性灰度差异具有一定的稳健性,因此被广泛运用与医学影像配准和多源遥感影像配准中，但计算较为复杂，并没有一种测度能较好的适应复杂的多源遥感影像配准的多种情况，要根据处理的遥感影像的具体情况进行分析，合理选择相似性测度，并不存在一种能适配所有情况的相似性测度。
第三，影像配准的速度及精度无法满足应用需求。如互信息引入到影像配准领域,这种方法需要利用到影像中所有像素点的坐标值进行计算，复杂度极高。影像配准的速度和精度相互制衡，在保证精度的情况下尽量提升速度,是一个需要不断突破的过程。
综上所述，现有技术的多源遥感影像配准方法还存在许多不足，本申请的难点和待解决的问题主要集中在以下方面：
第一，多源遥感影像都分别具有自身的局限性,它们相互之间也存在一定的差异性，多源遥感影像能够优势互补，影像配准之后可提高遥感影像处理的效率，但现有技术一系列的针对各类多源遥感影像的配准方法，每一类问题的处理方法都不相同，这也给处理方法增添了很大困难，对于多源遥感影像数据，由于视角、灰度变换、特征等方面都存在较大差异，现有技术的影像配准方法并不能有效配准，并且算法精度和效率也不尽如人意。如何尽量去适应多数情况下的多源遥感影像配准，并且尽量提高配准的精度和速度，是本申请亟需解决的一项非常具有挑战性的工作；
第二，多源遥感影像往往具有复杂的变化,例如不同时相、不同视角、不同波段、不同成像传感器等，由于这些原因，基准影像和浮动影像之间具有非线性灰度变化，采用传统的配准方法已无法在两幅影像上寻找到合理的相似部分；同一区域的多源遥感影像灰度差异大且极易存在非线性灰度差异，导致提取同名特征较困难，当两幅配准影像的灰度差异及其复杂时，SIFT算法仅能提取出少量的相似特征点，仅对于粗匹配有效果，为尽量提高检测出的特征点的数量及正确率，现有技术为进行了一些改进，但这些方法同名特征提取数量偏少，且只采用了特征局部的信息，会导致对于非线性的灰度差异十分敏感；
第三，由于多传源遥感影像配准两两之间组合繁多，需要具体情况具体分析，导致在一种情形下能有效实现配准的相似性测度在另一情况下并不适用，基于互信息的方法被广泛运用与医学影像配准和多源遥感影像配准中，但计算较为复杂，并没有一种测度能较好的适应复杂的多源遥感影像配准的多种情况，要根据处理的遥感影像的具体情况进行分析，合理选择相似性测度，并不存在一种能适配所有情况的相似性测度。现有技术影像配准的速度及精度无法满足应用需求，如互信息引入到影像配准领域,复杂度极高，影像配准的速度和精度相互制衡，在保证精度的情况下很难提升速度。
第四，现有技术Shi-Tomasi角点无法确定检测出的特征点在影像中的分布，因为它们都是基于一个固定的临界值来提取角点，进行后续的影像匹配和配准时，需要顾及到这一因素的影响。多源遥感影像由于灰度值具有非线性变化,导致相同特征的邻域利用现有技术的SIFT、SURF、GLOH等表示符不再适用，虽然这些表示符具有一定的稳健性，但它们的特异性不够好,对于多源影像相同点位的描述差异很大,即特异性较差。多源遥感影像由于灰度值具有非线性变化,导致相同特征的邻域利用现有技术的SIFT、SURF、GLOH等表示符不再适用，虽然这些表示符具有一定的稳健性，但它们的特异性不够好,对于多源影像相同点位的描述差异很大,即特异性较差。
多源遥感影像配准一直是遥感影像处理的重点与难点，现有技术缺少自动化、高精度、高准确率、快速的处理方法，无法有效适应越来越多的原理各异的传感器遥感影像的配准。
发明内容
本申请从多源影像间的相似点，即影像空间布局出发,轮廓信息(整体空间布局)、局部布局与形状特征(局部空间布局)，完成多源影像间的配准。与现有技术基于显著性的归一化互信息配准方法相比，由于充分考虑到了多源影像间的相似度，具有更高的适用性及精度，这也反映了利用多源影像间相似的空间布局进行配准是可靠和高效的，本申请还对Shi-Tomasi角点提取方法和自相似性描述符进行了特征和性能提升，首先通过Shi-Tomasi特征点提取方法在异源影像上提取出大量的点特征，再利用自相似性描述符进行特征描述，完成图像匹配，通过图像匹配建立的两幅图像的连接点关系，即可利用简单的空间变换模型实现多源遥感图像的配准，自相似性描述符反映图像局部几何布局，但其辨识度较差，因此本申请针对于自相似性描述符这一缺点进行改进，本申请方法与改进有助于提高多源遥感图像配准的准确度和效率。
为实现以上技术下效果，本申请所采用的技术方法如下：
空间布局相似计算的多源遥感影像配准方法，基于多源影像具有相似的空间布局、形状特征因素，研发设计基于分块改进Shi-Tomasi和自相似度表示符的多源遥感影像配准，基于Shi-Tomasi角点特征提取和基于局部自相似性的特征表达，将其改进并融合，通过对Shi-Tomasi算法进行改进得到多源影像上一致分布的角点信息，并通过角点邻域局部相似的空间布局的自相似性表示符构建，完成匹配并最终实现配准；
基于多源遥感影像的相似部分总存在相同的角点,通过实验比较得出Shi-Tomasi提取出的角点质量更高，基于多源遥感影像提取出的角点分布不均匀的情况影响配准效果，提出一种基于分块改进Shi-Tomasi角点提取,在影像上提取出一致分布的角点，然后提出一种基于影像空间布局的特征表示符局部自相似度表示符，它仅与影像局部邻域内的空间布局相关，适用于多源影像的匹配与配准，还对局部自相似度表示符的进行了特征改进以及维数控制，使其具有旋转不变性和更好的特异性，通过提取出的一致性分布角点和基于影像局部空间布局的表示符进行影像匹配，最后通过RANSAC算法剔除粗差点；
本申请也对Shi-Tomasi角点提取方法和自相似性描述符进行了特征和性能提升，首先基于Shi-Tomasi算子，通过一种分块的策略，改善角点在影像整体的分布情况，通过Shi-Tomasi特征点提取方法在异源影像上提取出大量的点特征，再采用多源影像间相似的空间布局信息，提出一种基于影像局部的布局与形状信息的自相似度表示符，并对其特征和性能加以改进，最终通过影像特征匹配完成多源遥感影像的配准，通过图像匹配建立的两幅图像的连接点关系，即利用简单的空间变换模型实现多源遥感图像的配准，同时，针对于自相似性描述符其辨识度较差进行改进，进一步提高多源遥感图像配准的准确度和效率。
空间布局相似计算的多源遥感影像配准方法，进一步的，对Shi-Tomasi算子进行了以下改进：
改进一：将影像均匀分成m×m块独立不重叠的感兴趣区域，m是一个经验值，一幅512×512像素的影像被分割成4×4共16幅128×128像素的图像；
改进二：将每一块区域的影像进行Shi-Tomasi角点检测,将Shi-Tomasi角点的值设定为n，n的值由最终整幅影像需要确定的角点数量决定，假设整幅影像坍检测出N个特征角点，那么n的取值如式1所示：
基于此策略进行角点检测，则每个兴趣区域都有相同数量的角点,使得角点均匀分布在整幅影像上，加大多源影像提取出更多同名点的可能性。
空间布局相似计算的多源遥感影像配准方法，进一步的，基于改进的自相似度表示符特征表达：在两幅影像都得到大量相似特征之后，采用一种相似度度量方法来对这些特征进行评价,根据相似度度量方法找出两幅影像之间的同名特征的步骤称为特征表达，用于进行特征表达的特征向量称为特征表示符；
基于改进的自相似度表示符特征表达包括：构造自相似度表示符、表示符特征改进、表示符变量控制。
空间布局相似计算的多源遥感影像配准方法，进一步的，局部自相似度表示符构造方法为：首先确定特征点q为中心的邻域窗口CenRegi，取41×41像素大小的邻域窗口，然后将取特征点为中心的邻域小窗口SmaPatch，取5×5或者3×3像素大小的邻域小窗口，小窗口用来与邻域窗口计算相似度，相似度测度采用灰度的平方和差异SSD来计算，将SmaPatch作为模板,将CenRegi作为初始影像，做相似度测度为SSD的模板匹配，最后获取整个邻域的SSDq，获取邻域的SSD值后，将SSD进行归一化处理，去除噪声、纹理对特征表示符带来的影响，转换到一个关联曲面Cp中，具体处理如式2：
unoise是一个常量，用于表示可以接受的光照和噪声的变化值，在本申请中取为1000，uautoq表示q点周围半径为1的区域的SSD的最大值，顾及影像的纹理和对比度对表示符带来的影响。
空间布局相似计算的多源遥感影像配准方法，进一步的，为去除空间变形带来的影响，将关联曲面C转换到对数极坐标中，局部自相似度表示符的对数极坐标按照离q点的距离和角度分别采样，分为20个角度采样和4个距离采样，一共形成80个容器，取每个容器中关联曲面值的最大值填充该容器，最后，将表示符二值化，用以去除邻域内灰度变化带来的影响；
局部自相似度表示符的维度与所选择的极坐标容器数量关联，设在对数极坐标构建时的角度采样为mθ，半径距离采样为mr,，那么局部自相似度表示符的维度a为：
a＝mθ×mr 式3
检测出的同一角点具有几乎完全相同的局部自相似度表示符，将对数极坐标每一块容器表示为列向量表示符后,局部自相似度表示符能抵抗多源影像中出现的非线性灰度差异。
空间布局相似计算的多源遥感影像配准方法，进一步的，表示符特征改进：
改进1：将邻域小窗口CenRegi的形状从5×5的矩形改为半径为5的小圆，利用小圆和圆形邻域窗口做SSD运算，投影到对数极坐标系中时，圆更符合人眼成像原理，与对数极坐标相符合，通过更好的抵抗旋转变化给表示符带来的影响；
改进2：对关联曲面值进行主方向确定，使表示符具有旋转不变性，在这一步改进中，借鉴SIFT确定主方向的思想，通过高斯加权直方图的方法统计关联曲面360度角方向的关联曲面极大值，该极大值被认为是主方向，按照设定的角度间隔采样；
改进3：将通过直方图统计出来的主方向旋转至关联曲面的影像坐标系的Y方向，消除旋转对表示符的影响；
改进4：对表示符进行分组，提高特征向量的特异性，邻域内所求的局部自相似度表示符关联值对多源影像的显著性灰度差异具有抵抗性，按照邻域内所有像素点的关联值排序，按照从大到小的顺序分为mg组，一共形成两组特征表示符，增加特征向量的维数，从而增加了表示符的特异性，；
改进5：进一步增加表示符的特异性,在本申请中不再仅仅采用最大值作为对数极坐标中每一个容器内的值，而是采用最大值和中值来共同表示这个值，为判断最大值和中值的控制比例，本申请对其进行了实验分析，最终分析发现当容器内值取为式4所示时，效果最好：
Binval＝MaxCq-MedianCq/2 式4
其中，Binval代表对数极坐标每个容器内取值，MaxCq代表该区域内关联曲面值的最大值，MedianCq代表该区域内关联曲面值的中值。
空间布局相似计算的多源遥感影像配准方法，进一步的，表示符变量控制：经过改进局部自相似度表示符的旋转不变性和特异性后，控制表示符构造的变量主要包括：
变量1：对数极坐标的角度采样值mθ；
变量2：对数极坐标的半径采样值mr；
变量3：表示符的分组mg；
变量4：主方向确定时直方图采样值mh，在本申请中固定为按10度划分为mh＝36个采样，不加以控制；
变量4：邻域窗口的大小N×M，小窗口的半径大小M×M，本申请N＝41、M＝3时表示符效果最好，就不加以控制；
其中，影响表示符的维度的为mθ、mr、mg，经过分组后，表示符的维数d*为：
d*＝mθ×mr×mg 式5
表示符的维数是影响表示符性能的一个重要方面，按照分块的Shi-Tomasi角点提取方法，提取出特征点数为90个，利用改进后的局部自相似度表示符进行匹配得到各取值情况下匹配出的点对数mqa，通过对比匹配的正确情况，进而得到正确的点对数mcor，在设计维数变量时，将其的大小控制在表示符维数大小120到150之间，角度采样取12、16、20；半径采样取3、4、5；分组采样取2、3、4。
空间布局相似计算的多源遥感影像配准方法，进一步的，影像匹配与粗差剔除：对本申请确定的特征向量,利用Brute Force暴力匹配模式进行特征表示符的匹配，全部遍历两个特征向量之间的欧式距离，如果它们的欧式距离小于一定的临界值要求，则将它们接受为匹配点对；
在遍历两个待配准的基准影像和浮动影像之间的特征向量时,从基准影像的第一个表示符开始与浮动影像的第一个表示符进行欧式距离的计算，如果不满足要求，则比较浮动影像的下一个表示符，直到满足临界值要求为止，重复这一过程直到所有的特征表示符都完成计算。最后将满足临界值要求的点对输出为Brute Force的匹配结果；
设基准影像的一个特征向量为T(x1,x2,…,xdim)，浮动影像的一个特征向量为
G(y1,y2,…,ydim)，那么两个向量之间的欧氏距离计算公式为：
其中dim为特征向量的维度；
基于RANSAC的方法来剔除粗差点，首先假设一个含有若干点的模型为初次正确的模型,然后将这个模型用于训练其它数据,如果有足够多的点能够适应这个模型,则将这个模型接纳为正确的模型，这时模型的点数量变多，此时利用所有满足要求的点再次估算这个模型，不满足这个模型要求的点被抛弃，迭代上述过程剔除所有粗差点；
通过随机样本一致性检验，最终得到最佳匹配的变换矩阵。
空间布局相似计算的多源遥感影像配准方法，进一步的，根据改进的基于分块的Shi-Tomasi算法提取角点和改进的局部自相似度表示符进行角点特征表达，并融合影像匹配和剔除粗差点方法，提出一种针对多源遥感影像配准的解决方案；
首先将两幅影像均匀分成16个区域，然后依次对其采用Shi-Tomasi角点检测的方法检测特征点，将每个区域的角点最大检测数量控制在5个，因此整幅影像上均匀分布了最大数量为80个的Shi-Tomasi角点；
检测出一致性分布的角点后，利用局部自相似度表示符特征表示符对角点进行特征表达，将局部自相似度表示符的维数确定为128维，其中对数极坐标投影角度采样取16，半径采样取4，特征表示符分组为2，此时表示符具有最好的特异性和稳健性；
采用Brute-Force计算表示符的欧氏距离，初步匹配出的点对共有36对，通过RANSAC算法，将粗差点检验并且剔除，剔除36组点对中的3组错误匹配，一共产生了33组匹配点；
对于正确匹配出的点对,采用投影变换计算出基准影像和浮动影像的旋转矩阵，并通过旋转矩阵实现两张影像间的配准。
与现有技术相比，本申请的创新点和优势在于：
第一，仅仅依靠一张影像难以完整表达该地区的地形、地貌及地物特征，从多源遥感影像获取的同一地区的多幅影像能够形成有效互补，产生更丰富的地理信息，但多源遥感影像配准是影像配准领域较为复杂的难点问题,本申请针对多源遥感影像存在着复杂的非线性灰度变化的问题,将简单利用灰度运算来配准改进到利用影像的空间布局来进行配准,并且结合基于灰度和特征的两种配准方法的优势,实现空间布局相似计算的多源遥感影像配准,并取得了较好效果，解决了多源遥感影像数据视角、灰度变换、特征等方面都存在较大差异，不能有效配准的问题，配准精度和效率大幅提高，能够适应多数情况下的多源遥感影像配准，由于配准的准确率、对复杂变化的抵抗能力，配准的速度及效率等都会直接影响到后期融合及分类效果，本申请能够有效提高各类多源遥感影像配准的准确度、速度及稳健性的方法，是影像配准的一个关键突破点，具有巨大的运用价值；
第二，本申请提出一种基于分块改进Shi-Tomasi和自相似度表示符的多源遥感影像配准方法，首先基于Shi-Tomasi算子，通过一种分块的策略，改善角点在影像整体的分布情况，采用多源影像间相似的空间布局信息，提出一种基于影像局部的布局与形状信息的自相似度表示符，并对其特征和性能加以改进，最终通过影像特征匹配完成多源遥感影像的配准。实验表明，该方法能够得到更高的精度,并且在适应SAR和可见光配准的情况下，精度要更高，对不同时相、不同波段、不同成像传感器的遥感影像配准取得了满意效果，利用多源影像间相似的空间布局和形状特征进行配准可靠和高效；
第三，本申请从多源影像间的相似点，即影像空间布局出发,轮廓信息(整体空间布局)、局部布局与形状特征(局部空间布局)，完成多源影像间的配准。与现有技术基于显著性的归一化互信息配准方法相比，由于充分考虑到了多源影像间的相似度，具有更高的适用性及精度，这也反映了利用多源影像间相似的空间布局进行配准是可靠和高效的，本申请还对Shi-Tomasi角点提取方法和自相似性描述符进行了特征和性能提升，首先通过Shi-Tomasi特征点提取方法在异源影像上提取出大量的点特征，再利用自相似性描述符进行特征描述，完成图像匹配，通过图像匹配建立的两幅图像的连接点关系，即可利用简单的空间变换模型实现多源遥感图像的配准，自相似性描述符反映图像局部几何布局，但其辨识度较差，因此本申请针对于自相似性描述符这一缺点进行改进。实验证明，本申请方法与改进有助于提高多源遥感图像配准的准确度和效率。
第四，本申请基于分块改进Shi-Tomasi角点提取，每个兴趣区域都有相同数量的角点,使得角点均匀分布在整幅影像上，虽然是不同质量的角点，但加大了多源影像提取出更多同名点的可能性，无论是红外影像还是可见光影像，检测出的角点都布满了整张图像，分布要比原方法均匀，这说明本申请方法对于改进角点内的分布情况有利。本申请基于改进的自相似度表示符特征表达，特征表示符稳健性和特异性好，能够抵抗影像出现空间变换、噪声等影响，不同的特征的表示符能够互相之间区分开来，而且两幅影像相同位置的特征的表示符相似，通过测试，本申请得到的完成情况(适用性)、精度(中误差)、效率(配准时间)都有较大提高。
附图说明
图1是Shi-Tomasi算子与本申请改进后的红外图像结果对比示意图。
图2是Shi-Tomasi算子与本申请改进后的可见光图像结果对比示意图。
图3是局部自相似度表示符的主要构造内容示意图。
图4是局部自相似度表示符的构造流程示意图。
图5是表示符特征改进将矩形邻域改为圆形邻域示意图。
图6是四种不同的取值情况时的局部自相似度表示符结果辨识度示意图。
图7是改进的自相似度表示符的变量控制结果示意图。
图8是RANSAC影像匹配剔除初差点方法步骤示意图。
图9是基于分块改进Shi-Tomasi和自相似度表示符的多源遥感影像配准步骤图。
图10是基于分块改进Shi-Tomasi角点提取结果示意图。
图11是采用局部自相似度表示符特征初步匹配的结果示意图。
图12是本申请剔除粗差后的结果示意图。
图13是五组数据利用本申请方法与SIFT算法在匹配效率上的对比图。
具体实施方法
下面结合附图，对本申请提供的空间布局相似计算的多源遥感影像配准方法的技术方案进行驶一步的描述，使本领域的技术人员能够更好的理解本申请并能够予以实施。
影像配准寻求若干不同成像条件下的影像正确映射关系，对于遥感影像，它是分类、融合的前提条件,遥感影像配准的效果同时影响后续相关应用。同时，遥感影像获取的途径也越来越多，对多源遥感影像的配准有利于得到更丰富的光谱、时相、空间信息。
但多源遥感影像间具有复杂的灰度、波段、时相等变化，一些针对同源数据的影像配准方法并不适用。因此本申请从多源影像具有相似的空间布局、形状特征因素出发，针对性的研发设计了基于分块改进Shi-Tomasi和自相似度表示符的多源遥感影像配准，同时通过实验比较分析，对不同时相、不同波段、不同成像传感器的遥感影像配准取得了满意效果。
本申请基于Shi-Tomasi角点特征提取和基于局部自相似性的特征表达，将其改进并融合，通过对Shi-Tomasi算法进行改进得到多源影像上一致分布的角点信息，并通过角点邻域局部相似的空间布局的自相似性表示符构建，完成匹配并最终实现配准。该方法在可靠性及精度上都有较好表现。
通过设计实验比较分析本申请方法的适用性、精度及效率，结果证明利用多源影像间相似的空间布局和形状特征进行配准是可靠和高效的。
本申请提出一种改进Shi-Tomasi特征提取和自相似性描述符的多源遥感图像配准方法，并对Shi-Tomasi角点提取方法和自相似性描述符进行了特征和性能提升，首先通过Shi-Tomasi特征点提取方法在异源影像上提取出大量的点特征，再利用自相似性描述符进行特征描述，完成图像匹配，通过图像匹配建立的两幅图像的连接点关系，即可利用简单的空间变换模型实现多源遥感图像的配准，自相似性描述符反映图像局部几何布局，虽然自相似性描述符能够较好的反映灰度值非线性变换的异源图像，但其辨识度较差，因此本申请针对于自相似性描述符这一缺点进行改进。实验证明，本申请方法与改进有助于提高多源遥感图像配准的准确度和效率。
一、基于分块改进Shi-Tomasi角点提取
由于Shi-Tomasi角点基于邻域窗口内的角点灰度值突变规则，相同传感器的影像和不同传感器的影像间均普遍存在，对于不同传感器的遥感影像也能检测出相同的角点。Shi-Tomasi角点检测的结果在多源影像上表现几乎一致，这是因为它们主要判断的是灰度的突变，而不是灰度值的变化大小，只要影像表现的是同一区域，同一角点理论上都具有这一变化，因此Shi-Tomasi角点适用于多源影像的特征提取。但Shi-Tomasi角点无法确定检测出的特征点在影像中的分布，因为它们都是基于一个固定的临界值来提取角点。进行后续的影像匹配和配准时，需要顾及到这一因素的影响。为使Shi-Tomasi角点能够确定检测出的特征点在影像中的分布，本申请对Shi-Tomasi算子进行了以下改进：
改进一：将影像均匀分成m×m块独立不重叠的感兴趣区域，m是一个经验值，一幅512×512像素的影像被分割成4×4共16幅128×128像素的图像；
改进二：将每一块区域的影像进行Shi-Tomasi角点检测,将Shi-Tomasi角点的值设定为n，n的值由最终整幅影像需要确定的角点数量决定，假设整幅影像坍检测出N个特征角点，那么n的取值如式1所示：
基于此策略进行角点检测，则每个兴趣区域都有相同数量的角点,使得角点均匀分布在整幅影像上，虽然是不同质量的角点，但这加大了多源影像提取出更多同名点的可能性。图1和图2是原方法(左)跟本申请基于分块改进的方法(右)检测出的角点结果对比图，原方法设定的角点最大数量为80与本申请基于分块改进的方法设定的每个区域5个角点的总量相等。从对比图中发现，无论是红外影像还是可见光影像，检测出的角点都布满了整张图像，分布要比原方法均匀，这说明本申请方法对于改进角点内的分布情况有利。
二、基于改进的自相似度表示符特征表达
特征表达是影像匹配中的重要一环，在两幅影像都得到大量相似特征之后，采用一种相似度度量方法来对这些特征进行评价,根据相似度度量方法找出两幅影像之间的同名特征的步骤称为特征表达，用于进行特征表达的特征向量称为特征表示符。
优秀的特征表示符必须具有两个特性：稳健性和特异性，稳健性是指表示符能够抵抗影像出现空间变换、噪声等影响；特异性是指不同的特征的表示符能够互相之间区分开来，而且两幅影像相同位置的特征的表示符相似。
多源遥感影像由于灰度值具有非线性变化,导致相同特征的邻域利用现有技术的SIFT、SURF、GLOH等表示符不再适用，虽然这些表示符具有一定的稳健性，但它们的特异性不够好,对于多源影像相同点位的描述差异很大,即特异性较差。
(一)构造自相似度表示符
局部自相似度表示符基于影像的空间布局构造，与局部范围内的图形形状有关系，而与影像在该形状处的灰度、梯度、纹理信息是否相似关系不大。
局部自相似度表示符构造方法为：首先确定特征点q为中心的邻域窗口CenRegi，取41×41像素大小的邻域窗口，然后将取特征点为中心的邻域小窗口SmaPatch，取5×5或者3×3像素大小的邻域小窗口，小窗口用来与邻域窗口计算相似度，相似度测度采用灰度的平方和差异SSD来计算，将SmaPatch作为模板,将CenRegi作为初始影像，做相似度测度为SSD的模板匹配，最后获取整个邻域的SSDq，获取邻域的SSD值后，将SSD进行归一化处理，去除噪声、纹理对特征表示符带来的影响，转换到一个关联曲面Cp中，具体处理如式2：
unoise是一个常量，用于表示可以接受的光照和噪声的变化值，在本申请中取为1000，uautoq表示q点周围半径为1的区域的SSD的最大值，顾及影像的纹理和对比度对表示符带来的影响。
为去除空间变形带来的影响，将关联曲面C转换到对数极坐标中，局部自相似度表示符的对数极坐标按照离q点的距离和角度分别采样，分为20个角度采样和4个距离采样，一共形成80个容器，取每个容器中关联曲面值的最大值填充该容器，最后，将表示符二值化，用以去除邻域内灰度变化带来的影响。综上所示，局部自相似度表示符的构造如图3所示.
在图3中,(A)表示对局部邻域取大窗口和小窗口用于计算局部邻域的SSD值，(B)表示对SSD进行归一化操作转化为关联曲面，(C)表示将关联曲面投影到每一块对数极坐标容器中的列向量表示，(D)表示将表示符用对数极坐标形式表示。
局部自相似度表示符的构造流程如图4所示，局部自相似度表示符的维度与所选择的极坐标容器数量关联，设在对数极坐标构建时的角度采样为mθ，半径距离采样为mr,，那么局部自相似度表示符的维度a为：
a＝mθ×mr 式3
检测出的同一角点具有几乎完全相同的局部自相似度表示符，将对数极坐标每一块容器表示为列向量表示符后,局部自相似度表示符能抵抗多源影像中出现的非线性灰度差异。
(二)表示符特征改进
局部自相似度表示符特异性较差，局部自相似度表示符每一个容器内的关联曲面灰度极大值差异并不大,可能会造成一些误匹配情况：即使特征表示符相似，却表示的并不是同一特征点，给匹配时的可允许误差临界值设置带来困难，另外，局部自相似度表示符对旋转的抵抗能力较差。因此，本申请进一步通过一些改进提高局部自相似度表示符的性能：
改进1：将邻域小窗口CenRegi的形状从5×5的矩形改为半径为5的小圆，利用小圆和圆形邻域窗口做SSD运算，投影到对数极坐标系中时，圆更符合人眼成像原理，与对数极坐标相符合，通过更好的抵抗旋转变化给表示符带来的影响，如图5所示；
改进2：对关联曲面值进行主方向确定，使表示符具有旋转不变性，在这一步改进中，借鉴SIFT确定主方向的思想，通过高斯加权直方图的方法统计关联曲面360度角方向的关联曲面极大值，该极大值被认为是主方向，按照设定的角度间隔采样；
改进3：将通过直方图统计出来的主方向旋转至关联曲面的影像坐标系的Y方向，极大值都位于Y方向，消除旋转对表示符的影响。
改进4：对表示符进行分组，提高特征向量的特异性，邻域内所求的局部自相似度表示符关联值对多源影像的显著性灰度差异具有抵抗性，按照邻域内所有像素点的关联值排序，按照从大到小的顺序分为mg组，一共形成两组特征表示符，增加特征向量的维数，从而增加了表示符的特异性，本申请的实验中创建一个被分为两组的局部自相似度表示符；
改进5：中值是事物发展趋势的一个稳健估算，为进一步增加表示符的特异性,在本申请中不再仅仅采用最大值作为对数极坐标中每一个容器内的值，而是采用最大值和中值来共同表示这个值，为判断最大值和中值的控制比例，本申请对其进行了实验分析，最终分析发现当容器内值取为式4所示时，效果最好：
Binval＝MaxCq-MedianCq/2 式4
其中，Binval代表对数极坐标每个容器内取值，MaxCq代表该区域内关联曲面值的最大值，MedianCq代表该区域内关联曲面值的中值。图6表示了四种不同的取值情况时的局部自相似度表示符，从中可以发现，第二种即(式4)的结果最具有辨识度，其次为最大值和中值的差，直接用最大值和中值表示，表示符的可区分度都较小。
(三)表示符变量控制
经过改进局部自相似度表示符的旋转不变性和特异性后，如图7所示，控制表示符构造的变量主要包括：
变量1：对数极坐标的角度采样值mθ；
变量2：对数极坐标的半径采样值mr；
变量3：表示符的分组mg；
变量4：主方向确定时直方图采样值mh，在本申请中固定为按10度划分为mh＝36个采样，不加以控制；
变量4：邻域窗口的大小N×M，小窗口的半径大小M×M，本申请N＝41、M＝3时表示符效果最好，就不加以控制；
其中，影响表示符的维度的为mθ、mr、mg，经过分组后，表示符的维数d*为：
d*＝mθ×mr×mg 式5
表示符的维数是影响表示符性能的一个重要方面，按照分块的Shi-Tomasi角点提取方法，提取出特征点数为90个，利用改进后的局部自相似度表示符进行匹配(不经过RANCAC处理)得到各取值情况下匹配出的点对数mqa，通过对比匹配的正确情况，进而得到正确的点对数mcor，在设计维数变量时，将其的大小控制在表示符维数大小120到150之间，角度采样取12、16、20；半径采样取3、4、5；分组采样取2、3、4。具体结果如表7所示。
从统计结果中可以得出，当表示符的维数为128时，即角度采样取16、半径采样取4，分组采样取2时，能匹配出更多的正确同名点。
(三)影像匹配与粗差剔除
对本申请确定的特征向量,利用Brute Force暴力匹配模式进行特征表示符的匹配，全部遍历两个特征向量之间的欧式距离，如果它们的欧式距离小于一定的临界值要求，则将它们接受为匹配点对。
在遍历两个待配准的基准影像和浮动影像之间的特征向量时,从基准影像的第一个表示符开始与浮动影像的第一个表示符进行欧式距离的计算，如果不满足要求，则比较浮动影像的下一个表示符，直到满足临界值要求为止，重复这一过程直到所有的特征表示符都完成计算。最后将满足临界值要求的点对输出为Brute Force的匹配结果。
设基准影像的一个特征向量为T(x1,x2,…,xdim)，浮动影像的一个特征向量为
G(y1,y2,…,ydim)，那么两个向量之间的欧氏距离计算公式为：
其中dim为特征向量的维度；
直接通过Brute Force的方法计算出的特征点对有很多的偏差，需要对其进行粗差点剔除。本申请基于RANSAC的方法来剔除粗差点，首先假设一个含有若干点的模型为初次正确的模型,然后将这个模型用于训练其它数据,如果有足够多的点能够适应这个模型,则将这个模型接纳为正确的模型，这时模型的点数量变多，此时利用所有满足要求的点再次估算这个模型，不满足这个模型要求的点被抛弃，迭代上述过程剔除所有粗差点。
本申请借鉴SIFT算法中RANSAC的实现，通过随机样本一致性检验，最终得到最佳匹配的变换矩阵，具体流程如图8。
三、方法设计与具体实现
本申请将根据改进的基于分块的Shi-Tomasi算法提取角点和改进的局部自相似度表示符进行角点特征表达，并融合影像匹配和剔除粗差点方法，提出一种针对多源遥感影像配准的解决方案，具体的步骤如图9所示。
实施例选用某地QuickBird可见光和红外遥感影像，左为可见光影像(作为基准影像)，右为红外影像(作为浮动影像)，两者存在较大的灰度变化，两幅影像的像幅均为512×512像素大小。
首先将两幅影像均匀分成16个区域，然后依次对其采用Shi-Tomasi角点检测的方法检测特征点，将每个区域的角点最大检测数量控制在5个，因此整幅影像上均匀分布了最大数量为80个的Shi-Tomasi角点。结果如图10所示。
检测出一致性分布的角点后，利用局部自相似度表示符特征表示符对角点进行特征表达，将局部自相似度表示符的维数确定为128维，其中对数极坐标投影角度采样取16，半径采样取4，特征表示符分组为2，此时表示符具有最好的特异性和稳健性。
采用Brute-Force计算表示符的欧氏距离，初步匹配出的点对共有36对。结果如图11所示，通过RANSAC算法，将粗差点检验并且剔除，剔除36组点对中的3组错误匹配，一共产生了33组匹配点，如图12所示。
对于正确匹配出的点对,采用投影变换计算出基准影像和浮动影像的旋转矩阵，并通过旋转矩阵实现两张影像间的配准。
四、实验分析
实验分析主要从三个方面：完成情况(适用性)、精度(中误差)、效率(配准时间)对基于分块改进Shi-Tomasi和自相似度表示符的多源遥感影像配准(以下简称本申请方法)进行实验分析。
利用本申请方法对五组实验进行配准的结果如图13所示，采用本申请方法能够实现上述五组多源遥感影像数据的配准，经过边缘检查，影像叠加情况良好，下面通过统计基准影像和浮动影像之间利用改进的局部自相似度表示符的正确匹配率Qcorr(不采用RANSAC)，并且与基础SIFT算法进行比较(正确匹配点数与点对数的比例)。在提取特征点的数量控制上，使本申请方法提出的Shi-Tomasi点总数与SIFT算法提取的总数尽量一致。具体对比结果如图13所示。
从图13中可以发现,本申请方法的匹配正确率对于三组数据的匹配都要比SIFT算法要高，其中SIFT算法对于数据b、数据c无法实现正确的匹配，匹配的正确点对占比仅有3.3％和4.9％，而采用本申请方法能够产生足够多的匹配点对，在这两组数据上的正确匹配率分别达到了94.4％和44.3％。
综上所述,本申请方法是一种能够应对多源遥感影像配准的方法，它对于有丰富空间形状的影像都具有较好的效果,这是因为本申请方法采用的表示符是一种基于影像空间布局的描述方法。
Claims (9)
1.空间布局相似计算的多源遥感影像配准方法，其特征在于，基于多源影像具有相似的空间布局、形状特征因素，研发设计基于分块改进Shi-Tomasi和自相似度表示符的多源遥感影像配准，基于Shi-Tomasi角点特征提取和基于局部自相似性的特征表达，将其改进并融合，通过对Shi-Tomasi算法进行改进得到多源影像上一致分布的角点信息，并通过角点邻域局部相似的空间布局的自相似性表示符构建，完成匹配并最终实现配准；
基于多源遥感影像的相似部分总存在相同的角点,通过实验比较得出Shi-Tomasi提取出的角点质量更高，基于多源遥感影像提取出的角点分布不均匀的情况影响配准效果，提出一种基于分块改进Shi-Tomasi角点提取,在影像上提取出一致分布的角点，然后提出一种基于影像空间布局的特征表示符局部自相似度表示符，它仅与影像局部邻域内的空间布局相关，适用于多源影像的匹配与配准，还对局部自相似度表示符的进行了特征改进以及维数控制，使其具有旋转不变性和更好的特异性，通过提取出的一致性分布角点和基于影像局部空间布局的表示符进行影像匹配，最后通过RANSAC算法剔除粗差点；
本申请也对Shi-Tomasi角点提取方法和自相似性描述符进行了特征和性能提升，首先基于Shi-Tomasi算子，通过一种分块的策略，改善角点在影像整体的分布情况，通过Shi-Tomasi特征点提取方法在异源影像上提取出大量的点特征，再采用多源影像间相似的空间布局信息，提出一种基于影像局部的布局与形状信息的自相似度表示符，并对其特征和性能加以改进，最终通过影像特征匹配完成多源遥感影像的配准，通过图像匹配建立的两幅图像的连接点关系，即利用简单的空间变换模型实现多源遥感图像的配准，同时，针对于自相似性描述符其辨识度较差进行改进，进一步提高多源遥感图像配准的准确度和效率。
2.根据权利要求1所述的空间布局相似计算的多源遥感影像配准方法，其特征在于，对Shi-Tomasi算子进行了以下改进：
改进一：将影像均匀分成m×m块独立不重叠的感兴趣区域，m是一个经验值，一幅512×512像素的影像被分割成4×4共16幅128×128像素的图像；
改进二：将每一块区域的影像进行Shi-Tomasi角点检测,将Shi-Tomasi角点的值设定为n，n的值由最终整幅影像需要确定的角点数量决定，假设整幅影像坍检测出N个特征角点，那么n的取值如式1所示：
基于此策略进行角点检测，则每个兴趣区域都有相同数量的角点,使得角点均匀分布在整幅影像上，加大多源影像提取出更多同名点的可能性。
3.根据权利要求1所述的空间布局相似计算的多源遥感影像配准方法，其特征在于，基于改进的自相似度表示符特征表达：在两幅影像都得到大量相似特征之后，采用一种相似度度量方法来对这些特征进行评价,根据相似度度量方法找出两幅影像之间的同名特征的步骤称为特征表达，用于进行特征表达的特征向量称为特征表示符；
基于改进的自相似度表示符特征表达包括：构造自相似度表示符、表示符特征改进、表示符变量控制。
4.根据权利要求1所述的空间布局相似计算的多源遥感影像配准方法，其特征在于，局部自相似度表示符构造方法为：首先确定特征点q为中心的邻域窗口CenRegi，取41×41像素大小的邻域窗口，然后将取特征点为中心的邻域小窗口SmaPatch，取5×5或者3×3像素大小的邻域小窗口，小窗口用来与邻域窗口计算相似度，相似度测度采用灰度的平方和差异SSD来计算，将SmaPatch作为模板,将CenRegi作为初始影像，做相似度测度为SSD的模板匹配，最后获取整个邻域的SSDq，获取邻域的SSD值后，将SSD进行归一化处理，去除噪声、纹理对特征表示符带来的影响，转换到一个关联曲面Cp中，具体处理如式2：
unoise是一个常量，用于表示可以接受的光照和噪声的变化值，在本申请中取为1000，uautoq表示q点周围半径为1的区域的SSD的最大值，顾及影像的纹理和对比度对表示符带来的影响。
5.根据权利要求4所述的空间布局相似计算的多源遥感影像配准方法，其特征在于，为去除空间变形带来的影响，将关联曲面C转换到对数极坐标中，局部自相似度表示符的对数极坐标按照离q点的距离和角度分别采样，分为20个角度采样和4个距离采样，一共形成80个容器，取每个容器中关联曲面值的最大值填充该容器，最后，将表示符二值化，用以去除邻域内灰度变化带来的影响；
局部自相似度表示符的维度与所选择的极坐标容器数量关联，设在对数极坐标构建时的角度采样为mθ，半径距离采样为mr,，那么局部自相似度表示符的维度a为：
a＝mθ×mr 式3
检测出的同一角点具有几乎完全相同的局部自相似度表示符，将对数极坐标每一块容器表示为列向量表示符后,局部自相似度表示符能抵抗多源影像中出现的非线性灰度差异。
6.根据权利要求1所述的空间布局相似计算的多源遥感影像配准方法，其特征在于，表示符特征改进：
改进1：将邻域小窗口CenRegi的形状从5×5的矩形改为半径为5的小圆，利用小圆和圆形邻域窗口做SSD运算，投影到对数极坐标系中时，圆更符合人眼成像原理，与对数极坐标相符合，通过更好的抵抗旋转变化给表示符带来的影响；
改进2：对关联曲面值进行主方向确定，使表示符具有旋转不变性，在这一步改进中，借鉴SIFT确定主方向的思想，通过高斯加权直方图的方法统计关联曲面360度角方向的关联曲面极大值，该极大值被认为是主方向，按照设定的角度间隔采样；
改进3：将通过直方图统计出来的主方向旋转至关联曲面的影像坐标系的Y方向，消除旋转对表示符的影响；
改进4：对表示符进行分组，提高特征向量的特异性，邻域内所求的局部自相似度表示符关联值对多源影像的显著性灰度差异具有抵抗性，按照邻域内所有像素点的关联值排序，按照从大到小的顺序分为mg组，一共形成两组特征表示符，增加特征向量的维数，从而增加了表示符的特异性，；
改进5：进一步增加表示符的特异性,在本申请中不再仅仅采用最大值作为对数极坐标中每一个容器内的值，而是采用最大值和中值来共同表示这个值，为判断最大值和中值的控制比例，本申请对其进行了实验分析，最终分析发现当容器内值取为式4所示时，效果最好：
其中，Binval代表对数极坐标每个容器内取值，MaxCq代表该区域内关联曲面值的最大值，MedianCq代表该区域内关联曲面值的中值。
7.根据权利要求1所述的空间布局相似计算的多源遥感影像配准方法，其特征在于，表示符变量控制：经过改进局部自相似度表示符的旋转不变性和特异性后，控制表示符构造的变量主要包括：
变量1：对数极坐标的角度采样值mθ；
变量2：对数极坐标的半径采样值mr；
变量3：表示符的分组mg；
变量4：主方向确定时直方图采样值mh，在本申请中固定为按10度划分为mh＝36个采样，不加以控制；
变量4：邻域窗口的大小N×M，小窗口的半径大小M×M，本申请N＝41、M＝3时表示符效果最好，就不加以控制；
其中，影响表示符的维度的为mθ、mr、mg，经过分组后，表示符的维数d*为：
d*＝mθ×mr×mg 式5
表示符的维数是影响表示符性能的一个重要方面，按照分块的Shi-Tomasi角点提取方法，提取出特征点数为90个，利用改进后的局部自相似度表示符进行匹配得到各取值情况下匹配出的点对数mqa，通过对比匹配的正确情况，进而得到正确的点对数mcor，在设计维数变量时，将其的大小控制在表示符维数大小120到150之间，角度采样取12、16、20；半径采样取3、4、5；分组采样取2、3、4。
8.根据权利要求1所述的空间布局相似计算的多源遥感影像配准方法，其特征在于，影像匹配与粗差剔除：对本申请确定的特征向量,利用Brute Force暴力匹配模式进行特征表示符的匹配，全部遍历两个特征向量之间的欧式距离，如果它们的欧式距离小于一定的临界值要求，则将它们接受为匹配点对；
在遍历两个待配准的基准影像和浮动影像之间的特征向量时,从基准影像的第一个表示符开始与浮动影像的第一个表示符进行欧式距离的计算，如果不满足要求，则比较浮动影像的下一个表示符，直到满足临界值要求为止，重复这一过程直到所有的特征表示符都完成计算，最后将满足临界值要求的点对输出为Brute Force的匹配结果；
设基准影像的一个特征向量为T(x1,x2,…,xdim)，浮动影像的一个特征向量为G(y1,y2,…,ydim)，那么两个向量之间的欧氏距离计算公式为：
其中dim为特征向量的维度；
基于RANSAC的方法来剔除粗差点，首先假设一个含有若干点的模型为初次正确的模型,然后将这个模型用于训练其它数据,如果有足够多的点能够适应这个模型,则将这个模型接纳为正确的模型，这时模型的点数量变多，此时利用所有满足要求的点再次估算这个模型，不满足这个模型要求的点被抛弃，迭代上述过程剔除所有粗差点；
通过随机样本一致性检验，最终得到最佳匹配的变换矩阵。
9.根据权利要求1所述的空间布局相似计算的多源遥感影像配准方法，其特征在于，根据改进的基于分块的Shi-Tomasi算法提取角点和改进的局部自相似度表示符进行角点特征表达，并融合影像匹配和剔除粗差点方法，提出一种针对多源遥感影像配准的解决方案；
首先将两幅影像均匀分成16个区域，然后依次对其采用Shi-Tomasi角点检测的方法检测特征点，将每个区域的角点最大检测数量控制在5个，因此整幅影像上均匀分布了最大数量为80个的Shi-Tomasi角点；
检测出一致性分布的角点后，利用局部自相似度表示符特征表示符对角点进行特征表达，将局部自相似度表示符的维数确定为128维，其中对数极坐标投影角度采样取16，半径采样取4，特征表示符分组为2，此时表示符具有最好的特异性和稳健性；
采用Brute-Force计算表示符的欧氏距离，初步匹配出的点对共有36对，通过RANSAC算法，将粗差点检验并且剔除，剔除36组点对中的3组错误匹配，一共产生了33组匹配点；
对于正确匹配出的点对,采用投影变换计算出基准影像和浮动影像的旋转矩阵，并通过旋转矩阵实现两张影像间的配准。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111402739.1A CN114119686A (zh) | 2021-11-24 | 2021-11-24 | 空间布局相似计算的多源遥感影像配准方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111402739.1A CN114119686A (zh) | 2021-11-24 | 2021-11-24 | 空间布局相似计算的多源遥感影像配准方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114119686A true CN114119686A (zh) | 2022-03-01 |
Family
ID=80371690
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111402739.1A Pending CN114119686A (zh) | 2021-11-24 | 2021-11-24 | 空间布局相似计算的多源遥感影像配准方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114119686A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117437530A (zh) * | 2023-10-12 | 2024-01-23 | 中国科学院声学研究所 | 合成孔径声纳感兴趣小目标孪生匹配识别方法及系统 |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102609707A (zh) * | 2012-01-12 | 2012-07-25 | 天津大学 | 一种通用的公共草图提取方法 |
| CN103839265A (zh) * | 2014-02-26 | 2014-06-04 | 西安电子科技大学 | 基于sift和归一化互信息的sar图像配准方法 |
| CN104067312A (zh) * | 2011-12-24 | 2014-09-24 | 高等技术学校 | 对噪声有鲁棒性的图像配准方法和系统 |
| CN105247573A (zh) * | 2013-06-11 | 2016-01-13 | 高通股份有限公司 | 用于数据库创建目的的交互式且自动3d对象扫描方法 |
| CN105550381A (zh) * | 2016-03-17 | 2016-05-04 | 北京工业大学 | 一种基于改进sift特征的高效图像检索方法 |
| CN106814450A (zh) * | 2017-03-16 | 2017-06-09 | 北京理工大学 | 一种基于液体透镜的自适应调焦方法及系统 |
| CN106897674A (zh) * | 2017-01-20 | 2017-06-27 | 北京理工大学 | 一种基于jpeg2000码流的在轨遥感图像城区检测方法 |
| CN106981077A (zh) * | 2017-03-24 | 2017-07-25 | 中国人民解放军国防科学技术大学 | 基于dce和lss的红外图像和可见光图像配准方法 |
| CN107563438A (zh) * | 2017-08-31 | 2018-01-09 | 西南交通大学 | 一种快速鲁棒的多模态遥感影像匹配方法和系统 |
| CN111028292A (zh) * | 2019-12-13 | 2020-04-17 | 中国电子科技集团公司第二十研究所 | 一种亚像素级图像匹配导航定位方法 |
| CN111063021A (zh) * | 2019-11-21 | 2020-04-24 | 西北工业大学 | 一种空间运动目标的三维重建模型建立方法及装置 |
| CN111079770A (zh) * | 2018-10-18 | 2020-04-28 | 三星电子株式会社 | 提取特征的方法、图像匹配的方法、及处理图像的方法 |
| CN112132165A (zh) * | 2019-06-24 | 2020-12-25 | 英特尔公司 | 用于生成图像特征点的二进制描述符的架构 |
| CN112596104A (zh) * | 2020-12-09 | 2021-04-02 | 成都理工大学 | 一种结合张量分解和全变分的地震资料去噪方法 |
| CN113643334A (zh) * | 2021-07-09 | 2021-11-12 | 西安电子科技大学 | 基于结构相似性的异源遥感图像配准方法 |
-
2021
- 2021-11-24 CN CN202111402739.1A patent/CN114119686A/zh active Pending
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104067312A (zh) * | 2011-12-24 | 2014-09-24 | 高等技术学校 | 对噪声有鲁棒性的图像配准方法和系统 |
| CN102609707A (zh) * | 2012-01-12 | 2012-07-25 | 天津大学 | 一种通用的公共草图提取方法 |
| CN105247573A (zh) * | 2013-06-11 | 2016-01-13 | 高通股份有限公司 | 用于数据库创建目的的交互式且自动3d对象扫描方法 |
| CN103839265A (zh) * | 2014-02-26 | 2014-06-04 | 西安电子科技大学 | 基于sift和归一化互信息的sar图像配准方法 |
| CN105550381A (zh) * | 2016-03-17 | 2016-05-04 | 北京工业大学 | 一种基于改进sift特征的高效图像检索方法 |
| CN106897674A (zh) * | 2017-01-20 | 2017-06-27 | 北京理工大学 | 一种基于jpeg2000码流的在轨遥感图像城区检测方法 |
| CN106814450A (zh) * | 2017-03-16 | 2017-06-09 | 北京理工大学 | 一种基于液体透镜的自适应调焦方法及系统 |
| CN106981077A (zh) * | 2017-03-24 | 2017-07-25 | 中国人民解放军国防科学技术大学 | 基于dce和lss的红外图像和可见光图像配准方法 |
| CN107563438A (zh) * | 2017-08-31 | 2018-01-09 | 西南交通大学 | 一种快速鲁棒的多模态遥感影像匹配方法和系统 |
| CN111079770A (zh) * | 2018-10-18 | 2020-04-28 | 三星电子株式会社 | 提取特征的方法、图像匹配的方法、及处理图像的方法 |
| CN112132165A (zh) * | 2019-06-24 | 2020-12-25 | 英特尔公司 | 用于生成图像特征点的二进制描述符的架构 |
| CN111063021A (zh) * | 2019-11-21 | 2020-04-24 | 西北工业大学 | 一种空间运动目标的三维重建模型建立方法及装置 |
| CN111028292A (zh) * | 2019-12-13 | 2020-04-17 | 中国电子科技集团公司第二十研究所 | 一种亚像素级图像匹配导航定位方法 |
| CN112596104A (zh) * | 2020-12-09 | 2021-04-02 | 成都理工大学 | 一种结合张量分解和全变分的地震资料去噪方法 |
| CN113643334A (zh) * | 2021-07-09 | 2021-11-12 | 西安电子科技大学 | 基于结构相似性的异源遥感图像配准方法 |
Non-Patent Citations (2)
| Title |
|---|
| "时间", 时间, 31 December 2017 (2017-12-31), pages 1 * |
| 杨威: ""基于几何布局的多源遥感图像配准方法研究"", 《武汉大学图书馆》, 31 December 2017 (2017-12-31), pages 59 - 69 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117437530A (zh) * | 2023-10-12 | 2024-01-23 | 中国科学院声学研究所 | 合成孔径声纳感兴趣小目标孪生匹配识别方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109299720B (zh) | 一种基于轮廓片段空间关系的目标识别方法 | |
| Otero | Anatomy of the SIFT Method | |
| CN108596197B (zh) | 一种印章匹配方法及装置 | |
| CN107145829B (zh) | 一种融合纹理特征和尺度不变特征的掌静脉识别方法 | |
| CN112085772B (zh) | 一种遥感图像配准方法及装置 | |
| CN109740606B (zh) | 一种图像识别方法及装置 | |
| Zhu et al. | SAR image registration based on multifeature detection and arborescence network matching | |
| Cheng et al. | Robust affine invariant feature extraction for image matching | |
| JP2013513168A (ja) | イメージ認識のための記述子パッチの高速部分空間射影 | |
| CN108564092A (zh) | 基于sift特征提取算法的向日葵病害识别方法 | |
| CN111797744B (zh) | 一种基于共现滤波算法的多模态遥感图像匹配方法 | |
| CN108550165A (zh) | 一种基于局部不变特征的图像匹配方法 | |
| CN112017223A (zh) | 基于改进SIFT-Delaunay的异源图像配准方法 | |
| Zeng et al. | Polar scale-invariant feature transform for synthetic aperture radar image registration | |
| CN114972458A (zh) | 一种可见光与红外热成像图像配准的方法及系统 | |
| CN114897705A (zh) | 一种基于特征优化的无人机遥感图像拼接方法 | |
| CN114119686A (zh) | 空间布局相似计算的多源遥感影像配准方法 | |
| Jin et al. | Registration of UAV images using improved structural shape similarity based on mathematical morphology and phase congruency | |
| Kim et al. | Fast line extraction from digital images using line segments | |
| CN108154107B (zh) | 一种确定遥感图像归属的场景类别的方法 | |
| CN113313725B (zh) | 含能材料药桶的桶口识别方法及系统 | |
| Wu et al. | An accurate feature point matching algorithm for automatic remote sensing image registration | |
| Rauyani et al. | ROI based Indonesian Paper Currency Recognition Using Canny Edge Detection | |
| KR100888674B1 (ko) | 주파수영역을 이용한 지폐의 유사도 측정방법 | |
| CN114565653A (zh) | 一种存在旋转变化和尺度差异的异源遥感图像匹配方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |