CN113570647A - 一种倾斜摄影与遥感光学图像之间立体目标空间配准方法 - Google Patents

一种倾斜摄影与遥感光学图像之间立体目标空间配准方法 Download PDF

Info

Publication number
CN113570647A
CN113570647A CN202110822453.2A CN202110822453A CN113570647A CN 113570647 A CN113570647 A CN 113570647A CN 202110822453 A CN202110822453 A CN 202110822453A CN 113570647 A CN113570647 A CN 113570647A
Authority
CN
China
Prior art keywords
image
remote sensing
oblique photography
sensing optical
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110822453.2A
Other languages
English (en)
Inventor
谢枫
张家倩
孟宪乔
邵松涛
吴睿
周贺
阮勇
刘耀中
王锦涛
严宇鹏
张炜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Energy Engineering Group Anhui Electric Power Design Institute Co Ltd
Original Assignee
China Energy Engineering Group Anhui Electric Power Design Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Energy Engineering Group Anhui Electric Power Design Institute Co Ltd filed Critical China Energy Engineering Group Anhui Electric Power Design Institute Co Ltd
Priority to CN202110822453.2A priority Critical patent/CN113570647A/zh
Publication of CN113570647A publication Critical patent/CN113570647A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种倾斜摄影与遥感光学图像之间立体目标空间配准方法，包括以下步骤：(1)读取倾斜摄影待配准图像与遥感光学参考图像，对每一幅图片构建尺度金字塔；(2)对每一幅倾斜摄影待配准图像与遥感光学参考图像提取特征点；(3)将提取的特征点生成特征描述符；(4)将提取的特征点进行匹配，并利用PROSAC算法剔除误匹配点对，得到正确的特征点匹配关系；(5)运用自适应变异的天牛群优化算法倾斜摄影待配准图像与遥感光学参考图像进行匹配，利用正确的特征点的匹配关系进行倾斜摄影源图像与遥感光学模板图像之间的立体目标空间配准。本发明能够提高遥感技术的图像分辨率，获得更具有真实感的遥感目标3‑D模型。

Description

一种倾斜摄影与遥感光学图像之间立体目标空间配准方法
技术领域
本发明涉及图像处理技术领域，具体涉及一种倾斜摄影与遥感光学图像之间立体目标空间配准方法。
背景技术
随着遥感技术发展及应用需求提高，相比于2-D(2-Dimension)信息，地物3-D(3-Dimension)信息不管在民用还是军用领域都具有更重大的意义，在立体空间中对遥感目标进行更加完善的三维描述。由于高分辨率遥感光学图像可以为目标三维信息提供更精确完整的图像数据来源，因此，基于光学图像的遥感光学立体成像技术成为当前研究热点。现有的遥感技术可以提供的图像数据分辨率有限。
发明内容
本发明的目的在于提供一种倾斜摄影与遥感光学图像之间立体目标空间配准方法，该方法将倾斜摄影与遥感图像进行结合，能够提高遥感技术的图像分辨率，获得更具有真实感的遥感目标3-D模型。
为实现上述目的，本发明采用了以下技术方案：
一种倾斜摄影与遥感光学图像之间立体目标空间配准方法，该方法包括以下步骤：
(1)读取倾斜摄影待配准图像与遥感光学参考图像，对每一幅图片构建尺度金字塔。尺度金字塔是利用对同一个图像按比例缩放提取，以得到不同比例下都可以得到的特征点，优点是可以对于后文提及的特征点在不同的远近尺度下都可以识别，即具有尺度不变性。
(2)对每一幅倾斜摄影待配准图像与遥感光学参考图像提取特征点；
(3)将提取的特征点生成特征描述符，以使特征点具有旋转不变性。
(4)将提取的特征点进行匹配，并利用PROSAC算法剔除误匹配点对，得到正确的特征点匹配关系。
(5)运用自适应变异的天牛群优化算法倾斜摄影待配准图像与遥感光学参考图像进行匹配，利用正确的特征点的匹配关系进行倾斜摄影源图像与遥感光学模板图像之间的立体目标空间配准。
进一步的，步骤(1)中所述尺度金字塔为8层按比例缩放的图像。尺度金字塔是多层按比例缩放的图像，能够在不同尺度下检测到的同一个特征点具有尺度不变性。
进一步的，步骤(2)中所述的“对每一幅倾斜摄影待配准图像与遥感光学参考图像提取特征点”，其具体包括以下步骤：
(21)对每一幅倾斜摄影待配准图像与遥感光学参考图像的尺度金字塔的每一层进行粗提取，仅保留在每一层都被提取到的特征点，作为候选特征点。
(22)在特征点提取过程中，采用ORB所用的FAST算法对特征点进行检测，基于特征点周围的图像灰度值，检测候选特征点周围一圈的像素值，若候选点周围邻域内有足够多的像素点超过了候选点的灰度差值的阈值，则认为该候选点为一个特征点。基于动态局部阈值法，即用自适应阈值分割的思想，采用以下公式将图像中的每个像素设置为不同的阈值；
Figure BDA0003172440270000021
其中，t为每个像素p的阈值，i表示候选点周围的像素点个数，16表示候选点周围的16个像素点，Imax为圆周上亮度最大的像素点的亮度,Imin为最低像素点的亮度,Ia为去掉Imax和Imin后剩余的各个像素点亮度的平均值；由于Imax，Imin和Ia均不是固定值，因此，t是动态局部阈值。
(23)为了减少计算量，对候选特征点进行快速筛选，得到每一幅倾斜摄影待配准图像与遥感光学参考图像正确的特征点。
快速筛选方法为：不需要将圆周上所有像素点与中心像素点p比较，直接检测圆周上第1，5，9，13个像素点的亮度(也可以选取2，6，10，14等，需间隔3个像素)。当有3个像素点的亮度大于Ip+t或者小于Ip-t时，则该像素点可能是候选点，否则直接排除。判断3个像素点为候选点后，检测3个像素包围环内覆盖的剩余6个像素点亮度，若剩余6个像素点的亮度均大于Ip+t或者小于Ip-t，则该p点是正确特征点。
进一步的，步骤(3)中所述的“将提取的特征点生成特征描述符；”，其具体包括以下步骤；
(31)采用以下公式求得特征点的灰度矩mwq，利用特征点的灰度矩确定特征点主方向：
Figure BDA0003172440270000031
其中，I(x,y)是灰度值，w与q的和为灰度矩的阶数，B为特征点邻域。
(32)根据局部区域一阶灰度矩
Figure BDA0003172440270000032
和
Figure BDA0003172440270000033
确定灰度矩质心C：
Figure BDA0003172440270000034
(33)设特征点的主方向为质心与特征点指尖的夹角θ，通过矩来计算特征点周边以r为半径范围内的质心，特征点坐标到质心形成一个向量作为该特征点的方向，将特征点的主方向与BRIEF描述子相结合，使其具有旋转不变性，该描述子为二进制串的形式：
Figure BDA0003172440270000035
其中，p(x)和q(y)为点对的灰度值，通过选择n个点对得到n维向量S:
Figure BDA0003172440270000036
进一步的，步骤(4)中所述利用PROSAC算法匹配特征点并剔除误匹配点对，此时作用的对象还是步骤(2)中已经粗略提取的在倾斜摄影待配准图像与遥感光学参考图像上面的特征点，直接进行特征点匹配的话，可能存在错误的对应关系，这个会导致后面图像配准出现误差，故用PROSAC算法剔除。
步骤(4)所述的“将提取的特征点进行匹配，并利用PROSAC算法剔除误匹配点对，得到正确的特征点匹配关系；”，其具体包括以下步骤：
(41)采用以下公式求得特征点匹配对的最邻近和次邻近的汉明距离的比值R：
Figure BDA0003172440270000041
其中，Vp为特征点p的特征向量，Vaq为一幅图中最邻近点q的特征向量，Vmq为一幅图中次邻近特征点q的特征向量，D为向量之间的距离。
(42)匹配点与非匹配点的汉明距离有着明显的不同，设定0.7倍最大汉明距离为阈值T，当R小于阈值T时，采用以下公式对采样点集合按照匹配质量由优到差排序，得到正确的特征点匹配关系：
Figure BDA0003172440270000042
其中，M为质量函数。
进一步的，步骤(5)中所述的“运用自适应变异的天牛群优化算法倾斜摄影待配准图像与遥感光学参考图像进行匹配，利用正确的特征点的匹配关系进行倾斜摄影源图像与遥感光学模板图像之间的立体目标空间配准”，其具体包括以下步骤：
选取步骤(3)所有匹配的特征点的描述子的Hamming距离和作为优化函数f()，以要得到的匹配的旋转矩阵和位移向量作为优化变量Xbest，代入其中进行迭代，即可求出优化函数最优时的优化。
(51)计算初始时(t＝0)群体最优位置
Figure BDA0003172440270000043
和第i个体最优位置Pi 0，最优位置指待优化变量旋转矩阵和位移矢量的初始值，第t次迭代时，采用以下公式求得群体最优位置
Figure BDA0003172440270000044
和第i个体最优位置
Figure BDA0003172440270000045
Figure BDA0003172440270000046
Figure BDA0003172440270000047
其中，f为待优化函数，N为种群规模。其中，f为待优化函数，N为种群规模；采用以下公式建立待优化函数f与遥感光学参考图像和倾斜摄影待匹配图像的关系：
Figure BDA0003172440270000051
当两幅图像越相似时f越小，反之越大。
(52)判断是否满足收敛条件，判断是否结束迭代：当最优解的优化函数值小于设定阈值，或迭代达到最大迭代次数T时结束迭代，输出最优解，算法结束，如未满足收敛条件则执行步骤(53)。
(53)更新个体速度和位置：
(531)采用以下公式随机生成每个个体标准化方向向量：
Figure BDA0003172440270000052
其中，rand(1,2)为[0,1]的随机数构成的2维向量。
(532)根据须长与群体最优位置和个体最优位置间距建立函数关系，采用以下公式计算第t次迭代时第i个天牛个体的左右须长度：
Figure BDA0003172440270000053
其中，β为缩放因子。
(533)采用以下公式计算该天牛个体的左右须坐标：
Figure BDA0003172440270000054
(534)将第t次迭代时速度向量表示为
Figure BDA0003172440270000055
采用以下公式对第i个天牛个体速度和位置进行更新：
Figure BDA0003172440270000056
Figure BDA0003172440270000057
其中，ω为惯性权重，c1和c2为学习因子，A*B表示具有相同形的矩阵A和B对应元素逐个相乘。
速度更新过程中的参数采用下式计算：
Figure BDA0003172440270000061
(54)更新个体最优位置和群体最优位置。
(55)采用以下公式获取匹配值最优解Xbest：匹配值最优解即不断迭代过后最终要求出的最优的旋转矩阵和位移向量的变量。
Figure BDA0003172440270000062
(56)采用以下公式计算种群标准差σ与变异概率p：
Figure BDA0003172440270000063
Figure BDA0003172440270000064
其中，σ0为归一化因子，取粒子群初始化时未归一化的种群标准差。ωpσ为变异概率标准差权重，ωpt为变异概率迭代次数权重，b为变异概率偏移常数。
Figure BDA0003172440270000065
为群体质心，
Figure BDA0003172440270000066
(57)判断是否进行变异操作，当rand＜p时执行变异步骤(58)，否则返回步骤(52)，rand表示[0,1]的随机数。
(58)群体最优位置扰动变异，设随机选取群体最优位置的α％个维度进行随机扰动,其中第k维度随机抖动方式如下：
Figure BDA0003172440270000067
其中，A为扰动幅值,randn为服从标准正态分布的随机变量，扰动变异后返回步骤(52)。
和现有技术相比，本发明的优点为：
(1)本发明利用倾斜摄影技术对遥感图像纹理进行加强，倾斜摄影在获取地表目标三维信息的过程中，可以从多个角度进行拍摄，大大提高了遥感图像纹理精度。采用倾斜摄影的方法可以有效地利用多相机多角度的图像，不需要多次一张张图像的进行匹配，而是多张图片一起与遥感图像进行匹配，有效提高了图像匹配效率。
(2)本发明采用自适应的天牛群优化算法作为遥感图像和倾斜射影图像的匹配寻优算法，针对生成的特征点描述符，利用基于自适应变异的天牛群优化算法将历史信息与粒子当前周围信息结合，引入基于种群聚集度和迭代次数的自适应多维扰动变异方式的特点，提高了模板匹配过程中的收敛速度和匹配精度。采用天牛群优化算法可以很好完成图像匹配的工作，算法自身可以避免局部最优值，从而保证倾斜射影图像匹配到遥感图像上的特征点。
附图说明
图1是本发明的方法流程图。
具体实施方式
下面结合附图对本发明做进一步说明：
如图1所示的一种倾斜摄影与遥感光学图像之间立体目标空间配准方法，该方法包括以下步骤：
(1)读取倾斜摄影待配准图像与遥感光学参考图像，对每一幅图片构建尺度金字塔。尺度金字塔是利用对同一个图像按比例缩放提取，以得到不同比例下都可以得到的特征点，优点是可以对于后文提及的特征点在不同的远近尺度下都可以识别，即具有尺度不变性。
(2)对每一幅倾斜摄影待配准图像与遥感光学参考图像提取特征点；
(3)将提取的特征点生成特征描述符，以使特征点具有旋转不变性。
(4)将提取的特征点进行匹配，并利用PROSAC算法剔除误匹配点对，得到正确的特征点匹配关系。
(5)运用自适应变异的天牛群优化算法倾斜摄影待配准图像与遥感光学参考图像进行匹配，利用正确的特征点的匹配关系进行倾斜摄影源图像与遥感光学模板图像之间的立体目标空间配准。
进一步的，步骤(1)中所述尺度金字塔为8层按比例缩放的图像。尺度金字塔是多层按比例缩放的图像，能够在不同尺度下检测到的同一个特征点具有尺度不变性。
进一步的，步骤(2)中所述的“对每一幅倾斜摄影待配准图像与遥感光学参考图像提取特征点”，其具体包括以下步骤：
(21)对每一幅倾斜摄影待配准图像与遥感光学参考图像的尺度金字塔的每一层进行粗提取，仅保留在每一层都被提取到的特征点，作为候选特征点。
(22)在特征点提取过程中，采用ORB所用的FAST算法检测特征点，这个定义基于特征点周围的图像灰度值，检测候选特征点周围一圈的像素值。若候选点周围邻域内有足够多的像素点超过了候选点的灰度差值的阈值，则认为该候选点为一个特征点。基于动态局部阈值法，即用自适应阈值分割的思想，采用以下公式将图像中的每个像素设置为不同的阈值；
Figure BDA0003172440270000081
其中，t为每个像素p的阈值，i表示候选点周围的像素点个数，16表示候选点周围的16个像素点，Imax为圆周上亮度最大的像素点的亮度,Imin为最低像素点的亮度,Ia为去掉Imax和Imin后剩余的各个像素点亮度的平均值；由于Imax，Imin和Ia均不是固定值，因此，t是动态局部阈值；
(23)为了减少计算量，对候选特征点进行快速筛选，得到每一幅倾斜摄影待配准图像与遥感光学参考图像正确的特征点。
快速筛选方法为：不需要将圆周上所有像素点与中心像素点p比较，直接检测圆周上第1，5，9，13个像素点的亮度(也可以选取2，6，10，14等，需间隔3个像素)。当有3个像素点的亮度大于Ip+t或者小于Ip-t时，则该像素点可能是候选点，否则直接排除。判断3个像素点为候选点后，检测3个像素包围环内覆盖的剩余6个像素点亮度，若剩余6个像素点的亮度均大于Ip+t或者小于Ip-t，则该p点是正确特征点。
进一步的，步骤(3)中所述的“将提取的特征点生成特征描述符；”，其具体包括以下步骤；
(31)采用以下公式求得特征点的灰度矩mwq，利用特征点的灰度矩确定特征点主方向：
Figure BDA0003172440270000091
其中，I(x,y)是灰度值，w与q的和为灰度矩的阶数，B为特征点邻域。
(32)根据局部区域一阶灰度矩
Figure BDA0003172440270000092
和
Figure BDA0003172440270000093
确定灰度矩的质心C：：
Figure BDA0003172440270000094
(33)设特征点的主方向为质心与特征点指尖的夹角θ，通过矩来计算特征点周边以r为半径范围内的质心，特征点坐标到质心形成一个向量作为该特征点的方向，将特征点的主方向与BRIEF描述子相结合，使其具有旋转不变性，该描述子为二进制串的形式：
Figure BDA0003172440270000095
其中，p(x)和q(y)为点对的灰度值，通过选择n个点对得到n维向量S:
Figure BDA0003172440270000096
进一步的，步骤(4)中所述利用PROSAC算法匹配特征点并剔除误匹配点对，此时作用的对象还是步骤(2)中已经粗略提取的在倾斜摄影待配准图像与遥感光学参考图像上面的特征点，直接进行特征点匹配的话，可能存在错误的对应关系，这个会导致后面图像配准出现误差，故用PROSAC算法剔除。
步骤(4)所述的“将提取的特征点进行匹配，并利用PROSAC算法剔除误匹配点对，得到正确的特征点匹配关系；”，其具体包括以下步骤：
(41)采用以下公式求得特征点匹配对的最邻近和次邻近的汉明距离的比值R：
Figure BDA0003172440270000101
其中，Vp为特征点p的特征向量，Vaq为一幅图中最邻近点q的特征向量，Vmq为一幅图中次邻近特征点q的特征向量，D为向量之间的距离。
(42)匹配点与非匹配点的汉明距离有着明显的不同，设定0.7倍最大汉明距离为阈值T，当R小于阈值T时，采用以下公式对采样点集合按照匹配质量由优到差排序，得到正确的特征点匹配关系：
Figure BDA0003172440270000102
其中，M为质量函数。
进一步的，步骤(5)中所述的“运用自适应变异的天牛群优化算法倾斜摄影待配准图像与遥感光学参考图像进行匹配，利用正确的特征点的匹配关系进行倾斜摄影源图像与遥感光学模板图像之间的立体目标空间配准”，其具体包括以下步骤：
选取步骤(3)所有匹配的特征点的描述子的Hamming距离和作为优化函数f()，以要得到的匹配的旋转矩阵和位移向量作为优化变量Xbest，代入其中进行迭代，即可求出优化函数最优时的优化。
(51)计算初始时(t＝0)群体最优位置
Figure BDA0003172440270000103
和第i个体最优位置Pi 0，最优位置指待优化变量旋转矩阵和位移矢量的初始值，第t次迭代时，采用以下公式求得群体最优位置
Figure BDA0003172440270000104
和第i个体最优位置
Figure BDA0003172440270000105
Figure BDA0003172440270000106
Figure BDA0003172440270000107
其中，f为待优化函数，N为种群规模。
采用以下公式建立待优化函数f与遥感光学参考图像和倾斜摄影待匹配图像的关系：
Figure BDA0003172440270000111
当两幅图像越相似时f越小，反之越大。
(52)判断是否满足收敛条件，判断是否结束迭代：当最优解的优化函数值小于设定阈值，或迭代达到最大迭代次数T时结束迭代，输出最优解，算法结束，如未满足收敛条件则执行步骤(53)。
(53)更新个体速度和位置：
(531)采用以下公式随机生成每个个体标准化方向向量：
Figure BDA0003172440270000112
其中，rand(1,2)为[0,1]的随机数构成的2维向量。
(532)根据须长与群体最优位置和个体最优位置间距建立函数关系，采用以下公式计算第t次迭代时第i个天牛个体的左右须长度：
Figure BDA0003172440270000113
其中，β为缩放因子。
(533)采用以下公式计算该天牛个体的左右须坐标：
Figure BDA0003172440270000114
(534)将第t次迭代时速度向量表示为
Figure BDA0003172440270000115
采用以下公式对第i个天牛个体速度和位置进行更新：
Figure BDA0003172440270000116
Figure BDA0003172440270000117
其中，ω为惯性权重，c1和c2为学习因子，A*B表示具有相同形的矩阵A和B对应元素逐个相乘。
速度更新过程中的参数采用下式计算：
Figure BDA0003172440270000121
(54)更新个体最优位置和群体最优位置。
(55)采用以下公式获取匹配值最优解Xbest：匹配值最优解即不断迭代过后最终要求出的最优的旋转矩阵和位移向量的变量。
Figure BDA0003172440270000122
(56)采用以下公式计算种群标准差σ与变异概率p：
Figure BDA0003172440270000123
Figure BDA0003172440270000124
其中，σ0为归一化因子，取粒子群初始化时未归一化的种群标准差。ωpσ为变异概率标准差权重，ωpt为变异概率迭代次数权重，b为变异概率偏移常数。
Figure BDA0003172440270000125
为群体质心，
Figure BDA0003172440270000126
(57)判断是否进行变异操作，当rand＜p时执行变异步骤(58)，否则返回步骤(52)，rand表示[0,1]的随机数。
(58)群体最优位置扰动变异，设随机选取群体最优位置的α％个维度进行随机扰动,其中第k维度随机抖动方式如下：
Figure BDA0003172440270000127
其中，A为扰动幅值,randn为服从标准正态分布的随机变量，扰动变异后返回步骤(52)。
综上所述，本发明首先基于改进ORB算法获取倾斜摄影源图像和遥感光学模板图像的特征点。接着，为了匹配倾斜摄影源图像和遥感光学模板图像之间对应的特征点，引入自适应变异的天牛群优化算法；用自适应变异的天牛群优化算法中的个体表示匹配目标的可能位置，设定算法参数，在搜索空间内随机初始化天牛群。最后，运用自适应变异的天牛群优化算法，寻找搜索空间中具有最大相似度的特征点样本作为匹配的结果。本发明采用自适应变异的天牛群优化算法在搜索空间中寻优，实现倾斜摄影源图像和遥感光学模板图像之间特征点匹配的功能，该方法对亮度变化具有较强的适应能力，同时，计算速度和提取精度也得到了提升。
以上所述的实施例程仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (6)

1.一种倾斜摄影与遥感光学图像之间立体目标空间配准方法，其特征在于：该方法包括以下步骤：
(1)读取倾斜摄影待配准图像与遥感光学参考图像，对每一幅图片构建尺度金字塔；
(2)对每一幅倾斜摄影待配准图像与遥感光学参考图像提取特征点；
(3)将提取的特征点生成特征描述符；
(4)将提取的特征点进行匹配，并利用PROSAC算法剔除误匹配点对，得到正确的特征点匹配关系；
(5)运用自适应变异的天牛群优化算法倾斜摄影待配准图像与遥感光学参考图像进行匹配，利用正确的特征点的匹配关系进行倾斜摄影源图像与遥感光学模板图像之间的立体目标空间配准。
2.根据权利要求1所述的一种倾斜摄影与遥感光学图像之间立体目标空间配准方法，其特征在于：步骤(1)中所述尺度金字塔为8层按比例缩放的图像。
3.根据权利要求1所述的一种基于自适应变异天牛群优化算法的倾斜摄影与遥感光学图像之间立体目标空间配准方法，其特征在于：步骤(2)中所述的“对每一幅倾斜摄影待配准图像与遥感光学参考图像提取特征点”，其具体包括以下步骤：
(21)对每一幅倾斜摄影待配准图像与遥感光学参考图像的尺度金字塔的每一层进行粗提取，仅保留在每一层都被提取到的特征点，作为候选特征点；
(22)在特征点提取过程中，采用ORB所用的FAST算法对特征点进行检测，基于特征点周围的图像灰度值，检测候选特征点周围一圈的像素值，若候选点周围邻域内有足够多的像素点超过了候选点的灰度差值的阈值，则认为该候选点为一个特征点；基于动态局部阈值法，采用以下公式将图像中的每个像素设置为不同的阈值；
Figure FDA0003172440260000011
其中，t为每个像素p的阈值，i表示候选点周围的像素点个数，16表示候选点周围的16个像素点，Imax为圆周上亮度最大的像素点的亮度,Imin为最低像素点的亮度,Ia为去掉Imax和Imin后剩余的各个像素点亮度的平均值；由于Imax，Imin和Ia均不是固定值，因此，t是动态局部阈值；
(23)对候选特征点进行快速筛选，得到每一幅倾斜摄影待配准图像与遥感光学参考图像正确的特征点。
4.根据权利要求1所述的一种倾斜摄影与遥感光学图像之间立体目标空间配准方法，其特征在于：步骤(3)中所述的“将提取的特征点生成特征描述符；”，其具体包括以下步骤；
(31)采用以下公式求得特征点的灰度矩mwq，利用特征点的灰度矩确定特征点主方向：
Figure FDA0003172440260000021
其中，I(x,y)是灰度值，w与q的和为灰度矩的阶数，B为特征点邻域；
(32)根据局部区域一阶灰度矩
Figure FDA0003172440260000022
和
Figure FDA0003172440260000023
确定灰度矩的质心C：
Figure FDA0003172440260000024
(33)设特征点的主方向为质心与特征点指尖的夹角θ，通过矩来计算特征点周边以r为半径范围内的质心，特征点坐标到质心形成一个向量作为该特征点的方向，将特征点的主方向与BRIEF描述子相结合，使其具有旋转不变性，该描述子为二进制串的形式：
Figure FDA0003172440260000025
其中，p(x)和q(y)为点对的灰度值，通过选择n个点对得到n维向量S:
Figure FDA0003172440260000026
5.根据权利1所述的一种倾斜摄影与遥感光学图像之间立体目标空间配准方法，其特征在于：步骤(4)所述的“将提取的特征点进行匹配，并利用PROSAC算法剔除误匹配点对，得到正确的特征点匹配关系；”，其具体包括以下步骤：
(41)采用以下公式求得特征点匹配对的最邻近和次邻近的汉明距离的比值R：
Figure FDA0003172440260000031
其中，Vp为特征点p的特征向量，Vaq为一幅图中最邻近点q的特征向量，Vmq为一幅图中次邻近特征点q的特征向量，D为向量之间的距离；
(42)设定0.7倍最大汉明距离为阈值T，当R小于阈值T时，采用以下公式对采样点集合按照匹配质量由优到差排序，得到正确的特征点匹配关系：
Figure FDA0003172440260000032
其中，M为质量函数。
6.根据权利1所述的一种倾斜摄影与遥感光学图像之间立体目标空间配准方法，其特征在于：步骤(5)中所述的“运用自适应变异的天牛群优化算法倾斜摄影待配准图像与遥感光学参考图像进行匹配，利用正确的特征点的匹配关系进行倾斜摄影源图像与遥感光学模板图像之间的立体目标空间配准”，其具体包括以下步骤：
(51)计算初始时(t＝0)群体最优位置
Figure FDA0003172440260000033
和第i个体最优位置Pi 0，最优位置指待优化变量旋转矩阵和位移矢量的初始值，第t次迭代时，采用以下公式求得群体最优位置
Figure FDA0003172440260000034
和第i个体最优位置
Figure FDA0003172440260000035
Figure FDA0003172440260000036
Figure FDA0003172440260000037
其中，f为待优化函数，N为种群规模；
采用以下公式建立待优化函数f与遥感光学参考图像和倾斜摄影待匹配图像的关系：
Figure FDA0003172440260000041
当两幅图像越相似时f越小，反之越大；
(52)判断是否满足收敛条件，判断是否结束迭代：当最优解的优化函数值小于设定阈值，或迭代达到最大迭代次数T时结束迭代，输出最优解，算法结束，如未满足收敛条件则执行步骤(53)；
(53)更新个体速度和位置：
(531)采用以下公式随机生成每个个体标准化方向向量：
Figure FDA0003172440260000042
其中，rand(1,2)为[0,1]的随机数构成的2维向量；
(532)根据须长与群体最优位置和个体最优位置间距建立函数关系，采用以下公式计算第t次迭代时第i个天牛个体的左右须长度：
Figure FDA0003172440260000043
其中，β为缩放因子；
(533)采用以下公式计算该天牛个体的左右须坐标：
Figure FDA0003172440260000044
(534)将第t次迭代时速度向量表示为
Figure FDA0003172440260000045
采用以下公式对第i个天牛个体速度和位置进行更新：
Figure FDA0003172440260000046
Figure FDA0003172440260000047
其中，ω为惯性权重，c1和c2为学习因子，A*B表示具有相同形的矩阵A和B对应元素逐个相乘；
速度更新过程中的参数采用下式计算：
Figure FDA0003172440260000051
(54)更新个体最优位置和群体最优位置；
(55)采用以下公式获取匹配值最优解Xbest：匹配值最优解即不断迭代过后最终要求出的最优的旋转矩阵和位移向量的变量：
Figure FDA0003172440260000052
(56)采用以下公式计算种群标准差σ与变异概率p：
Figure FDA0003172440260000053
Figure FDA0003172440260000054
其中，σ0为归一化因子，取粒子群初始化时未归一化的种群标准差。ωpσ为变异概率标准差权重，ωpt为变异概率迭代次数权重，b为变异概率偏移常数。
Figure FDA0003172440260000055
为群体质心，
Figure FDA0003172440260000056
(57)判断是否进行变异操作，当rand＜p时执行变异步骤(58)，否则返回步骤(52)，rand表示[0,1]的随机数；
(58)群体最优位置扰动变异，设随机选取群体最优位置的α％个维度进行随机扰动,其中第k维度随机抖动方式如下：
Figure FDA0003172440260000057
其中，A为扰动幅值,randn为服从标准正态分布的随机变量，扰动变异后返回步骤(52)。
CN202110822453.2A 2021-07-21 2021-07-21 一种倾斜摄影与遥感光学图像之间立体目标空间配准方法 Pending CN113570647A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110822453.2A CN113570647A (zh) 2021-07-21 2021-07-21 一种倾斜摄影与遥感光学图像之间立体目标空间配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110822453.2A CN113570647A (zh) 2021-07-21 2021-07-21 一种倾斜摄影与遥感光学图像之间立体目标空间配准方法

Publications (1)

Publication Number Publication Date
CN113570647A true CN113570647A (zh) 2021-10-29

Family

ID=78165908

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110822453.2A Pending CN113570647A (zh) 2021-07-21 2021-07-21 一种倾斜摄影与遥感光学图像之间立体目标空间配准方法

Country Status (1)

Country Link
CN (1) CN113570647A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116503627A (zh) * 2023-06-25 2023-07-28 贵州省交通科学研究院股份有限公司 基于多源数据的遥感管理系统及方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013079098A1 (en) * 2011-11-29 2013-06-06 Layar B.V. Dynamically configuring an image processing function
CN104751465A (zh) * 2015-03-31 2015-07-01 中国科学技术大学 一种基于lk光流约束的orb图像特征配准方法
CN109376744A (zh) * 2018-10-17 2019-02-22 中国矿业大学 一种surf和orb相结合的图像特征匹配方法及装置
CN109801220A (zh) * 2019-01-23 2019-05-24 北京工业大学 一种在线求解车载视频拼接中映射参数方法
CN111814839A (zh) * 2020-06-17 2020-10-23 合肥工业大学 基于自适应变异的天牛群优化算法的模板匹配方法
CN111833249A (zh) * 2020-06-30 2020-10-27 电子科技大学 一种基于双向点特征的uav图像配准与拼接方法
CN111898428A (zh) * 2020-06-23 2020-11-06 东南大学 一种基于orb的无人机特征点匹配方法
CN112907580A (zh) * 2021-03-26 2021-06-04 东南大学 一种应用于弱纹理场景下的综合点线特征的图像特征提取和匹配算法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013079098A1 (en) * 2011-11-29 2013-06-06 Layar B.V. Dynamically configuring an image processing function
CN104751465A (zh) * 2015-03-31 2015-07-01 中国科学技术大学 一种基于lk光流约束的orb图像特征配准方法
CN109376744A (zh) * 2018-10-17 2019-02-22 中国矿业大学 一种surf和orb相结合的图像特征匹配方法及装置
CN109801220A (zh) * 2019-01-23 2019-05-24 北京工业大学 一种在线求解车载视频拼接中映射参数方法
CN111814839A (zh) * 2020-06-17 2020-10-23 合肥工业大学 基于自适应变异的天牛群优化算法的模板匹配方法
CN111898428A (zh) * 2020-06-23 2020-11-06 东南大学 一种基于orb的无人机特征点匹配方法
CN111833249A (zh) * 2020-06-30 2020-10-27 电子科技大学 一种基于双向点特征的uav图像配准与拼接方法
CN112907580A (zh) * 2021-03-26 2021-06-04 东南大学 一种应用于弱纹理场景下的综合点线特征的图像特征提取和匹配算法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KANMANI, M (KANMANI, MADHESWARI)等: "An optimal weighted averaging fusion strategy for remotely sensed images", 《MULTIDIMENSIONAL SYSTEMS AND SIGNAL PROCESSING》, no. 30, 31 October 2019 (2019-10-31), pages 1911 - 1935 *
晏娅萍等: "基于多源点云数据融合的单木树形重建", 《桂林理工大学学报》, no. 03, 30 September 2020 (2020-09-30), pages 568 - 573 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116503627A (zh) * 2023-06-25 2023-07-28 贵州省交通科学研究院股份有限公司 基于多源数据的遥感管理系统及方法
CN116503627B (zh) * 2023-06-25 2023-09-26 贵州省交通科学研究院股份有限公司 基于多源数据的模型构建系统及方法

Similar Documents

Publication Publication Date Title
CN111652292B (zh) 一种基于ncs、ms的相似物体实时检测方法及系统
Mousavi et al. A two-step descriptor-based keypoint filtering algorithm for robust image matching
CN109101981B (zh) 一种街景场景下基于全局图像条纹码的回环检测方法
CN105354578B (zh) 一种多目标物体图像匹配方法
CN110110694B (zh) 一种基于目标检测的视觉slam闭环检测方法
CN109376641B (zh) 一种基于无人机航拍视频的运动车辆检测方法
Germain et al. S2dnet: Learning accurate correspondences for sparse-to-dense feature matching
CN109741240A (zh) 一种基于层次聚类的多平面图像拼接方法
CN112364881B (zh) 一种进阶采样一致性图像匹配方法
Dewan et al. Learning a local feature descriptor for 3d lidar scans
CN108596195B (zh) 一种基于稀疏编码特征提取的场景识别方法
CN115937552A (zh) 一种基于融合手工特征与深度特征的图像匹配方法
CN110942473A (zh) 一种基于特征点网格化匹配的运动目标跟踪检测方法
CN108830283B (zh) 一种图像特征点匹配方法
CN111783493A (zh) 一种批量二维码的识别方法及识别终端
CN114358166B (zh) 一种基于自适应k均值聚类的多目标定位方法
CN116229189A (zh) 基于荧光内窥镜的图像处理方法、装置、设备及存储介质
CN113570647A (zh) 一种倾斜摄影与遥感光学图像之间立体目标空间配准方法
CN118015055A (zh) 基于深度融合算法的多源勘测数据融合处理方法及系统
CN104268550A (zh) 特征提取方法及装置
CN113128378A (zh) 一种指静脉快速识别方法
CN110717910B (zh) 基于卷积神经网络的ct图像目标检测方法及ct扫描仪
Dong et al. Superpixel-based local features for image matching
CN113674332B (zh) 一种基于拓扑结构与多尺度特征的点云配准方法
CN116363179A (zh) 一种基于进化多任务优化的三维点云配准方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination