CN116823671A - 一种基于锁眼解密历史影像的自动精准定位以及校正方法 - Google Patents
一种基于锁眼解密历史影像的自动精准定位以及校正方法 Download PDFInfo
- Publication number
- CN116823671A CN116823671A CN202310907843.9A CN202310907843A CN116823671A CN 116823671 A CN116823671 A CN 116823671A CN 202310907843 A CN202310907843 A CN 202310907843A CN 116823671 A CN116823671 A CN 116823671A
- Authority
- CN
- China
- Prior art keywords
- image
- matching
- keyhole
- feature
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000009466 transformation Effects 0.000 claims abstract description 41
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 37
- 238000013178 mathematical model Methods 0.000 claims abstract description 34
- 238000012937 correction Methods 0.000 claims abstract description 22
- 238000004422 calculation algorithm Methods 0.000 claims description 34
- 238000001914 filtration Methods 0.000 claims description 31
- 238000005070 sampling Methods 0.000 claims description 28
- 239000011159 matrix material Substances 0.000 claims description 27
- 238000010276 construction Methods 0.000 claims description 12
- 230000001172 regenerating effect Effects 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 6
- YBJHBAHKTGYVGT-ZKWXMUAHSA-N (+)-Biotin Chemical compound N1C(=O)N[C@@H]2[C@H](CCCCC(=O)O)SC[C@@H]21 YBJHBAHKTGYVGT-ZKWXMUAHSA-N 0.000 claims description 3
- 238000012952 Resampling Methods 0.000 claims description 3
- FEPMHVLSLDOMQC-UHFFFAOYSA-N virginiamycin-S1 Natural products CC1OC(=O)C(C=2C=CC=CC=2)NC(=O)C2CC(=O)CCN2C(=O)C(CC=2C=CC=CC=2)N(C)C(=O)C2CCCN2C(=O)C(CC)NC(=O)C1NC(=O)C1=NC=CC=C1O FEPMHVLSLDOMQC-UHFFFAOYSA-N 0.000 claims description 3
- 230000036962 time dependent Effects 0.000 claims 1
- 239000004973 liquid crystal related substance Substances 0.000 description 20
- 230000005855 radiation Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000003252 repetitive effect Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012892 rational function Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于锁眼解密历史影像的自动精准定位以及校正方法，基于锁眼影像和参考影像构建影像金字塔；通过特征匹配步骤在影像金字塔的顶层获取锁眼影像和参考影像之间的仿射变换关系；基于仿射变换关系对锁眼影像和参考影像进行模板匹配和多重阈值匹配增强，并通过影像金字塔不断向下循环传递直至原始分辨率，获得高精度连接点；构建全景相机数学模型，通过全景相机数学模型和高精度连接点生成影像姿态参数；通过影像姿态参数进行模型引导匹配以生成无全景畸变影响的连接点，并重新生成影像姿态参数；利用重新生成的影像姿态参数结合数字高程模型实现精准定位，以及进行精准正射校正以生成锁眼正射影像。
Description
技术领域
本发明属于卫星影像数据处理技术领域，具体涉及一种基于锁眼解密历史影像的自动精准定位以及校正方法。
背景技术
美国Corona计划作为一项旨在获取军事战略和武器力量的侦查卫星计划，收集了超过86万张地球表面的图像，其图像分辨率最高可达1.8m。随着Corona计划的早期卫星侦查照片逐渐解密，公众可以以低成本甚至免费的方式获取分辨率更高、时间更早的Corona卫星影像。因此KH-4系列影像（简称：锁眼影像）为亟需高分辨率历史影像的领域提供了有力的数据支撑，例如历史研究、城市规划以及环境监测研究等领域。然而受缺少地理参考信息以及存在复杂畸变的影响，锁眼影像无法直接用于科学研究且地理参考信息的恢复以及正射校正工作存在很大的困难：目前的锁眼历史影像的姿态恢复以及校正方法都采用人工从锁眼影像与提供地理信息的参考影像之间提取控制点信息，但用于拟合全景相机的数学模型是不同的。因此按照其数学模型可以分为两大类：非全景相机模型和全景相机模型。
1）全景相机模型：充分考虑全景相机的成像原理，提出具有严格推导的数学模型。因此这类模型的精度高，但是复杂，难以实现。
2）非全景相机模型：采用传统的框幅式模型或者改进的框幅式模型，以及有理函数多项式模型（RFM）来拟合全景相机。此类模型比较简单，容易实现，但是其精度低，且只能用于小范围的影像块。
因此，目前的锁眼影像技术存在以下问题：
1、为了获取大覆盖范围的高分辨率影像，KH-4系列卫星采用全景相机，因此需要严密的数学模型来拟合全景相机模型，缺少一种适用于锁眼影像的全景相机数学模型。
2、当前特征匹配算法无法抵抗来自锁眼影像和提供地理信息的参考影像之间的非线性辐射畸变、旋转畸变、尺度畸变以及全景畸变，所以，缺少一种能够在具有复杂畸变（非线性辐射畸变、旋转畸变、尺度畸变、时相差异以及地物变化）的大时相差异遥感历史影像之间提取同名点的算法。
3、无法剔除地物变化区域的低可靠性控制点以及提高弱纹理以及重复纹理区域的控制点数量。
发明内容
针对上述现有技术的不足，本申请提供一种基于锁眼解密历史影像的自动精准定位以及校正方法。
一种基于锁眼解密历史影像的自动精准定位以及校正方法，包括以下步骤：
基于锁眼影像和参考影像构建影像金字塔；
通过特征匹配步骤在所述影像金字塔的顶层获取所述锁眼影像和所述参考影像之间的仿射变换关系；
基于所述仿射变换关系对所述锁眼影像和所述参考影像进行模板匹配和多重阈值匹配增强，并通过所述影像金字塔不断向下循环传递直至原始分辨率，获得高精度连接点；
构建全景相机数学模型，通过所述全景相机数学模型和所述高精度连接点生成影像姿态参数；
通过所述影像姿态参数进行模型引导匹配以生成无全景畸变影像的高精度连接点，并重新生成影像姿态参数；
利用重新生成的影像姿态参数结合数字高程模型实现精准定位以及进行正射校正。
在一些实施例中，所述基于锁眼影像和参考影像构建影像金字塔，包括构建第一均值金字塔和高斯尺度空间；
构建第一均值金字塔步骤为：使用均值滤波消除锁眼影像和参考影像中的高频噪声，然后将滤波结果后的影像采样至滤波前的二分之一，不断循环滤波和采样的过程，从而得到预设层数的不同分辨率的影像，从而构建所述第一均值金字塔；
构建高斯尺度空间步骤为：采用预设高斯倍数以及降采样倍数对锁眼影像和参考影像进行高斯以及降采样，从而获得对应高斯降采样倍数下的多层分辨率图像集合，根据多层分辨率图像集合构建所述高斯尺度空间。
在一些实施例中，所述通过特征匹配步骤在所述影像金字塔的顶层获取所述锁眼影像和所述参考影像之间的仿射变换关系，特征匹配步骤包括特征检测、特征描述和特征点匹配；
所述特征检测为：
采用sobel算子检测出影像金字塔中的图像边缘，对图像边缘使用低参数阈值的FAST算法提取N个角点，并根据Harris分数排序后生成特征点集合，采用KD树在所述特征点集合的 的范围内搜索近邻点，然后将所述近邻点从所述特征点集合中剔除，其中w和h分别表示图像的宽度和高度，根据剔除结果将特征点集合的前M个点作为特征点输出；
所述特征描述包括构建多方向通道特征、主方向估计和构建特征描述符；
所述构建多方向通道特征为：
采用多尺度多方向的Log-Gabor滤波器提取影像金字塔中的图像纹理特征，并对每个方向上所有尺度的滤波特征进行求和得到多方向滤波特征，Log-Gabor滤波器公式为：
LG特征的尺寸是W*H*O，其中W是图像的宽，H是图像的高，O是Log-Gabor滤波器的方向数，表示由奇对称和偶对称的log-Gabor滤波器对影像的卷积结果计算得到的幅值；
所主方向估计为：
提取所述特征点的圆形邻域内的多尺度滤波特征，并计算出范数特征，对范数特征进行高斯加权，根据加权结果确定圆形邻域的具有重复区域的扇形数量，计算每个具有重复区域的扇形的加权范数总和，选取最大加权范数总和的扇形区域对应的中心轴的方向为主方向；
所述构建特征描述符为：
在特征点邻域内构建n3个不同半径的同心圆，并从选取的主方向开始将每个同心圆均分为n4个方向，并在每个方向上确定一个采样点，从而得到n3*n4+1个采样点；
在不同大小的同心圆上的采样点采用对应的高斯核对各个同心圆邻域的多方向滤波特征进行加权求和，并在每个采样点处获取一个o维的采样向量；
从选取的主方向开始，按照顺时针的顺序拼接每个采样点的采样向量，从而得到完整的特征描述符；
所述特征点匹配为：
基于所述特征描述符进行特征点匹配，通过最近邻匹配的方式对影像金字塔中每层的参考影像和锁眼影像进行两两匹配并进行失配点去除，然后将所有匹配结果添加至同名点集合并再次进行失配点去除，得到最终匹配结果以及参考影像和锁眼影像之间的仿射变换关系。
在一些实施例中，所述基于所述仿射变换关系对所述锁眼影像和所述参考影像进行模板匹配和多重阈值匹配增强，并通过所述影像金字塔不断向下循环传递直至原始分辨率，获得高精度连接点，所述模板匹配包括：
基于特征匹配提供的仿射变换关系对所述参考影像进行正射影像重采样；
重新构建重采样后的正射影像的第二均值金字塔；
采用模板匹配算法对所述第二均值金字塔进行逐层精确匹配，得到高精度连接点。
在一些实施例中，所述采用模板匹配算法对所述第二均值金字塔进行逐层精确匹配，得到高精度连接点，包括：
步骤1：在所述第二均值金字塔的顶层，使用FAST特征检测器提取锁眼影像梯度图的角点；
步骤2：基于变换矩阵映射到正射影像上，并利用多方向梯度模板算法进行局部匹配；
多方向梯度模板算法为：
首先使用Sobel算法获取水平和垂直方向的梯度，并内插得到每个方向梯度：
其中，是方向梯度；/>是方向，/>是水平方向的梯度，/>是垂直方向的梯度；
步骤3：获得顶层的特征点后，根据分辨率差异将匹配点映射至下一层作为连接点；
步骤4，重复执行步骤1-步骤3直到原始分辨率，从而逐步得到高精度连接点。
在一些实施例中，所述多重阈值匹配增强包括：基于所述最终匹配结果提取局部区域的尺度差异以及方向差异，从而判定可靠性；
采用仿射变换模型，通过下列公式提取仿射矩阵中的尺度以及方向差异：
其中M代表仿射变换矩阵，T,R,S,H分别代表平移、旋转、尺度、斜切分量；
根据所述仿射变换矩阵、平移、旋转、尺度和斜切分量得到方程组：
其中t=0，根据方程组的计算结果获取基于仿射变换关系的局部特征点的尺度差
异、以及方向差异。
在一些实施例中，所述构建全景相机数学模型，通过所述全景相机数学模型和所述高精度连接点生成影像姿态参数，所述构建全景相机数学模型包括：
旋转角度计算：
其中，是全景相机坐标系的横坐标，f是全景相机的焦距；
拟合动态全景变形：
其中代表卫星的运行速度，代表卫星高度，代表相机的旋转角速度，是t时
刻的内方位元素, 代表动态全景变形项；
根据旋转矩阵和姿态矩阵消除尺度因子：
其中，代表缝隙的旋转矩阵，/>代表尺度因子，/>代表t时刻缝隙的姿态矩阵，，/>分别代表相机的初始内外方位元素，分别代表相机内外方位元素随时间变化的系数,分别代表t时刻的相机内外方位元素，通过对公式左乘/>，得到：令/>
其中，代表旋转矩阵R中的第i行第j列的元素，将等式的第一行和第二行分别除以第三行可以消除尺度因子S，得到下式：/>
将旋转角度和动态全景变形项带入得到全景相机坐标；/>
其中，X，Y，Z是地面坐标，为锁眼影像坐标纵坐标，构建的全景相机数学模型有14个参数：其中有6个是线元素，用于描述摄影中心P相对于物方空间坐标系的位置，还有6个是角元素，用于描述影像面在摄影瞬间的空中姿态，以及动态全景变形参数/>，和焦距f。
在一些实施例中，所述通过所述全景相机数学模型和所述高精度连接点生成影像姿态参数，包括：
通过所述全景相机数学模型获取像方共轭点和物方共轭点；
根据所述像方共轭点和物方共轭点构建共线方程；
所述共线方程为：
对所述共线方程进行线性化后并拟定初始值进行计算，得到所述影像姿态参数。
在一些实施例中，所述通过所述影像姿态参数进行模型引导匹配以生成无全景畸变影像的高精度连接点，并重新生成影像姿态参数，包括：
利用所述影像姿态参数通过谷歌影像点得到对应的锁眼影像点；
利用姿态参数将锁眼影像点的邻域图像块纠正成正射影像块，使待匹配的影像块处于同一个模型，从而消除了全景模型与正射模型的几何畸变；
其中，正射校正的反算公式为：
其中，和/>分别对应锁眼影像点的横坐标和纵坐标。
重新进行模板匹配以得到无全景畸变影像的影像连接点，然后重新生成影像姿态参数。
在一些实施例中，所述利用重新生成的影像姿态参数结合数字高程模型实现精准定位以及进行正射校正，校正步骤包括：
步骤一：设置时间初始值；
步骤二：根据所述时间初始值得到内外方位元素，所述内外方位元素包括、/>和/>；
步骤三：根据重新生成的影像姿态参数以及地面坐标计算锁眼影像对应的像方坐标；
步骤四：根据锁眼影像对应的像方坐标计算出时间结果值；
步骤五：循环执行步骤一至步骤四，直至像方坐标的改正值不变，从而完成校正。
本发明的有益效果：
1、提出一种能够适用于焦距变化的全景相机数学模型。
2、提出一种鲁棒的特征匹配算法，实现了尺度、旋转、辐射不变性。通过引入尺度空间技术检测特征尺度、提取最大扇形范数特征检测特征方向、提出多尺度多方向滤波信息克服辐射不变性，能够识别具有大时相差异的锁眼影像和谷歌正射影像之间的位置、旋转以及尺度差异。
3、提出一种两阶段的广义控制特征点提取算法。第一阶段采用金字塔多级匹配策略。具体来说：使用特征匹配算法提取锁眼影像与正射参考影像之间的尺度以及旋转差异，然后使用旋转以及尺度不变的模板匹配算法进一步精确匹配。
4、提出一种多阈值匹配增强技术用于剔除地物变化区域的低可靠性控制点以及提高弱纹理以及重复纹理区域的控制点数量。
附图说明
图1为本发明的流程图。
图2为影像金字塔构建示意图。
图3为主方向估计方法示意图。
图4为特征描述符构建方法示意图。
图5为特征点匹配示意图。
图6为整体流程图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制；相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
一种基于锁眼解密历史影像的自动精准定位以及校正方法，如图1所示，包括以下步骤：
S100：基于锁眼影像和参考影像构建影像金字塔；
在一些实施例中，所述基于锁眼影像和参考影像构建影像金字塔，包括构建第一均值金字塔和高斯尺度空间；
构建第一均值金字塔步骤为：使用均值滤波消除锁眼影像和参考影像中的高频噪声，然后将滤波结果后的影像采样至滤波前的二分之一，不断循环滤波和采样的过程，从而得到预设层数的不同分辨率的影像，从而构建所述第一均值金字塔；
构建高斯尺度空间步骤为：采用预设高斯倍数以及降采样倍数对锁眼影像和参考影像进行高斯以及降采样，从而获得对应高斯降采样倍数下的多层分辨率图像集合，根据多层分辨率图像集合构建所述高斯尺度空间。
如图2所示，影像金字塔分为两部分：1、均值金字塔，2、高斯尺度空间。两者虽然均由不同分辨率的多层影像组成，但均值金字塔是一种加快影像匹配的速度以及精度的手段，而尺度空间则是一种特征匹配中用来抵抗尺度畸变的手段。
具体构建过程如下：
（1）采用均值下采样的方式构建均值金字塔，首先对原始图像使用均值滤波消除图像中的高频噪声，然后对滤波结果下采样至1/2尺寸大小的图像/>，最后不断重复该过程，从而得到/>层不同分辨率的影像/>，/>。
（2）采用高斯下采样的方式构建尺度空间：其尺度空间由两个多层分辨率的图像集合组成：,/>, n一般被设置为4，可以看到每个组有n个图像，尺度空间共有2*n张图像，/>代表用于特征匹配的原始图像/>，/>是对/>进行1.5倍高斯下采样获得的，另外，/>和/>是对/>和/>分别进行2倍高斯下采样获得的，同理可得其他图像之间的关系。
S200：通过特征匹配步骤在所述影像金字塔的顶层获取所述锁眼影像和所述参考影像之间的仿射变换关系；
其中，FAST特征检测算法存在严重的关键点聚类现象，这会降低匹配的准确性并增加冗余信息，为了有效抵抗非线性辐射畸变并获得重复性好且独特的特征点，提出一种用于提取图像梯度的均匀分布FAST角点检测算法（称为：GU-FAST算法）。
在一些实施例中，所述通过特征匹配步骤在所述影像金字塔的顶层获取所述锁眼影像和所述参考影像之间的仿射变换关系，特征匹配步骤包括特征检测、特征描述和特征点匹配；
所述特征检测为：
采用sobel算子检测出影像金字塔中的图像边缘，对图像边缘使用低参数阈值的FAST算法提取N个角点，并根据Harris分数排序后生成特征点集合，采用KD树在所述特征点集合的 的范围内搜索近邻点，然后将所述近邻点从所述特征点集合中剔除，其中w和h分别表示图像的宽度和高度，根据剔除结果将特征点集合的前M个点作为特征点输出；
所述特征描述包括构建多方向通道特征、主方向估计和构建特征描述符；
所述构建多方向通道特征为：
采用多尺度多方向的Log-Gabor滤波器提取影像金字塔中的图像纹理特征，并对每个方向上所有尺度的滤波特征进行求和得到多方向滤波特征，Log-Gabor滤波器公式为：
LG特征的尺寸是W*H*O，其中W是图像的宽，H是图像的高，O是Log-Gabor滤波器的方向数，表示由奇对称和偶对称的log-Gabor滤波器对影像的卷积结果计算得到的幅值；
受非线性辐射畸变的影响，基于传统图像特征（图像灰度、图像梯度）的主方向估计算法失效。因此，提出一种基于最大扇形范数特征的主方向估计算法。
所述主方向估计为：
提取所述特征点的圆形邻域内的多尺度滤波特征，并计算出范数特征，对范数特征进行高斯加权，根据加权结果确定圆形邻域的具有重复区域的扇形数量，计算每个具有重复区域的扇形的加权范数总和，选取最大加权范数总和的扇形区域对应的中心轴的方向为主方向；
如图3所示，具体算法流程如下：
（1）提取特征点圆形邻域内的多尺度滤波特征，并计算其范数特征；
（2）对范数特征进行高斯加权；
（3）确定特征邻域的多个具有重复区域的扇形：从0度开始，每度确定一个扇形区域，每个扇形区域的角度为/>度；
（4）计算每个扇形区域的加权范数总和；
（5）将具有最大加权范数总和的扇形区域对应的中心轴的方向作为主方向；
另外，为了避免重复计算，将圆形邻域按度分成小扇形块并计算其每块的范数总和，然后利用小分块的求和结果快速合成/>度的大扇形块的求和。为实现更为鲁棒的旋转不变性，将大于最大值70%的第二大扇形区域称为第二主方向。
构建特征描述符：获取特征点邻域内的多方向滤波特征，并通过调整其顺序实现将滤波器的初始方向设置为主方向的目的。另外，为了提取鲁棒的特征描述子，在特征点邻域内设置了多尺度多方向的采样点，用于提取特征点邻域内不同位置的局部结构特征。
所述构建特征描述符为：
在特征点邻域内构建n3个不同半径的同心圆，并从选取的主方向开始将每个同心圆均分为n4个方向，并在每个方向上确定一个采样点，从而得到n3*n4+1个采样点；
在不同大小的同心圆上的采样点采用对应的高斯核对各个同心圆邻域的多方向滤波特征进行加权求和，并在每个采样点处获取一个o维的采样向量；
从选取的主方向开始，按照顺时针的顺序拼接每个采样点的采样向量，从而得到完整的特征描述符；
所述特征点匹配为：
基于所述特征描述符进行特征点匹配，通过最近邻匹配的方式对影像金字塔中每层的参考影像和锁眼影像进行两两匹配并进行失配点去除，然后将所有匹配结果添加至同名点集合并再次进行失配点去除，得到最终匹配结果以及参考影像和锁眼影像之间的仿射变换关系。
在特征点匹配阶段，首先使用最近邻匹配的方式对参考影像以及目标影像的金字塔的每一层进行两两匹配并进行失配点去除，然后将所有匹配结果加入最终匹配点集合中再次进行失配点去除（随机样本一致性算法：RANSAC），从而得到最终匹配点以及图像之间的变换关系。
如图5所示，第一列圆圈代表锁眼影像的影像金字塔的每一层特征点集合，第二列圆圈代表参考影像的影像金字塔的每一层特征点集合，前两列的圆圈连线代表点集合相互匹配（最邻近匹配），然后将匹配结果，添加至同名点集合，并再次进行失配点去除，得到最终的匹配结果。
S300：基于所述仿射变换关系对所述锁眼影像和所述参考影像进行模板匹配和多重阈值匹配增强，并通过所述影像金字塔不断向下循环传递直至原始分辨率，获得高精度连接点；
在一些实施例中，所述基于所述仿射变换关系对所述锁眼影像和所述参考影像进行模板匹配和多重阈值匹配增强，并通过所述影像金字塔不断向下循环传递直至原始分辨率，获得高精度连接点，所述模板匹配包括：
基于特征匹配提供的仿射变换关系对所述参考影像进行正射影像重采样；
重新构建重采样后的正射影像的第二均值金字塔；
采用模板匹配算法对所述第二均值金字塔进行逐层精确匹配，得到高精度连接点。
在一些实施例中，所述采用模板匹配算法对所述第二均值金字塔进行逐层精确匹配，得到高精度连接点，包括：
步骤1：在所述第二均值金字塔的顶层，使用FAST特征检测器提取锁眼影像梯度图的角点；
步骤2：基于变换矩阵映射到正射影像上，并利用多方向梯度模板算法进行局部匹配；
多方向梯度模板算法为：
首先使用Sobel算法获取水平和垂直方向的梯度，并内插得到每个方向梯度：
其中，是方向梯度；/>是方向，/>是水平方向的梯度，/>是垂直方向的梯度；其中，我们使用默认参数，即将0到360度分成9个方向，因此每个点的模版特征的尺寸都是W*W*9，W是该点模版的邻域大小。为了进一步提高鲁棒性，对其模板特征又进行3D的高斯核卷积以及在方向梯度维度归一化的处理。
步骤3：获得顶层的特征点后，根据分辨率差异将匹配点映射至下一层作为连接点；
步骤4，重复执行步骤1-步骤3直到原始分辨率，从而逐步得到高精度连接点。
基于此，提出了一种基于匹配扩散以及局部一致性的多重阈值匹配增强策略；该策略能够有效的剔除局部地物变化区域的低可靠性同名点，并提高重复以及弱纹理区域的同名点个数。其基本原理：基于图像消除了较大的角度以及尺度差异的假设，通过联合大范围局部同名点对来提取局部区域的纹理、角度以及尺度信息判断其匹配结果的可靠性。
在一些实施例中，所述多重阈值匹配增强包括：基于所述最终匹配结果提取局部区域的尺度差异以及方向差异，从而判定可靠性；
其中，详细过程的描述如下：
首先，为了缓解弱纹理区域匹配点数少的问题，在特征邻域内搜索潜在匹配点并添加至待匹配点集。然后，联合该点集作为整体，能够使用更大范围的纹理结构信息。
其次，为了缓解大范围的几何畸变对匹配精度的影响，允许其点集的匹配结果在一个特定的变换模型内变化。
最后，基于匹配结果提取局部区域的尺度差异以及方向差异，并判定其可靠性。
采用仿射变换模型，通过下列公式提取仿射矩阵中的尺度以及方向差异：
其中M代表仿射变换矩阵，T,R,S,H分别代表平移、旋转、尺度、斜切分量；
根据所述仿射变换矩阵、平移、旋转、尺度和斜切分量得到方程组：
其中t=0，根据方程组的计算结果获取基于仿射变换关系的局部特征点的尺度差
异、以及方向差异。
S400：构建全景相机数学模型，通过所述全景相机数学模型和所述高精度连接点生成影像姿态参数；
在一些实施例中，所述构建全景相机数学模型，通过所述全景相机数学模型和所述高精度连接点生成影像姿态参数，所述构建全景相机数学模型包括：
旋转角度计算：
其中，是全景相机坐标系的横坐标，f是全景相机的焦距；
拟合动态全景变形：
其中代表卫星的运行速度，代表卫星高度，代表相机的旋转角速度，是t时
刻的内方位元素, 代表动态全景变形项；
根据旋转矩阵和姿态矩阵消除尺度因子：
其中，代表缝隙的旋转矩阵，/>代表尺度因子，/>代表t时刻缝隙的姿态矩阵，，/>分别代表相机的初始内外方位元素，分别代表相机内外方位元素随时间变化的系数,分别代表t时刻的相机内外方位元素，通过对公式左乘/>，得到：/>令/>
其中，代表旋转矩阵R中的第i行第j列的元素，将等式的第一行和第二行分别除以第三行可以消除尺度因子S，得到下式：/>
将旋转角度和动态全景变形项带入得到全景相机坐标；
其中，X，Y，Z是地面坐标，为锁眼影像坐标纵坐标，构建的全景相机数学模型有14个参数：其中有6个是线元素，用于描述摄影中心P相对于物方空间坐标系的位置，还有6个是角元素，用于描述影像面在摄影瞬间的空中姿态，以及动态全景变形参数/>，和焦距f。
S500：通过所述影像姿态参数进行模型引导匹配以生成无全景畸变影像的高精度连接点，并重新生成影像姿态参数；
在一些实施例中，所述通过所述全景相机数学模型和所述高精度连接点生成影像姿态参数，包括：
通过所述全景相机数学模型获取像方共轭点和物方共轭点；
根据所述像方共轭点和物方共轭点构建共线方程；
所述共线方程为：
对所述共线方程进行线性化后并拟定初始值进行计算，得到所述影像姿态参数。
其中，当确定拟合全景相机的数学模型后，可利用影像覆盖范围内一定数量的像方和物方共轭点。在本文中，影像匹配确定了大量的锁眼影像和参考影像（可以是谷歌地球、Landsat等具有地理信息的影像）之间的同名点：，由于参考影像是有地理信息的，因此通过参考影像的地理信息可以获取连接点/>对应的地面坐标（X，Y），根据（X，Y）在数字高程模型上内插出高程值（Z）。至此，我们得到了像方共轭点/>和物方共轭点（X，Y，Z）。此时，根据共线条件方程，来反求该影像的外方位元素，这种方法称为单幅影像的空间后方交会。其共线方程如上所示。由于该数学模型有14个未知数，且每一对像方和物方共轭点可列出2个方程，因此需要有七个及以上已知地面坐标的控制点来求解姿态参数。其中控制点数量越多，分布越均匀，其求解的姿态参数精度越高，可靠性越高。而当观测方程的数量大于未知量的个数时，需要使用最小二乘平差方法进行求解。 另外，由于该共线方程是非线性方程，需要对其进行线性化，并提供求解参数的初始值。
S600：利用重新生成的影像姿态参数结合数字高程模型实现精准定位以及进行正射校正。
在一些实施例中，所述通过所述影像姿态参数进行模型引导匹配以生成无全景畸变影像的高精度连接点，并重新生成影像姿态参数，包括：
利用所述影像姿态参数通过谷歌影像点得到对应的锁眼影像点；
利用姿态参数将锁眼影像点的邻域图像块纠正成正射影像块，使待匹配的影像块处于同一个模型，从而消除了全景模型与正射模型的几何畸变；
其中，正射校正的反算公式为：
其中，和/>分别对应锁眼影像点的横坐标和纵坐标；
重新进行模板匹配以得到无全景畸变影像的影像连接点，然后重新生成影像姿态参数。
在一些实施例中，所述利用重新生成的影像姿态参数结合数字高程模型实现精准定位以及进行正射校正，校正步骤包括：
步骤一：设置时间初始值；
步骤二：根据所述时间初始值得到内外方位元素，所述内外方位元素包括、/>和/>；
步骤三：根据重新生成的影像姿态参数以及地面坐标计算锁眼影像对应的像方坐标；
步骤四：根据锁眼影像对应的像方坐标计算出时间结果值；
步骤五：循环执行步骤一至步骤四，直至像方坐标的改正值不变，从而完成校正。
其中，当得到影像的全景相机的姿态参数后，利用反算法生成任意分辨率的正射影像，即：由于正射影像的分辨率是一致的，每个像素都有对应的地面坐标，因此通过确定待求的正射影像上像素的地面坐标（X，Y，Z）对应的锁眼影像上的像方坐标（x，y），高程值Z同样是在数字高程模型内插得到，另外，如果坐标不在整像素上，通过双线性内插的方法内插出其像素值，最后将其值赋给正射影像。通过反算法的公式确定地面点坐标（X，Y，Z）与全景坐标之间的关系，从而完成精确定位。此外，由于等内外方位元素与时间t相关，t又与x相关，因此需要同样需要迭代进行，过程如下：
（1）初始值t0设置为0.5，
（2）然后得到内外方位元素：等有t下标的参数，
（3）根据姿态参数以及X，Y，Z计算x，y，
（4）然后根据x，y计算时间t1，重新进行（1）-（3），直到x，y的改正值基本不变，从而完成校正。
综上,如图6所示，本方案的整体流程为：
构建锁眼和参考影像的影像金字塔；
在影像金字塔的顶层使用特征匹配获得图像之间的粗略仿射变换关系，并将其用于后续的逐层模板匹配来获得连接点；(即在其顶层使用特征匹配算法获取影像之间粗略变换关系；然后基于变换关系，对两张影像进行模版匹配，并通过影像金字塔不断向下传递至原始分辨率，从而得到高精度的连接点；)
最后，使用影像姿态参数纠正其全景畸变重新进行精确匹配来提高控制点的精度，并生成正射影像。
其中，根据姿态参数，我们就可以直接结合数字高程模型得到影像上每个点对应的地面坐标，这样就实现了精准定位，并同时通过正射校正生成正射影像。
以上仅是本发明优选的实施方式，需指出的是，对于本领域技术人员在不脱离本技术方案的前提下，作出的若干变形和改进的技术方案应同样视为落入本权利要求书要求保护的范围。
Claims (10)
1.一种基于锁眼解密历史影像的自动精准定位以及校正方法，其特征在于：包括以下步骤：
基于锁眼影像和参考影像构建影像金字塔；
通过特征匹配步骤在所述影像金字塔的顶层获取所述锁眼影像和所述参考影像之间的仿射变换关系；
基于所述仿射变换关系对所述锁眼影像和所述参考影像进行模板匹配和多重阈值匹配增强，并通过所述影像金字塔不断向下循环传递直至原始分辨率，获得高精度连接点；
构建全景相机数学模型，通过所述全景相机数学模型和所述高精度连接点生成影像姿态参数；
通过所述影像姿态参数进行模型引导匹配以生成无全景畸变影像的高精度连接点，并重新生成影像姿态参数；
利用重新生成的影像姿态参数结合数字高程模型实现精准定位以及进行正射校正。
2.根据权利要求1所述的方法，其特征在于：所述基于锁眼影像和参考影像构建影像金字塔，包括构建第一均值金字塔和高斯尺度空间；
构建第一均值金字塔步骤为：使用均值滤波消除锁眼影像和参考影像中的高频噪声，然后将滤波结果后的影像采样至滤波前的二分之一，不断循环滤波和采样的过程，从而得到预设层数的不同分辨率的影像，从而构建所述第一均值金字塔；
构建高斯尺度空间步骤为：采用预设高斯倍数以及降采样倍数对锁眼影像和参考影像进行高斯以及降采样，从而获得对应高斯降采样倍数下的多层分辨率图像集合，根据多层分辨率图像集合构建所述高斯尺度空间。
3.根据权利要求2所述的方法，其特征在于：所述通过特征匹配步骤在所述影像金字塔的顶层获取所述锁眼影像和所述参考影像之间的仿射变换关系，特征匹配步骤包括特征检测、特征描述和特征点匹配；
所述特征检测为：
采用sobel算子检测出影像金字塔中的图像边缘，对图像边缘使用低参数阈值的FAST算法提取N个角点，并根据Harris分数排序后生成特征点集合，采用KD树在所述特征点集合的 的范围内搜索近邻点，然后将所述近邻点从所述特征点集合中剔除，其中w和h分别表示图像的宽度和高度，根据剔除结果将特征点集合的前M个点作为特征点输出；
所述特征描述包括构建多方向通道特征、主方向估计和构建特征描述符；
所述构建多方向通道特征为：
采用多尺度多方向的Log-Gabor滤波器提取影像金字塔中的图像纹理特征，并对每个方向上所有尺度的滤波特征进行求和得到多方向滤波特征，Log-Gabor滤波器公式为：
LG特征的尺寸是W*H*O，其中W是图像的宽，H是图像的高，O是Log-Gabor滤波器的方向数，/>表示由奇对称和偶对称的log-Gabor滤波器对影像的卷积结果计算得到的幅值；
所述主方向估计为：
提取所述特征点的圆形邻域内的多尺度滤波特征，并计算出范数特征，对范数特征进行高斯加权，根据加权结果确定圆形邻域的具有重复区域的扇形数量，计算每个具有重复区域的扇形的加权范数总和，选取最大加权范数总和的扇形区域对应的中心轴的方向为主方向；
所述构建特征描述符为：
在特征点邻域内构建n3个不同半径的同心圆，并从选取的主方向开始将每个同心圆均分为n4个方向，并在每个方向上确定一个采样点，从而得到n3*n4+1个采样点；
在不同大小的同心圆上的采样点采用对应的高斯核对各个同心圆邻域的多方向滤波特征进行加权求和，并在每个采样点处获取一个o维的采样向量；
从选取的主方向开始，按照顺时针的顺序拼接每个采样点的采样向量，从而得到完整的特征描述符；
所述特征点匹配为：
基于所述特征描述符进行特征点匹配，通过最近邻匹配的方式对影像金字塔中每层的参考影像和锁眼影像进行两两匹配并进行失配点去除，然后将所有匹配结果添加至同名点集合并再次进行失配点去除，得到最终匹配结果以及参考影像和锁眼影像之间的仿射变换关系。
4.根据权利要求3所述的方法，其特征在于：所述基于所述仿射变换关系对所述锁眼影像和所述参考影像进行模板匹配和多重阈值匹配增强，并通过所述影像金字塔不断向下循环传递直至原始分辨率，获得高精度连接点，所述模板匹配包括：
基于特征匹配提供的仿射变换关系对所述参考影像进行正射影像重采样；
重新构建重采样后的正射影像的第二均值金字塔；
采用模板匹配算法对所述第二均值金字塔进行逐层精确匹配，得到高精度连接点。
5.根据权利要求4所述的方法，其特征在于：所述采用模板匹配算法对所述第二均值金字塔进行逐层精确匹配，得到高精度连接点，包括：
步骤1：在所述第二均值金字塔的顶层，使用FAST特征检测器提取锁眼影像梯度图的角点；
步骤2：基于变换矩阵映射到正射影像上，并利用多方向梯度模板算法进行局部匹配；
多方向梯度模板算法为：
首先使用Sobel算法获取水平和垂直方向的梯度，并内插得到每个方向梯度：
其中，/>是方向梯度；/>是方向，/>是水平方向的梯度，/>是垂直方向的梯度；
步骤3：获得顶层的特征点后，根据分辨率差异将匹配点映射至下一层作为连接点；
步骤4，重复执行步骤1-步骤3直到原始分辨率，从而逐步得到高精度连接点。
6.根据权利要求5所述的方法，其特征在于：所述多重阈值匹配增强包括：基于所述最终匹配结果提取局部区域的尺度差异以及方向差异，从而判定可靠性；
采用仿射变换模型，通过下列公式提取仿射矩阵中的尺度以及方向差异：
其中M代表仿射变换矩阵，T,R,S,H分别代表平移、旋转、尺度、斜切分量；
根据所述仿射变换矩阵、平移、旋转、尺度和斜切分量得到方程组：
其中t=0，根据方程组的计算结果获取基于仿射变换关系的局部特征点的尺度差异/>、/>以及方向差异/>。
7.根据权利要求6所述的方法，其特征在于：所述构建全景相机数学模型，通过所述全景相机数学模型和所述高精度连接点生成影像姿态参数，所述构建全景相机数学模型包括：
旋转角度计算：
其中，/>是全景相机坐标系的横坐标，f是全景相机的焦距；
拟合动态全景变形：
其中/>代表卫星的运行速度，/>代表卫星高度，/>代表相机的旋转角速度，/>是t时刻的内方位元素, />代表动态全景变形项；
根据旋转矩阵和姿态矩阵消除尺度因子：
其中，/>代表缝隙的旋转矩阵，/>代表尺度因子，/>代表t时刻缝隙的姿态矩阵，/>，分别代表相机的初始内外方位元素，/>分别代表相机内外方位元素随时间变化的系数, />分别代表t时刻的相机内外方位元素，通过对公式左乘/>，得到：
令/>其中，/>代表旋转矩阵R中的第i行第j列的元素，将等式的第一行和第二行分别除以第三行可以消除尺度因子S，得到下式：
将旋转角度和动态全景变形项带入得到全景相机坐标/>；
其中X，Y，Z是地面坐标，/>为锁眼影像坐标纵坐标，构建的全景相机数学模型有14个参数：其中有6个是线元素，用于描述摄影中心P相对于物方空间坐标系的位置/>，还有6个是角元素，用于描述影像面在摄影瞬间的空中姿态/>，以及动态全景变形参数/>，和焦距f。
8.根据权利要求7所述的方法，其特征在于：所述通过所述全景相机数学模型和所述高精度连接点生成影像姿态参数，包括：
通过所述全景相机数学模型获取像方共轭点和物方共轭点；
根据所述像方共轭点和物方共轭点构建共线方程；
所述共线方程为：
对所述共线方程进行线性化后并拟定初始值进行计算，得到所述影像姿态参数。
9.据权利要求8所述的方法，其特征在于：所述通过所述影像姿态参数进行模型引导匹配以生成无全景畸变影像的高精度连接点，并重新生成影像姿态参数，包括：
利用所述影像姿态参数通过谷歌影像点得到对应的锁眼影像点；
利用姿态参数将锁眼影像点的邻域图像块纠正成正射影像块，使待匹配的影像块处于同一个模型，从而消除了全景模型与正射模型的几何畸变；
其中，正射校正的反算公式为：
其中，/>和/>分别对应锁眼影像点的横坐标和纵坐标；
重新进行模板匹配以得到无全景畸变影像的影像连接点，然后重新生成影像姿态参数。
10.根据权利要求9所述的方法，其特征在于：所述利用重新生成的影像姿态参数结合数字高程模型实现精准定位以及进行正射校正，校正步骤包括：
步骤一：设置时间初始值；
步骤二：根据所述时间初始值得到内外方位元素，所述内外方位元素包括、/>和/>；
步骤三：根据重新生成的影像姿态参数以及地面坐标计算锁眼影像对应的像方坐标；
步骤四：根据锁眼影像对应的像方坐标计算出时间结果值；
步骤五：循环执行步骤一至步骤四，直至像方坐标的改正值不变，从而完成校正。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310907843.9A CN116823671A (zh) | 2023-07-24 | 2023-07-24 | 一种基于锁眼解密历史影像的自动精准定位以及校正方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310907843.9A CN116823671A (zh) | 2023-07-24 | 2023-07-24 | 一种基于锁眼解密历史影像的自动精准定位以及校正方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116823671A true CN116823671A (zh) | 2023-09-29 |
Family
ID=88120397
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310907843.9A Pending CN116823671A (zh) | 2023-07-24 | 2023-07-24 | 一种基于锁眼解密历史影像的自动精准定位以及校正方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116823671A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117611532A (zh) * | 2023-11-17 | 2024-02-27 | 国网四川省电力公司泸州供电公司 | 适用于电网的无人机巡检方法、巡检终端及可读存储介质 |
-
2023
- 2023-07-24 CN CN202310907843.9A patent/CN116823671A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117611532A (zh) * | 2023-11-17 | 2024-02-27 | 国网四川省电力公司泸州供电公司 | 适用于电网的无人机巡检方法、巡检终端及可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111862126B (zh) | 深度学习与几何算法结合的非合作目标相对位姿估计方法 | |
| CN104574347B (zh) | 基于多源遥感数据的在轨卫星图像几何定位精度评价方法 | |
| WO2019042232A1 (zh) | 一种快速鲁棒的多模态遥感影像匹配方法和系统 | |
| CN109523585B (zh) | 一种基于方向相位一致性的多源遥感影像特征匹配方法 | |
| CN105550994B (zh) | 一种基于卫星影像的无人机影像快速概略拼接方法 | |
| CN107490356B (zh) | 一种非合作目标旋转轴和旋转角测量方法 | |
| CN111985502A (zh) | 具有尺度与旋转不变性的多模态影像特征匹配方法 | |
| CN109671109B (zh) | 密集点云生成方法及系统 | |
| CN116823671A (zh) | 一种基于锁眼解密历史影像的自动精准定位以及校正方法 | |
| CN114897705A (zh) | 一种基于特征优化的无人机遥感图像拼接方法 | |
| CN111798453A (zh) | 用于无人驾驶辅助定位的点云配准方法及其系统 | |
| CN113706635B (zh) | 一种基于点特征和线特征融合的长焦距相机标定方法 | |
| CN115601407A (zh) | 一种红外与可见光图像配准方法 | |
| CN108876829B (zh) | 基于非线性尺度空间及径向基函数的sar高精度配准方法 | |
| CN113240584B (zh) | 一种基于图片边缘信息的多任务手势图片超分辨率方法 | |
| CN114119367A (zh) | 一种分区域的同步相移干涉图超分辨重建的插值方法 | |
| CN113808103A (zh) | 基于图像处理的路面坑洼自动检测方法、设备和存储介质 | |
| CN114004770B (zh) | 一种卫星时空图的精校正方法、装置及存储介质 | |
| CN114693755B (zh) | 多模图像最大矩与空间一致性的非刚性配准方法及系统 | |
| Panigrahi et al. | Pre-processing algorithm for rectification of geometric distortions in satellite images | |
| Feng et al. | Registration of multitemporal GF-1 remote sensing images with weighting perspective transformation model | |
| CN116206139A (zh) | 一种基于局部自卷积的无人机图像升尺度匹配方法 | |
| CN109919998B (zh) | 卫星姿态确定方法、装置和终端设备 | |
| CN117592001B (zh) | 一种数据融合方法及装置 | |
| CN114067130B (zh) | 用于机载光电图像模板匹配的特征点提取方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |