CN107945218B - 边缘大畸变影像匹配方法 - Google Patents

边缘大畸变影像匹配方法 Download PDF

Info

Publication number
CN107945218B
CN107945218B CN201711170884.5A CN201711170884A CN107945218B CN 107945218 B CN107945218 B CN 107945218B CN 201711170884 A CN201711170884 A CN 201711170884A CN 107945218 B CN107945218 B CN 107945218B
Authority
CN
China
Prior art keywords
matching
image
grid
adopting
gross error
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711170884.5A
Other languages
English (en)
Other versions
CN107945218A (zh
Inventor
龙小祥
李庆鹏
王冰冰
喻文勇
崔林
秦敬芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Center for Resource Satellite Data and Applications CRESDA
Original Assignee
China Center for Resource Satellite Data and Applications CRESDA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Center for Resource Satellite Data and Applications CRESDA filed Critical China Center for Resource Satellite Data and Applications CRESDA
Priority to CN201711170884.5A priority Critical patent/CN107945218B/zh
Publication of CN107945218A publication Critical patent/CN107945218A/zh
Application granted granted Critical
Publication of CN107945218B publication Critical patent/CN107945218B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供了一种边缘大畸变影像匹配方法，包括：分别建立关于待匹配影像和参考影像的各级金字塔影像并进行粗匹配；根据粗匹配的结果采用整体的放射变换模型进行模型构建，从而消除视差；采用多级多特征的模式，按照多级多特征匹配规则格网对待匹配影像和参考影响分别进行分割分块处理，对经过分割分块处理后得到的每个块，进行多级多特征匹配；按照粗差剔除规则格网对待匹配影像再次进行分割分块处理并对粗差剔除规则格网内的每个格，采用放射变换模型循环迭代进行粗差剔除；利用每个格经过粗差剔除后的控制点，根据相机物镜径向和切向畸变形态理论采用整体三次多项式迭代模型进行再次粗差剔除，以得到高精度匹配点并按预定格式输出。

Description

边缘大畸变影像匹配方法
技术领域
本发明属于摄影测量与计算机视觉领域，涉及基于影像分割分块和多级多特征的边缘大畸变影像高精度配准方案，具体涉及一种边缘大畸变影像匹配方法，用于基于影像分割分块和多级多特征的模式，对边缘大畸变图像执行高精度的控制点自动匹配。
背景技术
目前，国产高分辨率光学卫星均采用三反同轴或三反离轴光学系统，由于光学系统径向、切向畸变影响，导致相机在轨几何检校前影像边缘的几何畸变很大、中间畸变较小，如高分一号卫星(GF-1卫星)全色/多光谱相机影像两端的畸变达到300个像元、影像中间为2个像素以内，而在轨几何检校过程中，要求影像与参考区域的特征匹配精度达到亚像素，同时要求在一定范围内有足够多均匀分布的匹配点从而进行后续的模型建模和参数求解。
目前，针对影像匹配、影像密集匹配国内外很多学者已经开展了大量的研究与实践工作，如：SIFT匹配、矢量匹配、多视匹配、视差匹配、灰度匹配、线特征匹配、最小二乘匹配等，并取得了一定成果。对边缘大畸变、中间几乎无畸变影像，采用传统影像匹配方法，存在以下问题：
1)若顾及边缘大畸变，由于搜索范围过大、将导致误匹配点过多、无法构建严密几何约束模型进行粗差剔除；
2)若顾及中间较小畸变，由于搜索范围过小，将导致除中心区域外无法匹配到点的问题。
因此，为了保证在一定范围内有足够多均匀分布的匹配点，同时保证影像与参考区域的特征匹配精度达到亚像素匹配精度，为后续在轨几何检校模型建模和参数求解提供高精度的控制点，亟待解决边缘大畸变影像高精度配准这项技术难题，这就必须针对相机的结构、相机物镜的径向和切向畸变形态以及在轨几何检校前边缘大畸变影像特点，采用合适的策略和方法保证边缘大畸变影像匹配点的均匀分布与亚像素匹配精度。
发明内容
为了解决现有技术中存在的问题，针对边缘大畸变影像，本发明提出了一种高精度的控制点自动匹配方案，执行基于影像分割分块和多级多特征的边缘大畸变影像高精度配准。
本发明提供了一种边缘大畸变影像匹配方法，用于基于影像分割分块和多级多特征的模式，对边缘大畸变图像执行高精度的控制点自动匹配，包括以下步骤：步骤一，分别建立关于待匹配影像和参考影像的各级金字塔影像，并进行粗匹配；步骤二，根据粗匹配的结果，采用整体的放射变换模型进行模型构建，从而消除视差；步骤三，采用多级多特征的模式，按照多级多特征匹配规则格网，对待匹配影像和参考影响分别进行分割分块处理，对经过分割分块处理后得到的每个块，进行多级多特征匹配；步骤四，按照粗差剔除规则格网，对待匹配影像再次进行分割分块处理，并对粗差剔除规则格网内的每个格，采用放射变换模型，循环迭代进行粗差剔除；步骤五，利用粗差剔除规则格网内的每个格经过粗差剔除后的控制点，根据相机物镜的径向和切向畸变形态理论，采用整体三次多项式迭代模型进行再次粗差剔除，以得到高精度匹配点并按预定格式输出。
优选地，多级多特征匹配规则格网的尺寸为256*256个像素或512*512个像素，粗差剔除规则格网的尺寸为256*像素或512*像素。
具体地，在步骤四中执行：在金字塔影像的最上层，进行特征点提取；采用灰度相似性测度，使匹配精度达到整像素；利用匹配结果，进行几何模型构建并消除时差，直至金字塔影像全部完成匹配；采用最小二乘匹配，使匹配精度达到亚影像。
因此，相对于现有技术，本发明充分结合相机的结构、相机物镜的径向和切向畸变形态以及在轨几何检校前边缘大畸变影像特点，采用影像分割分块、多级多特征、多级粗差剔除的策略，保证在一定范围内有足够多均匀分布的匹配点，同时保证影像与参考区域的特征匹配精度达到亚像素匹配精度，为后续在轨几何检校模型建模和参数求解提供高精度的控制点，并且经过前期试验验证，本发明的匹配方案可行、有效，匹配结果稳定、可靠、精度高，目前已工程化应用到国家陆地观测卫星地面数据系统中，运行稳定。
附图说明
图1是本发明具体实施方式所涉及的基于影像分割分块和多级多特征的边缘大畸变影像高精度配准方案的流程图；
图2是本发明具体实施方式所涉及的块内多级多特征匹配的流程图；
图3是影像多级多特征匹配分割分块处理的示意图；
图4是影像粗差剔除分割分块处理的示意图。
具体实施方式
应了解，本发明的思路在于，基于影像分割分块和多级多特征执行边缘大畸变影像高精度匹配。本发明的实施包括金字塔影像粗匹配、多级多特征匹配规则格网构建、多级多特征匹配、粗差剔除规则格网构建、格网内循环迭代粗差剔除、整体循环迭代粗差剔除等粗略和方法。
在本发明中，高精度配准流程具体包括：
步骤1，对待匹配影像和参考影像分别建立各级金字塔影像，进行粗匹配。
步骤2，利用步骤1粗匹配结果，采用整体仿射变换模型进行几何模型构建，消除视差；
步骤3，按照多级多特征匹配规则格网，对待匹配影像和参考影像分别进行分割分块处理，一般格网大小为：256*256个像素或512*521个像素。
步骤4，对步骤3中每个块内进行多级多特征匹配。首先，在最上层金字塔进行特征点提取(如：SUSAN算子、Harris算子、Forstner算子等)，其次，采用灰度相似性测度使匹配精度达到整像素，然后，利用匹配结果进行几何模型构建方法，消除视差，直到所有金字塔均匹配完成，最后，采用最小二乘匹配，使匹配精度达到亚像素。
步骤5，按照粗差剔除规则格网，对待匹配影像再次进行分割分块处理，一般格网大小为：256*图像高度或512*图像高度。
步骤6，对每个粗差剔除分割分块格网内，采用仿射变换模型，循环迭代进行粗差剔除；
最后，利用步骤6中每个粗差剔除分割分块格网内粗差剔除后的控制点，根据相机物镜的径向和切向畸变形态理论基础，采用整体三次多项式迭代进行粗差剔除，从而得到高精度匹配点，并按一定格式进行输出。
可见，本发明充分结合相机的结构、相机物镜的径向和切向畸变形态以及在轨几何检校前边缘大畸变影像特点，采用影像分割分块、多级多特征、多级粗差剔除的策略，解决了传统影像匹配方法，对边缘大畸变、中间几乎无畸变影像，若顾及边缘大畸变，由于搜索范围过大、将导致误匹配点过多、无法构建严密几何约束模型进行粗差剔除，若顾及中间较小畸变，由于搜索范围过小，将导致除中心区域外无法匹配到点的问题。
以下结合附图和实施例详细说明本发明具体实施方式。
如图1所示，作为本发明的具体实施方式，边缘大畸变影像高精度配准的流程可以分为六个步骤，每个步骤实施的具体方法、公式以及流程如下：
步骤1，对待匹配影像和参考影像分别构建各级金字塔，进行金字塔粗匹配，即对参考影像上的特征点建立一个矩形窗口作为目标窗口，然后在目标影像上选择一个更大区域的窗口作为搜索窗口，并建立一个匹配窗口在搜索窗口上逐个像素移动，同时将目标窗口与匹配窗口进行比较，其中相关系数最大，即与目标窗口最相似的匹配窗口中心即为同名特征点。
步骤2，利用步骤1粗匹配结果，采用整体仿射变换模型进行几何模型构建并利用最小二乘法进行参数求解，其几何模型如下；
Figure BDA0001477216890000041
在上式中，s代表探元列号，l代表探元行号，ai、bi待求解的几何模型参数，s’代表新的探元列号，l’代表新的探元行号。
步骤3，按照多级多特征匹配规则格网，对待匹配影像和参考影像分别进行分割分块处理，一般格网大小为：256*256个像素或512*512个像素(如图3所示)。
步骤4，对步骤3中每个块内进行多级多特征匹配。如图2所示，首先，在最上层金字塔进行特征点提取(如：SUSAN算子、Harris算子、Forstner算子等)，其次，采用灰度相似性测度使匹配精度达到整像素，然后，利用匹配结果进行几何模型构建方法，消除视差，直到所有金字塔均匹配完成，最后，采用最小二乘匹配，使匹配精度达到亚像素。
步骤5，按照粗差剔除规则格网，对待匹配影像再次进行分割分块处理，一般格网大小为：256*图像高度或512*图像高度(如图4所示)。
步骤6，对每个粗差剔除分割分块格网内，采用仿射变换模型，循环迭代进行粗差剔除；首先，构建如下的仿射变换模型：
Figure BDA0001477216890000042
在上式中，s代表探元列号，l代表探元行号，ai、bi几何模型参数，s’代表新的探元列号，l’代表新的探元行号，然后，利用格网内控制点采用最小二乘法进行参数求解，最后，根据每个点的残差值进行粗差的检测，若残差值大于设定的阈值(一般设定为三倍中误差)即为粗差，将其剔除，不断迭代，直到全部满足误差要求。
最后，利用步骤6中每个粗差剔除分割分块格网内粗差剔除后的控制点，根据相机物镜的径向和切向畸变形态理论基础，采用整体三次多项式迭代进行粗差剔除；首先，构建如下的三次多项式模型：
Figure BDA0001477216890000043
在上式中，s代表探元列号，l代表探元行号，ai、bi三次多项式模型参数，s’代表新的探元列号，l’代表新的探元行号，然后，利用所有控制点采用最小二乘法进行参数求解，最后，根据每个点的残差值进行粗差的检测，若残差值大于设定的阈值(一般设定为三倍中误差)即为粗差，将其剔除，不断迭代，直到全部满足误差要求，从而得到高精度匹配点，并按一定格式进行输出。
应了解，经我国高分专项首发星、我国首颗宽幅(幅宽：800km)光学遥感卫星——高分一号卫星在轨几何检校前高精度控制点匹配的实践表明该匹配方法可行、有效，匹配结果稳定、可靠、精度高，目前已工程化应用到国家陆地观测卫星地面数据系统中，运行稳定。
本发明中未说明部分属于本领域的公知技术。

Claims (4)

1.一种边缘大畸变影像匹配方法，用于基于影像分割分块和多级多特征的模式，对边缘大畸变图像执行高精度的控制点自动匹配，其特征在于，包括以下步骤：
步骤一，分别建立关于待匹配影像和参考影像的各级金字塔影像，并进行粗匹配；
步骤二，根据粗匹配的结果，采用整体的放射变换模型进行模型构建，从而消除视差；
步骤三，采用所述多级多特征的模式，按照多级多特征匹配规则格网，对所述待匹配影像和所述参考影像分别进行分割分块处理，对经过分割分块处理后得到的每个块，进行多级多特征匹配；
步骤四，按照粗差剔除规则格网，对所述待匹配影像再次进行分割分块处理，并对所述粗差剔除规则格网内的每个格，采用所述放射变换模型，循环迭代进行粗差剔除；
步骤五，利用所述粗差剔除规则格网内的每个格经过粗差剔除后的控制点，根据相机物镜的径向和切向畸变形态理论，采用整体三次多项式迭代模型进行再次粗差剔除，以得到高精度匹配点并按预定格式输出。
2.根据权利要求1所述的边缘大畸变影像匹配方法，其特征在于，所述多级多特征匹配规则格网的尺寸为256*256个像素或512*512个像素。
3.根据权利要求2所述的边缘大畸变影像匹配方法，其特征在于，在所述步骤三中执行：
在所述金字塔影像的最上层，进行特征点提取；
采用灰度相似性测度，使匹配精度达到整像素；
利用匹配结果，进行几何模型构建并消除时差，直至所述金字塔影像全部完成匹配；
采用最小二乘匹配，使匹配精度达到亚影像。
4.根据权利要求3所述的边缘大畸变影像匹配方法，其特征在于，所述粗差剔除规则格网的尺寸为256*像素或512*像素。
CN201711170884.5A 2017-11-22 2017-11-22 边缘大畸变影像匹配方法 Active CN107945218B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711170884.5A CN107945218B (zh) 2017-11-22 2017-11-22 边缘大畸变影像匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711170884.5A CN107945218B (zh) 2017-11-22 2017-11-22 边缘大畸变影像匹配方法

Publications (2)

Publication Number Publication Date
CN107945218A CN107945218A (zh) 2018-04-20
CN107945218B true CN107945218B (zh) 2020-05-22

Family

ID=61929687

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711170884.5A Active CN107945218B (zh) 2017-11-22 2017-11-22 边缘大畸变影像匹配方法

Country Status (1)

Country Link
CN (1) CN107945218B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114494429B (zh) * 2021-12-23 2023-01-31 中国资源卫星应用中心 大规模无控制立体平差网几何定位粗差探测与处理方法
CN115661453B (zh) * 2022-10-25 2023-08-04 腾晖科技建筑智能(深圳)有限公司 一种基于下视角相机的塔吊吊物检测分割方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1987896A (zh) * 2005-12-23 2007-06-27 中国科学院中国遥感卫星地面站 高分辨率sar影像配准处理方法及系统
CN101840517A (zh) * 2010-04-27 2010-09-22 武汉大学 一种基于影像配准的控制点影像库匹配方法及其装置
CN102446356A (zh) * 2011-09-24 2012-05-09 中国测绘科学研究院 一种获取均匀分布匹配点的遥感影像并行自适应匹配方法
WO2013089752A1 (en) * 2011-12-15 2013-06-20 Intel Corporation Techniques for improving stereo block matching with the pyramid method
CN104134203A (zh) * 2014-07-07 2014-11-05 上海珞琪软件有限公司 一种近景摄影测量的快速密集匹配法
CN104134220A (zh) * 2014-08-15 2014-11-05 北京东方泰坦科技股份有限公司 一种像方空间一致性的低空遥感影像高精度匹配方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1987896A (zh) * 2005-12-23 2007-06-27 中国科学院中国遥感卫星地面站 高分辨率sar影像配准处理方法及系统
CN101840517A (zh) * 2010-04-27 2010-09-22 武汉大学 一种基于影像配准的控制点影像库匹配方法及其装置
CN102446356A (zh) * 2011-09-24 2012-05-09 中国测绘科学研究院 一种获取均匀分布匹配点的遥感影像并行自适应匹配方法
WO2013089752A1 (en) * 2011-12-15 2013-06-20 Intel Corporation Techniques for improving stereo block matching with the pyramid method
CN104134203A (zh) * 2014-07-07 2014-11-05 上海珞琪软件有限公司 一种近景摄影测量的快速密集匹配法
CN104134220A (zh) * 2014-08-15 2014-11-05 北京东方泰坦科技股份有限公司 一种像方空间一致性的低空遥感影像高精度匹配方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Orientation and 3D modelling from markerless terrestrial images:combining accuracy with automation;Luigi Barazzetti.et;《THE PHOTOGRAMMETRIC RECORD》;20101231;第25卷(第132期);第356-381页 *
基于航空影像的真正射影像制作关键技术研究;许彪;《中国博士学位论文全文数据库 信息科技辑》;20101015(第10期);第I138-69页 *

Also Published As

Publication number Publication date
CN107945218A (zh) 2018-04-20

Similar Documents

Publication Publication Date Title
CN111028277B (zh) 基于伪孪生卷积神经网络的sar和光学遥感图像配准方法
CN104574347B (zh) 基于多源遥感数据的在轨卫星图像几何定位精度评价方法
CN105184801B (zh) 一种基于多层次策略的光学与sar影像高精度配准方法
CN108428220B (zh) 静止轨道卫星序列遥感影像海岛礁区域自动几何校正方法
CN105354841B (zh) 一种快速遥感影像匹配方法及系统
CN108230326B (zh) 基于gpu-cpu协同的卫星影像拉花变形快速检测方法
CN108759788B (zh) 无人机影像定位定姿方法及无人机
CN110599424B (zh) 影像自动匀色处理方法及装置、电子设备、存储介质
CN106096497B (zh) 一种针对多元遥感数据的房屋矢量化方法
CN105606123B (zh) 一种低空航空摄影测量自动纠正数字地面高程模型的方法
CN112419196B (zh) 一种基于深度学习的无人机遥感影像阴影去除方法
CN102446356A (zh) 一种获取均匀分布匹配点的遥感影像并行自适应匹配方法
CN104318583A (zh) 一种可见光宽带光谱图像配准方法
CN113409332B (zh) 一种基于三维点云的建筑物平面分割方法
CN107945218B (zh) 边缘大畸变影像匹配方法
CN106295657A (zh) 一种视频数据结构化过程中提取人体高度特征的方法
CN113963070A (zh) 一种圆形标定板识别方法
Magri et al. Bending the doming effect in structure from motion reconstructions through bundle adjustment
Ni et al. A fully automatic registration approach based on contour and SIFT for HJ-1 images
CN116091562A (zh) 基于二维投影线段的建筑物点云自动配准的方法
CN109685837B (zh) 一种基于地物结构相似度的异源遥感影像配准方法
CN111127525B (zh) 带约束点集配准的增量式农田边界精度校准方法及装置
CN110490069B (zh) 一种基于降采样局部差分二进制的遥感图像目标识别方法
CN112950680B (zh) 一种卫星遥感图像配准方法
CN118640878B (zh) 一种基于航空测绘技术的地形测绘方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant