CN110335298A - 一种基于无人机平台图像消旋方法 - Google Patents

一种基于无人机平台图像消旋方法 Download PDF

Info

Publication number
CN110335298A
CN110335298A CN201910625723.3A CN201910625723A CN110335298A CN 110335298 A CN110335298 A CN 110335298A CN 201910625723 A CN201910625723 A CN 201910625723A CN 110335298 A CN110335298 A CN 110335298A
Authority
CN
China
Prior art keywords
image
fractional
block
equation
cosine transform
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910625723.3A
Other languages
English (en)
Other versions
CN110335298B (zh
Inventor
史彩成
吉书鹏
马传炎
刘志广
安建波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201910625723.3A priority Critical patent/CN110335298B/zh
Publication of CN110335298A publication Critical patent/CN110335298A/zh
Application granted granted Critical
Publication of CN110335298B publication Critical patent/CN110335298B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G06T3/147—Transformations for image registration, e.g. adjusting or mapping for alignment of images using affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于无人机平台图像消旋方法，包括S1、采用分数阶傅里叶变换寻找图像角点，S2、两幅图像间的角点块的分数阶余弦变换系数配准，S3、采用二次曲线拟合求待拼接图像亚像素匹配点，S4、求拼接图像的仿射方程，S5、选取消旋图像。无人机无论是机身的姿态变化还是相机镜头变焦，通过本发明的基于无人机平台图像消旋方法都能实时、有效的实现角点对的配准，进行图像的仿射变换，完成图像的消旋。

Description

一种基于无人机平台图像消旋方法
技术领域
本发明涉及一种基于无人机平台图像消旋方法。
背景技术
无人机现有的图像消旋有两种方法以及存在如下的优缺点：
基于相位相关法：相位相关法当照片中含有大量相似结构时，可能会产生不明确的结果，导致匹配的准确性低，算法复杂，运算量大，实时运算困难；
基于特征相关法：首先寻找角点，计算角点出的SIFT、SURF、ORB等不变特征。这些特征具有旋转不变性、尺度不变性、平移不变性。对两幅需要匹配的图像分别进行角点的特征匹配，寻找到匹配角点对。建立两幅图像之间的仿射关系。但由于图像往往非常复杂，这些方法大多需要提取成千上万的特征进行匹配，并且上述不变特征的维数多，计算巨大，有可能无法实时应用于。近来尝试对图像进行降采样，以减少特征搜索和匹配的运算量消耗。但不可避免地会丢失图像细节，降低了图像的分辨率，降低了匹配精度。
发明内容
为了解决上述技术问题，本发明的目的是提供一种基于无人机平台图像消旋方法。
为解决上述技术问题，本发明采用如下技术方案：
一种基于无人机平台图像消旋方法，包括：
S1、采用分数阶傅里叶变换寻找图像角点
将图像划分为不相交的16×16块，逐一对16×16块图像进行分数阶为1的余弦变换；当块的高频系数的能量占所有能量的80％及以上，则该16×16块为具有角点的块；若余弦变换系数按z字型排列从最高频开始230个系数的累加和与整个系数的累加和的比大于80％，则此块为角点块；
S2、两幅图像间的角点块的分数阶余弦变换系数配准
在基准图像找到角点块后，如何与当前图像匹配是关键，由于分数阶余弦变换具有旋转性，在某一分数阶系数下分辨率具有最高的时频分析结果，即最优分数阶；
采用归一化二阶中心矩的方法寻找最优分数阶，归一化二阶中心矩定义如下：
其中为归一化一阶原点矩，为归一化二阶原点矩，a的取值范围[0,2]；则：
求乘积papa1在[0,2]范围内的两个间隔为1的极小值点，最终两个分数阶次中，选择对应模值大的分数阶次作为最优阶；
首先在基准图确定16个离边缘最近具有角点的块，当确定角点块后，求每个块的最优分数阶，然后在待匹配图像中以基准图的位置为中心、L×L范围内逐点滑动求基准图对应块的最优分数阶余弦变换；由于相邻图像旋转角度不大，因此两幅图像相同块的最优分数阶基本一致，计算并记录基准图像块与L×L范围内待匹配图像最优分数阶余弦变换系数的绝对差累加和,寻找绝对差累加和的最小位置；
式中F(u,v)为基准图像块的最佳分数阶余弦变换系数，F'(x,y)为待匹配图像块的最佳分数阶余弦变换系数；
S3、采用二次曲线拟合求待拼接图像亚像素匹配点
沿最小位置为中心的纵、横方向取5个绝对差累加和，采用二次方程进行拟合，求纵、横方向的极小值位置，求出该匹配对的待匹配图像中纵、横方向亚像素最佳点位置，提高匹配精度；
采用二元回归方程进行二次方程拟合：
式中y'i为纵向位置的绝对差累加和，yi纵向位置；x'i为纵向位置的绝对差累加和，xi纵向位置；
求解方程的6个系数a、b、c、d、e、f；则横向极小值为纵向极小值为
S4、求拼接图像的仿射方程
对于待配准的两幅图像，采用仿射方程进行映射，假设对应点位置的变换关系为：
其中，(x1,y1)(x2,y2)分别为基准图像、待匹配图像中对应角点的坐标；
S5、选取消旋图像
利用已得到的仿射方程，计算待匹配图像的中心点位置映射在拼接图像的位置，以此拼接图像位置为中心，截取需要显示的图像。
进一步的，分数阶余弦变换公式如下：
定义：
上式中φx＝αxπ/2是相对x轴的旋转角度；设x轴和y轴的旋转角度相同，即αx＝αy，二维分数阶数相同；
令αx＝αy＝1，则分数阶余弦变换这边为传统余弦变换：
进一步的，所述步骤S4中，由于角点块中有可能包含有运动目标，则采用16对中取四对的组合求仿射方程，用此1820组方程用待匹配图像块位置计算其映射到基准图的位置，统计出每组方程基准图像理论位置与实际位置的方差，取最小方差对应的仿射方程作为本次映射方程。
与现有技术相比，本发明的有益技术效果：
在两幅需匹配的图像中，图像发生变形，特征值的旋转、尺度和平移不变性具有鲁棒性；降低不变特征值的维数，减小运算量，适应实时应用；
无人机无论是机身的姿态变化还是相机镜头变焦，通过本发明的消旋方法都能实时、有效的实现角点对的配准，进行图像的仿射变换，完成图像的消旋。
附图说明
下面结合附图说明对本发明作进一步说明。
图1和图2为本发明的流程图。
具体实施方式
如图1和2所示，一种基于无人机平台图像消旋方法，包括：
S1、采用分数阶傅里叶变换寻找图像角点
将图像划分为不相交的16×16块，逐一对16×16块图像进行分数阶为1的余弦变换。当块的高频系数的能量占所有能量的80％及以上，则该16×16块为具有角点的块。
若余弦变换系数按z字型排列从最高频开始230个系数的累加和与整个系数的累加和的比大于80％，则此块为角点块。
图像16×16块分数阶余弦变换
分数阶余弦变换公式如下：
定义：
上式中φx＝αxπ/2是相对x轴的旋转角度。设x轴和y轴的旋转角度相同，即αx＝αy，二维分数阶数相同。
令αx＝αy＝1，则分数阶余弦变换这边为传统余弦变换：
S2、两幅图像间的角点块的分数阶余弦变换系数配准
在基准图像找到角点块后，如何与当前图像匹配是关键。由于分数阶余弦变换具有旋转性，在某一分数阶系数下分辨率具有最高的时频分析结果，即最优分数阶。
采用归一化二阶中心矩的方法寻找最优分数阶。归一化二阶中心矩定义如下：
其中为归一化一阶原点矩，为归一化二阶原点矩，a的取值范围[0,2]。则：
求乘积papa1在[0,2]范围内的两个间隔为1的极小值点，最终两个分数阶次中，选择对应模值大的分数阶次作为最优阶。
首先在基准图确定16个离边缘最近具有角点的块。当确定角点块后，求每个块的最优分数阶。然后在待匹配图像中以基准图的位置为中心、L×L范围内逐点滑动求基准图对应块的最优分数阶余弦变换。由于相邻图像旋转角度不大，因此两幅图像相同块的最优分数阶基本一致。计算并记录基准图像块与L×L范围内待匹配图像最优分数阶余弦变换系数的绝对差累加和,寻找绝对差累加和的最小位置。
式中F(u,v)为基准图像块的最佳分数阶余弦变换系数，F'(x,y)为待匹配图像块的最佳分数阶余弦变换系数。
S3、采用二次曲线拟合求待拼接图像亚像素匹配点
沿最小位置为中心的纵、横方向取5个绝对差累加和，采用二次方程进行拟合，求纵、横方向的极小值位置，求出该匹配对的待匹配图像中纵、横方向亚像素最佳点位置。提高了匹配精度。
采用二元回归方程进行二次方程拟合：
式中y'i为纵向位置的绝对差累加和，yi纵向位置；x'i为纵向位置的绝对差累加和，xi纵向位置。
求解方程的6个系数a、b、c、d、e、f。则横向极小值为纵向极小值为
S4、求拼接图像的仿射方程
对于待配准的两幅图像，采用仿射方程进行映射。假设对应点位置的变换关系为：
其中，(x1,y1)(x2,y2)分别为基准图像、待匹配图像中对应角点的坐标。
由于角点块中有可能包含有运动目标，则采用16对中取四对的组合求仿射方程。用此1820组方程用待匹配图像块位置计算其映射到基准图的位置，统计出每组方程基准图像理论位置与实际位置的方差。取最小方差对应的仿射方程作为本次映射方程。
S5、选取消旋图像
利用已得到的仿射方程，计算待匹配图像的中心点位置映射在拼接图像的位置。以此拼接图像位置为中心，截取需要显示的图像。
以上所述的实施例仅是对本发明的优选方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (3)

1.一种基于无人机平台图像消旋方法，其特征在于，包括：
S1、采用分数阶傅里叶变换寻找图像角点
将图像划分为不相交的16×16块，逐一对16×16块图像进行分数阶为1的余弦变换；当块的高频系数的能量占所有能量的80％及以上，则该16×16块为具有角点的块；若余弦变换系数按z字型排列从最高频开始230个系数的累加和与整个系数的累加和的比大于80％，则此块为角点块；
S2、两幅图像间的角点块的分数阶余弦变换系数配准
在基准图像找到角点块后，如何与当前图像匹配是关键，由于分数阶余弦变换具有旋转性，在某一分数阶系数下分辨率具有最高的时频分析结果，即最优分数阶；
采用归一化二阶中心矩的方法寻找最优分数阶，归一化二阶中心矩定义如下：
其中为归一化一阶原点矩，为归一化二阶原点矩，a的取值范围[0,2]；则：
求乘积papa1在[0,2]范围内的两个间隔为1的极小值点，最终两个分数阶次中，选择对应模值大的分数阶次作为最优阶；
首先在基准图确定16个离边缘最近具有角点的块，当确定角点块后，求每个块的最优分数阶，然后在待匹配图像中以基准图的位置为中心、L×L范围内逐点滑动求基准图对应块的最优分数阶余弦变换；由于相邻图像旋转角度不大，因此两幅图像相同块的最优分数阶基本一致，计算并记录基准图像块与L×L范围内待匹配图像最优分数阶余弦变换系数的绝对差累加和,寻找绝对差累加和的最小位置；
式中F(u,v)为基准图像块的最佳分数阶余弦变换系数，F'(x,y)为待匹配图像块的最佳分数阶余弦变换系数；
S3、采用二次曲线拟合求待拼接图像亚像素匹配点
沿最小位置为中心的纵、横方向取5个绝对差累加和，采用二次方程进行拟合，求纵、横方向的极小值位置，求出该匹配对的待匹配图像中纵、横方向亚像素最佳点位置，提高匹配精度；
采用二元回归方程进行二次方程拟合：
式中y’i为纵向位置的绝对差累加和，yi纵向位置；x’i为纵向位置的绝对差累加和，xi纵向位置；
求解方程的6个系数a、b、c、d、e、f；则横向极小值为纵向极小值为
S4、求拼接图像的仿射方程
对于待配准的两幅图像，采用仿射方程进行映射，假设对应点位置的变换关系为：
其中，(x1,y1)(x2,y2)分别为基准图像、待匹配图像中对应角点的坐标；
S5、选取消旋图像
利用已得到的仿射方程，计算待匹配图像的中心点位置映射在拼接图像的位置，以此拼接图像位置为中心，截取需要显示的图像。
2.根据权利要求1所述的基于无人机平台图像消旋方法，其特征在于，分数阶余弦变换公式如下：
定义：
上式中φx＝αxπ/2是相对x轴的旋转角度；设x轴和y轴的旋转角度相同，即αx＝αy，二维分数阶数相同；
令αx＝αy＝1，则分数阶余弦变换这边为传统余弦变换：
3.根据权利要求1所述的基于无人机平台图像消旋方法，其特征在于，所述步骤S4中，由于角点块中有可能包含有运动目标，则采用16对中取四对的组合求仿射方程，用此1820组方程用待匹配图像块位置计算其映射到基准图的位置，统计出每组方程基准图像理论位置与实际位置的方差，取最小方差对应的仿射方程作为本次映射方程。
CN201910625723.3A 2019-07-11 2019-07-11 一种基于无人机平台图像消旋方法 Active CN110335298B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910625723.3A CN110335298B (zh) 2019-07-11 2019-07-11 一种基于无人机平台图像消旋方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910625723.3A CN110335298B (zh) 2019-07-11 2019-07-11 一种基于无人机平台图像消旋方法

Publications (2)

Publication Number Publication Date
CN110335298A true CN110335298A (zh) 2019-10-15
CN110335298B CN110335298B (zh) 2021-08-24

Family

ID=68146476

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910625723.3A Active CN110335298B (zh) 2019-07-11 2019-07-11 一种基于无人机平台图像消旋方法

Country Status (1)

Country Link
CN (1) CN110335298B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103456015A (zh) * 2013-09-06 2013-12-18 电子科技大学 基于最优分数域Gabor谱特征的SAR目标检测方法
CN103955926A (zh) * 2014-04-22 2014-07-30 西南交通大学 基于Semi-NMF的遥感图像变化检测方法
CN105403873A (zh) * 2015-12-11 2016-03-16 西安电子科技大学 基于分数阶傅里叶变换的目标特征提取方法
CN106157237A (zh) * 2015-05-11 2016-11-23 国家电网公司 一种基于分数阶傅里叶变换和子带分解的图像处理方法
CN106204570A (zh) * 2016-07-05 2016-12-07 安徽工业大学 一种基于非因果分数阶梯度算子的角点检测方法
CN106503143A (zh) * 2016-10-21 2017-03-15 广东工业大学 一种图像检索方法及装置
US20170213329A1 (en) * 2014-07-22 2017-07-27 Hewlett-Packard Development Company, L.P., Recovering Planar Projections
CN107274334A (zh) * 2017-06-28 2017-10-20 南京信息工程大学 一种基于四元数变换的彩色图像自适应水印方法
US10037594B2 (en) * 2013-12-27 2018-07-31 Sharp Kabushiki Kaisha Resolution estimating device
CN108805916A (zh) * 2018-04-27 2018-11-13 沈阳理工大学 一种基于分数阶变分光流模型及对偶优化的图像配准方法
CN109407070A (zh) * 2018-12-10 2019-03-01 电子科技大学 一种高轨平台地面运动目标检测方法
CN109658446A (zh) * 2018-10-30 2019-04-19 武汉珈和科技有限公司 一种高分辨率遥感影像几何配准方法及装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103456015A (zh) * 2013-09-06 2013-12-18 电子科技大学 基于最优分数域Gabor谱特征的SAR目标检测方法
US10037594B2 (en) * 2013-12-27 2018-07-31 Sharp Kabushiki Kaisha Resolution estimating device
CN103955926A (zh) * 2014-04-22 2014-07-30 西南交通大学 基于Semi-NMF的遥感图像变化检测方法
US20170213329A1 (en) * 2014-07-22 2017-07-27 Hewlett-Packard Development Company, L.P., Recovering Planar Projections
CN106157237A (zh) * 2015-05-11 2016-11-23 国家电网公司 一种基于分数阶傅里叶变换和子带分解的图像处理方法
CN105403873A (zh) * 2015-12-11 2016-03-16 西安电子科技大学 基于分数阶傅里叶变换的目标特征提取方法
CN106204570A (zh) * 2016-07-05 2016-12-07 安徽工业大学 一种基于非因果分数阶梯度算子的角点检测方法
CN106503143A (zh) * 2016-10-21 2017-03-15 广东工业大学 一种图像检索方法及装置
CN107274334A (zh) * 2017-06-28 2017-10-20 南京信息工程大学 一种基于四元数变换的彩色图像自适应水印方法
CN108805916A (zh) * 2018-04-27 2018-11-13 沈阳理工大学 一种基于分数阶变分光流模型及对偶优化的图像配准方法
CN109658446A (zh) * 2018-10-30 2019-04-19 武汉珈和科技有限公司 一种高分辨率遥感影像几何配准方法及装置
CN109407070A (zh) * 2018-12-10 2019-03-01 电子科技大学 一种高轨平台地面运动目标检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HUIXIAN NIU等: "Image registration based on Fractional Fourier Transform", 《OPTIK - INTERNATIONAL JOURNAL FOR LIGHT AND ELECTRON OPTICS》 *
张博: "基于分数阶余弦变换算法的人脸面部表情识别的研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Also Published As

Publication number Publication date
CN110335298B (zh) 2021-08-24

Similar Documents

Publication Publication Date Title
CN108765476B (zh) 一种偏振图像配准方法
CN111028292A (zh) 一种亚像素级图像匹配导航定位方法
CN112634335A (zh) 面向非线性辐射畸变的稳健遥感影像特征点对提取方法
CN110084743B (zh) 基于多航带起始航迹约束的图像拼接与定位方法
Eichhardt et al. Affine correspondences between central cameras for rapid relative pose estimation
CN109146940B (zh) 一种基于权重相位相关峰值拟合的高精度图像配准方法
CN105760879A (zh) 基于傅里叶梅林变换的图像几何匹配方法
Rebut et al. Image segmentation and pattern recognition for road marking analysis
Tanaka et al. A parametric template method and its application to robust matching
Huang et al. SAR and optical images registration using shape context
CN106651756B (zh) 一种基于sift和验证机制的图像配准方法
Paffenholz et al. Geo-referencing point clouds with transformational and positional uncertainties
CN117253063A (zh) 一种基于点线特征描述的两阶段多模图像匹配方法
CN110335298A (zh) 一种基于无人机平台图像消旋方法
Bai et al. Analysis and comparison of feature detection and matching algorithms for rovers vision navigation
CN105205825A (zh) 基于nsct域的多分辨率红外与可见光景象匹配方法
CN115131413A (zh) 基于多尺度三维频域卷积特征的多模遥感图像配准方法
Koutaki et al. Fast and high accuracy pattern matching using multi-stage refining eigen template
CN113409369A (zh) 基于改进rift的多模遥感图像配准方法
Liu et al. Target identification and location algorithm based on SURF-BRISK operator
Hu et al. Digital video stabilization based on multilayer gray projection
Chang Fusion Method of Three-Dimensional Building Construction Drawing Mosaic and Fusion Based on Environmental Protection Engineering.
Zhou et al. On mosaicing 3D broken objects based on multiscale Fourier descriptors
Wang et al. Aerial-DEM geolocalization for GPS-denied UAS navigation
Sharma et al. Very high resolution image registration based on two step Harris-Laplace detector and SIFT descriptor

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant