CN112686933B - 基于改进互功率谱的星上图像配准叠加增强方法及系统 - Google Patents

基于改进互功率谱的星上图像配准叠加增强方法及系统 Download PDF

Info

Publication number
CN112686933B
CN112686933B CN202011591356.9A CN202011591356A CN112686933B CN 112686933 B CN112686933 B CN 112686933B CN 202011591356 A CN202011591356 A CN 202011591356A CN 112686933 B CN112686933 B CN 112686933B
Authority
CN
China
Prior art keywords
image
images
registered
registration
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011591356.9A
Other languages
English (en)
Other versions
CN112686933A (zh
Inventor
刘春雨
冯钦评
陶淑苹
曲宏松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun Institute of Optics Fine Mechanics and Physics of CAS
Original Assignee
Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun Institute of Optics Fine Mechanics and Physics of CAS filed Critical Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority to CN202011591356.9A priority Critical patent/CN112686933B/zh
Publication of CN112686933A publication Critical patent/CN112686933A/zh
Application granted granted Critical
Publication of CN112686933B publication Critical patent/CN112686933B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明涉及一种基于改进互功率谱的星上图像配准叠加增强的方法及系统，属于数字图像处理领域。该系统包括配准模块和叠加模块。首先，自由姿态空间相机在一段周期内进行多次短时曝光获得一系列暗弱图像，将这些图像经过配准模块基于改进的互功率谱来进行配准，最后由叠加模块对它们进行叠加，同时生成配准次数矩阵，对叠加后的图像进行非均匀性校正，最终生成高对比度、低噪声的图像。该方法及系统仅涉及到对数极坐标变换、傅里叶变换和叠加运算，与其他基于特征的配准方法相比，它具有计算复杂度低，易于在硬件中实现的特点，因此在遥感领域上有很大的应用潜力。

Description

基于改进互功率谱的星上图像配准叠加增强方法及系统
技术领域
本发明涉及数字图像处理技术领域，具体涉及一种基于改进互功率谱的星上图像在线配准叠加增强的方法。
背景技术
在空间相机获取图像过程中，相机相对于地面运动较快。若曝光时间较长，由于空间相机相对于地面的快速运动，容易形成影像的拖移，即像移，造成运动模糊，影响图像清晰度。若减小曝光时间以减轻这一现象，则会由于曝光不足而导致图像很暗弱，对比度低，容易受到噪声的影响。这时，人们一般采用时间延迟积分技术(Time-Delayintegration，TDI)来生成高对比度、高清晰度的图像。TDI是空间相机的一种常用的成像模式。它是将地面的目标进行多次短时曝光，获得一系列的低信噪比、低亮度的信号；然后对它们进行累积，得到高对比度、高亮度的信号。因此对这些暗弱信号进行累积时，确保对应的目标配准的准确性成为关键。现有的TDI技术一般采用复杂的数学模型计算出像移速度矢，然后采用精密且庞杂的调偏流机构来消除像移。因此有必要考虑通过配准来实现对暗弱图像进行叠加的技术，在提高图像亮度的同时，由于噪声分布的随机性，在叠加的过程中互相抵消，从而实现图像增强，即得到高对比度、高信噪比的图像。现有的图像配准算法一般采用基于特征的方法来实现，但其高计算复杂度使得它不易在硬件中实现，而一般的基于互功率谱只能计算两张图像之间的相对平移量，不能直观计算相对旋转和缩放，因此也无法在复杂多样的几何变换下准确地确定出变换参数，难以在该技术中得到的应用。
发明内容
本发明为解决现有图像配准方法不能直观计算相对旋转和缩放，也无法在复杂多样的几何变换下准确地确定出变换参数，进而难以得到实际应用等问题，提供一种基于改进互功率谱的星上图像配准叠加增强方法及系统。
基于改进互功率谱的星上图像配准叠加增强方法，该方法由以下步骤实现：
步骤一、采用自由姿态空间相机对同一场景在多次短时曝光，获取一系列暗弱图像；
步骤二、在步骤一获取的一系列暗弱图像中，将首张图像作为参考图像，其余图像作为待配准图像，并计算出参考图像的傅里叶变换谱和傅里叶变换幅值谱；
步骤三、选择一张待配准图像，并计算所述待配准图像的傅里叶变换幅值谱；
步骤四、将步骤二所述的参考图像的傅里叶变换幅值谱和步骤三中待配准图像的傅里叶变换幅值谱均进行高通滤波、对数极坐标变换和切波浪边缘操作，分别获得相应的对数极坐标下的傅里叶变换幅值谱；
步骤五、对两个对数极坐标下的傅里叶变换幅值谱进行傅里叶变换，分别得到相应的傅里叶-梅林变换谱；
步骤六、将两个傅里叶-梅林变换谱计算对数极坐标下的互功率谱，再进行傅里叶逆变换，得到互相关函数，并从中得到旋转和缩放参数的初步估计；
步骤七、对所述初步估计进行二次曲面插值，获得旋转和缩放参数的最终估计；
步骤八、利用步骤七所求的旋转和缩放参数对当前待配准图像进行变换，获得半配准的图像；
步骤九、对步骤八获得的半配准图像进行傅里叶变换，得到傅里叶变换谱，计算所述傅里叶变换谱与步骤二获得的参考图像的傅里叶变换谱之间的互功率谱，再进行傅里叶逆变换得到互相关函数，并从中得到平移参数的初步估计；
步骤十、对步骤九所述的平移参数的初步估计进行二次曲面插值，获得平移参数的最终估计；
步骤十一、利用平移参数，对步骤八获得的半配准的图像进行配准，获得完全配准图像；
步骤十二、根据步骤七获得的旋转和缩放参数的最终估计以及步骤十获得的平移参数的最终估计确定出配准覆盖指示矩阵；
步骤十三、重复步骤三至步骤十二，直至全部待配准图像配准完毕；
步骤十四、将全部配准好的图像与参考图像进行叠加，得到叠加后的图像；
步骤十五、将所有配准覆盖指示矩阵进行叠加，获得配准叠加次数矩阵；
步骤十六、将步骤十四获得的高对比度的图像与步骤十五获得的配准叠加次数矩阵进行元素除，获得均匀背景的高对比度图像。
基于改进互功率谱的星上图像配准叠加增强的系统，包括配准模块和叠加模块；
自由姿态空间相机获取一系列暗弱图像，在该暗弱图像序列中，配准模块采用基于改进互功率谱的星上图像配准叠加增强方法进行配准，然后通过叠加模块进行叠加，最后结合叠加次数矩阵将叠加后的图像的非均匀性去除，获得最终的高对比度、高信噪比的图像。
本发明的有益效果：
由于自由姿态相机获取的一系列暗弱图像中存在较大的视差(由变化的俯仰角、侧摆角、偏航角以及轨道高度引起)。本发明采用互功率谱的方法可进行快速的配准，该算法仅涉及到对数极坐标变换和傅里叶变换，计算复杂度较低，易于在硬件中实现。TDI技术是空间相机常用的成像模式，但它依靠精密且庞杂的调偏流机构计算并纠正像移速度矢。若采用本发明的方法，可直接在图像的角度上进行配准，无需额外的机构计算像移。因此本发明对空间相机的轻小型化发展有较大的促进作用。
附图说明
图1为本发明所述的基于改进的互功率谱的星上图像配准叠加增强系统的总体原理框图；
图2为基于改进的互功率谱的星上图像配准叠加增强系统中配准模块的工作原理图；
图3为采用空间相机一定周期内在连续短时曝光获取图像示意图；
图4为获取的暗弱图像序列示意图(第一张作为参考图像)；
图5为配准示意图；其中，从左到右分别是参考图像、待配准图像、已配准图像和覆盖指示矩阵；
图6为叠加示意图；其中，从左到右分别是叠加一次、叠加全部、叠加次数矩阵和最终图像。
具体实施方式
结合图1至图6说明本实施方式，基于改进的互功率谱的星上图像配准叠加增强方法，其原理是利用了两种原理：
1.图像的旋转和缩放在对数极坐标上表现为平移；
2.在互功率谱中可以准确地估计出平移参数。
下面结合附图对本发明的技术方案进行详细描述。
1.由空间相机在其姿态自由变化过程中，在一段周期内多次获取短时曝光的图像，如图3所示。得到的暗弱图像序列如图4所示；
2.选取该图像序列中第一张作为参考图像，其余视作待配准图像；
3.在傅里叶变换模块中计算参考图像的傅里叶变换及其幅值谱；
4.对参考图像的傅里叶变换幅值谱进行高通滤波，该作用是避免由于低频信息在后续确定配准参数(旋转和缩放)时带来的干扰；
5.高通滤波后，进行对数极坐标变换，该作用是使旋转和缩放变化能够在直角坐标系中能够直观地显示；
6.对图像进行对数极坐标变换会引入“波浪边缘”，这会引入低频信息，因此需要进行“切波浪边缘”处理；
7.再对其傅里叶变换，得到改进的傅里叶-梅林变换谱(即图2中的“傅里叶-梅林变换谱1”)；
8.进入配准模块，在选定一张待配准图像后，对其进行与参考图像相同的处理(即重复步骤4～7)，得到待配准图像的改进傅里叶-梅林变换谱(即图2中的“傅里叶-梅林变换谱2”)；
9.计算“傅里叶-梅林变换谱1”和“傅里叶-梅林变换谱2”之间的互功率谱，再求其傅里叶逆变换，得到互相关函数，其最大值的位置即为这两张图像的相对旋转和缩放的初步估计(Δλ，Δθ)；
10.在初步确定相对旋转和缩放后，对其进行二次曲面插值，最终估计出相对旋转和缩放(Δλm，Δθm)，并利用此参数对待配准图像进行变换，半配准的图像，此时与参考图像相比，已无相对旋转和缩放；
11.计算半配准图像的傅里叶变换谱(即图2中的“傅里叶变换谱2”)，并与“傅里叶变换谱1”计算它们之间的互功率谱，再进一步计算互相关函数，其出现最大值的位置即为相对平移量的初步估计(Δx，Δy)；
12.在初步估计平移量的基础上再进行二次曲面插值，得到相对平移量的最终估计(Δxm，Δym)，在利用此参数对半配准图像进行平移变换，得到配准好的图像；
13.在配准图像(步骤8～12)的同时，初始化全1矩阵，再利用前面确定的相对平移量、旋转和缩放参数对其变换得到当前待配准图像对应的覆盖指示矩阵，它是用来确定配准后的图像将覆盖参考图像的部分区域，即被覆盖的区域为1，否则为0；
14.将所有的待配准图像做同样的处理(即步骤8～13)，最后进入叠加模块；
15.在叠加模块中，将所有的配准好的图像与参考图像进行叠加，得到叠加后的图像；
16.将所有对应的覆盖指示矩阵与一个全1矩阵进行叠加，得到叠加次数矩阵；
17.由于叠加后的图像中不同区域的叠加次数不同，这会导致背景亮度不均衡，即图像的非均匀性。因此需要将叠加后的图像与叠加次数矩阵进行元素除，以消除不均匀的背景。
至此，高对比度、高信噪比的图像已经生成。
具体实施方式二、结合图1说明本实施方式，本实施方式为具体实施方式一所述的基于改进的互功率谱的星上图像配准叠加增强方法的系统，包括配准模块和叠加模块；
自由姿态空间相机获取一系列暗弱图像，在该暗弱图像序列中，配准模块采用具体实施方式一所述的增强方法进行配准，然后通过叠加模块进行叠加，最后结合叠加次数矩阵将叠加后的图像的非均匀性去除，获得最终的高对比度、高信噪比的图像。
以上所述实施例仅表达了本发明的实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (4)

1.基于改进互功率谱的星上图像配准叠加增强方法，其特征是：该方法由以下步骤实现：
步骤一、采用自由姿态空间相机对同一场景在多次短时曝光，获取一系列暗弱图像；
步骤二、在步骤一获取的一系列暗弱图像中，将首张图像作为参考图像，其余图像作为待配准图像，并计算出参考图像的傅里叶变换谱和傅里叶变换幅值谱；
步骤三、选择一张待配准图像，并计算所述待配准图像的傅里叶变换幅值谱；
步骤四、将步骤二所述的参考图像的傅里叶变换幅值谱和步骤三中待配准图像的傅里叶变换幅值谱均进行高通滤波、对数极坐标变换和切波浪边缘操作，分别获得相应的对数极坐标下的傅里叶变换幅值谱；
步骤五、对两个对数极坐标下的傅里叶变换幅值谱进行傅里叶变换，分别得到相应的傅里叶-梅林变换谱；
步骤六、将两个傅里叶-梅林变换谱计算对数极坐标下的互功率谱，再进行傅里叶逆变换，得到互相关函数，并从中得到旋转和缩放参数的初步估计；
步骤七、对所述初步估计进行二次曲面插值，获得旋转和缩放参数的最终估计；
步骤八、利用步骤七所求的旋转和缩放参数对当前待配准图像进行变换，获得半配准的图像；
步骤九、对步骤八获得的半配准图像进行傅里叶变换，得到傅里叶变换谱，计算所述傅里叶变换谱与步骤二获得的参考图像的傅里叶变换谱之间的互功率谱，再进行傅里叶逆变换得到互相关函数，并从中得到平移参数的初步估计；
步骤十、对步骤九所述的平移参数的初步估计进行二次曲面插值，获得平移参数的最终估计；
步骤十一、利用平移参数，对步骤八获得的半配准的图像进行配准，获得完全配准图像；
步骤十二、根据步骤七获得的旋转和缩放参数的最终估计以及步骤十获得的平移参数的最终估计确定出配准覆盖指示矩阵；
步骤十三、重复步骤三至步骤十二，直至全部待配准图像配准完毕；
步骤十四、将全部配准好的图像与参考图像进行叠加，得到叠加后的图像；
步骤十五、将所有配准覆盖指示矩阵进行叠加，获得配准叠加次数矩阵；
步骤十六、将步骤十四获得的高对比度的图像与步骤十五获得的配准叠加次数矩阵进行元素除，获得均匀背景的高对比度图像。
2.根据权利要求1所述的基于改进互功率谱的星上图像配准叠加增强方法的系统，其特征是：包括配准模块和叠加模块；
自由姿态空间相机获取一系列暗弱图像，在该暗弱图像序列中，配准模块采用权利要求1中步骤三至步骤十一的方法进行配准，然后通过叠加模块进行叠加，最后结合叠加次数矩阵将叠加后的图像的非均匀性去除，获得最终的高对比度、高信噪比的图像。
3.根据权利要求2所述的系统，其特征在于：所述配准模块中包括输入单元、傅里叶变换单元、高通滤波器、对数极坐标变换单元、互功率谱计算单元、波浪边缘裁剪单元、互相关函数计算单元、二次曲面插值单元以及几何变换单元；
参考图像和待配准图像经输入单元输入后，均通过傅里叶变换单元进行傅里叶变换，参考图像的傅里叶变换幅值谱和待配准图像的傅里叶变换幅值谱均通过高通滤波器、对数极坐标变换单元以及波浪边缘裁剪单元后均生成对数极坐标傅里叶变换幅值谱；
所述对数极坐标傅里叶变换幅值谱经傅里叶变换单元进行傅里叶变换，分别得到相应的傅里叶-梅林变换谱；
两个傅里叶-梅林变换谱通过互功率谱计算单元计算，获得对数极坐标下的互功率谱，所述对数极坐标下的互功率谱进行傅里叶逆变换后通过互相关函数计算单元，得到互相关函数，并从中得到旋转和缩放参数的初步估计；
采用二次曲面插值单元对所述初步估计进行二次曲面插值，获得旋转和缩放参数的最终估计；
所述旋转和缩放参数通过几何变换单元待配准图像进行变换，获得半配准图像。
4.根据权利要求2所述的系统，其特征在于：所述叠加模块包括叠加单元和非均匀校正单元，所述叠加单元用于叠加已配准的图像和生成叠加次数矩阵；非均匀校正单元用于去除叠加后图像的非均匀性。
CN202011591356.9A 2020-12-29 2020-12-29 基于改进互功率谱的星上图像配准叠加增强方法及系统 Active CN112686933B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011591356.9A CN112686933B (zh) 2020-12-29 2020-12-29 基于改进互功率谱的星上图像配准叠加增强方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011591356.9A CN112686933B (zh) 2020-12-29 2020-12-29 基于改进互功率谱的星上图像配准叠加增强方法及系统

Publications (2)

Publication Number Publication Date
CN112686933A CN112686933A (zh) 2021-04-20
CN112686933B true CN112686933B (zh) 2024-03-08

Family

ID=75454089

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011591356.9A Active CN112686933B (zh) 2020-12-29 2020-12-29 基于改进互功率谱的星上图像配准叠加增强方法及系统

Country Status (1)

Country Link
CN (1) CN112686933B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113936229A (zh) * 2021-10-25 2022-01-14 中国科学院空间应用工程与技术中心 基于频域相位相关的空间暗弱小目标识别方法及装置
CN116188326B (zh) * 2023-04-19 2023-07-11 赛诺威盛科技(北京)股份有限公司 一种ct系统噪声功率谱校正方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1799068A (zh) * 2003-07-08 2006-07-05 佳能株式会社 图像配准方法改进
CN102521834A (zh) * 2011-12-12 2012-06-27 上海海事大学 采用极对数坐标表示的分数阶傅里叶变换的图像配准方法
CN103606139A (zh) * 2013-09-09 2014-02-26 上海大学 一种声纳图像拼接方法
CN104200463A (zh) * 2014-08-06 2014-12-10 西安电子科技大学 基于傅立叶梅林变换和最大互信息理论的图像配准方法
CN106682689A (zh) * 2016-12-16 2017-05-17 西安汇明光电技术有限公司 基于多尺度傅里叶梅林变换的图像匹配方法
CN106886977A (zh) * 2017-02-08 2017-06-23 徐州工程学院 一种多图自动配准及融合拼接方法
CN108876826A (zh) * 2017-05-10 2018-11-23 深圳先进技术研究院 一种图像匹配方法及系统
CN111951318A (zh) * 2020-08-10 2020-11-17 上海科技大学 一种应用于多深度场景的扩展傅里叶梅林定位算法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7349583B2 (en) * 2003-09-05 2008-03-25 The Regents Of The University Of California Global motion estimation image coding and processing
CN109556596A (zh) * 2018-10-19 2019-04-02 北京极智嘉科技有限公司 基于地面纹理图像的导航方法、装置、设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1799068A (zh) * 2003-07-08 2006-07-05 佳能株式会社 图像配准方法改进
CN102521834A (zh) * 2011-12-12 2012-06-27 上海海事大学 采用极对数坐标表示的分数阶傅里叶变换的图像配准方法
CN103606139A (zh) * 2013-09-09 2014-02-26 上海大学 一种声纳图像拼接方法
CN104200463A (zh) * 2014-08-06 2014-12-10 西安电子科技大学 基于傅立叶梅林变换和最大互信息理论的图像配准方法
CN106682689A (zh) * 2016-12-16 2017-05-17 西安汇明光电技术有限公司 基于多尺度傅里叶梅林变换的图像匹配方法
CN106886977A (zh) * 2017-02-08 2017-06-23 徐州工程学院 一种多图自动配准及融合拼接方法
CN108876826A (zh) * 2017-05-10 2018-11-23 深圳先进技术研究院 一种图像匹配方法及系统
CN111951318A (zh) * 2020-08-10 2020-11-17 上海科技大学 一种应用于多深度场景的扩展傅里叶梅林定位算法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
IMAGE REGISTRATION USING LOG-POLAR TRANSFORM AND PHASE CORRELATION;Jignesh N Sarvaiya;TENCON 2009-2009 IEEE Region 10 Conference;20090126;1-5 *
基于傅里叶变换的遥感图像配准;刘汉洲;郭宝龙;冯宗哲;;光电子.激光;20061125(第11期);1393-1397 *
基于图像特征的傅里叶梅林变换在图像配准中的应用;李傲梅;姜万里;;计算机与数字工程;20170420(第04期);735-739 *
对数极坐标下的互功率谱配准方法;刘汉洲;冯宗哲;郭宝龙;;西安电子科技大学学报;20060425(第02期);3.7-310 *
遥感影像亚像素快速配准方法;周靖鸿;朱建军;周璀;樊东昊;;测绘工程;20160725(第07期);71-76 *
高动态范围视频的多曝光图像序列快速融合;陶淑苹;《液晶与显示》;20141231;第第29卷卷(第第6期期);1032-1041 *

Also Published As

Publication number Publication date
CN112686933A (zh) 2021-04-20

Similar Documents

Publication Publication Date Title
US9998666B2 (en) Systems and methods for burst image deblurring
CN106991650B (zh) 一种图像去模糊的方法和装置
Jeon et al. Accurate depth map estimation from a lenslet light field camera
CN112686933B (zh) 基于改进互功率谱的星上图像配准叠加增强方法及系统
Foroosh et al. Extension of phase correlation to subpixel registration
Delbracio et al. Burst deblurring: Removing camera shake through fourier burst accumulation
US20100246989A1 (en) Multi-Image Deblurring
CN103426148A (zh) 生成低分辨率输入数据结构的超分辨率版本的方法和设备
CN112254801A (zh) 一种微小振动视觉测量方法及系统
CN101840570A (zh) 一种快速图像拼接方法
US11720999B2 (en) Method, device and non-transitory computer-readable storage medium for increasing the resolution and dynamic range of a sequence of respective top view images of a same terrestrial location
US20130034297A1 (en) Method and device for calculating a depth map from a single image
WO2024000950A1 (zh) 一种面向多光谱相机的图像快速配准方法及装置
CN110874827A (zh) 湍流图像复原方法、装置、终端设备及计算机可读介质
CN103907134A (zh) 图像处理装置、图像处理方法、摄像装置、计算机程序和记录介质
JP6819794B2 (ja) レーダ画像処理装置、レーダ画像処理方法およびレーダ画像処理プログラム
JP3863014B2 (ja) 物体検出装置及びその方法
CN115546285B (zh) 基于点扩散函数解算的大景深条纹投影三维测量方法
CN116977671A (zh) 基于图像空间定位的目标跟踪方法、装置、设备及存储介质
Rui et al. Super-resolution reconstruction of astronomical images using time-scale adaptive normalized convolution
CN110660022A (zh) 一种基于曲面拟合的图像超分辨率重建方法
KR100805802B1 (ko) 모션 블러가 심한 영상의 카메라 자동보정 장치 및 그방법과, 그를 이용한 증강현실 시스템
CN115086550A (zh) 元成像方法与系统
Kumar et al. Dual tree fractional quaternion wavelet transform for disparity estimation
CN110969582B (zh) 一种基于多源参考信息的遥感图像盲复原方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant