CN113052879B - 一种多光谱图像自动配准方法 - Google Patents

一种多光谱图像自动配准方法 Download PDF

Info

Publication number
CN113052879B
CN113052879B CN202110378742.8A CN202110378742A CN113052879B CN 113052879 B CN113052879 B CN 113052879B CN 202110378742 A CN202110378742 A CN 202110378742A CN 113052879 B CN113052879 B CN 113052879B
Authority
CN
China
Prior art keywords
image
images
spectrum
matching
deltay
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110378742.8A
Other languages
English (en)
Other versions
CN113052879A (zh
Inventor
范鹏程
何曦
杨一洲
聂伟乐
李良福
马静谨
李璐阳
赵米暘
成刚
王娇颖
钱钧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian institute of Applied Optics
Original Assignee
Xian institute of Applied Optics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian institute of Applied Optics filed Critical Xian institute of Applied Optics
Priority to CN202110378742.8A priority Critical patent/CN113052879B/zh
Publication of CN113052879A publication Critical patent/CN113052879A/zh
Application granted granted Critical
Publication of CN113052879B publication Critical patent/CN113052879B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种多光谱图像自动配准方法，包括以下步骤：步骤一：读取多通道光谱视频图像，分别截取其中心区域图像；步骤二：采用相似性度量，计算各通道中心区域图像之间的正向匹配关系和反向匹配关系；步骤三：分析正向匹配关系与反向匹配关系是否闭环，若不能闭环，则此次配准失败，返回步骤一，重新读取下一帧图像；若正反向匹配关系能够闭环，则依据匹配关系，计算出各通道光谱图像之间的平移变换参数；步骤四：对各通道光谱图像进行平移变换，并输出显示。本发明可应用于各种需要对多通道图像进行配准处理的场景；算法复杂度低，可用于嵌入式平台的实时处理，且无需调参，自动判断，配准精度高；本发明的图像配准实时性好，实用性高。

Description

一种多光谱图像自动配准方法
技术领域
本发明属于图像处理技术领域，涉及一种多光谱图像自动配准方法。
背景技术
图像配准是多光谱成像的一个关键步骤，其结果将直接影响到多光谱图像的显示效果，以及进一步的伪装目标识别能力。图像配准有基于特征的配准、基于灰度信息的配准、基于几何模型的配准等。很多配准方法计算复杂，难于实时处理。且多光谱成像数据量大，难于在嵌入式图像处理平台中实现图像配准，因此需要设计出计算简便可靠，适用于嵌入式平台实时处理的配准算法。
图像配准的过程是根据图像空间和灰度变化，找到两幅图像中同一位置点的对应关系。图像特征是反映一幅图像中重要信息的表述，因此基于点特征的配准算法在应用中比较常见，如SIFT和SURF算法等。Belongie等人提出了基于目标的轮廓特征的形状上下文描述算子，利用形状相似性对两幅图像进行匹配。面特征也称区域特征，通过图像分割算法把图像中具有高对比度闭合区域分割出来，比如图像中的水域、湖泊、田地、森林、建筑等。与基于特征的图像配准方法相比，基于灰度的图像配准方法比较简单，不需要对图像进行预处理，直接根据整幅图像的灰度信息，建立图像之间的相似性关系，但配准精度不如基于特征点的方法。而对于多通道光谱图像之间的配准，以上算法尚无法实现实时处理。
发明内容
(一)发明目的
本发明的目的是：提供一种多光谱图像自动配准方法，实现对多通道光谱图像进行配准，能够运行于嵌入式图像处理平台且满足实时性要求，配准过程无需设置参数，全程自动处理。
(二)技术方案
为了解决上述技术问题，本发明提供一种多光谱图像自动配准方法，该方法包括以下几个步骤：
步骤一：读取多通道光谱视频图像，分别截取其中心区域图像；
步骤二：采用相似性度量，计算各通道中心区域图像之间的正向匹配关系和反向匹配关系；
步骤三：分析正向匹配关系与反向匹配关系是否闭环，若不能闭环，则此次配准失败，返回步骤一，重新读取下一帧图像；若正反向匹配关系能够闭环，则依据匹配关系，计算出各通道光谱图像之间的平移变换参数。
步骤四：对各通道光谱图像进行平移变换，并输出显示。
(三)有益效果
上述技术方案所提供的多光谱图像自动配准方法，可应用于各种需要对多通道图像进行配准处理的场景；算法复杂度低，可用于嵌入式平台的实时处理，且无需调参，自动判断，配准精度高；因此，本发明的图像配准实时性好，实用性高。
附图说明
图1为本发明正反向匹配关系示意图。
图2为本发明多光谱图像自动配准方法的流程图。
具体实施方式
为使本发明的目的、内容、和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。
本发明多光谱图像自动配准方法包括以下步骤：
第一步：从三通道光谱图像IA、IB、IC中心位置截取区域图像CA、CB、CC。
在本实施例中，三通道光谱图像由滤光片分光式多光谱传感器获取，图像分辨率为1024×768，中心位置为(512，384)。从中心位置截取的区域图像大小为120×90。
第二步：计算截取图像C与光谱图像I之间的匹配关系，并表示为C→I。正向匹配关系为CA→IB，CB→IC，CA→IC，反向匹配关系为CB→IA，CC→IB，CC→IA。
以CA→IB为例，匹配关系计算方法为：将截取区域图像CA作为基准图像，从IB的中心位置(512，384)偏移(Δy,Δx)，截取同等大小的局部图像，作为候选图像RB。采用归一化互相关系数计算公式，计算区域图像CA与候选图像RB之间的相似度Cor(Δx,Δy)。Δx和Δy在实例中的取值范围分别为[-30,30]和[-20,20]。遍历取值范围内的每一组(Δy,Δx)，计算出每个候选图像RB与CA之间的相似度Cor(Δx,Δy)。
互相关系数Cor(Δx,Δy)越大，说明候选图像与基准图像越相似。在搜索范围(Δy,Δx)内，互相关系数Cor(Δx,Δy)达到最大时，则认为基准图像CA与另一幅光谱通道图像IB中的候选图像RB达到最佳匹配，记录此时的(Δy,Δx)值作为最佳匹配关系，并将此匹配关系表示为CA→IB。
归一化互相关系数计算公式为：
Figure BDA0003011947260000031
其中，C为区域图像，R为候选图像。gC(i,j)为区域图像C中第i行第j列的图像灰度值，gR(i,j)为候选图像R中第i行第j列的图像灰度值。w为区域图像宽度，h为区域图像高度，在实例中取w＝120，h＝90。Cor(Δx,Δy)为计算出的归一化互相关系数。
采用上述方法，计算出正向匹配关系：CA→IB，CB→IC，CA→IC；
计算出反向匹配关系：CB→IA，CC→IB，CC→IA。
第三步：判断正向匹配关系与反向匹配关系是否闭环。将正反向匹配关系分为三组：CA→IB和CB→IA、CB→IC和CC→IB、CA→IC和CC→IA，计算每组内两个最佳匹配关系的(Δy,Δx)之和(∑y,∑x)。若∑x与∑y均为零，则认为该组正反向匹配关系能够闭环。若三组正反向匹配关系均能闭环，则匹配成功。若匹配不成功，则返回第一步，重新读取下一帧图像进行匹配计算。
依据每组的最佳匹配关系，采用经典仿射变换公式，计算出各通道光谱图像之间的平移变换参数。实例中以光谱图像IA作为基准，计算IB和IC相对于IA的偏移量，该偏移量(My,Mx)即为CB→IA和CC→IA的最佳匹配(Δy,Δx)。
第四步：依据(My,Mx)对光谱图像IB和IC进行平移，并与光谱图像IA叠加，作为RGB图像的三原色通道进行显示，完成图像配准并退出配准模式。
由上述技术方案可以看出，本发明方法可自行判断配准结果是否正确，若不正确则对下一帧图像继续进行配准，直至配准成功；该方法无需设置参数，通用性强，适用于各类场景；归一化互相关系数计算公式的遍历计算有加速算法，在嵌入式平台中可以实现实时计算。自动化程度高、通用性强、实时性好，使得本发明具有较好的应用前景。本发明也可应用于对多通道光谱图像的处理。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (2)

1.一种多光谱图像自动配准方法，其特征在于，包括以下步骤：
步骤一：读取多通道光谱视频图像，分别截取其中心区域图像；
步骤二：采用相似性度量，计算各通道中心区域图像之间的正向匹配关系和反向匹配关系；
步骤三：分析正向匹配关系与反向匹配关系是否闭环，若不能闭环，则此次配准失败，返回步骤一，重新读取下一帧图像；若正反向匹配关系能够闭环，则依据匹配关系，计算出各通道光谱图像之间的平移变换参数；
步骤四：对各通道光谱图像进行平移变换，并输出显示；
所述多通道光谱视频图像为三通道光谱视频图像；
所述步骤一中，从三通道光谱图像IA、IB、IC中心位置截取区域图像CA、CB、CC；
所述步骤二中，采用归一化互相关系数Cor(Δx,Δy)作为相似性度量，计算区域图像CA、CB、CC分别与三通道光谱图像IA、IB、IC两两之间的相似度，相似度最大的位置，即为两者之间的匹配关系；
所述步骤二中，归一化互相关系数计算公式为：
Figure FDA0004087000330000011
其中，将区域图像C作为基准图像，以其他通道光谱图像I的中心位置并偏移(Δy,Δx)截取同等大小区域，作为候选图像R；gC(i,j)为区域图像中第i行第j列的图像灰度值，gR(i,j)为候选图像中第i行第j列的图像灰度值；w为区域图像宽度，h为区域图像高度；当候选图像经过在水平方向上移动Δx和在竖直方向上移动Δy后，通过归一化互相关系数计算出区域图像和其他通道光谱图像之间的相似度Cor(Δx,Δy)；进而得到配准最佳匹配；
所述步骤二中，针对光谱区域图像CA，将CA作为基准图像，从IB的中心位置偏移(Δy,Δx)，截取同等大小区域候选图像RB；遍历取值范围内的每一组(Δy,Δx)，计算出每次截取的RB与CA之间的相似度Cor(Δx,Δy)；
互相关系数Cor(Δx,Δy)越大，表明候选图像与基准图像相似度越高；在搜索范围(Δy,Δx)内，互相关系数Cor(Δx,Δy)达到最大时，认为基准图像CA与另一幅光谱通道图像IB中的候选图像RB达到最佳匹配，记录此时的(Δy,Δx)值作为最佳匹配关系，并将此匹配关系表示为CA→IB；
以此类推，计算出正向匹配关系：CA→IB，CB→IC，CA→IC；
计算出反向匹配关系：CB→IA，CC→IB，CC→IA；
所述步骤三中，将正反向匹配关系分为三组：CA→IB和CB→IA、CB→IC和CC→IB、CA→IC和CC→IA，计算每组内两个最佳匹配关系的(Δy,Δx)之和(∑y,∑x)；若∑x与∑y均为零，则认为该组正反向匹配关系能够闭环；若三组正反向匹配关系均能闭环，则匹配成功；
所述步骤三中，以光谱图像IA作为基准，计算IB和IC相对于IA的偏移量，该偏移量(My,Mx)即为CB→IA和CC→IA的最佳匹配(Δy,Δx)；
所述步骤四中，依据(My,Mx)对光谱图像IB和IC进行平移，并与光谱图像IA叠加，作为RGB图像的三原色通道进行显示，完成图像配准并退出配准模式。
2.如权利要求1所述的多光谱图像自动配准方法，其特征在于，所述步骤一中，三通道光谱图像由滤光片分光式多光谱传感器获取，图像分辨率为1024×768，中心位置为(512，384)，从中心位置截取的区域图像大小为120×90；步骤二中，w和h分别取120和90，Δx和Δy的取值范围分别为[-30,30]和[-20,20]。
CN202110378742.8A 2021-04-08 2021-04-08 一种多光谱图像自动配准方法 Active CN113052879B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110378742.8A CN113052879B (zh) 2021-04-08 2021-04-08 一种多光谱图像自动配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110378742.8A CN113052879B (zh) 2021-04-08 2021-04-08 一种多光谱图像自动配准方法

Publications (2)

Publication Number Publication Date
CN113052879A CN113052879A (zh) 2021-06-29
CN113052879B true CN113052879B (zh) 2023-05-12

Family

ID=76519077

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110378742.8A Active CN113052879B (zh) 2021-04-08 2021-04-08 一种多光谱图像自动配准方法

Country Status (1)

Country Link
CN (1) CN113052879B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113838108B (zh) * 2021-09-29 2023-07-21 中国科学院长春光学精密机械与物理研究所 多尺度光谱tdicmos点线配准的电荷累积方向测试系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104091337A (zh) * 2014-07-11 2014-10-08 北京工业大学 一种基于PCA及微分同胚Demons的变形医学图像配准方法
CN104318583A (zh) * 2014-11-14 2015-01-28 武汉大学 一种可见光宽带光谱图像配准方法
CN104851097A (zh) * 2015-05-19 2015-08-19 西安电子科技大学 基于目标形状与阴影辅助的多通道sar-gmti方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170337682A1 (en) * 2016-05-18 2017-11-23 Siemens Healthcare Gmbh Method and System for Image Registration Using an Intelligent Artificial Agent

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104091337A (zh) * 2014-07-11 2014-10-08 北京工业大学 一种基于PCA及微分同胚Demons的变形医学图像配准方法
CN104318583A (zh) * 2014-11-14 2015-01-28 武汉大学 一种可见光宽带光谱图像配准方法
CN104851097A (zh) * 2015-05-19 2015-08-19 西安电子科技大学 基于目标形状与阴影辅助的多通道sar-gmti方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Hypercomplex Correlation Techniques for Vector Images;C.Eddie Moxey et al;《IEEE TRANSACTIONS ON SIGNAL PROCESSING》;20030625;第51卷(第7期);1941-1953页 *
一种可靠的多光谱CCD遥感图像配准方法;陈慧津等;《微计算机信息》;20100315(第08期);1-3页 *
运动补偿下双通道星载高光谱成像仪图像配准;赵慧洁等;《红外与激光工程》;20210331;第50卷(第3期);1-9页 *

Also Published As

Publication number Publication date
CN113052879A (zh) 2021-06-29

Similar Documents

Publication Publication Date Title
Nilsson et al. Localization of corresponding points in fingerprints by complex filtering
CN102426649B (zh) 一种简单的高准确率的钢印数字自动识别方法
US6768509B1 (en) Method and apparatus for determining points of interest on an image of a camera calibration object
CN108596197B (zh) 一种印章匹配方法及装置
CN112085772B (zh) 一种遥感图像配准方法及装置
JP4521235B2 (ja) 撮影画像の変化抽出装置及び方法
JPH0471079A (ja) 画像の位置合わせ方法
CN113052879B (zh) 一种多光谱图像自动配准方法
CN111738211A (zh) 基于动态背景补偿与深度学习的ptz摄像机运动目标检测与识别方法
CN110766657B (zh) 一种激光干扰图像质量评价方法
CN114897705A (zh) 一种基于特征优化的无人机遥感图像拼接方法
CN115601407A (zh) 一种红外与可见光图像配准方法
CN112288758A (zh) 一种电力设备红外与可见光图像配准方法
CN112801141B (zh) 基于模板匹配和孪生神经网络优化的异源图像匹配方法
CN112184785B (zh) 基于mcd度量和vtm的多模态遥感图像配准方法
CN111798501A (zh) 融入颜色直方图与余弦相似性的优化图像配准方法
CN117372706A (zh) 一种多尺度可变形的人物交互关系检测方法
CN110210511A (zh) 一种基于余弦测度的改进pca-sift图像配准方法
Chen et al. Mean shift tracking combining SIFT
CN116152068A (zh) 一种可用于太阳能板图像的拼接方法
CN113538232B (zh) 大尺寸航空航天复合材料构件全局缺陷定量识别方法
CN113011417B (zh) 基于交并比覆盖率损失与重定位策略的目标匹配方法
CN111768436B (zh) 一种基于Faster-RCNN改进的图像特征块配准方法
CN114565653A (zh) 一种存在旋转变化和尺度差异的异源遥感图像匹配方法
CN111833384A (zh) 一种可见光和红外图像快速配准方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant