CN113052879A - 一种多光谱图像自动配准方法 - Google Patents
一种多光谱图像自动配准方法 Download PDFInfo
- Publication number
- CN113052879A CN113052879A CN202110378742.8A CN202110378742A CN113052879A CN 113052879 A CN113052879 A CN 113052879A CN 202110378742 A CN202110378742 A CN 202110378742A CN 113052879 A CN113052879 A CN 113052879A
- Authority
- CN
- China
- Prior art keywords
- image
- matching relation
- images
- spectral
- channel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种多光谱图像自动配准方法,包括以下步骤:步骤一:读取多通道光谱视频图像,分别截取其中心区域图像;步骤二:采用相似性度量,计算各通道中心区域图像之间的正向匹配关系和反向匹配关系;步骤三:分析正向匹配关系与反向匹配关系是否闭环,若不能闭环,则此次配准失败,返回步骤一,重新读取下一帧图像;若正反向匹配关系能够闭环,则依据匹配关系,计算出各通道光谱图像之间的平移变换参数;步骤四:对各通道光谱图像进行平移变换,并输出显示。本发明可应用于各种需要对多通道图像进行配准处理的场景;算法复杂度低,可用于嵌入式平台的实时处理,且无需调参,自动判断,配准精度高;本发明的图像配准实时性好,实用性高。
Description
技术领域
本发明属于图像处理技术领域,涉及一种多光谱图像自动配准方法。
背景技术
图像配准是多光谱成像的一个关键步骤,其结果将直接影响到多光谱图像的显示效果,以及进一步的伪装目标识别能力。图像配准有基于特征的配准、基于灰度信息的配准、基于几何模型的配准等。很多配准方法计算复杂,难于实时处理。且多光谱成像数据量大,难于在嵌入式图像处理平台中实现图像配准,因此需要设计出计算简便可靠,适用于嵌入式平台实时处理的配准算法。
图像配准的过程是根据图像空间和灰度变化,找到两幅图像中同一位置点的对应关系。图像特征是反映一幅图像中重要信息的表述,因此基于点特征的配准算法在应用中比较常见,如SIFT和SURF算法等。Belongie等人提出了基于目标的轮廓特征的形状上下文描述算子,利用形状相似性对两幅图像进行匹配。面特征也称区域特征,通过图像分割算法把图像中具有高对比度闭合区域分割出来,比如图像中的水域、湖泊、田地、森林、建筑等。与基于特征的图像配准方法相比,基于灰度的图像配准方法比较简单,不需要对图像进行预处理,直接根据整幅图像的灰度信息,建立图像之间的相似性关系,但配准精度不如基于特征点的方法。而对于多通道光谱图像之间的配准,以上算法尚无法实现实时处理。
发明内容
(一)发明目的
本发明的目的是:提供一种多光谱图像自动配准方法,实现对多通道光谱图像进行配准,能够运行于嵌入式图像处理平台且满足实时性要求,配准过程无需设置参数,全程自动处理。
(二)技术方案
为了解决上述技术问题,本发明提供一种多光谱图像自动配准方法,该方法包括以下几个步骤:
步骤一:读取多通道光谱视频图像,分别截取其中心区域图像;
步骤二:采用相似性度量,计算各通道中心区域图像之间的正向匹配关系和反向匹配关系;
步骤三:分析正向匹配关系与反向匹配关系是否闭环,若不能闭环,则此次配准失败,返回步骤一,重新读取下一帧图像;若正反向匹配关系能够闭环,则依据匹配关系,计算出各通道光谱图像之间的平移变换参数。
步骤四:对各通道光谱图像进行平移变换,并输出显示。
(三)有益效果
上述技术方案所提供的多光谱图像自动配准方法,可应用于各种需要对多通道图像进行配准处理的场景;算法复杂度低,可用于嵌入式平台的实时处理,且无需调参,自动判断,配准精度高;因此,本发明的图像配准实时性好,实用性高。
附图说明
图1为本发明正反向匹配关系示意图。
图2为本发明多光谱图像自动配准方法的流程图。
具体实施方式
为使本发明的目的、内容、和优点更加清楚,下面结合附图和实施例,对本发明的具体实施方式作进一步详细描述。
本发明多光谱图像自动配准方法包括以下步骤:
第一步:从三通道光谱图像IA、IB、IC中心位置截取区域图像CA、CB、CC。
在本实施例中,三通道光谱图像由滤光片分光式多光谱传感器获取,图像分辨率为1024×768,中心位置为(512,384)。从中心位置截取的区域图像大小为120×90。
第二步:计算截取图像C与光谱图像I之间的匹配关系,并表示为C→I。正向匹配关系为CA→IB,CB→IC,CA→IC,反向匹配关系为CB→IA,CC→IB,CC→IA。
以CA→IB为例,匹配关系计算方法为:将截取区域图像CA作为基准图像,从IB的中心位置(512,384)偏移(Δy,Δx),截取同等大小的局部图像,作为候选图像RB。采用归一化互相关系数计算公式,计算区域图像CA与候选图像RB之间的相似度Cor(Δx,Δy)。Δx和Δy在实例中的取值范围分别为[-30,30]和[-20,20]。遍历取值范围内的每一组(Δy,Δx),计算出每个候选图像RB与CA之间的相似度Cor(Δx,Δy)。
互相关系数Cor(Δx,Δy)越大,说明候选图像与基准图像越相似。在搜索范围(Δy,Δx)内,互相关系数Cor(Δx,Δy)达到最大时,则认为基准图像CA与另一幅光谱通道图像IB中的候选图像RB达到最佳匹配,记录此时的(Δy,Δx)值作为最佳匹配关系,并将此匹配关系表示为CA→IB。
归一化互相关系数计算公式为:
其中,C为区域图像,R为候选图像。gC(i,j)为区域图像C中第i行第j列的图像灰度值,gR(i,j)为候选图像R中第i行第j列的图像灰度值。w为区域图像宽度,h为区域图像高度,在实例中取w=120,h=90。Cor(Δx,Δy)为计算出的归一化互相关系数。
采用上述方法,计算出正向匹配关系:CA→IB,CB→IC,CA→IC;
计算出反向匹配关系:CB→IA,CC→IB,CC→IA。
第三步:判断正向匹配关系与反向匹配关系是否闭环。将正反向匹配关系分为三组:CA→IB和CB→IA、CB→IC和CC→IB、CA→IC和CC→IA,计算每组内两个最佳匹配关系的(Δy,Δx)之和(∑y,∑x)。若∑x与∑y均为零,则认为该组正反向匹配关系能够闭环。若三组正反向匹配关系均能闭环,则匹配成功。若匹配不成功,则返回第一步,重新读取下一帧图像进行匹配计算。
依据每组的最佳匹配关系,采用经典仿射变换公式,计算出各通道光谱图像之间的平移变换参数。实例中以光谱图像IA作为基准,计算IB和IC相对于IA的偏移量,该偏移量(My,Mx)即为CB→IA和CC→IA的最佳匹配(Δy,Δx)。
第四步:依据(My,Mx)对光谱图像IB和IC进行平移,并与光谱图像IA叠加,作为RGB图像的三原色通道进行显示,完成图像配准并退出配准模式。
由上述技术方案可以看出,本发明方法可自行判断配准结果是否正确,若不正确则对下一帧图像继续进行配准,直至配准成功;该方法无需设置参数,通用性强,适用于各类场景;归一化互相关系数计算公式的遍历计算有加速算法,在嵌入式平台中可以实现实时计算。自动化程度高、通用性强、实时性好,使得本发明具有较好的应用前景。本发明也可应用于对多通道光谱图像的处理。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和变形,这些改进和变形也应视为本发明的保护范围。
Claims (10)
1.一种多光谱图像自动配准方法,其特征在于,包括以下步骤:
步骤一:读取多通道光谱视频图像,分别截取其中心区域图像;
步骤二:采用相似性度量,计算各通道中心区域图像之间的正向匹配关系和反向匹配关系;
步骤三:分析正向匹配关系与反向匹配关系是否闭环,若不能闭环,则此次配准失败,返回步骤一,重新读取下一帧图像;若正反向匹配关系能够闭环,则依据匹配关系,计算出各通道光谱图像之间的平移变换参数;
步骤四:对各通道光谱图像进行平移变换,并输出显示。
2.如权利要求1所述的多光谱图像自动配准方法,其特征在于,所述多通道光谱视频图像为三通道光谱视频图像。
3.如权利要求2所述的多光谱图像自动配准方法,其特征在于,所述步骤一中,从三通道光谱图像IA、IB、IC中心位置截取区域图像CA、CB、CC。
4.如权利要求3所述的多光谱图像自动配准方法,其特征在于,所述步骤二中,采用归一化互相关系数Cor(Δx,Δy)作为相似性度量,计算区域图像CA、CB、CC分别与三通道光谱图像IA、IB、IC两两之间的相似度,相似度最大的位置,即为两者之间的匹配关系。
6.如权利要求5所述的多光谱图像自动配准方法,其特征在于,所述步骤二中,以光谱区域图像CA为例,将CA作为基准图像,从IB的中心位置偏移(Δy,Δx),截取同等大小区域候选图像RB;遍历取值范围内的每一组(Δy,Δx),计算出每次截取的RB与CA之间的相似度Cor(Δx,Δy);
互相关系数Cor(Δx,Δy)越大,表明候选图像与基准图像相似度越高;在搜索范围(Δy,Δx)内,互相关系数Cor(Δx,Δy)达到最大时,认为基准图像CA与另一幅光谱通道图像IB中的候选图像RB达到最佳匹配,记录此时的(Δy,Δx)值作为最佳匹配关系,并将此匹配关系表示为CA→IB;
以此类推,计算出正向匹配关系:CA→IB,CB→IC,CA→IC;
计算出反向匹配关系:CB→IA,CC→IB,CC→IA。
7.如权利要求6所述的多光谱图像自动配准方法,其特征在于,所述步骤三中,将正反向匹配关系分为三组:CA→IB和CB→IA、CB→IC和CC→IB、CA→IC和CC→IA,计算每组内两个最佳匹配关系的(Δy,Δx)之和(∑y,∑x);若∑x与∑y均为零,则认为该组正反向匹配关系能够闭环;若三组正反向匹配关系均能闭环,则匹配成功。
8.如权利要求7所述的多光谱图像自动配准方法,其特征在于,所述步骤三中,以光谱图像IA作为基准,计算IB和IC相对于IA的偏移量,该偏移量(My,Mx)即为CB→IA和CC→IA的最佳匹配(Δy,Δx)。
9.如权利要求8所述的多光谱图像自动配准方法,其特征在于,所述步骤四中,依据(My,Mx)对光谱图像IB和IC进行平移,并与光谱图像IA叠加,作为RGB图像的三原色通道进行显示,完成图像配准并退出配准模式。
10.如权利要求9所述的多光谱图像自动配准方法,其特征在于,所述步骤一中,三通道光谱图像由滤光片分光式多光谱传感器获取,图像分辨率为1024×768,中心位置为(512,384),从中心位置截取的区域图像大小为120×90;步骤二中,w和h分别取120和90,Δx和Δy的取值范围分别为[-30,30]和[-20,20]。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110378742.8A CN113052879B (zh) | 2021-04-08 | 2021-04-08 | 一种多光谱图像自动配准方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110378742.8A CN113052879B (zh) | 2021-04-08 | 2021-04-08 | 一种多光谱图像自动配准方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113052879A true CN113052879A (zh) | 2021-06-29 |
CN113052879B CN113052879B (zh) | 2023-05-12 |
Family
ID=76519077
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110378742.8A Active CN113052879B (zh) | 2021-04-08 | 2021-04-08 | 一种多光谱图像自动配准方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113052879B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113838108A (zh) * | 2021-09-29 | 2021-12-24 | 中国科学院长春光学精密机械与物理研究所 | 多尺度光谱tdicmos点线配准的电荷累积方向测试系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104091337A (zh) * | 2014-07-11 | 2014-10-08 | 北京工业大学 | 一种基于PCA及微分同胚Demons的变形医学图像配准方法 |
CN104318583A (zh) * | 2014-11-14 | 2015-01-28 | 武汉大学 | 一种可见光宽带光谱图像配准方法 |
CN104851097A (zh) * | 2015-05-19 | 2015-08-19 | 西安电子科技大学 | 基于目标形状与阴影辅助的多通道sar-gmti方法 |
US20170337682A1 (en) * | 2016-05-18 | 2017-11-23 | Siemens Healthcare Gmbh | Method and System for Image Registration Using an Intelligent Artificial Agent |
-
2021
- 2021-04-08 CN CN202110378742.8A patent/CN113052879B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104091337A (zh) * | 2014-07-11 | 2014-10-08 | 北京工业大学 | 一种基于PCA及微分同胚Demons的变形医学图像配准方法 |
CN104318583A (zh) * | 2014-11-14 | 2015-01-28 | 武汉大学 | 一种可见光宽带光谱图像配准方法 |
CN104851097A (zh) * | 2015-05-19 | 2015-08-19 | 西安电子科技大学 | 基于目标形状与阴影辅助的多通道sar-gmti方法 |
US20170337682A1 (en) * | 2016-05-18 | 2017-11-23 | Siemens Healthcare Gmbh | Method and System for Image Registration Using an Intelligent Artificial Agent |
Non-Patent Citations (3)
Title |
---|
C.EDDIE MOXEY ET AL: "Hypercomplex Correlation Techniques for Vector Images", 《IEEE TRANSACTIONS ON SIGNAL PROCESSING》 * |
赵慧洁等: "运动补偿下双通道星载高光谱成像仪图像配准", 《红外与激光工程》 * |
陈慧津等: "一种可靠的多光谱CCD遥感图像配准方法", 《微计算机信息》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113838108A (zh) * | 2021-09-29 | 2021-12-24 | 中国科学院长春光学精密机械与物理研究所 | 多尺度光谱tdicmos点线配准的电荷累积方向测试系统 |
CN113838108B (zh) * | 2021-09-29 | 2023-07-21 | 中国科学院长春光学精密机械与物理研究所 | 多尺度光谱tdicmos点线配准的电荷累积方向测试系统 |
Also Published As
Publication number | Publication date |
---|---|
CN113052879B (zh) | 2023-05-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10462362B2 (en) | Feature based high resolution motion estimation from low resolution images captured using an array source | |
US6671399B1 (en) | Fast epipolar line adjustment of stereo pairs | |
US8199202B2 (en) | Image processing device, storage medium storing image processing program, and image pickup apparatus | |
CN108470356B (zh) | 一种基于双目视觉的目标对象快速测距方法 | |
CN109034017A (zh) | 头部姿态估计方法及机器可读存储介质 | |
EP1092206A1 (en) | Method of accurately locating the fractional position of a template match point | |
WO2010095460A1 (ja) | 画像処理システム、画像処理方法および画像処理プログラム | |
CN116152068A (zh) | 一种可用于太阳能板图像的拼接方法 | |
CN113052879A (zh) | 一种多光谱图像自动配准方法 | |
Kumari et al. | A feature cum intensity based SSIM optimised hybrid image registration technique | |
JP3054682B2 (ja) | 画像処理方法 | |
CN109344758B (zh) | 基于改进局部二值模式的人脸识别方法 | |
CN112801141B (zh) | 基于模板匹配和孪生神经网络优化的异源图像匹配方法 | |
CN113642397A (zh) | 一种基于手机视频的物体长度测量方法 | |
CN111062384B (zh) | 一种基于深度学习的车窗精确定位方法 | |
Tan et al. | Gesture segmentation based on YCb'Cr'color space ellipse fitting skin color modeling | |
CN111798501A (zh) | 融入颜色直方图与余弦相似性的优化图像配准方法 | |
CN111681271A (zh) | 一种多通道多光谱相机配准方法、系统及介质 | |
EP1124202B1 (en) | Image alignment with scaling and global translation | |
CN110210511A (zh) | 一种基于余弦测度的改进pca-sift图像配准方法 | |
CN113256686B (zh) | 视觉准确目标跟踪系统及方法 | |
CN113538232B (zh) | 大尺寸航空航天复合材料构件全局缺陷定量识别方法 | |
JP2981382B2 (ja) | パターンマッチング方法 | |
JP2006293600A (ja) | 画像処理方法、画像処理装置及び画像合成処理装置 | |
JPH09237343A (ja) | 物体認識システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |