CN106709941A - 一种用于光谱影像序列配准的关键点筛选方法 - Google Patents

一种用于光谱影像序列配准的关键点筛选方法 Download PDF

Info

Publication number
CN106709941A
CN106709941A CN201611113661.0A CN201611113661A CN106709941A CN 106709941 A CN106709941 A CN 106709941A CN 201611113661 A CN201611113661 A CN 201611113661A CN 106709941 A CN106709941 A CN 106709941A
Authority
CN
China
Prior art keywords
transformation
point
rms
registration
image sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611113661.0A
Other languages
English (en)
Other versions
CN106709941B (zh
Inventor
胡奇琪
储松南
沈志学
黄立贤
骆永全
张大勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Fluid Physics of CAEP
Original Assignee
Institute of Fluid Physics of CAEP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Fluid Physics of CAEP filed Critical Institute of Fluid Physics of CAEP
Priority to CN201611113661.0A priority Critical patent/CN106709941B/zh
Publication of CN106709941A publication Critical patent/CN106709941A/zh
Application granted granted Critical
Publication of CN106709941B publication Critical patent/CN106709941B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种用于光谱影像序列配准的关键点筛选方法，该筛选方法能有效地减少和去除错配点，并且在存在较多异常点对的情况下有较高的鲁棒性，可以极大地提高配准准确度，另外通过设置权重降低了抽样的平均次数，提高了配准速度。

Description

一种用于光谱影像序列配准的关键点筛选方法
技术领域
本发明涉及光谱成像领域中的影像序列配准领域，具体涉及一种用于光谱影像序列配准的关键点筛选方法。
背景技术
光谱成像技术是一种新型光电探测识别技术，是光谱学与成像技术的有机结合，可利用物体表面成分的光谱差异，凭借“图谱合一”的技术优势对被测物体进行光谱识别，在资源遥感调查、矿产资源勘查、农业病虫害监测、环境监测与评估、生物医学监测与诊断、伪装目标检测与识别等领域具有重要的应用价值和广泛的应用前景。例如，美国机载可见光/近红外光谱成像仪(AVIRIS)在先进机载计算机的支持下进行高效率的军事侦察，美国火星探测器搭载的“Quickbird”光谱成像仪可获得火星地物地貌的光谱特性，我国于2011年发射的“天宫一号”搭载的光谱成像仪用以探测月球或地表物质。
由于受传感器不同、拍摄视角不同、采集时间不等因素影响，相同目标可能出现在不同的光谱影像序列的不同像素点位置，这给光谱信息的提取带来了很大的困难。因此图像配准——实质就是寻找不同的光谱影像序列之间的空间映射关系，再对目标图像的像素点位置进行重新排列，并与基准图像的对应像素点保持空间上的一致性，成为图像处理领域的首要任务。
David G.Lowe教授在1999年总结了现有的基于不变量技术的特征检测方法，并提出了一种基于尺度空间的对图像缩放、旋转甚至仿射变换保持不变性的图像局部特征描述算子SIFT(Scale Invariant Feature Transform)算子，即尺度不变特征变换，并在2004年加以完善。该算法的核心思想是首先在尺度空间进行特征检测，确定关键点(Key points)的位置和所处尺度，然后使用邻域梯度的主方向作为该点的方向特征，以实现算子对尺度和方向的无关性，再以位置、尺度和主方向三个信息生成关键点特征向量，并采用特征向量的欧氏距离作为两幅影像中关键点匹配的相似性度量进行初匹配。Bay在2006年基于相同的核心思想提出SURF(Speeded Up Robust Features)算法，该算法的计算量更小，运算速度更快，而提取的特征点几乎与SIFT相同，号称是SIFT算法的增强版。
但是SIFT和SURF算法中的关键点初匹配的结果中存在着大量的错配点，这大大降低了最终配准结果的准确性。
发明内容
本发明目的在于提供一种用于光谱影像序列配准的关键点筛选方法，解决目前SIFT和SURF算法中的关键点初匹配结果中存在着大量的错配点的问题，提高光谱影像序列配准结果的准确性。
本发明通过下述技术方案实现：
一种用于光谱影像序列配准的关键点筛选方法，包括以下步骤：
(a)先对光谱成像设备所生成的影像序列计算灰度均方差，以其值最大的图像作为配准的参考图像，按照拍摄顺序依次将各影像图片作为配准图像进行配准；在提取参考图像与配准图像中的关键点后，采用特征向量的欧氏距离作为两幅影像中关键点匹配的相似性度量进行初匹配，得到25～35对的初始匹配点对。图像灰度均方差可以用来描述图片中各像素灰度值的分散程度，其值最大的图像通常拥有更高的图像对比度和更好的清晰度，选取这样的图像作为配准的参考图像可以提高配准成功率。
(b)按仿射变换模型计算所有初始匹配点对中参考坐标到配准坐标的变换矩阵，并得出所有参考坐标在该变换下的变换坐标，将其与对应的配准坐标的欧氏距离记为误差值RMS，该误差值的特定函数值作为各点对的抽样权重W。符合正确仿射变换模型的匹配点具有较小的RMS，按照具有在非负实数范围内严格单调递减性质的特定函数W进行抽样可以减少抽样次数，大大提高配准速度。
(c)按权重W对所有初始匹配点对进行随机抽样，选取3个点对，计算对应的变换矩阵，并得出所有初始匹配点在该变换矩阵下的变换坐标及误差值RMS；
(d)以RMS的计算平均数M作为内点和外点的阈值，把RMS值不大于M的匹配点对标记为内点对，其余标记为外点对；
(e)计算所有内点对对应的变换矩阵T及误差值RMS，把最大RMS对应的内点对标记为外点对，重复这一过程，直到最大RMS的小于1像素。减少和去除错配点，筛选出与正确仿射变换模型偏差较小的内点用于配准可以大大提高配准的精确度，减小配准误差。
(f)将最终的变换矩阵T分解为二维平面上平移变换、缩放变换、旋转变换、错切变换的四个基本线性变换矩阵，并作相应的分析，若符合实际应用场景则配准成功，否则回到(c)重新抽样，若经过10次抽样都无法符合要求，则配准失败。通过判据来判定所得配准结果是否符合应用场景可以减少随机抽样带来的不确定性，提高配准方法的鲁棒性。
所述的变换矩阵是通过最小二乘法得到的，或者通过计算伪逆矩阵的方法得到。
所述抽样权重W是具有在非负实数范围内严格单调递减性质的特定函数，比如其中ε为正实数。
所述(d)中的平均数M是平方平均数或者算术平均数。
所述步骤(e)中的变换矩阵T可分解为对应于二维平面上平移变换、缩放变换、旋转变换、错切变换的四个基本线性变换矩阵。
本发明与现有技术相比，具有如下的优点和有益效果：
本发明一种用于光谱影像序列配准的关键点筛选方法，能有效地减少和去除错配点，并且在存在较多异常点对的情况下有较高的鲁棒性，可以极大地提高配准准确度，另外通过设置权重降低了抽样的平均次数，提高了配准速度。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
实施例
本发明一种用于光谱影像序列配准的关键点筛选方法：
(a)先对光谱成像设备所生成的影像序列计算灰度均方差，以其值最大的图像作为配准的参考图像，按照拍摄顺序依次将各影像图片作为配准图像进行配准；在提取参考图像与配准图像中的关键点后，采用特征向量的欧氏距离作为两幅影像中关键点匹配的相似性度量进行初匹配，得到25～35对的初始匹配点对，并按表1所述计算关键点信息。
表1关键点信息表
(b)按仿射变换模型，所有匹配点对的参考坐标到配准坐标的变换服从
使用最小二乘法可以得到各仿射变换参数，生成变换矩阵
并计算各参考坐标在该变换下对应的变换坐标
以及各自的误差值
最后计算各点对的抽样权重
(c)标记所有点对为内点对，生成分别对应各权重值Wi的可抽样标记fi＝1，计算归一化累积权重
按平均分布在区间[0,1]生成随机数，Pi中大于该数的最小值对应的匹配点对被抽中，每次抽样后，对应的可抽样标记置为fi＝0，防止被重复抽取，并重新计算Pi，直到抽取完3个匹配点对，计算这3个匹配点对的变换矩阵T，并得出所有初始匹配点在该变换矩阵下的变换坐标及其对应的误差值RMS；
(c)以RMS的平方平均数
作为内点和外点的阈值，把RMS值不大于M的匹配点对标记为内点对，其余标记为外点对；
(d)计算所有内点对的变换矩阵T及误差值RMS，把最大RMS对应的内点对标记为外点对，重复计算剩余内点对T和RMS，直到最大RMS的小于1像素；
(e)将最终的变换矩阵T分解为二维平面上平移变换、缩放变换、旋转变换、错切变换的四个基本线性变换矩阵，其中各子矩阵的参数按如下方法计算：
x轴平移B1＝P
y轴平移B2＝Q
x轴缩放
y轴缩放
旋转角度
错切角度
在较多实际应用场景下，x轴缩放A1和y轴缩放A2比较接近1，而错切角度比较接近0，若各参数符合则配准成功，否则回到(c)重新抽样。若经过10次抽样都无法符合要求，则认为配准失败。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种用于光谱影像序列配准的关键点筛选方法，其特征在于包括以下步骤：
(a)先对光谱成像设备所生成的影像序列计算灰度均方差，以其值最大的图像作为配准的参考图像，按照拍摄顺序依次将各影像图片作为配准图像进行配准；在提取参考图像与配准图像中的关键点后，采用特征向量的欧氏距离作为两幅影像中关键点匹配的相似性度量进行初匹配，得到25～35对的初始匹配点对；
(b)按仿射变换模型计算所有初始匹配点对中参考坐标到配准坐标的变换矩阵，并得出所有参考坐标在该变换下的变换坐标，将其与对应的配准坐标的欧氏距离记为误差值RMS，该误差值的特定函数值作为各点对的抽样权重W；
(c)按权重W对所有初始匹配点对进行随机抽样，选取3个点对，计算对应的变换矩阵，并得出所有初始匹配点在该变换矩阵下的变换坐标及误差值RMS；
(d)以RMS的计算平均数M作为内点和外点的阈值，把RMS值不大于M的匹配点对标记为内点对，其余标记为外点对；
(e)计算所有内点对对应的变换矩阵T及误差值RMS，把最大RMS对应的内点对标记为外点对，重复这一过程，直到最大RMS的小于1像素；
(f)将最终的变换矩阵T分解为二维平面上平移变换、缩放变换、旋转变换、错切变换的四个基本线性变换矩阵，并作相应的分析，若符合实际应用场景则配准成功，否则回到(c)重新抽样，若经过10次抽样都无法符合要求，则配准失败。
2.根据权利要求1所述一种用于光谱影像序列配准的关键点筛选方法，其特征在于：所述的变换矩阵是通过最小二乘法得到的，或者通过计算伪逆矩阵的方法得到。
3.根据权利要求1所述一种用于光谱影像序列配准的关键点筛选方法，其特征在于：所述抽样权重W是具有在正实数范围内严格单调递减性质的特定函数，其中ε为正实数。
4.根据权利要求1所述一种用于光谱影像序列配准的关键点筛选方法，其特征在于：所述(d)中的平均数M是平方平均数或者算术平均数。
5.根据权利要求1所述一种用于光谱影像序列配准的关键点筛选方法，其特征在于：所述步骤(e)中的变换矩阵T可分解为对应于二维平面上平移变换、缩放变换、旋转变换、错切变换的四个基本线性变换矩阵。
CN201611113661.0A 2016-12-07 2016-12-07 一种用于光谱影像序列配准的关键点筛选方法 Active CN106709941B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611113661.0A CN106709941B (zh) 2016-12-07 2016-12-07 一种用于光谱影像序列配准的关键点筛选方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611113661.0A CN106709941B (zh) 2016-12-07 2016-12-07 一种用于光谱影像序列配准的关键点筛选方法

Publications (2)

Publication Number Publication Date
CN106709941A true CN106709941A (zh) 2017-05-24
CN106709941B CN106709941B (zh) 2019-09-20

Family

ID=58936124

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611113661.0A Active CN106709941B (zh) 2016-12-07 2016-12-07 一种用于光谱影像序列配准的关键点筛选方法

Country Status (1)

Country Link
CN (1) CN106709941B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107271389A (zh) * 2017-06-24 2017-10-20 桂林理工大学 一种基于指标极值的光谱特征变量快速匹配方法
CN108629798A (zh) * 2018-04-28 2018-10-09 安徽大学 基于gpu的图像快速配准方法
CN108876770A (zh) * 2018-06-01 2018-11-23 山东师范大学 一种眼底多光谱图像联合配准方法及系统
CN112819509A (zh) * 2021-01-18 2021-05-18 上海携程商务有限公司 自动筛选广告图片的方法、系统、电子设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102005047A (zh) * 2010-11-15 2011-04-06 无锡中星微电子有限公司 图像配准系统及其方法
CN103020945A (zh) * 2011-09-21 2013-04-03 中国科学院电子学研究所 一种多源传感器的遥感图像配准方法
US20140286577A1 (en) * 2013-03-22 2014-09-25 Electronics And Telecommunications Research Institute Image registration device and operation method of the same
CN104732546A (zh) * 2015-04-02 2015-06-24 西安电子科技大学 区域相似性和局部空间约束的非刚性sar图像配准方法
CN106023187A (zh) * 2016-05-17 2016-10-12 西北工业大学 一种基于sift特征和角度相对距离的图像配准方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102005047A (zh) * 2010-11-15 2011-04-06 无锡中星微电子有限公司 图像配准系统及其方法
CN103020945A (zh) * 2011-09-21 2013-04-03 中国科学院电子学研究所 一种多源传感器的遥感图像配准方法
US20140286577A1 (en) * 2013-03-22 2014-09-25 Electronics And Telecommunications Research Institute Image registration device and operation method of the same
CN104732546A (zh) * 2015-04-02 2015-06-24 西安电子科技大学 区域相似性和局部空间约束的非刚性sar图像配准方法
CN106023187A (zh) * 2016-05-17 2016-10-12 西北工业大学 一种基于sift特征和角度相对距离的图像配准方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107271389A (zh) * 2017-06-24 2017-10-20 桂林理工大学 一种基于指标极值的光谱特征变量快速匹配方法
CN107271389B (zh) * 2017-06-24 2019-10-11 桂林理工大学 一种基于指标极值的光谱特征变量快速匹配方法
CN108629798A (zh) * 2018-04-28 2018-10-09 安徽大学 基于gpu的图像快速配准方法
CN108876770A (zh) * 2018-06-01 2018-11-23 山东师范大学 一种眼底多光谱图像联合配准方法及系统
CN112819509A (zh) * 2021-01-18 2021-05-18 上海携程商务有限公司 自动筛选广告图片的方法、系统、电子设备和存储介质
CN112819509B (zh) * 2021-01-18 2024-03-26 上海携程商务有限公司 自动筛选广告图片的方法、系统、电子设备和存储介质

Also Published As

Publication number Publication date
CN106709941B (zh) 2019-09-20

Similar Documents

Publication Publication Date Title
US11244197B2 (en) Fast and robust multimodal remote sensing image matching method and system
Ye et al. A local descriptor based registration method for multispectral remote sensing images with non-linear intensity differences
CN111582089B (zh) 基于卫星红外与可见光图像的海上目标信息融合方法
CN106709941A (zh) 一种用于光谱影像序列配准的关键点筛选方法
CN110147162B (zh) 一种基于指尖特征的增强装配示教系统及其控制方法
CN107240130A (zh) 遥感影像配准方法、装置及系统
CN105678720A (zh) 一种全景拼接判断图像匹配方法及装置
CN114897705A (zh) 一种基于特征优化的无人机遥感图像拼接方法
CN104966283A (zh) 图像分层配准方法
Yang et al. A research of feature-based image mosaic algorithm
CN103337080A (zh) 基于梯度方向Hausdorff 距离的红外图像和可见光图像配准技术
Changjie et al. Algorithm of remote sensing image matching based on corner-point
CN113095385A (zh) 一种基于全局和局部特征描述的多模图像匹配方法
CN111583315A (zh) 一种新的可见光图像和红外图像配准方法及装置
CN109102534B (zh) 雾霾天气条件下的光学遥感图像配准方法及系统
CN113792788B (zh) 一种基于多特征相似度融合的红外和可见光图像匹配方法
CN109035306A (zh) 动目标自动检测方法及装置
CN115131413A (zh) 基于多尺度三维频域卷积特征的多模遥感图像配准方法
Xu et al. A positioning method for the feature points of a target board image adopting singular value decomposition
CN108280815B (zh) 一种面向监控场景结构的几何校正方法
Li et al. A real-time pineapple matching system based on speeded-up robust features
Balamurugan et al. Classification of Land Cover in Satellite Image using supervised and unsupervised Techniques
Singla Technique of Image Registration in Digital Image Processing: a Review
Qin et al. Joint detection of airplane targets based on sar images and optical images
Li et al. A combined global and local approach for automated registration of high-resolution satellite images using optimum extrema points

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant