CN108257167A - 一种基于推扫式高光谱成像的图像配准方法 - Google Patents

一种基于推扫式高光谱成像的图像配准方法 Download PDF

Info

Publication number
CN108257167A
CN108257167A CN201810078450.0A CN201810078450A CN108257167A CN 108257167 A CN108257167 A CN 108257167A CN 201810078450 A CN201810078450 A CN 201810078450A CN 108257167 A CN108257167 A CN 108257167A
Authority
CN
China
Prior art keywords
image
registration
push
algorithm
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201810078450.0A
Other languages
English (en)
Inventor
夏春秋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Vision Technology Co Ltd
Original Assignee
Shenzhen Vision Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Vision Technology Co Ltd filed Critical Shenzhen Vision Technology Co Ltd
Priority to CN201810078450.0A priority Critical patent/CN108257167A/zh
Publication of CN108257167A publication Critical patent/CN108257167A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明提出了一种基于推扫式高光谱成像的图像配准方法，其主要内容包括：高光谱图像采集、生成幻影数据、图像配准算法，其过程为，由转换模型、相似度测量以及优化方法三个部分组成的配准算法进行图像配准，采用以像素为基础的标定映射逐层绘制图像，并在每一层完成之后对其进行成像扫描，在后续图像是逐像素对齐的基础上，通过减去两个后续层来隔离一个层，以此实现图像配准自动化，在高光谱采集图像和标定图像之间进行匹配，并评估分层算法的准确性。本发明提出了一种基于推扫式高光谱成像的图像配准方法，通过常规空间成像与光谱学相结合，利用目标空间和光谱信息进行图像校准，可以有效提高配准效率，缩短配准时间。

Description

一种基于推扫式高光谱成像的图像配准方法
技术领域
本发明涉及图像处理领域，尤其是涉及了一种基于推扫式高光谱成像的图像配准方法。
背景技术
图像配准就是将不同时间、不同传感器或不同条件下获取的两幅或多幅图像进行匹配、叠加的过程，其广泛应用于军事、遥感、医疗等领域。具体地，在军事领域内，图像配准提高了航空侦查的效率以及准确度，为现代军事提供丰富的情报、掌握敌我态势等。在遥感领域，图像配准技术是对遥感图像进行处理的先决条件，数字化战场中的敌我态势分析基础是变化检测技术，而变化检测正是建立在从传感器所获得图像的精确配准基础之上的。而在医疗领域，图像配准技术常用于肿瘤检测、病变定位、血管造影等，通过图像配准处理空间变化中的强度畸变，可以用于核磁共振成像图像的配准。虽然在图像配准方面的研究颇多，但是在源图像来源于不同传感器以及图像由于时间关系影响到图像质量的情况下，采用何种配准算法，以及如何评价图像配准质量等，都值得进一步研究。
本发明提出了一种基于推扫式高光谱成像的图像配准方法，利用由转换模型、相似度测量以及优化方法三个部分组成的配准算法进行图像配准。采用以像素为基础的标定映射逐层绘制图像，并在每一层完成之后对其进行成像扫描，在后续图像是逐像素对齐的基础上，通过减去两个后续层来隔离一个层，以此实现图像配准自动化，在高光谱采集图像和标定图像之间进行匹配，并评估分层算法的准确性。本发明提出了一种基于推扫式高光谱成像的图像配准方法，通过常规空间成像与光谱学相结合，利用目标空间和光谱信息进行图像校准，可以有效提高配准效率，缩短配准时间。
发明内容
针对图像校准，本发明提出了一种基于推扫式高光谱成像的图像配准方法，由转换模型、相似度测量以及优化方法三个部分组成的配准算法进行图像配准。采用以像素为基础的标定映射逐层绘制图像，并在每一层完成之后对其进行成像扫描，在后续图像是逐像素对齐的基础上，通过减去两个后续层来隔离一个层，以此实现图像配准自动化，在高光谱采集图像和标定图像之间进行匹配，并评估分层算法的准确性。
为解决上述问题，提出了一种基于推扫式高光谱成像的图像配准方法，其主要内容包括：
(一)高光谱图像采集；
(二)生成幻影数据；
(三)图像配准算法。
其中，高光谱图像采集，高光谱成像结合常规空间成像与光谱学，其目标空间和光谱信息存储在一堆灰度图像中，堆栈中每一个单独的图像表示不同波长记录的目标，进一步用于空间和光谱领域的图像分析。
进一步地，所述的图像采集，使用一个超光谱推扫式相机，该相机采用二维的探测器阵列与摄谱仪相结合，在探测器的一个空间轴上照亮目标，轴线包含相机光谱轴的全部光谱，在推扫式扫描中，图像叠加成像，获得完整的高光谱图像。
其中，所述的生成幻影数据，建立一个具有量化评价层分离算法的幻影图像，为了尽可能接近原始图像，使用墨水、粉笔和纸张等材料来匹配原图，为了获得隔离层的映射，逐层绘制图像，并在每一层完成后进行扫描。
进一步地，所述的逐层绘制图像，在后续图像是逐像素对齐的基础上，减去两个后续图像来隔离一个层，通过这种校准使图像配准实现自动化，获得的高光谱图像与被扫描的标定图像相一致，在高光谱采集图像和标定图像之间进行匹配，以此来评估分层算法的准确性。
其中，所述的图像配准算法，首先采用粗略的调整进行预配准，然后采用Demon配准算法计算每个像素的非刚性位移，最大限度地实现两个图像的相似度，经过试验验证，选择局部交互信息(LMI)和剩余复杂性(RC)进行相似性度量，用最陡下降法优化相似性函数，利用戴斯相似性系数(DSC)测量两个图像分割区域的区域重叠，由于任何二维图形或图像都是由许多二维点组成的，故引入一个二维欧几得里平面，用元素x和元素y处理图像上的点。
进一步地，所述的配准算法，每个配准算法由以下三个主要部分组成：转换模型、相似度测量以及优化方法，其中转换模型指定了在源图像与参考图像匹配时可以应用到的所有更改，使用这些基本组成部分，配准方法用以下公式描述：
I是参考图像，J是源图像，T是将源图像配准到参考图像上的转换模型，S是最优方法的相似度度量。
进一步地，所述的局部交互信息，根据图像的重叠区域可以使用不同类型传感器的数据配准，为了保证重叠区域测量的稳定性，引入归一化交互信息(NMI)概念，通过计算两个图像熵H(I)和H(T(J))，联合熵H(I,T(J))的归一化交互信息比率表示为：
为了保证重叠区域测量的稳定性，假设图像强度是独立的，空间是固定的，将相似性度量局部化，计算图像上几个分区的交互信息，然后平均每个子区域的交互信息，生成局部交互信息：
其中，Ω代表图像域，N(xj)是图像域中的空间邻域，xj为坐标中心，N是邻域的数量。
进一步地，所述的剩余复杂性(RC)，剩余复杂性能够处理空间化的强度畸变，计算出参考和移动图像之间的剩余值后，RC使用离散余弦变换(DCT)的基函数对残差进行编码，残差的复杂度越低，配准结果越好。
进一步地，所述的最陡下降法，使用最陡下降法最小化目标函数，在最陡下降法中，S为优化步骤，最陡下降中函数的负梯度由步长αs和搜索方向ps来定义，经过迭代计算，给出最小值：
xs+1＝xs+αsps (4)
其中，xs是搜索空间当前位置，xs+1是下一步的位置。
附图说明
图1是本发明一种基于推扫式高光谱成像的图像配准方法的系统流程图。
图2是本发明一种基于推扫式高光谱成像的图像配准方法的配准程序流程图。
图3是本发明一种基于推扫式高光谱成像的图像配准方法的逐层绘制图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。
图1是本发明一种基于推扫式高光谱成像的图像配准方法的系统流程图。主要包括高光谱图像采集、生成幻影数据、图像配准算法。
其中，高光谱图像采集，高光谱成像结合常规空间成像与光谱学，其目标空间和光谱信息存储在一堆灰度图像中，堆栈中每一个单独的图像表示不同波长记录的目标，进一步用于空间和光谱领域的图像分析。
进一步地，所述的图像采集，使用一个超光谱推扫式相机，该相机采用二维的探测器阵列与摄谱仪相结合，在探测器的一个空间轴上照亮目标，轴线包含相机光谱轴的全部光谱，在推扫式扫描中，图像叠加成像，获得完整的高光谱图像。
其中，所述的生成幻影数据，建立一个具有量化评价层分离算法的幻影图像，为了尽可能接近原始图像，使用墨水、粉笔和纸张等材料来匹配原图，为了获得隔离层的映射，逐层绘制图像，并在每一层完成后进行扫描。
进一步地，所述的逐层绘制图像，在后续图像是逐像素对齐的基础上，减去两个后续图像来隔离一个层，通过这种校准使图像配准实现自动化，获得的高光谱图像与被扫描的标定图像相一致，在高光谱采集图像和标定图像之间进行匹配，以此来评估分层算法的准确性。
其中，所述的图像配准算法，首先采用粗略的调整进行预配准，然后采用Demon配准算法计算每个像素的非刚性位移，最大限度地实现两个图像的相似度，经过试验验证，选择局部交互信息(LMI)和剩余复杂性(RC)进行相似性度量，用最陡下降法优化相似性函数，利用戴斯相似性系数(DSC)测量两个图像分割区域的区域重叠，由于任何二维图形或图像都是由许多二维点组成的，故引入一个二维欧几得里平面，用元素x和元素y处理图像上的点。
进一步地，所述的配准算法，每个配准算法由以下三个主要部分组成：转换模型、相似度测量以及优化方法，其中转换模型指定了在源图像与参考图像匹配时可以应用到的所有更改，使用这些基本组成部分，配准方法用以下公式描述：
I是参考图像，J是源图像，T是将源图像配准到参考图像上的转换模型，S是最优方法的相似度度量。
进一步地，所述的局部交互信息，根据图像的重叠区域可以使用不同类型传感器的数据配准，为了保证重叠区域测量的稳定性，引入归一化交互信息(NMI)概念，通过计算两个图像熵H(I)和H(T(J))，联合熵H(I,T(J))的归一化交互信息比率表示为：
为了保证重叠区域测量的稳定性，假设图像强度是独立的，空间是固定的，将相似性度量局部化，计算图像上几个分区的交互信息，然后平均每个子区域的交互信息，生成局部交互信息：
其中，Ω代表图像域，N(xj)是图像域中的空间邻域，xj为坐标中心，N是邻域的数量。
进一步地，所述的剩余复杂性(RC)，剩余复杂性能够处理空间化的强度畸变，计算出参考和移动图像之间的剩余值后，RC使用离散余弦变换(DCT)的基函数对残差进行编码，残差的复杂度越低，配准结果越好。
进一步地，所述的最陡下降法，使用最陡下降法最小化目标函数，在最陡下降法中，S为优化步骤，最陡下降中函数的负梯度由步长αs和搜索方向ps来定义，经过迭代计算，给出最小值：
xs+1＝xs+αsps (4)
其中，xs是搜索空间当前位置，xs+1是下一步的位置。
图2是本发明一种基于推扫式高光谱成像的图像配准方法的配准程序流程图。首先对运动图像进行预配准，然后用RC和LMI算法分别对参考图像和已经预配准的图像进行配准。
图3是本发明一种基于推扫式高光谱成像的图像配准方法的逐层绘制图。图(a)、(b)、(c)分别表示第一层、第二层、第三层，为了尽可能接近原始图像，使用墨水、粉笔和纸张等材料来匹配原图，为了获得隔离层的映射，逐层绘制图像，并在每一层完成后进行扫描。
对于本领域技术人员，本发明不限制于上述实施例的细节，在不背离本发明的精神和范围的情况下，能够以其他具体形式实现本发明。此外，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，这些改进和变型也应视为本发明的保护范围。因此，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

Claims (10)

1.一种基于推扫式高光谱成像的图像配准方法，其特征在于，主要包括高光谱图像采集(一)，生成幻影数据(二)；图像配准算法(三)。
2.基于权利要求书1所述的高光谱图像采集(一)，其特征在于，高光谱成像结合常规空间成像与光谱学，其目标空间和光谱信息存储在一堆灰度图像中，堆栈中每一个单独的图像表示不同波长记录的目标，进一步用于空间和光谱领域的图像分析。
3.基于权利要求书2所述的图像采集，其特征在于，使用一个超光谱推扫式相机，该相机采用二维的探测器阵列与摄谱仪相结合，在探测器的一个空间轴上照亮目标，轴线包含相机光谱轴的全部光谱，在推扫式扫描中，图像通过叠加获得完整的高光谱图像。
4.基于权利要求1所述的生成幻影数据(二)，其特征在于，建立一个具有量化评价层分离算法的幻影图像，为了尽可能接近原始图像，使用墨水、粉笔和纸张等材料来匹配原图，为了获得隔离层的映射，逐层绘制图像，并在每一层完成后进行扫描。
5.基于权利要求书4所述的逐层绘制图像，其特征在于，在后续图像是逐像素对齐的基础上，减去两个后续图像来隔离一个层，通过这种校准使图像配准实现自动化，获得的高光谱图像与被扫描的标定图像相一致，在高光谱采集图像和标定图像之间进行匹配，以此来评估分层算法的准确性。
6.基于权利要求书1所述的图像配准算法，其特征在于，首先采用粗略的调整进行预配准，然后采用Demon配准算法计算每个像素的非刚性位移，最大限度地实现两个图像的相似度，经过试验验证，选择局部交互信息(LMI)和剩余复杂性(RC)进行相似性度量，用最陡下降法优化相似性函数，利用戴斯相似性系数(DSC)测量两个图像分割区域的区域重叠，由于任何二维图形或图像都是由许多二维点组成的，故引入一个二维欧几得里平面，用元素x和元素y处理图像上的点。
7.基于权利要求书6所述的配准算法，其特征在于，每个配准算法由以下三个主要部分组成：转换模型、相似度测量以及优化方法，其中转换模型指定了在源图像与参考图像匹配时可以应用到的所有更改，使用这些基本组成部分，配准方法用以下公式描述：
I是参考图像，J是源图像，T是将源图像配准到参考图像上的转换模型，S是最优方法的相似度度量。
8.基于权利要求书6所述的局部交互信息，其特征在于，交互信息根据图像的重叠区域可以使用不同类型传感器的数据配准，为了保证重叠区域测量的稳定性，引入归一化交互信息(NMI)概念，通过计算两个图像熵H(I)和H(T(J))，联合熵H(I，T(J))的归一化交互信息比率表示为：
为了保证重叠区域测量的稳定性，假设图像强度是独立的，空间是固定的，将相似性度量局部化，计算图像上几个分区的交互信息，然后平均每个子区域的交互信息，生成局部交互信息：
其中，Ω代表图像域，N(xj)是图像域中的空间邻域，xj为坐标中心，N是邻域的数量。
9.基于权利要求书6所述的剩余复杂性(RC)，其特征在于，剩余复杂性能够处理空间化的强度畸变，计算出参考和移动图像之间的剩余值后，RC使用离散余弦变换(DCT)的基函数对残差进行编码，残差的复杂度越低，配准结果越好。
10.基于权利要求书6所述的最陡下降法，其特征在于，使用最陡下降法最小化目标函数，在最陡下降法中，S为优化步骤，最陡下降中函数的负梯度由步长αs和搜索方向ps来定义，经过迭代计算，给出最小值：
xs+1＝xs+αsps (4)
其中，xs是搜索空间当前位置，xs+1是下一步的位置。
CN201810078450.0A 2018-01-26 2018-01-26 一种基于推扫式高光谱成像的图像配准方法 Withdrawn CN108257167A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810078450.0A CN108257167A (zh) 2018-01-26 2018-01-26 一种基于推扫式高光谱成像的图像配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810078450.0A CN108257167A (zh) 2018-01-26 2018-01-26 一种基于推扫式高光谱成像的图像配准方法

Publications (1)

Publication Number Publication Date
CN108257167A true CN108257167A (zh) 2018-07-06

Family

ID=62742565

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810078450.0A Withdrawn CN108257167A (zh) 2018-01-26 2018-01-26 一种基于推扫式高光谱成像的图像配准方法

Country Status (1)

Country Link
CN (1) CN108257167A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109165628A (zh) * 2018-09-12 2019-01-08 首都师范大学 提高动目标检测精度的方法、装置、电子设备及存储介质
CN113281282A (zh) * 2021-06-17 2021-08-20 四川九洲电器集团有限责任公司 一种图像采集与重构方法、设备及存储介质
CN114485942A (zh) * 2022-02-16 2022-05-13 南京大学 一种高光谱配准方法及其成像系统
CN112785587B (zh) * 2021-02-04 2024-05-31 上海电气集团股份有限公司 堆叠生产过程中的异物检测方法、系统、设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103606139A (zh) * 2013-09-09 2014-02-26 上海大学 一种声纳图像拼接方法
CN105405146A (zh) * 2015-11-17 2016-03-16 中国海洋大学 基于特征密度聚类与正态分布变换的侧扫声呐配准方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103606139A (zh) * 2013-09-09 2014-02-26 上海大学 一种声纳图像拼接方法
CN105405146A (zh) * 2015-11-17 2016-03-16 中国海洋大学 基于特征密度聚类与正态分布变换的侧扫声呐配准方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
AMIRABBAS DAVARI ET.AL: "Image Registration for the Alignment of Digitized Historical Documents", 《ARXIV:1712.04482V1 [CS.CV]》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109165628A (zh) * 2018-09-12 2019-01-08 首都师范大学 提高动目标检测精度的方法、装置、电子设备及存储介质
CN112785587B (zh) * 2021-02-04 2024-05-31 上海电气集团股份有限公司 堆叠生产过程中的异物检测方法、系统、设备及介质
CN113281282A (zh) * 2021-06-17 2021-08-20 四川九洲电器集团有限责任公司 一种图像采集与重构方法、设备及存储介质
CN114485942A (zh) * 2022-02-16 2022-05-13 南京大学 一种高光谱配准方法及其成像系统
CN114485942B (zh) * 2022-02-16 2024-05-28 南京大学 一种高光谱配准方法及其成像系统

Similar Documents

Publication Publication Date Title
Ayhan et al. A novel utilization of image registration techniques to process mastcam images in mars rover with applications to image fusion, pixel clustering, and anomaly detection
CN105823416B (zh) 多相机测量物体的方法和装置
Behmann et al. Calibration of hyperspectral close-range pushbroom cameras for plant phenotyping
KR101194936B1 (ko) 3차원 계측 장치 및 그 방법
Conover et al. Automatic registration and mosaicking of technical images of Old Master paintings
Kelcey et al. Sensor correction and radiometric calibration of a 6-band multispectral imaging sensor for UAV remote sensing
CN108257167A (zh) 一种基于推扫式高光谱成像的图像配准方法
Schaller et al. Time‐of‐flight sensor for respiratory motion gating
US10373339B2 (en) Hyperspectral scene analysis via structure from motion
Remondino et al. Review of geometric and radiometric analyses of paintings
Jhan et al. Investigation of parallax issues for multi-lens multispectral camera band co-registration
Brusco et al. A system for 3D modeling frescoed historical buildings with multispectral texture information
Schlapfer et al. Spatial PSF nonuniformity effects in airborne pushbroom imaging spectrometry data
CN108474661A (zh) 用于多光谱数据的几何参照的方法和系统
Hieronymus Comparison of methods for geometric camera calibration
Buckley et al. The benefits of terrestrial laser scanning and hyperspectral data fusion products
Li et al. Modeling forest aboveground biomass by combining spectrum, textures and topographic features
CN108257107A (zh) 基于局部低秩矩阵和光谱分解的图像融合算法
CN109087341A (zh) 一种近距离高光谱相机与测距传感器的融合方法
Erives et al. Automatic subpixel registration for a tunable hyperspectral imaging system
Erives et al. Implementation of a 3-D hyperspectral instrument for skin imaging applications
CN108007569A (zh) 一种多光谱影像辐射定标方法
Shrestha et al. Assessment of two fast multispectral systems for imaging of a cultural heritage artifact-a Russian icon
Barazzetti et al. Geometric and radiometric analysis of paintings
Markelin et al. Geometric processing workflow for vertical and oblique hyperspectral frame images collected using UAV

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20180706