CN114820739A - 一种面向多光谱相机的图像快速配准方法及装置 - Google Patents

一种面向多光谱相机的图像快速配准方法及装置 Download PDF

Info

Publication number
CN114820739A
CN114820739A CN202210765686.8A CN202210765686A CN114820739A CN 114820739 A CN114820739 A CN 114820739A CN 202210765686 A CN202210765686 A CN 202210765686A CN 114820739 A CN114820739 A CN 114820739A
Authority
CN
China
Prior art keywords
image
registration
registered
grid
gradient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210765686.8A
Other languages
English (en)
Other versions
CN114820739B (zh
Inventor
王勋
陈书界
董建锋
周迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Uniview Technologies Co Ltd
Zhejiang Gongshang University
Original Assignee
Zhejiang Uniview Technologies Co Ltd
Zhejiang Gongshang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Uniview Technologies Co Ltd, Zhejiang Gongshang University filed Critical Zhejiang Uniview Technologies Co Ltd
Priority to CN202210765686.8A priority Critical patent/CN114820739B/zh
Publication of CN114820739A publication Critical patent/CN114820739A/zh
Application granted granted Critical
Publication of CN114820739B publication Critical patent/CN114820739B/zh
Priority to PCT/CN2022/127362 priority patent/WO2024000950A1/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本发明公开了一种面向多光谱相机的图像快速配准方法及装置。首先，选定某个光谱波段图像作为参考图像，其余波段图像为待配准图像，对参考图像与待配准图像的鲁棒梯度特征图进行网格分块；然后，选取非平滑网格，用相位相关算法计算非平滑网格的偏移量，用网格偏移量与参数化坐标变换关系构建方程组，求解整幅图像的配准参数初值；最后，将配准参数初值送入到基于归一化总梯度的配准参数优化器中，对配准参数进行细调优化，将细调后的参数应用到待配准图像上，实现两幅不同波段图像之间的精细化快速配准。与同类配准方法相比，本发明方法具有更高的配准精度、更快的配准速度。

Description

一种面向多光谱相机的图像快速配准方法及装置
技术领域
本发明属于多光谱图像处理领域，尤其涉及一种面向多光谱相机的图像快速配准方法及装置。
背景技术
传统单传感器摄像机采用拜耳格式进行图像采集，每个像素点仅采集RGB三个分量中的一个分量，另外两个分量基于附近像素点信息进行插值估计，因此实际所获得的图像存在一定的色彩失真。为了获得高色彩还原的成像效果，多光谱相机采用了分光棱镜系统，将光线分离成若干波段，由多传感器分别采集，各自成像。受物理成像光路影响，分光谱波段图像之间存在可参数化偏移，需要配准之后才能融合生成真彩图像。镜头调校系统可较大程度上改善分光谱波段图像之间的初始偏移，但在相机的使用过程中，物理振动、温度变化等实际不可控因素会导致调校后的分光谱波段图像发生二次偏移。这种二次偏移是随机发生的，且发生概率较大，难以被调校系统完全消除，需要软件算法辅助进行快速校正，以保证生成图像的色彩真实度。
分光谱波段图像配准属于多光谱图像配准范畴。有别于一般的图像配准，由于不同光谱波段图像之间存在局部的亮度、对比度差异，多光谱图像配准很难直接在图像亮度上进行。目前学术界采用互信息、局部归一化相关系数等测度作为目标函数，对两个波段图像之间的配准参数进行优化求解。这类测度的计算复杂度较高，耗时大，难以被工业界推广使用。
发明内容
为了解决多光谱相机分光谱波段图像快速配准问题，本发明提供了一种面向多光谱相机的图像快速配准方法及装置。本发明采用归一化总梯度作为配准参数求解的测度，该测度是在图像梯度特征上展开计算，具有计算成本低、速度快的特点。然而，归一化总梯度目标存在收敛域小的问题，需要较好的初值参数才能使得优化结果快速收敛到最优解。为此，本发明采用基于网格块的偏移估计、基于非平滑网格偏移的全局配准参数初值拟合技术，对配准参数初值进行快速求解。然后将初值参数送入到基于归一化总梯度的配准参数优化器中，对配准参数进行细调优化。为减弱多光谱图像局部亮度、对比度差异带来的影响，保证网格块偏移估计的准确性，网格块的偏移估计采用基于鲁棒梯度特征的相位相关算法。与同类配准方法相比，本发明方法具有更高的配准精度、更快的配准速度。
本发明的目的是通过以下技术方案来实现的：
根据本说明书的第一方面，提供一种面向多光谱相机的图像快速配准方法，该方法包括以下步骤：
S1，选定多光谱相机采集的多光谱波段图像的其中一个波段为参考图像，其余波段为待配准图像，分别计算参考图像与待配准图像的鲁棒梯度特征；
S2，对参考图像与待配准图像的鲁棒梯度特征图用网格分块，并选取非平滑网格；
S3，用相位相关算法计算非平滑网格的偏移量；
S4，依据非平滑网格的网格偏移量拟合全局配准参数初值；
S5，将配准参数初值送入到基于归一化总梯度的优化器中，采用梯度下降法迭代求解准确的配准参数；
S6，将S5得到的配准参数应用于待配准图像，得到精确配准的图像结果。
进一步地，步骤S1具体为：
记参考图像为
Figure 152872DEST_PATH_IMAGE001
，
Figure 700528DEST_PATH_IMAGE002
的鲁棒梯度特征图
Figure 729664DEST_PATH_IMAGE003
计算表达式如下：
Figure 642257DEST_PATH_IMAGE004
其中
Figure 389633DEST_PATH_IMAGE005
为图像全局坐标，p为指数参数，
Figure 678663DEST_PATH_IMAGE006
分别为参考图像
Figure 562305DEST_PATH_IMAGE007
沿着x，y方向的梯度，通过卷积核卷积参考图像计算得到；
记待配准图像为
Figure 377290DEST_PATH_IMAGE008
，
Figure 611962DEST_PATH_IMAGE009
的鲁棒梯度特征图
Figure 439104DEST_PATH_IMAGE010
计算表达式如下：
Figure 177253DEST_PATH_IMAGE011
其中
Figure 697227DEST_PATH_IMAGE012
分别为待配准图像
Figure 153616DEST_PATH_IMAGE013
沿着x，y方向的梯度，通过卷积核卷积参 考图像计算得到。
进一步地，步骤S2中，对S1得到的参考鲁棒梯度特征图和待配准鲁棒梯度特征图做规则网格分块。
进一步地，步骤S2中，选取非平滑网格具体为：
S21，创建鲁棒梯度特征网格图像的训练数据集，即构建鲁棒梯度特征网格图像集，对网格图像进行类别标注，平滑网格图像标注为类别0，非平滑网格图像标注为类别1；
S22，训练平滑与非平滑网格分类器；
S23，用训练好的分类器对网格分类，选取非平滑网格。
进一步地，步骤S3中，偏移量的计算具体为：
S31，对S2得到的非平滑网格中的参考与待配准鲁棒梯度特征图进行二维傅里叶变换，得到参考、待配准网格图像的二维傅里叶变换结果；
S32，用二维傅里叶变换结果计算规约化互功率谱密度；
S33，对规约化互功率谱密度进行二维傅里叶反变换，得到互相关特征图；
S34，得到最大互相关值对应的局部坐标，即为非平滑网格的偏移量。
进一步地，步骤S4中，全局配准参数初值的拟合包括以下步骤：
S41，构建配准参数线性方程组，记第i个非平滑网格中心的全局坐标为
Figure 784449DEST_PATH_IMAGE014
，由 S3得到的对应偏移量为
Figure 642683DEST_PATH_IMAGE015
，记待求配准参数初值矩阵为
Figure 333559DEST_PATH_IMAGE016
，
Figure 11665DEST_PATH_IMAGE017
表示实数域，依据坐 标变换关系有：
Figure 242926DEST_PATH_IMAGE018
对所有非平滑网格应用上述坐标变换关系，得到矩阵方程
Figure 831033DEST_PATH_IMAGE019
，其中D为网格中 心全局坐标矩阵，
Figure 817444DEST_PATH_IMAGE020
为偏移量矩阵；
S42，求解矩阵方程，得到配准参数初值矩阵为
Figure 123791DEST_PATH_IMAGE021
，T表示转置操作，
Figure 221060DEST_PATH_IMAGE022
表示矩阵求逆操作。
进一步地，步骤S5具体为：
S51，将S4得到的配准参数初值作为基于归一化总梯度的优化器的初值参数；
S52，以参考图像与待配准图像的归一化总梯度作为目标函数，构建优化问题，用梯度下降法对配准参数进行迭代优化；
S53，输出优化后的配准参数。
进一步地，步骤S52具体为：
S521，计算当前配准参数
Figure 654885DEST_PATH_IMAGE023
，上标t表示第t次迭代，
Figure 546618DEST_PATH_IMAGE024
表示第t次迭代 的参数调整量；
S522，将当前配准参数
Figure 340261DEST_PATH_IMAGE025
应用到待配准图像
Figure 975642DEST_PATH_IMAGE026
上，
Figure 803921DEST_PATH_IMAGE027
为图像全局坐标，对 待配准图像
Figure 866555DEST_PATH_IMAGE028
做坐标变换得到
Figure 881915DEST_PATH_IMAGE029
，
Figure 320987DEST_PATH_IMAGE030
为待配准图像坐标变换后的新坐标；
S523，计算坐标变换后的待配准图像
Figure 738193DEST_PATH_IMAGE029
与参考图像
Figure 237307DEST_PATH_IMAGE031
的归一化总梯度对配 准参数的梯度，得到参数调整量
Figure 739964DEST_PATH_IMAGE032
；
S524，返回S521，直到满足迭代结束条件；所述迭代结束条件为当迭代次数超出设置的最大迭代次数。
进一步地，步骤S6具体为：
S61，依据S5得到的配准参数对待配准图像进行坐标变换，得到目标像素位置；
S62，依据目标像素位置用双线性插值算法得到最终输出图像。
根据本说明书的第二方面，提供一种面向多光谱相机的图像快速配准装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，用于实现如第一方面所述的面向多光谱相机的图像快速配准方法。
与现有技术相比，本发明具有如下有益效果：
1. 本发明利用网格化的鲁棒梯度特征图，有效地解决了多光谱相机图像的配准参数初值快速估计问题。
2. 本发明利用改进后的基于归一化总梯度的配准参数优化器，解决了多光谱图像的快速精细化配准问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为一示例性实施例提供的图像快速配准方法流程图。
图2为一示例性实施例提供的图像快速配准方法框架图。
图3为一示例性实施例提供的归一化总梯度优化器的框架图。
图4、图5分别为一示例性实施例提供的未配准效果和配准效果示意图。
图6、图7分别为另一示例性实施例提供的未配准效果和配准效果示意图。
图8、图9和图10分别为一示例性实施例的原图、鲁棒梯度特征图和非平滑区域效果。
图11 为一示例性实施例提供的面向多光谱相机的图像快速配准装置结构图。
具体实施方式
为了更好的理解本申请的技术方案，下面结合附图对本申请实施例进行详细描述。
应当明确，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请实施例中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
多光谱相机采用分光器件将输入的可见光分为若干光谱波段，然后用独立的CCD传感器采集全分辨率分光谱波段图像。由于物理成像光路受实际使用环境的温度变换、振动等不可控因素影响，分光谱波段图像之间存在可参数化偏移。为估计配准参数，本发明提出了一种面向多光谱相机的图像快速配准方法。如图1、图2所示，该方法包括以下步骤：
S1，用多光谱相机采集目标场景图像，得到多光谱波段图像。选定其中一个波段图像为参考图像，其余波段图像为待配准图像，分别计算参考图像与待配准图像的鲁棒梯度特征。
在一个实施例中，详细描述鲁棒梯度特征的计算方法。记参考图像为
Figure 982726DEST_PATH_IMAGE033
参考图 像的鲁棒梯度特征图
Figure 520018DEST_PATH_IMAGE003
计算表达式如下：
Figure 190034DEST_PATH_IMAGE004
其中
Figure 914407DEST_PATH_IMAGE005
为图像全局坐标；p为指数参数，p取(0,1)，本实施例中p取0.5；
Figure 960861DEST_PATH_IMAGE006
分别表示参考图像
Figure 146467DEST_PATH_IMAGE033
沿着x，y方向的梯度，可用卷积核卷积参考图像计算得 到，具体地，
Figure 862750DEST_PATH_IMAGE034
可用x方向的索贝尔算子
Figure 933474DEST_PATH_IMAGE035
对参考图像
Figure 393406DEST_PATH_IMAGE033
做二维卷积得到，
Figure 764344DEST_PATH_IMAGE036
可用y方向的索贝尔算子
Figure 651529DEST_PATH_IMAGE037
对参考图像
Figure 740707DEST_PATH_IMAGE033
做二维卷积得到。
记待配准图像为
Figure 535488DEST_PATH_IMAGE038
，待配准图像的鲁棒梯度特征图
Figure 901879DEST_PATH_IMAGE039
的计算方法与参考图 像相同，计算表达式如下：
Figure 84598DEST_PATH_IMAGE040
其中
Figure 270860DEST_PATH_IMAGE041
分别表示待配准图像
Figure 197228DEST_PATH_IMAGE042
沿着x，y方向的梯度，同样可用卷积 核卷积参考图像计算得到。
S2，对参考图像与待配准图像的鲁棒梯度特征图用网格分块，并选取非平滑网格。
在一个实施例中，对S1得到的参考鲁棒梯度特征图和待配准鲁棒梯度特征图做规 则网格分块，网格大小为
Figure 418125DEST_PATH_IMAGE043
的矩形，其中
Figure 771746DEST_PATH_IMAGE044
分别表示图像的高与宽，即将图像规整地划 分为100个网格区域。
在一个实施例中，采用如下方式选取非平滑网格：
S21，创建鲁棒梯度特征网格图像的训练数据集，即构建鲁棒梯度特征网格图像集，对网格图像进行类别标注，平滑网格图像标注为类别0，非平滑网格图像标注为类别1；
S22，用通用分类器模型训练平滑与非平滑网格分类器；
S23，用训练好的分类器对网格分类，选取非平滑网格。
S3，用相位相关算法计算非平滑网格的偏移量。
在一个实施例中，偏移量的计算包括如下子步骤：
S31，记S2得到的非平滑网格中的参考与待配准鲁棒梯度特征图分别为p i 与q i ，其 中i表示第i个非平滑网格。对网格图像进行二维傅里叶变换
Figure 448233DEST_PATH_IMAGE045
，得到参考、待配准网格 图像的二维傅里叶变换结果
Figure 178292DEST_PATH_IMAGE046
与
Figure 253695DEST_PATH_IMAGE047
；
S32，计算规约化互功率谱密度
Figure 778217DEST_PATH_IMAGE048
其中
Figure 939071DEST_PATH_IMAGE049
表示
Figure 472821DEST_PATH_IMAGE050
的共轭结果；
S33，对
Figure 402731DEST_PATH_IMAGE051
进行二维傅里叶反变换
Figure 98154DEST_PATH_IMAGE052
，得到互相关特征图
Figure 746305DEST_PATH_IMAGE053
；
S34，得到最大互相关值对应的局部坐标
Figure 818166DEST_PATH_IMAGE054
，即第i个非平滑网格 偏移量，其中
Figure 337003DEST_PATH_IMAGE055
表示第i个非平滑网格的局部坐标。
S4，依据网格偏移量拟合全局配准参数初值。
在一个实施例中，采用如下步骤拟合全局配准参数初值：
S41，构建有关配准参数的线性方程组，记第i个非平滑网格中心的全局坐标为
Figure 468907DEST_PATH_IMAGE056
，由S3得到的对应偏移量为
Figure 338774DEST_PATH_IMAGE057
，记待求配准参数初值矩阵为
Figure 214326DEST_PATH_IMAGE058
，
Figure 649987DEST_PATH_IMAGE059
表示实数 域，依据坐标变换关系有：
Figure 156054DEST_PATH_IMAGE060
对所有非平滑网格应用上述坐标变换关系，可得矩阵方程
Figure 307025DEST_PATH_IMAGE061
；
其中网格中心全局坐标矩阵
Figure 596056DEST_PATH_IMAGE062
，偏移量矩阵
Figure 479698DEST_PATH_IMAGE063
，K为非平滑网格个数。
S42，求解矩阵方程，可得配准参数初值矩阵为
Figure 828771DEST_PATH_IMAGE064
，T表示转置操作，
Figure 797864DEST_PATH_IMAGE065
表示矩阵求逆操作。
S5，将配准参数初值送入到改进的基于归一化总梯度的优化器中，优化求解准确的配准参数。
在一个实施例中，如图3所示，采用如下方式求解最优配准参数：
以参考图像与待配准图像的归一化总梯度作为衡量图像是否配准的目标函数。当 图像完全配准时，参考图像与待配准图像之间的归一化总梯度最小。记待配准图像为
Figure 625005DEST_PATH_IMAGE066
，配准目标是找到一个最优配准参数
Figure 363154DEST_PATH_IMAGE067
，使得
Figure 883129DEST_PATH_IMAGE068
最小，其中NTG为归一 化总梯度函数，
Figure 339518DEST_PATH_IMAGE069
为待配准图像坐标变换后的新坐标，
Figure 970350DEST_PATH_IMAGE070
，
Figure 828585DEST_PATH_IMAGE071
，
Figure 50619DEST_PATH_IMAGE072
表示矩阵M的第k行第l列元素值。此时目标函数是关于M的非凸 实值函数，可以简单表示为
Figure 197566DEST_PATH_IMAGE073
，用梯度下降法迭代求解最优配准参数，迭代式为
Figure 428828DEST_PATH_IMAGE074
，上标t表示第t次迭代，
Figure 344831DEST_PATH_IMAGE075
表示第t次迭代的参数调整量。本发明采用梯度 下降法迭代求解最优配准参数，其计算复杂度更低，计算速度更快。具体地，参数调整量
Figure 17994DEST_PATH_IMAGE076
，其中
Figure 58762DEST_PATH_IMAGE077
表示每次迭代步长，本实施例中取
Figure 156031DEST_PATH_IMAGE078
表示在第t次迭代 中，归一化总梯度函数NTG关于M的导数，其计算公式如下：
Figure 864224DEST_PATH_IMAGE079
其中
Figure 21536DEST_PATH_IMAGE080
为像素点
Figure 549600DEST_PATH_IMAGE081
的权值，L为坐标矩阵，T表示转置操作，
Figure 450560DEST_PATH_IMAGE082
表示坐标 变换后的待配准图像
Figure 13260DEST_PATH_IMAGE083
在像素点
Figure 75894DEST_PATH_IMAGE084
求梯度；
Figure 356834DEST_PATH_IMAGE085
其中
Figure 795905DEST_PATH_IMAGE086
，表示参考图像
Figure 947532DEST_PATH_IMAGE087
和坐标变换后的待配准图像
Figure 446646DEST_PATH_IMAGE088
的差 值图像，
Figure 949303DEST_PATH_IMAGE089
为差值图像
Figure 192065DEST_PATH_IMAGE090
在像素点
Figure 460848DEST_PATH_IMAGE084
的二阶梯度特征值，
Figure 130864DEST_PATH_IMAGE091
为坐标变换后的待 配准图像
Figure 120817DEST_PATH_IMAGE092
在像素点
Figure 167270DEST_PATH_IMAGE084
的二阶梯度特征值；
Figure 90227DEST_PATH_IMAGE093
其中
Figure 806510DEST_PATH_IMAGE094
为鲁棒函数，
Figure 408393DEST_PATH_IMAGE095
，参数
Figure 868324DEST_PATH_IMAGE096
；
Figure 239263DEST_PATH_IMAGE097
分别表示差值图像
Figure 454343DEST_PATH_IMAGE098
沿着x，y方向的梯度，
Figure 950047DEST_PATH_IMAGE099
分别表示坐标变换后的待配 准图像
Figure 213669DEST_PATH_IMAGE100
沿着x，y方向的梯度；
Figure 439114DEST_PATH_IMAGE101
分别表示x，y方向的梯度操作的伴随算子，分别可用算子
Figure 762779DEST_PATH_IMAGE102
与
Figure 73674DEST_PATH_IMAGE103
对图像做二维卷积得到。
综上，S5具体包括以下子步骤：
S51，将S4得到的配准参数初值作为归一化总梯度优化器的初值参数
Figure 878338DEST_PATH_IMAGE104
，初始化参 数调整量
Figure 958290DEST_PATH_IMAGE105
；
S52，以参考图像与待配准图像的归一化总梯度作为目标函数，构建优化问题，用梯度下降法对配准参数进行迭代优化，其具体步骤包括：
S521，计算当前参数
Figure 187277DEST_PATH_IMAGE106
；
S522，将当前参数
Figure 985468DEST_PATH_IMAGE107
应用到待配准图像上，对待配准图像
Figure 590893DEST_PATH_IMAGE108
做坐标变换，得 到
Figure 790930DEST_PATH_IMAGE109
；
S523，计算坐标变换后的待配准图像
Figure 190819DEST_PATH_IMAGE110
与参考图像
Figure 476307DEST_PATH_IMAGE111
的归一化总梯度对配 准参数的梯度
Figure 619843DEST_PATH_IMAGE112
，得到参数调整量
Figure 674387DEST_PATH_IMAGE113
；
S524，返回S521，直到满足迭代结束条件；迭代结束条件为当迭代次数超出设置的最大迭代次数T，本实施例中取T=6；
S53，输出优化后的配准参数。
S6，将优化后的配准参数应用于待配准图像，得到精确配准的图像结果。
在一个实施例中，S6具体如下：
S61，依据S5得到的配准参数对待配准图像
Figure 510756DEST_PATH_IMAGE114
进行坐标变换，得到目标像素位 置
Figure 283540DEST_PATH_IMAGE115
；
S62，依据目标像素位置
Figure 965188DEST_PATH_IMAGE116
用双线性插值算法得到最终输出图像。
实施效果说明
如表1所示，经过测试，本发明所采用的面向多光谱相机的图像快速配准方法，与 同类方法相比，具有速度快、精度高等优势。测试时所采用的图像大小为
Figure 139817DEST_PATH_IMAGE117
像素，算法 运行采用的处理器为11th Gen Intel(R) Core(TM) i5-1135G7 @ 2.40GHz 2.42 GHz，内 存为16.0 GB。
表1 测试结果对比表
Figure 881508DEST_PATH_IMAGE119
图4-图7为本发明的实施效果示意图。图4、图5分别为一实施例的未配准效果和配准效果示意图，图6、图7分别为另一实施例的未配准效果和配准效果示意图。经过本发明的快速配准方法校正，由多光谱相机合成的彩色图像其颜色偏移与虚影问题得到了较大改善。
图8-图10为本发明中平滑与非平滑网格分类器的输出效果示意图，图8、图9和图10分别为一实施例的原图、鲁棒梯度特征图和非平滑区域效果；分类器很好地选取了鲁棒梯度特征图中的非平滑网格区域。
与前述面向多光谱相机的图像快速配准方法的实施例相对应，本发明还提供了面向多光谱相机的图像快速配准装置的实施例。
参见图11，本发明实施例提供的一种面向多光谱相机的图像快速配准装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，用于实现上述实施例中的面向多光谱相机的图像快速配准方法。
本发明面向多光谱相机的图像快速配准装置的实施例可以应用在任意具备数据处理能力的设备上，该任意具备数据处理能力的设备可以为诸如计算机等设备或装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在任意具备数据处理能力的设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图11所示，为本发明面向多光谱相机的图像快速配准装置所在任意具备数据处理能力的设备的一种硬件结构图，除了图11所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本发明实施例还提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述实施例中的面向多光谱相机的图像快速配准方法。
所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是任意具备数据处理能力的设备的外部存储设备，例如所述设备上配备的插接式硬盘、智能存储卡（Smart Media Card，SMC）、SD卡、闪存卡（Flash Card）等。进一步的，所述计算机可读存储介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
在本说明书一个或多个实施例使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本说明书一个或多个实施例可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书一个或多个实施例范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
以上所述仅为本说明书一个或多个实施例的较佳实施例而已，并不用以限制本说明书一个或多个实施例，凡在本说明书一个或多个实施例的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书一个或多个实施例保护的范围之内。

Claims (10)

1.一种面向多光谱相机的图像快速配准方法，其特征在于，包括以下步骤：
S1，选定多光谱相机采集的多光谱波段图像的其中一个波段为参考图像，其余波段为待配准图像，分别计算参考图像与待配准图像的鲁棒梯度特征；
S2，对参考图像与待配准图像的鲁棒梯度特征图用网格分块，并选取非平滑网格；
S3，用相位相关算法计算非平滑网格的偏移量；
S4，依据非平滑网格的网格偏移量拟合全局配准参数初值；
S5，将配准参数初值送入到基于归一化总梯度的优化器中，采用梯度下降法迭代求解准确的配准参数；
S6，将S5得到的配准参数应用于待配准图像，得到精确配准的图像结果。
2.根据权利要求1所述的方法，其特征在于，步骤S1具体为：
记参考图像为
Figure DEST_PATH_IMAGE001
，
Figure 583004DEST_PATH_IMAGE002
的鲁棒梯度特征图
Figure 31303DEST_PATH_IMAGE003
计算表达式如下：
Figure DEST_PATH_IMAGE004
其中
Figure 155248DEST_PATH_IMAGE005
为图像全局坐标，p为指数参数，
Figure DEST_PATH_IMAGE006
分别为参考图像
Figure 488140DEST_PATH_IMAGE001
沿着x，y方向的梯度，通过卷积核卷积参考图像计算得到；
记待配准图像为
Figure 833671DEST_PATH_IMAGE007
，
Figure DEST_PATH_IMAGE008
的鲁棒梯度特征图
Figure 328237DEST_PATH_IMAGE009
计算表达式如下：
Figure DEST_PATH_IMAGE010
其中
Figure 532954DEST_PATH_IMAGE011
分别为待配准图像
Figure DEST_PATH_IMAGE012
沿着x，y方向的梯度，通过卷积核卷积参考图像计算得到。
3.根据权利要求1所述的方法，其特征在于，步骤S2中，对S1得到的参考鲁棒梯度特征图和待配准鲁棒梯度特征图做规则网格分块。
4.根据权利要求1所述的方法，其特征在于，步骤S2中，选取非平滑网格具体为：
S21，创建鲁棒梯度特征网格图像的训练数据集，即构建鲁棒梯度特征网格图像集，对网格图像进行类别标注，平滑网格图像标注为类别0，非平滑网格图像标注为类别1；
S22，训练平滑与非平滑网格分类器；
S23，用训练好的分类器对网格分类，选取非平滑网格。
5.根据权利要求1所述的方法，其特征在于，步骤S3中，偏移量的计算具体为：
S31，对S2得到的非平滑网格中的参考与待配准鲁棒梯度特征图进行二维傅里叶变换，得到参考、待配准网格图像的二维傅里叶变换结果；
S32，用二维傅里叶变换结果计算规约化互功率谱密度；
S33，对规约化互功率谱密度进行二维傅里叶反变换，得到互相关特征图；
S34，得到最大互相关值对应的局部坐标，即为非平滑网格的偏移量。
6.根据权利要求1所述的方法，其特征在于，步骤S4中，全局配准参数初值的拟合包括以下步骤：
S41，构建配准参数线性方程组，记第i个非平滑网格中心的全局坐标为
Figure 672467DEST_PATH_IMAGE013
，由S3得到的对应偏移量为
Figure 747870DEST_PATH_IMAGE014
，记待求配准参数初值矩阵为
Figure DEST_PATH_IMAGE015
，
Figure 678917DEST_PATH_IMAGE016
表示实数域，依据坐标变换关系有：
Figure DEST_PATH_IMAGE017
对所有非平滑网格应用上述坐标变换关系，得到矩阵方程
Figure 370930DEST_PATH_IMAGE018
，其中D为网格中心全局坐标矩阵，
Figure DEST_PATH_IMAGE019
为偏移量矩阵；
S42，求解矩阵方程，得到配准参数初值矩阵为
Figure 45624DEST_PATH_IMAGE020
，T表示转置操作，
Figure DEST_PATH_IMAGE021
表示矩阵求逆操作。
7.根据权利要求1所述的方法，其特征在于，步骤S5具体为：
S51，将S4得到的配准参数初值作为基于归一化总梯度的优化器的初值参数；
S52，以参考图像与待配准图像的归一化总梯度作为目标函数，构建优化问题，用梯度下降法对配准参数进行迭代优化；
S53，输出优化后的配准参数。
8.根据权利要求7所述的方法，其特征在于，步骤S52具体为：
S521，计算当前配准参数
Figure 506693DEST_PATH_IMAGE022
，上标t表示第t次迭代，
Figure DEST_PATH_IMAGE023
表示第t次迭代的参数调整量；
S522，将当前配准参数
Figure 874220DEST_PATH_IMAGE024
应用到待配准图像
Figure DEST_PATH_IMAGE025
上，
Figure 850267DEST_PATH_IMAGE026
为图像全局坐标，对待配准图像
Figure DEST_PATH_IMAGE027
做坐标变换得到
Figure 60143DEST_PATH_IMAGE028
，
Figure DEST_PATH_IMAGE029
为待配准图像坐标变换后的新坐标；
S523，计算坐标变换后的待配准图像
Figure 375718DEST_PATH_IMAGE028
与参考图像
Figure 382989DEST_PATH_IMAGE030
的归一化总梯度对配准参数的梯度，得到参数调整量
Figure DEST_PATH_IMAGE031
；
S524，返回S521，直到满足迭代结束条件。
9.根据权利要求1所述的方法，其特征在于，步骤S6具体为：
S61，依据配准参数对待配准图像进行坐标变换，得到目标像素位置；
S62，依据目标像素位置用双线性插值算法得到最终输出图像。
10.一种面向多光谱相机的图像快速配准装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，其特征在于，所述处理器执行所述可执行代码时，用于实现如权利要求1-9中任一项所述的面向多光谱相机的图像快速配准方法。
CN202210765686.8A 2022-07-01 2022-07-01 一种面向多光谱相机的图像快速配准方法及装置 Active CN114820739B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210765686.8A CN114820739B (zh) 2022-07-01 2022-07-01 一种面向多光谱相机的图像快速配准方法及装置
PCT/CN2022/127362 WO2024000950A1 (zh) 2022-07-01 2022-10-25 一种面向多光谱相机的图像快速配准方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210765686.8A CN114820739B (zh) 2022-07-01 2022-07-01 一种面向多光谱相机的图像快速配准方法及装置

Publications (2)

Publication Number Publication Date
CN114820739A true CN114820739A (zh) 2022-07-29
CN114820739B CN114820739B (zh) 2022-10-11

Family

ID=82523123

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210765686.8A Active CN114820739B (zh) 2022-07-01 2022-07-01 一种面向多光谱相机的图像快速配准方法及装置

Country Status (2)

Country Link
CN (1) CN114820739B (zh)
WO (1) WO2024000950A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024000950A1 (zh) * 2022-07-01 2024-01-04 浙江工商大学 一种面向多光谱相机的图像快速配准方法及装置
CN117372485A (zh) * 2023-10-12 2024-01-09 长光辰英(杭州)科学仪器有限公司 基于相位谱与幅度谱重组的一维相位相关图像配准方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117726658B (zh) * 2024-02-09 2024-05-03 湖南省第一测绘院 一种基于局部迭代策略的大场景sar影像配准的方法及装置

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101303767A (zh) * 2007-11-15 2008-11-12 复旦大学 基于块图像内容自适应分类的数字剪影图像配准方法
CN103218811A (zh) * 2013-03-29 2013-07-24 中国资源卫星应用中心 一种基于统计分布的卫星多光谱图像波段配准方法
CN103440676A (zh) * 2013-08-13 2013-12-11 南方医科大学 一种基于运动估计的肺4d-ct图像的超分辨率冠矢状面图像重建方法
CN103679714A (zh) * 2013-12-04 2014-03-26 中国资源卫星应用中心 一种基于梯度互相关的光学和sar图像自动配准方法
CN104200448A (zh) * 2014-07-10 2014-12-10 南方医科大学 基于分块的肺4d-ct图像冠矢状面超分辨率重建方法
CN104732532A (zh) * 2015-03-11 2015-06-24 中国空间技术研究院 一种遥感卫星多光谱图像配准方法
CN105425216A (zh) * 2015-11-24 2016-03-23 西安电子科技大学 基于图像分割的重复航过极化InSAR图像配准方法
CN105894443A (zh) * 2016-03-31 2016-08-24 河海大学 一种基于改进的surf算法的实时视频拼接方法
CN106530334A (zh) * 2016-10-21 2017-03-22 北京无线电测量研究所 一种机载干涉合成孔径雷达复图像配准方法及复图像配准系统
CN108053431A (zh) * 2018-02-24 2018-05-18 中原工学院 一种基于梯度分布的非刚体医学图像配准方法
CN110349193A (zh) * 2019-06-27 2019-10-18 南京理工大学 适用于傅里叶变换光谱仪的快速图像配准方法
CN110517300A (zh) * 2019-07-15 2019-11-29 温州医科大学附属眼视光医院 基于局部结构算子的弹性图像配准算法
CN110751680A (zh) * 2019-10-17 2020-02-04 中国科学院云南天文台 一种具有快速对齐算法的图像处理方法
CN111145362A (zh) * 2020-01-02 2020-05-12 中国航空工业集团公司西安航空计算技术研究所 一种机载综合视景系统虚实融合显示方法及系统
CN112184785A (zh) * 2020-09-30 2021-01-05 西安电子科技大学 基于mcd度量和vtm的多模态遥感图像配准方法
CN114359509A (zh) * 2021-12-03 2022-04-15 三峡大学 一种基于深度学习的多视图自然场景重建方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105427298B (zh) * 2015-11-12 2018-03-06 西安电子科技大学 基于各向异性梯度尺度空间的遥感图像配准方法
US10949987B2 (en) * 2019-05-31 2021-03-16 Mitsubishi Electric Research Laboratories, Inc. Robust image registration for multiple rigid transformed images
CN114820739B (zh) * 2022-07-01 2022-10-11 浙江工商大学 一种面向多光谱相机的图像快速配准方法及装置

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101303767A (zh) * 2007-11-15 2008-11-12 复旦大学 基于块图像内容自适应分类的数字剪影图像配准方法
CN103218811A (zh) * 2013-03-29 2013-07-24 中国资源卫星应用中心 一种基于统计分布的卫星多光谱图像波段配准方法
CN103440676A (zh) * 2013-08-13 2013-12-11 南方医科大学 一种基于运动估计的肺4d-ct图像的超分辨率冠矢状面图像重建方法
CN103679714A (zh) * 2013-12-04 2014-03-26 中国资源卫星应用中心 一种基于梯度互相关的光学和sar图像自动配准方法
CN104200448A (zh) * 2014-07-10 2014-12-10 南方医科大学 基于分块的肺4d-ct图像冠矢状面超分辨率重建方法
CN104732532A (zh) * 2015-03-11 2015-06-24 中国空间技术研究院 一种遥感卫星多光谱图像配准方法
CN105425216A (zh) * 2015-11-24 2016-03-23 西安电子科技大学 基于图像分割的重复航过极化InSAR图像配准方法
CN105894443A (zh) * 2016-03-31 2016-08-24 河海大学 一种基于改进的surf算法的实时视频拼接方法
CN106530334A (zh) * 2016-10-21 2017-03-22 北京无线电测量研究所 一种机载干涉合成孔径雷达复图像配准方法及复图像配准系统
CN108053431A (zh) * 2018-02-24 2018-05-18 中原工学院 一种基于梯度分布的非刚体医学图像配准方法
CN110349193A (zh) * 2019-06-27 2019-10-18 南京理工大学 适用于傅里叶变换光谱仪的快速图像配准方法
CN110517300A (zh) * 2019-07-15 2019-11-29 温州医科大学附属眼视光医院 基于局部结构算子的弹性图像配准算法
CN110751680A (zh) * 2019-10-17 2020-02-04 中国科学院云南天文台 一种具有快速对齐算法的图像处理方法
CN111145362A (zh) * 2020-01-02 2020-05-12 中国航空工业集团公司西安航空计算技术研究所 一种机载综合视景系统虚实融合显示方法及系统
CN112184785A (zh) * 2020-09-30 2021-01-05 西安电子科技大学 基于mcd度量和vtm的多模态遥感图像配准方法
CN114359509A (zh) * 2021-12-03 2022-04-15 三峡大学 一种基于深度学习的多视图自然场景重建方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SHU-JIE CHEN等: "《Normalized Total Gradient: A New Measure for Multispectral Image Registration》", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 *
吴孟桦等: "《基于图像配准的零件轮廓修正方法》", 《计算机应用》 *
陈书界等: "《多光谱图像配准与去模糊方法研究》", 《中国博士学位论文全文数据库 信息科技辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024000950A1 (zh) * 2022-07-01 2024-01-04 浙江工商大学 一种面向多光谱相机的图像快速配准方法及装置
CN117372485A (zh) * 2023-10-12 2024-01-09 长光辰英(杭州)科学仪器有限公司 基于相位谱与幅度谱重组的一维相位相关图像配准方法
CN117372485B (zh) * 2023-10-12 2024-04-16 长光辰英(杭州)科学仪器有限公司 基于相位谱与幅度谱重组的一维相位相关图像配准方法

Also Published As

Publication number Publication date
WO2024000950A1 (zh) 2024-01-04
CN114820739B (zh) 2022-10-11

Similar Documents

Publication Publication Date Title
CN114820739B (zh) 一种面向多光谱相机的图像快速配准方法及装置
US8942512B2 (en) Methods and systems for processing a first image with reference to a second image
JP6902122B2 (ja) ダブル視野角画像較正および画像処理方法、装置、記憶媒体ならびに電子機器
CN111354042A (zh) 机器人视觉图像的特征提取方法、装置、机器人及介质
US20170358094A1 (en) Adaptive Focus Sweep Techniques For Foreground/Background Separation
WO2013086255A1 (en) Motion aligned distance calculations for image comparisons
Micheli et al. A linear systems approach to imaging through turbulence
Min et al. Non-rigid infrared and visible image registration by enhanced affine transformation
Gou et al. Remote sensing image super-resolution reconstruction based on nonlocal pairwise dictionaries and double regularization
CN111340077B (zh) 基于注意力机制的视差图获取方法和装置
EP3093822B1 (en) Displaying a target object imaged in a moving picture
Fang et al. SAR-optical image matching by integrating Siamese U-Net with FFT correlation
CN109410246B (zh) 基于相关滤波的视觉跟踪的方法及装置
Jiang et al. A minimal solution to relative pose with unknown focal length and radial distortion
Furnari et al. Distortion adaptive Sobel filters for the gradient estimation of wide angle images
Pritts et al. Rectification from radially-distorted scales
JP7044016B2 (ja) ラインセンサカメラのキャリブレーション装置及び方法
CN111161348A (zh) 一种基于单目相机的物体位姿估计方法、装置及设备
CN116977671A (zh) 基于图像空间定位的目标跟踪方法、装置、设备及存储介质
Dan et al. Multifeature energy optimization framework and parameter adjustment-based nonrigid point set registration
CN110189247B (zh) 图像生成的方法、装置及系统
JP6218237B2 (ja) 撮影画像を平行化する画像変換プログラム、装置及び方法
JP2018010359A (ja) 情報処理装置、情報処理方法、およびプログラム
Fang et al. Adaptive removal of real noise from a single image
WO2023100774A1 (ja) 訓練方法、訓練システム及び訓練プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant