CN113496505A - 图像配准方法、装置、多光谱相机、无人设备及存储介质 - Google Patents
图像配准方法、装置、多光谱相机、无人设备及存储介质 Download PDFInfo
- Publication number
- CN113496505A CN113496505A CN202010261018.2A CN202010261018A CN113496505A CN 113496505 A CN113496505 A CN 113496505A CN 202010261018 A CN202010261018 A CN 202010261018A CN 113496505 A CN113496505 A CN 113496505A
- Authority
- CN
- China
- Prior art keywords
- image
- target
- registered
- transformation matrix
- registration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000009466 transformation Effects 0.000 claims abstract description 238
- 239000011159 matrix material Substances 0.000 claims abstract description 191
- 238000005286 illumination Methods 0.000 claims description 92
- 238000004364 calculation method Methods 0.000 claims description 50
- 238000012545 processing Methods 0.000 claims description 44
- 230000004927 fusion Effects 0.000 claims description 33
- 238000004422 calculation algorithm Methods 0.000 claims description 17
- 238000012216 screening Methods 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 8
- 230000001131 transforming effect Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 4
- 238000012986 modification Methods 0.000 claims 1
- 230000004048 modification Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000003595 spectral effect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了图像配准方法、装置、多光谱相机、无人设备及存储介质，包括：获取至少两个波段图像传感器分别采集的波段图像，并在各波段图像中，确定参考图像和至少一个待配准图像，波段图像传感器与设定相机坐标系关联；以参考图像的相机坐标系为参考坐标系，根据参考图像与各待配准图像中关联特征点之间的位置关系，计算与各待配准图像分别对应的备选变换矩阵；根据预设的基础变换矩阵以及各备选变换矩阵，确定与各待配准图像对应的各波段图像传感器的目标变换矩阵，本发明实施例的技术方案解决了几何模型配准方式导致的配准误差大的问题，提高了图像配准的准确性以及通用性。
Description
技术领域
本发明实施例涉及遥感图像处理领域，尤其涉及图像配准方法、装置、多光谱相机、无人设备及存储介质。
背景技术
在遥感数据获取过程中，各波段地物的信息是用不同的波段图像传感器采集的，由于各波段图像传感器的拍摄角度不同，使得各波段图像传感器捕捉到的地表信息存在差异，从而造成同一地物下各波段图像之间存在不一致性。波段图像配准是指各波段图像中的像元定位、对齐或重合，以消除或降低合成图像模糊、双边等影响。因此，波段图像配准对获取地物准确、丰富的光谱遥感信息尤为重要。
目前多光谱相机在出厂前会预先进行几何模型配准，通过标定预设的相机姿态参数使得多镜头获取的波段图像能够实现在设定距离之间的配准；或者是使用实际的环境图像配准，通过提取环境图像和波段图像中对应的特征点，计算环境图像和各波段图像的平面映射关系，基于平面映射关系实现各波段图像的配准。
发明人在实现本发明的过程中，发现：几何模型配准只能实现各波段图像在设定距离之间的配准，对距离大于设定距离的波段图像会出现配准误差；使用实际的环境图像配准容易受到多光谱相机高度、光线不足以及天气的影响，导致波段图像配准不准确。
发明内容
本发明实施例提供图像配准方法、装置、多光谱相机、无人设备及存储介质，提供了一种新的图像配准方式，提高了图像配准的准确性。
第一方面，本发明实施例提供了一种图像配准方法，应用于多光谱相机，所述多光谱相机包括至少两个波段图像传感器，所述方法包括：获取至少两个波段图像传感器分别采集的波段图像，并在各波段图像中，确定参考图像和至少一个待配准图像，波段图像传感器与设定相机坐标系关联；以参考图像的相机坐标系为参考坐标系，根据参考图像与各待配准图像中关联特征点之间的位置关系，计算与各待配准图像分别对应的备选变换矩阵；根据预设的基础变换矩阵以及各备选变换矩阵，确定与各待配准图像对应的各波段图像传感器的目标变换矩阵。
可选的，所述多光谱相机还包括彩色图像传感器，在获取至少两个波段图像传感器分别采集的波段图像之后，还包括：使用彩色图像传感器采集得到的彩色图像，对各所述波段图像中的至少一个特征点进行色彩补偿处理。
可选的，使用彩色图像传感器采集得到的彩色图像，对所述波段图像中的至少一个特征点进行色彩补偿处理，包括：利用尺度不变特征变换算法在所述彩色图像以及当前处理的波段图像中分别识别多个特征点；根据不同图像中特征点之间的映射关系，确定多个备选对应特征点对；在各所述备选对应特征点对中，筛选出满足匹配精度条件的目标对应特征点对；分别使用所述各目标对应特征点对中隶属于彩色图像的第一特征点的像素值，对隶属于波段图像的第二特征点的像素值进行修正，以进行彩色补偿。
可选的，使用所述目标对应特征点对中隶属于彩色图像的第一特征点的像素值，对隶属于波段图像的第二特征点的像素值进行修正，包括：获取当前处理的目标对应特征点对中第一特征点的第一目标像素值以及第二特征点的第二目标像素值；如果所述第二目标像素值处于第一数值范围内，则根据第一目标像素值以及第一加权融合比例，对所述第二目标像素值进行修正；如果所述第二目标像素值处于第二数值范围内，则根据第一目标像素值以及第二加权融合比例，对所述第二目标像素值进行修正；其中，第一数值范围大于第二数值范围，第一加权融合比例中第一目标像素值的加权比重大于第二加权融合比例中第一目标像素值的加权比重。
可选的，在获取至少两个波段图像传感器分别采集的波段图像之后，还包括：使用至少一个照度传感器采集的光照信息，对各所述波段图像中的至少一个特征点进行光照补偿处理。
可选的，使用照度传感器采集的光照信息，对所述波段图像中的至少一个特征点进行光照补偿处理，包括：根据所述照度传感器采集的光照信息，获取与目标波段图像传感器匹配的目标光照信息；根据与所述目标波段图像传感器匹配的姿态信息、高度信息以及所述目标光照信息，计算与所述目标波段图像传感器匹配的太阳角的角度值；根据所述角度值，计算与所述目标波段图像传感器采集的波段图像匹配的光照补偿关系；使用所述光照补偿关系，对所述目标波段图像传感器采集的波段图像中的各特征点进行光照补偿。
可选的，以参考图像的相机坐标系为参考坐标系，根据参考图像与待配准图像中关联特征点之间的位置关系，计算与待配准图像分别对应的备选变换矩阵，包括：利用尺度不变特征变换算法在所述参考图像以及当前处理的待配准图像中分别识别出的多个特征点，生成设定数量的对应特征点对；根据所述参考坐标系以及各所述对应特征点，建立多个计算方程，并根据所述多个计算方程，计算得到多个变换矩阵参数；根据计算得到的变换矩阵参数，生成与所述当前处理的待配准图像对应的备选变换矩阵。
可选的，根据预设的基础变换矩阵以及各备选变换矩阵，确定与待配准图像对应的波段图像传感器的目标变换矩阵，包括：获取各所述待配准图像经过匹配的备选变换矩阵变换得到的各备选配准图像，以及，各所述待配准图像经过匹配的基础变换矩阵变换得到的各基础配准图像；针对每个待配准图像，分别计算匹配的备选配准图像与基础配准图像相对于所述参考图像的特征点误差，并根据误差计算结果，确定与每个待配准图像对应的波段图像传感器的目标变换矩阵。
可选的，在获取各所述待配准图像经过匹配的备选变换矩阵变换得到的各备选配准图像之后，还包括：在各所述备选配准图像中，确定共视区域；根据所述共视区域，对各所述备选配准图像进行裁剪处理。
可选的，针对每个待配准图像，分别计算匹配的备选配准图像与基础配准图像相对于所述参考图像的特征点误差，并根据误差计算结果，确定与每个待配准图像对应的波段图像传感器的目标变换矩阵，包括：获取与当前处理的目标待配准图像对应的目标备选配准图像以及目标基础配准图像；根据所述目标备选配准图像中各个特征点与所述参考图像中对应特征点之间的位置偏移量，计算与所述目标备选配准图像匹配的第一特征点误差；根据所述目标基础配准图像中各个特征点与所述参考图像中对应特征点之间的位置偏移量，计算与所述目标基础配准图像匹配的第二特征点误差；如果第一特征点误差小于第二特征点误差，则将与目标待配准图像对应的备选变换矩阵作为与所述目标待配准图像对应的波段图像传感器的目标变换矩阵；如果第一特征点误差大于等于第二特征点误差，则将与目标待配准图像对应的基础变换矩阵作为与所述目标待配准图像对应的波段图像传感器的目标变换矩阵。
第二方面，本发明实施例还提供了一种图像配准装置，应用于多光谱相机，所述多光谱相机包括至少两个波段图像传感器，该装置包括：获取模块，用于获取至少两个波段图像传感器分别采集的波段图像，并在各波段图像中，确定参考图像和至少一个待配准图像，波段图像传感器与设定相机坐标系关联；备选变换矩阵计算模块，用于以参考图像的相机坐标系为参考坐标系，根据参考图像与各待配准图像中关联特征点之间的位置关系，计算与各待配准图像分别对应的备选变换矩阵；目标变换矩阵确定模块，用于根据预设的基础变换矩阵以及各备选变换矩阵，确定与各待配准图像对应的各波段图像传感器的目标变换矩阵。
可选的，所述多光谱相机还包括彩色图像传感器，获取模块包括：色彩补偿处理单元，用于使用彩色图像传感器采集得到的彩色图像，对各所述波段图像中的至少一个特征点进行色彩补偿处理。可选的，色彩补偿处理单元包括：特征点识别单元，用于利用尺度不变特征变换算法在所述彩色图像以及当前处理的波段图像中分别识别多个特征点；特征点对确定单元，用于根据不同图像中特征点之间的映射关系，确定多个备选对应特征点对；特征点对筛选单元，用于在各所述备选对应特征点对中，筛选出满足匹配精度条件的目标对应特征点对；像素值修正单元，用于分别使用所述各目标对应特征点对中隶属于彩色图像的第一特征点的像素值，对隶属于波段图像的第二特征点的像素值进行修正，以进行彩色补偿。可选的，像素值修正单元包括：目标像素值获取单元，用于获取当前处理的目标对应特征点对中第一特征点的第一目标像素值以及第二特征点的第二目标像素值；第一加权融合比例修正单元，用于所述第二目标像素值处于第一数值范围内，根据第一目标像素值以及第一加权融合比例，对所述第二目标像素值进行修正；第二加权融合比例修正单元，用于所述第二目标像素值处于第二数值范围内，根据第一目标像素值以及第二加权融合比例，对所述第二目标像素值进行修正；其中，第一数值范围大于第二数值范围，第一加权融合比例中第一目标像素值的加权比重大于第二加权融合比例中第一目标像素值的加权比重。可选的，获取模块还包括：光照补偿处理单元，用于使用至少一个照度传感器采集的光照信息，对各所述波段图像中的至少一个特征点进行光照补偿处理。可选的，光照补偿处理单元包括：目标光照信息获取单元，用于根据所述照度传感器采集的光照信息，获取与目标波段图像传感器匹配的目标光照信息；太阳角计算单元，用于根据与所述目标波段图像传感器匹配的姿态信息、高度信息以及所述目标光照信息，计算与所述目标波段图像传感器匹配的太阳角的角度值；光照补偿关系计算单元，用于根据所述角度值，计算与所述目标波段图像传感器采集的波段图像匹配的光照补偿关系；特征点补偿单元，用于使用所述光照补偿关系，对所述目标波段图像传感器采集的波段图像中的各特征点进行光照补偿。可选的，备选变换矩阵计算模块包括：特征点对生成单元，用于利用尺度不变特征变换算法在所述参考图像以及当前处理的待配准图像中分别识别出的多个特征点，生成设定数量的对应特征点对；变换矩阵参数计算单元，用于根据所述参考坐标系以及各所述对应特征点，建立多个计算方程，并根据所述多个计算方程，计算得到多个变换矩阵参数；备选变换矩阵生成单元，用于根据计算得到的变换矩阵参数，生成与所述当前处理的待配准图像对应的备选变换矩阵。可选的，目标变换矩阵确定模块包括：配准图像获取单元，用于获取各所述待配准图像经过匹配的备选变换矩阵变换得到的各备选配准图像，以及，各所述待配准图像经过匹配的基础变换矩阵变换得到的各基础配准图像；特征点误差计算单元，用于针对每个待配准图像，分别计算匹配的备选配准图像与基础配准图像相对于所述参考图像的特征点误差，并根据误差计算结果，确定与每个待配准图像对应的波段图像传感器的目标变换矩阵。可选的，配准图像获取单元包括：共视区域确定单元，用于在各所述备选配准图像中，确定共视区域；裁剪单元，用于根据所述共视区域，对各所述备选配准图像进行裁剪处理。可选的，特征点误差计算单元包括：目标配准图像获取单元，用于获取与当前处理的目标待配准图像对应的目标备选配准图像以及目标基础配准图像；第一特征点误差计算单元，用于根据所述目标备选配准图像中各个特征点与所述参考图像中对应特征点之间的位置偏移量，计算与所述目标备选配准图像匹配的第一特征点误差；第二特征点误差计算单元，用于根据所述目标基础配准图像中各个特征点与所述参考图像中对应特征点之间的位置偏移量，计算与所述目标基础配准图像匹配的第二特征点误差；目标变换矩阵选择单元，用于当第一特征点误差小于第二特征点误差时，则将与目标待配准图像对应的备选变换矩阵作为与所述目标待配准图像对应的波段图像传感器的目标变换矩阵；当第一特征点误差大于等于第二特征点误差时，则将与目标待配准图像对应的基础变换矩阵作为与所述目标待配准图像对应的波段图像传感器的目标变换矩阵。
第三方面，本发明实施例还提供了一种多光谱相机，该多光谱相机包括：至少两个波段图像传感器，用于采集波段图像；一个或多个处理器；存储装置，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任意实施例提供的一种图像配准方法。
第四方面，本发明实施例还提供了一种无人设备，该无人设备包括本发明任意实施例所提供的多光谱相机。
第五方面，本发明实施例还提供了一种计算机可读存储介质，该存储介质上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例提供的一种图像配准方法。
本发明实施例的技术方案通过获取至少两个波段图像传感器分别采集的波段图像，计算与各待配准图像分别对应的备选变换矩阵；并根据预设的基础变换矩阵以及各备选变换矩阵，确定与各待配准图像对应的各波段图像传感器的目标变换矩阵的方式，根据实际的测试环境，在波段图像传感器内置的基础变换矩阵以及备选变换矩阵中筛选出配准效果最好的变换矩阵作为波段图像传感器最终使用的目标变换矩阵，提供了一种图像配准的新方式，解决了现有的几何模型配准方式导致的配准误差大的问题，提高了图像配准的准确性以及通用性。
附图说明
图1a是本发明实施例一中的一种图像配准方法的流程图；
图1b是本发明实施例中多光谱相机的结构示意图；
图2是本发明实施例二中的一种图像配准方法的流程图；
图3是本发明实施例三中的一种图像配准方法的流程图；
图4是本发明实施例四中的一种图像配准装置的结构图；
图5是本发明实施例五中的一种多光谱相机的结构示意图；
图6是本发明实施例六中的一种无人设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1a为本发明实施例一提供的一种图像配准方法的流程图，本实施例可适用于对多光谱相机中各个波段图像传感器采集的波段图像进行配准的情况，该方法可以由图像配准装置来执行，该装置可以由软件和/或硬件来实现，并一般可以集成在多光谱相机中，具体包括如下步骤：
步骤110、获取至少两个波段图像传感器分别采集的波段图像，并在各波段图像中，确定参考图像和至少一个待配准图像，波段图像传感器与设定相机坐标系关联。在本实施例中，在某一实际环境下，当需要使用多光谱相机获取多个波段的波段图像时，可以首先针对实时采集得到的各个波段图像进行实时的图像配准，确定与每个波段图像传感器分别对应的配准矩阵，之后在同一时刻采集得到多张新的波段图像后，可以基于该配准矩阵，直接将该多张波段图像进行图像配准以及图像融合。在此步骤中，波段图像传感器集成在多光谱相机中，用于获取地物的不同波段图像，由于各波段图像传感器在多光谱相机中的位置不同，每个波段图像传感器都与各自的相机坐标系关联。
图1b是本发明实施例中多光谱相机的结构示意图，如图1b所示，波段图像传感器可以为安装滤光片3的图像传感器，波段图像传感器由滤光片3和镜头5一起构成，用于采集地物不同波段的光谱图像。波段图像传感器通过滤光片3阻挡一部分地物散射出的光，让指定的地物散射出的光大量通过，从而可以获得突出地物明显颜色特征的波段图像。其中，滤光片3包括近红外滤光片、红外滤光片、红滤光片以及绿滤光片等。通过上述波段图像传感器采集到地物的不同波段图像后，在采集到的波段图像中可任意筛选一张波段图像作为参考图像，剩余波段图像则作为待配准图像。
步骤120、以参考图像的相机坐标系为参考坐标系，根据参考图像与各待配准图像中关联特征点之间的位置关系，计算与各待配准图像分别对应的备选变换矩阵。在本发明的一个实施方式中，以参考图像的相机坐标系为参考坐标系，根据参考图像与待配准图像中关联特征点之间的位置关系，计算与待配准图像分别对应的备选变换矩阵，可以包括：
S101、利用尺度不变特征变换算法在所述参考图像以及当前处理的待配准图像中分别识别出的多个特征点，生成设定数量的对应特征点对；其中，尺度不变特征变换(Scale-invariant feature transform，SIFT)算法通过尺度可变的高斯核与图像的卷积构造图像的尺度空间，然后计算图像的高斯差分金字塔，在高斯差分金字塔的每一层里寻找极值点，并将该极值点作为图像中的特征点。在此步骤中，通过尺度不变特征变换算法在参考图像以及当前处理的待配准图像中分别识别出多个特征点后，在选定的尺度上测量每个特征点周围的邻域内图像的局部梯度，通过比较参考图像与待配准图像中各特征点周围图像的局部梯度，选择局部梯度差满足预设范围内的特征点作为特征点对。
102、根据所述参考坐标系以及各所述对应特征点，建立多个计算方程，并根据所述多个计算方程，计算得到多个变换矩阵参数；在此步骤中，选取至少四组特征点对，假设其中一组特征点对中属于参考图像的特征点在参考坐标系下的坐标为(x1＇,y1＇,1)，将此坐标作为第一坐标，属于待配准图像的特征点在待配准图像坐标系下的坐标为(x1,y1,1)，将此坐标作为第二坐标，假设待配准图像相对于参考图像的变换矩阵为H，H中每一个元素都是未知的，H可以表示为：
然后，构建第一坐标、第二坐标以及变换矩阵H之间的方程：
在对所有特征点对均构建上述方程之后，通过联立方程组可以求得上述变换矩阵H中的变换矩阵参数h11、h12、h13和h21等。
S103、根据计算得到的变换矩阵参数，生成与所述当前处理的待配准图像对应的备选变换矩阵。通过上述步骤求得变换矩阵参数之后，所有变换矩阵参数如h11、h12、h13和h21等一起构成与所述当前处理的待配准图像对应的备选变换矩阵H。
步骤130、根据预设的基础变换矩阵以及各备选变换矩阵，确定与各待配准图像对应的各波段图像传感器的目标变换矩阵。在本实施例中，预设的基础变换矩阵为波段图像传感器内置的变换矩阵，在实际情况中，利用内置的变换矩阵对波段图像配准容易受到波段图像传感器高度范围的限制，当波段图像传感器高度大于范围阈值时，使用内置的变换矩阵容易出现配准误差。因此，本实施例提出了在预设的基础变换矩阵以及备选变换矩阵中筛选配准效果最好的变换矩阵作为波段图像传感器的目标变换矩阵。在本发明的一个实施方式中，根据预设的基础变换矩阵以及各备选变换矩阵，确定与待配准图像对应的波段图像传感器的目标变换矩阵，可以包括：
S104、获取各所述待配准图像经过匹配的备选变换矩阵变换得到的各备选配准图像，以及，各所述待配准图像经过匹配的基础变换矩阵变换得到的各基础配准图像；
在此步骤之后，还可以包括：在各所述备选配准图像中，确定共视区域；根据所述共视区域，对各所述备选配准图像进行裁剪处理。在本实施例中，各所述待配准图像经过匹配的备选变换矩阵变换得到的各备选配准图像，在各所述备选配准图像中，确定共视区域，对各备选配准图像中共视区域以外的图像进行裁剪处理。
S105、针对每个待配准图像，分别计算匹配的备选配准图像与基础配准图像相对于所述参考图像的特征点误差，并根据误差计算结果，确定与每个待配准图像对应的波段图像传感器的目标变换矩阵。在本发明的一个实施方式中，针对每个待配准图像，分别计算匹配的备选配准图像与基础配准图像相对于所述参考图像的特征点误差，并根据误差计算结果，确定与每个待配准图像对应的波段图像传感器的目标变换矩阵，可以包括：
S1051、获取与当前处理的目标待配准图像对应的目标备选配准图像以及目标基础配准图像；在此步骤中，目标待配准图像为各所述待配准图像中任意待配准图像，目标待配准图像经过匹配的备选变换矩阵变换得到目标备选配准图像，目标待配准图像经过匹配的基础变换矩阵变换得到目标基础配准图像。
S1052、根据所述目标备选配准图像中各个特征点与所述参考图像中对应特征点之间的位置偏移量，计算与所述目标备选配准图像匹配的第一特征点误差；在此步骤中，将所述目标备选配准图像投影在参考坐标系中，利用尺度不变特征变换算法在参考图像以及目标备选配准图像中识别出匹配的特征点对，计算特征点对中特征点分别在目标备选配准图像和参考图像中各坐标轴上的位置偏移量，将各坐标轴上的位置偏移量进行加权平均可以得到目标备选配准图像匹配的第一特征点误差。
S1053、根据所述目标基础配准图像中各个特征点与所述参考图像中对应特征点之间的位置偏移量，计算与所述目标基础配准图像匹配的第二特征点误差；在此步骤中，将所述目标基础配准图像投影在参考坐标系中，利用尺度不变特征变换算法在参考图像以及目标基础配准图像中识别出匹配的特征点对，计算特征点对中特征点分别在目标基础配准图像和参考图像中各坐标轴上的位置偏移量，将各坐标轴上的位置偏移量进行加权平均得到目标基础配准图像匹配的第二特征点误差。
S1054、如果第一特征点误差小于第二特征点误差，则将与目标待配准图像对应的备选变换矩阵作为与所述目标待配准图像对应的波段图像传感器的目标变换矩阵；在本实施例中，如果第一特征点误差小于第二特征点误差，则表明目标待配准图像经过备选变换矩阵配准的效果比经过基础变换矩阵配准的效果好，则将备选变换矩阵作为目标待配准图像对应的波段图像传感器的目标变换矩阵，并利用该目标变换矩阵对目标待配准图像进行配准。
S1055、如果第一特征点误差大于等于第二特征点误差，则将与目标待配准图像对应的基础变换矩阵作为与所述目标待配准图像对应的波段图像传感器的目标变换矩阵。在本实施例中，如果第一特征点误差大于等于第二特征点误差，则表明目标待配准图像经过基础变换矩阵配准的效果比经过备选变换矩阵配准的效果好，则将基础变换矩阵作为目标待配准图像对应的波段图像传感器的目标变换矩阵，并利用该目标变换矩阵对目标待配准图像进行配准。具体的，假设与参考图像对应的波段图像传感器为参考波段图像传感器，与各待配准图像对应的波段图像传感器为待配准波段图像传感器，在得到与各所述待配准波段图像传感器分别对应的目标变换矩阵之后，针对各个波段图像传感器采集得到的新的波段图像，可以使用计算得到的各个目标变换矩阵，将各个波段图像均变换至参考波段图像传感器所采集的波段图像所在的相机坐标系内，以实现新采集波段图像的配准。
本发明实施例的技术方案通过获取至少两个波段图像传感器分别采集的波段图像，计算与各待配准图像分别对应的备选变换矩阵；并根据预设的基础变换矩阵以及各备选变换矩阵，确定与各待配准图像对应的各波段图像传感器的目标变换矩阵的方式，根据实际的测试环境，在波段图像传感器内置的基础变换矩阵以及备选变换矩阵中筛选出配准效果最好的变换矩阵作为波段图像传感器最终使用的目标变换矩阵，提供了一种图像配准的新方式，解决了现有的几何模型配准方式导致的配准误差大的问题，提高了图像配准的准确性以及通用性。
实施例二
本实施例是对上述实施例一的进一步细化，与上述实施例相同或相应的术语解释，本实施例不再赘述。图2为本发明实施例二提供的一种图像配准方法的流程图，如图2所示，该方法包括如下步骤：
步骤210、获取至少两个波段图像传感器分别采集的波段图像。
步骤220、使用彩色图像传感器采集得到的彩色图像，对各所述波段图像中的至少一个特征点进行色彩补偿处理。在此步骤中，如图1b所示，彩色图像传感器4集成在多光谱相机中，用于获取地物的彩色图像。因为彩色传感器获取到的图像细节更加丰富，使用彩色传感器采集的彩色图像对各波段图像进行色彩补偿处理，使波段图像获取比较全面的光谱信息，使后续参考图像和待配准图像之间特征点的匹配更为准确。在本发明实施例的一个实施方式中，使用彩色图像传感器采集得到的彩色图像，对所述波段图像中的至少一个特征点进行色彩补偿处理，包括：
S201、利用尺度不变特征变换算法在所述彩色图像以及当前处理的波段图像中分别识别多个特征点；
S202、根据不同图像中特征点之间的映射关系，确定多个备选对应特征点对；在此步骤中，通过尺度不变特征变换算法在彩色图像以及波段图像中分别识别出多个特征点后，在选定的尺度上测量每个特征点周围的邻域内图像的局部梯度，通过比较彩色图像与波段图像中各特征点周围图像的局部梯度，选择局部梯度差满足预设差异范围内的特征点作为备选对应特征点对。
S203、在各所述备选对应特征点对中，筛选出满足匹配精度条件的目标对应特征点对；在每个备选对应特征点对中，计算属于彩色图像的特征点周围的邻域内图像的局部梯度，作为第一梯度，计算属于波段图像的特征点周围的邻域内图像的局部梯度，作为第二梯度，将第一梯度与第二梯度的差小于预设差异阈值的备选对应特征点对作为目标对应特征点对。其中，所示预设差异阈值小于所述预设差异范围。
S204、分别使用所述各目标对应特征点对中隶属于彩色图像的第一特征点的像素值，对隶属于波段图像的第二特征点的像素值进行修正，以进行彩色补偿。在本发明实施例的一个实施方式中，使用所述目标对应特征点对中隶属于彩色图像的第一特征点的像素值，对隶属于波段图像的第二特征点的像素值进行修正，可以包括：
S2041、获取当前处理的目标对应特征点对中第一特征点的第一目标像素值以及第二特征点的第二目标像素值；其中，第一目标像素值为目标对应特征点对中隶属于彩色图像的第一特征点的RGB值，第二目标像素值为目标对应特征点对中隶属于波段图像的第二特征点的灰度值。
S2042、如果所述第二目标像素值处于第一数值范围内，则根据第一目标像素值以及第一加权融合比例，对所述第二目标像素值进行修正；在一个具体的实施例中，假设第一目标像素值为a，第二目标像素值为b，修正后的第二目标像素值为c，如果b＞128，则c＝a*80％+b*20％。
S2043、如果所述第二目标像素值处于第二数值范围内，则根据第一目标像素值以及第二加权融合比例，对所述第二目标像素值进行修正；在一个具体的实施例中，假设第一目标像素值为a，第二目标像素值为b，修正后的第二目标像素值为c，如果b≤128，则c＝a*50％+b*50％。其中，第一数值范围大于第二数值范围，第一加权融合比例中第一目标像素值的加权比重大于第二加权融合比例中第一目标像素值的加权比重。第一数值范围、第二数值范围、第一加权融合比例以及第二加权融合比例以实际情况进行预设，本实施例对此并不进行限制。
步骤230、在各波段图像中，确定参考图像和至少一个待配准图像，波段图像传感器与设定相机坐标系关联。
步骤240、以参考图像的相机坐标系为参考坐标系，根据参考图像与各待配准图像中关联特征点之间的位置关系，计算与各待配准图像分别对应的备选变换矩阵。
步骤250、根据预设的基础变换矩阵以及各备选变换矩阵，确定与各待配准图像对应的各波段图像传感器的目标变换矩阵。
本发明实施例的技术方案通过获取至少两个波段图像传感器分别采集的波段图像，使用彩色图像传感器采集得到的彩色图像，对各波段图像中的至少一个特征点进行色彩补偿处理，计算与各待配准图像分别对应的备选变换矩阵；并根据预设的基础变换矩阵以及各备选变换矩阵，确定与各待配准图像对应的各波段图像传感器的目标变换矩阵的方式，通过使用彩色图像对各波段图像进行色彩补偿处理，使波段图像获取比较全面的光谱信息，解决了现有的几何模型配准方式导致的配准误差大的问题，提高了图像配准的准确性以及通用性。
实施例三
本实施例是对上述实施例二的进一步细化，本实施例中的技术方案可以与上述一个或者多个实施例中的各个可选方案结合，与上述实施例相同或相应的术语解释，本实施例不再赘述。
图3为本发明实施例三提供的一种图像配准方法的流程图，如图3所示，该方法包括如下步骤：
步骤310、获取至少两个波段图像传感器分别采集的波段图像。
步骤320、使用彩色图像传感器采集得到的彩色图像，对各所述波段图像中的至少一个特征点进行色彩补偿处理。
步骤330、使用至少一个照度传感器采集的光照信息，对各所述波段图像中的至少一个特征点进行光照补偿处理。
在本发明实施例的一个实施方式中，使用照度传感器采集的光照信息，对所述波段图像中的至少一个特征点进行光照补偿处理，可以包括：
S301、根据所述照度传感器采集的光照信息，获取与目标波段图像传感器匹配的目标光照信息；
在此步骤中，目标波段图像传感器为上述至少两个波段图像传感器中的任意波段图像传感器，如图1b所示，每个照度传感器6可以对应一个或多个波段图像传感器。当每个照度传感器6对应一个目标波段图像传感器时，将照度传感器采集的光照信息作为该目标波段图像传感器的目标光照信息；当每个照度传感器6对应多个波段图像传感器时，可以根据目标波段图像传感器的标识信息在照度传感器采集的光照信息中筛选与目标波段图像传感器匹配的目标光照信息。
S302、根据与所述目标波段图像传感器匹配的姿态信息、高度信息以及所述目标光照信息，计算与所述目标波段图像传感器匹配的太阳角的角度值；
在此步骤中，目标波段图像传感器匹配的姿态信息通过惯性测量单元(Inertialmeasurement unit，IMU)来获取，姿态信息包括目标波段图像传感器的三轴姿态角、角速率以及加速度。根据目标波段图像传感器匹配的姿态信息、高度信息以及目标光照信息，可以计算太阳入射光与目标波段图像传感器形成的夹角，也即与目标波段图像传感器匹配的太阳角的角度值。
S303、根据所述角度值，计算与所述目标波段图像传感器采集的波段图像匹配的光照补偿关系；
由于每个波段图像传感器匹配的太阳角的角度值不同，各波段图像传感器会由于不同的太阳光辐射能量造成波段图像失真，本实施例提出了根据波段图像传感器匹配的太阳角的角度值，对波段图像传感器采集的波段图像进行补偿的技术方案，使波段图像与真实的地物更加接近，从而使后续参考图像和待配准图像之间特征点的匹配更为准确。在此步骤中，根据目标波段图像传感器匹配的太阳角的角度值查表获取目标波段图像传感器采集的波段图像的补偿参数(1/sinh)，根据所述补偿参数和目标波段图像传感器探测的地物的坐标(x,y)，可以计算出与目标波段图像传感器采集的波段图像匹配的光照补偿关系f(x,y)，其中：
f(x,y)＝(1/sinh)·g(x,y)。
S304、使用所述光照补偿关系，对所述目标波段图像传感器采集的波段图像中的各特征点进行光照补偿。
在此步骤中，通过步骤320提取到目标波段图像传感器采集的波段图像中的各特征点后，根据所述光照补偿关系对所述目标波段图像传感器采集的波段图像中的各特征点进行变换，将变换后的波段图像作为光照补偿后的波段图像。
步骤340、在各波段图像中，确定参考图像和至少一个待配准图像，波段图像传感器与设定相机坐标系关联。
通过上述步骤对波段图像传感器采集到的不同波段图像进行色彩补偿处理和光照补偿处理之后，在处理后的波段图像中可任意筛选一张波段图像作为参考图像，剩余波段图像则作为待配准图像。
步骤350、以参考图像的相机坐标系为参考坐标系，根据参考图像与各待配准图像中关联特征点之间的位置关系，计算与各待配准图像分别对应的备选变换矩阵。
步骤360、根据预设的基础变换矩阵以及各备选变换矩阵，确定与各待配准图像对应的各波段图像传感器的目标变换矩阵。
本发明实施例的技术方案通过获取至少两个波段图像传感器分别采集的波段图像，对各波段图像中的特征点进行色彩补偿处理和光照补偿处理，计算与各待配准图像分别对应的备选变换矩阵；根据预设的基础变换矩阵以及各备选变换矩阵，确定与各待配准图像对应的各波段图像传感器的目标变换矩阵的方式，使波段图像获取比较全面的光谱信息，根据波段图像传感器匹配的太阳角的角度值，对波段图像传感器采集的波段图像进行补偿，使波段图像与真实的地物更加接近，解决了使用实际的环境图像配准由于光线不足以及天气变化导致波段图像配准不准确的问题，解决了现有的几何模型配准导致的配准误差大的问题，提高了图像配准的准确性。
实施例四
图4为本发明实施例四提供的一种图像配准装置的结构图，该装置应用于多光谱相机，包括：获取模块410、备选变换矩阵计算模块420和目标变换矩阵确定模块430。其中，获取模块410，用于获取至少两个波段图像传感器分别采集的波段图像，并在各波段图像中，确定参考图像和至少一个待配准图像，波段图像传感器与设定相机坐标系关联；备选变换矩阵计算模块420，用于以参考图像的相机坐标系为参考坐标系，根据参考图像与各待配准图像中关联特征点之间的位置关系，计算与各待配准图像分别对应的备选变换矩阵；目标变换矩阵确定模块430，用于根据预设的基础变换矩阵以及各备选变换矩阵，确定与各待配准图像对应的各波段图像传感器的目标变换矩阵。
本发明实施例的技术方案通过获取至少两个波段图像传感器分别采集的波段图像，并在各波段图像中，确定参考图像和至少一个待配准图像；以参考图像的相机坐标系为参考坐标系，根据参考图像与各待配准图像中关联特征点之间的位置关系，计算与各待配准图像分别对应的备选变换矩阵；根据预设的基础变换矩阵以及各备选变换矩阵，确定与各待配准图像对应的各波段图像传感器的目标变换矩阵。本发明实施例的技术方案在波段图像传感器内置的变换矩阵以及备选变换矩阵中筛选出配准效果最好的变换矩阵作为波段图像传感器的目标变换矩阵，解决了几何模型配准导致的配准误差大的问题，提高了图像配准的准确性。
在上述各实施例的基础上，获取模块410，可以包括：色彩补偿处理单元，用于使用彩色图像传感器采集得到的彩色图像，对各所述波段图像中的至少一个特征点进行色彩补偿处理；特征点识别单元，用于利用尺度不变特征变换算法在所述彩色图像以及当前处理的波段图像中分别识别多个特征点；特征点对确定单元，用于根据不同图像中特征点之间的映射关系，确定多个备选对应特征点对；特征点对筛选单元，用于在各所述备选对应特征点对中，筛选出满足匹配精度条件的目标对应特征点对；像素值修正单元，用于分别使用所述各目标对应特征点对中隶属于彩色图像的第一特征点的像素值，对隶属于波段图像的第二特征点的像素值进行修正，以进行彩色补偿；目标像素值获取单元，用于获取当前处理的目标对应特征点对中第一特征点的第一目标像素值以及第二特征点的第二目标像素值；第一加权融合比例修正单元，用于所述第二目标像素值处于第一数值范围内，根据第一目标像素值以及第一加权融合比例，对所述第二目标像素值进行修正；第二加权融合比例修正单元，用于所述第二目标像素值处于第二数值范围内，根据第一目标像素值以及第二加权融合比例，对所述第二目标像素值进行修正；其中，第一数值范围大于第二数值范围，第一加权融合比例中第一目标像素值的加权比重大于第二加权融合比例中第一目标像素值的加权比重；光照补偿处理单元，用于使用至少一个照度传感器采集的光照信息，对各所述波段图像中的至少一个特征点进行光照补偿处理；目标光照信息获取单元，用于根据所述照度传感器采集的光照信息，获取与目标波段图像传感器匹配的目标光照信息；太阳角计算单元，用于根据与所述目标波段图像传感器匹配的姿态信息、高度信息以及所述目标光照信息，计算与所述目标波段图像传感器匹配的太阳角的角度值；光照补偿关系计算单元，用于根据所述角度值，计算与所述目标波段图像传感器采集的波段图像匹配的光照补偿关系；特征点补偿单元，用于使用所述光照补偿关系，对所述目标波段图像传感器采集的波段图像中的各特征点进行光照补偿。备选变换矩阵计算模块420，可以包括：特征点对生成单元，用于利用尺度不变特征变换算法在所述参考图像以及当前处理的待配准图像中分别识别出的多个特征点，生成设定数量的对应特征点对；变换矩阵参数计算单元，用于根据所述参考坐标系以及各所述对应特征点，建立多个计算方程，并根据所述多个计算方程，计算得到多个变换矩阵参数；备选变换矩阵生成单元，用于根据计算得到的变换矩阵参数，生成与所述当前处理的待配准图像对应的备选变换矩阵。目标变换矩阵确定模块430，可以包括：配准图像获取单元，用于获取各所述待配准图像经过匹配的备选变换矩阵变换得到的各备选配准图像，以及，各所述待配准图像经过匹配的基础变换矩阵变换得到的各基础配准图像；特征点误差计算单元，用于针对每个待配准图像，分别计算匹配的备选配准图像与基础配准图像相对于所述参考图像的特征点误差，并根据误差计算结果，确定与每个待配准图像对应的波段图像传感器的目标变换矩阵；共视区域确定单元，用于在各所述备选配准图像中，确定共视区域；裁剪单元，用于根据所述共视区域，对各所述备选配准图像进行裁剪处理；目标配准图像获取单元，用于获取与当前处理的目标待配准图像对应的目标备选配准图像以及目标基础配准图像；第一特征点误差计算单元，用于根据所述目标备选配准图像中各个特征点与所述参考图像中对应特征点之间的位置偏移量，计算与所述目标备选配准图像匹配的第一特征点误差；第二特征点误差计算单元，用于根据所述目标基础配准图像中各个特征点与所述参考图像中对应特征点之间的位置偏移量，计算与所述目标基础配准图像匹配的第二特征点误差；目标变换矩阵选择单元，用于第一特征点误差小于第二特征点误差时，则将与目标待配准图像对应的备选变换矩阵作为与所述目标待配准图像对应的波段图像传感器的目标变换矩阵；第一特征点误差大于等于第二特征点误差时，则将与目标待配准图像对应的基础变换矩阵作为与所述目标待配准图像对应的波段图像传感器的目标变换矩阵。本发明实施例所提供的图像配准装置可执行本发明任意实施例所提供的图像配准方法，具备执行方法相应的功能模块和有益效果。
实施例五
图5为本发明实施例五提供的一种多光谱相机的结构示意图，如图5所示，该多光谱相机包括至少两个波段图像传感器510、照度传感器520、彩色图像传感器530、处理器540、存储器550、输入装置560和输出装置570，波段图像传感器510，用于采集波段图像。多光谱相机中处理器540的数量可以是一个或多个，图5中以一个处理器540为例；多光谱相机中的处理器540、存储器550、输入装置560和输出装置570可以通过总线或其他方式连接，图5中以通过总线连接为例。
存储器550作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的一种图像配准方法对应的程序指令/模块(例如，一种图像配准装置中的获取模块410、备选变换矩阵计算模块420和目标变换矩阵确定模块430)。处理器540通过运行存储在存储器550中的软件程序、指令以及模块，从而执行多光谱相机的各种功能应用以及数据处理，即实现上述的一种图像配准方法。也即，该程序被处理器执行时实现：获取至少两个波段图像传感器分别采集的波段图像，并在各波段图像中，确定参考图像和至少一个待配准图像，波段图像传感器与设定相机坐标系关联；以参考图像的相机坐标系为参考坐标系，根据参考图像与各待配准图像中关联特征点之间的位置关系，计算与各待配准图像分别对应的备选变换矩阵；根据预设的基础变换矩阵以及各备选变换矩阵，确定与各待配准图像对应的各波段图像传感器的目标变换矩阵。存储器550可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器550可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器550可进一步包括相对于处理器540远程设置的存储器，这些远程存储器可以通过网络连接至多光谱相机。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。输入装置560可用于接收输入的数字或字符信息，以及产生与多光谱相机的用户设置以及功能控制有关的键信号输入，可以包括键盘和鼠标等。输出装置570可包括显示屏等显示设备。
实施例六
图6是本发明实施例六中的一种无人设备的结构示意图，如图6所示，所述无人设备601包括本发明任意实施例所提供的多光谱相机602。在本实施例中，多光谱相机602通过获取至少两个波段图像传感器分别采集的波段图像，计算与各待配准图像分别对应的备选变换矩阵；并根据预设的基础变换矩阵以及各备选变换矩阵，确定与各待配准图像对应的各波段图像传感器的目标变换矩阵的方式，根据实际的测试环境，在波段图像传感器内置的基础变换矩阵以及备选变换矩阵中筛选出配准效果最好的变换矩阵作为波段图像传感器最终使用的目标变换矩阵，提供了一种图像配准的新方式，解决了现有的几何模型配准方式导致的配准误差大的问题，提高了图像配准的准确性以及通用性。在本发明实施例的一个实施方式中，所述无人设备601可以为无人驾驶汽车或者无人机等。
实施例七
本发明实施例六还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例所述方法。当然，本发明实施例所提供的一种计算机可读存储介质，其可以执行本发明任意实施例提供的一种图像配准方法中的相关操作。也即，该程序被处理器执行时实现：获取至少两个波段图像传感器分别采集的波段图像，并在各波段图像中，确定参考图像和至少一个待配准图像，波段图像传感器与设定相机坐标系关联；以参考图像的相机坐标系为参考坐标系，根据参考图像与各待配准图像中关联特征点之间的位置关系，计算与各待配准图像分别对应的备选变换矩阵；根据预设的基础变换矩阵以及各备选变换矩阵，确定与各待配准图像对应的各波段图像传感器的目标变换矩阵。通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。值得注意的是，上述一种图像配准装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (23)
1.一种图像配准方法，应用于多光谱相机，所述多光谱相机包括至少两个波段图像传感器，其特征在于，包括：
获取至少两个波段图像传感器分别采集的波段图像，并在各波段图像中，确定参考图像和至少一个待配准图像，波段图像传感器与设定相机坐标系关联；
以参考图像的相机坐标系为参考坐标系，根据参考图像与各待配准图像中关联特征点之间的位置关系，计算与各待配准图像分别对应的备选变换矩阵；
根据预设的基础变换矩阵以及各备选变换矩阵，确定与各待配准图像对应的各波段图像传感器的目标变换矩阵。
2.根据权利要求1所述的方法，其特征在于，所述多光谱相机还包括彩色图像传感器，在获取至少两个波段图像传感器分别采集的波段图像之后，还包括：
使用彩色图像传感器采集得到的彩色图像，对各所述波段图像中的至少一个特征点进行色彩补偿处理。
3.根据权利要求2所述的方法，其特征在于，使用彩色图像传感器采集得到的彩色图像，对所述波段图像中的至少一个特征点进行色彩补偿处理，包括：
利用尺度不变特征变换算法在所述彩色图像以及当前处理的波段图像中分别识别多个特征点；
根据不同图像中特征点之间的映射关系，确定多个备选对应特征点对；
在各所述备选对应特征点对中，筛选出满足匹配精度条件的目标对应特征点对；
分别使用所述各目标对应特征点对中隶属于彩色图像的第一特征点的像素值，对隶属于波段图像的第二特征点的像素值进行修正，以进行彩色补偿。
4.根据权利要求3所述的方法，其特征在于，使用所述目标对应特征点对中隶属于彩色图像的第一特征点的像素值，对隶属于波段图像的第二特征点的像素值进行修正，包括：
获取当前处理的目标对应特征点对中第一特征点的第一目标像素值以及第二特征点的第二目标像素值；
如果所述第二目标像素值处于第一数值范围内，则根据第一目标像素值以及第一加权融合比例，对所述第二目标像素值进行修正；
如果所述第二目标像素值处于第二数值范围内，则根据第一目标像素值以及第二加权融合比例，对所述第二目标像素值进行修正；
其中，第一数值范围大于第二数值范围，第一加权融合比例中第一目标像素值的加权比重大于第二加权融合比例中第一目标像素值的加权比重。
5.根据权利要求1所述的方法，其特征在于，在获取至少两个波段图像传感器分别采集的波段图像之后，还包括：
使用至少一个照度传感器采集的光照信息，对各所述波段图像中的至少一个特征点进行光照补偿处理。
6.根据权利要求5所述的方法，其特征在于，使用照度传感器采集的光照信息，对所述波段图像中的至少一个特征点进行光照补偿处理，包括：
根据所述照度传感器采集的光照信息，获取与目标波段图像传感器匹配的目标光照信息；
根据与所述目标波段图像传感器匹配的姿态信息、高度信息以及所述目标光照信息，计算与所述目标波段图像传感器匹配的太阳角的角度值；
根据所述角度值，计算与所述目标波段图像传感器采集的波段图像匹配的光照补偿关系；
使用所述光照补偿关系，对所述目标波段图像传感器采集的波段图像中的各特征点进行光照补偿。
7.根据权利要求1-6任一项所述的方法，其特征在于，以参考图像的相机坐标系为参考坐标系，根据参考图像与待配准图像中关联特征点之间的位置关系，计算与待配准图像分别对应的备选变换矩阵，包括：
利用尺度不变特征变换算法在所述参考图像以及当前处理的待配准图像中分别识别出的多个特征点，生成设定数量的对应特征点对；
根据所述参考坐标系以及各所述对应特征点，建立多个计算方程，并根据所述多个计算方程，计算得到多个变换矩阵参数；
根据计算得到的变换矩阵参数，生成与所述当前处理的待配准图像对应的备选变换矩阵。
8.根据权利要求1-6任一项所述的方法，其特征在于，根据预设的基础变换矩阵以及各备选变换矩阵，确定与待配准图像对应的波段图像传感器的目标变换矩阵，包括：
获取各所述待配准图像经过匹配的备选变换矩阵变换得到的各备选配准图像，以及，各所述待配准图像经过匹配的基础变换矩阵变换得到的各基础配准图像；
针对每个待配准图像，分别计算匹配的备选配准图像与基础配准图像相对于所述参考图像的特征点误差，并根据误差计算结果，确定与每个待配准图像对应的波段图像传感器的目标变换矩阵。
9.根据权利要求8所述的方法，其特征在于，在获取各所述待配准图像经过匹配的备选变换矩阵变换得到的各备选配准图像之后，还包括：
在各所述备选配准图像中，确定共视区域；
根据所述共视区域，对各所述备选配准图像进行裁剪处理。
10.根据权利要求8所述的方法，其特征在于，针对每个待配准图像，分别计算匹配的备选配准图像与基础配准图像相对于所述参考图像的特征点误差，并根据误差计算结果，确定与每个待配准图像对应的波段图像传感器的目标变换矩阵，包括：
获取与当前处理的目标待配准图像对应的目标备选配准图像以及目标基础配准图像；
根据所述目标备选配准图像中各个特征点与所述参考图像中对应特征点之间的位置偏移量，计算与所述目标备选配准图像匹配的第一特征点误差；
根据所述目标基础配准图像中各个特征点与所述参考图像中对应特征点之间的位置偏移量，计算与所述目标基础配准图像匹配的第二特征点误差；
如果第一特征点误差小于第二特征点误差，则将与目标待配准图像对应的备选变换矩阵作为与所述目标待配准图像对应的波段图像传感器的目标变换矩阵；
如果第一特征点误差大于等于第二特征点误差，则将与目标待配准图像对应的基础变换矩阵作为与所述目标待配准图像对应的波段图像传感器的目标变换矩阵。
11.一种图像配准装置，应用于多光谱相机，所述多光谱相机包括至少两个波段图像传感器，其特征在于，包括：
获取模块，用于获取至少两个波段图像传感器分别采集的波段图像，并在各波段图像中，确定参考图像和至少一个待配准图像，波段图像传感器与设定相机坐标系关联；
备选变换矩阵计算模块，用于以参考图像的相机坐标系为参考坐标系，根据参考图像与各待配准图像中关联特征点之间的位置关系，计算与各待配准图像分别对应的备选变换矩阵；
目标变换矩阵确定模块，用于根据预设的基础变换矩阵以及各备选变换矩阵，确定与各待配准图像对应的各波段图像传感器的目标变换矩阵。
12.根据权利要求11所述的装置，其特征在于，所述多光谱相机还包括彩色图像传感器，获取模块包括：
色彩补偿处理单元，用于使用彩色图像传感器采集得到的彩色图像，对各所述波段图像中的至少一个特征点进行色彩补偿处理。
13.根据权利要求12所述的装置，其特征在于，色彩补偿处理单元包括：
特征点识别单元，用于利用尺度不变特征变换算法在所述彩色图像以及当前处理的波段图像中分别识别多个特征点；
特征点对确定单元，用于根据不同图像中特征点之间的映射关系，确定多个备选对应特征点对；
特征点对筛选单元，用于在各所述备选对应特征点对中，筛选出满足匹配精度条件的目标对应特征点对；
像素值修正单元，用于分别使用所述各目标对应特征点对中隶属于彩色图像的第一特征点的像素值，对隶属于波段图像的第二特征点的像素值进行修正，以进行彩色补偿。
14.根据权利要求13所述的装置，其特征在于，像素值修正单元包括：
目标像素值获取单元，用于获取当前处理的目标对应特征点对中第一特征点的第一目标像素值以及第二特征点的第二目标像素值；
第一加权融合比例修正单元，用于所述第二目标像素值处于第一数值范围内，根据第一目标像素值以及第一加权融合比例，对所述第二目标像素值进行修正；
第二加权融合比例修正单元，用于所述第二目标像素值处于第二数值范围内，根据第一目标像素值以及第二加权融合比例，对所述第二目标像素值进行修正；
其中，第一数值范围大于第二数值范围，第一加权融合比例中第一目标像素值的加权比重大于第二加权融合比例中第一目标像素值的加权比重。
15.根据权利要求11所述的装置，其特征在于，获取模块还包括：
光照补偿处理单元，用于使用至少一个照度传感器采集的光照信息，对各所述波段图像中的至少一个特征点进行光照补偿处理。
16.根据权利要求15所述的装置，其特征在于，光照补偿处理单元包括：
目标光照信息获取单元，用于根据所述照度传感器采集的光照信息，获取与目标波段图像传感器匹配的目标光照信息；
太阳角计算单元，用于根据与所述目标波段图像传感器匹配的姿态信息、高度信息以及所述目标光照信息，计算与所述目标波段图像传感器匹配的太阳角的角度值；
光照补偿关系计算单元，用于根据所述角度值，计算与所述目标波段图像传感器采集的波段图像匹配的光照补偿关系；
特征点补偿单元，用于使用所述光照补偿关系，对所述目标波段图像传感器采集的波段图像中的各特征点进行光照补偿。
17.根据权利要求11-16所述的装置，其特征在于，备选变换矩阵计算模块包括：
特征点对生成单元，用于利用尺度不变特征变换算法在所述参考图像以及当前处理的待配准图像中分别识别出的多个特征点，生成设定数量的对应特征点对；
变换矩阵参数计算单元，用于根据所述参考坐标系以及各所述对应特征点，建立多个计算方程，并根据所述多个计算方程，计算得到多个变换矩阵参数；
备选变换矩阵生成单元，用于根据计算得到的变换矩阵参数，生成与所述当前处理的待配准图像对应的备选变换矩阵。
18.根据权利要求11-16所述的装置，其特征在于，目标变换矩阵确定模块包括：
配准图像获取单元，用于获取各所述待配准图像经过匹配的备选变换矩阵变换得到的各备选配准图像，以及，各所述待配准图像经过匹配的基础变换矩阵变换得到的各基础配准图像；
特征点误差计算单元，用于针对每个待配准图像，分别计算匹配的备选配准图像与基础配准图像相对于所述参考图像的特征点误差，并根据误差计算结果，确定与每个待配准图像对应的波段图像传感器的目标变换矩阵。
19.根据权利要求18所述的装置，其特征在于，配准图像获取单元包括：
共视区域确定单元，用于在各所述备选配准图像中，确定共视区域；
裁剪单元，用于根据所述共视区域，对各所述备选配准图像进行裁剪处理。
20.根据权利要求18所述的装置，其特征在于，特征点误差计算单元包括：
目标配准图像获取单元，用于获取与当前处理的目标待配准图像对应的目标备选配准图像以及目标基础配准图像；
第一特征点误差计算单元，用于根据所述目标备选配准图像中各个特征点与所述参考图像中对应特征点之间的位置偏移量，计算与所述目标备选配准图像匹配的第一特征点误差；
第二特征点误差计算单元，用于根据所述目标基础配准图像中各个特征点与所述参考图像中对应特征点之间的位置偏移量，计算与所述目标基础配准图像匹配的第二特征点误差；
目标变换矩阵选择单元，用于当第一特征点误差小于第二特征点误差时，则将与目标待配准图像对应的备选变换矩阵作为与所述目标待配准图像对应的波段图像传感器的目标变换矩阵；当第一特征点误差大于等于第二特征点误差时，则将与目标待配准图像对应的基础变换矩阵作为与所述目标待配准图像对应的波段图像传感器的目标变换矩阵。
21.一种多光谱相机，其特征在于，所述多光谱相机包括：
至少两个波段图像传感器，用于采集波段图像；
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-10中任一所述的一种图像配准方法。
22.一种无人设备，其特征在于，所述无人设备包括：权利要求21所述的多光谱相机。
23.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-10中任一所述的一种图像配准方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010261018.2A CN113496505B (zh) | 2020-04-03 | 2020-04-03 | 图像配准方法、装置、多光谱相机、无人设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010261018.2A CN113496505B (zh) | 2020-04-03 | 2020-04-03 | 图像配准方法、装置、多光谱相机、无人设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113496505A true CN113496505A (zh) | 2021-10-12 |
| CN113496505B CN113496505B (zh) | 2022-11-08 |
Family
ID=77995318
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010261018.2A Active CN113496505B (zh) | 2020-04-03 | 2020-04-03 | 图像配准方法、装置、多光谱相机、无人设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113496505B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113763443A (zh) * | 2021-11-08 | 2021-12-07 | 北京博睿天扬科技有限公司 | 一种用于燃气轮机的部件监控系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103473765A (zh) * | 2013-09-03 | 2013-12-25 | 深圳大学 | 一种多光谱遥感图像的配准与校正方法、系统 |
| CN104599286A (zh) * | 2013-10-31 | 2015-05-06 | 展讯通信(天津)有限公司 | 一种基于光流的特征跟踪方法及装置 |
| CN104599258A (zh) * | 2014-12-23 | 2015-05-06 | 大连理工大学 | 一种基于各向异性特征描述符的图像拼接方法 |
| US20150281678A1 (en) * | 2014-03-25 | 2015-10-01 | Samsung Electronics Co., Ltd. | Image generating device, 3d image display system having the same and control methods thereof |
| CN104992433A (zh) * | 2015-06-19 | 2015-10-21 | 北京邮电大学 | 基于线段匹配的多光谱图像配准的方法及装置 |
| CN105976312A (zh) * | 2016-05-30 | 2016-09-28 | 北京建筑大学 | 基于点特征直方图的点云自动配准方法 |
| CN109816782A (zh) * | 2019-02-03 | 2019-05-28 | 哈尔滨理工大学 | 一种基于双目视觉的室内场景三维重建方法 |
| CN109858527A (zh) * | 2019-01-09 | 2019-06-07 | 北京全路通信信号研究设计院集团有限公司 | 一种图像融合方法 |
| CN110097585A (zh) * | 2019-04-29 | 2019-08-06 | 中国水利水电科学研究院 | 一种基于sift算法的sar影像匹配方法及系统 |
-
2020
- 2020-04-03 CN CN202010261018.2A patent/CN113496505B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103473765A (zh) * | 2013-09-03 | 2013-12-25 | 深圳大学 | 一种多光谱遥感图像的配准与校正方法、系统 |
| CN104599286A (zh) * | 2013-10-31 | 2015-05-06 | 展讯通信(天津)有限公司 | 一种基于光流的特征跟踪方法及装置 |
| US20150281678A1 (en) * | 2014-03-25 | 2015-10-01 | Samsung Electronics Co., Ltd. | Image generating device, 3d image display system having the same and control methods thereof |
| CN104599258A (zh) * | 2014-12-23 | 2015-05-06 | 大连理工大学 | 一种基于各向异性特征描述符的图像拼接方法 |
| CN104992433A (zh) * | 2015-06-19 | 2015-10-21 | 北京邮电大学 | 基于线段匹配的多光谱图像配准的方法及装置 |
| CN105976312A (zh) * | 2016-05-30 | 2016-09-28 | 北京建筑大学 | 基于点特征直方图的点云自动配准方法 |
| CN109858527A (zh) * | 2019-01-09 | 2019-06-07 | 北京全路通信信号研究设计院集团有限公司 | 一种图像融合方法 |
| CN109816782A (zh) * | 2019-02-03 | 2019-05-28 | 哈尔滨理工大学 | 一种基于双目视觉的室内场景三维重建方法 |
| CN110097585A (zh) * | 2019-04-29 | 2019-08-06 | 中国水利水电科学研究院 | 一种基于sift算法的sar影像匹配方法及系统 |
Non-Patent Citations (3)
| Title |
|---|
| HONGCHAO ZHENG ET AL: "Ground moving target indication via spatial spectral processing for multichannel SAR", 《2015 8TH INTERNATIONAL CONGRESS ON IMAGE AND SIGNAL PROCESSING (CISP)》 * |
| MAHMUDUL HASAN ET AL: "Multi-spectral remote sensing image registration via spatial relationship analysis on sift keypoints", 《2010 IEEE INTERNATIONAL GEOSCIENCE AND REMOTE SENSING SYMPOSIUM》 * |
| 刘鹏: "基于多光谱成像的微型静脉显像技术研究", 《中国优秀硕士学位论文全文数据库》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113763443A (zh) * | 2021-11-08 | 2021-12-07 | 北京博睿天扬科技有限公司 | 一种用于燃气轮机的部件监控系统 |
| CN113763443B (zh) * | 2021-11-08 | 2022-03-22 | 河北三恩油气工程技术服务有限公司 | 一种用于燃气轮机的部件监控系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113496505B (zh) | 2022-11-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111354042B (zh) | 机器人视觉图像的特征提取方法、装置、机器人及介质 | |
| CN112802124B (zh) | 多台立体相机的标定方法及装置、电子设备及存储介质 | |
| CN109727278B (zh) | 一种机载LiDAR点云数据与航空影像的自动配准方法 | |
| WO2021098083A1 (zh) | 基于显著特征的多光谱相机动态立体标定算法 | |
| CN105354841B (zh) | 一种快速遥感影像匹配方法及系统 | |
| CN109523585B (zh) | 一种基于方向相位一致性的多源遥感影像特征匹配方法 | |
| CN107274441B (zh) | 一种高光谱图像的波段校准方法和系统 | |
| CN108759788B (zh) | 无人机影像定位定姿方法及无人机 | |
| CN112946679B (zh) | 一种基于人工智能的无人机测绘果冻效应检测方法及系统 | |
| CN106887016B (zh) | 一种gf-4卫星序列图像自动相对配准方法 | |
| CN109949232B (zh) | 图像与rtk结合的测量方法、系统、电子设备及介质 | |
| CN113642463B (zh) | 一种视频监控和遥感图像的天地多视图对齐方法 | |
| CN110675448A (zh) | 基于民航客机的地面灯光遥感监测方法、系统及存储介质 | |
| CN112184785B (zh) | 基于mcd度量和vtm的多模态遥感图像配准方法 | |
| CN116170569A (zh) | 一种高光谱影像正摄校正方法及装置、存储介质 | |
| CN114529615A (zh) | 雷达标定方法、装置及存储介质 | |
| CN113496505B (zh) | 图像配准方法、装置、多光谱相机、无人设备及存储介质 | |
| CN108917722B (zh) | 植被覆盖度计算方法及装置 | |
| CN109883400B (zh) | 基于yolo-sitcol的固定站自动目标检测与空间定位方法 | |
| CN117146739B (zh) | 用于光学瞄准镜的测角检定方法及系统 | |
| CN115546266B (zh) | 基于局部法向相关的多条带机载激光点云配准方法 | |
| CN109829939B (zh) | 一种缩小多视影像匹配同名像点搜索范围的方法 | |
| CN115564808B (zh) | 基于公共空-谱子空间的多分辨率高光谱/sar影像配准方法 | |
| CN115311336A (zh) | 多相机的图像配准方法、装置、设备及存储介质 | |
| CN115375774A (zh) | 确定相机外参的方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |