CN112991411A - 图像配准方法和设备、存储介质 - Google Patents
图像配准方法和设备、存储介质 Download PDFInfo
- Publication number
- CN112991411A CN112991411A CN202110245819.4A CN202110245819A CN112991411A CN 112991411 A CN112991411 A CN 112991411A CN 202110245819 A CN202110245819 A CN 202110245819A CN 112991411 A CN112991411 A CN 112991411A
- Authority
- CN
- China
- Prior art keywords
- focal length
- image
- transformation
- target
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 230000009466 transformation Effects 0.000 claims abstract description 228
- 238000006243 chemical reaction Methods 0.000 claims description 24
- 238000012163 sequencing technique Methods 0.000 claims 2
- 230000008569 process Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/37—Determination of transform parameters for the alignment of images, i.e. image registration using transform domain methods
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本申请公开了一种图像配准方法和设备、存储介质，图像配准方法包括：获取第一图像和第二图像，其中，第一图像为第一模态图像，第二图像为第二模态图像；以及获取不同焦距下第一模态图像之间的第一变换参数、不同焦距下第二模态图像之间的第二变换参数、以及预设焦距下第一模态图像和第二模态图像之间的第三变换参数；利用第一变换参数、第二变换参数和第三变换参数，对第一图像和第二图像进行配准。上述方案，能够将任意焦距获得的不同模态图像之间的配准转换为预设焦距下不同模态图像之间的配准，从而提高不同模态图像之间配准结果的准确度。
Description
技术领域
本申请涉及图像处理技术领域，特别是涉及图像配准方法和设备、存储介质。
背景技术
图像配准指的是对同一场景利用不同的探测器、不同的成像视角或不同成像时间获取的图像通过匹配的方式找到图像在空间位置上的对应关系的方法。其中，图像配准包括同一模态的图像配准也包括不同模态之间的配准。图像配准是图像融合的前提，其中不同模态的图像之间的融合可以将不同模态的图像所包含信息进行融合可以减小信息冗余或进行信息互补。但是，不同模态的图像的表观特征区别一般较大，可供匹配的特征较少，因此相对于同一模态的图像之间的配准而言较难。现有技术中，一般都是针对同一模态的特征匹配，因此，急需一种方法以解决不同模态的图像之间配准的问题。
发明内容
本申请至少提供图像配准方法和设备、存储介质。
本申请第一方面提供了一种图像配准方法，包括：获取第一图像和第二图像，其中，所述第一图像为第一模态图像，所述第二图像为第二模态图像；以及获取不同焦距下所述第一模态图像之间的第一变换参数、不同焦距下所述第二模态图像之间的第二变换参数、以及预设焦距下所述第一模态图像和第二模态图像之间的第三变换参数；利用所述第一变换参数、第二变换参数和第三变换参数，对所述第一图像和第二图像进行配准。
本申请第二方面提供了一种图像配准装置，包括：图像获取模块，用于获取第一图像和第二图像，其中，所述第一图像为第一模态图像，所述第二图像为第二模态图像；变换参数获取模块，用于获取不同焦距下所述第一模态图像之间的第一变换参数、不同焦距下所述第二模态图像之间的第二变换参数、以及预设焦距下所述第一模态图像和第二模态图像之间的第三变换参数；配准模块，用于利用所述第一变换参数、第二变换参数和第三变换参数，对所述第一图像和第二图像进行配准。
本申请第三方面提供了一种电子设备，包括存储器和处理器，处理器用于执行存储器中存储的程序指令，以实现上述图像配准方法。
本申请第四方面提供了一种计算机可读存储介质，其上存储有程序指令，程序指令被处理器执行时实现上述图像配准方法。
上述方案，在实现不同模态的第一图像和第二图像之间的配准的过程中，通过获取不同焦距下同一模态图像之间的变换参数以及预设焦距下不同模态图像之间的变换参数，使得可以将第一图像与同一模态下的预设焦距进行配准，再与预设焦距的另一模态的图像进行配准，然后通过第二变换参数与第二图像进行配准，通过上述链式配准方式，可实现不同模态的第一图像和第二图像之间的配准，而且无论实现何种焦距下不同模态的图像之间的配准，均只需要进行在预设焦距下不同模态的图像之间的单次配准，提高配准结果的准确度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本申请的实施例，并与说明书一起用于说明本申请的技术方案。
图1是本申请图像配准方法一实施例的流程示意图；
图2是本申请图像配准方法一实施例示出不同焦距下不同模态的图像之间链式配准流程示意图；
图3是本申请图像配准方法一实施例示出不同焦距下同一模态图像配准示意图；
图4是本申请图像配准装置一实施例的结构示意图；
图5是本申请电子设备一实施例的结构示意图；
图6是本申请计算机可读存储介质一实施例的结构示意图。
具体实施方式
下面结合说明书附图，对本申请实施例的方案进行详细说明。
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
请参阅图1，图1是本申请图像配准方法一实施例的流程示意图。具体而言，可以包括如下步骤：
步骤S11：获取第一图像和第二图像，其中，第一图像为第一模态图像，第二图像为第二模态图像。
其中，这里的模态与图像的成像原理或拍摄设备有关。不同模态的图像的成像原理或拍摄设备不同。例如，根据不同成像原理形成的图像可以是可见光图像、热成像等。获取第一图像和第二图像的方式可以是根据多个拍摄设备获取，每个拍摄设备所获取到的图像的模态不同。本公开实施例以第一模态图像为热成像、第二模态图像为可见光图像为例。
步骤S12：获取不同焦距下第一模态图像之间的第一变换参数、不同焦距下第二模态图像之间的第二变换参数、以及预设焦距下第一模态图像和第二模态图像之间的第三变换参数。
其中，第一变换参数可以是相邻焦距的第一模态图像之间用于配准的变换参数，也可以是各焦距的第一模态图像与预设焦距的第一模态图像之间用于配准的变换参数。第二变换参数同理，此处不再赘述。
通过第一变换参数可以进行第一模态下不同焦距的图像之间的配准操作，通过第二变换参数可以进行第二模态下不同焦距的图像之间的配准操作。而通过第三变换参数可以进行预设焦距下不同模态图像之间的配准操作。其中，预设焦距下不同模态图像之间的配准操作具体指的是拍摄第一模态图像的拍摄设备的预设焦距和拍摄第二模态图像的拍摄设备的预设焦距，即不同模态图像的预设焦距可以相同也可以不同。具体地，预设焦距可以是基础焦距。当然，不同模态图像对应的基础焦距可以相同也可以不同。例如，预设焦距为基础焦距时，若不同模态图像的基础焦距相同，则第三变换参数可以是同一焦距下不同模态之间的配准操作，若不同模态图像的基础焦距不同，则第三变换参数则是不同焦距下不同模态之间的配准操作。其中，基础焦距指的是拍摄设备所支持的最小焦距。当然，在其他实施例中，预设焦距可以是拍摄设备所支持的任意焦距，关于预设焦距的选择，此处不做具体规定。本公开实施例中，预设焦距小于第一图像和第二图像的焦距。具体地，本公开实施例以预设焦距为基础焦距为例。因为基础焦距下拍摄设备的成像视角较大，所以图像内容相对于丰富，所以求解得到的基础焦距下的第三变换参数更为准确。
步骤S13：利用第一变换参数、第二变换参数和第三变换参数，对第一图像和第二图像进行配准。
其中，可以利用第一变换参数将第一图像与预设焦距的第一模态图像进行第一次配准，然后利用第三变换参数将经过第一次配准之后的第一图像与另一预设焦距下属于第二模态的第二图像进行第二次配准，最后利用第二变换参数将经过第二次配准之后的第一图像与第二图像进行第三次配准操作。
上述方案，在实现不同模态的第一图像和第二图像之间的配准的过程中，通过获取不同焦距下同一模态图像之间的变换参数以及预设焦距下不同模态图像之间的变换参数，使得可以将第一图像与同一模态下的预设焦距进行配准，再与预设焦距的另一模态的图像进行配准，然后通过第二变换参数与第二图像进行配准，通过上述链式配准方式，可实现不同模态的第一图像和第二图像之间的配准，而且无论实现何种焦距下不同模态的图像之间的配准，均只需要进行在预设焦距下不同模态的图像之间的单次配准，提高配准结果的准确度。
一些公开实施例中，第一变换参数和第二变换参数均是基于不同焦距下的图像之间的缩放系数和至少一个方向的偏移量得到的。例如，第一变换参数是基于不同焦距下的第一模态图像之间的缩放系数、横向和/或纵向的偏移量得到的。其中，第一图像的拍摄焦距为第一焦距，第二图像的拍摄焦距为第二焦距。其中，第一焦距和第二焦距可以相同也可以不同。其中，第一变换参数为第一焦距到第一预设焦距下第一模态图像的变换参数，第二变换参数可以是第二预设焦距下到第二焦距下第二模态图像的变换参数，第三变换参数可以是第一预设焦距下第一模态图像与第二预设焦距下第二模态图像之间的变换参数。其中，第三变换参数可以是在获取第一图像和第二图像之前就已经获取得到。通过提前获取第三变换参数能够提高图像配准的效率。
上述方案，能够以链式配准的方式实现第一模态的第一图像与第二模态的第二图像之间的配准，将不同模态且位于不同焦距下的图像配准问题，转化为预设焦距下不同模态的图像配准问题，提高了图像配准的准确度。
为更好地理解链式配准的方式，现提出下例：
同时参见图2，图2是本申请配准方法一实施例示出不同焦距下不同模态的图像之间链式配准流程示意图。如图2所示，存在两张图像，第一图像的焦距为第一焦距，第二图像的焦距为第二焦距，且第一焦距与第二焦距不同。且第一图像与第二图像的模态不同，第一图像为第一模态图像，第二图像为第二模态图像。要想实现不同焦距且不同模态的图像配准，可以引入预设焦距。具体地，将第一焦距下的第一图像通过第一变换参数与第一预设焦距下的第一图像实现配准，其中，第一焦距下的第一图像与预设焦距下的第一图像属于同一模态。通过第三变换参数实现将第一预设焦距下的第一模态的第一图像与第二预设焦距下的第二模态的第二图像实现配准，最后再利用第二变换参数实现与第二焦距下的第二模态的第二图像实现配准。
其中，获取不同焦距下第一模态图像之间的第一变换参数，或获取不同焦距下第二模态图像之间的第二变换参数的方式可以是：
以第一焦距为目标焦距，第一预设焦距为目标预设焦距，第一模态图像为目标模态，第一变换参数为目标变换参数。或者以第二焦距为目标焦距，第二预设焦距为目标预设焦距，第二模态图像为目标模态图像，第二变换参数为目标变换参数。
从参考焦距集中选出至少一个第一参考焦距。其中，第一参考焦距与目标焦距之差小于预设差值。其中，预设差值的确定可以是根据配准误差确定，例如，预设差值可以是设备允许的最大焦距与最小焦距之差的三分之一等，当然这仅是举例，在其他实施例中，预设差值可具体确定。可选地，参考焦距集的获取方式可以是以拍摄第一模态图像或第二模态图像的设备的基础焦距按照一定的步长选择的若干焦距作为参考焦距。其中，参考焦距集中每相邻两个参考焦距之间的差值小于或等与预设焦距步长。其中，预设焦距步长为可根据需求进行确定，例如，可根据对最后第一图像和第二图像的配准误差确定预设焦距步长，若允许的配准误差较大，则预设焦距步长越长，若允许的配准误差较小，则预设焦距步长越短，这里的较长较短根据实际情况而定。也就是说，根据一定步长选择出的参考焦距中任意两个相邻焦距之差相等。当然，在其他实施例中，也可按照其他方式选择参考焦距，例如以步长按照一定规律逐渐增大或逐渐减小的方式选择参考焦距，或任意选择部分焦距做为参考焦距等，关于参考焦距集的确定此处不做具体规定。其中，本申请以任意两个相邻焦距之差相等确定的焦距集为例。
可选地，至少一个第一参考焦距为参考焦距集中最接近目标焦距且不为目标焦距的两个参考焦距。例如，从参考焦距集中选出两个第一参考焦距，具体地，第一参考焦距为最接近目标焦距且不为目标焦距的两个参考焦距。可选地，目标焦距大于其中一个第一参考焦距且小于另一个第一参考焦距。例如，参考焦距集中的参考焦距如下：10mm、15mm、20mm、25mm、30mm，目标焦距为13.5mm，此时，与目标焦距13.5mm最接近且不为目标焦距的两个参考焦距中较大的第一参考焦距为15mm，较小的第一参考焦距即为10mm。当然，若目标焦距为参考焦距集中的其中一个时，也可不用确定较大的第一参考焦距和较小的第一参考焦距，此时确定第一变换参数或第二变换参数的方式参见以下获取第二参考变换参数的方式。
对于每个第一参考焦距，获取第一参考焦距与目标预设焦距之间目标模态图像的第一变换信息。
其中，参考焦距集还包括预设焦距。具体获取第一参考焦距与目标预设焦距之间目标模态图像的第一变换信息的方式可以是：将参考焦距集中位于第一参考焦距与目标预设焦距之间的参考焦距以及第一参考焦距与目标预设焦距，作为第二参考焦距。利用每相邻第二参考焦距下的目标模态图像之间的第一参考变换参数，得到第二参考变换参数。其中，第二参考变换参数为第一参考焦距与目标预设焦距之间目标模态图像的变换参数。例如，在目标模态为第一模态的情况下，第二参考变换参数为由第一参考焦距下第一模态图像到第一预设焦距下第一模态图像的变换参数。在目标模态为第二模态的情况下，第二参考变换参数为由第二预设焦距下第二模态图像到第一参考焦距下第二模态图像的变换参数。并基于第二参考变换参数，得到第一变换信息。可选地，利用每相邻第二参考焦距下的目标模态图像之间的第一参考变换参数，得到第二参考变换参数的方式可以是：在目标模态为第一模态的情况下，将第二参考焦距按照从小到大顺序进行排列，在目标模态为第二模态图像的情况下，将第二参考焦距按照从大到小顺序进行排列。将排序下每相邻第二参考焦距对应的第一参考变换参数进行累乘，得到第二参考变换参数。其中，相邻第二参考焦距对应的第一参考变换参数为由相邻第二参考焦距中的前一第二参考焦距到后一第二参考焦距下目标模态图像的变换参数。
进一步地，获取相邻第二参考焦距下的目标模态图像之间的第一参考变换参数的方式可以是：提取各图像的特征点分别形成特征点集，并对相邻第二参考焦距下的目标模态图像进行特征匹配，并基于特征匹配结果计算出相邻第二参考焦距下的目标模态图像之间的第一参考变换参数。其中，可使用特征点提取算法提取图像中的特征点，例如SURF(Speeded Up Robust Features)算法等。进行特征匹配的方式可以是基于最小欧式距离进行特征匹配。当然，在特征匹配过程中难免会出现错误匹配的情况，因此，在进行特征匹配之后，可进一步删除错误匹配的特征点对。具体删除错误匹配的特征点对的方式可以是利用随机抽样一致性算法进行。当然，在其他实施例中，还可通过用户手动标记特征点对的方式得到特征匹配结果，此时，可以无需利用随机抽样一致性算法对错误匹配的特征点进行删除。其中，第一参考变换参数由第一参考缩放系数、至少一个方向上的第一参考偏移量得到。其中，得到的第一参考变换参数的形式参照如下：
其中，Tir为第一参考变换参数，sir为第一参考缩放系数、txir为图像横向方向上的第一参考偏移量、tyir为图像纵向方向上的第一参考偏移量。由此可见，设备下做变焦运动时，不同焦距下图像之间可看做是只存在缩放和平移的放射变换。
其中，获取第一参考变换参数的过程可以是在进行本次图像配准之前进行，甚至获取第一变换信息的过程也可以是在进行本次图像配准之前。即，在进行本次图像配准之前就已经获取得到参考焦距集中各相邻参考焦距的第一模态图像或第二模态图像之间的变换参数，以及参考焦距集中各参考焦距与预设焦距的第一模态图像或第二模态图像之间的变换参数和变换信息。在进行本次图像配准时，仅需要查询对应第一参考焦距的第一变换信息即可，无需重复计算。通过此种方式，提高了图像配准的效率，同时也降低了本次图像配准过程中的计算量。在执行本次图像配准方案过程中，能够重复利用之前获取的第一变换信息、第一参考变换参数或第一变换信息的原因在于：对于拍摄第一模态图像的同一设备而言，无论什么时候拍摄，两个参考焦距下第一模态图像之间的变换参数一般不会发生变化。同理，对于拍摄第二模态图像的同一设备而言，无论什么时候拍摄，两个参考焦距下第二模态图像之间的变换参数也一般不会发生变化。因此，只需要获取一次第一参考变换参数以及第一变换信息之后，即可无限次地使用第一参考变换参数以及第一变换信息。
为更好地理解不同焦距下同一模态的图像之间的配准形式，请参见下例。同时参见图3，图3是本申请图像配准方法一实施例示出不同焦距下同一模态图像配准示意图。
如图3所示，图像10与图像20属于同一模态，但对应的焦距不同。其中，图像10与图像20中分别包括一个正视图为一六角形的建筑物，很明显图像10中六角形比右边图像20中的六边形小，并且，六边形各个顶点匹配之后在各自图像上的位置并非位于同一位置，存在上下和/或左右的偏移。即，不同焦距下同一模态的图像之间的转换参数包括缩放系数，以及横向和/或纵向上的偏移量。
基于第一变换信息，得到目标变换参数。其中，在目标变换参数为第一变换参数的情况下，第一变换信息为由第一参考焦距到第一预设焦距下第一模态图像的变换信息，在目标变换参数为第二变换参数的情况下，第一变换信息为由第二预设焦距到第一参考焦距下第二模态图像的变换信息。其中，第一变换信息包括缩放系数和偏移量。具体地，基于第一变换信息，得到目标变换参数的方式可以是：基于第一变换信息，得到目标焦距与目标预设焦距之间目标模态图像的第二变换信息，其中，第二变换信息也包括缩放系数和偏移量。利用第二变换信息，得到目标变换参数。
本公开实施例中，第一参考焦距为两个。其中，两个第一参考焦距的第一变换信息包括较大的第一参考焦距的第一缩放系数和第一偏移量，以及较小的第一参考焦距的第二缩放系数和第二偏移量。
具体地，基于第一变换信息，得到目标焦距与目标预设焦距之间目标模态图像的第二变换信息的方式可以是获取目标焦距与较小参考焦距之间的第一焦距差以及两个第一参考焦距之间的第二焦距差。其中，较小参考焦距为两个第一参考焦距中的较小值。利用第一变换信息中的缩放系数、第一焦距差以及第二焦距差，得到第二变换信息中的缩放系数。具体地，将第一焦距差与系数差的乘积与第二焦距差之间的商加上第二缩放系数，得到第二变换信息中的缩放系数。其中，系数差为第一缩放系数和第二缩放系数之差。利用第一变换信息中的偏移量、第一焦距差以及第二焦距差，得到第二变换信息中的偏移量。具体地，将第一焦距差与偏移差的乘积与第二焦距差之间的商加上第二偏移量，得到第二变换信息中的偏移量。其中，偏移差为第一偏移量和第二偏移量之差。
其中，在获得各焦距下同一模态的图像与预设焦距下的图像之间的缩放系数以及偏移量之后，利用分段线性拟合的方式分别拟合第一模态的图像/第二模态的图像中焦距与缩放系数、偏移量之间的关系。即，拟合第一模态下各焦距与缩放系数的关系、各焦距与横向和/或纵向方向上的偏移量之间的关系，以及拟合第二模态下各焦距与缩放系数的关系、各焦距与横向和/或纵向方向上的偏移量之间的关系。其中，这里的缩放系数以及偏移量均是针对目标预设焦距而言，并非相邻焦距之间缩放系数以及偏移量。通过拟合不同模态下各焦距与缩放系数、偏移量之间的关系，使得在后续不同焦距下的不同模态的图像之间的配准过程中能够较快获取得到配准参数，无需重复计算，提高了配准效率。通过拟合焦距与缩放系数、偏移量之间的关系后得到以下计算目标缩放系数以及目标偏移量的公式。
具体地，计算目标变换参数中的缩放系数的公式如下：
S＝Sn+(frandom-fn)*(Sn+1-Sn)/(fn+1-fn)
其中，S为目标变换参数中的缩放系数，Sn为较小的第一参考焦距的第二缩放系数，frandom为目标焦距，fn为较小的第一参考焦距，Sn+1为较大的第一参考焦距的第一缩放系数，fn+1为较大的第一参考焦距。
计算目标变换参数中的偏移量的公式如下：
t＝tn+(frandom-fn)*(tn+1-tn)/(fn+1-fn)
其中，t为目标变换参数中的偏移量，tn为较小的第一参考焦距的第二偏移量，tn+1为较大的第一参考焦距的第一偏移量，fn为较大的第一参考焦距，fn+1为较大的第一参考焦距。其中，偏移量可以是横向或纵向偏移量，若计算的目标变换参数中的偏移量为横向偏移量，则第一偏移量和第二偏移量也对应为第一和第二横向偏移量，若计算的目标变换参数中的偏移量为纵向偏移量，则第一偏移量和第二偏移量也对应为第一和第二纵向偏移量。
上述两个公式中，fn<frandom<fn+1。
利用计算得到的偏移量和缩放系数得到目标变换参数。其中，目标焦距为第一焦距时，目标模态为第一模态，目标变换参数即为第一变换参数。目标焦距为第二焦距时，目标模态为第二模态，目标变换参数为第二变换参数。
计算的第一或第二变换参数的形式可以是：
其中，T1是第一变换参数，T2是第二变换参数。s1是组成第一变换参数的缩放系数、tx1是组成第一变换参数的横向方向上的偏移量，ty1是组成第一变换参数的纵向方向上的偏移量。s2是组成第二变换参数的缩放系数、tx2是组成第二变换参数的横向方向上的偏移量，ty2是组成第二变换参数的纵向方向上的偏移量。
其中，获取预设焦距下第一模态图像和第二模态图像之间的第三变换参数的方式可以是：首先，获取第一预设焦距下的第三图像和第二预设焦距下的第四图像。其中，第三图像为第一模态图像，第四图像为第二模态图像。具体地，第三图像和第四图像均是针对同一场景拍摄得到，例如，第三图像和第四图像均是针对某一建筑物得到。其次，确定第三图像和第四图像中的若干匹配点对。其中，匹配点对是利用预设匹配算法匹配得到的，或者是基于用户分别在第三图像和第四图像中选择的特征点确定的。其中，预设匹配算法可以是上述SURF算法，当然，本领域中进行特征匹配的方法均可使用，预设匹配算法此处不做具体规定。其中，若干对可以是四对及以上。最后，利用若干匹配点对，得到第三变换参数。其中，得到的第三变换参数为单应性矩阵，其中，矩阵的大小为3*3。其中，单应性矩阵一共包含8个自由度。其中，第三变换参数的形式如下：
其中，T3指的是第三变换参数，第三变换参数中各因子可通过第三图像和第四图像进行特征匹配之后各特征点之间的对应关系求解得到，具体求解过程此处不进行过多叙述。
其中，第三变换参数的求取可以是在进行本次图像配准以前，即第三变换参数可以作为本次图像配准的已知量。具体地，固定图像配准过程中的预设焦距，例如，固定预设焦距为拍摄第一模态图像的拍摄设备的基础焦距，以及拍摄第二模态图像的拍摄设备的基础焦距。因为拍摄设备的基础焦距一般不会发生变换，则这两个拍摄设备在基础焦距下拍摄得到的第一模态图像和第二模态图像之间的第三变换参数一般不会发生变换。因此，只要设备的基础焦距固定，则第三变换参数仅需要求解一次，求解完成之后即可无限次直接使用。通过此种方式无需在每次图像配准过程中都对第三变换参数进行求解，提高了图像配准效率。
其中，利用第一变换参数、第二变换参数和第三变换参数，对第一图像和第二图像进行配准的方式可以是将第一变换参数、第二变换参数以及第三变换参数累乘作为第一图像与第二图像之间的配准参数。
即，最终第一图像与第二图像之间的配准参数为T1*T2*T3。其中，通过使用第一图像上任一点的齐次坐标与最终的配准参数相乘，即可得到对应像素点在第二图像上的齐次坐标。通过上述方案能够将第一图像任意焦距上的一个像素点，准确映射到第二图像任意焦距上的一点，从而实现第一图像与第二图像的配准。
上述方案，在实现不同模态的第一图像和第二图像之间的配准的过程中，通过获取不同焦距下同一模态之间的变换参数以及预设焦距下不同模态之间的变换参数，使得可以将第一图像与同一模态下的预设焦距进行配准，再与预设焦距的另一模态的图像进行配准，然后通过第二变换参数与第二图像进行配准，通过上述链式配准方式，可实现不同模态的第一图像和第二图像之间的配准，而且无论实现何种焦距下不同模态的图像之间的配准，均只需要进行在预设焦距下不同模态的图像之间的单次配准，提高配准结果的准确度。
其中，图像配准方法的执行主体可以是图像配准装置，例如，图像配准方法可以由摄像设备、终端设备或服务器或其它处理设备执行，其中，终端设备可以为用户设备(UserEquipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(PersonalDigital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该图像配准方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
请参阅图4，图4是本申请图像配准装置一实施例的结构示意图。图像配准装置40包括图像获取模块41，变换参数获取模块42以及配准模块43。图像获取模块41，用于获取第一图像和第二图像，其中，所述第一图像为第一模态图像，所述第二图像为第二模态图像；变换参数获取模块42，用于获取不同焦距下所述第一模态图像之间的第一变换参数、不同焦距下所述第二模态图像之间的第二变换参数、以及预设焦距下所述第一模态图像和第二模态图像之间的第三变换参数；配准模块43，用于利用所述第一变换参数、第二变换参数和第三变换参数，对所述第一图像和第二图像进行配准。
具体图像配准装置40中各个模块的作用如第一个实施例所述，此处不再赘述。
上述方案，在实现不同模态的第一图像和第二图像之间的配准的过程中，通过获取不同焦距下同一模态图像之间的变换参数以及预设焦距下不同模态图像之间的变换参数，使得可以将第一图像与同一模态下的预设焦距进行配准，再与预设焦距的另一模态的图像进行配准，然后通过第二变换参数与第二图像进行配准，通过上述链式配准方式，可实现不同模态的第一图像和第二图像之间的配准，而且无论实现何种焦距下不同模态的图像之间的配准，均只需要预先进行在预设焦距下不同模态的图像之间的单次配准，提高配准结果的准确度。
请参阅图5，图5是本申请电子设备一实施例的结构示意图。电子设备50包括存储器51和处理器52，处理器52用于执行存储器51中存储的程序指令，以实现上述任一图像配准方法实施例中的步骤。在一个具体的实施场景中，电子设备50可以包括但不限于：微型计算机、台式电脑、服务器，此外，电子设备50还可以包括笔记本电脑、平板电脑等移动设备，在此不做限定。当然，电子设备还可以是基站。
具体而言，处理器52用于控制其自身以及存储器51以实现上述任一图像配准方法实施例中的步骤。处理器52还可以称为CPU(Central Processing Unit，中央处理单元)。处理器52可能是一种集成电路芯片，具有信号的处理能力。处理器52还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application SpecificIntegrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器52可以由集成电路芯片共同实现。
上述方案，在实现不同模态的第一图像和第二图像之间的配准的过程中，通过获取不同焦距下同一模态图像之间的变换参数以及预设焦距下不同模态图像之间的变换参数，使得可以将第一图像与同一模态下的预设焦距进行配准，再与预设焦距的另一模态的图像进行配准，然后通过第二变换参数与第二图像进行配准，通过上述链式配准方式，可实现不同模态的第一图像和第二图像之间的配准，而且无论实现何种焦距下不同模态的图像之间的配准，均只需要预先进行在预设焦距下不同模态的图像之间的单次配准，提高配准结果的准确度。
请参阅图6，图6是本申请计算机可读存储介质一实施例的结构示意图。计算机可读存储介质60存储有能够被处理器运行的程序指令61，程序指令61用于实现上述任一图像配准方法实施例中的步骤。
上述方案，在实现不同模态的第一图像和第二图像之间的配准的过程中，通过获取不同焦距下同一模态图像之间的变换参数以及预设焦距下不同模态图像之间的变换参数，使得可以将第一图像与同一模态下的预设焦距进行配准，再与预设焦距的另一模态的图像进行配准，然后通过第二变换参数与第二图像进行配准，通过上述链式配准方式，可实现不同模态的第一图像和第二图像之间的配准，而且无论实现何种焦距下不同模态的图像之间的配准，均只需要预先进行在预设焦距下不同模态的图像之间的单次配准，提高配准结果的准确度。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
Claims (13)
1.一种图像配准方法，其特征在于，包括：
获取第一图像和第二图像，其中，所述第一图像为第一模态图像，所述第二图像为第二模态图像；以及
获取不同焦距下所述第一模态图像之间的第一变换参数、不同焦距下所述第二模态图像之间的第二变换参数、以及预设焦距下所述第一模态图像和第二模态图像之间的第三变换参数；
利用所述第一变换参数、第二变换参数和第三变换参数，对所述第一图像和第二图像进行配准。
2.根据权利要求1所述的方法，其特征在于，所述第一变换参数和第二变换参数均是基于所述不同焦距下的图像之间的缩放系数和至少一个方向的偏移量得到的；
和/或，所述第一图像的拍摄焦距为第一焦距，所述第二图像的拍摄焦距为第二焦距；所述第一变换参数为所述第一焦距到第一预设焦距下所述第一模态图像的变换参数，所述第二变换参数为第二预设焦距到所述第二焦距下所述第二模态图像的变换参数，所述第三变换参数为所述第一预设焦距下所述第一模态图像与第二预设焦距下所述第二模态图像之间的变换参数。
3.根据权利要求2所述的方法，其特征在于，所述获取不同焦距下所述第一模态图像之间的第一变换参数，或获取不同焦距下所述第二模态图像之间的第二变换参数，包括：
以第一焦距为目标焦距、第一预设焦距为目标预设焦距、第一模态图像为目标模态图像、第一变换参数为目标变换参数，或者，以第二焦距为目标焦距、第二预设焦距为目标预设焦距、第二模态图像为目标模态图像、第二变换参数为目标变换参数；
从参考焦距集中选出至少一个第一参考焦距，其中，所述第一参考焦距与所述目标焦距之差小于预设差值；
对于每个所述第一参考焦距，获取所述第一参考焦距与目标预设焦距之间所述目标模态图像的第一变换信息；
基于所述第一变换信息，得到所述目标变换参数。
4.根据权利要求3所述的方法，其特征在于，所述至少一个第一参考焦距为所述参考焦距集中最接近所述目标焦距且不为所述目标焦距的两个参考焦距；
和/或，所述参考焦距集中每相邻两个参考焦距之间的差值小于或等于预设焦距步长；
和/或，在所述目标变换参数为第一变换参数的情况下，所述第一变换信息为由所述第一参考焦距到第一预设焦距下所述第一模态图像的变换信息，在所述目标变换参数为第二变换参数的情况下，所述第一变换信息为由所述第二预设焦距到第一参考焦距下所述第二模态图像的变换信息。
5.根据权利要求3所述的方法，其特征在于，所述基于所述第一变换信息，得到所述目标变换参数，包括：
基于所述第一变换信息，得到所述目标焦距与目标预设焦距之间目标模态图像的第二变换信息，其中，所述第一变换信息和第二变换信息均包括缩放系数和偏移量；
利用所述第二变换信息，得到所述目标变换参数。
6.根据权利要求5所述的方法，其特征在于，所述第一参考焦距为两个；所述基于所述第一变换信息，得到所述目标焦距与目标预设焦距之间目标模态图像的第二变换信息，包括：
获取所述目标焦距与较小参考焦距之间的第一焦距差以及所述两个第一参考焦距之间的第二焦距差，其中，所述较小参考焦距为所述两个第一参考焦距中的较小值；
利用所述第一变换信息中的缩放系数、所述第一焦距差以及所述第二焦距差，得到第二变换信息中的缩放系数；以及
利用所述第一变换信息中的偏移量、所述第一焦距差以及所述第二焦距差，得到第二变换信息中的偏移量。
7.根据权利要求6所述的方法，其特征在于，所述两个第一参考焦距的第一变换信息包括较大的第一参考焦距的第一缩放系数和第一偏移量，以及较小的第一参考焦距的第二缩放系数和第二偏移量；
所述利用所述第一变换信息中的缩放系数、所述第一焦距差以及所述第二焦距差，得到第二变换信息中的缩放系数，包括：
将所述第一焦距差与系数差的乘积与所述第二焦距差之间的商加上所述第二缩放系数，得到所述第二变换信息中的缩放系数，其中，所述系数差为所述第一缩放系数和第二缩放系数之差；
所述利用所述第一变换信息中的偏移量、所述第一焦距差以及所述第二焦距差，得到第二变换信息中的偏移量，包括：
将所述第一焦距差与偏移差的乘积与所述第二焦距差之间的商加上所述第二偏移量，得到第二变换信息中的偏移量，其中，所述偏移差为所述第一偏移量和第二偏移量之差。
8.根据权利要求3所述的方法，其特征在于，所述获取所述第一参考焦距与目标预设焦距之间所述目标模态图像的第一变换信息，包括：
将第一参考焦距、目标预设焦距、以及所述参考焦距集中位于所述第一参考焦距与所述目标预设焦距之间的参考焦距，作为第二参考焦距；
利用每相邻所述第二参考焦距下的所述目标模态图像之间的第一参考变换参数，得到第二参考变换参数；其中，所述第二参考变换参数为所述第一参考焦距与目标预设焦距之间所述目标模态图像的变换参数；
基于所述第二参考变换参数，得到所述第一变换信息。
9.根据权利要求8所述的方法，其特征在于，所述利用每相邻所述第二参考焦距下的所述目标模态图像之间的第一参考变换参数，得到第二参考变换参数，包括：
若所述目标模态图像为第一模态图像，则将所述第二参考焦距按照从小到大顺序排序，若所述目标模态图像为第二模态图像，则将所述第二参考焦距按照从大到小顺序排序；
将所述排序下每相邻所述第二参考焦距对应的所述第一参考变换参数进行累乘，得到所述第二参考变换参数，其中，所述相邻第二参考焦距对应的所述第一参考变换参数为由所述相邻第二参考焦距中的前一第二参考焦距到后一第二参考焦距下目标模态图像的变换参数。
10.根据权利要求2所述的方法，其特征在于，所述获取预设焦距下所述第一模态图像和第二模态图像之间的第三变换参数，包括：
获取所述第一预设焦距下的第三图像和所述第二预设焦距下的第四图像，其中，所述第三图像为第一模态图像，所述第四图像为第二模态图像；
确定所述第三图像和第四图像中的若干匹配点对；其中，所述匹配点对是利用预设匹配算法匹配得到的，或者是基于用户分别在所述第三图像和第四图像中选择的特征点确定的；
利用所述若干匹配点对，得到所述第三变换参数。
11.根据权利要求1所述的方法，其特征在于，所述利用所述第一变换参数、第二变换参数和第三变换参数，对所述第一图像和第二图像进行配准，包括：
将所述第一变换参数、第二变换参数以及第三变换参数累乘，作为所述第一图像与第二图像之间的配准参数。
12.一种电子设备，其特征在于，包括存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现权利要求1至11任一项所述的方法。
13.一种计算机可读存储介质，其上存储有程序指令，其特征在于，所述程序指令被处理器执行时实现权利要求1至11任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110245819.4A CN112991411B (zh) | 2021-03-05 | 2021-03-05 | 图像配准方法和设备、存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110245819.4A CN112991411B (zh) | 2021-03-05 | 2021-03-05 | 图像配准方法和设备、存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112991411A true CN112991411A (zh) | 2021-06-18 |
| CN112991411B CN112991411B (zh) | 2024-04-12 |
Family
ID=76353124
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110245819.4A Active CN112991411B (zh) | 2021-03-05 | 2021-03-05 | 图像配准方法和设备、存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112991411B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113393505A (zh) * | 2021-06-25 | 2021-09-14 | 浙江商汤科技开发有限公司 | 图像配准方法、视觉定位方法及相关装置、设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120250947A1 (en) * | 2011-03-30 | 2012-10-04 | Gil Abramovich | Apparatus and method for contactless high resolution handprint capture |
| WO2020088133A1 (zh) * | 2018-10-31 | 2020-05-07 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
| CN112200842A (zh) * | 2020-09-11 | 2021-01-08 | 深圳市优必选科技股份有限公司 | 一种图像配准方法、装置、终端设备及存储介质 |
-
2021
- 2021-03-05 CN CN202110245819.4A patent/CN112991411B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120250947A1 (en) * | 2011-03-30 | 2012-10-04 | Gil Abramovich | Apparatus and method for contactless high resolution handprint capture |
| WO2020088133A1 (zh) * | 2018-10-31 | 2020-05-07 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
| CN112200842A (zh) * | 2020-09-11 | 2021-01-08 | 深圳市优必选科技股份有限公司 | 一种图像配准方法、装置、终端设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 胡永利;王亮;刘蓉;张丽;段福庆;: "一种从粗到精的红外和可见光卫星图像配准方法", 光谱学与光谱分析, no. 11 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113393505A (zh) * | 2021-06-25 | 2021-09-14 | 浙江商汤科技开发有限公司 | 图像配准方法、视觉定位方法及相关装置、设备 |
| CN113393505B (zh) * | 2021-06-25 | 2023-11-03 | 浙江商汤科技开发有限公司 | 图像配准方法、视觉定位方法及相关装置、设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112991411B (zh) | 2024-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021115071A1 (zh) | 单目内窥镜图像的三维重建方法、装置及终端设备 | |
| CN109474780B (zh) | 一种用于图像处理的方法和装置 | |
| Josephson et al. | Pose estimation with radial distortion and unknown focal length | |
| KR101429371B1 (ko) | 장면 내에서의 정확한 피사체 거리 및 상대적인 피사체 거리를 추정하는 알고리즘 | |
| CN111457886B (zh) | 距离确定方法、装置及系统 | |
| CN109409147B (zh) | 一种条码识别方法和装置 | |
| CN112348863B (zh) | 图像对齐方法、图像对齐装置及终端设备 | |
| CN112802124A (zh) | 多台立体相机的标定方法及装置、电子设备及存储介质 | |
| CN107909544B (zh) | 一种图像校正方法及系统 | |
| JP2015148532A (ja) | 距離計測装置、撮像装置、距離計測方法、およびプログラム | |
| US20120162387A1 (en) | Imaging parameter acquisition apparatus, imaging parameter acquisition method and storage medium | |
| KR20100065918A (ko) | 사진의 촬영 위치 및 방향 정보 태깅 방법과 그 장치 | |
| JP6641729B2 (ja) | ラインセンサカメラのキャリブレーション装置及び方法 | |
| CN112085771A (zh) | 图像配准方法、装置、终端设备及计算机可读存储介质 | |
| CN112584034A (zh) | 图像处理方法、图像处理装置及应用其的电子设备 | |
| CN111279393A (zh) | 相机标定方法、装置、设备及存储介质 | |
| CN114640833A (zh) | 投影画面调整方法、装置、电子设备和存储介质 | |
| CN117053707A (zh) | 三维重建方法、装置和系统、三维扫描方法和三维扫描仪 | |
| CN113838151B (zh) | 相机标定方法、装置、设备及介质 | |
| CN112991411B (zh) | 图像配准方法和设备、存储介质 | |
| CN111402345A (zh) | 基于多目全景图像的模型生成方法及装置 | |
| CN105791659B (zh) | 图像处理方法和电子设备 | |
| CN106878598B (zh) | 处理方法及电子设备 | |
| CN111383264A (zh) | 一种定位方法、装置、终端及计算机存储介质 | |
| CN111260574B (zh) | 一种印章照片矫正的方法、终端及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20231018 Address after: Room 201, Building A, Integrated Circuit Design Industrial Park, No. 858, Jianshe 2nd Road, Economic and Technological Development Zone, Xiaoshan District, Hangzhou City, Zhejiang Province, 311225 Applicant after: Zhejiang Huagan Technology Co.,Ltd. Address before: No.1187 Bin'an Road, Binjiang District, Hangzhou City, Zhejiang Province Applicant before: ZHEJIANG DAHUA TECHNOLOGY Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |