CN107993258A - 一种图像配准方法及装置 - Google Patents
一种图像配准方法及装置 Download PDFInfo
- Publication number
- CN107993258A CN107993258A CN201711184692.XA CN201711184692A CN107993258A CN 107993258 A CN107993258 A CN 107993258A CN 201711184692 A CN201711184692 A CN 201711184692A CN 107993258 A CN107993258 A CN 107993258A
- Authority
- CN
- China
- Prior art keywords
- group
- characteristic point
- msub
- mrow
- registration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 81
- 230000009466 transformation Effects 0.000 claims abstract description 41
- 238000001931 thermography Methods 0.000 claims abstract description 37
- 238000000605 extraction Methods 0.000 claims description 28
- 238000006243 chemical reaction Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 12
- 230000008859 change Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000002156 mixing Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 22
- 238000004422 calculation algorithm Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 11
- 238000012545 processing Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 6
- 238000005259 measurement Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000005314 correlation function Methods 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 238000011524 similarity measure Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000005352 clarification Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000013481 data capture Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000036039 immunity Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了一种图像配准方法及装置，包括：获取热成像图像的第二组特征点；将第二组特征点进行配准变换后获得第三组特征点，其中，配准变换是根据预先获取的配准参数进行变换的，可见光图像的图像获取装置在每一个焦距下有一个对应该焦距的配准参数，每一个焦距下对应的配准参数是根据配准参数与焦距的线性关系来确定的；确定第三组特征点中位置与可见光图像的特征点相同的第四组特征点；根据第四组特征点确定配准参数后，根据该配准参数配准可见光图像以及热成像图像。采用本发明能够在可见光相机变焦过程中可实现可见光图像与热成像的实时配准，实时输出可见光图像与热成像融合图像。
Description
技术领域
本发明涉及图像处理技术领域，特别涉及一种图像配准方法及装置。
背景技术
图像配准(Image Registration)技术是将相同地区，在不同视角、不同时刻、不同传感器或不同光照条件拍摄的图像进行空间对准的过程，该技术是异源空间数据获取和集成过程中极为关键的步骤，寻找最佳的几何变换参数是图像配准的最终目的。可见光传感器因其获取的图像分辨率非常高，并且所获取的图像与人目视效果一致，一直是遥感领域中重要的传感器之一。但可见光影像受云层状况、成像时间等天气条件影响较大。与可见光传感器相比，红外传感器具有被动工作方式、抗干扰性强、目标识别能力强、全天候工作等特点。另一方面由于总体上来说红外图像具有对比度低、边缘模糊、信噪比低、成分复杂等缺点，受大气热辐射、远作用距离、探测器噪声等因素影响，成像传感器探测到的目标的局部细节的灰度差异不明显，特别是在检测到的信号相对较弱、背景有非平稳起伏干扰的情况下，目标边缘有可能被大量杂波、噪声所淹没，从而导致图像信噪比降低、形状和结构的信息不足，因此利用两者互补的特性，将两类图像进行融合，可以获得地物目标更为本质、更为客观的特征，从而可以为目标识别、目标分类、目标提取及解译提供更为准确的依据，而图像融合的前提为图像配淮，因而研究有效的可见光与红外图像配准方法具有很现实的意义。
对于可见光影像和红外影像的配准，由于其成像机理差异很大，使得可见光影像和红外影像的配准存在很多问题及难点。可见光影像和红外影像截然不同的成像机理也造成两类影像同名特征的提取以及配准难度的极大增加，而可见光影像与红外影像配准技术也成为二者信息集成的“瓶颈”。这也使得可见光影像与红外影像的配准问题成为目前的研究焦点。传统的影像配准方法并不适合于可见光与红外影像的配准问题中，需要对其进行改进。目前可见光影像和红外影像配准方法大致可分为两类：基于区域的配准方法和基于特征的配准方法。
(1)基于区域的配准方法：
基于区域的配准方法，无需对源图像进行复杂的预处理，该方法以整幅图像或局部区域的灰度信息为依据，建立待配准图像和基准图像之间的相似度量，利用某种搜索算法，寻找出相似度量达到最优值时的变换模型中的参数值，因此也被称为直接配准法，其特点是实现起来比较简单，并且具有较高的配准精度。基于图像灰度的图像配准方法，针对具体问题选取不同的相似性度量准则，常用的相似性度量准则有：互相关算法、序贯相似性检测算法和互信息相似性度量淮则。
互相关算法是1982年提出的最早的基于区域灰度的图像配准方法，该方法的原理是：采用一幅图像X作为源图像和一个尺寸小于X的模板T，然后定义表征模板在每一个平移位置与源图像X的相似度的交叉相关函数F，模板T以某一平移量在源图像X中移动，当交叉相关函数F出现峰值时，即模板T与源图像X已经配准了。但是采用这种方法时需要非常巨大的运算量才能搜索出最佳匹配位置。
为了减少搜索的运算量，加快搜索最佳匹配位置的效率，后来出现了基于SSDA(Sequential Similiarity Detection Algorithm，序贯相似性检测算法)的算法。基于序贯相似性的检测的算法与互相关算法相比，有两方面的优势：一方面采用了简单的相似性度量准则E(u，v)，因为新准则不需要大量的乘法运算，所以省去了很大的运算量；另一方面采用了序贯搜索策略，新准则的实质误差绝对值的累加和，在图像能够完成匹配的位置区域，E(u，v)的值增长速度非常缓慢，而在不能够完成匹配的位置区域，E(u，v)的值增长速度非常快，所以可以采用一个误差阈值，当累积误差超过这个阈值时，则在相应位置提前停止迭代运算，转到下一个位置再计算E(u，v)，由于满足匹配条件的位置只有少量的几个点，所以序贯搜索策略能够提高搜索速度，极大的节省了搜索时间。
基于互信息相似性度量准则的配准方法可以克服对图像灰度变化和图像本身的畸变的适应能力较弱的缺点。互信息最初是用来比较丙幅图像之间的统计相关性或者是一幅图中包含另一幅图像信息的多少。首先将两幅图像的灰度信息看做具有独立样本空间的均匀随机过程，分别设两幅图像灰度信息的随机变量是A和B，则两幅图像之间的互信息表示为：
MI(A，B)＝H(A)+H(B)-H(A，B)
其中H(A)、H(B)和H(A，B)分别为随机变量A的熵、随机变量B的熵、A和B的联合熵。
两幅图像之间存在的相关性最大时，联合熵达到最小值，互信息量将是最大值，即两幅图像已经配准。基于互信息的相似性度量准则的方法没有要求图像中的灰度值为线性关系，所以能够解决多源图像的配准的问题，得到了广泛的应用。但该方法是建立在概率密度函数估计的基础之上，所以概率密度函数的估计是其前提和主要难点。
基于待配准图像灰度信息的配准方法主要以图像中的灰度信息为依据开展，对于同一类传感器获取的图像，两幅图像中的灰度信息表现出较强的相关性，该方法能够取得较好的配准效果，但是针对可见光与红外图像等其它异源传感器获取的异源图像，由于在成像机理上存在差异，在图像中呈现出的灰度信息也具有不同程度的差异，因此此类方法针对可见光与红外图像只局限与灰度信息相关性大的可见光与近红外图保。
(2)基于特征的配准方法：
基于特征的图像配准方法是目前异源影像最常用的图像配准算法之一，该算法需要提取待配准图像中的点、线、区域等特征信息，不需要其它复杂信息，这样使得参与运算的信息大大减少，从而有效的提高了算法效率，并且该算法只需要特征信息，对图像灰度变化具有一定的鲁棒性。但是，正是由于该算法只采用了图像一小部分的特征信息，所以这种算法对特征提取和特征匹配的精度及准确性要求非常高，对错误非常敏感。根据选取的特征信息不同，把基于特征的图像配准方法划分为三大类：特征点、特征区域、特征边缘。
特征点是最常用的图像特征信息之一，一般选取的特征点是相对于其邻域表现出来的具有某种奇异性的像素点。特征点往往容易被提取到，但是特征点所含信息量相对较少，只能反映出其在图像中的位置坐标信息，所以在两幅图像中寻找同名点是特征点配准方法的关键所在。彭逸月、何伟基等人提出了一种基于特征点的红外和可见光图像的配准方法，该方法首先根据边缘图像的结构分别提取红外图像特征点和可见光图像特征点，其次根据结合了形状结构和灰度、梯度信息配准准则寻找两幅图像的对应特征点，最后利用三对特征点根据变换模型得到图像的缩放倍率、旋转角度和平移坐标，从而实现了两幅图像的配准。
在图像中寻找某些明显的区域信息作为特征区域，然而在实际应用中寻找到特征区域后，采用最多的还是区域的形心点，所以这类算法要求特征区域提取的精确性非常高。陈洁、付冬梅等人提出了一种基于图像轮廓特征的红外与可见光图像配准方法，该方法首先通过设置目标过滤器来提取明显的轮廓，再利用部分Hausdorff距离对轮廓进行匹配，计算出匹配轮廓对的面积和质心，并以此作为配准依据来对源图像进行配准。
图像中另一明显的特征就是边缘特征，图像中的边缘特征比较容易提取，因此这类方法的鲁棒性较强，适用范围较广，但是此类方法对边缘特征提取要求较高，并且要求边缘特征信息全部用数学语言表述出来也比较困难。针对可见光与红外图像的配准问题，王阿妮、马彩文等人在传统的基于边缘相关匹配配准的基础上提出了一种改进方法，该方法首先手动选取待配准图像与参考图像中包含同一曰标的子图像，接着利用Canny算子提取子图像的边缘和子图像的边缘相关性，求取出子图像间的仿射变换模型参数，再进一步修正该参数，得到原图像之间的仿射变换模型，然后对待配准图像进行仿射变换及双线性插值，从而实现图像配准。
综上所述针对可见光与红外影像的配准问题，基于特征的配准方法较基于区域的配准方法具有很好的鲁棒性，故基于图像配准信息的配准方法一直是异源图像配准领域研究的热点。但由于两类图像成像原理不同表现在灰度上存在较大差异，故采用提取特征信息进行图像配准是一种行之有效的方法，但大多数情况下图像的特征信息提取不准确从而导致后续配准过程出现较大误差，这就需要在异源图像提取特征信息前采用一些手段对图像进行处理如图像分割等，使得两幅图像中更容易提取出有效的特征信息。
基于此，现有技术提供了一种基于多尺度分割和SIFT(Scale-invariant featuretransform，尺度不变特征变换)的可见光与红外图像配准方法，方法主要包括：
步骤1，对可见光图像和红外图像分别进行预处理，其中对可见光图像进行高斯滤波处理，对红外图像进行线性增强处理；
步骤2，设定初始参数值包括尺度因子、紧凑因子和形状因子，对预处理后的可见光和红外图像分别进行多尺度图像分割；
步骤3，对多尺度图像分割后的可见光与红外图像进行SIFT配准，找出同名点选择变换模型计算参数对源图像进行配准；
步骤4和步骤5，判断：若可见光与红外图像未配准或者配准的精度没有满足设定的阈值要求，则返回步骤2对多尺度图像分割方法的参数值进行调整；直至可见光与红外图像的配准精度满足设定的阈值要求，停止迭代，输出配准结果。
但现有技术的不足在于：
1、提取SIFT特征点运算量大，难以满足实时性要求。
2、由于热成像的纹理不丰富，且由于热成像反应的物体的温度信息，与可见光图像上的特征点不是一一对应的，所以在热成像和可见光图像上上提取到的SIFT特征点对较稀疏。稀疏的特征点加大了后续的匹配难度并降低了匹配精度，所以选取SIFT特征点来进行配准的结果不理想。
发明内容
本发明提供了一种图像配准方法及装置，用以快速进行图像配准。
本发明实施例中提供了一种图像配准方法，包括：
获取热成像图像的第二组特征点；
将第二组特征点进行配准变换后获得第三组特征点，其中，配准变换是根据预先获取的配准参数进行变换的，可见光图像的图像获取装置在每一个焦距下有一个对应该焦距的配准参数，每一个焦距下对应的配准参数是根据配准参数与焦距的线性关系来确定的，该配准参数是该焦距下在可见光图像上的像素点与在热成像图像上与其对应的像素点之间的位置对应关系；
确定第三组特征点中位置与可见光图像的特征点相同的第四组特征点；
根据第四组特征点确定配准参数后，根据该配准参数配准可见光图像以及热成像图像。
实施中，第四组特征点是从第三组特征点中处于可见光图像分辨率内的特征点中确定的。
实施中，第一组特征点是利用sobel算子提取的，和/或，第二组特征点是利用sobel算子提取的。
实施中，获取配准参数包括：
确定焦距为f1；
在可见光图像和热成像上选取两对对应点pt1(x1，y1)和pt1p(x1p，y1p)，pt2(x2，y2)和pt2p(x2p，y2p)；
按如下方式确定配准参数：
tx＝x1p-(zoom×cosθ×x1-sinθ×y1)；
ty＝y1p-(zoom×sinθ×x1+cosθ×y1)。
实施中，在确定各焦距下对应的配准参数时，包括：
确定最低倍率的焦距对应的配准参数，以及最高倍率的焦距对应的配准参数；
按预设步长确定最低倍率与最高倍率之间的各焦距对应的配准参数；
根据各焦距对应的配准参数之间的关系确定出最低倍率与最高倍率之间的任一焦距对应的配准参数。
实施中，在确定获取可见光图像的图像获取装置的焦距变化时，获取的可见光图像的第一组特征点是获取变化后的该焦距下的可见光图像的第一组特征点。
实施中，进一步包括：
将第二组特征点进行配准变换后获得第三组特征点时，获得多个配准参数对应的多组第三组特征点；
确定每一组第三组特征点中的第四组特征点；
在多组第四组特征点中，根据与第一组特征点的匹配度选取一组第四组特征点来确定配准参数，所述第一组特征点是从可见光图像上获取的。
实施中，进一步包括：
确定所述在多组第四组特征点中根据匹配度选取的一组第四组特征点，所对应的焦距；
以该焦距为准按照预设步长确定选取的焦距范围；
确定该焦距范围内各焦距对应的配准参数；
在将第二组特征点进行配准变换后获得第三组特征点时，以该焦距范围内各焦距对应的配准参数为准获得多个配准参数对应的多组第三组特征点；
确定每一组第三组特征点中的第四组特征点；
在多组第四组特征点中，根据匹配度选取一组第四组特征点来确定配准参数后，根据该配准参数配准可见光图像以及热成像图像。
实施中，根据匹配度选取一组第四组特征点时，是选择匹配度最高的一组，所述匹配度为：处于可见光图像分辨率内以及位置与可见光图像的特征点相同的第四组特征点与处于可见光图像分辨率内的第四组特征点之比。
本发明实施例中提供了一种图像配准装置，包括：
获取模块，用于获取热成像图像的第二组特征点；
变换模块，用于将第二组特征点进行配准变换后获得第三组特征点，其中，配准变换是根据预先获取的配准参数进行变换的，可见光图像的图像获取装置在每一个焦距下有一个对应该焦距的配准参数，每一个焦距下对应的配准参数是根据配准参数与焦距的线性关系来确定的，该配准参数是该焦距下在可见光图像上的像素点与在热成像图像上与其对应的像素点之间的位置对应关系；
确定模块，用于确定第三组特征点中位置与可见光图像的特征点相同的第四组特征点；
配准模块，用于根据第四组特征点确定配准参数后，根据该配准参数配准可见光图像以及热成像图像。
实施中，确定模块进一步用于从第三组特征点中处于可见光图像分辨率内的特征点中确定出第四组特征点。
实施中，获取模块进一步用于利用sobel算子提取第一组特征点，和/或，利用sobel算子提取第二组特征点。
实施中，变换模块进一步用于在获取配准参数时包括：
确定焦距为f1；
在可见光图像和热成像上选取两对对应点pt1(x1，y1)和pt1p(x1p，y1p)，pt2(x2，y2)和pt2p(xzp，y2p)；
按如下方式确定配准参数：
tx＝x1p-(zoom×cosθ×x1-sinθ×y1)；
ty＝y1p-(zoom×sinθ×x1+cosθ×y1)。
实施中，变换模块进一步用于在确定各焦距下对应的配准参数时，包括：
确定最低倍率的焦距对应的配准参数，以及最高倍率的焦距对应的配准参数；
按预设步长确定最低倍率与最高倍率之间的各焦距对应的配准参数；
根据各焦距对应的配准参数之间的关系确定出最低倍率与最高倍率之间的任一焦距对应的配准参数。
实施中，获取模块进一步用于在确定获取可见光图像的图像获取装置的焦距变化时，获取的可见光图像的第一组特征点是获取变化后的该焦距下的可见光图像的第一组特征点。
实施中，变换模块进一步用于在将第二组特征点进行配准变换后获得第三组特征点时，获得多个配准参数对应的多组第三组特征点；
确定模块进一步用于确定每一组第三组特征点中的第四组特征点；
配准模块进一步用于在多组第四组特征点中，根据与第一组特征点的匹配度选取一组第四组特征点来确定配准参数，所述第一组特征点是从可见光图像上获取的。
实施中，配准模块进一步用于：确定所述在多组第四组特征点中根据匹配度选取的一组第四组特征点，所对应的焦距；以该焦距为准按照预设步长确定选取的焦距范围；确定该焦距范围内各焦距对应的配准参数；
变换模块进一步用于在将第二组特征点进行配准变换后获得第三组特征点时，以该焦距范围内各焦距对应的配准参数为准获得多个配准参数对应的多组第三组特征点；
确定模块进一步用于确定每一组第三组特征点中的第四组特征点；
配准模块进一步用于在多组第四组特征点中，根据匹配度选取一组第四组特征点来确定配准参数后，根据该配准参数配准可见光图像以及热成像图像。
实施中，配准模块进一步用于在根据匹配度选取一组第四组特征点时，是选择匹配度最高的一组，所述匹配度为：处于可见光图像分辨率内以及位置与可见光图像的特征点相同的第四组特征点与处于可见光图像分辨率内的第四组特征点之比。
本发明有益效果如下：
在本发明提供的技术方案中，由于采用了配准参数进行变换后去确定配准参数，再利用该配准参数配准可见光图像以及热成像图像，而配准参数是预先根据配准参数与焦距的线性关系来确定的，也即，应用不同焦距下的可见光图像来初始化配准参数，因此能够快速的进行图像配准。
进一步的，由于特征点是利用sobel算子提取的，因此运算量小。
进一步的，针对焦距变化的情况，采用该方案，再进一步结合sobel算子提取，在运算量小的同时配准快速，因而能够在可见光相机变焦过程中可实现可见光图像与热成像的实时配准，实时输出可见光图像与热成像融合图像。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例中图像配准方法实施流程示意图；
图2为本发明实施例中可见光场景示意图；
图3为本发明实施例中热成像场景示意图；
图4为本发明实施例中配准参数线性关系示意图；
图5为本发明实施例中可见光场景特征点示意图；
图6为本发明实施例中热成像场景特征点示意图；
图7为本发明实施例中配准效果示意图；
图8为本发明实施例中图像配准装置结构示意图。
具体实施方式
下面结合附图对本发明的具体实施方式进行说明。
图1为图像配准方法实施流程示意图，如图所示，可以包括：
步骤101、获取可见光图像的第一组特征点，以及获取热成像图像的第二组特征点；
步骤102、将第二组特征点进行配准变换后获得第三组特征点，其中，配准变换是根据预先获取的配准参数进行变换的，可见光图像的图像获取装置在每一个焦距下有一个对应该焦距的配准参数，每一个焦距下对应的配准参数是根据配准参数与焦距的线性关系来确定的，该配准参数是该焦距下在可见光图像上的像素点与在热成像图像上与其对应的像素点之间的位置对应关系；
步骤103、确定第三组特征点中位置与可见光图像的特征点相同的第四组特征点；
步骤104、根据第四组特征点确定配准参数后，根据该配准参数配准可见光图像以及热成像图像。
首先获取可见光图像以及获取热成像图像。图2为可见光场景示意图，图3为热成像场景示意图，获取的可见光图像以及热成像图像分别如图2、图3所示。下面的实施中，也将以这两幅图片的配准进行说明。
另外还需要说明的是，实施中获取可见光图像的第一组特征点的目的是根据可见光图像及热成像图像上提取的特征点来计算匹配度，所以即要在可见光图像上提取特征点，也要在热成像上提取特征点。其主要是在下述的匹配度计算中使用，在步骤101中获取第一组特征点是更符合实践需要的实施方式，而并不意味着必须与获取第二组特征点同时获取。
在进行配准变换时，是根据预先获取的配准参数进行变换的，可见光图像的图像获取装置在每一个焦距下有一个对应该焦距的配准参数，每一个焦距下对应的配准参数是根据配准参数与焦距的线性关系来确定的，该配准参数是该焦距下在可见光图像上的像素点与在热成像图像上与其对应的像素点之间的位置对应关系。下面对配准参数以及线性关系的实施进行说明。
设有：图像中心点偏移参数tx，ty，旋转角度θ和放缩倍数zoom。
调节可见光相机的焦距为f1，将可见光图像设置在广角场景下，在可见光图像和热成像上选取两对对应点pt1(x1，y1)和pt1p(x1p，y1p)，pt2(x2，y2)和pt2p(x2p，y2p)。
其中，pt1和pt2是可见光图像上的点，pt1p和pt2p是热成像上的点。两对对应的意思是同一物体在两幅图像上的点。
通过带入以下方程可以得到配准参数(其中，下标f1表示是在焦距为f1下的参数)：zoom_f1，tx_f1，ty_f1，θ_f1。
tx＝x1p-(zoom×cosθ×x1-sinθ×y1) (3)
ty＝y1p-(zoom×sinθ×x1+cosθ×y1) (4)
然后，通过调节可见光相机焦距为f2，拉近可见光图像中物体的距离，再从可见光图像和热成像上再选取两对对应点。
按上述原理求得配准参数：zoom_f2，tx_f2，ty_f2，θ_f2。
图4为配准参数线性关系示意图，如图所示，经过大量试验验证，配准参数tx，ty，zoom是随着焦距线性变化的。
实施中选用这四个参数是因为四个参数是仿射模型的通用配准参数，但是也可以根据需要以及技术的不同采用其它通用配准参数来进行实施，只要各参数是随着焦距线性变化的即可。这四个参数仅用于教导本领域技术人员具体如何实施本发明，但不意味仅能使用这四个参数，实施过程中可以结合实践需要来确定相应的参数。
实施中，对于特征点的提取，第一组特征点可以是利用sobel算子提取的，和/或，第二组特征点是利用sobel算子提取的。
具体的，使用Sobel算子，是为了避免使用sift、surf等特征点提取算法，使得特征点的提取运算量小，进一步的，为了下一步的焦距变化时的处理，就可以在可见光相机变焦过程中实现可见光图像与热成像的实时配准，实时输出可见光图像与热成像融合图像。
进一步的，为了下一步的匹配处理，通过快速的在可见光图像与热成像上提取丰富的Sobel特征点并利用穷举配准参数结合精匹配和粗匹配方法来快速且精确地计算出可见光图像与热成像的变换模型参数。
图5为可见光场景特征点示意图，图6为热成像场景特征点示意图，利用sobel算子提取可见光图像和热成像的特征点，可见光图像和热成像的特征点分别如图5和图6。
下面开始对匹配的过程进行说明，为了便于说明中以及理解，将其粗略的划分为粗匹配与精匹配来说明，粗与精仅是为了划分说明，并不具有其字面的含义。
一、粗匹配。
在粗匹配操作过程中可认为旋转角度θ、图像中心点偏移参数tx，ty与zoom存在以下关系：
旋转角度与zoom存在以下关系：
由公式(5)-(8)可以看出配准参数都与放缩倍数zoom有关。
实施中，在确定各焦距下对应的配准参数时，可以包括：
确定最低倍率的焦距对应的配准参数，以及最高倍率的焦距对应的配准参数；
按预设步长确定最低倍率与最高倍率之间的各焦距对应的配准参数；
根据各焦距对应的配准参数之间的关系确定出最低倍率与最高倍率之间的任一焦距对应的配准参数。
具体的，可以以一定步长从可见光相机的最低倍率到最高倍率选取zoom序列，并计算出对应的tx，ty，θ序列。
这样可以通过每一组配准参数：zoom，tx，ty，θ，再通过下述公式(9)和(10)就可以计算出热成像的每一个特征点p(x，y)经过配准变换的对应点p′(x′，y′)。
x′＝(x-tx)×cosθ+(y-ty)×sinθ (9)
y′＝(y-ty)×cosθ+(x-tx)×sinθ (10)
此时，假设选取粗匹配操作下匹配度最高的配准参数并定义为zoom_fast，tx_fast，ty_fast，θ_fast。
假设有效特征点的个数为n，配准特征点的个数为fit，匹配度可定义为fit/n。具体如下：
粗匹配操作时，选取热成像上所有的特征点p(x，y)(也即：第二组特征点)，通过配准参数，得到变换后的对应点p′(x′，y′)(也即：第三组特征点)。如果对应点p′在可见光图像分辨率内，那么认为此特征点为有效特征点。如果同时对应点p′所在位置是可见光特征点，那么此点为配准特征点(也即：第四组特征点)。
针对匹配度，则为：根据匹配度选取一组第四组特征点时，是选择匹配度最高的一组，所述匹配度为：处于可见光图像分辨率内以及位置与可见光图像的特征点相同的第四组特征点与处于可见光图像分辨率内的第四组特征点之比。
进一步的，在该处实施中，第四组特征点是从第三组特征点中处于可见光图像分辨率内的特征点中确定的。选取处在分辨率内的点的目的在于增加匹配度的精确性。
对于实施中的分辨率是指图像的像素数目，比如分辨率为320*180代表图像横向有320个像素，竖向有180个像素。特征点处在分辨率内是指特征点的坐标在图像坐标范围内。比如热成像上的特征点经过变换后的坐标为(380，60)，由于380大于320，那么这个点是在分辨率外。
对于实施中所指的匹配度是测量两张图片重合程度的标准。但是也可以根据需要以及技术的不同采用其他表征方式来表达重合度，只要各参数是可以测量两张图片重合程度的的即可。匹配度仅用于教导本领域技术人员具体如何实施本发明，但不意味仅能使用实施例中所指的匹配度，实施过程中可以结合实践需要来确定相应的表征方式。
此时，即可在根据第四组特征点确定配准参数后，根据该配准参数配准可见光图像以及热成像图像。
也即，实施中选取匹配度最高时的配准参数。而配准参数是根据匹配度来选取的，匹配度是根据第四组以及第三组特征点的数量来计算的。
也即，在粗匹配过程中，可以进一步包括：
将第二组特征点进行配准变换后获得第三组特征点时，获得多个配准参数对应的多组第三组特征点；
确定每一组第三组特征点中的第四组特征点；
在多组第四组特征点中，根据与第一组特征点的匹配度选取一组第四组特征点来确定配准参数，所述第一组特征点是从可见光图像上获取的。
二、精匹配。
进一步的，还可以在选定的焦距下进行进一步的精确配准。假设选取粗匹配操作下匹配度最高的配准参数并定义为zoom_fast，tx_fast，ty_fast，θ_fast后，还可以进行如下操作：
选取范围在zoom_fast-winsize～zoom_fast+winsize之间且步长为10的zoom序列，根据序列中每一个zoom参数计算出tx，ty，然后选取范围在tx-winsize～tx+winsize的tx序列和范围在ty-winsize～ty+winsize之间的ty序列，针对每一组配准参数计算可见光图像与热成像的匹配度，选取匹配度最高的配准参数作为精匹配的结果，也是最终结果。图7为配准效果示意图，配准结果如图7所示。
具体的，也即，为了进一步取得更好的配准效果，可以进行进一步的精匹配包括：
确定所述在多组第四组特征点中根据匹配度选取的一组第四组特征点，所对应的焦距；
以该焦距为准按照预设步长确定选取的焦距范围；
确定该焦距范围内各焦距对应的配准参数；
在将第二组特征点进行配准变换后获得第三组特征点时，以该焦距范围内各焦距对应的配准参数为准获得多个配准参数对应的多组第三组特征点；
确定每一组第三组特征点中的第四组特征点；
在多组第四组特征点中，根据匹配度选取一组第四组特征点来确定配准参数后，根据该配准参数配准可见光图像以及热成像图像。
具体实施中，在选取“zoom_fast-winsize～zoom_fast+winsize”时，根据经验或实际需要将zoom_fast分成合理的数量即可，无硬性要求。
至于步长10是根据放大后的数据来确定的，也是可以根据经验或实际需要来确定一定的数量即可，10仅以示意。
基于同一发明构思，本发明实施例中还提供了一种图像配准装置，由于该装置解决问题的原理与一种图像配准方法相似，因此该装置的实施可以参见方法的实施，重复之处不再赘述。
图8为图像配准装置结构示意图，如图所示，包括：
获取模块801，用于获取热成像图像的第二组特征点；
变换模块802，用于将第二组特征点进行配准变换后获得第三组特征点，其中，配准变换是根据预先获取的配准参数进行变换的，可见光图像的图像获取装置在每一个焦距下有一个对应该焦距的配准参数，每一个焦距下对应的配准参数是根据配准参数与焦距的线性关系来确定的，该配准参数是该焦距下在可见光图像上的像素点与在热成像图像上与其对应的像素点之间的位置对应关系；
确定模块803，用于确定第三组特征点中位置与可见光图像的特征点相同的第四组特征点；
配准模块804，用于根据第四组特征点确定配准参数后，根据该配准参数配准可见光图像以及热成像图像。
实施中，确定模块进一步用于从第三组特征点中处于可见光图像分辨率内的特征点中确定出第四组特征点。
实施中，获取模块进一步用于利用sobel算子提取第二组特征点。
实施中，变换模块进一步用于在获取配准参数时包括：
确定焦距为f1；
在可见光图像和热成像上选取两对对应点pt1(x1，y1)和pt1p(x1p，y1p)，pt2(x2，y2)和pt2p(x2p，y2p)；
按如下方式确定配准参数：
tx＝x1p-(zoom×cosθ×x1-sinθ×y1)；
ty＝y1p-(zoom×sinθ×x1+cosθ×y1)。
实施中，变换模块进一步用于在确定各焦距下对应的配准参数时，包括：
确定最低倍率的焦距对应的配准参数，以及最高倍率的焦距对应的配准参数；
按预设步长确定最低倍率与最高倍率之间的各焦距对应的配准参数；
根据各焦距对应的配准参数之间的关系确定出最低倍率与最高倍率之间的任一焦距对应的配准参数。
实施中，获取模块进一步用于在确定获取可见光图像的图像获取装置的焦距变化时，获取的可见光图像的第一组特征点是获取变化后的该焦距下的可见光图像的第一组特征点。
实施中，变换模块进一步用于在将第二组特征点进行配准变换后获得第三组特征点时，获得多个配准参数对应的多组第三组特征点；
确定模块进一步用于确定每一组第三组特征点中的第四组特征点；
配准模块进一步用于在多组第四组特征点中，根据与第一组特征点的匹配度选取一组第四组特征点来确定配准参数，所述第一组特征点是从可见光图像上获取的。
实施中，获取模块进一步用于利用sobel算子提取第一组特征点。
实施中，配准模块进一步用于：确定所述在多组第四组特征点中根据匹配度选取的一组第四组特征点，所对应的焦距；以该焦距为准按照预设步长确定选取的焦距范围；确定该焦距范围内各焦距对应的配准参数；
变换模块进一步用于在将第二组特征点进行配准变换后获得第三组特征点时，以该焦距范围内各焦距对应的配准参数为准获得多个配准参数对应的多组第三组特征点；
确定模块进一步用于确定每一组第三组特征点中的第四组特征点；
配准模块进一步用于在多组第四组特征点中，根据匹配度选取一组第四组特征点来确定配准参数后，根据该配准参数配准可见光图像以及热成像图像。
实施中，配准模块进一步用于在根据匹配度选取一组第四组特征点时，是选择匹配度最高的一组，所述匹配度为：处于可见光图像分辨率内以及位置与可见光图像的特征点相同的第四组特征点与处于可见光图像分辨率内的第四组特征点之比。
本发明实施例中还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如下方法：
获取热成像图像的第二组特征点；
将第二组特征点进行配准变换后获得第三组特征点，其中，配准变换是根据预先获取的配准参数进行变换的，可见光图像的图像获取装置在每一个焦距下有一个对应该焦距的配准参数，每一个焦距下对应的配准参数是根据配准参数与焦距的线性关系来确定的，该配准参数是该焦距下在可见光图像上的像素点与在热成像图像上与其对应的像素点之间的位置对应关系；
确定第三组特征点中位置与可见光图像的特征点相同的第四组特征点；
根据第四组特征点确定配准参数后，根据该配准参数配准可见光图像以及热成像图像。
实施中，第四组特征点是从第三组特征点中处于可见光图像分辨率内的特征点中确定的。
实施中，第二组特征点是利用sobel算子提取的。
实施中，获取配准参数包括：
确定焦距为f1；
在可见光图像和热成像上选取两对对应点pt1(x1，y1)和pt1p(x1p，y1p)，pt2(x2，y2)和pt2p(x2p，y2p)；
按如下方式确定配准参数：
tx＝x1p-(zoom×cosθ×x1-sinθ×y1)；
ty＝y1p-(zoom×sinθ×x1+cosθ×y1)。
实施中，在确定各焦距下对应的配准参数时，包括：
确定最低倍率的焦距对应的配准参数，以及最高倍率的焦距对应的配准参数；
按预设步长确定最低倍率与最高倍率之间的各焦距对应的配准参数；
根据各焦距对应的配准参数之间的关系确定出最低倍率与最高倍率之间的任一焦距对应的配准参数。
实施中，在确定获取可见光图像的图像获取装置的焦距变化时，获取的可见光图像的第一组特征点是获取变化后的该焦距下的可见光图像的第一组特征点。
实施中，进一步包括：
将第二组特征点进行配准变换后获得第三组特征点时，获得多个配准参数对应的多组第三组特征点；
确定每一组第三组特征点中的第四组特征点；
在多组第四组特征点中，根据与第一组特征点的匹配度选取一组第四组特征点来确定配准参数，所述第一组特征点是从可见光图像上获取的。
实施中，第一组特征点是利用sobel算子提取的。
实施中，进一步包括：
确定所述在多组第四组特征点中根据匹配度选取的一组第四组特征点，所对应的焦距；
以该焦距为准按照预设步长确定选取的焦距范围；
确定该焦距范围内各焦距对应的配准参数；
在将第二组特征点进行配准变换后获得第三组特征点时，以该焦距范围内各焦距对应的配准参数为准获得多个配准参数对应的多组第三组特征点；
确定每一组第三组特征点中的第四组特征点；
在多组第四组特征点中，根据匹配度选取一组第四组特征点来确定配准参数后，根据该配准参数配准可见光图像以及热成像图像。
实施中，根据匹配度选取一组第四组特征点时，是选择匹配度最高的一组，所述匹配度为：处于可见光图像分辨率内以及位置与可见光图像的特征点相同的第四组特征点与处于可见光图像分辨率内的第四组特征点之比。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有执行如下方法的计算机程序：
获取热成像图像的第二组特征点；
将第二组特征点进行配准变换后获得第三组特征点，其中，配准变换是根据预先获取的配准参数进行变换的，可见光图像的图像获取装置在每一个焦距下有一个对应该焦距的配准参数，每一个焦距下对应的配准参数是根据配准参数与焦距的线性关系来确定的，该配准参数是该焦距下在可见光图像上的像素点与在热成像图像上与其对应的像素点之间的位置对应关系；
确定第三组特征点中位置与可见光图像的特征点相同的第四组特征点；
根据第四组特征点确定配准参数后，根据该配准参数配准可见光图像以及热成像图像。
实施中，第四组特征点是从第三组特征点中处于可见光图像分辨率内的特征点中确定的。
实施中，第二组特征点是利用sobel算子提取的。
实施中，获取配准参数包括：
确定焦距为f1；
在可见光图像和热成像上选取两对对应点pt1(x1，y1)和pt1p(x1p，y1p)，pt2(x2，y2)和pt2p(x2p，y2p)；
按如下方式确定配准参数：
tx＝x1p-(zoom×cosθ×x1-sinθ×y1)；
ty＝y1p-(zoom×sinθ×x1+cosθ×y1)。
实施中，在确定各焦距下对应的配准参数时，包括：
确定最低倍率的焦距对应的配准参数，以及最高倍率的焦距对应的配准参数；
按预设步长确定最低倍率与最高倍率之间的各焦距对应的配准参数；
根据各焦距对应的配准参数之间的关系确定出最低倍率与最高倍率之间的任一焦距对应的配准参数。
实施中，在确定获取可见光图像的图像获取装置的焦距变化时，获取的可见光图像的第一组特征点是获取变化后的该焦距下的可见光图像的第一组特征点。
实施中，进一步包括：
将第二组特征点进行配准变换后获得第三组特征点时，获得多个配准参数对应的多组第三组特征点；
确定每一组第三组特征点中的第四组特征点；
在多组第四组特征点中，根据与第一组特征点的匹配度选取一组第四组特征点来确定配准参数，所述第一组特征点是从可见光图像上获取的。
实施中，第一组特征点是利用sobel算子提取的。
实施中，进一步包括：
确定所述在多组第四组特征点中根据匹配度选取的一组第四组特征点，所对应的焦距；
以该焦距为准按照预设步长确定选取的焦距范围；
确定该焦距范围内各焦距对应的配准参数；
在将第二组特征点进行配准变换后获得第三组特征点时，以该焦距范围内各焦距对应的配准参数为准获得多个配准参数对应的多组第三组特征点；
确定每一组第三组特征点中的第四组特征点；
在多组第四组特征点中，根据匹配度选取一组第四组特征点来确定配准参数后，根据该配准参数配准可见光图像以及热成像图像。
实施中，根据匹配度选取一组第四组特征点时，是选择匹配度最高的一组，所述匹配度为：处于可见光图像分辨率内以及位置与可见光图像的特征点相同的第四组特征点与处于可见光图像分辨率内的第四组特征点之比。
为了描述的方便，以上所述装置的各部分以功能分为各种模块或单元分别描述。当然，在实施本发明时可以把各模块或单元的功能在同一个或多个软件或硬件中实现。
综上所述，本发明实施例提供的技术方案中，本方案使用Sobel算子，避免使用了sift、surf等特征点提取算法，运算量小，在可见光相机变焦过程中可实现可见光图像与热成像的实时配准，实时输出可见光图像与热成像融合图像。
进一步的，还通过快速的在可见光图像与热成像上提取丰富的Sobel特征点并利用穷举配准参数结合精匹配和粗匹配方法来快速且精确地计算出可见光图像与热成像的变换模型参数。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (22)
1.一种图像配准方法，其特征在于，包括：
获取热成像图像的第二组特征点；
将第二组特征点进行配准变换后获得第三组特征点，其中，配准变换是根据预先获取的配准参数进行变换的，可见光图像的图像获取装置在每一个焦距下有一个对应该焦距的配准参数，每一个焦距下对应的配准参数是根据配准参数与焦距的线性关系来确定的，该配准参数是该焦距下在可见光图像上的像素点与在热成像图像上与其对应的像素点之间的位置对应关系；
确定第三组特征点中位置与可见光图像的特征点相同的第四组特征点；
根据第四组特征点确定配准参数后，根据该配准参数配准可见光图像以及热成像图像。
2.如权利要求1所述的方法，其特征在于，第四组特征点是从第三组特征点中处于可见光图像分辨率内的特征点中确定的。
3.如权利要求1所述的方法，其特征在于，第二组特征点是利用sobel算子提取的。
4.如权利要求1所述的方法，其特征在于，获取配准参数包括：
确定焦距为f1；
在可见光图像和热成像上选取两对对应点Pt1(x1，y1)和pt1p(x1p，y1p)，pt2(x2，y2)和pt2p(x2p，y2p)；
按如下方式确定配准参数：
<mrow>
<mi>&theta;</mi>
<mo>=</mo>
<mi>a</mi>
<mi>t</mi>
<mi>a</mi>
<mi>n</mi>
<mrow>
<mo>(</mo>
<mfrac>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mn>1</mn>
</msub>
<mo>-</mo>
<msub>
<mi>x</mi>
<mn>2</mn>
</msub>
<mo>)</mo>
<mo>&times;</mo>
<mo>(</mo>
<msub>
<mi>y</mi>
<mrow>
<mn>1</mn>
<mi>p</mi>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>y</mi>
<mrow>
<mn>2</mn>
<mi>p</mi>
</mrow>
</msub>
<mo>)</mo>
<mo>-</mo>
<mo>(</mo>
<msub>
<mi>y</mi>
<mn>1</mn>
</msub>
<mo>-</mo>
<msub>
<mi>y</mi>
<mn>2</mn>
</msub>
<mo>)</mo>
<mo>&times;</mo>
<mo>(</mo>
<msub>
<mi>x</mi>
<mrow>
<mn>1</mn>
<mi>p</mi>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>x</mi>
<mrow>
<mn>2</mn>
<mi>p</mi>
</mrow>
</msub>
<mo>)</mo>
</mrow>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mn>1</mn>
</msub>
<mo>-</mo>
<msub>
<mi>x</mi>
<mn>2</mn>
</msub>
<mo>)</mo>
<mo>&times;</mo>
<mo>(</mo>
<msub>
<mi>x</mi>
<mrow>
<mn>1</mn>
<mi>p</mi>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>x</mi>
<mrow>
<mn>2</mn>
<mi>p</mi>
</mrow>
</msub>
<mo>)</mo>
</mrow>
</mfrac>
<mo>+</mo>
<mo>(</mo>
<mrow>
<msub>
<mi>y</mi>
<mn>1</mn>
</msub>
<mo>-</mo>
<msub>
<mi>y</mi>
<mn>2</mn>
</msub>
</mrow>
<mo>)</mo>
<mo>&times;</mo>
<mo>(</mo>
<mrow>
<msub>
<mi>y</mi>
<mrow>
<mn>1</mn>
<mi>p</mi>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>y</mi>
<mrow>
<mn>2</mn>
<mi>p</mi>
</mrow>
</msub>
</mrow>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mo>;</mo>
</mrow>
<mrow>
<mi>z</mi>
<mi>o</mi>
<mi>o</mi>
<mi>m</mi>
<mo>=</mo>
<mfrac>
<mrow>
<msub>
<mi>x</mi>
<mrow>
<mn>1</mn>
<mi>p</mi>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>x</mi>
<mrow>
<mn>2</mn>
<mi>p</mi>
</mrow>
</msub>
</mrow>
<mrow>
<mi>c</mi>
<mi>o</mi>
<mi>s</mi>
<mi>&theta;</mi>
<mo>&times;</mo>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mn>1</mn>
</msub>
<mo>-</mo>
<msub>
<mi>x</mi>
<mn>2</mn>
</msub>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
<mo>-</mo>
<mi>s</mi>
<mi>i</mi>
<mi>n</mi>
<mi>&theta;</mi>
<mo>&times;</mo>
<mrow>
<mo>(</mo>
<msub>
<mi>y</mi>
<mn>1</mn>
</msub>
<mo>-</mo>
<msub>
<mi>y</mi>
<mn>2</mn>
</msub>
<mo>)</mo>
</mrow>
<mo>;</mo>
</mrow>
tx＝x1p-(zoom×cosθ×x1-sinθ×y1)；
ty＝y1p-(zoom×sinθ×x1+cosθ×y1)。
5.如权利要求1或4所述的方法，其特征在于，在确定各焦距下对应的配准参数时，包括：
确定最低倍率的焦距对应的配准参数，以及最高倍率的焦距对应的配准参数；
按预设步长确定最低倍率与最高倍率之间的各焦距对应的配准参数；
根据各焦距对应的配准参数之间的关系确定出最低倍率与最高倍率之间的任一焦距对应的配准参数。
6.如权利要求1至5任一所述的方法，其特征在于，进一步包括：
在确定获取可见光图像的图像获取装置的焦距变化时，获取的可见光图像的第一组特征点是获取变化后的该焦距下的可见光图像的第一组特征点。
7.如权利要求1至6任一所述的方法，其特征在于，进一步包括：
将第二组特征点进行配准变换后获得第三组特征点时，获得多个配准参数对应的多组第三组特征点；
确定每一组第三组特征点中的第四组特征点；
在多组第四组特征点中，根据与第一组特征点的匹配度选取一组第四组特征点来确定配准参数，所述第一组特征点是从可见光图像上获取的。
8.如权利要求7所述的方法，其特征在于，第一组特征点是利用sobel算子提取的。
9.如权利要求7所述的方法，其特征在于，进一步包括：
确定所述在多组第四组特征点中根据匹配度选取的一组第四组特征点，所对应的焦距；
以该焦距为准按照预设步长确定选取的焦距范围；
确定该焦距范围内各焦距对应的配准参数；
在将第二组特征点进行配准变换后获得第三组特征点时，以该焦距范围内各焦距对应的配准参数为准获得多个配准参数对应的多组第三组特征点；
确定每一组第三组特征点中的第四组特征点；
在多组第四组特征点中，根据匹配度选取一组第四组特征点来确定配准参数后，根据该配准参数配准可见光图像以及热成像图像。
10.如权利要求7或8或9所述的方法，其特征在于，根据匹配度选取一组第四组特征点时，是选择匹配度最高的一组，所述匹配度为：处于可见光图像分辨率内以及位置与可见光图像的特征点相同的第四组特征点与处于可见光图像分辨率内的第四组特征点之比。
11.一种图像配准装置，其特征在于，包括：
获取模块，用于获取热成像图像的第二组特征点；
变换模块，用于将第二组特征点进行配准变换后获得第三组特征点，其中，配准变换是根据预先获取的配准参数进行变换的，可见光图像的图像获取装置在每一个焦距下有一个对应该焦距的配准参数，每一个焦距下对应的配准参数是根据配准参数与焦距的线性关系来确定的，该配准参数是该焦距下在可见光图像上的像素点与在热成像图像上与其对应的像素点之间的位置对应关系；
确定模块，用于确定第三组特征点中位置与可见光图像的特征点相同的第四组特征点；
配准模块，用于根据第四组特征点确定配准参数后，根据该配准参数配准可见光图像以及热成像图像。
12.如权利要求11所述的装置，其特征在于，确定模块进一步用于从第三组特征点中处于可见光图像分辨率内的特征点中确定出第四组特征点。
13.如权利要求11所述的装置，其特征在于，获取模块进一步用于利用sobel算子提取第二组特征点。
14.如权利要求11所述的装置，其特征在于，变换模块进一步用于在获取配准参数时包括：
确定焦距为f1；
在可见光图像和热成像上选取两对对应点pt1(x1，y1)和pt1p(x1p，y1p)，pt2(x2，y2)和pt2p(x2p，y2p)；
按如下方式确定配准参数：
<mrow>
<mi>&theta;</mi>
<mo>=</mo>
<mi>a</mi>
<mi>t</mi>
<mi>a</mi>
<mi>n</mi>
<mrow>
<mo>(</mo>
<mfrac>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mn>1</mn>
</msub>
<mo>-</mo>
<msub>
<mi>x</mi>
<mn>2</mn>
</msub>
<mo>)</mo>
<mo>&times;</mo>
<mo>(</mo>
<msub>
<mi>y</mi>
<mrow>
<mn>1</mn>
<mi>p</mi>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>y</mi>
<mrow>
<mn>2</mn>
<mi>p</mi>
</mrow>
</msub>
<mo>)</mo>
<mo>-</mo>
<mo>(</mo>
<msub>
<mi>y</mi>
<mn>1</mn>
</msub>
<mo>-</mo>
<msub>
<mi>y</mi>
<mn>2</mn>
</msub>
<mo>)</mo>
<mo>&times;</mo>
<mo>(</mo>
<msub>
<mi>x</mi>
<mrow>
<mn>1</mn>
<mi>p</mi>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>x</mi>
<mrow>
<mn>2</mn>
<mi>p</mi>
</mrow>
</msub>
<mo>)</mo>
</mrow>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mn>1</mn>
</msub>
<mo>-</mo>
<msub>
<mi>x</mi>
<mn>2</mn>
</msub>
<mo>)</mo>
<mo>&times;</mo>
<mo>(</mo>
<msub>
<mi>x</mi>
<mrow>
<mn>1</mn>
<mi>p</mi>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>x</mi>
<mrow>
<mn>2</mn>
<mi>p</mi>
</mrow>
</msub>
<mo>)</mo>
</mrow>
</mfrac>
<mo>+</mo>
<mo>(</mo>
<mrow>
<msub>
<mi>y</mi>
<mn>1</mn>
</msub>
<mo>-</mo>
<msub>
<mi>y</mi>
<mn>2</mn>
</msub>
</mrow>
<mo>)</mo>
<mo>&times;</mo>
<mo>(</mo>
<mrow>
<msub>
<mi>y</mi>
<mrow>
<mn>1</mn>
<mi>p</mi>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>y</mi>
<mrow>
<mn>2</mn>
<mi>p</mi>
</mrow>
</msub>
</mrow>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mo>;</mo>
</mrow>
<mrow>
<mi>z</mi>
<mi>o</mi>
<mi>o</mi>
<mi>m</mi>
<mo>=</mo>
<mfrac>
<mrow>
<msub>
<mi>x</mi>
<mrow>
<mn>1</mn>
<mi>p</mi>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>x</mi>
<mrow>
<mn>2</mn>
<mi>p</mi>
</mrow>
</msub>
</mrow>
<mrow>
<mi>c</mi>
<mi>o</mi>
<mi>s</mi>
<mi>&theta;</mi>
<mo>&times;</mo>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mn>1</mn>
</msub>
<mo>-</mo>
<msub>
<mi>x</mi>
<mn>2</mn>
</msub>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
<mo>-</mo>
<mi>s</mi>
<mi>i</mi>
<mi>n</mi>
<mi>&theta;</mi>
<mo>&times;</mo>
<mrow>
<mo>(</mo>
<msub>
<mi>y</mi>
<mn>1</mn>
</msub>
<mo>-</mo>
<msub>
<mi>y</mi>
<mn>2</mn>
</msub>
<mo>)</mo>
</mrow>
<mo>;</mo>
</mrow>
tx＝x1p-(zoom×cosθ×x1-sinθ×y1)；
ty＝y1p-(zoom×sinθ×x1+cosθ×y1)。
15.如权利要求11或14所述的装置，其特征在于，变换模块进一步用于在确定各焦距下对应的配准参数时，包括：
确定最低倍率的焦距对应的配准参数，以及最高倍率的焦距对应的配准参数；
按预设步长确定最低倍率与最高倍率之间的各焦距对应的配准参数；
根据各焦距对应的配准参数之间的关系确定出最低倍率与最高倍率之间的任一焦距对应的配准参数。
16.如权利要求11至15任一所述的装置，其特征在于，获取模块进一步用于在确定获取可见光图像的图像获取装置的焦距变化时，获取的可见光图像的第一组特征点是获取变化后的该焦距下的可见光图像的第一组特征点。
17.如权利要求11至16任一所述的装置，其特征在于，
变换模块进一步用于在将第二组特征点进行配准变换后获得第三组特征点时，获得多个配准参数对应的多组第三组特征点；
确定模块进一步用于确定每一组第三组特征点中的第四组特征点；
配准模块进一步用于在多组第四组特征点中，根据与第一组特征点的匹配度选取一组第四组特征点来确定配准参数，所述第一组特征点是从可见光图像上获取的。
18.如权利要求17所述的装置，其特征在于，获取模块进一步用于利用sobel算子提取第一组特征点。
19.如权利要求17所述的装置，其特征在于，配准模块进一步用于：确定所述在多组第四组特征点中根据匹配度选取的一组第四组特征点，所对应的焦距；以该焦距为准按照预设步长确定选取的焦距范围；确定该焦距范围内各焦距对应的配准参数；
变换模块进一步用于在将第二组特征点进行配准变换后获得第三组特征点时，以该焦距范围内各焦距对应的配准参数为准获得多个配准参数对应的多组第三组特征点；
确定模块进一步用于确定每一组第三组特征点中的第四组特征点；
配准模块进一步用于在多组第四组特征点中，根据匹配度选取一组第四组特征点来确定配准参数后，根据该配准参数配准可见光图像以及热成像图像。
20.如权利要求17或18或19所述的装置，其特征在于，配准模块进一步用于在根据匹配度选取一组第四组特征点时，是选择匹配度最高的一组，所述匹配度为：处于可见光图像分辨率内以及位置与可见光图像的特征点相同的第四组特征点与处于可见光图像分辨率内的第四组特征点之比。
21.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至10任一所述方法。
22.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至10任一所述方法的计算机程序。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711184692.XA CN107993258B (zh) | 2017-11-23 | 2017-11-23 | 一种图像配准方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711184692.XA CN107993258B (zh) | 2017-11-23 | 2017-11-23 | 一种图像配准方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107993258A true CN107993258A (zh) | 2018-05-04 |
| CN107993258B CN107993258B (zh) | 2021-02-02 |
Family
ID=62032947
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711184692.XA Active CN107993258B (zh) | 2017-11-23 | 2017-11-23 | 一种图像配准方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107993258B (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109389630A (zh) * | 2018-09-30 | 2019-02-26 | 北京精密机电控制设备研究所 | 可见光图像与红外图像特征点集确定、配准方法及装置 |
| CN109544521A (zh) * | 2018-11-12 | 2019-03-29 | 北京航空航天大学 | 一种人体安检中被动毫米波图像与可见光图像的配准方法 |
| CN110473238A (zh) * | 2019-06-25 | 2019-11-19 | 浙江大华技术股份有限公司 | 一种图像配准方法、装置、电子设备及存储介质 |
| CN111083381A (zh) * | 2019-12-31 | 2020-04-28 | 深圳市道通智能航空技术有限公司 | 一种图像融合的方法、装置及双光相机、无人机 |
| CN112200842A (zh) * | 2020-09-11 | 2021-01-08 | 深圳市优必选科技股份有限公司 | 一种图像配准方法、装置、终端设备及存储介质 |
| CN112233062A (zh) * | 2020-09-10 | 2021-01-15 | 浙江大华技术股份有限公司 | 地物变化检测方法、电子装置和存储介质 |
| CN112541932A (zh) * | 2020-11-30 | 2021-03-23 | 西安电子科技大学昆山创新研究院 | 基于双光相机不同焦距变换参数的多源图像配准方法 |
| CN113409371A (zh) * | 2021-06-25 | 2021-09-17 | 浙江商汤科技开发有限公司 | 图像配准方法及相关装置、设备 |
| CN113643341A (zh) * | 2021-10-12 | 2021-11-12 | 四川大学 | 一种基于分辨率自适应的异尺度目标图像配准方法 |
| CN113838106A (zh) * | 2020-06-08 | 2021-12-24 | 浙江宇视科技有限公司 | 一种图像配准方法、装置及电子设备和存储介质 |
| WO2022001871A1 (zh) * | 2020-06-28 | 2022-01-06 | 杭州海康微影传感科技有限公司 | 参数确定方法、装置、设备、系统、程序和存储介质 |
| CN115965843A (zh) * | 2023-01-04 | 2023-04-14 | 长沙观谱红外科技有限公司 | 一种可见光和红外图像融合方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102750704A (zh) * | 2012-06-29 | 2012-10-24 | 吉林大学 | 一种摄像机分步自标定方法 |
| CN102982518A (zh) * | 2012-11-06 | 2013-03-20 | 扬州万方电子技术有限责任公司 | 红外与可见光动态图像的融合方法及装置 |
| US20130329072A1 (en) * | 2012-06-06 | 2013-12-12 | Apple Inc. | Motion-Based Image Stitching |
| CN103778626A (zh) * | 2013-12-31 | 2014-05-07 | 北京理工大学 | 一种基于视觉显著区域的快速图像配准方法 |
| CN103839265A (zh) * | 2014-02-26 | 2014-06-04 | 西安电子科技大学 | 基于sift和归一化互信息的sar图像配准方法 |
| CN104167003A (zh) * | 2014-08-29 | 2014-11-26 | 福州大学 | 一种遥感影像的快速配准方法 |
| CN107092905A (zh) * | 2017-03-24 | 2017-08-25 | 重庆邮电大学 | 一种电力巡检机器人的待识别仪器定位方法 |
-
2017
- 2017-11-23 CN CN201711184692.XA patent/CN107993258B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130329072A1 (en) * | 2012-06-06 | 2013-12-12 | Apple Inc. | Motion-Based Image Stitching |
| CN102750704A (zh) * | 2012-06-29 | 2012-10-24 | 吉林大学 | 一种摄像机分步自标定方法 |
| CN102982518A (zh) * | 2012-11-06 | 2013-03-20 | 扬州万方电子技术有限责任公司 | 红外与可见光动态图像的融合方法及装置 |
| CN103778626A (zh) * | 2013-12-31 | 2014-05-07 | 北京理工大学 | 一种基于视觉显著区域的快速图像配准方法 |
| CN103839265A (zh) * | 2014-02-26 | 2014-06-04 | 西安电子科技大学 | 基于sift和归一化互信息的sar图像配准方法 |
| CN104167003A (zh) * | 2014-08-29 | 2014-11-26 | 福州大学 | 一种遥感影像的快速配准方法 |
| CN107092905A (zh) * | 2017-03-24 | 2017-08-25 | 重庆邮电大学 | 一种电力巡检机器人的待识别仪器定位方法 |
Non-Patent Citations (3)
| Title |
|---|
| HUI CHEN: "Focal length and registration correction for building panorama from photographs", 《COMPUTER VISION AND IMAGE UNDERSTANDING》 * |
| 全红艳 等: "基于运动的摄像机定标方法的综述", 《计算机工程与应用》 * |
| 王斌 等: "基于FPGA的紫外/可见光图像实时配准实现", 《激光与光电子学进展》 * |
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109389630A (zh) * | 2018-09-30 | 2019-02-26 | 北京精密机电控制设备研究所 | 可见光图像与红外图像特征点集确定、配准方法及装置 |
| CN109389630B (zh) * | 2018-09-30 | 2020-10-23 | 北京精密机电控制设备研究所 | 可见光图像与红外图像特征点集确定、配准方法及装置 |
| CN109544521A (zh) * | 2018-11-12 | 2019-03-29 | 北京航空航天大学 | 一种人体安检中被动毫米波图像与可见光图像的配准方法 |
| CN110473238A (zh) * | 2019-06-25 | 2019-11-19 | 浙江大华技术股份有限公司 | 一种图像配准方法、装置、电子设备及存储介质 |
| CN110473238B (zh) * | 2019-06-25 | 2021-08-27 | 浙江大华技术股份有限公司 | 一种图像配准方法、装置、电子设备及存储介质 |
| CN111083381A (zh) * | 2019-12-31 | 2020-04-28 | 深圳市道通智能航空技术有限公司 | 一种图像融合的方法、装置及双光相机、无人机 |
| US12081898B2 (en) | 2019-12-31 | 2024-09-03 | Autel Robotics Co., Ltd. | Image fusion method and bifocal camera |
| WO2021135825A1 (zh) * | 2019-12-31 | 2021-07-08 | 深圳市道通智能航空技术股份有限公司 | 一种图像融合的方法、装置及双光相机、无人机 |
| CN111083381B (zh) * | 2019-12-31 | 2021-10-22 | 深圳市道通智能航空技术股份有限公司 | 一种图像融合的方法、装置及双光相机、无人机 |
| US11805220B2 (en) | 2019-12-31 | 2023-10-31 | Autel Robotics Co., Ltd. | Image fusion method and bifocal camera |
| CN113838106B (zh) * | 2020-06-08 | 2024-04-05 | 浙江宇视科技有限公司 | 一种图像配准方法、装置及电子设备和存储介质 |
| CN113838106A (zh) * | 2020-06-08 | 2021-12-24 | 浙江宇视科技有限公司 | 一种图像配准方法、装置及电子设备和存储介质 |
| WO2022001871A1 (zh) * | 2020-06-28 | 2022-01-06 | 杭州海康微影传感科技有限公司 | 参数确定方法、装置、设备、系统、程序和存储介质 |
| CN112233062A (zh) * | 2020-09-10 | 2021-01-15 | 浙江大华技术股份有限公司 | 地物变化检测方法、电子装置和存储介质 |
| CN112200842A (zh) * | 2020-09-11 | 2021-01-08 | 深圳市优必选科技股份有限公司 | 一种图像配准方法、装置、终端设备及存储介质 |
| CN112200842B (zh) * | 2020-09-11 | 2023-12-01 | 深圳市优必选科技股份有限公司 | 一种图像配准方法、装置、终端设备及存储介质 |
| CN112541932B (zh) * | 2020-11-30 | 2024-03-26 | 西安电子科技大学昆山创新研究院 | 基于双光相机不同焦距变换参数的多源图像配准方法 |
| CN112541932A (zh) * | 2020-11-30 | 2021-03-23 | 西安电子科技大学昆山创新研究院 | 基于双光相机不同焦距变换参数的多源图像配准方法 |
| CN113409371A (zh) * | 2021-06-25 | 2021-09-17 | 浙江商汤科技开发有限公司 | 图像配准方法及相关装置、设备 |
| CN113643341B (zh) * | 2021-10-12 | 2021-12-28 | 四川大学 | 一种基于分辨率自适应的异尺度目标图像配准方法 |
| CN113643341A (zh) * | 2021-10-12 | 2021-11-12 | 四川大学 | 一种基于分辨率自适应的异尺度目标图像配准方法 |
| CN115965843A (zh) * | 2023-01-04 | 2023-04-14 | 长沙观谱红外科技有限公司 | 一种可见光和红外图像融合方法 |
| CN115965843B (zh) * | 2023-01-04 | 2023-09-29 | 长沙观谱红外科技有限公司 | 一种可见光和红外图像融合方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107993258B (zh) | 2021-02-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107993258A (zh) | 一种图像配准方法及装置 | |
| CN104200461B (zh) | 基于互信息图像选块和sift特征的遥感图像配准方法 | |
| CN105631872B (zh) | 基于多特征点的遥感图像配准方法 | |
| US9767383B2 (en) | Method and apparatus for detecting incorrect associations between keypoints of a first image and keypoints of a second image | |
| CN103606170B (zh) | 基于彩色尺度不变的街景影像特征检测与匹配方法 | |
| CN110189375A (zh) | 一种基于单目视觉测量的图像目标识别方法 | |
| CN111462198B (zh) | 一种尺度、旋转和辐射不变性的多模态影像配准方法 | |
| Huang et al. | Correlation and local feature based cloud motion estimation | |
| CN104637041A (zh) | 一种基于参照特征的宽幅织物图像获取与拼接方法 | |
| CN101488224A (zh) | 基于相关性度量的特征点匹配方法 | |
| CN109523583A (zh) | 一种基于反馈机制的电力设备红外与可见光图像配准方法 | |
| CN108257153A (zh) | 一种基于方向梯度统计特征的目标跟踪方法 | |
| CN118115473A (zh) | 带钢表面微小缺陷检测网络及方法 | |
| CN104966283A (zh) | 图像分层配准方法 | |
| CN111126508A (zh) | 一种基于hopc改进的异源图像匹配方法 | |
| CN103533332A (zh) | 一种2d视频转3d视频的图像处理方法 | |
| Chen et al. | Image segmentation in thermal images | |
| Su et al. | Gpr-net: Multi-view layout estimation via a geometry-aware panorama registration network | |
| Xu et al. | A deep neural network-based intelligent detection model for manufacturing defects of automobile parts | |
| Jazayeri et al. | Interest operators in close-range object reconstruction | |
| Jagadeeswari et al. | A comparative study based on video stitching methods | |
| Rathnayake et al. | An efficient approach towards image stitching in aerial images | |
| Xie et al. | Real-time reconstruction of unstructured scenes based on binocular vision depth | |
| Mo et al. | A Robust Infrared and Visible Image Registration Method for Dual Sensor UAV System | |
| Cai et al. | Automatic curve selection for lens distortion correction using Hough transform energy |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20231017 Address after: Room 201, Building A, Integrated Circuit Design Industrial Park, No. 858, Jianshe 2nd Road, Economic and Technological Development Zone, Xiaoshan District, Hangzhou City, Zhejiang Province, 311215 Patentee after: Zhejiang Huagan Technology Co.,Ltd. Address before: Hangzhou City, Zhejiang province Binjiang District 310053 shore road 1187 Patentee before: ZHEJIANG DAHUA TECHNOLOGY Co.,Ltd. |