CN106500852A - 红外与可见光图像配准与融合的系统与方法 - Google Patents

Abstract

本发明提供一种红外与可见光图像配准与融合的系统，包括：由两个可见光探测器、两个可见光物镜、红外探测器、红外物镜组成一模拟共光轴成像光路，红外成像单元位于两个可见光成像单元的中间，且两个可见光成像单元与红外成像单元处在平行光轴上；一图像处理装置，与两个可见光探测器以及红外探测器连接，并基于可见光探测器以及红外探测器传输的图像数据进行红外与可见光图像配准与融合。本发明的红外与可见光图像配准与融合的系统可实现可见光重合区域图像中心与红外图像中心一个像素内的配准，配准效果稳定。本发明还涉及一种红外与可见光图像配准与融合的方法。

Description

红外与可见光图像配准与融合的系统与方法

技术领域

本发明属于图像融合处理技术领域，具体涉及一种目标探测过程中红外与可见光图像配准与融合的系统与方法。

背景技术

红外与可见光图像融合最终需要达到两种异质图像的匹配融合，因此图像融合技术的实现必须建立在精度高、效果稳定的图像配准技术之上。如果两种图像空间误差超过一个像素，则最终的融合图像会出现重影，严重影响图像融合的质量。

对于红外与可见光图像融合，现有的技术中主要采用平行光轴配准与共光轴配准两种方式。例如，在第2010I0223561.X号中国专利公开的一种红外与微光多光谱融合前端光机结构提出一种基于平行光轴的红外与可见光图像融合前端光机结构，通过保证红外与可见光成像单元光轴的平行度，光轴夹角＜0.5mrad，以及对图像进行仿射变换来实现红外与可见光图像的配准。由于在平行光轴下红外与可见光成像存在着不可消除的像差，因此该方法的使用会出现远近配准效果不一致的问题，而且对光轴平行度的精度要求高，配准系数调校难度大，光轴稍有偏差就会造成配准效果不稳定。

共光轴的配准技术包括两种，一种是利用半透半反镜分光的共光轴技术，另一种是利用折返射镜头的共光轴技术。公开号为CN102419209的中国专利申请提出一种手持式红外热像仪，公开了一种利用半透半反镜分光的共光轴红外与可见光图像配准技术，半透半反镜可以透射红外并反射可见光，将一束光分成两束不同波段的光，实现共光轴图像配准。但是半透半反镜会衰减进入成像单元的光强，从而造成成像单元的成像质量降低，并且红外与可见光的半透半反镜对镀膜要求非常高，分光膜系工艺限制较大。

一些研究者在微光与红外图像融合手持观察镜光学系统设计中还提出一种基于折返射镜头的共光轴配准结构，利用折返射可见光物镜来接收场景可见光，并于微光成像单元处成微光图像，在折返射物镜遮拦区域嵌入红外反射镜进行光路转折，被红外物镜接收并于红外探测器处成像，这样就实现了红外与微光成像单元的共光轴成像。但是相比与投射式镜头，折返射镜头设计难度较大、结构复杂、成本高且体积大，且多数适用于小视场、远距离观察的应用场合，因此利用折返射镜头的共光轴图像融合系统的应用范围受到较大的限制。

发明内容

本发明目的在于提供一种红外与可见光图像配准与融合的新方法，实现可见光重合区域图像中心与红外图像中心一个像素内的配准，配准效果稳定。

本发明的上述目的通过独立权利要求的技术特征实现，从属权利要求以另选或有利的方式发展独立权利要求的技术特征。

为达成上述目的，本发明提出一种红外与可见光图像配准与融合的系统，包括：

由两个可见光探测器、两个可见光物镜、红外探测器、红外物镜组成一模拟共光轴成像光路，其中第一可见光探测器与第一可见光物镜构成第一可见光成像单元，第二可见光探测器与第二可见光物镜构成第二可见光成像单元，红外探测器、红外物镜构成红外成像单元；红外成像单元位于两个可见光成像单元的中间，且两个可见光成像单元与红外成像单元处在平行光轴上，红外成像单元与可见光成像单元中心处于同一水平线上，且红外成像单元处于两个可见光成像单元之间的中点位置；

一图像处理装置，与所述两个可见光探测器以及红外探测器连接，并基于可见光探测器以及红外探测器传输的图像数据进行红外与可见光图像配准与融合。

本发明的另一方面提出一种红外与可见光图像配准与融合的方法，包括：

提供由两个可见光探测器、两个可见光物镜、红外探测器、红外物镜组成模拟共光轴的成像光路，其中第一可见光探测器与第一可见光物镜构成第一可见光成像单元，第二可见光探测器与第二可见光物镜构成第二可见光成像单元，红外探测器、红外物镜构成红外成像单元；红外成像单元位于两个可见光成像单元的中间，且两个可见光成像单元与红外成像单元处在平行光轴上，红外成像单元与可见光成像单元中心处于同一水平线上，且红外成像单元处于两个可见光成像单元之间的中点位置；

通过一图像处理装置基于可见光探测器以及红外探测器传输的图像数据进行红外与可见光图像配准与融合处理。

进一步的实施例中，所述红外与可见光图像配准与融合处理包括：

步骤S1、提取两路可见光图像中的重合区域图像；

步骤S2、对红外图像进行基于模拟共光轴的空间变换；

步骤S3、对可见光重合区域图像和基于模拟共光轴空间变换的红外图像进行图像中心配准；

步骤S4、以红外图像为背景，对中心配准后的可见光重合区域图像和红外图像进行开窗融合。

上述的基于模拟共光轴的空间变换，即利用如下公式进行红外图像的缩放：

其中(x,y)为变换前原图像上像素坐标，(x',y')为变换后图像上像素坐标，k为水平和垂直方向的放大系数，σ_IR为红外探测器像元尺寸，σ_VIS为可见光探测器像元尺寸，[·]为取整数。

上述的图像中心配准，即以基于模拟共光轴空间变换的红外图像为背景，对可见光重合区域图像进行旋转、平移操作，弥补光学和机械结构带来的误差，实现可见光重合区域图像中心与红外图像中心一个像素内的配准。

与现有技术相比，本发明的图像配准与融合方法具有如下显著优点：

与平行光轴配准技术相比，本方法配准精度远近一致，配准效果稳定，配准参数易于调节；与利用半透半反镜的共光轴配准技术相比，本方法不会衰减进入系统的光强，保证了成像质量，且工艺难度低；与利用折返射镜头的共光轴配准技术相比，本方法配准效果相当，且结构简单，易于实现，体积相对较小，成本较低，应用范围更大。

应当理解，前述构思以及在下面更加详细地描述的额外构思的所有组合只要在这样的构思不相互矛盾的情况下都可以被视为本公开的发明主题的一部分。另外，所要求保护的主题的所有组合都被视为本公开的发明主题的一部分。

结合附图从下面的描述中可以更加全面地理解本发明教导的前述和其他方面、实施例和特征。本发明的其他附加方面例如示例性实施方式的特征和/或有益效果将在下面的描述中显见，或通过根据本发明教导的具体实施方式的实践中得知。

附图说明

附图不意在按比例绘制。在附图中，在各个图中示出的每个相同或近似相同的组成部分可以用相同的标号表示。为了清晰起见，在每个图中，并非每个组成部分均被标记。现在，将通过例子并参考附图来描述本发明的各个方面的实施例，其中：

图1是根据本发明某些实施例的红外与可见光图像配准与融合方法的示意图。

图2是本发明的模拟共光轴成像光路示意图。

图3是本发明的可见光重合区域图像提取示意图。

图4是双线性插值的原理示意图。

图5是图像配准与融合过程示意图。

具体实施方式

为了更了解本发明的技术内容，特举具体实施例并配合所附图式说明如下。

在本公开中参照附图来描述本发明的各方面，附图中示出了许多说明的实施例。本公开的实施例不必定意在包括本发明的所有方面。应当理解，上面介绍的多种构思和实施例，以及下面更加详细地描述的那些构思和实施方式可以以很多方式中任意一种来实施，这是因为本发明所公开的构思和实施例并不限于任何实施方式。另外，本发明公开的一些方面可以单独使用，或者与本发明公开的其他方面的任何适当组合来使用。

结合图1、图2所示，根据本发明的实施例，红外与可见光图像配准与融合的系统，包括一个模拟共光轴成像光路和图像处理装置。

模拟共光轴成像光路由两个可见光探测器(1、3)、两个可见光物镜(4、6)、红外探测器2、红外物镜5组成，其中第一可见光探测器1与第一可见光物镜4构成第一可见光成像单元，第二可见光探测器3与第二可见光物镜6构成第二可见光成像单元，红外探测器2、红外物镜5构成红外成像单元；红外成像单元位于两个可见光成像单元的中间，且两个可见光成像单元与红外成像单元处在平行光轴上，红外成像单元与可见光成像单元中心处于同一水平线上，且红外成像单元处于两个可见光成像单元之间的中点位置。

图像处理装置，与所述两个可见光探测器(1、3)以及红外探测器2连接，并基于可见光探测器(1、3)以及红外探测器2传输的图像数据进行红外与可见光图像配准与融合。

模拟共光轴成像光路原理如图2所示，两个可见光成像单元与一个红外成像单元都处在平行光轴上，红外成像单元与可见光成像单元中心处于同一水平线上，且红外成像单元处于两个可见光成像单元之间的中点位置。其中m表示可见光探测器靶面水平长度，f_VIS表示可见光物镜焦距，f_IR表示红外物镜焦距，u表示两个可见光成像单元光轴间距，n表示两个可见光成像单元重合视场投影到探测器靶面上的宽度，(x,y)表示在重合视场中某一目标点的空间坐标。

从光路中可以明显看出，当目标点处于可见光重合视场中心时(x＝0)，其同时也处于红外视场的中心，因此若不考虑光学和机械所带来的误差，可见光重合区域图像与红外图像的光轴是处于同一位置的，符合共光轴的成像效果。

根据光路可以计算出在两个可见光单元重合视场的靶面区域中，目标成像位置与重合区域中心的偏差E_VIS为：

E_VIS＝|x·f_VIS/(y-f_VIS)|

同时，可以计算出在红外探测器靶面上，目标成像位置与靶面中心的偏差E_IR为：

E_IR＝|x·f_IR/(y-f_IR)|

从上面公式可以看出，如果f_VIS＝f_IR，则E_VIS＝E_IR。由此可知，只要两个可见光物镜与红外物镜焦距相同，则两个可见光重合视场中的目标在可见光重合区域图像和红外图像中成像是没有像差的，因此可见光重合区域图像与红外图像只需要根据可见光与红外探测器的像元尺寸做相应的空间变换，即可以达到较好的图像配准与融合效果。

结合图1所示，在一个具体实施方式的模拟共光轴成像光路中，可见光探测器选用分辨率768×582、像元尺寸8.6um×8.3um的低照度CMOS探测器，红外探测器选用分辨率384×288、像元尺寸25um×25um的非制冷长波红外焦平面探测器，可见光物镜选用焦距25mm、最大光圈F1.2的可见光定焦镜头，红外物镜选用焦距25mm、光圈F1的红外定焦镜头。

两个可见光探测器的参数相同。两个可见光物镜的参数相同

可见光物镜(4、6)和红外物镜5焦距相同。

结合图2、图3和图4、图5所示，本发明图像配准与融合处理包括如下步骤：

步骤S1：提取两路可见光图像中的重合区域图像。即提取两幅可见光图像中相同的区域。

根据本发明的一种具体实施方式，采用像素值匹配的方法来提取可见光重合区域。对两幅可见光图像相同尺寸的区域使用数学方法计算其像素值差异，对此差异进行比较并判断这两块区域的相似程度，从而确定两幅可见光图像重叠区域的位置和范围。

如图3所示，对两路可见光图像分别用I₁和I₂表示，大小为m×n，首先在I₁中选取一个l×n矩形窗口Ω₁；然后利用l×n矩形窗口模板Ω₂在I₂中进行遍历，利用如下公式计算Ω₁和Ω₂之间像素值差异ε：

当ε最小时，则认为此时的Ω₂和Ω₁为像素值匹配窗口。最后，利用Ω₁在I₁上的位置坐标确定重合区域图像右边部分的长度R，利用Ω₂在I₂上的位置坐标来确定重合区域图像左边部分的长度L，以此就可以确定可见光重合区域图像的位置与范围。

步骤S2：对红外图像进行基于模拟共光轴的空间变换。

即对红外图像进行插值放大，以匹配可见光的分辨率与目标成像大小。

根据本发明的一种具体实施方式，由于模拟共光轴成像光路使红外图像与可见光重合区域图像没有像差，因此根据红外探测器像元尺寸与可见光探测器像元尺寸的比例，按如下公式对红外图像进行空间变换，使同一目标在可见光重合区域图像和红外图像上的所占像素大小基本一致：

其中(x,y)为变换前原图像上像素坐标，(x',y')为变换后图像上像素坐标，k为水平和垂直方向的缩放系数，σ_IR为红外探测器像元尺寸，σ_VIS为可见光探测器像元尺寸，[·]为取整数。

本实施方式中利用双线性插值的方式实现红外图像的放大。如图4所示，Q₁₁、Q₁₂、Q₂₁和Q₂₂为图像I中已知的四个像素，新插入的像素P的像素值可以通过如下公式求得：

步骤S3：对可见光重合区域图像和基于模拟共光轴空间变换的红外图像进行图像中心配准。

根据本发明的一种具体实施方式，以红外图像为背景，利用仿射变换对可见光重合区域图像进行平移、旋转操作，使红外图像与可见光重合区域图像中心配准，以弥补光学和机械所带来的误差。上述仿射变换公式如下：

其中为变换后的像素坐标矩阵，为变换前的像素坐标矩阵，为旋转系数矩阵，为平移系数矩阵。旋转系数矩阵与平移系数矩阵通过不断观察调试确定，保证一个像素内的中心配准误差，一旦确定之后就不需要再做调整。

步骤S4：以红外图像为背景，对中心配准后的图像进行开窗融合。

根据本发明的一种具体实施方式，如图5所示，经中心配准的可见光重合区域图像处于红外图像中间，只需对可见光重合区域图像与红外图像的重叠部分进行融合处理。融合处理采用加权平均融合算法实现，具体的融合算法可以表示为Z(i,j)＝AX(i,j)+BY(i,j)，其中Z(i,j)为融合图像像素值，X(i,j)为红外图像像素值，Y(i,j)为可见光图像像素值，A和B分别为红外图像与可见光图像的权重值，且A+B＝1。

虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。

Claims (10)

1.一种红外与可见光图像配准与融合的系统，其特征在于，包括：

由两个可见光探测器(1、3)、两个可见光物镜(4、6)、红外探测器(2)、红外物镜(5)组成一个模拟共光轴的成像光路，其中第一可见光探测器(1)与第一可见光物镜(4)构成第一可见光成像单元，第二可见光探测器(3)与第二可见光物镜(6)构成第二可见光成像单元，红外探测器(2)、红外物镜(5)构成红外成像单元；红外成像单元位于两个可见光成像单元的中间，且两个可见光成像单元与红外成像单元处在平行光轴上，红外成像单元与可见光成像单元中心处于同一水平线上，且红外成像单元处于两个可见光成像单元之间的中点位置；

一图像处理装置，与所述两个可见光探测器(1、3)以及红外探测器(2)连接，并基于可见光探测器(1、3)以及红外探测器(2)传输的图像数据进行红外与可见光图像配准与融合。

2.根据权利要求1所述的红外与可见光图像配准与融合的系统，其特征在于，所述两个可见光探测器的参数相同，两个可见光物镜的参数相同。

3.根据权利要求1所述的红外与可见光图像配准与融合的系统，其特征在于，所述两个可见光物镜(4、6)和红外物镜(5)的焦距相同。

4.根据权利要求1所述的红外与可见光图像配准与融合的系统，其特征在于，所述图像处理装置被设置成安装下述方式进行图像配准与融合：

提取两路可见光图像中的重合区域图像；

对红外图像进行基于模拟共光轴的空间变换；

对可见光重合区域图像和基于模拟共光轴空间变换的红外图像进行图像中心配准；

以红外图像为背景，对中心配准后的可见光重合区域图像和红外图像进行开窗融合。

5.一种红外与可见光图像配准与融合的方法，其特征在于，包括：

提供由两个可见光探测器(1、3)、两个可见光物镜(4、6)、红外探测器(2)、红外物镜(5)组成模拟共光轴的成像光路，其中第一可见光探测器(1)与第一可见光物镜(4)构成第一可见光成像单元，第二可见光探测器(3)与第二可见光物镜(6)构成第二可见光成像单元，红外探测器(2)、红外物镜(5)构成红外成像单元；红外成像单元位于两个可见光成像单元的中间，且两个可见光成像单元与红外成像单元处在平行光轴上，红外成像单元与可见光成像单元中心处于同一水平线上，且红外成像单元处于两个可见光成像单元之间的中点位置；

通过一图像处理装置基于可见光探测器(1、3)以及红外探测器(2)传输的图像数据进行红外与可见光图像配准与融合处理。

6.根据权利要求5所述的红外与可见光图像配准与融合的方法，其特征在于，所述红外与可见光图像配准与融合处理包括：

步骤S1、提取两路可见光图像中的重合区域图像；

步骤S2、对红外图像进行基于模拟共光轴的空间变换；

步骤S3、对可见光重合区域图像和基于模拟共光轴空间变换的红外图像进行图像中心配准；

步骤S4、以红外图像为背景，对中心配准后的可见光重合区域图像和红外图像进行开窗融合。

7.根据权利要求6所述的红外与可见光图像配准与融合的方法，其特征在于，所述步骤S1中，提取两路可见光图像中的重合区域图像，采用像素值匹配的方法来提取可见光重合区域，具体包括：

对两路可见光图像分别用I₁和I₂表示，大小为m×n，首先在I₁中选取一个l×n矩形窗口Ω₁；然后利用l×n矩形窗口模板Ω₂在I₂中进行遍历，利用如下公式计算Ω₁和Ω₂之间像素值差异ε：

$\mathrm{\ϵ}=\underset{i=0}{\overset{l}{\Σ}}\underset{i=0}{\overset{n}{\Σ}}{\[I_1(i,j)-I_2(i,j)\]}^2,I_1(i,j)\∈{\mathrm{\Ω}}_1,I_2(i,j)\∈{\mathrm{\Ω}}_2$

当ε最小时，则认为此时的Ω₂和Ω₁为像素值匹配窗口；

最后，利用Ω₁在I₁上的位置坐标确定重合区域图像右边部分的长度R，利用Ω₂在I₂上的位置坐标来确定重合区域图像左边部分的长度L，以此确定可见光重合区域图像的位置与范围。

8.根据权利要求6所述的红外与可见光图像配准与融合的方法，其特征在于，所述步骤S2中，对红外图像进行基于模拟共光轴的空间变换，包括对红外图像进行插值放大，以匹配可见光的分辨率与目标成像大小，具体包括：

根据红外探测器像元尺寸与可见光探测器像元尺寸的比例，按如下公式对红外图像进行空间变换，使同一目标在可见光重合区域图像和红外图像上的所占像素大小基本一致：

$\left\{\begin{array}{c}x=\[k^{-1}\·x^{\′}\]\\ y=\[k^{-1}\·y^{\′}\]\end{array}\right.,k={\mathrm{\σ}}_{IR}/{\mathrm{\σ}}_{VIS}$

其中(x,y)为变换前原图像上像素坐标，(x',y')为变换后图像上像素坐标，k为水平和垂直方向的缩放系数，σ_IR为红外探测器像元尺寸，σ_VIS为可见光探测器像元尺寸，[·]为取整数；

然后使用双线性插值的方式实现红外图像的放大。

9.根据权利要求6所述的红外与可见光图像配准与融合的方法，其特征在于，步骤S3对可见光重合区域图像和基于模拟共光轴空间变换的红外图像进行图像中心配准，具体包括：

以红外图像为背景，利用仿射变换对可见光重合区域图像进行平移、旋转操作，使红外图像与可见光重合区域图像中心配准，其中所述仿射变换公式如下：

$\left[\begin{array}{c}{x}^{\′}\\ y^{\′}\end{array}\right]=\left[\begin{array}{cc}{a}_{11}& a_{12}\\ a_{21}& a_{22}\end{array}\right]\left[\begin{array}{c}x\\ y\end{array}\right]+\left[\begin{array}{c}\mathrm{\Δ}x\\ \mathrm{\Δ}y\end{array}\right]$

其中为变换后的像素坐标矩阵，为变换前的像素坐标矩阵，为旋转系数矩阵，为平移系数矩阵。

10.根据权利要求6所述的红外与可见光图像配准与融合的方法，其特征在于，步骤S4以红外图像为背景，对中心配准后的图像进行开窗融合，具体包括：

经中心配准的可见光重合区域图像处于红外图像中间，只需对可见光重合区域图像与红外图像的重叠部分进行融合处理，融合处理采用加权平均融合算法实现，具体的融合算法可以表示为Z(i,j)＝AX(i,j)+BY(i,j)，其中Z(i,j)为融合图像像素值，X(i,j)为红外图像像素值，Y(i,j)为可见光图像像素值，A和B分别为红外图像与可见光图像的权重值，且A+B＝1。