CN111738969B - 图像融合方法、装置及计算机可读存储介质 - Google Patents

Abstract

本申请公开了一种图像融合方法、装置及计算机可读存储介质。其中，方法包括基于红外相机和可见光相机的相对几何位置关系确定拍摄同一目标、且图像宽高比值相同的红外图像和可见光图像的坐标映射关系；根据像素融合需求调用包括不同图像中满足坐标映射关系的像素点和同一张图像中满足位置关系的像素点的像素排布模板，按照周期排布格式将像素排布模板填充至空白融合图像，将红外图像和可见光图像中满足位置选择条件的目标像素点对应填充至各像素排布模板的相应位置处以得到可见光图像和红外图像的所有像素点均有分布的融合图像，在充分保留可见光图像和红外图像的所有有效信息且不引入额外人造信息的前提下实现两者的图像融合。

Description

图像融合方法、装置及计算机可读存储介质

技术领域

本申请涉及图像处理技术领域，特别是涉及一种图像融合方法、装置及计算机可读存储介质。

背景技术

红外图像和可见光作为实用性很强的两种图像类型广泛应用在各行各业。根据黑体辐射理论，任何温度超过绝对零度的物体都会向外辐射电磁波。自然界中大部分物体辐射的电磁波主要成分是红外线，其波长高于可见光，人体肉眼无法直接观察。红外探测器是一种可以接收并“感知”红外线的特殊仪器。基于红外探测器开发的红外热像仪可以把物体辐射的红外信息以图像的形式展现出来，也就是所谓的红外图像。因为红外图像反映物体主动向外辐射的能量信息，无论白天还是夜晚、晴天还是雨雾天都可以正常工作，外界环境对其影响较小。可见光图像例如可为通过手机、相机等拍摄得到的照片或视频，可见光是电磁波谱中人眼可以感知的部分。可见光图像一般包含物体丰富的细节和纹理信息，人和机器比较容易理解和分析。

可以理解的是，自然界中大多数物体无法主动“发光”，对于这些物体，可见光图像捕捉到的是它们反射的光线，所以图像质量受光照的影响非常大，过亮和过暗的环境都会严重影响图像质量和细节，比如强烈阳光或者夜晚无照明条件下拍摄的照片或视频一般效果都不太好。而由于物体辐射的能量和物体本身几乎没有区别导致红外图像一般无法获取物体表面的纹理细节等信息。此外，由于红外波长和制造工艺的限制，红外探测器的像元尺寸比可见光大，其图像分辨率或者称为图像像素数也不如可见光图像高，这进一步增加了红外图像捕捉物体细节的难度，缺乏图像纹理细节信息会给图像的进一步质量和细节分析带来困难。可见，红外图像和可见光图像各有优劣，且提供了关于物体或场景互补的信息。同时使用一个红外相机和可见光相机观察场景或物体可以在更广泛地环境条件下更加全面地了解其特征。在实际应用中，如果分别显示红外和可见光图像，会造成显示资源的浪费如需要两台显示器或降低图像的显示质量如需要把一台显示器分成两个部分，这就促使红外图像与可见光图像融合成一张图像的图像融合技术诞生。

相关技术在进行红外图像和可见光图像的融合过程，通常先分别对红外图像和可见光图像进行再采样处理，然后基于提取得到的可见光图像的轮廓和边缘信息进行红外和可见光的图像融合。但是，图像在再采样过程中会丢失图像信息或是增加非图像本身的其他特征；降采样会丢失原始图像的信息，而升采样会引入人造/虚假的信息，使图像“失真”。仅仅利用可见光图像中的轮廓/边缘信息这些高频信息并无法包含图像的所有有效信息，如色彩信息，融合得到的图像由于丢失一些有效信息导致融合图像质量不佳，无法满足用户需求。

鉴于此，如何在充分保留可见光图像和红外图像的所有有效信息且不引入额外人造信息的前提下实现两者的图像融合，是所属领域技术人员需要解决的技术问题。

发明内容

本申请提供了一种图像融合方法、装置及计算机可读存储介质，在充分保留可见光图像和红外图像的所有有效信息且不引入额外人造信息的前提下实现两者的图像融合。

为解决上述技术问题，本发明实施例提供以下技术方案：

本发明实施例一方面提供了一种图像融合方法，包括：

基于红外相机和可见光相机的相对几何位置关系确定拍摄同一目标、且图像宽高比值相同的红外图像和可见光图像的坐标映射关系；

根据像素融合需求调用所需像素排布模板，并按照周期排布格式将各像素排布模板填充至空白融合图像相应位置处；所述周期排布格式根据所述像素融合需求、所述红外图像和所述可见光图像的分辨率值确定；所述像素排布模板中待填充像素点包括不同图像中满足坐标映射关系的像素点和同一张图像中满足位置关系的像素点；

对每个像素排布模板，将所述红外图像和所述可见光图像中满足位置选择条件的目标像素点对应填充至所述当前像素排布模板的相应位置处，得到融合图像；所述位置选择条件基于所述当前像素排布模板所处所述空白融合图像的位置和所述像素排布模板的像素布局格式确定，以使所述可见光图像和所述红外图像的所有像素点均分布在所述融合图像中。

可选的，所述像素融合需求为将高分辨率图像的像素点融合至低分辨率图像的像素点中，所述像素排布模板中包括按照所述像素布局格式分布的第一类像素点、第二类像素点和第三类像素点；

所述第一类像素点为低分辨率图像中的同一个像素点，所述第二类像素点为所述第一类像素点基于所述坐标映射关系在高分辨率图像中确定的像素点，所述第三类像素点为所述高分辨图像中位于所述第二类像素点邻近区域的像素点；所述第一类像素点随着所述像素排布模板在所述空白融合图像的位置不同而不同。

可选的，所述当前像素排布模板位于所述空白融合图像的第i行第j列，所述将所述红外图像和所述可见光图像中满足位置选择条件的目标像素点对应填充至所述当前像素排布模板的相应位置处，得到融合图像包括：

对所述当前像素排布模板，将所述低分辨率图像的第i行第j列的像素点作为所述第一类像素点填充至所述第一类像素点位于所述当前像素排布模板的位置处；

基于所述坐标映射关系确定所述第一类像素点在所述高分辨率图像中对应像素点的目标坐标位置第m行第n列，并将所述目标坐标位置的像素点作为所述第二类像素点填充至所述第二类像素点位于所述当前像素排布模板的位置处；

将所述高分辨率图像中第m±Δ₁行、第n±Δ₂列的像素点作为所述第三类像素点填充至所述第三类像素点位于所述当前像素排布模板的位置处；Δ₁＝1,2,3,…，Δ₂＝1,2,3,…。

可选的，所述基于所述坐标映射关系确定所述第一类像素点在所述高分辨率图像中对应像素点的目标坐标位置包括：

基于所述坐标映射关系确定所述第一类像素点在所述高分辨率图像中对应像素点的目标坐标位置；

若所述目标坐标位置的数值不为整数，则向下取整得到整数，将整数对应的坐标位置作为目标坐标位置。

可选的，所述像素排布模板中包含的像素点个数根据所述可见光图像和所述红外图像的分辨率比值确定，且所述像素排布模板的高宽比与所述可见光图像的高宽比相同。

可选的，所述像素融合需求为将高分辨率图像的像素点融合至低分辨率图像的像素点中，所述低分辨率图像的分辨率为w₂*h₂，所述按照周期排布格式将各像素排布模板填充至空白融合图像相应位置处包括：

将各像素排布模板在所述空白融合图像的行方向和列方向周期性排布，行方向上重复h₂次，列方向上重复w₂次。

本发明实施例另一方面提供了一种图像融合装置，包括：

图像获取模块，用于获取拍摄同一目标、且图像宽高比值相同的红外图像和可见光图像；

像素排布模板调用模块，用于根据像素融合需求调用所需像素排布模板；所述像素排布模板中待填充像素点包括不同图像中满足坐标映射关系的像素点和同一张图像中满足位置关系的像素点；

模板排布模块，用于按照周期排布格式将各像素排布模板填充至空白融合图像相应位置处；所述周期排布格式根据所述像素融合需求、所述红外图像和所述可见光图像的分辨率值确定；

像素点填充模块，用于对每个像素排布模板，将所述红外图像和所述可见光图像中满足位置选择条件的目标像素点对应填充至所述当前像素排布模板的相应位置处，得到融合图像；所述位置选择条件基于所述当前像素排布模板所处所述空白融合图像的位置和所述像素排布模板的像素布局格式确定，以使所述可见光图像和所述红外图像的所有像素点均分布在所述融合图像中。

可选的，所述模板排布模块具体用于将各像素排布模板在所述空白融合图像的行方向和列方向周期性排布，行方向上重复h₂次，列方向上重复w₂次。

本发明实施例还提供了一种图像融合装置，包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如前任一项所述图像融合方法的步骤。

本发明实施例最后还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有图像融合程序，所述图像融合程序被处理器执行时实现如前任一项所述图像融合方法的步骤。

本申请提供的技术方案的优点在于，在进行图像融合操作之前，没有对原始图像做任何预处理如滤波、再采样等，两幅原始图像在融合前没有任何关于目标物体和场景的信息损失，保证融合所得图像不会由于图像预处理导致的信息损失造成有效信息的丢失；利用像素排布模板将红外图像和可见光图像所有的像素点进行重新排布得到融合图像，融合过程中没有改变像素值大小，充分利用了红外图像和可见光图像提供的所有像素信息，在充分保留可见光图像和红外图像的所有有效信息且不引入额外人造信息的前提下实现两者的图像融合，有效提高融合图像的成像质量，降低融合图像失真现象出现的概率。

此外，本发明实施例还针对图像融合方法提供了相应的实现装置及计算机可读存储介质，进一步使得所述方法更具有实用性，所述装置及计算机可读存储介质具有相应的优点。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。

附图说明

为了更清楚的说明本发明实施例或相关技术的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种图像融合方法的流程示意图；

图2为本发明实施例提供的另一种图像融合方法的流程示意图；

图3为本发明实施例提供的像素排布模板的一种实施方式下的像素布局格式示意图；

图4为本发明实施例提供的像素排布模板的另一种实施方式下的像素布局格式示意图；

图5为本发明实施例提供的像素排布模板的再一种实施方式下的像素布局格式示意图；

图6为本发明实施例提供的像素排布模板的周期性排布示意图；

图7为本发明实施例提供的图像融合装置的一种具体实施方式结构图；

图8为本发明实施例提供的图像融合装置的另一种具体实施方式结构图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。

在介绍了本发明实施例的技术方案后，下面详细的说明本申请的各种非限制性实施方式。

首先参见图1和图2，图1为本发明实施例提供的一种图像融合方法的流程示意图，本发明实施例可包括以下内容：

S101：获取拍摄同一目标、且图像宽高比值相同的红外图像和可见光图像。

在本申请中，可采用同时设置有红外相机和可见光相机的光学设备于同一时刻对同一目标进行拍摄得到可见光图像和红外图像，也可分别采用单独的红外相机和可见光相机于同一时刻或不同时刻拍摄同一目标得到可见光图像和红外图像，当然，对于不同时刻拍摄的可见光图像和红外图像，需要对同一场景中的目标进行拍摄。为了便于后续图像融合，在从图像采集设备即红外相机和可见光相机获取图像之后，需要对图像进行处理，以得到宽高比值相同的可见光图像和红外图像。可采用任何一种图像处理方法如图像裁剪或图像拉伸使二者图像宽高比相同。

S102：基于红外相机和可见光相机的相对几何位置关系确定红外图像和可见光图像的坐标映射关系。

由于红外相机和可见光相机的焦距、视场、分辨率均不一致，在进行红外图像和可见光图像融合过程中，需要将不同相机获取的图像的逐个像素点进行像素匹配对准，使得同一个像素对应的是同一个物体，这样才能保证融合结果不出现失真和假影。由于红外图像与可见光图像成像原理的差异，红外相机的像素点在红外相机坐标系中，可见光图像的像素点在可见光相机坐标系中，红外图像和可见光图像对应同一目标点的像素于不同空间坐标系下显示不同像素坐标，从而可建立二者之间的坐标映射关系，坐标映射关系例如可以通过如下形式给出：红外图像的第i₁行第j₁列的像素对应可见光图像第i₂行第j₂列的像素。当然，坐标映射关系也可通过映射表的形式来给出，本申请对此不做任何限定。可采用任何一种图像配准方法确定不同空间坐标系下的坐标映射关系，如可采用异源图像配准方法来确定。

S103：根据像素融合需求调用所需像素排布模板，并按照周期排布格式将各像素排布模板填充至空白融合图像相应位置处。

在本申请中，像素融合需求可为将高分辨率图像的像素点融合至低分辨率图像的像素点中，或者是将低分辨率图像的像素点融合至高分辨率图像的像素点中，不同的像素融合需求对应的像素排布模板的像素布局格式不同。像素排布模板中待填充像素点包括不同图像中满足坐标映射关系的像素点和同一张图像中满足位置关系的像素点，这些像素点按照像素布局格式分布在像素排布模板中。周期排布格式根据像素融合需求、红外图像的分辨率值和可见光图像的分辨率值共同确定，周期排布格式用于将像素排布模板按照其格式分布在空白融合图像上，所谓的空白融合图像即为没有任何像素信息的空白图像。

S104：对每个像素排布模板，将红外图像和可见光图像中满足位置选择条件的目标像素点对应填充至当前像素排布模板的相应位置处，得到融合图像。

可以理解的是，将每个像素排布模板填充上S101的可见光图像和红外图像的像素点后，S103的空白融合图像中也就包含了S101的可见光图像和红外图像的像素点，也即实现了S101的图像融合。而本申请是为了实现将可见光图像和红外图像的所有像素点均包含在融合图像中，而融合图像中的像素点由像素排布模板和周期排布格式共同决定，在红外图像分辨率和可见光图像分辨率以及像素融合需求确定之后，周期排布格式就是固定不变的，所以像素排布模板的像素布局格式决定了是否可将原始图像的全部像素点均分布在融合图像中，故位置选择条件基于当前像素排布模板所处空白融合图像的位置和像素排布模板的像素布局格式共同确定，以使可见光图像和红外图像的所有像素点均分布在融合图像中。

在本发明实施例提供的技术方案中，在进行图像融合操作之前，没有对原始图像做任何预处理如滤波、再采样等，两幅原始图像在融合前没有任何关于目标物体和场景的信息损失，保证融合所得图像不会由于图像预处理导致的信息损失造成有效信息的丢失；利用像素排布模板将红外图像和可见光图像所有的像素点进行重新排布得到融合图像，融合过程中没有改变像素值大小，充分利用了红外图像和可见光图像提供的所有像素信息，在充分保留可见光图像和红外图像的所有有效信息且不引入额外人造信息的前提下实现两者的图像融合，有效提高融合图像的成像质量，降低融合图像失真现象出现的概率。

需要说明的是，本申请中各步骤之间没有严格的先后执行顺序，只要符合逻辑上的顺序，则这些步骤可以同时执行，也可按照某种预设顺序执行，图1-图2只是一种示意方式，并不代表只能是这样的执行顺序。

作为一种可选的实施方式，为了进一步增加融合图像中包含的有效像素信息，像素排布模板中包含的像素点个数可根据可见光图像和红外图像的分辨率比值确定，且像素排布模板的高宽比与可见光图像的高宽比相同。举例来说，高分辨率图像的分辨率值可表示为w₁*h₁，低分辨率图像的分辨率值可表示为w₂*h₂，像素排布模板中的行方向上像素的个数由h₁/h₂确定，而列方向上像素的个数由w₁/w₂确定。

作为另外一种可选的实施方式，若像素融合需求为将高分辨率图像的像素点融合至低分辨率图像的像素点中，周期排布格式可为像素排布模板在行方向上重复h₂次，列方向上重复w₂次，也即按照周期排布格式将各像素排布模板填充至空白融合图像相应位置处过程可包括：

将各像素排布模板在空白融合图像的行方向和列方向周期性排布，其中，行方向上重复h₂次，列方向上重复w₂次。

若像素融合需求为将低分辨率图像的像素点融合至高分辨率图像的像素点中，周期排布格式可为像素排布模板在行方向上重复h₁次，列方向上重复w₁次，也即按照周期排布格式将各像素排布模板填充至空白融合图像相应位置处过程可包括：

将各像素排布模板在空白融合图像的行方向和列方向周期性排布，其中，行方向上重复h₁次，列方向上重复w₁次。

在本发明实施例中，将像素排布模板按照图像分辨率在空白融合图像中进行周期排布，可进一步增加融合图像中包含的有效像素信息。

在上述实施例中，对于如何进行像素排布模板的设计并不做限定，本实施例中给出像素排布模板的生成方式，可包括如下步骤：

若像素融合需求为将高分辨率图像的像素点融合至低分辨率图像的像素点中，像素排布模板中包括按照像素布局格式分布的第一类像素点、第二类像素点和第三类像素点；第一类像素点为低分辨率图像中的同一个像素点，第二类像素点为第一类像素点基于坐标映射关系在高分辨率图像中确定的像素点，第三类像素点为高分辨图像中位于第二类像素点邻近区域的像素点。

若像素融合需求为将低分辨率图像的像素点融合至高分辨率图像的像素点中，像素排布模板中包括按照像素布局格式分布的第一类像素点、第二类像素点和第三类像素点；第一类像素点随着像素排布模板在空白融合图像的位置不同而不同。第一类像素点为高分辨率图像中的同一个像素点，第二类像素点为第一类像素点基于坐标映射关系在低分辨率图像中确定的像素点，第三类像素点为低分辨图像中位于第二类像素点邻近区域的像素点。

其中，红外图像和可见光图像中分辨率较大的记为图像A，高分辨率图像的分辨率值可表示为w₁*h₁；分辨率较小的记为图像B，低分辨率图像的分辨率值可表示为w₂*h₂。因波长和像元阵列大小的原因，红外波长和红外探测器的像元远大于可见光和可见光探测器的像元大小，一般红外光图像的分辨率就反而小于可见光图像的分辨率。像素排布模板的像素布局格式例如可为但不限制于如图3-图5所示格式，黑色区域和白色区域分别表示不同图像中的像素点。

可以理解的是，图像分辨率越高，包含的像素点越多，在同一个像素排布模板中，高分辨率图像的像素点的个数可比低分辨率图像的像素点多，这样可有效保证融合图像包含更多的像素信息。

在本发明实施例中，通过将同一个目标点对应在可见光图像和红外图像中的所有相关像素点放在一个像素排布模板中，多个像素排布模板分别对应不同像素点，可保证原始图像中的所有像素点至少在融合图像中出现一次，可有效保证融合图像中包含了原始图像的所有像素信息。

基于上述实施例的像素排布模板，若当前像素排布模板位于空白融合图像的第i行第j列，将红外图像和可见光图像中满足位置选择条件的目标像素点对应填充至当前像素排布模板的相应位置处的过程可包括：

对当前像素排布模板，将低分辨率图像的第i行第j列的像素点作为第一类像素点填充至第一类像素点位于当前像素排布模板的位置处。

基于坐标映射关系确定第一类像素点在高分辨率图像中对应像素点的目标坐标位置第m行第n列，并将目标坐标位置的像素点作为第二类像素点填充至第二类像素点位于当前像素排布模板的位置处。该步骤中还需要说明的是，若基于坐标映射关系确定第一类像素点在高分辨率图像中对应像素点的目标坐标位置的数值不为整数，则向下取整得到整数，将整数对应的坐标位置作为目标坐标位置。

将高分辨率图像中第m±Δ₁行、第n±Δ₂列的像素点作为第三类像素点填充至第三类像素点位于当前像素排布模板的位置处；Δ₁＝1,2,3,…，Δ₂＝1,2,3,…。

为了使所属领域技术人员更加清楚明白本申请的实现方式，以图3的像素布局格式为例阐述本申请技术方案，可包括：

可见光图像A(高分辨率图像)的分辨率值表示为w₁*h₁，红外图像B(低分辨率图像)的分辨率值可表示为w₂*h₂。像素排布模板分别在空白融合图像的行和列方向周期性排布，如图6所示，其中行方向上重复h₂次，列方向上重复w₂。像素排布模板在行方向上像素的个数由h₁/h₂确定，而列方向上像素的个数由w₁/w₂确定，来自图像A的像素用白色表示，而来自图像B的像素用黑色表示。

对于空白融合图像，其行方向上第i个，列方向上第j个像素排布模板中所有的黑色像素值均为图像B中第i行第j列的像素值。依据映射关系f确定图像B中第i行第j列的像素在图像A中的对应像素位置。一般来说，这个位置不是整数，可对其向下取整得到整数坐标第m行第n列。空白融合图像中第i行第j列个模板中心处黑色像素左上角的白色像素(像素a)的大小为图像A中第m行第n列的像素值，右上角的白色像素(像素b)的大小为图像A中第m行第n+1列的像素值，右下角的白色像素(像素c)的大小为图像A中第m+1行第n+1列的像素值，左下角的白色像素(像素d)的大小为图像A中第m+1行第n列的像素值。像素排布模板中其余的白色像素由它们相对像素a、b、c、d的位置在图像A中找对应的位置确定。例如像素b上侧第3右侧第2个白色像素的大小为图像A中第m-3行第(n+1)+2＝n+3列的像素值。像素d下侧第1左侧第1个白色像素的大小为图像A中第m+1+1＝m+2行第n-1列的像素值。

按照上述方式将空白融合图像中的每个像素排布模板上的像素点均填充完毕后得到的即为最终融合图像，由于像素排布模板中的每个像素和原始图像中像素的一一对应关系，即黑色像素对应图像B中的像素，白色像素对应图像A中的像素。这种对应关系不会导致物体和场景的信息损失，不会产生图像的失真。

为了验证本申请技术方案的有效性，本申请还提供了一个示意性例子，拍摄左边杯子装了热水，右边的杯子没有装水场景的红外图像和可见光图像，红外图像可以很清晰看到左边杯子内的颜色，这是因为装了热水的杯子温度较高；但是右边杯子温度和室温接近，所以比较难在红外图像中分辨出。另一方面，可见光图像可清晰地展现两个杯子的轮廓和外表细节，但是无法从中看出哪个杯子里有热水。采用本申请技术方案得到的融合图像综合了红外和可见光图像的全部有效信息，其中杯内的色彩信息可反应红外图像的温度信息，而亮度对应于可见光图像的信息，即可见光图像中较亮的部分在融合图像中也会比较亮。这样从融合图像中，既可以看出两个杯子的轮廓和外表细节，也可以看出哪个杯子装了热水。

本发明实施例还针对图像融合方法提供了相应的装置，进一步使得所述方法更具有实用性。其中，装置可从功能模块的角度和硬件的角度分别说明。下面对本发明实施例提供的图像融合装置进行介绍，下文描述的图像融合装置与上文描述的图像融合方法可相互对应参照。

基于功能模块的角度，参见图7，图7为本发明实施例提供的图像融合装置在一种具体实施方式下的结构图，该装置可包括：

图像获取模块701，用于获取拍摄同一目标、且图像宽高比值相同的红外图像和可见光图像。

像素排布模板调用模块702，用于根据像素融合需求调用所需像素排布模板；像素排布模板中待填充像素点包括不同图像中满足坐标映射关系的像素点和同一张图像中满足位置关系的像素点。

模板排布模块703，用于按照周期排布格式将各像素排布模板填充至空白融合图像相应位置处；周期排布格式根据像素融合需求、红外图像和可见光图像的分辨率值确定。

像素点填充模块704，用于对每个像素排布模板，将红外图像和可见光图像中满足位置选择条件的目标像素点对应填充至当前像素排布模板的相应位置处，得到融合图像；位置选择条件基于当前像素排布模板所处空白融合图像的位置和像素排布模板的像素布局格式确定，以使可见光图像和红外图像的所有像素点均分布在融合图像中。

可选的，在本实施例的一些实施方式中，所述模板排布模块703可具体用于将各像素排布模板在所述空白融合图像的行方向和列方向周期性排布，行方向上重复h₂次，列方向上重复w₂次。

可选的，在本实施例的另一些实施方式中，所述像素点填充模块704例如还可包括：

第一类像素点填充子模块，用于对当前像素排布模板，将低分辨率图像的第i行第j列的像素点作为第一类像素点填充至第一类像素点位于当前像素排布模板的位置处；其中，像素融合需求为将高分辨率图像的像素点融合至低分辨率图像的像素点中，像素排布模板中包括按照像素布局格式分布的第一类像素点、第二类像素点和第三类像素点；第一类像素点为低分辨率图像中的同一个像素点，第二类像素点为第一类像素点基于坐标映射关系在高分辨率图像中确定的像素点，第三类像素点为高分辨图像中位于第二类像素点邻近区域的像素点。

第二类像素点填充子模块，用于基于坐标映射关系确定第一类像素点在高分辨率图像中对应像素点的目标坐标位置第m行第n列，并将目标坐标位置的像素点作为第二类像素点填充至第二类像素点位于当前像素排布模板的位置处。

第三类像素点填充子模块，用于将高分辨率图像中第m±Δ₁行、第n±Δ₂列的像素点作为第三类像素点填充至第三类像素点位于当前像素排布模板的位置处；Δ₁＝1,2,3,…，Δ₂＝1,2,3,…。

在本发明实施例的一些实施方式中，所述第二类像素点填充子模块还可包括像素坐标调整单元，用于基于坐标映射关系确定第一类像素点在高分辨率图像中对应像素点的目标坐标位置；若目标坐标位置的数值不为整数，则向下取整得到整数，将整数对应的坐标位置作为目标坐标位置。

本发明实施例所述图像融合装置的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。

由上可知，本发明实施例在充分保留可见光图像和红外图像的所有有效信息且不引入额外人造信息的前提下实现两者的图像融合。

上文中提到的图像融合装置是从功能模块的角度描述，进一步的，本申请还提供一种图像融合装置，是从硬件角度描述。图8为本申请实施例提供的另一种图像融合装置的结构图。如图8所示，该装置包括存储器80，用于存储计算机程序；

处理器81，用于执行计算机程序时实现如上述任一实施例提到的图像融合方法的步骤。

其中，处理器81可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器81可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器81也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器81可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器81还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器80可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器80还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。本实施例中，存储器80至少用于存储以下计算机程序801，其中，该计算机程序被处理器81加载并执行之后，能够实现前述任一实施例公开的图像融合方法的相关步骤。另外，存储器80所存储的资源还可以包括操作系统802和数据803等，存储方式可以是短暂存储或者永久存储。其中，操作系统802可以包括Windows、Unix、Linux等。数据803可以包括但不限于测试结果对应的数据等。

在一些实施例中，图像融合装置还可包括有显示屏82、输入输出接口83、通信接口84、电源85以及通信总线86。

本领域技术人员可以理解，图8中示出的结构并不构成对图像融合装置的限定，可以包括比图示更多或更少的组件，例如传感器87。

本发明实施例所述图像融合装置的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。

由上可知，本发明实施例在充分保留可见光图像和红外图像的所有有效信息且不引入额外人造信息的前提下实现两者的图像融合。

可以理解的是，如果上述实施例中的图像融合方法以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、磁碟或者光盘等各种可以存储程序代码的介质。

基于此，本发明实施例还提供了一种计算机可读存储介质，存储有图像融合程序，所述图像融合程序被处理器执行时如上任意一实施例所述图像融合方法的步骤。

本发明实施例所述计算机可读存储介质的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。

由上可知，本发明实施例在充分保留可见光图像和红外图像的所有有效信息且不引入额外人造信息的前提下实现两者的图像融合。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

以上对本申请所提供的一种图像融合方法、装置及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

Claims (10)

1.一种图像融合方法，其特征在于，包括：

基于红外相机和可见光相机的相对几何位置关系确定拍摄同一目标、且图像宽高比值相同的红外图像和可见光图像的坐标映射关系；

根据像素融合需求调用所需像素排布模板，并按照周期排布格式将各像素排布模板填充至空白融合图像相应位置处；所述周期排布格式根据所述像素融合需求、所述红外图像和所述可见光图像的分辨率值确定；所述像素排布模板中待填充像素点包括不同图像中满足坐标映射关系的像素点和同一张图像中满足位置关系的像素点；

对每个像素排布模板，将所述红外图像和所述可见光图像中满足位置选择条件的目标像素点对应填充至所述当前像素排布模板的相应位置处，得到融合图像；所述位置选择条件基于所述当前像素排布模板所处所述空白融合图像的位置和所述像素排布模板的像素布局格式确定，以使所述可见光图像和所述红外图像的所有像素点均分布在所述融合图像中。

2.根据权利要求1所述的图像融合方法，其特征在于，所述像素融合需求为将高分辨率图像的像素点融合至低分辨率图像的像素点中，所述像素排布模板中包括按照所述像素布局格式分布的第一类像素点、第二类像素点和第三类像素点；

所述第一类像素点为低分辨率图像中的同一个像素点，所述第二类像素点为所述第一类像素点基于所述坐标映射关系在高分辨率图像中确定的像素点，所述第三类像素点为所述高分辨率图像中位于所述第二类像素点邻近区域的像素点；所述第一类像素点随着所述像素排布模板在所述空白融合图像的位置不同而不同。

3.根据权利要求2所述的图像融合方法，其特征在于，所述当前像素排布模板位于所述空白融合图像的第i行第j列，所述将所述红外图像和所述可见光图像中满足位置选择条件的目标像素点对应填充至所述当前像素排布模板的相应位置处，得到融合图像包括：

对所述当前像素排布模板，将所述低分辨率图像的第i行第j列的像素点作为所述第一类像素点填充至所述第一类像素点位于所述当前像素排布模板的位置处；

基于所述坐标映射关系确定所述第一类像素点在所述高分辨率图像中对应像素点的目标坐标位置第m行第n列，并将所述目标坐标位置的像素点作为所述第二类像素点填充至所述第二类像素点位于所述当前像素排布模板的位置处；

将所述高分辨率图像中第m±Δ₁行、第n±Δ₂列的像素点作为所述第三类像素点填充至所述第三类像素点位于所述当前像素排布模板的位置处；Δ₁＝1,2,3,…，Δ₂＝1,2,3,…。

4.根据权利要求3所述的图像融合方法，其特征在于，所述基于所述坐标映射关系确定所述第一类像素点在所述高分辨率图像中对应像素点的目标坐标位置包括：

基于所述坐标映射关系确定所述第一类像素点在所述高分辨率图像中对应像素点的目标坐标位置；

若所述目标坐标位置的数值不为整数，则向下取整得到整数，将整数对应的坐标位置作为目标坐标位置。

5.根据权利要求1所述的图像融合方法，其特征在于，所述像素排布模板中包含的像素点个数根据所述可见光图像和所述红外图像的分辨率比值确定，且所述像素排布模板的高宽比与所述可见光图像的高宽比相同。

6.根据权利要求1至5任意一项所述的图像融合方法，其特征在于，所述像素融合需求为将高分辨率图像的像素点融合至低分辨率图像的像素点中，所述低分辨率图像的分辨率为w₂*h₂，所述按照周期排布格式将各像素排布模板填充至空白融合图像相应位置处包括：

将各像素排布模板在所述空白融合图像的行方向和列方向周期性排布，行方向上重复h₂次，列方向上重复w₂次。

7.一种图像融合装置，其特征在于，包括：

图像获取模块，用于获取拍摄同一目标、且图像宽高比值相同的红外图像和可见光图像；

像素排布模板调用模块，用于根据像素融合需求调用所需像素排布模板；所述像素排布模板中待填充像素点包括不同图像中满足坐标映射关系的像素点和同一张图像中满足位置关系的像素点；

模板排布模块，用于按照周期排布格式将各像素排布模板填充至空白融合图像相应位置处；所述周期排布格式根据所述像素融合需求、所述红外图像和所述可见光图像的分辨率值确定；

像素点填充模块，用于对每个像素排布模板，将所述红外图像和所述可见光图像中满足位置选择条件的目标像素点对应填充至所述当前像素排布模板的相应位置处，得到融合图像；所述位置选择条件基于所述当前像素排布模板所处所述空白融合图像的位置和所述像素排布模板的像素布局格式确定，以使所述可见光图像和所述红外图像的所有像素点均分布在所述融合图像中。

8.根据权利要求7所述的图像融合装置，其特征在于，所述模板排布模块具体用于将各像素排布模板在所述空白融合图像的行方向和列方向周期性排布，行方向上重复h₂次，列方向上重复w₂次。

9.一种图像融合装置，其特征在于，包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1至6任一项所述图像融合方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有图像融合程序，所述图像融合程序被处理器执行时实现如权利要求1至6任一项所述图像融合方法的步骤。