CN111179209A - 基于特征引导的红外与可见光的图像信息融合方法及装置 - Google Patents
基于特征引导的红外与可见光的图像信息融合方法及装置 Download PDFInfo
- Publication number
- CN111179209A CN111179209A CN201911329285.2A CN201911329285A CN111179209A CN 111179209 A CN111179209 A CN 111179209A CN 201911329285 A CN201911329285 A CN 201911329285A CN 111179209 A CN111179209 A CN 111179209A
- Authority
- CN
- China
- Prior art keywords
- image
- infrared
- target
- sub
- visible light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims description 9
- 230000004927 fusion Effects 0.000 claims abstract description 49
- 238000000034 method Methods 0.000 claims abstract description 34
- 238000012545 processing Methods 0.000 claims description 37
- 238000001914 filtration Methods 0.000 claims description 35
- 230000000903 blocking effect Effects 0.000 claims description 14
- 230000011218 segmentation Effects 0.000 claims description 14
- 238000009499 grossing Methods 0.000 claims description 7
- 230000000007 visual effect Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000000354 decomposition reaction Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 239000000779 smoke Substances 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明实施例提供了一种基于特征引导的红外与可见光的图像信息融合方法及装置。所述方法包括：获取目标对象对应的原始红外图像和原始可见光图像；对所述原始红外图像进行拆分，生成多个目标图像子块；根据所述多个目标图像子块进行图像背景估计，生成所述目标对象对应的红外背景图像；根据所述原始红外图像和所述红外背景图像，确定目标图像；根据所述原始可见光图像和所述原始红外图像，确定前景图像；基于所述目标图像、所述前景图像和所述原始可见光图像中的可见光信息，确定最终的融合结果。本发明实施例可以在保护图像边缘信息的同时，还能够抑制背景杂波信息。
Description
技术领域
本发明涉及图像处理技术领域，特别是一种基于特征引导的红外与可见光 的图像信息融合方法及装置。
背景技术
图像融合已被广泛应用于交通监控、目标识别、医学成像等领域，其主要 任务是将多个传感器对同一场景图像信息进行整合，以提高成像清晰度。红外 与可见光图像融合作为多源信息融合的一个重要分支，成为图像领域的研究热 点。
红外图像的背景呈现非平稳的空间分布，如明亮的地面背景或海面背景、 起伏的云层背景和各种杂波等，所处其中的飞机、导弹等目标在红外探测器像 平面上仅占几个像素，又缺少形状、纹理等信息，易于淹没在复杂背景中。而 可见光相机获取的视觉图像提供了场景的大量细节信息，但目标定位却易于受 相似颜色特征的影响，且一般只能在光照条件较好的环境下可有效工作。
由此可见，单一的传感器探测系统的主要技术手段都具有自己的优缺点， 单种探测方式通常难以满足任意天候、任意时段、任意地点的探测要求。因此， 采用多探测系统信息融合的方式进行目标探测与识别是一种更为理想的手段。
传统的红外与可见光图像融合方法主要有基于区域的方法和基于多尺度分 解的算法。前者是利用分割算法将源图像分为多区域，对各个区域的显著信息 进行融合，但该算法很难清楚地表现边缘纹理；多尺度分解的融合算法有基于 金字塔、小波分解、形态学方法以及支持度变换等算法。这些算法均是提取了 两种图像的多尺度特征，在多尺度空间进行信息融合。但在低光照环境下，此 类算法常丢失许多视觉图像信息，从而导致融合结果的场景模糊问题。由此， Zhang Yu等人在2017年的《Infrared Physics andTechnology》上发表的 《Infrared and visual image fusion through infraredfeature extraction and visual information preservation》中，采用红外图像特征提取和视觉信息保留不 失为一种融合策略。该算法采用分块的贝塞尔插值方法来估计目标图像，并通 过叠加前景图像融入了视觉信息。但简单叠加容易导致前景图像所含背景信息， 一定程度上弱化目标信息，从而降低融合图像的清晰度。
综上所述，视觉图像难以探测隐藏目标，但提供了场景细节信息；而红外 图像疏于对真实场景的理解，但突出‘热’目标信息。
发明内容
本发明解决的技术问题是：克服现有技术中视觉图像难以探测隐藏目标， 但提供了场景细节信息；而红外图像疏于对真实场景的理解，但突出‘热’目 标信息的不足，提供了一种基于特征引导的红外与可见光的图像信息融合方法 及装置。
为了解决上述技术问题，本发明实施例提供了一种基于特征引导的红外与 可见光的图像信息融合方法，包括：
获取目标对象对应的原始红外图像和原始可见光图像；
对所述原始红外图像进行拆分，生成多个目标图像子块；
根据所述多个目标图像子块进行图像背景估计，生成所述目标对象对应的 红外背景图像；
根据所述原始红外图像和所述红外背景图像，确定目标图像；
根据所述原始可见光图像和所述原始红外图像，确定前景图像；
基于所述目标图像、所述前景图像和所述原始可见光图像中的可见光信息， 确定最终的融合结果。
优选地，所述对所述原始红外图像进行拆分，生成多个目标图像子块，包 括：
采用四叉树分块方法对所述原始红外图像进行分块处理，得到多个图像子 块；
获取每个所述图像子块的最大灰度值和最小灰度值；
计算各所述最大灰度值和各所述最小灰度值之间的差值，得到每个所述图 像子块对应的灰度值差值；
在每个所述图像子块对应的灰度值差值大于设定阈值时，停止分割，将多 个所述图像子块作为所述目标图像子块；
在各所述灰度值差值中存在小于或等于所述设定阈值的图像子块时，对灰 度值差值小于或等于所述设定阈值的图像子块进行二次分割处理，并将得到的 所有的灰度值差值小于或等于所述设定阈值的图像子块作为所述目标图像子 块。
优选地，所述根据所述多个目标图像子块进行图像背景估计，生成所述目 标对象对应的红外背景图像，包括：
获取每个所述目标图像子块中的16个控制点；
根据所述16个控制点和预设函数，获取插值后的背景图像；
对所述背景图像进行高斯平滑处理，生成所述红外背景图像。
优选地，所述根据所述原始红外图像和所述红外背景图像，确定目标图像， 包括：
对所述原始红外图像和所述红外背景图像进行作差处理，生成所述目标图 像。
优选地，所述根据所述原始可见光图像和所述原始红外图像，确定前景图 像，包括：
对所述原始可见光图像和所述原始红外图像进行作差处理，生成所述前景 图像。
优选地，所述基于所述目标图像、所述前景图像和所述原始可见光图像中 的可见光信息，确定最终的融合结果，包括：
根据所述目标图像对所述前景图像进行滤波处理，获取滤波增强结果；
将所述滤波增强结果融合所述可见光信息，获取所述融合结果。
为了解决上述技术问题，本发明实施例提供了一种基于特征引导的红外与 可见光的图像信息融合装置，包括：
红外可见光图像获取模块，用于获取目标对象对应的原始红外图像和原始 可见光图像；
目标图像子块生成模块，用于对所述原始红外图像进行拆分，生成多个目 标图像子块；
红外背景图像生成模块，用于根据所述多个目标图像子块进行图像背景估 计，生成所述目标对象对应的红外背景图像；
目标图像确定模块，用于根据所述原始红外图像和所述红外背景图像，确 定目标图像；
前景图像确定模块，用于根据所述原始可见光图像和所述原始红外图像， 确定前景图像；
融合结果确定模块，用于基于所述目标图像、所述前景图像和所述原始可 见光图像中的可见光信息，确定最终的融合结果。
优选地，所述目标图像子块生成模块包括：
图像子块获取子模块，用于采用四叉树分块方法对所述原始红外图像进行 分块处理，得到多个图像子块；
灰度值获取子模块，用于获取每个所述图像子块的最大灰度值和最小灰度 值；
灰度差值获取子模块，用于计算各所述最大灰度值和各所述最小灰度值之 间的差值，得到每个所述图像子块对应的灰度值差值；
第一目标子块获取子模块，用于在每个所述图像子块对应的灰度值差值大 于设定阈值时，停止分割，将多个所述图像子块作为所述目标图像子块；
第二目标子块获取子模块，用于在各所述灰度值差值中存在小于或等于所 述设定阈值的图像子块时，对灰度值差值小于或等于所述设定阈值的图像子块 进行二次分割处理，并将得到的所有的灰度值差值小于或等于所述设定阈值的 图像子块作为所述目标图像子块。
优选地，所述红外背景图像生成模块包括：
控制点获取子模块，用于获取每个所述目标图像子块中的16个控制点；
背景图像获取子模块，用于根据所述16个控制点和预设函数，获取插值 后的背景图像；
红外背景图像生成子模块，用于对所述背景图像进行高斯平滑处理，生成 所述红外背景图像。
优选地，所述目标图像确定模块包括：
目标图像生成子模块，用于对所述原始红外图像和所述红外背景图像进行 作差处理，生成所述目标图像。
优选地，所述前景图像确定模块包括：
前景图像生成子模块，用于对所述原始可见光图像和所述原始红外图像进 行作差处理，生成所述前景图像。
优选地，所述融合结果确定模块包括：
滤波结果获取子模块，用于根据所述目标图像对所述前景图像进行滤波处 理，获取滤波增强结果；
融合结果获取子模块，用于将所述滤波增强结果融合所述可见光信息，获 取所述融合结果。
本发明与现有技术相比的优点在于：
(1)分块贝塞尔插值算法有效地重构了红外图像的背景信息，在原始红外 图像与重构背景图像做差后，所得图像包含有较显著的目标特征。
(2)就图像灰度值而言，红外目标区域通常高于可见光图像的相应区域， 即红外图像中的更‘亮’的区域较大概率属于前景。由此，前景图像Be可快 速突出目标信息。
(3)引导滤波融合了红外图像的目标特征与可见光图像的细节特征，保护 了图像边缘信息的同时，抑制了背景杂波信息。
附图说明
图1为本发明实施例提供的一种基于特征引导的红外与可见光的图像信息 融合方法的步骤流程图；
图2为本发明实施例提供的部分测试图像的示意图；
图3为本发明实施例提供的引导滤波方法在Road图上的处理效果的示意 图；
图4为本发明实施例提供的引导滤波方法在Road图上的处理效果的示意 图；
图5为本发明实施例提供的算法在Road图上的对比融合结果的示意图；
图6为本发明实施例提供的算法在Octec图上的对比融合结果的示意图；
图7为本发明实施例提供的算法在测试集上的融合结果的示意图
图8为本发明实施例提供的一种基于特征引导的红外与可见光的图像信息 融合装置的结构示意图。
具体实施方式
下面将结合本发明的实施例中的附图，对本发明的实施例中的技术方案进 行清楚、完整地描述，显然，所描述的实施例是本发明的实施例一部分实施例， 而不是全部的实施例。基于本发明的实施例中的实施例，本领域普通技术人员 在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明的实施 例保护的范围。
实施例一
参照图1，示出了本发明实施例提供的一种基于特征引导的红外与可见光 的图像信息融合方法的步骤流程图，如图1所示，该基于特征引导的红外与可 见光的图像信息融合方法具体可以包括如下步骤：
步骤101：获取目标对象对应的原始红外图像和原始可见光图像。
步骤102：对所述原始红外图像进行拆分，生成多个目标图像子块。
在本发明的一种优选实施例中，上述步骤102可以包括：
子步骤A1：采用四叉树分块方法对所述原始红外图像进行分块处理，得 到多个图像子块；
子步骤A2：获取每个所述图像子块的最大灰度值和最小灰度值；
子步骤A3：计算各所述最大灰度值和各所述最小灰度值之间的差值，得 到每个所述图像子块对应的灰度值差值；
子步骤A4：在每个所述图像子块对应的灰度值差值大于设定阈值时，停 止分割，将多个所述图像子块作为所述目标图像子块；
子步骤A5：在各所述灰度值差值中存在小于或等于所述设定阈值的图像 子块时，对灰度值差值小于或等于所述设定阈值的图像子块进行二次分割处理， 并将得到的所有的灰度值差值小于或等于所述设定阈值的图像子块作为所述目 标图像子块。
步骤103：根据所述多个目标图像子块进行图像背景估计，生成所述目标 对象对应的红外背景图像。
在本发明的另一种优选实施例中，上述步骤103可以包括：
子步骤B1：获取每个所述目标图像子块中的16个控制点；
子步骤B2：根据所述16个控制点和预设函数，获取插值后的背景图像；
子步骤B3：对所述背景图像进行高斯平滑处理，生成所述红外背景图像。
步骤104：根据所述原始红外图像和所述红外背景图像，确定目标图像。
在本发明的另一种优选实施例中，上述步骤104可以包括：
子步骤C1：对所述原始红外图像和所述红外背景图像进行作差处理，生 成所述目标图像。
步骤105：根据所述原始可见光图像和所述原始红外图像，确定前景图像。
在本发明的另一种优选实施例中，上述步骤105可以包括：
子步骤D1：对所述原始可见光图像和所述原始红外图像进行作差处理， 生成所述前景图像。
步骤106：基于所述目标图像、所述前景图像和所述原始可见光图像中的 可见光信息，确定最终的融合结果。
在本发明的另一种优选实施例中，上述步骤106可以包括：
子步骤E1：根据所述目标图像对所述前景图像进行滤波处理，获取滤波 增强结果；
子步骤E2：将所述滤波增强结果融合所述可见光信息，获取所述融合结 果。
接下来结合图2～图6，对本发明实施例提供的基于特征引导的红外与可见 光的图像信息融合方法进行如下描述。
首先，采用四叉树分块方法将红外图像进行分块，并在每个块上选取16 个控制点。由此，获得插值后的图像，从而估计出红外图像背景。然后，将原 始红外图像与背景图像作差，获得目标图像。另外，将原始红外图像减去原始 可见光图像，获得前景图像。为融入视觉图像信息，采用引导滤波方法，将目 标图像作为引导系数，对前景图像进行滤波处理。由此，滤波增强后的图像中 的边缘得到了较好的保护，且背景噪声被有效地抑制。最后，使用滤波增强结 果与可见光图像求和，兼顾了红外图像的显著目标信息与可见光图像的细节信 息。
进行多源图像信息融合时，不同种类图像所含目标信息不同。因此，需充 分利用各种图像信息，如红外图像在突出热目标信息上效果显著，但却存在大 量背景杂波信息，而可见光图像在光照较好时包含丰富的视觉信息。在低光照 环境下，传统的小波方法常丢失许多视觉图像信息，从而存在场景模糊等问题， 而本发明采用红外图像特征提取和视觉信息保留的融合策略，有效地提升了图 像质量。
上述方案中，多源图像融合过程包括红外背景图像估计、基于引导特征的 信息融合等处理环节。
上述基于特征引导的红外与可见光的图像信息融合方法可以包括如下步 骤：
步骤1：估计红外图像背景。首先，采用四叉树方法将红外图像进行分块。 然后，对每个块采用贝塞尔差值方法，从而估计出红外图像背景。
步骤1-1：将原始红外图像平均分为四个尺寸大小一样的子块；
步骤1-2：设定阈值T，当某一子块的灰度最大值与最小值得差值大于T 时，对该子块继续以(步骤1-1)的方式分割；
步骤1-3：设定阈值S，当某一子块尺寸小于S时，停止分割；
步骤1-4：对(步骤1-1)到(步骤1-3)分解的每一个图像块，获取16 个控制点，pij＝[xij,yij,Gij](i,j∈{1,2,3,4})，x、y和z分别表示控制点的横纵坐标 及对应灰度值；
步骤1-5：由控制点按如下公式生成插值后的图像有
Q(u,v)＝UMPMTVT
其中，(u,v)表示插入点，插值系数U＝[u3,u2,u1,u0]和V＝[v3,v2,v1,v0]， 控制点矩阵M和P可表示为
步骤1-6：将插值后的每个图像块重新拼接，获得红外图像背景BIR；
步骤2：计算目标图像TIR。
将背景图像BIR与红外原始图像IIR作差，获得目标图像TIR可表示为：
TIR＝max(IIR-BIR,0)
其中，max()表示最大值函数。
步骤3：计算前景图像Be。
将原始可见光图像IIR与原始红外图像IVis作差，获得前景图像Be可表 示为：
Be＝max(IIR-IVis,0)
步骤4：基于引导滤波的信息融合：
将目标图像TIR作为引导图像，对前景图像Be进行滤波处理，滤波增强 结果IG可表示为
其中，i和j表示坐标索引，滤波核Wij是引导图像TIR的函数，且与Be 无关，其可表示为
其中，μk和σk2为引导系数TIR在局部邻域wk的均值和方差，ε是正则 化参数。
步骤5：获取最终融合结果。
融合可见光信息，使用滤波增强结果IG与可见光图像求和，最终融合结 果R表示为
R＝IG+IVis
下面结合附图对本发明的效果做进一步描述。
1.仿真条件：
本发明仿真实验的运行系统为Intel(R)Core(TM)i7-8700@3.20GHz，64 位操Windows的4GB内存操作系统，仿真软件为Matlab2014a。
2.实验内容
为验证本发明图像融合技术的有效性，选取TNO数据库中的四组图像作 为测试集，包括Road、Octec、T3和Steamboat，测试图像如图2所示。
图像分块过程中，阈值T和S分别设为20和32；参数α设为0.4，防止 目标图像中融入过多背景；在引导滤波部分，局部半径和正则化参数分别为3 和0.01。分别与剪切波变换(Curvelet Transform，CVT)算法和非下采样轮 廓波变换(Non-Subsampled ContourletTransform，NSCT)算法作比较，融 合结果图5到图7所示。图3和图4显示了本发明中滤波方法在两组图像上的 处理效果。
如图3所示，红外图像在低光照和烟雾的环境下的‘热’目标信息相对突出， 但图像的细节信息不显著。可见光传感器通过光谱成像，成像信息较红外图像 更丰富，但当目标被遮挡时有效信息缺失。引导图像表征了红外图像目标特征， 但其因缺失视觉信息，而呈现偏暗效果。前景图像由红外图像与视觉图像作差 求得，其虽兼顾红外与视觉信息，但融入背景一定程度弱化了目标信息。经由 目标图像的引导，滤波结果给予了前景图像显著特征信息，即引导图像的梯度 特征对前景图像进行了修正，滤波给予了目标图像一定可见光的细节信息。
图5中的场景是夜间公路，其视觉信息严重不足。CVT和NSCT算法的 融合结果图上背景边缘较为明显，且对比度较低的图像。图4中的场景是烟雾 中的人，白天的光照充足，但由于房屋前的浓烟遮挡，视觉图像缺乏对房屋和 人等‘热’目标的理解。如图6所示，NSCT算法丢失了较多的视觉信息，且存在 过平滑的问题。而所提算法采用侧窗滤波，有效地保留了图像细节信息，且经 侧窗滤波的增强作用，本文算法的融合结果中的前景更亮。由此，在主观视觉 上验证了所提算法在图像信息增强方面更加优越。如图7所示，本发明方法在其它几种场景的信息融合中，均有效地提升了图像质量。
本发明实施例提供的基于特征引导的红外与可见光的图像信息融合方法 具有如下有益效果：
(1)分块贝塞尔插值算法有效地重构了红外图像的背景信息，在原始红 外图像与重构背景图像做差后，所得图像包含有较显著的目标特征。
(2)就图像灰度值而言，红外目标区域通常高于可见光图像的相应区域， 即红外图像中的更‘亮’的区域较大概率属于前景。由此，前景图像Be可快速突 出目标信息。
(3)引导滤波融合了红外图像的目标特征与可见光图像的细节特征，保 护了图像边缘信息的同时，抑制了背景杂波信息。
实施例二
参照图8，示出了本发明实施例提供的一种基于特征引导的红外与可见光 的图像信息融合装置的结构示意图，如图8所示，该基于特征引导的红外与可 见光的图像信息融合装置具体可以包括如下模块：
红外可见光图像获取模块210，用于获取目标对象对应的原始红外图像和 原始可见光图像；
目标图像子块生成模块220，用于对所述原始红外图像进行拆分，生成多 个目标图像子块；
红外背景图像生成模块230，用于根据所述多个目标图像子块进行图像背 景估计，生成所述目标对象对应的红外背景图像；
目标图像确定模块240，用于根据所述原始红外图像和所述红外背景图像， 确定目标图像；
前景图像确定模块250，用于根据所述原始可见光图像和所述原始红外图 像，确定前景图像；
融合结果确定模块260，用于基于所述目标图像、所述前景图像和所述原 始可见光图像中的可见光信息，确定最终的融合结果。
优选地，所述目标图像子块生成模块220包括：
图像子块获取子模块，用于采用四叉树分块方法对所述原始红外图像进行 分块处理，得到多个图像子块；
灰度值获取子模块，用于获取每个所述图像子块的最大灰度值和最小灰度 值；
灰度差值获取子模块，用于计算各所述最大灰度值和各所述最小灰度值之 间的差值，得到每个所述图像子块对应的灰度值差值；
第一目标子块获取子模块，用于在每个所述图像子块对应的灰度值差值大 于设定阈值时，停止分割，将多个所述图像子块作为所述目标图像子块；
第二目标子块获取子模块，用于在各所述灰度值差值中存在小于或等于所 述设定阈值的图像子块时，对灰度值差值小于或等于所述设定阈值的图像子块 进行二次分割处理，并将得到的所有的灰度值差值小于或等于所述设定阈值的 图像子块作为所述目标图像子块。
优选地，所述红外背景图像生成模块230包括：
控制点获取子模块，用于获取每个所述目标图像子块中的16个控制点；
背景图像获取子模块，用于根据所述16个控制点和预设函数，获取插值 后的背景图像；
红外背景图像生成子模块，用于对所述背景图像进行高斯平滑处理，生成 所述红外背景图像。
优选地，所述目标图像确定模块240包括：
目标图像生成子模块，用于对所述原始红外图像和所述红外背景图像进行 作差处理，生成所述目标图像。
优选地，所述前景图像确定模块250包括：
前景图像生成子模块，用于对所述原始可见光图像和所述原始红外图像进 行作差处理，生成所述前景图像。
优选地，所述融合结果确定模块260包括：
滤波结果获取子模块，用于根据所述目标图像对所述前景图像进行滤波处 理，获取滤波增强结果；
融合结果获取子模块，用于将所述滤波增强结果融合所述可见光信息，获 取所述融合结果。
本发明实施例提供的基于特征引导的红外与可见光的图像信息融合装置 具有如下有益效果：
(1)分块贝塞尔插值算法有效地重构了红外图像的背景信息，在原始红 外图像与重构背景图像做差后，所得图像包含有较显著的目标特征。
(2)就图像灰度值而言，红外目标区域通常高于可见光图像的相应区域， 即红外图像中的更‘亮’的区域较大概率属于前景。由此，前景图像Be可快 速突出目标信息。
(3)引导滤波融合了红外图像的目标特征与可见光图像的细节特征，保 护了图像边缘信息的同时，抑制了背景杂波信息。
以上所述仅为本发明的实施例的较佳实施例而已，并不用以限制本发明的 实施例，凡在本发明的实施例的精神和原则之内所作的任何修改、等同替换和 改进等，均应包含在本发明的实施例的保护范围之内。
Claims (10)
1.一种基于特征引导的红外与可见光的图像信息融合方法，其特征在于，包括：
获取目标对象对应的原始红外图像和原始可见光图像；
对所述原始红外图像进行拆分，生成多个目标图像子块；
根据所述多个目标图像子块进行图像背景估计，生成所述目标对象对应的红外背景图像；
根据所述原始红外图像和所述红外背景图像，确定目标图像；
根据所述原始可见光图像和所述原始红外图像，确定前景图像；
基于所述目标图像、所述前景图像和所述原始可见光图像中的可见光信息，确定最终的融合结果。
2.根据权利要求1所述的方法，其特征在于，所述对所述原始红外图像进行拆分，生成多个目标图像子块，包括：
采用四叉树分块方法对所述原始红外图像进行分块处理，得到多个图像子块；
获取每个所述图像子块的最大灰度值和最小灰度值；
计算各所述最大灰度值和各所述最小灰度值之间的差值，得到每个所述图像子块对应的灰度值差值；
在每个所述图像子块对应的灰度值差值大于设定阈值时，停止分割，将多个所述图像子块作为所述目标图像子块；
在各所述灰度值差值中存在小于或等于所述设定阈值的图像子块时，对灰度值差值小于或等于所述设定阈值的图像子块进行二次分割处理，并将得到的所有的灰度值差值小于或等于所述设定阈值的图像子块作为所述目标图像子块。
3.根据权利要求1所述的方法，其特征在于，所述根据所述多个目标图像子块进行图像背景估计，生成所述目标对象对应的红外背景图像，包括：
获取每个所述目标图像子块中的16个控制点；
根据所述16个控制点和预设函数，获取插值后的背景图像；
对所述背景图像进行高斯平滑处理，生成所述红外背景图像。
4.根据权利要求1所述的方法，其特征在于，所述根据所述原始红外图像和所述红外背景图像，确定目标图像，包括：
对所述原始红外图像和所述红外背景图像进行作差处理，生成所述目标图像。
5.根据权利要求1所述的方法，其特征在于，所述根据所述原始可见光图像和所述原始红外图像，确定前景图像，包括：
对所述原始可见光图像和所述原始红外图像进行作差处理，生成所述前景图像。
6.根据权利要求1所述的方法，其特征在于，所述基于所述目标图像、所述前景图像和所述原始可见光图像中的可见光信息，确定最终的融合结果，包括：
根据所述目标图像对所述前景图像进行滤波处理，获取滤波增强结果；
将所述滤波增强结果融合所述可见光信息，获取所述融合结果。
7.一种基于特征引导的红外与可见光的图像信息融合装置，其特征在于，包括：
红外可见光图像获取模块，用于获取目标对象对应的原始红外图像和原始可见光图像；
目标图像子块生成模块，用于对所述原始红外图像进行拆分，生成多个目标图像子块；
红外背景图像生成模块，用于根据所述多个目标图像子块进行图像背景估计，生成所述目标对象对应的红外背景图像；
目标图像确定模块，用于根据所述原始红外图像和所述红外背景图像，确定目标图像；
前景图像确定模块，用于根据所述原始可见光图像和所述原始红外图像，确定前景图像；
融合结果确定模块，用于基于所述目标图像、所述前景图像和所述原始可见光图像中的可见光信息，确定最终的融合结果。
8.根据权利要求7所述的装置，其特征在于，所述目标图像子块生成模块包括：
图像子块获取子模块，用于采用四叉树分块方法对所述原始红外图像进行分块处理，得到多个图像子块；
灰度值获取子模块，用于获取每个所述图像子块的最大灰度值和最小灰度值；
灰度差值获取子模块，用于计算各所述最大灰度值和各所述最小灰度值之间的差值，得到每个所述图像子块对应的灰度值差值；
第一目标子块获取子模块，用于在每个所述图像子块对应的灰度值差值大于设定阈值时，停止分割，将多个所述图像子块作为所述目标图像子块；
第二目标子块获取子模块，用于在各所述灰度值差值中存在小于或等于所述设定阈值的图像子块时，对灰度值差值小于或等于所述设定阈值的图像子块进行二次分割处理，并将得到的所有的灰度值差值小于或等于所述设定阈值的图像子块作为所述目标图像子块。
9.根据权利要求7所述的装置，其特征在于，所述红外背景图像生成模块包括：
控制点获取子模块，用于获取每个所述目标图像子块中的16个控制点；
背景图像获取子模块，用于根据所述16个控制点和预设函数，获取插值后的背景图像；
红外背景图像生成子模块，用于对所述背景图像进行高斯平滑处理，生成所述红外背景图像。
10.根据权利要求7所述的装置，其特征在于，所述目标图像确定模块包括：
目标图像生成子模块，用于对所述原始红外图像和所述红外背景图像进行作差处理，生成所述目标图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911329285.2A CN111179209A (zh) | 2019-12-20 | 2019-12-20 | 基于特征引导的红外与可见光的图像信息融合方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911329285.2A CN111179209A (zh) | 2019-12-20 | 2019-12-20 | 基于特征引导的红外与可见光的图像信息融合方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111179209A true CN111179209A (zh) | 2020-05-19 |
Family
ID=70650389
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911329285.2A Pending CN111179209A (zh) | 2019-12-20 | 2019-12-20 | 基于特征引导的红外与可见光的图像信息融合方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111179209A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112419212A (zh) * | 2020-10-15 | 2021-02-26 | 卡乐微视科技(云南)有限公司 | 一种基于侧窗引导滤波的红外与可见光图像融合方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101727665A (zh) * | 2008-10-27 | 2010-06-09 | 广州飒特电力红外技术有限公司 | 红外图像和可见光图像融合的方法及装置 |
| CN108765439A (zh) * | 2018-05-29 | 2018-11-06 | 上海大学 | 一种基于无人水面艇的海天线检测方法 |
-
2019
- 2019-12-20 CN CN201911329285.2A patent/CN111179209A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101727665A (zh) * | 2008-10-27 | 2010-06-09 | 广州飒特电力红外技术有限公司 | 红外图像和可见光图像融合的方法及装置 |
| CN108765439A (zh) * | 2018-05-29 | 2018-11-06 | 上海大学 | 一种基于无人水面艇的海天线检测方法 |
Non-Patent Citations (4)
| Title |
|---|
| 王雪: "红外与可见光图像融合中的关键技术研究", 中国优秀硕士学位论文全文数据库信息科技辑, pages 34 - 36 * |
| 范雯杰;张黎;: "一种改进的基于背景差算法的运动车辆检测方法", no. 04 * |
| 钱琨等: "基于侧窗滤波与分块贝塞尔插值的图像融合", pages 1 - 5 * |
| 陈松楠;朱艳平;杜永强;: "基于FCM-SVM的生猪红外热图像自动分割方法", no. 19 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112419212A (zh) * | 2020-10-15 | 2021-02-26 | 卡乐微视科技(云南)有限公司 | 一种基于侧窗引导滤波的红外与可见光图像融合方法 |
| CN112419212B (zh) * | 2020-10-15 | 2024-05-17 | 卡乐微视科技(云南)有限公司 | 一种基于侧窗引导滤波的红外与可见光图像融合方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Hu et al. | Single image defogging based on illumination decomposition for visual maritime surveillance | |
| CN103914813B (zh) | 彩色雾霾图像去雾与光照补偿的复原方法 | |
| CN109934815B (zh) | 一种结合atv约束的张量恢复红外弱小目标检测方法 | |
| CN109242888B (zh) | 一种结合图像显著性和非下采样轮廓波变换的红外与可见光图像融合方法 | |
| CN108537756B (zh) | 基于图像融合的单幅图像去雾方法 | |
| Gibson et al. | Fast single image fog removal using the adaptive Wiener filter | |
| Negru et al. | Exponential contrast restoration in fog conditions for driving assistance | |
| KR101448164B1 (ko) | 파라미터 최적화를 이용한 영상의 안개 제거 방법 | |
| CN109447073B (zh) | 一种基于张量鲁棒主成分分析的红外弱小目标检测方法 | |
| Jia et al. | A two-step approach to see-through bad weather for surveillance video quality enhancement | |
| Park et al. | Single image haze removal with WLS-based edge-preserving smoothing filter | |
| CN110163818A (zh) | 一种用于海事无人机的低照度视频图像增强方法 | |
| Yadav et al. | Fog removal techniques from images: A comparative review and future directions | |
| CN117079117B (zh) | 水下图像处理及目标识别的方法及装置、存储介质及电子设备 | |
| Choi et al. | Fog detection for de-fogging of road driving images | |
| Lu et al. | Single underwater image descattering and color correction | |
| CN115034997A (zh) | 图像处理方法及装置 | |
| Lee et al. | Stereo image defogging | |
| CN111179209A (zh) | 基于特征引导的红外与可见光的图像信息融合方法及装置 | |
| Ding et al. | Restoration of single sand-dust image based on style transformation and unsupervised adversarial learning | |
| Park et al. | Fog-degraded image restoration using characteristics of RGB channel in single monocular image | |
| Zou et al. | Self-tuning underwater image fusion method based on dark channel prior | |
| Qiao et al. | Visibility enhancement for underwater robots based on an improved underwater light model | |
| Lu et al. | A novel underwater scene reconstruction method | |
| Wang et al. | Fast clear single underwater image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |