CN117333412B - 基于最小二乘拟合的热红外图像与可见光图像融合方法 - Google Patents

基于最小二乘拟合的热红外图像与可见光图像融合方法 Download PDF

Info

Publication number
CN117333412B
CN117333412B CN202311378679.3A CN202311378679A CN117333412B CN 117333412 B CN117333412 B CN 117333412B CN 202311378679 A CN202311378679 A CN 202311378679A CN 117333412 B CN117333412 B CN 117333412B
Authority
CN
China
Prior art keywords
image
thermal infrared
fusion
visible light
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311378679.3A
Other languages
English (en)
Other versions
CN117333412A (zh
Inventor
田泽杰
沈萦华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Communication University of China
Original Assignee
Communication University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Communication University of China filed Critical Communication University of China
Priority to CN202311378679.3A priority Critical patent/CN117333412B/zh
Publication of CN117333412A publication Critical patent/CN117333412A/zh
Application granted granted Critical
Publication of CN117333412B publication Critical patent/CN117333412B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiation Pyrometers (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及基于基于最小二乘拟合的热红外图像与可见光图像融合方法，包括以下具体步骤：S1：图像重采样；S2：对S1重采样的图像统计值计算；S3：像素点观测值选择；S4：构建图像融合方程，解算图像融合系数；S5：创建融合图像；S6：融合图像计算。能够最大限度的减小热红外图像与可见光图像的配准精度不高导致的图像融合产生重影、色彩拉花等问题，且能够最大程度上保留热红外图像的热辐射信息，同时保留了可见光图像的详细纹理信息，增加了空间分辨率，弥补热红外图像对比度低,背景模糊的缺陷，使融合后的图像目标显著、背景清晰、视觉效果好。

Description

基于最小二乘拟合的热红外图像与可见光图像融合方法
技术领域
本发明涉及图像融合技术领域，具体涉及基于最小二乘拟合的热红外图像与可见光图像融合方法。
背景技术
热红外成像是一项获取地物的辐射特性和温度特性的高新技术。
具备可见光观测无法实现的全天时、全天候的工作能力，热红外具有很强的穿透力，它不仅不受雨、雾、云等天气的影响，可利用红外成像对黑暗中、高空中和水下的隐蔽目标进行探测，并具备识别目标伪装的能力。尽管热红外成像技术具有诸多优点，但是热红外图像往往具有空间分辨率低、视场范围小等缺点，对于需要宽视场、高分辨率图像的应用场景，很难满足实际需求。
为此，我们提出一种最小二乘拟合的热红外图像与可见光图像融合方法解决上述问题。
发明内容
(一)解决的技术问题
针对现有技术的不足，发明了一种基于最小二乘拟合的热红外图像与可见光图像融合方法，该方法模拟了热红外波段和可见光波段图像的观测过程，利用先验知识估计高分辨率、热红外图像的期望值，同时能够尽量减少融合结果产生的颜色偏差。该方法生成的图像能够很好结合红外图像中的热辐射信息和可见图像中的详细纹理信息的优点。
(二)技术方案
为实现上述目的，本发明提供如下技术方案：基于最小二乘拟合的热红外图像与可见光图像融合方法，包括以下具体步骤：
S1：图像重采样；
S2：对S1重采样的图像统计值计算；
S3：像素点观测值选择；
S4：构建图像融合方程，解算图像融合系数；
S5：创建融合图像；
S6：融合图像计算。
优选的，所述S1具体为对热红外图像进行重采样，使得与可见光多波段图像空间分辨率完全一致。
优选的，所述S2具体为对热红外图像和可见光多波段图像进行统计计算，得到热红外图像和可见光多波段图像的各个波段的像素值的均方差。
优选的，所述S3像素点观测值选择，具体为保证融合效果，在选取热红外图像和可见光多波段图像的像素值作为观测值时，像素点的选取特别关键，直接影像融合效果，一是保证点要分布均匀，二是这些点选择在灰度变化平缓的像素位置，具体过程如下：
(1)根据热红外图像和可见光图像的范围，算出相交区域，即融合的重叠区域，根据相交范围，对热红外图像进行逻辑分块，把图像均匀分成9个像素×9个像素的格网块；
(2)在热红外影像分成的格网块中，以9个像素×9个像素格网块中心点的像素值作为假定观测值，计算该格网块内所有像素值与中心点的像素值差值的最大值Pmax，当Pmax＜＝Panvar<＝/4.0时，则把该中心点的像素值以及可见光多波段图像对应位置的像素值作为观测值，其中Panvar为热红外影像的方差；
(3)对热红外所有格网块进行(2)计算，得到热红外图像与可见光多波段图像融合的观测值点集合M。
优选的，所述S4具体为构建图像融合方程，解算图像融合系数，S3在热红外图像和可见光多波段图像上均匀的选取同位置点的像素值作为观测值，对观测值点集合M带入公式①，解算高斯误差方程，解算出图像融合方程的系数Ki，图像融合方程系数解算公式如公式①
detVal＝∑KiMul[i](x，y)-Pan(x，y) ①
其中Mul[i](x，y)为可见光多波段图像的i波段在像素行列x，y位置的像素值，Pan(x，y)为热红外图像在像素行列x，y位置的像素值，Ki为可见光多波段图像的与热红外图像的融合方程的系数，detVal为观测误差项。
优选的，所述S5创建融合图像，具体为在计算得到融合系数后，根据热红外图像和可见光图像的相交范围和重叠区域，创建重叠区域的融合图像；
优选的，所述S6具体为根据S4和S5，利用图像融合系数和公式②，计算最终融合图像每个像素的像素值，最终融合图像的像素值的计算公式如公式②所示：
其中ResultVal[i](x，y)其为融合后图像i波段像素行列x，y位置的像素值，Mul[i](x，y)为可见光多波段图像i波段像素行列x，y位置的像素值，Pan(x，y)为热红外图像在像素行列x，y位置的像素值,Mulvar[i]为可见光多波段图像i波段的均方差，Panvar为热红外图像的均方差。
附图说明：
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为本发明提出的一种基于最小二乘拟合的热红外图像与可见光图像融合方法的流程框图；
图2为采用最小二乘法融合图片的效果展示图，
图3为采用PanSharping融合方法融合图片的效果展示图，
图4为采用最小二乘法融合图片的效果展示图，
图5为采用PanSharping融合方法融合图片的效果展示图
(三)有益效果
与现有技术相比，
能够最大限度的减小热红外图像与可见光图像的配准精度不高导致的图像融合产生重影、色彩拉花等问题，且能够最大程度上保留热红外图像的热辐射信息，同时保留了可见光图像的详细纹理信息，增加了空间分辨率，弥补热红外图像对比度低,背景模糊的缺陷，使融合后的图像目标显著、背景清晰、视觉效果好。
具体实施方式
下面将结合本发明实施例中，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
基于最小二乘拟合的热红外图像与可见光图像融合方法，其特征在于，包括以下具体步骤：
S1：图像重采样；
S2：对S1重采样的图像统计值计算；
S3：像素点观测值选择；
S4：构建图像融合方程，解算图像融合系数；
S5：创建融合图像；
S6：融合图像计算。
S1具体为对热红外图像进行重采样，使得与可见光多波段图像空间分辨率完全一致。
S2具体为对热红外图像和可见光多波段图像进行统计计算，得到热红外图像和可见光多波段图像的各个波段的像素值的均方差。
S3像素点观测值选择，具体为保证融合效果，在选取热红外图像和可见光多波段图像的像素值作为观测值时，像素点的选取特别关键，直接影像融合效果，一是保证点要分布均匀，二是这些点选择在灰度变化平缓的像素位置，具体过程如下：
(1)根据热红外图像和可见光图像的范围，算出相交区域，即融合的重叠区域，根据相交范围，对热红外图像进行逻辑分块，把图像均匀分成9个像素×9个像素的格网块；
(2)在热红外影像分成的格网块中，以9个像素×9个像素格网块中心点的像素值作为假定观测值，计算该格网块内所有像素值与中心点的像素值差值的最大值Pmax，当Pmax＜＝Panvar<＝/4.0时，则把该中心点的像素值以及可见光多波段图像对应位置的像素值作为观测值，其中Panvar为热红外影像的方差；
(3)对热红外所有格网块进行(2)计算，得到热红外图像与可见光多波段图像融合的观测值点集合M。
S4具体为构建图像融合方程，解算图像融合系数，S3在热红外图像和可见光多波段图像上均匀的选取同位置点的像素值作为观测值，对观测值点集合M带入公式①，解算高斯误差方程，解算出图像融合方程的系数Ki，图像融合方程系数解算公式如公式①
detVal＝∑KiMul[i](x，y)-Pan(x，y) ①
其中Mul[i](x，y)为可见光多波段图像的i波段在像素行列x，y位置的像素值，Pan(x，y)为热红外图像在像素行列x，y位置的像素值，Ki为可见光多波段图像的与热红外图像的融合方程的系数，detVal为观测误差项。
S5创建融合图像，具体为在计算得到融合系数后，根据热红外图像和可见光图像的相交范围和重叠区域，创建重叠区域的融合图像；
S6具体为根据S4和S5，利用图像融合系数和公式②，计算最终融合图像每个像素的像素值，最终融合图像的像素值的计算公式如公式②所示：
其中ResultVal[i](x，y)其为融合后图像i波段像素行列x，y位置的像素值，Mul[i](x，y)为可见光多波段图像i波段像素行列x，y位置的像素值，Pan(x，y)为热红外图像在像素行列x，y位置的像素值,Mulvar[i]为可见光多波段图像i波段的均方差，Panvar为热红外图像的均方差。
案例1及案例2，利用15厘米热红外影像和5厘米可见光影像进行最小二乘法融合及PanSharping融合。融合结果进行对比，如图2为采用最小二乘法融合图片的效果展示图，图3为采用PanSharping融合方法融合图片的效果展示图，图4为采用最小二乘法融合图片的效果展示图，图5为采用PanSharping融合方法融合图片的效果展示图所示。可见最小二乘融合方式和PanSharping融合方式，都能够保留可见光影像的纹理信息，使影像纹理更清晰；但是在热红外信息的保持度上，最小二乘融合结果色调和热红外影像更接近，能够更好地保持热红外影像的温度信息。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (5)

1.基于最小二乘拟合的热红外图像与可见光图像融合方法，其特征在于，包括以下具体步骤：
S1：图像重采样；
S2：对S1重采样的图像统计值计算；
S3：像素点观测值选择；所述S3像素点观测值选择，具体为保证融合效果，在选取热红外图像和可见光多波段图像的像素值作为观测值时，像素点的选取特别关键，直接影像融合效果，一是保证点要分布均匀，二是这些点选择在灰度变化平缓的像素位置，具体过程如下：
(1)根据热红外图像和可见光图像的范围，算出相交区域，即融合的重叠区域，根据相交范围，对热红外图像进行逻辑分块，把图像均匀分成9个像素×9个像素的格网块；
(2)在热红外影像分成的格网块中，以9个像素×9个像素格网块中心点的像素值作为假定观测值，计算该格网块内所有像素值与中心点的像素值差值的最大值Pmax，当Pmax<＝(Panvar/4.0)时，则把该中心点的像素值以及可见光多波段图像对应位置的像素值作为观测值，其中Panvar为热红外影像的方差；
对热红外所有格网块进行(2)计算，得到热红外图像与可见光多波段图像融合的观测值点集合M；
S4：构建图像融合方程，解算图像融合系数；所述S4具体为构建图像融合方程，解算图像融合系数，S3在热红外图像和可见光多波段图像上均匀的选取同位置点的像素值作为观测值，对观测值点集合M带入公式①，解算高斯误差方程，解算出图像融合方程的系数Ki，图像融合方程系数解算公式如公式①
detVal＝∑KiMul[i](x，y)-Pan(x，y) ①
其中Mul[i](x，y)为可见光多波段图像的i波段在像素行列x，y位置的像素值，Pan(x，y)为热红外图像在像素行列x，y位置的像素值，Ki为可见光多波段图像的第i波段图像与热红外图像的融合方程的系数，detVal为观测误差项；
S5：创建融合图像；
S6：融合图像计算。
2.根据权利要求1所述的基于最小二乘拟合的热红外图像与可见光图像融合方法，其特征在于：所述S1具体为对热红外图像进行重采样，使得与可见光多波段图像空间分辨率完全一致。
3.根据权利要求1所述的基于最小二乘拟合的热红外图像与可见光图像融合方法，其特征在于：所述S2具体为对热红外图像和可见光多波段图像进行统计计算，得到热红外图像和可见光多波段图像的各个波段的像素值的均方差。
4.根据权利要求1所述的基于最小二乘拟合的热红外图像与可见光图像融合方法，其特征在于：所述S5创建融合图像，具体为在计算得到融合系数后，根据热红外图像和可见光图像的相交范围和重叠区域，创建重叠区域的融合图像。
5.根据权利要求1所述的基于最小二乘拟合的热红外图像与可见光图像融合方法，其特征在于：所述S6具体为根据S4和S5，利用图像融合系数和公式②，计算最终融合图像每个像素的像素值，最终融合图像的像素值的计算公式如公式②所示：
其中ResultVal[i](x，y)其为融合后图像i波段像素行列x，y位置的像素值，Mul[i](x，y)为可见光多波段图像i波段像素行列x，y位置的像素值，Pan(x，y)为热红外图像在像素行列x，y位置的像素值,Mulvar[i]为可见光多波段图像i波段的均方差，Panvar为热红外图像的均方差。
CN202311378679.3A 2023-10-23 2023-10-23 基于最小二乘拟合的热红外图像与可见光图像融合方法 Active CN117333412B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311378679.3A CN117333412B (zh) 2023-10-23 2023-10-23 基于最小二乘拟合的热红外图像与可见光图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311378679.3A CN117333412B (zh) 2023-10-23 2023-10-23 基于最小二乘拟合的热红外图像与可见光图像融合方法

Publications (2)

Publication Number Publication Date
CN117333412A CN117333412A (zh) 2024-01-02
CN117333412B true CN117333412B (zh) 2024-03-26

Family

ID=89290189

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311378679.3A Active CN117333412B (zh) 2023-10-23 2023-10-23 基于最小二乘拟合的热红外图像与可见光图像融合方法

Country Status (1)

Country Link
CN (1) CN117333412B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117935095B (zh) * 2024-03-21 2024-06-11 四川渔光物联技术有限公司 基于可见光图像实现红外光图像正射建图的方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609945A (zh) * 2012-02-09 2012-07-25 西北工业大学 可见光和热红外图像序列自动配准方法
CN115929404A (zh) * 2022-09-07 2023-04-07 国家能源集团宁夏煤业有限责任公司 煤矿巷道的监测方法、装置和煤矿巷道的检测系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105338262B (zh) * 2015-10-09 2018-09-21 浙江大华技术股份有限公司 一种热成像图像处理方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609945A (zh) * 2012-02-09 2012-07-25 西北工业大学 可见光和热红外图像序列自动配准方法
CN115929404A (zh) * 2022-09-07 2023-04-07 国家能源集团宁夏煤业有限责任公司 煤矿巷道的监测方法、装置和煤矿巷道的检测系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
可见光-热红外视频运动目标融合检测的研究进展及展望;张秀伟等;红外与毫米波学报;20110815;第30卷(第04期);全文 *

Also Published As

Publication number Publication date
CN117333412A (zh) 2024-01-02

Similar Documents

Publication Publication Date Title
CN117333412B (zh) 基于最小二乘拟合的热红外图像与可见光图像融合方法
US11476795B2 (en) Solar power forecasting
CN112419472B (zh) 一种基于虚拟阴影图的增强现实实时阴影生成方法
CN110136219A (zh) 一种基于多源数据融合的二三维地图展示方法
US10950039B2 (en) Image processing apparatus
CN106570938A (zh) 基于opengl 的全景监控方法及系统
CN107424118A (zh) 基于改进径向畸变校正的球状全景拼接方法
CN105447838A (zh) 一种红外与微光/可见光融合成像的方法及系统
CN107330964B (zh) 一种复杂三维物体的显示方法及系统
CN103810706A (zh) 一种地表粗糙度参与阴影模型的遥感图像反立体校正方法
CN112801184A (zh) 一种云跟踪方法、系统及装置
US20240046421A1 (en) Image restoration method based on physical scattering model
CN108230242A (zh) 一种从全景激光点云到视频流的转换方法
CN112529498B (zh) 一种仓储物流管理方法及系统
Nakamae et al. Rendering of landscapes for environmental assessment
CN111489430B (zh) 游戏的光影数据处理方法、装置以及游戏设备
JP2002117413A (ja) 光源環境変化をリアルタイムに反映する画像生成装置および画像生成方法
CN116402934A (zh) 一种面向三维重建的自动纹理贴图方法、终端及存储介质
CN112907447B (zh) 天空云图的拼接及用于确定多摄像机安装位置的方法
CN112771568A (zh) 红外图像处理方法、装置、可移动平台与计算机可读介质
JPH0863618A (ja) 画像処理装置
CN112991174A (zh) 一种提高单帧红外图像分辨率的方法与系统
Xu et al. Real-time panoramic map modeling method based on multisource image fusion and three-dimensional rendering
CN116342448B (zh) 一种全圆盘可见光拟合方法、系统、设备及介质
CN112669236B (zh) 基于地基云图的畸变校正方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant