CN113674192B - 红外视频图像与可见光视频图像融合方法、系统及装置 - Google Patents

红外视频图像与可见光视频图像融合方法、系统及装置 Download PDF

Info

Publication number
CN113674192B
CN113674192B CN202110972100.0A CN202110972100A CN113674192B CN 113674192 B CN113674192 B CN 113674192B CN 202110972100 A CN202110972100 A CN 202110972100A CN 113674192 B CN113674192 B CN 113674192B
Authority
CN
China
Prior art keywords
video image
image
infrared
visible light
characteristic part
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110972100.0A
Other languages
English (en)
Other versions
CN113674192A (zh
Inventor
高美静
李时雨
张博智
白洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yanshan University
Original Assignee
Yanshan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yanshan University filed Critical Yanshan University
Priority to CN202110972100.0A priority Critical patent/CN113674192B/zh
Publication of CN113674192A publication Critical patent/CN113674192A/zh
Application granted granted Critical
Publication of CN113674192B publication Critical patent/CN113674192B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开一种红外视频图像与可见光视频图像融合方法、系统及装置，涉及图像融合技术领域，方法包括：对红外视频图像进行图像增强，得到边缘锐化后的红外视频图像；对边缘锐化后的红外视频图像和可见光视频图像进行图像配准，分别对配准后的红外视频图像和可见光视频图像进行各向异性滤波处理，得到红外视频图像特征部分和非特征部分、可见光视频图像特征部分和非特征部分；对特征部分和非特征部分进行主成分分析，得到特征部分融合图和非特征部分融合图；对特征部分融合图和非特征部分融合图进行融合，得到融合后的图像。本发明能提高最终得到的融合后的图像清晰度。

Description

红外视频图像与可见光视频图像融合方法、系统及装置
技术领域
本发明涉及图像融合技术领域，特别是涉及一种红外视频图像与可见光视频图像融合方法、系统及装置。
背景技术
21世纪以来，单波段工作模式的夜视技术逐渐满足不了人们对于高质量、多光谱信息图像的要求，因此多波段传感器研发和多波段图像融合技术的研究得到了越来越多的关注，目前已经成为光学工程学科领域一个重要研究方向。在多光谱图像融合中又以红外和可见光融合最有研究价值，用途最为广泛。红外与可见光融合技术可以用于社会安全监控、汽车夜视医学影像、工业控制、交通监管等诸多方面。
可见光传感器获取的图像为景物物体的反射图像，其图像分辨率高，信息丰富，成像光学波段符合人眼观测习惯，但易受天气等环境因素影响，不能全天候工作，在低照度和烟雾背景下容易丢失场景信息。红外图像是由物体自身辐射出的红外光所产生的图像，可以很好的区分热辐射强度不同的目标，其成像效果受环境影响小，可以全天候工作，但受制于红外传感器的发展水平等因素，红外图像一般质量较差，对比度较低，细节表达也比较差，不符合人眼视觉习惯。但通过某种方法将这两种不同的图像进行融合之后，融合图像能够保留双光图像的重要信息，减少冗余，发挥可见光图像和红外图像各自的优点，相互取长补短，能大大提高人类观测目标的能力。因此，可见光图像和红外图像融合技术成为了图像融合领域的重要研究内容。
目前市场上的红外与可见光融合装置虽然可以实现视频图像融合，但是成本很高，同时其相机体积偏大，使用不方便，最终得到的融合后的图像清晰度也并不高。国内图像融合技术研究往往只针对单一层次进行研究，侧重于图像融合算法研究，即大部分的研究只研究图像算法，研究后并不注重视频实现，只是在几幅图像上判断，因此能实际应用的高质量红外与可见光融合装置较少。
综上，本领域亟需一种红外视频图像与可见光视频图像融合方案以提高最终得到的融合后的图像清晰度。
发明内容
本发明的目的是提供一种红外视频图像与可见光视频图像融合方法、系统及装置，以提高最终得到的融合后的图像清晰度。
为实现上述目的，本发明提供了如下方案：
一种红外视频图像与可见光视频图像融合方法，所述方法包括：
获取红外视频图像和可见光视频图像；
对所述红外视频图像进行图像增强，得到边缘锐化后的红外视频图像；
对所述边缘锐化后的红外视频图像和所述可见光视频图像进行图像配准，得到配准后的红外视频图像和配准后的可见光视频图像；
分别对所述配准后的红外视频图像和所述配准后的可见光视频图像进行各向异性滤波处理，得到红外视频图像特征部分、红外视频图像非特征部分、可见光视频图像特征部分和可见光视频图像非特征部分；
对所述红外视频图像特征部分、所述可见光视频图像特征部分、所述红外视频图像非特征部分和所述可见光视频图像非特征部分进行主成分分析，得到特征部分融合图和非特征部分融合图；
对所述特征部分融合图和所述非特征部分融合图进行融合，得到融合后的图像。
本发明还提供了如下方案：
一种红外视频图像与可见光视频图像融合系统，所述系统包括：
视频图像获取模块，用于获取红外视频图像和可见光视频图像；
红外图像增强模块，用于对所述红外视频图像进行图像增强，得到边缘锐化后的红外视频图像；
图像配准模块，用于对所述边缘锐化后的红外视频图像和所述可见光视频图像进行图像配准，得到配准后的红外视频图像和配准后的可见光视频图像；
各向异性滤波处理模块，用于分别对所述配准后的红外视频图像和所述配准后的可见光视频图像进行各向异性滤波处理，得到红外视频图像特征部分、红外视频图像非特征部分、可见光视频图像特征部分和可见光视频图像非特征部分；
主成分分析模块，用于对所述红外视频图像特征部分、所述可见光视频图像特征部分、所述红外视频图像非特征部分和所述可见光视频图像非特征部分进行主成分分析，得到特征部分融合图和非特征部分融合图；
融合模块，用于对所述特征部分融合图和所述非特征部分融合图进行融合，得到融合后的图像。
本发明还提供了如下方案：
一种红外视频图像与可见光视频图像融合装置，所述装置包括红外相机、可见光相机、图像采集卡和所述的红外视频图像与可见光视频图像融合系统；
所述红外相机与所述图像采集卡连接，所述图像采集卡与所述可见光相机均和所述红外视频图像与可见光视频图像融合系统连接；
所述红外相机用于循环采集红外视频图像；
所述可见光相机用于循环采集可见光视频图像；
所述图像采集卡用于获取所述红外视频图像；
所述红外视频图像与可见光视频图像融合系统用于对所述红外视频图像和所述可见光视频图像进行融合，得到融合后的图像。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明公开的红外视频图像与可见光视频图像融合方法、系统及装置，通过对红外视频图像进行图像增强，以提高红外视频图像边缘清晰度，通过对边缘锐化后的红外视频图像和可见光视频图像进行图像配准，以提高最终的融合效果，通过采用各向异性滤波处理，提取红外视频图像特征部分、红外视频图像非特征部分、可见光视频图像特征部分和可见光视频图像非特征部分，并采用主成分分析得到特征部分融合图和非特征部分融合图，提高了图像特征部分清晰度和非特征部分清晰度，从而提高了二者融合后最终得到的图像清晰度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明红外视频图像与可见光视频图像融合方法实施例的流程图；
图2为本发明红外预处理算法原理流程图；
图3为本发明红外图像增强算法处理对比图；
图4为本发明区域配准流程图；
图5为本发明不同距离下配准验证图；
图6为本发明拟合函数图像示意图；
图7为本发明融合算法流程图；
图8为本发明基于LabVIEW和MATLAB的双光视频融合系统设计路线图；
图9为本发明双光相机共轴成像原理图；
图10为本发明双光融合系统共轴光路示意图；
图11为本发明双光融合算法对比图；
图12为本发明双光融合系统视频采集图；
图13为本发明红外视频图像与可见光视频图像融合系统实施例的结构图；
图14为本发明红外视频图像与可见光视频图像融合装置实施例的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种红外视频图像与可见光视频图像融合方法、系统及装置，以提高最终得到的融合后的图像清晰度。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明红外视频图像与可见光视频图像融合方法实施例的流程图。参见图1，该红外视频图像与可见光视频图像融合方法包括：
步骤101：获取红外视频图像和可见光视频图像。
该步骤101中获取的红外视频图像是由红外相机PHOTON320采集的，可见光视频图像是由可见光相机JH130BS采集的。
步骤102：对红外视频图像进行图像增强，得到边缘锐化后的红外视频图像。
该步骤102具体包括：
对红外视频图像进行拉普拉斯变换，提取出红外视频图像的边缘轮廓图像。
对边缘轮廓图像进行Sobel梯度计算，得到边缘轮廓增强图像，并利用所述边缘轮廓增强图像对所述红外视频图像中的边缘点进行定位后，对所述边缘点进行形态学腐蚀处理，得到非边缘图像。
对边缘轮廓增强图像进行双边滤波处理，得到边缘图像。
对边缘图像和边缘轮廓图像进行边缘误差修正，得到修正后的边缘图像。
对修正后的边缘图像和非边缘图像进行融合，得到边缘锐化后的红外视频图像。
其中，对修正后的边缘图像和非边缘图像进行融合，得到边缘锐化后的红外视频图像，之后还包括：
对边缘锐化后的红外视频图像进行伽马变换，得到对比度增强的红外视频图像。
该步骤102中采用红外图像增强算法对红外视频图像进行图像增强，具体为：
本发明首先对几种图像预处理方法进行研究，包括红外图像拉普拉斯变换，双边滤波算法，图像边缘图像提取，图像非边缘图像提取以及图像伽马均衡化处理，在图像预处理思想的基础上提出一种红外图像增强方法，该方法可在有效增强图像边缘轮廓强度的同时保留图像细节，获得比原红外图像特征更加明显的红外图像，从而提高后续红外与可见光融合图像的视觉效果。
该方法首先对图像完成拉普拉斯变换和形态学腐蚀提取原始图像的边缘图像和非边缘图像，进一步地，红外图像增强处理中，拉普拉斯变换算子如公式(1)所示：
式中，为图像像素梯度，/>为梯度的散度。先由拉普拉斯变换对图像进行锐化，得到锐化图像，后续再用Sobel算子处理提取边缘部分。
进一步地，采用Sobel双边滤波算法与形态学腐蚀算法进行边缘增强。对图像I(i,j)进行公式(2)、(3)操作，分别得到边缘增强图像和非边缘图像。然后用Sobel梯度算法获取图像(经拉普拉斯变换提取得到的边缘图像)的边缘轮廓并对边缘图像进行双边滤波算法消除边缘图像噪声，将经过双边滤波处理后的边缘轮廓与边缘特征图像融合进行边缘修正得到增强的边缘图像，用增强边缘图像与非边缘图像进行融合得到经过边缘锐化的图像，双边滤波算法如公式(2)所示：
式中，W是权重，i和j是像素索引，K是归一化常量，σ为标准差，I是像素点像素值，σs为空域高斯标准差，σr为值域高斯标准差。
形态学腐蚀原理如公式(3)所示：
式中，AΘB为形态学腐蚀区域，b+x表示以A为原始图像做距离为b的平移。
进一步地，将双光图像进行求和运算，再根据公式(4)改变伽马值进行对比度增强，得到增强图像。最后选取合适的变换值，用伽马校正方法调整图像的整体亮度及对比度，增强其细节，其中，变换值的作用是调整图像对比度，公式(4)为：
c＝k*(α+ε)λ (4)
式中，α为图像原始数据，k为常量系数，ε为补偿系数，λ为对比度的指数变换，当λ＝1时伽马校正为线性变换。
整个红外预处理算法(红外图像增强算法)原理流程如图2所示，对红外图像分别用直方图均衡化、均值滤波、中值滤波、文献算法及本发明提出算法进行处理，验证本发明红外图像增强算法的有效性，处理结果如图3所示，图3中，(a)部分为红外原始图像，(b)部分为直方图均衡化图像，(c)部分为均值滤波图像，(d)部分为中值滤波图像，(e)部分为文献算法，(f)部分为本发明算法，其客观评价参数如表1所示：
表1红外图像增强算法评价参数表
对比实验图像效果与图像评价参数可知，本发明红外增强算法处理后的图像清晰度更高，图像边缘特征更加突出，图像边缘轮廓更清晰，噪音干扰更小，视觉效果更优，证明本发明基于预处理思想的红外增强算法的有效性和实际应用价值。
步骤103：对边缘锐化后的红外视频图像和可见光视频图像进行图像配准，得到配准后的红外视频图像和配准后的可见光视频图像。
该步骤103具体包括：
获取不同距离下的图像配准参数；图像配准参数包括当前距离对应的图像尺寸变换系数以及当前距离对应的原点相对位置关系。
对不同距离下的图像配准参数进行拟合，确定配准距离。
根据配准距离对应的图像尺寸变换系数以及配准距离对应的原点相对位置关系，对边缘锐化后的红外视频图像进行调整，得到调整后的红外视频图像。
对调整后的红外视频图像和可见光视频图像进行图像配准，得到配准后的红外视频图像和配准后的可见光视频图像。
该步骤103中采用基于标定板思想和拟合函数的双光相机配准的方法，通过计算不同距离下的标定物体在双光图像上的尺寸与位置关系，对两路图像进行图像配准，再根据不同距离的尺寸和位置内在关系计算所有距离下双光图像的尺寸和原点相对位置关系，具体为：
为保证双光相机在视频状态下所拍摄的内容相同，需要对两个相机空间位置进行调整和固定，因此首先搭建双光共轴光路硬件系统。
双光图像配准关系表现为图像配准参数，在配准参数主要为尺寸变换系数和原点相对位置关系，如公式(5)和公式(6)所示：
尺寸变换公式为：
SVIS＝KD×SIR (5)
式中，SIR为红外图像尺寸，SVIS为与红外图像同内容的可见光图像尺寸，KD为在距离D上的图像尺寸变换系数。
原点相对位置关系公式为：
OIR(0,0)＝OVIS(iD,jD) (6)
式中，OIR(0,0)为红外图像原点，OVIS为可见光图像原点，iD和jD为在距离D上的可见光图像中与红外图像原点所对应的像素点坐标值。
图像尺寸变换系数确定后，对双路图像进行区域融合，改变红外图像原点在可见光图像上的位置，使得标定物体重合，红外图像原点对应可见光图像的位置即为双光图像在该距离下的原点位置关系，区域配准流程如图4所示。
通过实验可以获得图像配准参数，具体步骤如下：
(1)选取形状规则且与背景色差较多的物体作为标定物，该标定物体具有标准形状且可以被双路相机识别。
(2)以可见光图像原点坐标为基准，在融合系统软件中的MATLAB节点输入端写入对红外图像分辨率和原点调整的参数，此参数可以通过前面板进行修改。
(3)固定双光相机，选取固定距离固定标定物，获取两路图像，在软件中调整红外图像参数(分辨率和原点调整的参数)使两路图像的标定物体重合，记录红外图像的调整参数。
通过公式(5)和(6)原理进行像素操作，直至标定物在红外与可见光图像中对准，获取双光图像配准参数；通过进行多次的实验得到一系列配准参数，通过MATLAB软件进行函数拟合。
进一步地，根据双目配准的原理，红外与可见光图像配准有配准误差σx，其数学表达式为：
式中，f为焦距，lpix为像素大小，dc为基线长度，Dtarget为目标实际距离，Doptimal为光学测量距离。当Dtarget和Doptimal趋近于无限远时，配准误差趋近于0，反之距离较近，配准误差较大。通过上述方法可以较为准确的找到双分辨率双光图像精确配准距离区间，配准后的图像效果如图5所示，图5中，(a)部分为25米处配准融合图像，(b)部分为18米处配准融合图像，(c)部分为10米处配准融合图像，(d)部分为8米处配准融合图像，验证了基于标定板思想和拟合函数的图像配准方法在融合系统中可以精确有效的完成图像配准工作。
根据拟合函数与配准误差可以获得两路相机最佳配准距离范围，从而确定融合系统能够精确工作的距离阈值，因为这种配准方法在近距离误差大，但是计算量小。该实施例使用的拟合函数如公式(8)-(11)所示：
X＝28.44exp(-((x-1.92)/4.13)^2)+551.5exp(-((x+2483)/5975)^2) (8)
Y＝1.23E16exp(-((x+568.4)/100.4)^2)+239.2exp(-((x-21.92)/31.26)^2) (9)
L＝1039exp(-((x+1.24E4)/1.15E4)^2)-23.5exp(-((x-1.93)/3.52)^2) (10)
H＝2.2E17exp(-((x+8.84E5)/1.52E5)^2)-27.04exp(-((x-3.61)/2.18)^2) (11)
式中，X、Y、L和H分别为水平位移参数、垂直位移参数、红外图像长度尺寸参数和红外图像宽度尺寸参数，拟合函数图像如图6所示，图6中，(a)部分为水平位移参数示意图，(b)部分为垂直位移参数示意图，(c)部分为红外图像长度尺寸参数示意图，(d)部分为红外图像宽度尺寸参数示意图。
步骤104：分别对配准后的红外视频图像和配准后的可见光视频图像进行各向异性滤波处理，得到红外视频图像特征部分、红外视频图像非特征部分、可见光视频图像特征部分和可见光视频图像非特征部分。
步骤105：对红外视频图像特征部分、可见光视频图像特征部分、红外视频图像非特征部分和可见光视频图像非特征部分进行主成分分析，得到特征部分融合图和非特征部分融合图。
该步骤105具体包括：
对红外视频图像特征部分和可见光视频图像特征部分进行主成分分析，得到红外视频图像特征部分的特征值和可见光视频图像特征部分的特征值。
根据红外视频图像特征部分的特征值和可见光视频图像特征部分的特征值，确定红外视频图像特征部分的权重和可见光视频图像特征部分的权重。
根据红外视频图像特征部分的权重和可见光视频图像特征部分的权重，对红外视频图像特征部分和可见光视频图像特征部分进行融合，得到特征部分融合图。
获取红外视频图像非特征部分的权重和可见光视频图像非特征部分的权重。
根据红外视频图像非特征部分的权重和可见光视频图像非特征部分的权重，对红外视频图像非特征部分和可见光视频图像非特征部分进行融合，得到非特征部分融合图。
步骤106：对特征部分融合图和非特征部分融合图进行融合，得到融合后的图像。
该步骤104-步骤106中采用红外与可见光图像融合算法进行红外视频图像与可见光视频图像的融合，具体为：
本发明算法原理是通过各向异性过滤处理双光图像，对图像特征部分和非特征部分进行区分提取，得到双光成分不同的图像再用PCA变换将图像转换成互不相关的变换矩阵，计算不同图像成分的加权参数并根据该参数对同一层次的双光图像进行融合，最后通过小波变换对双光图像多层图像进行融合重组，融合算法流程图如图7所示。
进一步地，对双光图像(改变伽马值进行对比度增强后得到的增强图像c)进行各向异性滤波，这种方法既能有效去除噪声，又能很好的保护边缘。各向异性滤波原理如公式(12)所示：
当t＝0时It为原始图像，t为迭代次数，迭代是对公式(12)进行迭代，获得t+1的I，因此是扩散，Nx,y、Sx,y、Ex,y和Wx,y是四个方向的导热系数， 和/>为图像在N、S、E、W方向上对当前像素求偏导，λ为平滑参数，其值越大越平滑，cN、cS、cE、cW为四个方向的导热系数，原理如公式(13)和(14)所示：
式中，Ix,y是图像矩阵的像素点。
在4个方向上求导热系数(热扩散)为：
式中，I表示图像，k表示导热系数参数，k越大越平滑。梯度公式与梯度公式之间的关系是：/>是表示整个图像，/>是表示图像的一个点。
进一步地，通过主成分分析矩阵使得原图像(各向异性滤波后得到的图像It+1)得到一组新的矩阵图像，获取原图像的主成分特征，每个特征都是原特征的线性函数。其主成分变换公式可以用公式(15)表示为：
Y＝TX (15)
式中，X为待变换的数据矩阵，Y为变换后的矩阵，T为正交变换矩阵。
进一步地，将双光图像特征图像(主成分分析得到的主成分特征图像)和非特征图像(用原图减去特征图像的像素操作得到的图像)融合，该步骤应用小波变换与加权法，算法原理如下述公式所示，对信号f(t)(双光图像特征图像和非特征图像)有连续小波变换定义为：
式中，为ψ(t)的傅里叶变换，ψ(t)为基小波函数。将基小波函数经过平移和伸缩后可得到一组函数序列，则一维信号的连续小波序列定义为：
式中，a为伸缩因子，b为平移系数，称为能量因子。对信号f(t)有连续小波变换定义为：
式中，a为伸缩因子，b为平移系数，称为能量因子。
对于加权法，则有：
F(i,j)＝ω1A(i,j)+ω2B(i,j) (19)
式中，F为融合图像，A和B分别为红外与可见光图像，ω1和ω2为两图像融合权重。
对于多幅图像(红外和可见光图像)融合则有公式(20)：
公式(20)为公式(19)的通用函数。
本发明的红外视频图像与可见光视频图像融合方法是基于本发明一种基于LabVIEW和MATLAB的红外与可见光视频(视频图像)融合系统所实现的，本发明一种基于LabVIEW和MATLAB的红外与可见光视频融合系统，基于LabVIEW和MATLAB建立红外与可见光图像的视频融合，其中，LabVIEW用于与数据传输、视频采集、连接MATLAB和视频图像显示与控制，MATLAB用于完成所有图像处理的工作，包括图像配准、图像增强和图像融合。首先搭建红外与可见光相机共轴光路系统，对两路不同的尺寸与分辨率的图像完成了配准，通过改进的红外图像增强算法与双光融合算法，实现软件端双光双分辨率视频图像融合。该系统实现了红外与可见光视频图像的快速融合，提升了图像增强算法与图像融合算法实施效率，为图像处理领域工作者提供了图像算法研究与快速验证平台，相对于市场上的设备，该系统只需要相机与计算机为主体，减少了光路设计以及传感器搭配等环节，降低了成本，实现了多源图像低成本高效率的视频融合。
本发明基于LabVIEW和MATLAB的红外与可见光视频融合系统是一个需要软件和硬件结合的复杂系统，其结构图如图8所示。
硬件部分主要由红外相机、可见光相机、图像采集卡以及计算机几部分组成，相机用于红外与可见光图像采集，图像采集卡将图像的模拟信号转化为数字信号发送给计算机，计算机用于数据处理、储存和运算。软件部分是通过LabVIEW和MATLAB混合编程的方式实现系统控制、图像处理和图像显示功能。以LabVIEW软件作为开发平台，利用其优秀的可操作性，便捷性和可扩展性采集双光相机所传输的图像数据，并完成图像融合流程控制的开发；以MATLAB软件为辅，利用其出色的数据处理能力作为虚拟图像处理器，编制红外与可见光图像函数拟合配准、红外图像增强和融合算法，完成双光图像融合；通过LabVIEW中提供的MATLAB script节点，实现两软件之间的数据交互，基于LabVIEW和MATLAB的双光视频融合系统设计路线图如图8所示。
红外与可见光视频(视频图像)融合的具体程序如下：
1、LabVIEW软件与红外与可见光相机图像采集及数据传输系统搭建
LabVIEW具有开发速度快、视觉开发功能强大、便于与硬件做数据交流和可与其他软件联立编程等特点，在双光融合系统中，LabVIEW的主要作用是对系统进行外设调用、系统自动控制、图像处理以及图像显示，其作用如下：
(1)可见光相机和红外相机等外设的调用
在安装LabVIEW的同时，安装NI官方的NI MAX设备管理器，确认设备可以在NI设备管理器中运行后，找到其用户名后即可在LabVIEW中调用。
(2)自动化人机交互
(3)图像的内存分配与显示
输入的视频图像需要存储空间进行保存，LabVIEW借助计算机内存为图像提供存储内存，同时将融合图像视频显示在程序前面板上。
2、红外与可见光双光相机共轴光路系统搭建及图像配准融合算法处理
为保证双光相机在视频状态下所拍摄的内容相同，需要对两个相机空间位置进行调整和固定。双光相机共轴成像原理如图9所示，两路相机分别以C1和C2为原点建立空间坐标系，在空间坐标系中，为使两路图像内容及其角度相同，x1与x2应该共线，y1与y2平行，z1与z2平行。因此为满足系统成像需求，双光共轴系统的搭建思路为使红外与可见光相机镜头圆心共线且与成像水平面平行。图10为双光融合系统共轴光路示意图，该共轴系统以红外相机机身与模具底座的接触平面为水平基准面，在红外相机镜头上任意取圆上四点两两连接做中垂线，两中垂线交点即为圆心。在模具上做出过红外镜头圆心并平行底座的水平线确定可见光镜头圆心，以可见光镜头圆心为原点，机身平行红外相机固定可见光相机，使得双光相机光路平行。经过数学测量和制作，得到两路工业相机镜头圆心交线为x轴，双光相机底框与基准面平行，y轴和z轴平行(双光相机的y轴和z轴分别平行)的共轴光路，初步实现了红外与可见光图像的相机物理配准。
完成相机的物理配准后，利用本发明提出的基于标定思想的拟合函数配准方法完成对双光图像的精确配准。该方法计算不同距离下的标定物体在双光图像上的尺寸与位置关系，对两路图像进行图像配准，再根据不同距离的尺寸和位置内在关系计算所有距离下双光图像的尺寸和原点相对位置关系。双光图像配准关系表现为图像配准参数，配准参数主要为尺寸变换系数和原点相对位置关系。尺寸变换作用是使得同一物体在双光图像上的尺寸一致，确定原点相对位置关系目的是使得同一物体在双光图像中所呈现的位置一致。所以，通过尺寸变换和确定原点位置可得到同一物体相同尺寸、相同位置的双光图像，为后续像素级图像融合奠定基础。
本发明基于LabVIEW和MATLAB的红外与可见光视频融合系统，以红外相机PHOTON320和可见光相机JH130BS获取红外与可见光视频图像数据，采用LabVIEW和MATLAB联合编程的方式完成红外与可见光视频融合系统的设计，实现红外与可见光的视频图像融合。本发明基于LabVIEW和MATLAB的红外与可见光视频融合系统，包括硬件部分和软件部分。
硬件部分由红外相机、可见光相机、计算机和图像采集卡组成。红外相机和可见光相机用于红外与可见光图像的循环采集，计算机用于数据处理、储存和运算，包括运行LabVIEW软件编程图像读取、循环采集、图像矩阵数值化、调用MATLAB编程、显示视频图像以及前面板控制。通过图像采集卡实现相机采集视频图像计算机端显示；图像采集卡用于连接相机和计算机，进行模拟信号转换为数字信号，图像采集卡相当于转接头。
软件部分通过LabVIEW和MATLAB混合编程的方式实现系统控制(系统启动与停止、调整参数和视频图像保存)、图像处理和图像显示功能；以LabVIEW软件为开发平台，接收两路相机采集视频图像，并完成图像融合流程控制的开发；以MATLAB作为虚图像处理器，编制红外与可见光图像函数拟合配准、红外图像增强和融合算法，完成双光图像融合；通过LabVIEW中提供的MATLAB script节点，实现两软件之间的数据交互。
进一步地，红外与可见光视频融合包括：
步骤a：LabVIEW软件与红外与可见光相机图像采集及数据传输系统搭建；
步骤b：红外与可见光双光相机共轴光路系统搭建及图像配准融合算法处理；
步骤c：红外图像增强处理，其中包括红外图像拉普拉斯变换、双边滤波算法、图像边缘图像提取、图像非边缘图像提取以及图像伽马均衡化处理；
步骤d：红外图像与可见光图像融合，其中包括各向异性滤波法、主成分分析法、小波变换以及加权算法。
步骤e：LabVIEW与MATLAB融合系统搭建，包括视频调用、图像数据转换、MATLABscript数据连接、时间延迟模块以及视频显示，其中显示模块包含了红外与可见光以及融合图像的信息。
步骤e是基于LabVIEW和MATLAB将步骤a、b、c和d的数据传输、软硬件图像配准、红外图像增强算法、红外与可见光图像融合算法整合在一起的视频图像处理方法。
进一步地，步骤a中，首先要安装双光相机的驱动，从而让计算机可以识别相机，以进行数据连接，然后安装LabVIEW以及NI软件设备，现在NI MAX是跟着LabVIEW一起安装的，就是确定硬件与LabVIEW是否连接，这里是严谨的验证，一般设备用过一次后就不用验证了。采用NI官方的NI MAX软件验证相机设备，相机采集的图像在NI MAX中运行后记录相机名称后在LabVIEW中进行调用。
本发明基于LabVIEW和MATLAB的红外与可见光视频融合系统相比于现有市场上的红外与可见光融合系统，其优点在于：
首先本发明基于LabVIEW和MATLAB的红外与可见光视频融合系统是软件的融合系统，相较于售卖的成品可以随时改进融合算法，调整融合权重可以适应不同环境。
其次是成本低，本发明基于LabVIEW和MATLAB的红外与可见光视频融合系统只需要双光相机，只要有双光相机，即使分辨率不同，通过连接计算机采用本发明的红外视频图像与可见光视频图像融合方法也可以达到融合效果。
随着计算机多核处理器的迅速发展，使得实时融合系统的软件开发成为了研究热点。LabVIEW具有开发速度快、便于与硬件做数据交流和可与其他软件联立编程等特点，MATLAB具有强大的图像处理能力，更适合运行复杂的图像处理算法。本发明基于LabVIEW和MATLAB的红外与可见光视频融合系统将LabVIEW和MATLAB结合用来设计红外与可见光融合软件系统，可满足一些对便捷性及实时性要求高的领域，目前还未见此类系统的报道。市场上的红外与可见光融合系统虽然可以实现视频融合，但是成本比本发明基于LabVIEW和MATLAB的红外与可见光视频融合系统明显要高很多，同时市场上的红外与可见光融合系统，其相机体积偏大，本发明基于LabVIEW和MATLAB的红外与可见光视频融合系统的观测部分只需要两个相机，并且可以灵活调参，具有成本低以及使用灵活的优点。
基于本发明LabVIEW和MATLAB的红外与可见光视频融合系统，进一步地，在采用公式(20)对多幅图像(红外和可见光图像)进行融合后，可在LabVIEW加入单帧融合时间计算模块，原理为公式(21)：
加入单帧融合时间计算模块是最后一个步骤，在LabVIEW中加入计时器，目的是计算系统从输入到完成增强融合循环一次所用的时间，证明系统实时性。
进一步地，在LabVIEW的循环系统中加入时间信号延迟提升流畅度，目的是给计算机清理缓存，因为计算机window系统不是实时的，一般加入100ms就可以。在LabVIEW中加入LabVIEW显示模块与图像保存模块，融合系统是在LabVIEW里的，只有图像处理算法是在LabVIEW中调用MATLAB做的。
为验证本发明算法的有效性，本发明对标准双光融合图像和双光融合系统实际采集的双光图像进行了融合实验，并对不同融合方法进行了客观评价，仿真结果如图11所示，图11中，(a)部分为轮船红外原始图像，(b)部分为轮船可见光原始图像，(c)部分为加权融合图像，(d)部分为小波变换融合图像，(e)部分为FDE融合算法图像，(f)部分为ADF融合算法，(g)部分为本发明融合算法图像，图像评价参数如表2所示：
表2双光融合算法评价参数表
评价方法 加权平均法 小波变换法 FDE融合 ADF融合 本发明算法
AVG 1.135 1.176 1.482 1.521 1.605
SD 1.426 1.412 1.855 1.975 2.113
SF 3.283 3.266 3.971 4.650 4.931
MSE(半参考) 111.419 110.891 111.425 110.914 99.819
PSNR 17.333 17.406 17.335 17.433 18.615
SSIM 0.886 0.868 0.883 0.892 0.909
MSE 1109.230 1090.558 1108.718 1083.898 825.604
LabVIEW与MATLAB融合系统测试：
通过已经搭建完成的双光路融合系统，将以上各种算法应用于该系统从而完成实验验证，系统的核心程序包括：通过LabVIEW对双光相机进行视频调用，调用完成后对双光图像进行图像截取，将截取图像转换为数据为二维双精度类型的矩阵数据放入到MATLAB节点中，同时与之输入的还有双光图像配准参数数值；在MATLAB中完成双光图像的配准校正、红外图像的增强和双光图像融合算法。最后将处理后的图像再转换成图片放入LabVIEW所预备好的内存空间并显示在计算机上。其中LabVIEW所预备好的内存空间即通过LabVIEW设计的图像保存模块。
本发明搭建的基于LabVIEW和MATLAB的红外与可见光视频及图像融合系统进行实际场景应用，完成双光视频融合及图像采集。由图12双光融合系统采集的视频融合图像可以看出这一组图像为同一环境的视频图像，系统运行期间，上位机图像显示稳定，图中融合部分内容丰富，图像配准精确，人物和电子产品等物体的轮廓特征突出，背景内容清晰可见。至此，本发明成功搭建了基于LabVIEW和MALTAB的红外与可见光视频及图像融合系统。
本发明基于LabVIEW和MATLAB设计搭建红外与可见光视频融合系统，提出了一种拟合函数配准的方法，一种红外图像增强算法和双光融合算法，并将算法应用系统进行了实现。在实验方法方面，本发明应用LabVIEW和MATLAB完成视频图像融合，在算法原理方面，本发明采用各向异性滤波完成双光融合。本发明所适应的应用领域为图像处理方向双光视频图像融合。在算法原理方面，本发明涉及的滤波算法融合算法通过LabVIEW和MATLAB联合编程的方式实现了双光融合。在融合算法方面，本发明通过标定拟合函数方法实现双光图像配准与融合。本发明的方法针对红外与可见光视频图像融合，其采用的图像算法是由传统的图像算法改进而来，代码量较低，有详细评价参数结论。
本发明提供的一种基于Lab VIEW和MATLAB的红外与可见光视频融合系统，以双分辨率双光相机获取红外与可见光图像，采用LabVIEW和MATLAB联合编程的方式完成红外与可见光视频融合系统设计，首先搭建双光相机共轴光路，通过一种标定拟合函数方法对双分辨率进行区域图像配准，得到双光配准区间和配准图像。本发明提出了一种改进的红外图像增强算法，在保留图像细节的同时增强了图像特征信息，在此基础上提出了一种改进的红外与可见光图像融合算法。最后将算法在系统中进行了实现，实验与结果表明，本发明红外与可见光视频融合系统具有更好的融合效果，更优的图像质量和更好的便捷性。
图13为本发明红外视频图像与可见光视频图像融合系统实施例的结构图。参见图13，该红外视频图像与可见光视频图像融合系统包括：
视频图像获取模块1301，用于获取红外视频图像和可见光视频图像。
红外图像增强模块1302，用于对红外视频图像进行图像增强，得到边缘锐化后的红外视频图像。
该红外图像增强模块1302具体包括：
拉普拉斯变换单元，用于对红外视频图像进行拉普拉斯变换，提取出红外视频图像的边缘轮廓图像。
Sobel梯度计算单元，用于对边缘轮廓图像进行Sobel梯度计算，得到边缘轮廓增强图像，并利用所述边缘轮廓增强图像对所述红外视频图像中的边缘点进行定位后，对所述边缘点进行形态学腐蚀处理，得到非边缘图像。
双边滤波处理单元，用于对边缘轮廓增强图像进行双边滤波处理，得到边缘图像。
边缘误差修正单元，用于对边缘图像和边缘轮廓图像进行边缘误差修正，得到修正后的边缘图像。
融合单元，用于对修正后的边缘图像和非边缘图像进行融合，得到边缘锐化后的红外视频图像。
图像配准模块1303，用于对边缘锐化后的红外视频图像和可见光视频图像进行图像配准，得到配准后的红外视频图像和配准后的可见光视频图像。
该图像配准模块1303具体包括：
配准参数获取单元，用于获取不同距离下的图像配准参数；图像配准参数包括当前距离对应的图像尺寸变换系数以及当前距离对应的原点相对位置关系。
配准参数拟合单元，用于对不同距离下的图像配准参数进行拟合，确定配准距离。
红外图像调整单元，用于根据配准距离对应的图像尺寸变换系数以及配准距离对应的原点相对位置关系，对边缘锐化后的红外视频图像进行调整，得到调整后的红外视频图像。
图像配准单元，用于对调整后的红外视频图像和可见光视频图像进行图像配准，得到配准后的红外视频图像和配准后的可见光视频图像。
各向异性滤波处理模块1304，用于分别对配准后的红外视频图像和配准后的可见光视频图像进行各向异性滤波处理，得到红外视频图像特征部分、红外视频图像非特征部分、可见光视频图像特征部分和可见光视频图像非特征部分。
主成分分析模块1305，用于对红外视频图像特征部分、可见光视频图像特征部分、红外视频图像非特征部分和可见光视频图像非特征部分进行主成分分析，得到特征部分融合图和非特征部分融合图。
该主成分分析模块1305具体包括：
主成分分析单元，用于对红外视频图像特征部分和可见光视频图像特征部分进行主成分分析，得到红外视频图像特征部分的特征值和可见光视频图像特征部分的特征值。
特征部分权重确定单元，用于根据红外视频图像特征部分的特征值和可见光视频图像特征部分的特征值，确定红外视频图像特征部分的权重和可见光视频图像特征部分的权重。
特征部分融合单元，用于根据红外视频图像特征部分的权重和可见光视频图像特征部分的权重，对红外视频图像特征部分和可见光视频图像特征部分进行融合，得到特征部分融合图。
非特征部分权重获取单元，用于获取红外视频图像非特征部分的权重和可见光视频图像非特征部分的权重；
非特征部分融合单元，用于根据红外视频图像非特征部分的权重和可见光视频图像非特征部分的权重，对红外视频图像非特征部分和可见光视频图像非特征部分进行融合，得到非特征部分融合图。
融合模块1306，用于对特征部分融合图和非特征部分融合图进行融合，得到融合后的图像。
图14为本发明红外视频图像与可见光视频图像融合装置实施例的结构图。参见图14，该红外视频图像与可见光视频图像融合装置包括红外相机、可见光相机、图像采集卡和红外视频图像与可见光视频图像融合系统实施例所述的红外视频图像与可见光视频图像融合系统。
红外相机与图像采集卡连接，图像采集卡与所述可见光相机均和红外视频图像与可见光视频图像融合系统连接。
红外相机用于循环采集红外视频图像。
可见光相机用于循环采集可见光视频图像。
图像采集卡用于获取红外视频图像。
红外视频图像与可见光视频图像融合系统用于对红外视频图像和可见光视频图像进行融合，得到融合后的图像。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种红外视频图像与可见光视频图像融合方法，其特征在于，所述方法包括：
获取红外视频图像和可见光视频图像；
对所述红外视频图像进行图像增强，得到边缘锐化后的红外视频图像；
对所述边缘锐化后的红外视频图像和所述可见光视频图像进行图像配准，得到配准后的红外视频图像和配准后的可见光视频图像；
分别对所述配准后的红外视频图像和所述配准后的可见光视频图像进行各向异性滤波处理，得到红外视频图像特征部分、红外视频图像非特征部分、可见光视频图像特征部分和可见光视频图像非特征部分；
对所述红外视频图像特征部分、所述可见光视频图像特征部分、所述红外视频图像非特征部分和所述可见光视频图像非特征部分进行主成分分析，得到特征部分融合图和非特征部分融合图；
对所述特征部分融合图和所述非特征部分融合图进行融合，得到融合后的图像。
2.根据权利要求1所述的红外视频图像与可见光视频图像融合方法，其特征在于，所述对所述红外视频图像进行图像增强，得到边缘锐化后的红外视频图像，具体包括：
对所述红外视频图像进行拉普拉斯变换，提取出所述红外视频图像的边缘轮廓图像；
对所述边缘轮廓图像进行Sobel梯度计算，得到边缘轮廓增强图像，并利用所述边缘轮廓增强图像对所述红外视频图像中的边缘点进行定位后，对所述边缘点进行形态学腐蚀处理，得到非边缘图像；
对所述边缘轮廓增强图像进行双边滤波处理，得到边缘图像；
对所述边缘图像和所述边缘轮廓图像进行边缘误差修正，得到修正后的边缘图像；
对所述修正后的边缘图像和所述非边缘图像进行融合，得到边缘锐化后的红外视频图像。
3.根据权利要求2所述的红外视频图像与可见光视频图像融合方法，其特征在于，所述对所述修正后的边缘图像和所述非边缘图像进行融合，得到边缘锐化后的红外视频图像，之后还包括：
对所述边缘锐化后的红外视频图像进行伽马变换，得到对比度增强的红外视频图像。
4.根据权利要求1所述的红外视频图像与可见光视频图像融合方法，其特征在于，所述对所述边缘锐化后的红外视频图像和所述可见光视频图像进行图像配准，得到配准后的红外视频图像和配准后的可见光视频图像，具体包括：
获取不同距离下的图像配准参数；所述图像配准参数包括当前距离对应的图像尺寸变换系数以及当前距离对应的原点相对位置关系；
对所述不同距离下的图像配准参数进行拟合，确定配准距离；
根据所述配准距离对应的图像尺寸变换系数以及所述配准距离对应的原点相对位置关系，对所述边缘锐化后的红外视频图像进行调整，得到调整后的红外视频图像；
对所述调整后的红外视频图像和所述可见光视频图像进行图像配准，得到配准后的红外视频图像和配准后的可见光视频图像。
5.根据权利要求1所述的红外视频图像与可见光视频图像融合方法，其特征在于，所述对所述红外视频图像特征部分、所述可见光视频图像特征部分、所述红外视频图像非特征部分和所述可见光视频图像非特征部分进行主成分分析，得到特征部分融合图和非特征部分融合图，具体包括：
对所述红外视频图像特征部分和所述可见光视频图像特征部分进行主成分分析，得到红外视频图像特征部分的特征值和可见光视频图像特征部分的特征值；
根据所述红外视频图像特征部分的特征值和所述可见光视频图像特征部分的特征值，确定红外视频图像特征部分的权重和可见光视频图像特征部分的权重；
根据所述红外视频图像特征部分的权重和所述可见光视频图像特征部分的权重，对所述红外视频图像特征部分和所述可见光视频图像特征部分进行融合，得到特征部分融合图；
获取红外视频图像非特征部分的权重和可见光视频图像非特征部分的权重；
根据所述红外视频图像非特征部分的权重和所述可见光视频图像非特征部分的权重，对所述红外视频图像非特征部分和所述可见光视频图像非特征部分进行融合，得到非特征部分融合图。
6.一种红外视频图像与可见光视频图像融合系统，其特征在于，所述系统包括：
视频图像获取模块，用于获取红外视频图像和可见光视频图像；
红外图像增强模块，用于对所述红外视频图像进行图像增强，得到边缘锐化后的红外视频图像；
图像配准模块，用于对所述边缘锐化后的红外视频图像和所述可见光视频图像进行图像配准，得到配准后的红外视频图像和配准后的可见光视频图像；
各向异性滤波处理模块，用于分别对所述配准后的红外视频图像和所述配准后的可见光视频图像进行各向异性滤波处理，得到红外视频图像特征部分、红外视频图像非特征部分、可见光视频图像特征部分和可见光视频图像非特征部分；
主成分分析模块，用于对所述红外视频图像特征部分、所述可见光视频图像特征部分、所述红外视频图像非特征部分和所述可见光视频图像非特征部分进行主成分分析，得到特征部分融合图和非特征部分融合图；
融合模块，用于对所述特征部分融合图和所述非特征部分融合图进行融合，得到融合后的图像。
7.根据权利要求6所述的红外视频图像与可见光视频图像融合系统，其特征在于，所述红外图像增强模块具体包括：
拉普拉斯变换单元，用于对所述红外视频图像进行拉普拉斯变换，提取出所述红外视频图像的边缘轮廓图像；
Sobel梯度计算单元，用于对所述边缘轮廓图像进行Sobel梯度计算，得到边缘轮廓增强图像，并利用所述边缘轮廓增强图像对所述红外视频图像中的边缘点进行定位后，对所述边缘点进行形态学腐蚀处理，得到非边缘图像；
双边滤波处理单元，用于对所述边缘轮廓增强图像进行双边滤波处理，得到边缘图像；
边缘误差修正单元，用于对所述边缘图像和所述边缘轮廓图像进行边缘误差修正，得到修正后的边缘图像；
融合单元，用于对所述修正后的边缘图像和所述非边缘图像进行融合，得到边缘锐化后的红外视频图像。
8.根据权利要求6所述的红外视频图像与可见光视频图像融合系统，其特征在于，所述图像配准模块具体包括：
配准参数获取单元，用于获取不同距离下的图像配准参数；所述图像配准参数包括当前距离对应的图像尺寸变换系数以及当前距离对应的原点相对位置关系；
配准参数拟合单元，用于对所述不同距离下的图像配准参数进行拟合，确定配准距离；
红外图像调整单元，用于根据所述配准距离对应的图像尺寸变换系数以及所述配准距离对应的原点相对位置关系，对所述边缘锐化后的红外视频图像进行调整，得到调整后的红外视频图像；
图像配准单元，用于对所述调整后的红外视频图像和所述可见光视频图像进行图像配准，得到配准后的红外视频图像和配准后的可见光视频图像。
9.根据权利要求6所述的红外视频图像与可见光视频图像融合系统，其特征在于，所述主成分分析模块具体包括：
主成分分析单元，用于对所述红外视频图像特征部分和所述可见光视频图像特征部分进行主成分分析，得到红外视频图像特征部分的特征值和可见光视频图像特征部分的特征值；
特征部分权重确定单元，用于根据所述红外视频图像特征部分的特征值和所述可见光视频图像特征部分的特征值，确定红外视频图像特征部分的权重和可见光视频图像特征部分的权重；
特征部分融合单元，用于根据所述红外视频图像特征部分的权重和所述可见光视频图像特征部分的权重，对所述红外视频图像特征部分和所述可见光视频图像特征部分进行融合，得到特征部分融合图；
非特征部分权重获取单元，用于获取红外视频图像非特征部分的权重和可见光视频图像非特征部分的权重；
非特征部分融合单元，用于根据所述红外视频图像非特征部分的权重和所述可见光视频图像非特征部分的权重，对所述红外视频图像非特征部分和所述可见光视频图像非特征部分进行融合，得到非特征部分融合图。
10.一种红外视频图像与可见光视频图像融合装置，其特征在于，所述装置包括红外相机、可见光相机、图像采集卡和权利要求6-9任一项所述的红外视频图像与可见光视频图像融合系统；
所述红外相机与所述图像采集卡连接，所述图像采集卡与所述可见光相机均和所述红外视频图像与可见光视频图像融合系统连接；
所述红外相机用于循环采集红外视频图像；
所述可见光相机用于循环采集可见光视频图像；
所述图像采集卡用于获取所述红外视频图像；
所述红外视频图像与可见光视频图像融合系统用于对所述红外视频图像和所述可见光视频图像进行融合，得到融合后的图像。
CN202110972100.0A 2021-08-24 2021-08-24 红外视频图像与可见光视频图像融合方法、系统及装置 Active CN113674192B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110972100.0A CN113674192B (zh) 2021-08-24 2021-08-24 红外视频图像与可见光视频图像融合方法、系统及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110972100.0A CN113674192B (zh) 2021-08-24 2021-08-24 红外视频图像与可见光视频图像融合方法、系统及装置

Publications (2)

Publication Number Publication Date
CN113674192A CN113674192A (zh) 2021-11-19
CN113674192B true CN113674192B (zh) 2024-02-02

Family

ID=78545504

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110972100.0A Active CN113674192B (zh) 2021-08-24 2021-08-24 红外视频图像与可见光视频图像融合方法、系统及装置

Country Status (1)

Country Link
CN (1) CN113674192B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103177433A (zh) * 2013-04-09 2013-06-26 南京理工大学 红外与微光图像融合方法
CN103455708A (zh) * 2013-07-24 2013-12-18 安徽省电力科学研究院 基于卫星及气象信息的输电线路灾害监测与风险评估平台
CN103530853A (zh) * 2013-10-17 2014-01-22 中北大学 红外光强图像和红外偏振图像增强融合方法
CN103886565A (zh) * 2014-03-13 2014-06-25 北京工业大学 基于目的性优化及直方图均衡化的夜间彩色图像增强方法
CN106023129A (zh) * 2016-05-26 2016-10-12 西安工业大学 红外与可见光图像融合的汽车抗晕光视频图像处理方法
WO2017020595A1 (zh) * 2015-08-05 2017-02-09 武汉高德红外股份有限公司 一种可见光图像与红外图像融合处理系统及融合方法
KR101841939B1 (ko) * 2016-12-12 2018-03-27 인천대학교 산학협력단 가시 및 적외선 데이터 결합을 이용한 이미지 처리 방법
CN111951205A (zh) * 2020-08-18 2020-11-17 燕山大学 一种红外与可见光的双光显微成像系统及其图像融合方法
AU2021101531A4 (en) * 2021-03-25 2021-05-13 Sichuan University of Science and Engineering A Fusion Method of Infrared Image and Visible Image

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103177433A (zh) * 2013-04-09 2013-06-26 南京理工大学 红外与微光图像融合方法
CN103455708A (zh) * 2013-07-24 2013-12-18 安徽省电力科学研究院 基于卫星及气象信息的输电线路灾害监测与风险评估平台
CN103530853A (zh) * 2013-10-17 2014-01-22 中北大学 红外光强图像和红外偏振图像增强融合方法
CN103886565A (zh) * 2014-03-13 2014-06-25 北京工业大学 基于目的性优化及直方图均衡化的夜间彩色图像增强方法
WO2017020595A1 (zh) * 2015-08-05 2017-02-09 武汉高德红外股份有限公司 一种可见光图像与红外图像融合处理系统及融合方法
CN106023129A (zh) * 2016-05-26 2016-10-12 西安工业大学 红外与可见光图像融合的汽车抗晕光视频图像处理方法
KR101841939B1 (ko) * 2016-12-12 2018-03-27 인천대학교 산학협력단 가시 및 적외선 데이터 결합을 이용한 이미지 처리 방법
CN111951205A (zh) * 2020-08-18 2020-11-17 燕山大学 一种红外与可见光的双光显微成像系统及其图像融合方法
AU2021101531A4 (en) * 2021-03-25 2021-05-13 Sichuan University of Science and Engineering A Fusion Method of Infrared Image and Visible Image

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
基于显著特性的红外全景图像拼接;杨蕊;李雪;;激光杂志(06);全文 *
基于相位一致性变换的红外图像区域匹配算法研究;郭龙源;卢阿丽;杨静宇;;红外与毫米波学报(01);全文 *
非采样轮廓波变换下的红外与可见光图像融合;王奎;李卫华;李小春;;空军工程大学学报(自然科学版)(06);全文 *

Also Published As

Publication number Publication date
CN113674192A (zh) 2021-11-19

Similar Documents

Publication Publication Date Title
CN111062905B (zh) 一种基于显著图增强的红外和可见光融合方法
CN106780590B (zh) 一种深度图的获取方法及系统
CN108074218B (zh) 基于光场采集装置的图像超分辨率方法及装置
US11398053B2 (en) Multispectral camera external parameter self-calibration algorithm based on edge features
CN108510540B (zh) 立体视觉摄像机及其高度获取方法
CN106920221B (zh) 兼顾亮度分布和细节呈现的曝光融合方法
CN110956661B (zh) 基于双向单应矩阵的可见光与红外相机动态位姿计算方法
CN110009672A (zh) 提升ToF深度图像处理方法、3D图像成像方法及电子设备
CN111145134B (zh) 基于块效应的微透镜光场相机全聚焦图像生成算法
CN109118544B (zh) 基于透视变换的合成孔径成像方法
CN109559353B (zh) 摄像模组标定方法、装置、电子设备及计算机可读存储介质
CN112257713A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
Junwu et al. An infrared and visible image fusion algorithm based on LSWT-NSST
CN111325828A (zh) 一种基于三目相机的三维人脸采集方法及装置
Lee et al. Improving focus measurement via variable window shape on surface radiance distribution for 3D shape reconstruction
Kurmi et al. Pose error reduction for focus enhancement in thermal synthetic aperture visualization
Heather et al. Multimodal image registration with applications to image fusion
CN113538545B (zh) 一种基于电液可调焦镜头的单目深度估计方法及相应的相机和存储介质
CN118298126A (zh) 基于超连续激光光源及双目标定的水下成像方法及介质
Guo et al. Binocular stereo vision calibration based on accurate ellipse detection algorithm of direct calculation and grating conversion check
CN112833821B (zh) 高密度ic焊点的微分几何立体微视觉检测系统及方法
CN111833384B (zh) 一种可见光和红外图像快速配准方法及装置
CN116823863A (zh) 一种红外图像轮廓提取方法及装置
CN113674192B (zh) 红外视频图像与可见光视频图像融合方法、系统及装置
CN111630569B (zh) 双目匹配的方法、视觉成像装置及具有存储功能的装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant