CN110223262A - 一种基于像素级的快速图像融合方法 - Google Patents

一种基于像素级的快速图像融合方法 Download PDF

Info

Publication number
CN110223262A
CN110223262A CN201811652660.2A CN201811652660A CN110223262A CN 110223262 A CN110223262 A CN 110223262A CN 201811652660 A CN201811652660 A CN 201811652660A CN 110223262 A CN110223262 A CN 110223262A
Authority
CN
China
Prior art keywords
image
fusion
pixel
visible
method based
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811652660.2A
Other languages
English (en)
Inventor
谭仁龙
张奇婕
艾宏山
董力文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Aeronautical Radio Electronics Research Institute
717th Research Institute of CSIC
Original Assignee
China Aeronautical Radio Electronics Research Institute
717th Research Institute of CSIC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Aeronautical Radio Electronics Research Institute, 717th Research Institute of CSIC filed Critical China Aeronautical Radio Electronics Research Institute
Priority to CN201811652660.2A priority Critical patent/CN110223262A/zh
Publication of CN110223262A publication Critical patent/CN110223262A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种基于像素级的快速图像融合方法,首先对待融合图像进行对比度增强操作,以提升目标和背景之间的反差。由于可见光图像和红外图像在体现目标特性之间存在差异性,二者存在一定的信息互补关系,为了能够较好的兼顾二者的特点,最大化的保留二者的信息,采用了自适应的融合权值确定方法,根据二者各自信息量的不同决定在融合过程中的权值分配比,避免了人工干预的过程。可见光图像相比于红外图像其光谱信息更丰富,分辨率也更高,加权融合之后融合结果相较于可见光图像其对比度会下降,因此,以原始可见光图像为基础对融合图像进行均值和对比度的优化,进一步提升其图像质量。

Description

一种基于像素级的快速图像融合方法
技术领域
本发明涉及机载光电吊舱技术领域,具体涉及一种基于像素级的快速图像融合方法。
背景技术
图像融合作为一种综合处理多传感器图像数据的有效技术,得到了广泛的应用,尤其是可见光和红外传感器,其应用范围已遍及军事、安全监控等领域。可见光光谱信息丰富,在一定照度下能反映场景的细节,但在照度不足时对比度较低;红外图像为热辐射图像,目标的灰度值由自身与背景的温度差决定,在照度低时依然能够发现目标,但是分辨率不高,色彩不够丰富。单独使用可见光或红外图像均存在不足之处,而图像融合技术能够有效综合二者的特征信息,增强场景理解,突出目标,有利于在隐藏、伪装和迷惑的情况下更快、更精确地探测目标。
机载光电吊舱集光学、机械、自动控制和通讯技术为一体,是航空航天领域的重要搜索、侦察设备,常搭载可见光和红外传感器,因此,研究应用于机载光电吊舱中的快速图像融合技术具有重要意义。
发明内容
本发明针对上述背景,提出了一种在像素层面进行的可见光和红外图像快速融合方法。
为了达到上述目的,本发明采用了如下技术方案:
一种基于像素级的快速图像融合方法,包括如下步骤:
步骤一、色彩空间变换:保留可见光图像的色调分量,将RGB空间转换至YUV空间下,获取转换后的可见光YUV图像,对可见光的Y分量和红外图像进行图像增强处理;
步骤二、灰度图像自适应融合:根据可见光和红外图像各自信息量的不同,确定二者在融合过程中对应的权值大小,实现自适应的权值分配;
步骤三、融合图像优化调整:以可见光图像为模板,对融合的结果图像进行优化;
步骤四、色彩空间逆变换:用融合的结果图像代替原始YUV空间下的亮度分量,保持原始的UV分量不变,实施色彩空间逆变换,将图像从YUV色彩空间变换至RGB空间下,完成图像融合的整个过程。
所述步骤一中,两种色彩空间的变换关系如下:
所述步骤一中,对可见光的Y分量和红外图像进行图像增强处理具体为采用简单的线性拉伸处理,公式为:
其中,f′为变换后的像素灰度,f为变换前的像素灰度,fmax和fmin分别为变换前图像的灰度最大值和最小值,利用上式将原始的可见光亮度分量和红外图像的灰度范围拉伸至[0,255]。
所述步骤二中,采用图像的信息熵来衡量图像包含的信息量的大小,计算公式如下:
其中,P(i)表示图像中灰度值为i的像素所占的比例;
分别求取可见光图像和红外图像各自的信息熵后,得到二者在融合过程中所占的权值分配如下:
其中,Ptv和Pir分别代表融合过程中可见光图像和红外图像所占的权值,Enttv和Entir分别代表可见光图像和红外图像的信息熵。
所述步骤二中,采用加权平均法进行融合过程处理,公式如下:
F=Ptv×ftv+Pir×fir
其中,ftv代表融合前可见光图像,fir代表融合前的红外图像,F代表融合结果图像。
所述步骤三中,采用的优化方法如下式所示:
上式中,μF和μtv分别代表融合图像的灰度均值以及融合前可见光亮度分量的灰度均值,σF和σtv分别代表二者的灰度方差,F代表整幅图像的灰度值,F′代表优化调整后图像的灰度值。
所述步骤四中,两种色彩空间的逆变换关系如下:
本发明的有益效果为:为了降低在获取图像瞬间光照等原因带来的影响,本发明首先对待融合图像进行对比度增强操作,以提升目标和背景之间的反差。由于可见光图像和红外图像在体现目标特性之间存在差异性,二者存在一定的信息互补关系,为了能够较好的兼顾二者的特点,最大化的保留二者的信息,采用了自适应的融合权值确定方法,根据二者各自信息量的不同决定在融合过程中的权值分配比,避免了人工干预的过程。可见光图像相比于红外图像其光谱信息更丰富,分辨率也更高,加权融合之后融合结果相较于可见光图像其对比度会下降,因此,以原始可见光图像为基础对融合图像进行均值和对比度的优化,进一步提升其图像质量。
附图说明
图1为本发明的基于像素级的快速图像融合方法流程图;
图2为本发明的可见光和红外原始灰度图和彩色图;
图3为可见光和红外图像直接融合效果图;
图4为本发明的融合结果优化调整后效果图。
具体实施方式
参见图1-图4,本发明实施例提供的基于像素级的快速图像融合方法,包括如下步骤:
步骤一、色彩空间变换
通常情况下可见光图像为色彩丰富的彩色图像,分辨率较高,红外图像为灰度图像,分辨率较低,为了尽可能使两种图像的信息得到最大的保留,一般保留可见光图像的色调分量,利用其亮度分量和红外灰度图像进行融合处理,而在RGB空间下,可见光图像的亮度信息和色调信息具有较强的相关性,不方便处理,因此首先将RGB空间转换至YUV空间下,两种色彩空间的变换关系如下:
获取转换后的可见光YUV图像,为了降低光照等原因对图像对比度所造成的影响,对可见光的Y分量和红外图像进行图像增强处理,提升其对比度,增大图像中目标和背景之间的反差,同时为了节省运算时间,采用简单的线性拉伸处理,公式为:
其中,f′为变换后的像素灰度,f为变换前的像素灰度,fmax和fmin分别为变换前图像的灰度最大值和最小值,利用上式将原始的可见光亮度分量和红外图像的灰度范围拉伸至[0,255]。
步骤二、灰度图像自适应融合
步骤2.1、自适应权值获取
为了确定可见光图像和红外图像在融合过程中分别占的比重,同时尽量减小人工干预的程度,采用自适应的方式来确定融合权值,根据图像各自所包含的信息量大小决定其权值分配比,信息量大证明图像中目标和背景差别较大,内容更丰富,融合过程中图像所表达的信息应该更多的得到保留。
采用图像的信息熵来衡量图像包含的信息量的大小,信息熵从整个信息源的统计特性进行考虑,表征了图像灰度分布的聚集特性,反映了图像中平均信息量的多少,其计算公式如下:
其中,P(i)表示图像中灰度值为i的像素所占的比例;
分别求取可见光图像和红外图像各自的信息熵后,得到二者在融合过程中所占的权值分配如下:
其中,Ptv和Pir分别代表融合过程中可见光图像和红外图像所占的权值,Enttv和Entir分别代表可见光图像和红外图像的信息熵。
步骤2.2、灰度图像融合
确定可见光图像和红外图像在融合过程中各自所占的权值后,即可进行图像融合。采用加权平均法进行融合过程处理,公式如下:
F=Ptv×ftv+Pir×fir
其中,ftv代表融合前可见光图像,fir代表融合前的红外图像,F代表融合结果图像。以像素为单位进行融合运算,因此融合前需要保证参与融合的可见光图像和红外图像是像素级严格配准的。
步骤三、融合图像优化调整
由于成像机制的不同,红外图像和可见光图像强度分量的亮度分布差异有时会很大,在某些特定场景下,红外图像较为灰暗,而可见光图像整体较为明亮,在和红外图像融合时,红外图像只能起到很小的作用,最终的融合效果会受到较大影响。这种情况下就需要对融合结果进行优化调整,使其与对比度较强,整体较为明亮的可见光图像亮度分量在亮度分布上协调一致。
采用的处理方法如下式所示:
上式中,μF和μtv分别代表融合图像的灰度均值以及融合前可见光亮度分量的灰度均值,σF和σtv分别代表二者的灰度方差,F代表整幅图像的灰度值,F′代表优化调整后图像的灰度值。灰度代表了图像的一阶统计量,方差代表了图像的二阶统计量。
经过上述方法处理过后,灰度融合图像亮度分布的一阶和二阶统计量就会和可见光图像的相类似,灰度均值可以反映图像的平均亮度,方差可以表示图像的对比度,以此实现将参考图像的图像灰度特征传递至融合图像中。
再次对处理后的图像进行线性拉伸操作,使其灰度分布更为均匀,图像目标和背景之间的反差更为明显,有利于图像的判读解译等后期处理操作。
步骤四、色彩空间逆变换
灰度图像融合过程完成之后,用融合结果代替原始YUV空间下的亮度分量,保持原始的UV分量不变,实施色彩空间逆变换,将图像从YUV色彩空间变换至RGB空间下,完成图像融合的整个过程。两种色彩空间的逆变换关系如下:
为了获得高质量的融合图像,灰度融合过程中通常会用到某些高计算复杂度的融合算法如小波融合算法等,高复杂度的计算不仅会占用大量资源,使得整个融合系统变得复杂,而且会消耗大量的时间,很难满足某些特殊情况下的对融合算法的高实时性需求。本发明基于像素融合法,直接在像素层面上进行操作,根据可见光和红外图像的灰度信息统计量的多少决定其在融合中所占比例大小,增强了算法对融合图像的适应性,融合处理完成之后,为了提升融合图像的视觉效果,将可见光图像作为参考图像,利用其灰度信息对融合图像进行优化调整,包括了一阶的灰度均值信息以及二阶的灰度方差信息,调整过后融合图像具有和参考图像相类似的灰度分布,减小了因为红外图像分辨率不高且细节信息不清晰对融合图像造成的影响,提升了融合图像的质量。同时因为计算过程中仅用到了图像的一阶统计量和二阶统计量,而且是基于像素进行直接融合处理,没有使用多分辨率等高复杂度的处理方法,因此算法的运算速度快,节省了处理时间,能够满足实时性要求。
本发明根据可见光和红外图像各自信息量的不同,确定其在融合过程中对应的权值大小,实现自适应的权值分配,避免了人工干预,算法针对不同图像的适应性更强。本发明利用可见光图像纹理更丰富、分辨率更高的特点,以可见光图像为模板,对融合的结果图像进行优化,进一步提升融合效果。相较于运算复杂的特征级或决策级融合算法,本发明原理简单,运算速度快,融合结果能够满足战场等复杂环境对算法的实时性需求。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本领域的技术人员在本发明揭露的范围内,可轻易想到的变化或者替换,都应该涵盖在本发明的保护范围内。因此,本发明的保护范围应以所述权利要求的保护范围为准。

Claims (7)

1.一种基于像素级的快速图像融合方法,其特征在于,包括如下步骤:
步骤一、色彩空间变换:保留可见光图像的色调分量,将RGB空间转换至YUV空间下,获取转换后的可见光YUV图像,对可见光的Y分量和红外图像进行图像增强处理;
步骤二、灰度图像自适应融合:根据可见光和红外图像各自信息量的不同,确定二者在融合过程中对应的权值大小,实现自适应的权值分配;
步骤三、融合图像优化调整:以可见光图像为模板,对融合的结果图像进行优化;
步骤四、色彩空间逆变换:用融合的结果图像代替原始YUV空间下的亮度分量,保持原始的UV分量不变,实施色彩空间逆变换,将图像从YUV色彩空间变换至RGB空间下,完成图像融合的整个过程。
2.根据权利要求1所述的一种基于像素级的快速图像融合方法,其特征在于,所述步骤一中,两种色彩空间的变换关系如下:
3.根据权利要求2所述的一种基于像素级的快速图像融合方法,其特征在于,所述步骤一中,对可见光的Y分量和红外图像进行图像增强处理具体为采用简单的线性拉伸处理,公式为:
其中,f′为变换后的像素灰度,f为变换前的像素灰度,fmax和fmin分别为变换前图像的灰度最大值和最小值,利用上式将原始的可见光亮度分量和红外图像的灰度范围拉伸至[0,255]。
4.根据权利要求1或3所述的一种基于像素级的快速图像融合方法,其特征在于,所述步骤二中,采用图像的信息熵来衡量图像包含的信息量的大小,计算公式如下:
其中,P(i)表示图像中灰度值为i的像素所占的比例;
分别求取可见光图像和红外图像各自的信息熵后,得到二者在融合过程中所占的权值分配如下:
其中,Ptv和Pir分别代表融合过程中可见光图像和红外图像所占的权值,Enttv和Entir分别代表可见光图像和红外图像的信息熵。
5.根据权利要求4所述的一种基于像素级的快速图像融合方法,其特征在于,所述步骤二中,采用加权平均法进行融合过程处理,公式如下:
F=Ptv×ftv+Pir×fir
其中,ftv代表融合前可见光图像,fir代表融合前的红外图像,F代表融合结果图像。
6.根据权利要求1或3或5所述的一种基于像素级的快速图像融合方法,其特征在于,所述步骤三中,采用的优化方法如下式所示:
上式中,μF和μtv分别代表融合图像的灰度均值以及融合前可见光亮度分量的灰度均值,σF和σtv分别代表二者的灰度方差,F代表整幅图像的灰度值,F′代表优化调整后图像的灰度值。
7.根据权利要求6所述的一种基于像素级的快速图像融合方法,其特征在于,所述步骤四中,两种色彩空间的逆变换关系如下:
CN201811652660.2A 2018-12-28 2018-12-28 一种基于像素级的快速图像融合方法 Pending CN110223262A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811652660.2A CN110223262A (zh) 2018-12-28 2018-12-28 一种基于像素级的快速图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811652660.2A CN110223262A (zh) 2018-12-28 2018-12-28 一种基于像素级的快速图像融合方法

Publications (1)

Publication Number Publication Date
CN110223262A true CN110223262A (zh) 2019-09-10

Family

ID=67822204

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811652660.2A Pending CN110223262A (zh) 2018-12-28 2018-12-28 一种基于像素级的快速图像融合方法

Country Status (1)

Country Link
CN (1) CN110223262A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111104917A (zh) * 2019-12-24 2020-05-05 杭州魔点科技有限公司 基于人脸的活体检测方法、装置、电子设备及介质
CN112053392A (zh) * 2020-09-17 2020-12-08 南昌航空大学 一种红外与可见光图像的快速配准与融合方法
WO2021120406A1 (zh) * 2019-12-17 2021-06-24 大连理工大学 一种基于显著图增强的红外和可见光融合方法
WO2021120408A1 (zh) * 2019-12-17 2021-06-24 大连理工大学 一种基于双层优化的红外和可见光融合方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609927A (zh) * 2012-01-12 2012-07-25 北京理工大学 基于场景景深的雾天可见光/红外图像彩色融合方法
CN106600572A (zh) * 2016-12-12 2017-04-26 长春理工大学 一种自适应的低照度可见光图像和红外图像融合方法
CN106952246A (zh) * 2017-03-14 2017-07-14 北京理工大学 基于视觉注意特性的可见光红外图像增强彩色融合方法
CN107909562A (zh) * 2017-12-05 2018-04-13 华中光电技术研究所(中国船舶重工集团公司第七七研究所) 一种基于像素级的快速图像融合算法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609927A (zh) * 2012-01-12 2012-07-25 北京理工大学 基于场景景深的雾天可见光/红外图像彩色融合方法
CN106600572A (zh) * 2016-12-12 2017-04-26 长春理工大学 一种自适应的低照度可见光图像和红外图像融合方法
CN106952246A (zh) * 2017-03-14 2017-07-14 北京理工大学 基于视觉注意特性的可见光红外图像增强彩色融合方法
CN107909562A (zh) * 2017-12-05 2018-04-13 华中光电技术研究所(中国船舶重工集团公司第七七研究所) 一种基于像素级的快速图像融合算法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021120406A1 (zh) * 2019-12-17 2021-06-24 大连理工大学 一种基于显著图增强的红外和可见光融合方法
WO2021120408A1 (zh) * 2019-12-17 2021-06-24 大连理工大学 一种基于双层优化的红外和可见光融合方法
US11830222B2 (en) 2019-12-17 2023-11-28 Dalian University Of Technology Bi-level optimization-based infrared and visible light fusion method
CN111104917A (zh) * 2019-12-24 2020-05-05 杭州魔点科技有限公司 基于人脸的活体检测方法、装置、电子设备及介质
CN112053392A (zh) * 2020-09-17 2020-12-08 南昌航空大学 一种红外与可见光图像的快速配准与融合方法

Similar Documents

Publication Publication Date Title
CN107909562A (zh) 一种基于像素级的快速图像融合算法
CN110223262A (zh) 一种基于像素级的快速图像融合方法
CN106886985B (zh) 一种减小色偏的自适应低照度图像增强方法
CN103891294B (zh) 用于hdr图像编码和解码的装置与方法
CN103714520B (zh) 基于fpga实现数字视频图像增强系统及其方法
CN102693532B (zh) 图像阴影和高光的自动局部调整
CN106504212A (zh) 一种改进的hsi空间信息低照度彩色图像增强算法
CN103593830B (zh) 一种低照度视频图像增强方法
CN106897981A (zh) 一种基于引导滤波的低照度图像增强方法
CN109447910A (zh) 一种基于模糊理论的低照度彩色图像增强方法
CN111292264A (zh) 一种基于深度学习的图像高动态范围重建方法
CN110706172B (zh) 基于自适应混沌粒子群优化的低照度彩色图像增强方法
CN103632351B (zh) 一种基于亮度基准漂移的全天候交通图像增强方法
JP3018914B2 (ja) 階調補正装置
CN107396079B (zh) 白平衡调整方法和装置
CN104200431A (zh) 图像灰度化的处理方法及处理装置
CN109300101A (zh) 一种基于Retinex理论的多曝光图像融合方法
CN106169182A (zh) 一种合成多幅不同曝光度图像的方法
CN106651817A (zh) 一种基于非抽样Contourlet的图像增强方法
CN111970432A (zh) 一种图像处理方法及图像处理装置
CN101383912B (zh) 电视摄像色彩智能化自动调节方法
CN105354801A (zh) 一种基于hsv色彩空间的图像增强方法
CN107580205B (zh) 白平衡调整方法和装置
CN116188339A (zh) 一种基于Retinex及图像融合的暗视觉图像增强方法
CN105118032B (zh) 一种基于视觉系统的宽动态处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190910