CN110175962B - 一种基于区域显著性识别的红外图像增强方法 - Google Patents

一种基于区域显著性识别的红外图像增强方法 Download PDF

Info

Publication number
CN110175962B
CN110175962B CN201910429269.4A CN201910429269A CN110175962B CN 110175962 B CN110175962 B CN 110175962B CN 201910429269 A CN201910429269 A CN 201910429269A CN 110175962 B CN110175962 B CN 110175962B
Authority
CN
China
Prior art keywords
infrared image
image
transmission
map
formula
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910429269.4A
Other languages
English (en)
Other versions
CN110175962A (zh
Inventor
顾振飞
袁小燕
尹玉军
陈凡
刘凡
姜晨阳
李想
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing College of Information Technology
Original Assignee
Nanjing College of Information Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing College of Information Technology filed Critical Nanjing College of Information Technology
Priority to CN201910429269.4A priority Critical patent/CN110175962B/zh
Publication of CN110175962A publication Critical patent/CN110175962A/zh
Application granted granted Critical
Publication of CN110175962B publication Critical patent/CN110175962B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于区域显著性识别的红外图像增强方法，包括以下过程：构建红外图像的显著性特征图，分割出红外图像中的显著区域和非显著区域；对红外图像进行反转操作并基于暗通道先验估计出反转红外图像的透射图；利用导向全变分模型对透射图进行修正，并基于图像显著区域分割结果对透射图进行二次修正；利用二次修正后的透射图获得增强后的红外图像；对增强后的红外图像进行面向边缘特征增强的二次增强，从而获得二次增强后的红外图像。本发明方法能够恢复出红外图像中原本隐藏的大量的场景细节，且不会引入负面效应。

Description

一种基于区域显著性识别的红外图像增强方法
技术领域
本发明属于红外图像处理技术领域，具体涉及一种基于区域显著性识别的红外图像增强方法。
背景技术
目前，现有的红外图像增强方法难以恢复出红外图像中原本隐藏的大量的场景细节，导致红外图像中原本隐藏的大量的场景细节丢失，而且在此过程中容易引入过曝光、过增强、光晕效应等负面效应。
因此有必要设计出一种红外图像增强方法，能够恢复出红外图像中原本隐藏的大量的场景细节，且不会引入负面效应。
发明内容
本发明的目的在于克服现有技术中的不足，提出了一种基于区域显著性识别的红外图像增强方法，能够恢复出红外图像中原本隐藏的大量的场景细节，且不会引入负面效应。
为解决上述技术问题，本发明提供了一种基于区域显著性识别的红外图像增强方法，其特征是，包括以下过程：
S1，构建红外图像的显著性特征图，分割出红外图像中的显著区域和非显著区域；
S2，对红外图像进行反转操作并基于暗通道先验估计出反转红外图像的透射图；
S3，利用导向全变分模型对透射图进行修正，并基于图像显著区域分割结果对透射图进行二次修正；
S4，利用二次修正后的透射图获得增强后的红外图像；
S5，对增强后的红外图像进行面向边缘特征增强的二次增强，从而获得二次增强后的红外图像。
进一步的，步骤S1中，构建红外图像的显著性特征图分割出红外图像中的显著区域和非显著区域构包括以下过程：
建红外图像I(x，y)的显著性特征图S(x，y)，公式如下：
Figure BDA0002068452750000021
式中：
Figure BDA0002068452750000022
是红外图像I(x，y)中像素(x，y)的纹理细节分量；
Figure BDA0002068452750000023
是红外图像I(x，y)全局像素强度平均值；
利用公式(1)构建红外图像的显著性特征图，计算得到全图的显著性特征均值；
利用红外图像显著性特征图对红外图像进行显著区域判定：若红外图像I(x，y)中像素(x，y)所对应的显著性特征值S(x，y)大于
Figure BDA0002068452750000024
时，则判定该像素属于显著区域Is；否则判定该像素属于非显著区域In。
进一步的，S2中，对红外图像进行反转操作并基于暗通道先验估计出反转红外图像的透射图包括以下过程：
首先，对红外图像进行反转操作如下：
Ire(x，y)＝1-I(x，y) (2)
式中：Ire(x，y)是反转红外图像；
然后，基于暗通道先验估计反转红外图像的透射图：
Figure BDA0002068452750000025
式中：(x′，y′)是以像素点(x，y)为中心的邻域Ω(x，y)中的像素点。
进一步的，S3中，利用导向全变分模型对透射图进行修正并基于图像显著区域分割结果对透射图进行二次修正的过程如下：
首先，利用导向全变分模型对透射图进行保边平滑修正：
Figure BDA0002068452750000031
式中：t是透射图；tr是修正后的透射图；
Figure BDA0002068452750000032
和
Figure BDA0002068452750000033
是权重因子；本实施例中取值
Figure BDA0002068452750000034
和
Figure BDA0002068452750000035
是权重分配函数，
Figure BDA0002068452750000036
是修正后透视图tr的纹理细节分量，
Figure BDA0002068452750000037
是反转红外图像Ire的纹理细节分量；
然后，利用分割结果，对透射图进行二次修正，获得二次修正后的透射图t′r(x，y)：
Figure BDA0002068452750000038
其中，Is为显著区域；In为非显著区域。
进一步的，S4，利用二次修正后的透射图获得增强后的红外图像的过程如下：
Ie(x，y)＝I(x，y)/t′r(x，y) (6)
式中：Ie(x，y)是增强后的红外图像，此公式6的内容即是简化大气散射模型的定义。
进一步的，S5中，对增强后的红外图像进行面向边缘特征增强的二次增强的过程如下：
首先，对增强后的红外图像Ie(x，y)进行边缘特征提取：
Figure BDA0002068452750000039
式中：IΔ是所提取的边缘特征；
Figure BDA00020684527500000310
是对Ie进行保边平滑处理后的结果；其余各项参数的取值和公式(4)一致，
Figure BDA00020684527500000311
是
Figure BDA00020684527500000312
的纹理细节分量，
Figure BDA00020684527500000313
是增强后红外图像Ie的纹理细节分量；
然后，对IΔ进行二次提取，并将二次提取出的边缘特征定义为I′Δ，具体过程如下：
Figure BDA0002068452750000041
式中：I′Δ是二次提取所得的边缘特征；
Figure BDA0002068452750000042
是对IΔ进行保边平滑处理后的结果；
Figure BDA0002068452750000043
是
Figure BDA0002068452750000044
的纹理细节分量，
Figure BDA0002068452750000045
是IΔ的纹理细节分量；
最后，利用二次提取出的边缘特征I′Δ，对增强后的红外图像Ie进行二次增强：
Ifinal(x，y)＝Ie(x，y)+k·I′Δ(x，y) (8)
式中：Ifinal(x，y)是二次增强后的红外图像；k是增强因子。
与现有技术相比，本发明所达到的有益效果是：
1)通过红外图像进行区域显著性识别，克服了现有方法需要在过增强效应和增强力度不足之间权衡的问题；
2)利用非显著区域的透射率，对非显著区域进行增强，可以有效提高非显著区域的视觉效果；
3)通过引入简化大气散射模型(公式6)提升了增强过程的物理意义及有效性，并将复杂的红外图像增强问题凝练为了单一的透射率估计问题。
附图说明
图1是本发明方法的流程图；
图2是实施例中待增强的红外图像；
图3是图2中红外图像的显著性特征图；
图4是红外图像显著性分割图；
图5是反转红外图像；
图6是红外图像透射图；
图7是修正后的红外图像透射图；
图8是增强后的红外图像；
图9是二次增强后的红外图像。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
本发明的一种基于区域显著性识别的红外图像增强方法，参见图1所示，包括以下过程：
步骤1：构建红外图像的显著性特征图，分割出红外图像中的显著区域和非显著区域。
首先，构建红外图像I(x，y)的显著性特征图S(x，y)，过程如下：
Figure BDA0002068452750000051
式中：
Figure BDA0002068452750000052
是红外图像I(x，y)中像素(x，y)的纹理细节分量；
Figure BDA0002068452750000053
是红外图像I(x，y)全局像素强度平均值。
利用公式(1)构建红外图像的显著性特征图，计算得到全图的显著性特征均值，显著性特征均值
Figure BDA0002068452750000054
的计算公式如下：
Figure BDA0002068452750000055
其中，res为图像的总像素数量，显著性特征均值是由图像的特征值之和除以图像总像素数量。
进而，利用红外图像显著性特征图对红外图像进行显著区域判定，即：如红外图像I(x，y)中像素(x，y)所对应的显著性特征值S(x，y)大于
Figure BDA0002068452750000056
时，则判定该像素属于显著区域Is；否则判定该像素属于非显著区域In。至此，红外图像被分割为显著区域Is和非显著区域In。
步骤2：对红外图像进行反转操作并基于暗通道先验估计出反转红外图像的透射图。
首先，对红外图像进行反转操作如下：
Ire(x，y)＝1-I(x，y) (2)
式中：Ire(x，y)是反转红外图像。
然后，基于暗通道先验估计反转红外图像的透射图：
Figure BDA0002068452750000061
式中：(x′，y′)是以像素点(x，y)为中心的邻域Ω(x，y)中的像素点。
步骤3：利用导向全变分模型对透射图进行修正，并基于图像显著区域分割结果对透射图进行二次修正。
因为用公式(3)是基于图像块的估计过程，所以所获取的透射图中存在一定的块效应及纹理，这将在增强后的图像中引入“光晕效应”等负面视觉效果。因此，在利用公式(3)估计出透射图后，通常需要对透射图进行保边平滑修正。
首先，利用导向全变分模型对透射图进行保边平滑修正：
Figure BDA0002068452750000062
式中：t是透射图；tr是修正后的透射图；
Figure BDA0002068452750000063
和
Figure BDA0002068452750000064
是权重因子；本实施例中取值
Figure BDA0002068452750000065
和
Figure BDA0002068452750000066
是权重分配函数，
Figure BDA0002068452750000067
是修正后透视图tr的纹理细节分量，
Figure BDA0002068452750000068
是反转红外图像Ire的纹理细节分量。
然后，利用基于步骤1中的分割结果，对透射图进行二次修正，获得二次修正后的透射图t′r(x，y)：
Figure BDA0002068452750000069
对红外图像中的显著区域不再进行增强处理，以防出现过增强现象。二次修正的主要目的是，只利用公式(6)对非显著区域进行增强处理。
步骤4，利用二次修正后的透射图获得增强后的红外图像。
Ie(x，y)＝I(x，y)/t′r(x，y) (6)
式中：Ie(x，y)是增强后的红外图像。
此公式6的内容即是简化大气散射模型的定义。
步骤5，对增强后的红外图像进行面向边缘特征增强的二次增强，从而获得二次增强后的红外图像。
此步骤就是提取图像中的边缘特征并对其进行放大，然后重新加载到图像中去，目的就是增强图像中的边缘特征。
首先，对增强后的红外图像Ie(x，y)进行边缘特征提取：
Figure BDA0002068452750000071
式中：IΔ是所提取的边缘特征；
Figure BDA0002068452750000072
是对Ie进行保边平滑处理后的结果；其余各项参数的取值和公式(4)一致，
Figure BDA0002068452750000073
是
Figure BDA0002068452750000074
的纹理细节分量，
Figure BDA0002068452750000075
是增强后红外图像Ie的纹理细节分量。
然后，对IΔ进行二次提取(只进行一次提取的话，会提取出一些非边缘特征，如噪点等。二次提取可以显著避免此类现象。)，并将二次提取出的边缘特征定义为I′Δ，具体过程如下：
Figure BDA0002068452750000076
式中：I′Δ是二次提取所得的边缘特征；
Figure BDA0002068452750000077
是对IΔ进行保边平滑处理后的结果；其余各项参数的取值和公式(4)一致，
Figure BDA0002068452750000078
是
Figure BDA0002068452750000079
的纹理细节分量，
Figure BDA00020684527500000710
是IΔ的纹理细节分量。
最后，利用二次提取出的边缘特征I′Δ，对增强后的红外图像Ie进行二次增强：
Ifinal(x，y)＝Ie(x，y)+k·I′Δ(x，y) (8)
式中：Ifinal(x，y)是二次增强后的红外图像；k＝3是增强因子。
实施例
待增强的红外图像如图2所示，图3是图2中红外图像的显著性特征图；图4是红外图像显著性分割图；图5是反转红外图像；图6是红外图像透射图；图7是修正后的红外图像透射图；图8是增强后的红外图像；图9是二次增强后的红外图像。通过对比增强前的图像(图2)和增强后的图像(图9)，可以看出图像的增强效果。
与现有技术相比，本发明的有益效果为：
1)通过红外图像进行区域显著性识别，克服了现有方法需要在过增强效应和增强力度不足之间权衡的问题；
2)利用非显著区域的透射率，对非显著区域进行增强，可以有效提高非显著区域的视觉效果；
3)通过引入简化大气散射模型(公式6)提升了增强过程的物理意义及有效性，并将复杂的红外图像增强问题凝练为了单一的透射率估计问题。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。

Claims (4)

1.一种基于区域显著性识别的红外图像增强方法，其特征是，包括以下过程：
S1，构建红外图像的显著性特征图，分割出红外图像中的显著区域和非显著区域；
S2，对红外图像进行反转操作并基于暗通道先验估计出反转红外图像的透射图；
S3，利用导向全变分模型对透射图进行修正，并基于图像显著区域分割结果对透射图进行二次修正；
S4，利用二次修正后的透射图获得增强后的红外图像；
S5，对增强后的红外图像进行面向边缘特征增强的二次增强，从而获得二次增强后的红外图像；
步骤S1中，构建红外图像的显著性特征图分割出红外图像中的显著区域和非显著区域构包括以下过程：
建红外图像I(x,y)的显著性特征图S(x,y)，公式如下：
Figure FDA0003941759010000011
式中：
Figure FDA0003941759010000012
是红外图像I(x,y)中像素(x,y)的纹理细节分量；
Figure FDA0003941759010000013
是红外图像I(x,y)全局像素强度平均值；
利用公式(1)构建红外图像的显著性特征图，计算得到全图的显著性特征均值；
利用红外图像显著性特征图对红外图像进行显著区域判定：若红外图像I(x,y)中像素(x,y)所对应的显著性特征值S(x,y)大于
Figure FDA0003941759010000014
时，则判定该像素属于显著区域Is；否则判定该像素属于非显著区域In；
S2中，对红外图像进行反转操作并基于暗通道先验估计出反转红外图像的透射图包括以下过程：
首先，对红外图像进行反转操作如下：
Ire(x,y)＝1-I(x,y) (2)
式中：Ire(x,y)是反转红外图像；
然后，基于暗通道先验估计反转红外图像的透射图：
Figure FDA0003941759010000021
式中：(x′,y′)是以像素点(x,y)为中心的邻域Ω(x,y)中的像素点。
2.根据权利要求1所述的一种基于区域显著性识别的红外图像增强方法，其特征是，S3中，利用导向全变分模型对透射图进行修正并基于图像显著区域分割结果对透射图进行二次修正的过程如下：
首先，利用导向全变分模型对透射图进行保边平滑修正：
Figure FDA0003941759010000022
式中：t是透射图；tr是修正后的透射图；
Figure FDA0003941759010000023
和
Figure FDA0003941759010000024
是权重因子；本实施例中取值
Figure FDA0003941759010000025
和
Figure FDA0003941759010000026
是权重分配函数，
Figure FDA0003941759010000027
是修正后透视图tr的纹理细节分量，
Figure FDA0003941759010000028
是反转红外图像Ire的纹理细节分量；
然后，利用分割结果，对透射图进行二次修正，获得二次修正后的透射图t′r(x,y)：
Figure FDA0003941759010000029
其中，Is为显著区域；In为非显著区域。
3.根据权利要求2所述的一种基于区域显著性识别的红外图像增强方法，其特征是，S4，利用二次修正后的透射图获得增强后的红外图像的过程如下：
Ie(x,y)＝I(x,y)/t′r(x,y) (6)
式中：Ie(x,y)是增强后的红外图像，此公式6的内容即是简化大气散射模型的定义。
4.根据权利要求3所述的一种基于区域显著性识别的红外图像增强方法，其特征是，S5中，对增强后的红外图像进行面向边缘特征增强的二次增强的过程如下：
首先，对增强后的红外图像Ie(x,y)进行边缘特征提取：
Figure FDA0003941759010000031
式中：IΔ是所提取的边缘特征；
Figure FDA00039417590100000314
是对Ie进行保边平滑处理后的结果；
Figure FDA0003941759010000032
和
Figure FDA0003941759010000033
是权重因子；本实施例中取值
Figure FDA0003941759010000034
和
Figure FDA0003941759010000035
是权重分配函数，
Figure FDA00039417590100000311
是
Figure FDA00039417590100000312
的纹理细节分量，
Figure FDA00039417590100000313
是增强后红外图像Ie的纹理细节分量；
然后，对IΔ进行二次提取，并将二次提取出的边缘特征定义为I′Δ，具体过程如下：
Figure FDA0003941759010000036
式中：I′Δ是二次提取所得的边缘特征；
Figure FDA0003941759010000037
是对IΔ进行保边平滑处理后的结果；
Figure FDA0003941759010000038
是
Figure FDA0003941759010000039
的纹理细节分量，
Figure FDA00039417590100000310
是IΔ的纹理细节分量；
最后，利用二次提取出的边缘特征I′Δ，对增强后的红外图像Ie进行二次增强：
Ifinal(x,y)＝Ie(x,y)+k·I′Δ(x,y) (8)
式中：Ifinal(x,y)是二次增强后的红外图像；k是增强因子。
CN201910429269.4A 2019-05-22 2019-05-22 一种基于区域显著性识别的红外图像增强方法 Active CN110175962B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910429269.4A CN110175962B (zh) 2019-05-22 2019-05-22 一种基于区域显著性识别的红外图像增强方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910429269.4A CN110175962B (zh) 2019-05-22 2019-05-22 一种基于区域显著性识别的红外图像增强方法

Publications (2)

Publication Number Publication Date
CN110175962A CN110175962A (zh) 2019-08-27
CN110175962B true CN110175962B (zh) 2023-02-10

Family

ID=67691875

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910429269.4A Active CN110175962B (zh) 2019-05-22 2019-05-22 一种基于区域显著性识别的红外图像增强方法

Country Status (1)

Country Link
CN (1) CN110175962B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107203979A (zh) * 2017-05-27 2017-09-26 浙江大学 一种低照度图像增强的方法
CN107451986A (zh) * 2017-08-10 2017-12-08 南京信息职业技术学院 一种基于融合技术的单幅红外图像增强方法
CN108537760A (zh) * 2018-06-07 2018-09-14 南京信息职业技术学院 一种基于大气散射模型的红外图像增强方法
CN108596849A (zh) * 2018-04-23 2018-09-28 南京邮电大学 一种基于天空区域分割的单幅图像去雾方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107203979A (zh) * 2017-05-27 2017-09-26 浙江大学 一种低照度图像增强的方法
CN107451986A (zh) * 2017-08-10 2017-12-08 南京信息职业技术学院 一种基于融合技术的单幅红外图像增强方法
CN108596849A (zh) * 2018-04-23 2018-09-28 南京邮电大学 一种基于天空区域分割的单幅图像去雾方法
CN108537760A (zh) * 2018-06-07 2018-09-14 南京信息职业技术学院 一种基于大气散射模型的红外图像增强方法

Also Published As

Publication number Publication date
CN110175962A (zh) 2019-08-27

Similar Documents

Publication Publication Date Title
WO2016206087A1 (zh) 一种低照度图像处理方法和装置
CN105046658B (zh) 一种低照度图像处理方法和装置
CN101729911B (zh) 一种基于视觉感知的多视点图像颜色校正方法
US20090161983A1 (en) Method for automatic detection and correction of halo artifacts in images
CN108182671B (zh) 一种基于天空区域识别的单幅图像去雾方法
CN107492075B (zh) 一种基于细节增强的单张ldr图像曝光校正的方法
CN109003233B (zh) 一种基于自适应权重全变分模型的图像去噪方法
US8406559B2 (en) Method and system for enhancing image sharpness based on local features of image
CN109903294B (zh) 图像处理方法、装置、电子设备及可读存储介质
CN109325498B (zh) 基于窗口动态阈值改进Canny算子的叶脉提取方法
CN111598886B (zh) 一种基于单幅图像的像素级透过率估计方法
CN113793278B (zh) 一种基于Laplace算子选择性增强的遥感影像去噪方法
CN111462022B (zh) 一种水下图像清晰化增强方法
US7826678B2 (en) Adaptive image sharpening method
CN103886558B (zh) 基于LoG算子改进的自适应阈值小波去噪算法
CN111325685B (zh) 一种基于多尺度相对梯度直方图均衡化的图像增强算法
CN103971345A (zh) 一种基于改进双边滤波的图像去噪方法
CN110175962B (zh) 一种基于区域显著性识别的红外图像增强方法
CN104537632A (zh) 基于边缘提取的红外图像直方图增强方法
WO2017088391A1 (zh) 视频去噪与细节增强方法及装置
CN113870149A (zh) 基于平滑结构张量自适应的非局部全变分图像复原方法
Wang et al. Retinex algorithm on changing scales for haze removal with depth map
CN114998186B (zh) 基于图像处理的铜始极片表面结疤缺陷检测方法及系统
Luo et al. An effective underwater image enhancement method based on CLAHE-HF
CN111723670B (zh) 一种基于改进FastMBD的遥感目标检测算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant