CN111292273B - 一种语义引导的暗光图像增强方法 - Google Patents

一种语义引导的暗光图像增强方法 Download PDF

Info

Publication number
CN111292273B
CN111292273B CN202010148833.8A CN202010148833A CN111292273B CN 111292273 B CN111292273 B CN 111292273B CN 202010148833 A CN202010148833 A CN 202010148833A CN 111292273 B CN111292273 B CN 111292273B
Authority
CN
China
Prior art keywords
image
semantic
brightness
enhancement
channel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010148833.8A
Other languages
English (en)
Other versions
CN111292273A (zh
Inventor
郝世杰
郭艳蓉
洪日昌
汪萌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN202010148833.8A priority Critical patent/CN111292273B/zh
Publication of CN111292273A publication Critical patent/CN111292273A/zh
Application granted granted Critical
Publication of CN111292273B publication Critical patent/CN111292273B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种语义引导的暗光图像增强方法，属于图像处理技术领域，其包括以下步骤S10、将原始暗光RGB图像转换为HSV颜色空间图像；S20、使用融合增强模型对HSV颜色空间图像中V通道明度进行增强，得到图像明度增强后的V通道；S30、将图像明亮度增强后的V通道与HSV颜色空间图像中的H通道、S通道一起转换回RGB颜色空间，得到亮度增强RGB图像。本发明提供了一种语义引导暗光图像增强方法，可以提高暗光图像中图像内容的可视性，以揭示隐藏在黑暗中的细节，且能够保持图像在视觉上的自然性。

Description

一种语义引导的暗光图像增强方法
技术领域
本发明涉及图像处理技术领域，尤其涉及一种语义引导的暗光图像增强方法。
背景技术
近年来，随着智能手机的高速发展，通过手持的移动设备通常就可以获得令人满意的图像。然而，在日常生活中经常会遇到不完美的亮度条件。例如，在弱光源不足以照亮整个场景的情况下，得到的图像通常非常暗，可能含有很强的成像噪声。在这种情况下，低光图像的视觉质量通常是不令人满意的。尤其是暗光照图像不能揭示隐藏在黑暗中的细节，现有技术中通过对暗光照图像进行计算机视觉和图像处理，处理后的图像虽然提高了可视性，但是不能保持视觉上的自然性。
因此，急需一种可以提高图像内容的可视性，以揭示隐藏在黑暗中的细节，且能够保持图像在视觉自然性的暗光图像增强方法。
发明内容
本发明的目的在于提供一种可以提高图像内容的可视性，以揭示隐藏在黑暗中的细节，且能够保持图像在视觉自然性的暗光图像增强方法。
为了实现上述发明目的，本发明提供以下技术方案：
一种语义引导的暗光图像增强方法，包括以下步骤：
S10、将原始暗光RGB图像转换为HSV颜色空间图像；
S20、使用融合增强模型对所述HSV颜色空间图像中V通道明度进行增强，得到图像明度增强后的V通道；
所述融合增强模型为：
IE＝I⊙(1-M)+Iini⊙M
其中，IE表示增强后图像，⊙表示像素与像素乘法，I表示原始的暗光图像，Iini表示初始的增强图像，M表示可以同时感知光照和特定语义信息的融合权重图像，即M由感知亮度图像ML和感知语义图像Ms两部分明亮度融合而成；
S30、将所述图像明度增强后的V通道与所述HSV颜色空间图像中的H通道、S通道一起转换回RGB颜色空间，得到亮度增强RGB图像。
进一步地，所述初始的增强图像Iini获取步骤为：
根据Retinex模型，对于原始的暗光图像I可以表示为反射图Ir与光照图Ii的像素与像素之间乘积,即I＝Ii⊙Ir；由于同时估计Ir和Ii的分解方法通常较为耗时，因此采用简化的Retinex模型来获取初始的增强图像Iini:
Figure BDA0002401715430000021
其中，在所述简化的Retinex模型中，Ii是分段平滑的，利用保边缘滤波器来估计获取；采用Guided Filter导向滤波器来估计光照图Ii。
进一步地，所述感知亮度的ML为使用Ostu阈值法概括出原始图像I的明亮分布得到；所述Ostu阈值法通过搜索类间方差最大化获得最佳阈值to：
Figure BDA0002401715430000022
其中，
Figure BDA0002401715430000024
是亮像素类和暗像素类的类间方差。
进一步地，所述语义感知图像Ms的获取步骤为：对于给定的预定义的语义语料库C＝{c1，...，ck，...，cN}，语义分割系统给所述原始的暗光图像I的每一个像素p分配一个语义语料库中的语义标签ck∈C；语义分割操作将所述原始的暗光图像I分成若干个互斥的子集{Ik}，即I＝I1∪...∪IN，
Figure BDA0002401715430000023
由于每个子集间的两两互斥性，通过二值化Ik获得MS。
进一步地，所述语义分割系统为金字塔场景解析网络PSPnet，所述金字塔场景解析网络PSPnet分为三个部分：主干，金字塔池化模块和分类器；其中，选择残差网络Resnet作为主干；所述金字塔场景解析网络PSPNet构建了金字塔池化模块PPM，该模块包含多个并行分支，用于将特征向下采样到不同的分辨率；所述金字塔池化模块PPM所学习的特性具有更大的感受野，并且聚合了更多的上下文信息；对于所述原始的暗光图像I的每一个像素p的语义标签通过3×3的卷积获得。
进一步地，所述融合权重图像M获取步骤如下：在获得ML和MS后，通过逻辑与的方式获得初步的融合图像MF：
MF＝ML∩Ms
采用联合导向滤波器JointGuided Filter来细化MF的结构和边缘区域，来保证增强结果增强效果；在细化过程中，采用所述原始的暗光图像I作为导向图像，将所述滤波器JointGuided Filter的输出图像做为最终的融合权重图像M。
本发明的有益效果：
本发明提供了一种语义引导暗光图像增强方法，可以提高暗光图像中图像内容的可视性，以揭示隐藏在黑暗中的细节，且能够保持图像在视觉上的自然性。
附图说明
图1为本发明的暗光图像增强流程示意图
图2为构建融合权重图像M流程图
具体实施方式
下面结合实施例对本发明提供的技术方案进行详细的说明，但是不能把它们理解为对本发明保护范围的限定。
实施例1
一种语义引导的暗光图像增强方法，包括以下步骤：
S10、将原始暗光RGB图像转换为HSV颜色空间图像；
S20、使用融合增强模型对所述HSV颜色空间图像中V通道明度进行增强，得到图像明度增强后的V通道；
所述融合增强模型为：
IE＝I⊙(1-M)+Iini⊙M
其中，IE表示增强后图像，⊙表示像素与像素乘法，I表示原始的暗光图像，Iini表示初始的增强图像，M表示可以同时感知光照和特定语义信息的融合权重图像，即M由感知亮度图像ML和感知语义图像Ms两部分明亮度融合而成；
初始的增强图像Iini获取步骤为：
根据Retinex模型，对于原始的暗光图像I可以表示为反射图Ir与光照图Ii的像素与像素之间乘积,即I＝Ii⊙Ir；由于同时估计Ir和Ii的分解方法通常较为耗时，因此采用简化的Retinex模型来获取初始的增强图像Iini:
Figure BDA0002401715430000041
其中，在简化的Retinex模型中，Ii是分段平滑的，利用保边缘滤波器来估计获取；采用Guided Filter导向滤波器来估计光照图Ii。在本实施例中，经验化取值将ε取值为0.1。
感知亮度的ML为使用Ostu阈值法概括出原始图像I的明亮分布得到；Ostu阈值法通过搜索类间方差最大化获得最佳阈值to：
Figure BDA0002401715430000042
其中，
Figure BDA0002401715430000043
是亮像素类和暗像素类的类间方差。优化的过程可以通过从像素值0-255枚举进行。
通过亮度感知图像ML，可以初步判断原始图像中需要增强的部分和不需要增强的部分。
语义感知图像Ms的获取步骤为：对于给定的预定义的语义语料库C＝{c1，...，ck，...，cN}，语义分割系统给原始的暗光图像I的每一个像素p分配一个语义语料库中的语义标签ck∈C；语义分割操作将所述原始的暗光图像I分成若干个互斥的子集{Ik}，即I＝I1∪...∪IN，
Figure BDA0002401715430000044
由于每个子集间的两两互斥性，通过二值化Ik获得Ms。
语义分割系统为金字塔场景解析网络PSPnet，金字塔场景解析网络PSPnet分为三个部分：主干，金字塔池化模块和分类器；其中，选择残差网络Resnet作为主干；金字塔场景解析网络PSPNet构建了金字塔池化模块PPM，该模块包含多个并行分支，用于将特征向下采样到不同的分辨率；金字塔池化模块PPM所学习的特性具有更大的感受野，并且聚合了更多的上下文信息；对于原始的暗光图像I的每一个像素p的语义标签通过3×3的卷积获得。
融合权重图像M获取步骤如下：在获得ML和Ms后，通过逻辑与的方式获得初步的融合图像MF：
MF＝ML∩Ms
采用联合导向滤波器JointGuided Filter来细化MF的结构和边缘区域，来保证增强结果增强效果；在细化过程中，采用原始的暗光图像I作为导向图像，将滤波器Joi ntGuided Fi lter的输出图像做为最终的融合权重图像M。对于联合导向滤波器Joi ntGu idedF i lter的两个关键参数正则化参数∈和滤波半径r的设置，我们设置正则化参数为∈＝10-5，该参数使得M更接近于原始图像结构，滤波半径为r＝0.2min[H，W]，其中H，W分别是原始图像I的高和宽，这使得初步的融合权值MF可以扩散到近邻区域，使得权值更加平滑。
S30、将所述图像明度增强后的V通道与所述HSV颜色空间图像中的H通道、S通道一起转换回RGB颜色空间，得到亮度增强RGB图像。
以上所述，仅是本发明较佳实施例而已，并非对本发明的技术范围作任何限制，故凡是依据本发明的技术实质对以上实施例所作的任何细微修改、等同变化与修饰，均仍属于本发明技术方案的范围的。

Claims (2)

1.一种语义引导的暗光图像增强方法，其特征在于，包括以下步骤：
S10、将原始暗光RGB图像转换为HSV颜色空间图像；
S20、使用融合增强模型对所述HSV颜色空间图像中V通道明度进行增强，得到图像明度增强后的V通道；
所述融合增强模型为：
Figure DEST_PATH_IMAGE001
其中，
Figure DEST_PATH_IMAGE002
表示增强后图像，
Figure DEST_PATH_IMAGE003
表示像素与像素乘法，
Figure DEST_PATH_IMAGE004
表示原始的暗光图像，
Figure DEST_PATH_IMAGE005
表示初始的增强图像，
Figure DEST_PATH_IMAGE006
表示可以同时感知光照和特定语义信息的融合权重图像，即
Figure 531933DEST_PATH_IMAGE006
由感知亮度图像
Figure DEST_PATH_IMAGE007
和感知语义图像
Figure DEST_PATH_IMAGE008
两部分明亮度融合而成；
S30、将所述图像明度增强后的V通道与所述HSV颜色空间图像中的H通道、S通道一起转换回RGB颜色空间，得到亮度增强RGB图像；
所述初始的增强图像
Figure 104866DEST_PATH_IMAGE005
获取步骤为：
根据Retinex模型，对于原始的暗光图像
Figure 602712DEST_PATH_IMAGE004
可以表示为反射图
Figure DEST_PATH_IMAGE009
与光照图
Figure DEST_PATH_IMAGE010
的像素与像素之间乘积,即
Figure DEST_PATH_IMAGE011
；由于同时估计
Figure 374752DEST_PATH_IMAGE009
和
Figure 313758DEST_PATH_IMAGE010
的分解方法通常较为耗时，因此采用简化的Retinex模型来获取初始的增强图像
Figure 252066DEST_PATH_IMAGE005
:
Figure DEST_PATH_IMAGE012
其中，在所述简化的Retinex模型中，
Figure 846995DEST_PATH_IMAGE010
是分段平滑的，利用保边缘滤波器来估计获取；采用Guided Filter导向滤波器来估计光照图
Figure 967267DEST_PATH_IMAGE010
；
所述感知亮度的
Figure 495200DEST_PATH_IMAGE007
为使用Ostu阈值法概括出原始图像
Figure 957405DEST_PATH_IMAGE004
的明亮分布得到；所述Ostu阈值法通过搜索类间方差最大化获得最佳阈值
Figure DEST_PATH_IMAGE013
：
Figure DEST_PATH_IMAGE014
其中，
Figure DEST_PATH_IMAGE015
是亮像素类和暗像素类的类间方差；
所述语义感知图像
Figure 885303DEST_PATH_IMAGE008
的获取步骤为：对于给定的预定义的语义语料库
Figure DEST_PATH_IMAGE016
，语义分割系统给所述原始的暗光图像
Figure 419053DEST_PATH_IMAGE004
的每一个像素
Figure DEST_PATH_IMAGE017
分配一个语义语料库中的语义标签
Figure DEST_PATH_IMAGE018
；语义分割操作将所述原始的暗光图像
Figure 256952DEST_PATH_IMAGE004
分成若干个互斥的子集
Figure DEST_PATH_IMAGE019
，即
Figure DEST_PATH_IMAGE020
，
Figure DEST_PATH_IMAGE021
；由于每个子集间的两两互斥性，通过二值化
Figure DEST_PATH_IMAGE022
获得
Figure 201643DEST_PATH_IMAGE008
；
所述融合权重图像
Figure 380952DEST_PATH_IMAGE006
获取步骤如下：在获得
Figure 518060DEST_PATH_IMAGE007
和
Figure 348481DEST_PATH_IMAGE008
后，通过逻辑与的方式获得初步的融合图像
Figure 621331DEST_PATH_IMAGE006
：
Figure 615832DEST_PATH_IMAGE006
Figure DEST_PATH_IMAGE023
采用联合导向滤波器JointGuided Filter来细化
Figure 819280DEST_PATH_IMAGE006
的结构和边缘区域，来保证增强结果增强效果；在细化过程中，采用所述原始的暗光图像
Figure 504208DEST_PATH_IMAGE004
作为导向图像，将所述滤波器JointGuided Filter的输出图像做为最终的融合权重图像
Figure 213538DEST_PATH_IMAGE006
。
2.根据权利要求1所述的语义引导的暗光图像增强方法，其特征在于，所述语义分割系统为金字塔场景解析网络PSPnet，所述金字塔场景解析网络PSPnet分为三个部分：主干，金字塔池化模块和分类器；其中，选择残差网络Resnet作为主干；所述金字塔场景解析网络PSPNet构建了金字塔池化模块PPM，该模块包含多个并行分支，用于将特征向下采样到不同的分辨率；所述金字塔池化模块PPM所学习的特性具有更大的感受野，并且聚合了更多的上下文信息；对于所述原始的暗光图像
Figure 365776DEST_PATH_IMAGE004
的每一个像素
Figure 185964DEST_PATH_IMAGE017
的语义标签通过
Figure DEST_PATH_IMAGE024
的卷积获得。
CN202010148833.8A 2020-03-05 2020-03-05 一种语义引导的暗光图像增强方法 Active CN111292273B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010148833.8A CN111292273B (zh) 2020-03-05 2020-03-05 一种语义引导的暗光图像增强方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010148833.8A CN111292273B (zh) 2020-03-05 2020-03-05 一种语义引导的暗光图像增强方法

Publications (2)

Publication Number Publication Date
CN111292273A CN111292273A (zh) 2020-06-16
CN111292273B true CN111292273B (zh) 2023-03-24

Family

ID=71026836

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010148833.8A Active CN111292273B (zh) 2020-03-05 2020-03-05 一种语义引导的暗光图像增强方法

Country Status (1)

Country Link
CN (1) CN111292273B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113822809B (zh) * 2021-03-10 2023-06-06 无锡安科迪智能技术有限公司 暗光增强方法及其系统
CN113111931B (zh) * 2021-04-02 2023-04-07 同济大学 一种基于光强变换和聚类的量筒读数方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5450217A (en) * 1994-05-23 1995-09-12 Xerox Corporation Image-dependent color saturation correction in a natural scene pictorial image
CN108830800A (zh) * 2018-05-09 2018-11-16 南京邮电大学 一种暗光场景下图像的亮度提升增强方法
CN109191390A (zh) * 2018-08-03 2019-01-11 湘潭大学 一种基于不同颜色空间多算法融合的图像增强算法
CN109903257A (zh) * 2019-03-08 2019-06-18 上海大学 一种基于图像语义分割的虚拟头发染色方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5450217A (en) * 1994-05-23 1995-09-12 Xerox Corporation Image-dependent color saturation correction in a natural scene pictorial image
CN108830800A (zh) * 2018-05-09 2018-11-16 南京邮电大学 一种暗光场景下图像的亮度提升增强方法
CN109191390A (zh) * 2018-08-03 2019-01-11 湘潭大学 一种基于不同颜色空间多算法融合的图像增强算法
CN109903257A (zh) * 2019-03-08 2019-06-18 上海大学 一种基于图像语义分割的虚拟头发染色方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于Retinex改进的夜间图像增强算法;李宏宇等;《长春理工大学学报(自然科学版)》;20181215(第06期);全文 *
基于图像增强和深层CNN学习的交互行为识别;徐鹏程等;《通信技术》;20190310(第03期);全文 *

Also Published As

Publication number Publication date
CN111292273A (zh) 2020-06-16

Similar Documents

Publication Publication Date Title
CN110232661B (zh) 基于Retinex和卷积神经网络的低光照彩色图像增强方法
CN108876743B (zh) 一种图像快速去雾方法、系统、终端及存储介质
JP4986250B2 (ja) ノイズ除去機能付きのデジタル画像処理増強システム及び方法
Liu et al. Underwater image enhancement method based on adaptive attenuation-curve prior
US20200294202A1 (en) Enhancing the legibility of images using monochromatic light sources
US20110019912A1 (en) Detecting And Correcting Peteye
CN111292273B (zh) 一种语义引导的暗光图像增强方法
CN113052814B (zh) 基于Retinex和注意力机制的暗光图像增强方法
CN116823686B (zh) 一种基于图像增强的夜间红外与可见光图像融合方法
CN116681636B (zh) 基于卷积神经网络的轻量化红外与可见光图像融合方法
CA3153067A1 (en) Picture-detecting method and apparatus
CN112330613B (zh) 一种细胞病理数字图像质量的评价方法及系统
Zhou et al. A multifeature fusion method for the color distortion and low contrast of underwater images
CN111223110A (zh) 一种显微图像增强方法、装置及计算机设备
Liu et al. Toward visual quality enhancement of dehazing effect with improved Cycle-GAN
CN117152182B (zh) 一种超低照度网络相机图像处理方法、装置及电子设备
Kim Single image-based enhancement techniques for underwater optical imaging
CN112614063A (zh) 用于楼宇内低照度环境的图像增强和噪声自适应去除方法
CN114429426B (zh) 一种基于Retinex模型的低照度图像质量改善方法
Simone et al. Survey of methods and evaluation of retinex-inspired image enhancers
CN110197178A (zh) 一种图谱特征融合深度网络的大米种类快速鉴别检测装置及其检测方法
CN114862707A (zh) 一种多尺度特征恢复图像增强方法、装置及存储介质
Li et al. Multi-scale fusion framework via retinex and transmittance optimization for underwater image enhancement
CN113989588A (zh) 一种基于自学习的五边形绘图测试智能评价系统及方法
Prasenan et al. A Study of Underwater Image Pre-processing and Techniques

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant