CN108305232B - 一种单帧高动态范围图像生成方法 - Google Patents

一种单帧高动态范围图像生成方法 Download PDF

Info

Publication number
CN108305232B
CN108305232B CN201810172538.9A CN201810172538A CN108305232B CN 108305232 B CN108305232 B CN 108305232B CN 201810172538 A CN201810172538 A CN 201810172538A CN 108305232 B CN108305232 B CN 108305232B
Authority
CN
China
Prior art keywords
image
value
pixel
dynamic range
overexposure region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810172538.9A
Other languages
English (en)
Other versions
CN108305232A (zh
Inventor
霍永青
王润峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201810172538.9A priority Critical patent/CN108305232B/zh
Publication of CN108305232A publication Critical patent/CN108305232A/zh
Application granted granted Critical
Publication of CN108305232B publication Critical patent/CN108305232B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G06T5/77
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration by the use of local operators
    • G06T5/30Erosion or dilatation, e.g. thinning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Abstract

本发明公开了一种单帧高动态范围图像生成方法,首先对输入图像进行过曝光区域检测,获取曝光区域图像O,然后进行形态学腐蚀,得到曝光区域图像B,再结合输入图像的灰度图像A,得到预处理函数pp;将预处理函数pp与输入图像I相乘得到融合图像后的LDR图像IL,LDR图像IL根据其分块平均亮度值进行扩展,这样得到的高动态范围图像能判断出图像是暗图像、正常图像或者亮图像。这样,既要避免过曝光区域对图像处理过程的影响,也要同时考虑保证非过曝光区域的图像质量,避免了伪像和轮廓效应,同时避免颜色失真。

Description

一种单帧高动态范围图像生成方法
技术领域
本发明属于图像处理技术领域,更为具体地讲,涉及一种单帧高动态范围图像生成方法。
背景技术
近年来,由于传统低动态范围图像对图像质量的限制,高动态范围图像生成技术越来越受到关注。同时,高动态范围显示设备,由于其能够提供更广的动态范围以及更自然的画面,也受到了研究人员的青睐。目前在产业界,高动态范围图像也有广泛应用,如电影特技,卫星遥感,增强现实等。由于高动态范围图像的优越性能以及其显示设备的应用,由低动态范围图像生成高动态范围图像越来越成为从业人员的研究热点。
现有的单帧高动态范围图像生成可以分为三类,一类是全局扩展,一类是局部扩展,另一类是对过曝光区域处理之后再进行扩展。
全局扩展是对整幅图像采用同一个扩展函数。全局扩展大部分要求现有的低动态范围图像具有较高质量,曝光均匀,尽量少的噪声。而在实际应用中,受到环境光照条件的限制,获取的图像往往会产生过曝光区域。因此,全局扩展方法的适用范围非常有限。
局部扩展主要是对图像中的过曝光区域和非过曝光区域采用不同的扩展函数。局部扩展方法虽然考虑了图像的局部特性,但是会导致过曝光区域与其周围边缘的轮廓效应的出现以及伪像的产生,同时也会造成颜色失真。
而现在,大部分研究人员趋向于采用第三类方法。主要是对过曝光区域进行处理,然后进行扩展。而现有的许多方法对过曝光区域处理的方法效果一般,而且对动态范围扩展太多,导致伪像的产生,颜色失真,甚至大幅降低图像质量。
发明内容
本发明的目的在于克服现有技术的不足,提出一种单帧高动态范围图像生成方法,既能对过曝光区域进行处理,又能不过多扩展动态范围,以避免伪像的产生以及颜色失真,提升图像的质量。
为实现上述发明目的,本发明单帧高动态范围图像生成方法,其特征在于,包括以下步骤:
(1)、过曝光区域检测
首先对输入图像I归一化和线性化,然后对输入图像I的过曝光区域进行检测:输入图像I转换为灰度图像A,经过低通滤波器滤波后,得到灰度图像Y,设定阈值t,由阈值t得到过曝光区域图像O:
其中,Y(p)为灰度图像Y中像素点p的像素值,O(p)为过曝光区域图像O中像素点p的像素值;
运用形态学腐蚀,对过曝光区域图像O进行处理,得到过曝光区域图像B;
(2)、预处理函数生成
将输入图像I转换为灰度图像A,然后结合过曝光区域图像B,得到预处理函数pp:
其中,像素点q属于像素点p的八邻域N(p),||p-q||表示像素点p与像素点q的距离,|Ap-Aq|表示灰度图像A中像素点p的灰度值Ap与像素点q的灰度值Aq的差的绝对值,Bq表示过曝光区域图像B中像素点q的值,表示标准差为σs的高斯函数,表示标准差为σr的高斯函数,Wp为权重;
(3)、图像融合
将生成的预处理函数pp与输入图像I相乘,得到融合图像后的LDR即低动态范围图像IL
(4)、动态范围扩展
首先对LDR图像IL进行分块计算,计算出每一块的平均亮度值;
4.1)、对所有块的平均亮度值进行排序,去掉最低的两个值,此时,如果最小平均亮度值minVal小于阈值t1,则扩展函数为:
IL·(1200-θ)+θ;
否则,进行步骤4.2);
4.2)、再去掉最高的两个值,对剩下的平均亮度值计算平均值,如果平均值meanVal小于阈值t2,则扩展函数为:
IL·(900-θ)+θ;
否则,进行步骤4.3);
4.3)、扩展函数为:
IL·(400-θ)+θ;
其中,θ为0.1到0.5的小数。
本发明的目的是这样实现的。
本发明单帧高动态范围图像生成方法,首先对输入图像进行过曝光区域检测,获取曝光区域图像O,然后进行形态学腐蚀,得到曝光区域图像B,再结合输入图像的灰度图像A,得到预处理函数pp;将预处理函数pp与输入图像I相乘得到融合图像后的LDR图像IL,LDR图像IL根据其分块平均亮度值进行扩展,这样得到的高动态范围图像能判断出图像是暗图像、正常图像或者亮图像。这样,既要避免过曝光区域对图像处理过程的影响,也要同时考虑保证非过曝光区域的图像质量,避免了伪像和轮廓效应,同时避免颜色失真。
附图说明
图1是本发明单帧高动态范围图像生成方法一种具体实施方式流程框图;
图2是图1所示过曝光区域检测过程示意图;
图3是图1所示过曝光区域检测中输入图像与过曝光区域图像实例图;
图4是图1所示预处理函数生成中输入图像与预处理函数图像实例图;
图5是图1所示动态范围扩展的一种具体实施方式流程图;
图6是动态范围扩展后的直方图;
图7是一组低动态范围图像与对应生成高动态范围图像的对照图。
具体实施方式
下面结合附图对本发明的具体实施方式进行描述,以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是,在以下的描述中,当已知功能和设计的详细描述也许会淡化本发明的主要内容时,这些描述在这里将被忽略。
在实际应用中,很多图像都是在非正常曝光条件下获取的。因此,在图像增强过程中预处理过曝光区域,同时不影响非过曝光区域变得尤其重要。现有技术处理过曝光区域效果一般,运用的全局扩展方法使得非过曝光区域被扩展太多,产生了很多伪像和轮廓效应。因此,本发明采用过曝光区域检测,预处理函数生成以及动态范围扩展,目的是发明一种高动态范围图像生成技术,既要避免过曝光区域对图像处理过程的影响,也要同时考虑保证非过曝光区域的图像质量。
图1是本发明单帧高动态范围图像生成方法一种具体实施方式流程框图。
在本实施例中,如图1所示,本发明单帧高动态范围图像生成方法包括以下步骤:
步骤S1:过曝光区域检测
首先对输入图像I归一化和线性化,然后对输入图像I的过曝光区域进行检测:输入图像I转换为灰度图像A,经过低通滤波器滤波后,得到灰度图像Y,设定阈值t,由阈值t得到过曝光区域图像O:
其中,Y(p)为灰度图像Y中像素点p的像素值,O(p)为过曝光区域图像O中像素点p的像素值,阈值t根据具体实施情况确定。
在本实施例中,线性化为选取γ=2.2对归一化后的输入图像进行反伽马变换。低通滤波器的核大小为灰度图像A水平垂直方向尺寸大者的0.1倍。
为了减少噪点,运用形态学腐蚀,对过曝光区域图像O进行处理,得到过曝光区域图像B。
在本实施例中,过曝光区域检测过程如图2所示。
在本实施例中,两幅输入图像(a)、(b)的过曝光区域检测结果如图3所示,其中,第一行为两幅输入图像,第二行为对应过曝光区域图像。
步骤S2:预处理函数生成
对于过曝光区域图像的处理,本发明考虑生成预处理函数的方法来进行,预处理函数由过曝光区域图像,灰度图像生成。
将输入图像I转换为灰度图像A,然后结合过曝光区域图像B,得到预处理函数pp:
其中,像素点q属于像素点p的八邻域N(p),||p-q||表示像素点p与像素点q的距离,|Ap-Aq|表示灰度图像A中像素点p的灰度值Ap与像素点q的灰度值Aq的差的绝对值,Bq表示过曝光区域图像B中像素点q的值,表示标准差为σs的高斯函数,表示标准差为σr的高斯函数,Wp为权重。
本发明的预处理函数pp能平滑图像同时保留图像边缘。此外,本发明中运用灰度图像和过曝光区域图像生成的预处理函数,不仅可以解决过曝光区域的问题,而且可以简化生成过程。
在本实施例中,选取标准差σs和σr分别为120和0.2,由过曝光区域图像和灰度图像可以生成预处理函数。
在本实施例中,两幅输入图像(a)、(b)的预处理函数生成如图4所示,其中,第一行为两幅输入图像,第二行为对应预处理函数图像。
步骤S3:图像融合
将生成的预处理函数pp与输入图像I相乘,得到融合图像后的LDR即低动态范围图像IL
(4)、动态范围扩展
首先对LDR图像IL进行分块计算,计算出每一块的平均亮度值;
4.1)、对所有块的平均亮度值进行排序,去掉最低的两个值,此时,如果最小平均亮度值minVal小于阈值t1,则扩展函数为:
IL·(1200-θ)+θ;
否则,进行步骤4.2);
4.2)、再去掉最高的两个值,对剩下的平均亮度值计算平均值,如果平均值meanVal小于t2,则扩展函数为:
IL·(900-θ)+θ;
否则,进行步骤4.3);
4.3)、扩展函数为:
IL·(400-θ)+θ;
其中,θ为0.1到0.5的小数。
经过对过曝光区域的预处理(融合)后,图像质量有所提高,可以进行动态范围扩展。
经过实验,我们发现不同图像的平均亮度不同,可以采用亮度相关的函数进行扩展。第一步首先对图像进行分块计算,计算出每一块的平均亮度。对所有块的平均亮度进行排序,去掉较低的两个值。此时如果最小值minVal仍然小于阈值t1,扩展函数中的参数可选取较大的值进行扩展,否则进行下一步。第二步,去掉两个较大的值,对剩下的值计算平均值。如果平均值meanVal小于t2,则参数可采用中等值,否则进行下一步。第三步,经过前两步的计算,可以认定图像具有非常高的亮度,此时采用较小的值进行扩展,可以得到较好的效果。同时可以生成灰度图像直方图,观察图像的暗区域,正常区域,亮区域的分布情况,主观上能判断出图像是暗图像,正常图像或者亮图像。这样的处理可以避免伪像和轮廓效应,同时避免颜色失真。扩展函数如下所示:
IH为输出的HDR图像,IL为经过过曝光区域预处理后的输入LDR图像。
在本实施例中,选取阈值t1为80,t2为210,动态范围扩展如图5所示,包括:
401:将输入图像分为9块,分别计算平均亮度;
402:将均值排序,去掉两个最小值,然后获得最小值;
403:判断最小值是否小于t1
404:最小值小于t1,扩展函数参数选用较大值1200,进行动态范围扩展;
405:去掉两个最大值,然后计算剩下值的平均值;
406:判断均值是否小于t2
407:均值小于t2,扩展函数参数选用适中值900,进行动态范围扩展;
408:均值大于t2,扩展函数参数选用较小值400,进行动态范围扩展。
在本实施例中,对图4中第二幅即(b)融合图像后的LDR(低动态范围)图像IL进行分块均值计算,去掉两个最小值后,剩下值中的最小值为57,仍小于阈值t1=80,说明图像较暗部分较多,扩展函数的参数应当选用较大值1200,然后进行动态范围扩展,其直方图如图6所示。
由图6所示的直方图可主观看出,小于阈值t1的分量非常多,代表图像整体亮度较暗,所以扩展函数参数应当选取较大值1200来进行动态范围扩展。
实验结果
综上所述,生成的预处理函数能够提升图像质量。之后,我们采用动态范围扩展来生成输出高动态范围图像。我们采用了一组图像集进行试验,这里列出部分原始图像以及其处理结果。图7第一行为原始的输入图像,第二行为输出的高动态范围图像经过色调映射后的图像。
图7第二行表明,本发明能够生成较高质量的高动态范围图像,其颜色失真和伪像较少,图像更为清晰。为了更进一步评估本发明,采用一个DRIM图像质量评估方法,对图7中的第一行的原始低动态范围图像(家、海、沙发、手、海报、太阳)进行本发明所述的动态范围扩展后,对生成的高动态范围图像进行评估。该方法会生成一个包含红、绿、蓝和灰色像素的图像。统计图像中红、绿、蓝像素所占比例如表1所示,红色像素代表对比度反转,绿色像素代表对比度丢失,蓝色像素代表对比度增强,灰色表示处理前后像素没有变化。从表中我们可以看出,本发明在对输入图像处理过程中,产生的对比度反转和对比度丢失的比例很小,即降低图像质量的比例较小,不容易被人眼发觉。而带来的对比度增强的像素比例很大,因此可以较大提升图像的质量,达到好的增强效果。
原始图像 红色像素(%) 绿色像素(%) 蓝色像素(%)
1.29 0.22 94.4
0.77 0.51 77.5
大象 1.78 0.12 87.8
0.38 0.07 31.4
海报 1.48 0.18 83.7
太阳 0.49 0.05 95.8
平均 1.03 0.19 78.4
表1
尽管上面对本发明说明性的具体实施方式进行了描述,以便于本技术领域的技术人员理解本发明,但应该清楚,本发明不限于具体实施方式的范围,对本技术领域的普通技术人员来讲,只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内,这些变化是显而易见的,一切利用本发明构思的发明创造均在保护之列。

Claims (3)

1.一种单帧高动态范围图像生成方法,其特征在于,包括以下步骤:
(1)、过曝光区域检测
首先对输入图像I归一化和线性化,然后对输入图像I的过曝光区域进行检测:输入图像I转换为灰度图像A,经过低通滤波器滤波后,得到灰度图像Y,设定阈值t,由阈值t得到过曝光区域图像O:
其中,Y(p)为灰度图像Y中像素点p的像素值,O(p)为过曝光区域图像O中像素点p的像素值;
运用形态学腐蚀,对过曝光区域图像O进行处理,得到过曝光区域图像B;
(2)、预处理函数生成
将输入图像I转换为灰度图像A,然后结合过曝光区域图像B,得到预处理函数pp:
其中,像素点q属于像素点p的八邻域N(p),||p-q||表示像素点p与像素点q的距离,|Ap-Aq|表示灰度图像A中像素点p的灰度值Ap与像素点q的灰度值Aq的差的绝对值,Bq表示过曝光区域图像B中像素点q的值,表示标准差为σs的高斯函数,表示标准差为σr的高斯函数,Wp为权重;
(3)、图像融合
将生成的预处理函数pp与输入图像I相乘,得到融合图像后的LDR即低动态范围图像IL
(4)、动态范围扩展
首先对LDR图像IL进行分块计算,计算出每一块的平均亮度值;
4.1)、对所有块的平均亮度值进行排序,去掉最低的两个值,此时,如果最小平均亮度值minVal小于阈值t1,则扩展函数为:
IL·(1200-θ)+θ;
否则,进行步骤4.2);
4.2)、再去掉最高的两个值,对剩下的平均亮度值计算平均值,如果平均值meanVal小于t2,则扩展函数为:
IL·(900-θ)+θ;
否则,进行步骤4.3);
4.3)、扩展函数为:
IL·(400-θ)+θ;
其中,θ为0.1到0.5的小数。
2.根据权利要求1所述的单帧高动态范围图像生成方法,其特征在于,步骤(2)中标准差σs和σr分别为120和0.2。
3.根据权利要求1所述的单帧高动态范围图像生成方法,其特征在于,步骤(4)中阈值t1为80,t2为210,θ为0.2。
CN201810172538.9A 2018-03-01 2018-03-01 一种单帧高动态范围图像生成方法 Active CN108305232B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810172538.9A CN108305232B (zh) 2018-03-01 2018-03-01 一种单帧高动态范围图像生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810172538.9A CN108305232B (zh) 2018-03-01 2018-03-01 一种单帧高动态范围图像生成方法

Publications (2)

Publication Number Publication Date
CN108305232A CN108305232A (zh) 2018-07-20
CN108305232B true CN108305232B (zh) 2019-07-12

Family

ID=62848972

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810172538.9A Active CN108305232B (zh) 2018-03-01 2018-03-01 一种单帧高动态范围图像生成方法

Country Status (1)

Country Link
CN (1) CN108305232B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109218626B (zh) * 2018-11-23 2020-09-25 维沃移动通信有限公司 一种拍照方法及终端
CN110163808B (zh) * 2019-03-28 2022-06-10 西安电子科技大学 一种基于卷积神经网络的单帧高动态成像方法
CN111105376B (zh) * 2019-12-19 2022-08-02 电子科技大学 基于双分支神经网络的单曝光高动态范围图像生成方法
CN114897745B (zh) * 2022-07-14 2022-12-20 荣耀终端有限公司 一种扩展图像动态范围的方法及电子设备
CN116128717B (zh) * 2023-04-17 2023-06-23 四川观想科技股份有限公司 一种基于神经网络的图像风格迁移方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104463820A (zh) * 2014-10-29 2015-03-25 广东工业大学 一种基于频域的反色调映射算法
CN105184748A (zh) * 2015-09-17 2015-12-23 电子科技大学 图像比特深度增强方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107045715B (zh) * 2017-02-22 2019-06-07 西南科技大学 一种单幅低动态范围图像生成高动态范围图像的方法
CN107154059B (zh) * 2017-06-26 2020-08-04 杭州当虹科技股份有限公司 一种高动态范围视频处理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104463820A (zh) * 2014-10-29 2015-03-25 广东工业大学 一种基于频域的反色调映射算法
CN105184748A (zh) * 2015-09-17 2015-12-23 电子科技大学 图像比特深度增强方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Content-adaptive inverse tone mapping;Pin-Hung Kuo et al;《2012 Visual Communications and Image Processing》;20121127;第1-6页 *
Expanding Low Dynamic Range Videos for High Dynamic Range;Francesco Banterle et al;《SCCG 2008》;20080421;第33-42页 *
单幅图像的高动态范围图像生成方法;朱恩弘 等;《计算机辅助设计与图形学学报》;20161031;第28卷(第10期);第1713-1722页 *

Also Published As

Publication number Publication date
CN108305232A (zh) 2018-07-20

Similar Documents

Publication Publication Date Title
CN108305232B (zh) 一种单帧高动态范围图像生成方法
Wang et al. An experiment-based review of low-light image enhancement methods
CN109754377B (zh) 一种多曝光图像融合方法
US10672112B2 (en) Method and system for real-time noise removal and image enhancement of high-dynamic range images
CN104063848B (zh) 一种低照度图像增强方法和装置
Lee et al. A space-variant luminance map based color image enhancement
Lai et al. Improved local histogram equalization with gradient-based weighting process for edge preservation
CN106683080B (zh) 一种视网膜眼底图像预处理方法
Tanaka et al. Gradient-based low-light image enhancement
CN106897981A (zh) 一种基于引导滤波的低照度图像增强方法
CN108022223B (zh) 一种基于对数映射函数分块处理融合的色调映射方法
Liu et al. Low-light video image enhancement based on multiscale retinex-like algorithm
CN104157003B (zh) 一种基于正态分布调节的热图像细节增强方法
CN110599418B (zh) 一种变换域融合的全局色调映射方法
CN106530309A (zh) 一种基于移动平台的视频抠图方法及系统
CN110852956A (zh) 一种高动态范围图像的增强方法
CN106327437B (zh) 一种彩色文本图像校正方法及系统
CN111489322A (zh) 给静态图片加天空滤镜的方法及装置
Parihar et al. A comprehensive analysis of fusion-based image enhancement techniques
Wang et al. An adaptive correction algorithm for non-uniform illumination panoramic images based on the improved bilateral gamma function
CN106709888B (zh) 一种基于人眼视觉模型的高动态范围图像产生方法
CN110246086B (zh) 彩色图像增强的图像处理方法及其图像处理系统
CN107358578B (zh) 一种阴阳脸处理方法和装置
Han et al. Automatic illumination and color compensation using mean shift and sigma filter
Liu et al. An adaptive tone mapping algorithm based on gaussian filter

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant