CN107408296B - 用于高动态范围图像的实时噪声消除和图像增强的方法以及系统 - Google Patents
用于高动态范围图像的实时噪声消除和图像增强的方法以及系统 Download PDFInfo
- Publication number
- CN107408296B CN107408296B CN201680013751.4A CN201680013751A CN107408296B CN 107408296 B CN107408296 B CN 107408296B CN 201680013751 A CN201680013751 A CN 201680013751A CN 107408296 B CN107408296 B CN 107408296B
- Authority
- CN
- China
- Prior art keywords
- image
- input picture
- picture
- reasonability
- filter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000012545 processing Methods 0.000 claims abstract description 20
- 230000000717 retained effect Effects 0.000 claims abstract description 14
- 238000013507 mapping Methods 0.000 claims description 25
- 230000002708 enhancing effect Effects 0.000 claims description 18
- 238000009825 accumulation Methods 0.000 claims description 12
- 241001269238 Data Species 0.000 claims description 5
- 238000004891 communication Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 2
- 230000008901 benefit Effects 0.000 description 14
- 238000012360 testing method Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 5
- 230000000873 masking effect Effects 0.000 description 4
- 230000003321 amplification Effects 0.000 description 3
- 230000008030 elimination Effects 0.000 description 3
- 238000003379 elimination reaction Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000003199 nucleic acid amplification method Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000001914 calming effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 201000006549 dyspepsia Diseases 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000004297 night vision Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
一种用于高动态范围(HDR)图像的实时噪声消除和图像增强的方法以及系统。该方法包括接收输入图像I，该输入图像I包括HDR图像，以及操作处理电路，用于(i)将第一边缘保留滤波器应用于输入图像I，由此产生第一图像分量B1和第一组线性系数；(ii)将第二边缘保留滤波器应用于输入图像I，由此产生第二图像分量B2和第二组线性系数；(iii)根据第一组线性系数和第二组线性系数的组合来产生合理性掩模P，该合理性掩模P指示输入图像I之内的空间细节；并且(iv)基于第一图像分量B1、第二图像分量B2和合理性掩模P产生输出图像O。产生输出图像O可以包括：基于第二图像分量B2以及从第一图像分量B1和合理性掩模P导出的细节图像分量D′之和产生输出图像O。可以通过直方图产生将中间图像映射到输出图像，对中间图像O′之内的灰度值进行分类，以及确定输出图像O。
Description
技术领域
本发明涉及图像处理，更具体而言，涉及用于高动态范围(HDR)图像的实时噪声消除和图像增强的方法和系统。
背景技术
本发明涉及在不同频谱范围中捕捉的图像(例如，热成像图像)的可视化。用于这种成像的传感器通常用于宽范围的应用中，例如：(1)夜视--在汽车行业中的行人/动物检测；(2)视频监视；以及(3)使用基于IR的系统来应对外部光源(例如，太阳)的影响的驾驶员辅助系统。对本领域技术人员而言，其它应用将变得显而易见。
常常希望在具有不同(通常较低)动态范围的显示器上显示用一种动态范围(例如，HDR)捕捉的图像。通常需要一种用于噪声消除和图像细节增强的方法，其考虑了对显示设备的限制，以便有效地显示HDR(例如，红外(IR)图像)。在本示例中，为了表示现实世界的场景，过去用HDR来表示IR图像，该HDR通常超过了普通显示设备的工作范围(8比特)。因此，需要一种有效的HDR映射而不丢失细节的可察觉性。
已经提出了大量的图像处理技术以提高图像对比度、增强图像细节和/或减少噪声量。尽管这些技术中的大部分旨在用于8比特的静止图像，但它们能够被调整和/或组合以实现IR图像细节的增强，同时将其HDR映射到适当范围以进行显示。实际上，已经广泛使用伽玛校正(GC)和直方图均衡化(HE)方法的变型，以将原始数据拟合成全局对比度提高的8比特数据表示。
近来的IR图像可视化方案与所得的8比特图像表示中的细节增强密切相关。Glush等人(S.W.Glushko and C.Salvaggio，“Quantitative analysis of infrared contrastenhancement algorithms”，in Infrared Imaging Systems:Design,Analysis,Modeling,and Testing,2007,pp.65 430S:1–12)通过所谓的反锐化掩模限制了噪声放大，反锐化掩模技术定义了细节图以根据细节的强度对噪声和细节像素进行分类。如Durand和Dorsey所建议的(F.Durand and J.Dorsey,“Fast Bilateral Filtering for the Display ofHigh-Dynamic-Range Images,”ACM Trans.Graph.,vol.21,no.3,pp.257–266,July2002)，已经广泛使用双边滤波器(BF)来定义细节图。Zuo等人(C.Zuo,Q.Chen,N.Liu,J.Renand X.Sui,“Display and detail enhancement for high-dynamic-range infraredimages,”Optical Engineering,vol.50,no.12,pp.127401:1–9,2011)通过对所得的基本图像分量应用高斯低通滤波器解决了其基于BF的数字细节增强(BF&DDE)滤波器上的梯度反转伪影的问题。近来，He等人(K.He,J.Sun and X.Tang,“Guided Image Filtering,”IEEE Transactions on Pattern Analysis and Machine Intelligence,vol.35,no.6,pp.1397–1409,June 2013)提出了一种新的边缘保留滤波器，即所谓的导向滤波器(GF)。如作者所建议的，也可以考虑GF以定义细节图而不使用BF。实际上，与BF相反，GF没有边缘伪影的问题，且其处理时间显著地较小。
技术问题
已知方法的一个问题是如何实现HDR的映射，同时在8比特域中为数据表示保留重要的图像细节。
另一个问题是如何识别/分类表示图像细节的像素和/或可能表示噪声的像素。
已知方法的另一个问题是如何实现噪声消除而不衰减或消除图像细节。
另一个问题是如何避免在细节增强过程中的噪声放大。
已知方法的另一个问题是如何增强IR图像的全局对比度。
另一个问题是如何避免帧和帧之间的全局亮度波动(即，时间一致性)。
本发明的目的在于提供一种解决前述问题中的至少一个问题的系统和方法，并提供用于高动态范围(HDR)图像的实时噪声消除和图像增强的改进技术。
发明内容
根据本发明的一个方面，提供了一种用于高动态范围HDR图像的实时噪声消除和图像增强的方法，所述方法包括：
接收输入图像I，所述输入图像I包括HDR图像；
操作处理电路，用于：
将第一边缘保留滤波器应用于所述输入图像I，由此产生第一图像分量B1和第一组线性系数
所述方法的特征在于：
将第二边缘保留滤波器应用于所述输入图像I，由此产生第二图像分量B2和第二组线性系数
根据所述第一组线性系数和所述第二组线性系数的组合来产生合理性掩模P，所述合理性掩模P指示所述输入图像I之内的空间细节，其中，所述合理性掩模P被推导为
其中，并且P′min和P′max分别是P’的最小权重值和最大权重值；并且
基于第一图像分量B1、所述第二图像分量B2和所述合理性掩模P产生输出图像O，其中，产生输出图像O包括：施加中间图像O′到输出图像O的映射，同时保留并增强细节图像分量D’中的图像细节的对比度。
其中，通过以下公式来推导中间图像O′：
O′＝B2+D′
其中，所述细节图像分量D′＝λP·D，其中，D＝B1-B2，并且λ是用于调节D中的细节的对比度的增益因子。
该第一边缘保留滤波器可以包括细节保留滤波器，并且该第一图像分量B1包括其中保留图像细节的输入图像I。
该第二边缘保留滤波器可以包括噪声消除滤波器，并且该第二图像分量B2可以包括其中已经消除或减少噪声的输入图像I。
第一边缘保留滤波器和/或第二边缘保留滤波器包括导向滤波器。
该方法还可以包括在根据以下公式拉伸(stretch)P’的值之前对P’进行裁切：
裁切P’可以包括应用
其中，在本实施例中，δ＝μ+2σ，μ为的平均值，并且
所述映射可以包括产生中间图像O′内的每个O′(i,j)的灰度值的累积直方图。可以用三个值来表征累积直方图，即λmin、λmed、λmax，其定义了O′·α的累积直方图的位置和边界，其中，α为对比度水平。在本实施例中，我们定义λmin在累积直方图的1％处，λmed在累积直方图的50％处，λmax在累积直方图的99％处。
所述映射可以包括：根据中间图像O′内的每个O′(i,j)的灰度值在O′的直方图内的位置，将中间图像O′内的每个O′(i,j)的灰度值分类为左O′L(i,j)或右O′R(i,j)，以使得：
O′L(i,j)＝O′(i,j)·α，如果O′(i,j)·α<λmed
O′R(i,j)＝O′(i,j)·α，如果O′(i,j)·α≥λmed
其中，在本实施例中，λmed对应于在O′·α的累积直方图中50％处的位置。
所述映射可以包括根据以下公式来确定输出图像O：
其中，λmin和λmax对应于O′·α的累积直方图的边界，并且N是定义输出图像O的动态范围的比特数量。
在一个实施例中，对于范围[0,255]之内的8比特数据表示，N＝8。
中间图像O′可以是12比特或14比特图像。
在一个实施例中，对于第一图像分量B1和第二图像分量B2，每者都是利用以像素k为中心的窗口wk中I的线性变换推导的，以使得
其中，
其中，
其中，bk＝(1-ak)μk，
是假设在wk中恒定的线性系数，
μk和σk 2是wk中I的平均值和方差，
|w|是wk中像素的数量，并且
ε是影响(penalize)大的ak的正则化参数。
根据本发明的另一方面，提供了一种可编程图像处理系统，该可编程图像处理系统在被适当地编程时用于执行根据前述权利要求中任一项所述的方法，所述系统包括用于接收或存储输入图像I的电路以及用于执行所述方法的处理电路。
根据本发明的另一方面，提供了一种用于高动态范围HDR图像的实时噪声消除和图像增强的系统，所述系统包括：
用于接收或存储输入图像I的电路，所述输入图像I包括HDR图像；
处理电路，所述处理电路耦合到所述用于接收或存储输入图像I的电路，所述处理电路能够操作用于：
将第一边缘保留滤波器应用于所述输入图像I，由此产生第一图像分量B1和第一组线性系数
将第二边缘保留滤波器应用于所述输入图像I，由此产生第二图像分量B2和第二组线性系数
根据所述第一组线性系数和所述第二组线性系数的组合来产生合理性掩模P，所述合理性掩模P指示所述输入图像I之内的空间细节，其中，所述合理性掩模P被推导为
其中，并且P′min和P′max分别是P’的最小权重值和最
大权重值；并且
基于第一图像分量B1、所述第二图像分量B2和所述合理性掩模P产生输出图像O，其中，产生输出图像O包括：施加中间图像O′到输出图像O的映射，同时保留并增强细节图像分量D’中的图像细节的对比度。
其中，通过以下公式来推导中间图像O′：
O′＝B2+D′
其中，所述细节图像分量D′＝λP·D，其中，D＝B1-B2，并且λ是用于调节D中的细节的对比度的增益因子。
根据本发明的另一方面，提供了一种其上记录或存储有数据的可记录可重写或可存储介质，所述数据定义指令或能够变换成指令，所述指令供处理电路执行并且至少对应于根据以上所述方法中所述的步骤。
根据本发明的另一方面，提供了一种服务器计算机，该服务器计算机包含通信设备和存储器设备并且适于传输数据，所述数据定义指令或能够变换成指令，所述指令供处理电路执行并且至少对应于根据以上所述方法中所述的步骤。
在某些实施例中，组合两种边缘保留滤波器(例如，双边滤波器(BF)或导向滤波器(GF))，以首先产生精确的基础和细节图像分量，然后产生要用作空间细节指示物的合理性掩模。后者使得能够识别细节图像分量中存在的噪声显著的那些区域。最后，沿时间过滤HDR的工作范围，以避免最终的8比特数据表示中的全局亮度波动，其来自于使用专用直方图投影方法组合细节和基础图像。这种直方图投影方法例如适于汽车行业中的要求。
本发明的优点是提供HDR的映射，同时在8比特域中为数据表示保留了重要的图像细节。
另一个优点是表示HDR的基础图像分量B2被映射，而来自增强的D’图像的图像细节被增强/保留。
另一个优点是该技术使得能够单独处理HDR映射和细节增强。
另一个优点是有助于对表示图像细节的像素和/或可能存在噪声的像素进行识别/分类。
另一个优点是有助于消除噪声而不会衰减或消除图像细节。
另一个优点是用P的形成确保了仅消除噪声(P中的低权重像素)。
另一个优点是避免了在细节增强过程中使噪声放大。
另一个优点是，由于在P中噪声像素的权重低，所以在应用增益因子之后它们不会被放大。
另一个优点是增强了IR图像的全局对比度。
另一个优点是，通过使用新颖的直方图投影方法，除了有效地将HDR映射到8比特域之外，还允许用户调节对比度和亮度水平，而不产生不希望的伪影，例如噪声或图像失真。
另一个优点是避免了帧和帧之间的全局亮度波动(时间一致性)。
另一个优点是根据时间统计稳定来计算将所得8比特图像被映射到的最大值和最小值。通过这样做，避免了帧之间的亮度波动。
附图说明
现在将参考附图以举例的方式来描述本发明的优选实施例，在附图中：
图1示出了根据本发明的实施例的用于实时噪声消除和图像增强(TDDE滤波器)的方法的流程图；
图2示出了(a)原始输入图像I，(b)由图1的方法中的导向滤波器GF1产生的第一图像分量B1，以及(c)由图1的方法中的导向滤波器GF2产生的第二图像分量B2；
图3示出了(a)GF1作用于来自图2(a)的输入图像I上而获得的第一线性系数(b)针对的直方图，(c)GF2作用于来自图2(a)的输入图像I上而获得的第二线性系数(d)针对的直方图，(e)图1的方法中的合理性掩模P，以及(f)针对P的直方图；
图4示出了细节图像分量(a)由图2中B1与B2之间的差异产生的图1的D，以及(b)噪声掩蔽和细节放大之后的图1的得到的D’；以及
图5至图9示出了使用现实场景用于不同测试案例的所公开的直方图投影方法。
具体实施方式
如本文所用的，“图像”或“图像信号”可以是模拟的或数字的，并可以进行常规的模拟或数字滤波。
在本文提到涉及“图像”的步骤、操作或操纵等时，在适当的情况下，它们是通过对这种“图像”的可电子处理的表示(例如，捕捉的静止视频帧信号、比特流视频数据、MPEG文件或视频流、PC视频或任何其它可捕捉或可观看的图像数据格式)的操作来实现的。
在本文中提到涉及“图像”、“图像信号”或“图像数据”的步骤、操作或操纵时，在适当的情况下，可以通过软件控制的处理器操作、硬件电路或其任何适当的组合来实现它们。
尽管本发明被适当地具体化在计算机系统中，但其可以包含在适配器、图像处理器或位于图像源和显示设备(例如，LCD、等离子体、投影仪等)之间或包含图像源和显示设备的任何其它设备中，或者包含在显示设备自身中。该计算机系统适当包括耦合到(在适当的情况下经由DAC和ADC或其它接口)RAM、ROM、存储设备、图像捕捉和/或图像存储设备、显示驱动器和显示设备、数据通信和其它外围设备的处理器，这对于本领域技术人员而言是公知的；因此，将不会进一步例示或论述这些。
图1示出了根据本发明的实施例的用于实时噪声消除和图像增强(TDDE滤波器)的方法的流程图。输入图像I被馈送到细节增强导向滤波器GF1和噪声消除导向滤波器GF2。从细节增强导向滤波器GF1获得的是第一图像分量B1和第一线性系数从噪声消除导向滤波器GF2获得的是第二图像分量B2和第二线性系数组合第一线性系数和第二线性系数以形成合理性掩模P，如下文进一步详细讨论的。同样如下文进一步详细讨论的，减法元件2产生D＝B1-B2，乘法元件4产生D′＝λP·D，加法元件6产生O′＝B2+D′，映射元件8通过将O′映射到O产生最终输出图像O，O为8比特图像。
为了解决上述问题，本发明至少在实施例中涉及所谓的时域DDE(TDDE)滤波器的使用。通常，已知的基于DDE的滤波器依赖于单个边缘保留滤波器(例如，BF或GF)，以将B图像分量与D图像分量隔离，B图像分量包含待被有效地映射的HDR，D图像分量呈现与所得的8比特图像表示中待保留并增强的精细图像细节相对应的细微变化。根据本发明的实施例的TDDE滤波器在其设计中包括GF，因为GF与BF相比在边缘附近呈现更好的行为，主要优点是快速且不近似的线性时间算法，而不管内核尺寸和强度范围。后者能够实现实时性能。此外，GF不会像BF那样经受梯度反转伪影的困扰。在计算B图像分量和D图像分量两者时，根据本发明的实施例的TDDE滤波器不依赖于单个GF而是依赖于两个专用GF。
对于GF，为了帮助理解其中对每个GF(即，GF1和GF2)进行参数化以分别保留细节(B1)并消除噪声(B2)的方式，将对其进行简要地论述。通常，B图像分量对应于从GF获得的边缘保留平滑图像，在以像素k为中心的窗口wk中I的线性变换，即
其中，
其中，
其中，bk＝(1-ak)μk, (3)
是假设在wk中恒定的线性系数，
μk和σk 2是wk中I的平均值和方差，
|w|是wk中像素的数量，并且
ε是影响大的ak的正则化参数。
可以根据要在I中保留的细节的最小尺寸来进行wk尺寸的选择。可以选择小的wk尺寸，例如3×3，以便保留和增强诸如树叶之类的精细图像细节。平滑水平由参数ε给出。亦即，如果ε被设置得过小，那么图像中不仅会保留图像细节而且还会保留噪声和细微结构。相反，如果ε被设置得过大，噪声将与所有图像细节一起被完全消除。
因此，GF1被配置为具有非常小的ε1值，例如ε1＝25，从其获得比I略微平滑的B1图像分量，包含要在最终的8比特表示中呈现的图像细节。另一方面，GF2被配置为具有足够大的ε2值以完全消除噪声，例如，ε2＝2500，从其获得基础图像分量B2。不可避免地，B1中将存在噪声，而B2中将完全消除图像细节。
图2示出了(a)原始输入图像I，(b)由图1的方法中的导向滤波器GF1产生的第一图像分量B1，以及(c)由图1的方法中的导向滤波器GF2产生的第二图像分量B2。图2(a)示出所选择的输入图像I以例示GF在被配置为具有ε1或ε2时的行为。至于wk的大小，要指出的是，它可以足够小，例如k＝3，以便保留小的图像细节，例如树叶。优选地，wk的大小在GF1和GF2中相同，以便避免在计算合理性掩模P(图1)时不希望的伪影。
图3示出了(a)GF1作用于来自图2(a)的输入图像I上而获得的第一线性系数(b)针对的直方图，(c)GF2作用于来自图2(a)的输入图像I上而获得的第二线性系数(d)针对的直方图，(e)图1的方法中的合理性掩模P，以及(f)针对P的直方图；
为了利用每个GF的优点同时避免其各自的缺点，使用新的合理性掩模P，其对分别来自每个GF1和GF2的线性系数和进行了组合。P的目的在于如以对图像细节加权(参见图3(a))，而以对噪声像素加权(参见图3(c))。为了这样做，将P定义为
其中，和P′min和P′max分别是P’的最小和最大权重值。要指出的是，和的积将全局减小沿边缘的权重，因此可能显著地减小甚至消除最终8比特图像中的图像细节。为了避免那种情况，优选在根据(4)拉伸其值之前对P’进行裁切(crop)，即
其中，δ＝μ+2σ，μ是的平均值，并且因为的噪声遵循泊松分布(参见图3(d))。
图4示出了细节图像分量(a)由图2中B1与B2之间的差异产生的图1的D，以及(b)噪声掩蔽和细节放大之后的图1的得到的D’。
根据本发明的实施例的TDDE滤波器在计算D图像分量时不考虑输入图像I，而考虑计算得自GF1的B1图像分量，此即保留了所有图像细节而略微降低了噪声的I的稍平滑版本，即D＝B1-B2。然而，D的这种简单直接的计算不仅保留了细微的细节，而且还保留了B1中的噪声，如图4(a)中所示。根据人的感知特性，平滑图像区域内的噪声能够容易地被观察者感知为干扰(spuriousness)或纹理，而沿锐利边缘几乎不可感知。考虑到这一点，根据空间细节来掩蔽噪声，即使用合理性掩模P。实际上，P清晰地反映了输入图像I的空间细节，从而能够区分呈现B1中的图像细节的那些区域和噪声显著的那些区域。根据实施例，细节图像分量D’被定义为
D′＝λP·D (7)
其中，λ为增益因子，如果需要，用以增大D中细节的对比度。图4(b)示出由P掩模之后所得的D’图像分量。
最终的8比特增强图像O得自将所产生的B2图像分量和增强的D’图像分量的和，即映射到8比特域(在图1中的映射元件8中)。运算符表示到8比特域的映射。为了进行该映射，通常在已知系统中使用基于扩展直方图均衡化(HE)或自动增益控制(AGC)的技术。然而，尽管基于AGC的方法仅仅消除了极值并将HDR线性地映射到8比特域上，但基于HE的方法仅仅增大主导性温度范围中的对比度。亦即，向主导性温度范围提供了较多的动态范围，而向非主导性温度范围中的图像区域提供了较少的动态范围。然而，如果要保留/增强的图像细节不在该主导性范围内，则会发生问题。当映射具有比显示范围小的有效数据范围的HDR图像时，会发生另一个问题。在来自IR相机的图像的情况下，这就是当IR相机面对均匀背景或无云天空时会发生的情况。在这种情况下，所得的映射图像将会由于窄有效范围的线性扩展而充满噪声并且会失真。
为了克服前述缺点，替代的已知的基于DDE的滤波器首先将B2图像分量的HDR映射到8比特域，然后通过加上D’来产生最终的图像O，即然而，问题在于直接组合映射的和D’在大部分情况下会导致饱和，因为如果与8比特数据范围表示(参见图4中的数据范围表示)相比，D’的像素值是相当大的。
为了解决前述问题，根据本发明的实施例，使用一种新的直方图投影方法，以便将O′＝B2+D′(通常用12或14比特表示)的动态有效地映射到8比特域中，同时保留和增强D’中的图像细节的对比度，而不管B2有效数据范围的长度以及恰好在其中的像素的数量。更具体而言，首先根据其在o′的直方图内的位置，将每个o′(i,j)的灰度值分类为左o′L(i,j)或右o′R(i,j)(或冷和暖)，即
o′L(i,j)＝o′(i,j)·α，如果o′(i,j)·α<λmed (8)
O′R(i,j)＝O′(i,j)·α，如果O′(i,j)·α≥λmed (9)
其中，在本实施例中，λmed对应于O′·α的累积直方图50％处的位置，α为对比度水平，即操作者能够通过其调节将多宽的温度范围映射成显示设备的灰度的参数。低对比度水平定义宽的温度跨度(HDR)，其中低对比度变化不可见。相反，高对比度水平定义窄的温度跨度(LDR)，其中低对比度变化变得可见。
要使用的第二参数为β，即亮度水平，用户能够根据其调节显示设备的中心温度。低亮度水平定义较冷的场景，其中仅以完整阶度显示热的目标(即，白热)。相反，高亮度水平定义较暖场景，其中仅将冷目标显示为黑色。
最终的8比特增强图像O得自
其中，λmin和λmax对应于O′·α的累积直方图的边界。在本实施例中，对于在范围[0,255]之内的8比特数据表示，N＝8。
图5到图9例示了所公开的直方图投影方法，该方法使用由提供(384_288)个像素的HDR IR图像的标准IR热相机所采集的真实场景。已经使用具有集成图形卡HDGraphics 4400的CoreTM i5-4200UCPU@1.60GHz获得了所有报告的结果。
图5示出了已经被考虑用于评估所提出方案的两种现实测试案例。图5a是具有非常窄的温度跨度的极端测试案例(测试1)，其中在图像的右下方包含一个非常小的目标(人)。相反，图5c中的测试案例(测试2)呈现了具有高温度动态的场景，其必须被有效地映射到8比特域中。已经考虑了公开的增强TDDE滤波器，以例示所提出的直方图投影映射方法的行为。已经使用了以下参数：k＝3，ε1＝25，ε2＝2500，并且λ＝5。
图6和图7示出了根据操作者调节的对比度α和亮度β参数，所提出的HDR映射方法针对测试1的窄温度跨度的行为。从图中可以看到，直方图是如何根据β所定义的中心温度而对中的。通过调节α，操作者能够使场景中非常小的温度可辨别(参见图7a)。在图8和图9中示出了所提出的映射方法针对测试2的宽温度跨度的行为。在这种情况下，沿整个8比特范围线性拉伸了分别位于(λmed-λmin＞β和/或(λmax-λmed＞(2N-1)-β)外部的来自o′L和/或o′R的强度值。
尽管本文描述了使用导向滤波器(GF)来分解输入原始图像，但可以针对图像使用任何其它边缘保留滤波器和噪声消除平滑滤波器，例如双边滤波器(BF)。
尽管本文描述了针对16比特到8比特的数据转换使用直方图投影方法，但也可以使用替代的基于直方图均衡化的方法。
尽管本文描述了使用多个边缘保留滤波器，但在替代实施例中，可以使用单个GF或BF来计算基础和细节图像分量、以及合理性掩模。然而，可以在细节和噪声消除之间选择(人工调谐的)折中。
尽管已经参考在其相应实施方式中具有各个部件的实施例描述了实施例，但将要认识到，其它实施例利用这些部件和其它部件的其它组合和排列。
此外，在本文中将一些实施例描述为可以通过计算机系统的处理器或通过执行功能的其它手段来实施的方法或方法元素的组合。因此，具有用于执行此类方法或方法元素的必要指令的处理器形成了用于执行该方法或方法元素的手段。此外，本文描述的装置实施例的元素是用于执行由该元素出于执行本发明的目的而执行的功能的手段的示例。
在本文提供的说明书中，阐述了许多具体细节。然而，应当理解，可以在没有这些具体细节的情况下实践本发明的实施例。在其它情况下，未详细示出公知的方法、结构和技术，以免使本说明书难以理解。
因此，尽管已经描述了所认为的本发明的优选实施例，但本领域技术人员将认识到，可以对其做出其它和另外的修改而不脱离本发明的范围，并旨在主张所有这类改变和修改落在本发明范围之内。例如，上文给出的任何公式都仅仅是可以使用的流程的代表。可以从方框图增加或删除功能，并可以在功能框之间互换操作。可以针对本发明范围之内描述的方法增加或删除步骤。
Claims (16)
1.一种用于高动态范围HDR图像的实时噪声消除和图像增强的方法，所述方法包括：
接收输入图像I，所述输入图像I包括HDR图像；
操作处理电路，用于：
将第一边缘保留滤波器应用于所述输入图像I，由此产生第一图像分量B1和第一组线性系数
所述方法的特征在于：
将第二边缘保留滤波器应用于所述输入图像I，由此产生第二图像分量B2和第二组线性系数
根据所述第一组线性系数和所述第二组线性系数的组合来产生合理性掩模P，所述合理性掩模P指示所述输入图像I之内的空间细节，其中，所述合理性掩模P被推导为
其中，并且P′min和P′max分别是P’的最小权重值和最大权重值；并且
基于第一图像分量B1、所述第二图像分量B2和所述合理性掩模P产生输出图像O，其中，产生输出图像O包括：施加中间图像O′到输出图像O的映射，同时保留并增强细节图像分量D’中的图像细节的对比度；
其中，通过以下公式来推导中间图像O′：
O′＝B2+D′
其中，所述细节图像分量D′＝λP·D，其中，D＝B1-B2，并且λ是用于调节D中的细节的对比度的增益因子。
2.根据权利要求1所述的方法，其中，所述第一边缘保留滤波器包括细节保留滤波器，并且所述第一图像分量B1包括其中图像细节得到保留的所述输入图像I。
3.根据权利要求1或2所述的方法，其中，所述第二边缘保留滤波器包括噪声消除滤波器，并且所述第二图像分量B2包括其中已经消除或减少噪声的所述输入图像I。
4.根据权利要求1或2所述的方法，其中，所述第一边缘保留滤波器和/或所述第二边缘保留滤波器包括导向滤波器。
5.根据权利要求1所述的方法，还包括在根据以下公式拉伸P’的值之前对P’进行裁切：
6.根据权利要求1或2所述的方法，其中，裁切P’包括应用
其中，δ＝μ+2σ，μ为的平均值，并且
7.根据权利要求1所述的方法，其中，所述映射包括：
产生所述中间图像O′内的每个O′(i，j)的灰度值的直方图。
8.根据权利要求7所述的方法，其中，所述映射包括：
根据所述中间图像O′内的每个O′(i，j)的灰度值在O′的所述直方图内的位置，将所述中间图像O′内的每个O′(i，j)的灰度值分类为左O′L(i，j)或右O′R(i，j)，以使得：
O′L(i，j)＝O′(i，j)·α，如果O′(i，j)·α＜λmed
O′R(i，j)＝O′(i，j)·α，如果O′(i，j)·α≥λmed
其中，λmed对应于在O′·α的累积直方图中50％处的位置，并且α是对比度水平。
9.根据权利要求8所述的方法，其中，所述映射包括根据以下公式来确定输出图像O：
其中，λmin和λmax对应于O′·α的累积直方图的边界，并且N是定义输出图像O的动态范围的比特数量。
10.根据权利要求9所述的方法，其中，对于范围[0，255]之内的8比特数据表示，N＝8。
11.根据权利要求1或2所述的方法，其中，所述中间图像O′为12比特或14比特图像。
12.根据权利要求1或2所述的方法，其中，对于所述第一图像分量B1和所述第二图像分量B2，每者都是利用以像素k为中心的窗口wk中I的线性变换推导的，以使得
其中，
其中，
其中，bk＝(1-ak)μk，
和是假设在wk中恒定的线性系数，
μk和σk 2是wk中I的平均值和方差，
|w|是wk中像素的数量，并且
ε是影响大的ak的正则化参数。
13.一种可编程图像处理系统，所述可编程图像处理系统在被适当地编程时用于执行根据前述权利要求中任一项所述的方法，所述系统包括用于接收或存储输入图像I的电路以及用于执行所述方法的处理电路。
14.一种用于高动态范围HDR图像的实时噪声消除和图像增强的系统，所述系统包括：
用于接收或存储输入图像I的电路，所述输入图像I包括HDR图像；
处理电路，所述处理电路耦合到所述用于接收或存储输入图像I的电路，所述处理电路能够操作用于：
将第一边缘保留滤波器应用于所述输入图像I，由此产生第一图像分量B1和第一组线性系数
将第二边缘保留滤波器应用于所述输入图像I，由此产生第二图像分量B2和第二组线性系数
根据所述第一组线性系数和所述第二组线性系数的组合来产生合理性掩模P，所述合理性掩模P指示所述输入图像I之内的空间细节，其中，所述合理性掩模P被推导为
其中，并且P′min和P′max分别是P’的最小权重值和最大权重值；并且
基于第一图像分量B1、所述第二图像分量B2和所述合理性掩模P产生输出图像O，其中，产生输出图像O包括：施加中间图像O′到输出图像O的映射，同时保留并增强细节图像分量D’中的图像细节的对比度；
其中，通过以下公式来推导中间图像O′：
O′＝B2+D′
其中，所述细节图像分量D′＝λP·D，其中，D＝B1-B2，并且λ是用于调节D中的细节的对比度的增益因子。
15.一种其上记录或存储有数据的可记录可重写或可存储介质，所述数据定义指令或能够变换成指令，所述指令供处理电路执行并且至少对应于根据权利要求1至12中任一项所述的步骤。
16.一种服务器计算机，所述服务器计算机包含通信设备和存储器设备并且适于传输数据，所述数据定义指令或能够变换成指令，所述指令供处理电路执行并且至少对应于根据权利要求1至12中任一项所述的步骤。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| LU92673 | 2015-03-05 | ||
| LU92673A LU92673B1 (en) | 2015-03-05 | 2015-03-05 | Method and system for real-time noise removal and image enhancement of high-dynamic range images |
| PCT/EP2016/054448 WO2016139260A1 (en) | 2015-03-05 | 2016-03-02 | Method and system for real-time noise removal and image enhancement of high-dynamic range images |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107408296A CN107408296A (zh) | 2017-11-28 |
| CN107408296B true CN107408296B (zh) | 2018-09-28 |
Family
ID=52706233
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201680013751.4A Expired - Fee Related CN107408296B (zh) | 2015-03-05 | 2016-03-02 | 用于高动态范围图像的实时噪声消除和图像增强的方法以及系统 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US10672112B2 (zh) |
| CN (1) | CN107408296B (zh) |
| DE (1) | DE112016001040T5 (zh) |
| LU (1) | LU92673B1 (zh) |
| WO (1) | WO2016139260A1 (zh) |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107844751B (zh) * | 2017-10-19 | 2021-08-27 | 陕西师范大学 | 引导滤波长短记忆神经网络高光谱遥感图像的分类方法 |
| CN108335275B (zh) * | 2018-02-13 | 2019-12-13 | 腾讯科技（深圳）有限公司 | 图像增强方法、装置、计算设备及存储介质 |
| DE102018204881A1 (de) * | 2018-03-29 | 2019-10-02 | Siemens Aktiengesellschaft | Verfahren zur Objekterkennung für ein Fahrzeug mit einer Thermografiekamera und modifizierter Entrauschungsfilter |
| CN108765304B (zh) * | 2018-04-08 | 2022-06-17 | 西安电子科技大学 | 基于自适应梯度增益控制的高动态红外图像增强方法 |
| CN108550158B (zh) * | 2018-04-16 | 2021-12-17 | Tcl华星光电技术有限公司 | 图像边缘处理方法、电子装置及计算机可读存储介质 |
| CN109064432B (zh) * | 2018-08-24 | 2020-09-11 | 烟台艾睿光电科技有限公司 | 一种非制冷红外机芯组件最大对比度的控制方法及装置 |
| WO2020068666A1 (en) * | 2018-09-24 | 2020-04-02 | Dolby Laboratories Licensing Corporation | Image denoising in sdr to hdr image conversion |
| CN109636736B (zh) * | 2018-11-06 | 2022-11-01 | 中国航空工业集团公司洛阳电光设备研究所 | 一种宽动态范围红外图像对比度增强方法 |
| US10896492B2 (en) * | 2018-11-09 | 2021-01-19 | Qwake Technologies, Llc | Cognitive load reducing platform having image edge enhancement |
| JP6686122B1 (ja) * | 2018-12-21 | 2020-04-22 | 株式会社モルフォ | 画像処理装置、画像処理方法およびプログラム |
| CN110047055B (zh) * | 2019-03-18 | 2021-06-22 | 电子科技大学 | 一种红外图像细节增强及去噪方法 |
| CN111915497B (zh) * | 2019-05-09 | 2023-11-03 | 杭州睿琪软件有限公司 | 一种图像黑白增强方法、装置、电子设备和可读存储介质 |
| US11010875B2 (en) | 2019-05-29 | 2021-05-18 | Datalogic Ip Tech S.R.L. | Apparatus and method to compute a high dynamic range image from a single acquisition |
| CN110458771B (zh) * | 2019-07-29 | 2022-04-08 | 深圳市商汤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| CN111161162B (zh) * | 2019-12-06 | 2022-10-14 | 华中科技大学鄂州工业技术研究院 | 一种红外图像细节层的处理方法及装置 |
| KR20220010264A (ko) * | 2020-07-17 | 2022-01-25 | 에스케이하이닉스 주식회사 | 노이즈 제거 회로, 이미지 센싱 장치 및 그 동작방법 |
| CN113763264B (zh) * | 2021-08-09 | 2024-03-15 | 云南北方光电仪器有限公司 | 一种基于正负极性细节层分离的图像处理方法及存储介质 |
| CN116051425B (zh) * | 2023-03-21 | 2023-08-04 | 杭州微影软件有限公司 | 一种红外图像处理方法、装置、电子设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101505421A (zh) * | 2007-12-21 | 2009-08-12 | 索尼株式会社 | 具有细节保留和噪声约束的高动态范围压缩方法 |
| CN103440630A (zh) * | 2013-09-02 | 2013-12-11 | 南京理工大学 | 基于引导滤波器的大动态范围红外图像显示与细节增强方法 |
| CN103530896A (zh) * | 2013-09-25 | 2014-01-22 | 电子科技大学 | 一种红外图像的图像压缩和细节增强方法 |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100512976B1 (ko) * | 2003-08-09 | 2005-09-07 | 삼성전자주식회사 | 화면의 콘트라스트를 향상시키는 블랙/화이트 스트레칭시스템 및 그의 스트레칭 방법 |
| US7876974B2 (en) * | 2003-08-29 | 2011-01-25 | Vladimir Brajovic | Method for improving digital images and an image sensor for sensing the same |
| JP2008015741A (ja) * | 2006-07-05 | 2008-01-24 | Konica Minolta Holdings Inc | 画像処理装置、画像処理方法及びこれを用いた撮像装置 |
| US7925113B2 (en) * | 2007-04-27 | 2011-04-12 | Hewlett-Packard Development Company, L.P. | Generating compound images having increased sharpness and reduced noise |
| JP4952796B2 (ja) * | 2007-12-25 | 2012-06-13 | 富士通株式会社 | 画像処理装置 |
| US8625921B1 (en) * | 2008-09-26 | 2014-01-07 | Google Inc. | Method for image processing using local statistics convolution |
| TW201120809A (en) * | 2009-12-15 | 2011-06-16 | Ability Entpr Co Ltd | System and method for processing an image edge |
| US8478064B2 (en) * | 2010-01-19 | 2013-07-02 | Pixar | Selective diffusion of filtered edges in images |
| JP2012058850A (ja) * | 2010-09-06 | 2012-03-22 | Sony Corp | 画像処理装置および方法、並びにプログラム |
| US8965141B2 (en) * | 2012-08-17 | 2015-02-24 | Thomson Licensing | Image filtering based on structural information |
| US9148580B2 (en) * | 2013-07-16 | 2015-09-29 | Texas Instruments Incorporated | Transforming wide dynamic range images to reduced dynamic range images |
| JP2015056013A (ja) * | 2013-09-11 | 2015-03-23 | 株式会社リコー | 画像処理装置 |
| JP6476898B2 (ja) * | 2014-03-07 | 2019-03-06 | 株式会社リコー | 画像処理装置、画像処理方法、プログラム及び記憶媒体 |
| US10262397B2 (en) * | 2014-12-19 | 2019-04-16 | Intel Corporation | Image de-noising using an equalized gradient space |
| JP6164238B2 (ja) * | 2015-03-18 | 2017-07-19 | カシオ計算機株式会社 | 診断装置並びに当該診断装置における画像処理方法及びそのプログラム |
| US10986284B2 (en) * | 2019-03-11 | 2021-04-20 | Intel Corporation | Light flicker mitigation in machine vision systems |
-
2015
- 2015-03-05 LU LU92673A patent/LU92673B1/en active
-
2016
- 2016-03-02 DE DE112016001040.0T patent/DE112016001040T5/de not_active Withdrawn
- 2016-03-02 CN CN201680013751.4A patent/CN107408296B/zh not_active Expired - Fee Related
- 2016-03-02 US US15/555,187 patent/US10672112B2/en not_active Expired - Fee Related
- 2016-03-02 WO PCT/EP2016/054448 patent/WO2016139260A1/en active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101505421A (zh) * | 2007-12-21 | 2009-08-12 | 索尼株式会社 | 具有细节保留和噪声约束的高动态范围压缩方法 |
| CN103440630A (zh) * | 2013-09-02 | 2013-12-11 | 南京理工大学 | 基于引导滤波器的大动态范围红外图像显示与细节增强方法 |
| CN103530896A (zh) * | 2013-09-25 | 2014-01-22 | 电子科技大学 | 一种红外图像的图像压缩和细节增强方法 |
Non-Patent Citations (2)
| Title |
|---|
| 一种新的红外图像细节增强算法;杨家红 等;《激光与红外》;20120531;第42卷(第5期);579-583 * |
| 基于DDE技术分析的红外图像细节增强算法;董静;《光学与光电技术》;20121031;第10卷(第5期);51-53 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107408296A (zh) | 2017-11-28 |
| US10672112B2 (en) | 2020-06-02 |
| WO2016139260A9 (en) | 2017-09-28 |
| DE112016001040T5 (de) | 2018-02-08 |
| WO2016139260A1 (en) | 2016-09-09 |
| LU92673B1 (en) | 2016-09-06 |
| US20180053289A1 (en) | 2018-02-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107408296B (zh) | 用于高动态范围图像的实时噪声消除和图像增强的方法以及系统 | |
| Zhang et al. | Underwater image enhancement by attenuated color channel correction and detail preserved contrast enhancement | |
| Fu et al. | Retinex-based perceptual contrast enhancement in images using luminance adaptation | |
| Ying et al. | A new image contrast enhancement algorithm using exposure fusion framework | |
| Vijayalakshmi et al. | A comprehensive survey on image contrast enhancement techniques in spatial domain | |
| Huo et al. | Physiological inverse tone mapping based on retina response | |
| Park et al. | Generation of high dynamic range illumination from a single image for the enhancement of undesirably illuminated images | |
| Tao et al. | Retinex-based image enhancement framework by using region covariance filter | |
| Wang et al. | Fast color balance and multi-path fusion for sandstorm image enhancement | |
| Xiao et al. | Fast image enhancement based on color space fusion | |
| Jiang et al. | Color image enhancement with brightness preservation using a histogram specification approach | |
| Singh et al. | Weighted least squares based detail enhanced exposure fusion | |
| Liu et al. | Enhancement of low illumination images based on an optimal hyperbolic tangent profile | |
| Wen et al. | Autonomous robot navigation using Retinex algorithm for multiscale image adaptability in low-light environment | |
| Garcia et al. | Real-time visualization of low contrast targets from high-dynamic range infrared images based on temporal digital detail enhancement filter | |
| Livingston et al. | Image processing for human understanding in low-visibility | |
| Zhang et al. | A dynamic range adjustable inverse tone mapping operator based on human visual system | |
| Lambers et al. | Interactive dynamic range reduction for SAR images | |
| Lee et al. | Image fusion-based tone mapping using gaussian mixture model clustering | |
| Zeng | Low-light image enhancement algorithm based on lime with pre-processing and post-processing | |
| Fan et al. | Underwater image enhancement algorithm combining color correction and multi-scale fusion | |
| Mohd Jain Noordin et al. | Saturation avoidance color correction for digital color images | |
| Mu et al. | Color image enhancement method based on weighted image guided filtering | |
| Wu et al. | Contrast enhancement based on discriminative co-occurrence statistics | |
| Jiao | [Retracted] Optimization of Color Enhancement Processing for Plane Images Based on Computer Vision |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20180928 |