CN107492078A - 一种去除图像中黑噪的方法及计算设备 - Google Patents
一种去除图像中黑噪的方法及计算设备 Download PDFInfo
- Publication number
- CN107492078A CN107492078A CN201710693456.4A CN201710693456A CN107492078A CN 107492078 A CN107492078 A CN 107492078A CN 201710693456 A CN201710693456 A CN 201710693456A CN 107492078 A CN107492078 A CN 107492078A
- Authority
- CN
- China
- Prior art keywords
- pixel
- image
- value
- gradient map
- gradient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 84
- 238000010586 diagram Methods 0.000 claims abstract description 26
- 238000012545 processing Methods 0.000 claims description 37
- 230000005012 migration Effects 0.000 claims description 22
- 238000013508 migration Methods 0.000 claims description 22
- 230000004927 fusion Effects 0.000 claims description 16
- 238000010606 normalization Methods 0.000 claims description 3
- 230000014759 maintenance of location Effects 0.000 claims description 2
- 238000001914 filtration Methods 0.000 abstract description 21
- 238000004891 communication Methods 0.000 description 15
- 238000003860 storage Methods 0.000 description 12
- 238000013461 design Methods 0.000 description 9
- 230000008859 change Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000007667 floating Methods 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 230000033228 biological regulation Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000002146 bilateral effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000000205 computational method Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 101000746134 Homo sapiens DNA endonuclease RBBP8 Proteins 0.000 description 1
- 101000969031 Homo sapiens Nuclear protein 1 Proteins 0.000 description 1
- 102100021133 Nuclear protein 1 Human genes 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000009699 differential effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration using non-spatial domain filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种去除图像中黑噪的方法，包括步骤：根据待处理图像的颜色值生成所述待处理图像的暗通道图和亮通道图；将暗通道图和亮通道图进行融合，生成融合后图像；根据融合后图像中每个像素点的梯度方向计算得到新的融合后图像；计算新的融合后图像的梯度图；以及将梯度图作为导向图、对待处理图像进行导向滤波，得到去除黑噪的图像。根据本发明的方案，基于图像的亮暗通道构建导向图，能够在保持图像边缘的同时将黑噪区域滤波干净。本发明还一并公开了用于执行该方法的计算设备。
Description
技术领域
本发明涉及图像处理技术领域，尤其是一种去除图像中黑噪的方法及计算设备。
背景技术
在图像处理领域，由于拍摄环境、相机硬件等影响，拍摄图像中常常含有噪声，尤其是在曝光不足的情况下，容易产生黑色噪点，又称黑噪。黑噪是图像中局部区域分散着的黑色噪点，对于一张RGB图像，黑噪部分的R、G、B值会比周边区域更接近于0。随着人像处理的不断发展，对于人像中所含的黑噪的处理也提出了越来越高的要求，黑色噪点往往存在于脸部轮廓、皮肤周围等位置，这就需要在去除黑噪的过程中，保持皮肤应有的纹理信息或者保持图像清晰的边缘轮廓，避免图像过度模糊。
图像去黑噪最常用的方法是：将RGB表示的图像转换为YUV表示的图像，其中Y通道表示亮度，U通道和V通道表示颜色，则黑噪存在于Y通道中，选取具备边缘保持效果的滤波方法对Y通道进行滤波，将滤波后的Y通道和未作任何改变的U通道和V通道转换为RGB表示的图像，即完成去黑噪的过程。其中具备边缘保持效果的滤波方法常采用的滤波方法有导向(Guided)滤波、双边滤波等。相比之下，双边滤波涉及指数运算，计算耗时，而导向滤波计算效率高，在参数选取合理的情况下具备较好的边缘保持效果。但仍然存在以下3个问题：(1)滤波时，为保持图像的边缘清晰，往往借助于具备一阶微分或二阶微分的信息，如梯度信息，来进行边缘保持滤波，如导向滤波中需借助微分信息来构建导向图进行边缘保持的滤波，但微分信息易受到黑噪的影响，无法对黑噪区域滤波干净；(2)导向滤波中由于导向图中局部区域像素值变化差异大，导致滤波后图像存在突兀区域；(3)不能有效区分黑噪和非黑噪区域，导向滤波计算方法中采用固定的系数进行滤波，黑噪和非黑噪区域进行同等效果的滤波处理，易导致非黑噪区域过度模糊或者黑噪区域滤波不干净。
因此，需要一种能够有效去除图像中黑噪的方法，在黑噪尽量去除干净的同时，保持图像的轮廓清晰度。
发明内容
为此，本发明提供了一种去除图像中黑噪的方法及计算设备，以力图解决或者至少缓解上面存在的至少一个问题。
根据本发明的一个方面，提供了一种去除图像中黑噪的方法，该方法适于在计算设备中执行，包括步骤：根据待处理图像的颜色值生成待处理图像的暗通道图和亮通道图；将暗通道图和亮通道图进行融合，生成融合后图像；根据融合后图像中每个像素点的梯度方向计算得到新的融合后图像；计算新的融合后图像的梯度图；以及将梯度图作为导向图、对待处理图像进行导向滤波，得到去除黑噪的图像。
可选地，在根据本发明的去除图像中黑噪的方法中，根据融合后图像中每个像素点的梯度方向计算得到新的融合后图像的步骤包括：对于融合后图像中的每个像素点，根据像素点的梯度方向计算该像素点新的像素值；重复迭代第一数目次计算新像素值的步骤生成每个像素点的融合像素值；以及根据每个像素点的融合像素值生成新的融合后图像。
可选地，在根据本发明的去除图像中黑噪的方法中，根据像素点的梯度方向计算该像素点新的像素值的步骤包括：计算像素点的梯度方向，并生成垂直于梯度方向的单位向量；根据单位向量计算所述像素点的第一位置和第二位置；分别对第一位置和第二位置进行双线性插值得到第一位置的像素值和第二位置的像素值；以及根据该像素点的像素值和双线性插值后第一位置、第二位置的像素值分别计算该像素点对应的新像素值。
可选地，在根据本发明的去除图像中黑噪的方法中，若像素点p的位置为(x,y)，垂直于像素点p的梯度方向的单位向量为(nx,ny)，则，像素点p的第一位置为像素点p的第二位置为
可选地，在根据本发明的去除图像中黑噪的方法中，根据每个像素点的融合像素值生成新的融合后图像的步骤包括：将经第一数目次迭代后生成的每个像素点的融合像素值归一化到预定范围内；根据归一化后的像素值生成新的融合后图像。
可选地，在根据本发明的去除图像中黑噪的方法中，将梯度图作为导向图、对待处理图像进行导向滤波的步骤包括：提取待处理图像的亮度通道图像；对梯度图做偏移处理，得到偏移处理后的梯度图；以及将偏移处理后的梯度图作为导向图、对亮度通道图像进行导向滤波。
可选地，在根据本发明的去除图像中黑噪的方法中，对梯度图做偏移处理得到偏移处理后的梯度图的步骤包括：计算梯度图中像素值的最大值和最小值；对梯度图进行分块处理，计算每个分块内像素点的标准偏差值；根据梯度图中每个像素点的像素值和标准偏差值与最大值或最小值的关系计算该像素点的偏移量；以及根据偏移量对所述梯度图进行偏移处理，得到偏移处理后的梯度图。
可选地，在根据本发明的去除图像中黑噪的方法中，对于梯度图中每个像素点p，其对应的偏移量OFF(p)定义为：
其中，G(p)为梯度图中像素点p的像素值，σG(p)为梯度图中像素点p的标准偏差值，Gmax为梯度图中像素值的最大值，Gmin为梯度图中像素值的最小值。
可选地，在根据本发明的去除图像中黑噪的方法中，利用偏移处理后的梯度图作为导向图、对亮度通道图像进行导向滤波的步骤包括：根据下式进行导向滤波：Y'(p)＝A(p)[G(p)+OFF(p)]+B(p)，其中，Y'(p)为经导向滤波后像素点p的像素值，A(p)和B(p)为计算系数。
可选地，在根据本发明的去除图像中黑噪的方法中，计算系数A(p)和B(p)采用如下方法计算：
B(p)＝μY(p)-A(p)·μG(p)，
其中，Y(p)为亮度通道图像中像素点p的像素值，μY(p)为其对应的均值，EI(p)为新的融合后图像中像素点p的像素值，μG(p)为梯度图中像素点p的均值，将亮度通道图像中像素点p的像素值Y(p)与梯度图中像素点p的像素值G(p)相乘得到YG(p)，所有像素点的像素值YG(p)即构成了图像YG，σYG(p)表示在YG中像素点p的标准偏差值，β为调整系数。
可选地，在根据本发明的去除图像中黑噪的方法中，β的取值范围为0.5～2.0。
可选地，在根据本发明的去除图像中黑噪的方法中，β采用如下方法计算：β＝σGave/σGmax，其中，σGave和σGmax分别表示梯度图中所有像素点的标准偏差值的平均值和最大值。
可选地，在根据本发明的去除图像中黑噪的方法中，计算待处理图像的暗通道图的步骤包括：对于待处理图像中的像素点p：以该像素点p为中心生成预定块；选取预定块内每个像素点的R、G、B颜色值中的最小值作为该预定块内对应像素点的像素值；选取预定块内所有像素点的像素值中的最小值，作为该像素点p的暗通道值；以及根据所有像素点的暗通道值生成暗通道图。
可选地，在根据本发明的去除图像中黑噪的方法中，计算待处理图像的亮通道图的步骤包括：对于待处理图像中的像素点p：以该像素点p为中心生成预定块；选取预定块内每个像素点的R、G、B颜色值中的最大值作为该预定块内对应像素点的像素值；选取预定块内所有像素点的像素值中的最大值，作为该像素点p的亮通道值；以及根据所有像素点的亮通道值生成亮通道图。
可选地，在根据本发明的去除图像中黑噪的方法中，将暗通道图和亮通道图进行融合生成融合后图像的步骤包括：计算暗通道图和亮通道图中对应像素点暗通道值和亮通道值的平均值；以及根据平均值生成融合后图像中该像素点的像素值。
可选地，在根据本发明的去除图像中黑噪的方法中，融合后图像中像素点p的像素值E(p)为：
其中，Dark(p)为像素点p在暗通道图中的暗通道值，Light(p)为像素点p在亮通道图中的亮通道值。
根据本发明的又一方面，提供了一种计算设备，包括：一个或多个处理器；和存储器；一个或多个程序，其中所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行如上所述方法中的任一方法的指令。
根据本发明的又一方面，提供了一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当计算设备执行时，使得计算设备执行如上所述的方法中的任一方法。
根据本发明的导向滤波方案，针对具备一阶微分信息的梯度图易受黑噪影响的问题，借助待处理图像的暗通道和亮通道构建不受黑噪影响的通道图，使得黑噪区域的梯度变化平缓，而图像边缘的梯度仍然得到保持，并以此作为导向滤波的导向图，削弱了黑噪对梯度图的影响。
附图说明
为了实现上述以及相关目的，本文结合下面的描述和附图来描述某些说明性方面，这些方面指示了可以实践本文所公开的原理的各种方式，并且所有方面及其等效方面旨在落入所要求保护的主题的范围内。通过结合附图阅读下面的详细描述，本公开的上述以及其它目的、特征和优势将变得更加明显。遍及本公开，相同的附图标记通常指代相同的部件或元素。
图1示出了根据本发明一个实施例的计算设备100的构造示意图；以及
图2示出了根据本发明一个实施例的去除图像中黑噪的方法200的流程图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
图1是示例计算设备100的框图。在基本的配置102中，计算设备100典型地包括系统存储器106和一个或者多个处理器104。存储器总线108可以用于在处理器104和系统存储器106之间的通信。
取决于期望的配置，处理器104可以是任何类型的处理，包括但不限于：微处理器(μP)、微控制器(μC)、数字信息处理器(DSP)或者它们的任何组合。处理器104可以包括诸如一级高速缓存110和二级高速缓存112之类的一个或者多个级别的高速缓存、处理器核心114和寄存器116。示例的处理器核心114可以包括运算逻辑单元(ALU)、浮点数单元(FPU)、数字信号处理核心(DSP核心)或者它们的任何组合。示例的存储器控制器118可以与处理器104一起使用，或者在一些实现中，存储器控制器118可以是处理器104的一个内部部分。
取决于期望的配置，系统存储器106可以是任意类型的存储器，包括但不限于：易失性存储器(诸如RAM)、非易失性存储器(诸如ROM、闪存等)或者它们的任何组合。系统存储器106可以包括操作系统120、一个或者多个应用122以及程序数据124。在一些实施方式中，应用122可以布置为在操作系统上利用程序数据124进行操作。在一些实施例中，计算设备100被配置为执行去除图像中黑噪的方法200，该方法200基于待处理图像的亮、暗通道重构导向图，使得黑噪区域的梯度变化缓慢，而边缘区域的梯度仍然得到保持，以削弱黑噪对梯度的影响。程序数据124中包含了用于执行该方法200的指令。
计算设备100还可以包括有助于从各种接口设备(例如，输出设备142、外设接口144和通信设备146)到基本配置102经由总线/接口控制器130的通信的接口总线140。示例的输出设备142包括图形处理单元148和音频处理单元150。它们可以被配置为有助于经由一个或者多个A/V端口152与诸如显示器或者扬声器之类的各种外部设备进行通信。示例外设接口144可以包括串行接口控制器154和并行接口控制器156，它们可以被配置为有助于经由一个或者多个I/O端口158和诸如输入设备(例如，键盘、鼠标、笔、语音输入设备、图像输入设备)或者其他外设(例如打印机、扫描仪等)之类的外部设备进行通信。示例的通信设备146可以包括网络控制器160，其可以被布置为便于经由一个或者多个通信端口164与一个或者多个其他计算设备162通过网络通信链路的通信。在本方案中，可以通过诸如摄像头等图像输入设备实时获取待处理图像，也可以通过通信设备146获取待处理图像。
网络通信链路可以是通信介质的一个示例。通信介质通常可以体现为在诸如载波或者其他传输机制之类的调制数据信号中的计算机可读指令、数据结构、程序模块，并且可以包括任何信息递送介质。“调制数据信号”可以这样的信号，它的数据集中的一个或者多个或者它的改变可以在信号中编码信息的方式进行。作为非限制性的示例，通信介质可以包括诸如有线网络或者专线网络之类的有线介质，以及诸如声音、射频(RF)、微波、红外(IR)或者其它无线介质在内的各种无线介质。这里使用的术语计算机可读介质可以包括存储介质和通信介质二者。在一些实施例中，计算机可读介质中存储一个或多个程序，这一个或多个程序中包括执行某些方法的指令，如根据本发明的实施例，计算设备100通过所述指令来执行去除图像中黑噪的方法200。
计算设备100可以实现为小尺寸便携(或者移动)电子设备的一部分，这些电子设备可以是诸如蜂窝电话、个人数字助理(PDA)、个人媒体播放器设备、无线网络浏览设备、个人头戴设备、应用专用设备、或者可以包括上面任何功能的混合设备。计算设备100还可以实现为包括桌面计算机和笔记本计算机配置的个人计算机。
图2示出了根据本发明一个实施例的去除图像中黑噪的方法200的流程图。方法200针对微分信息易受黑噪影响这一点，借助待处理图像的暗通道和亮通道，构建不受黑噪影响的导向图，并且对待处理图像中的不同区域，采用不同的滤波系数，以保证在滤波干净的同时保持图像的清晰度。
如图2所示，该方法始于步骤S210，根据待处理图像的颜色值生成该待处理图像的暗通道图和亮通道图。一般地，待处理图像是RGB格式的图像，以RGB图像为例，以下示出了计算暗通道图Dark和亮通道图Light的过程。具体地，计算暗通道图Dark的步骤包括：对于待处理图像中的像素点p，以该像素点p为中心、以rp为半径，生成(2rp+1)×(2rp+1)的预定块φ(p)；选取预定块φ(p)内每个像素点q的R、G、B颜色值中的最小值作为像素点q的像素值，再选取预定块φ(p)内所有像素点的像素值中的最小值，作为像素点p的暗通道值，即，
Dark(p)＝minq∈φ(p){min{rq,gq,bq}}，
最终，根据所有像素点的暗通道值生成暗通道图Dark。
同理，计算待处理图像的亮通道图Light的步骤为：对于待处理图像中的像素点p，以该像素点p为中心、以rp为半径，生成(2rp+1)×(2rp+1)的预定块φ(p)；选取预定块φ(p)内每个像素点q的R、G、B颜色值中的最大值作为像素点q的像素值，再选取预定块φ(p)内所有像素点的像素值中的最大值，作为像素点p的亮通道值，即，
Light(p)＝maxq∈φ(p){max{rq,gq,bq}}，
最终，根据所有像素点的亮通道值生成亮通道图Light。
可选地，对于待处理图像中四条边上的像素点，可以不采用以该像素点为中心生成预定块的方式，而是选取该像素点R、G、B颜色值中的最小值或最大值作为其暗通道值或亮通道值，或者，以该像素点周围像素点的暗通道值或亮通道值作为该像素点的暗通道值或亮通道值。本发明的实施例对此不作限制。
随后在步骤S220中，将暗通道图Dark和亮通道图Light进行融合，生成融合后图像E。根据本发明的实施例，先计算暗通道图Dark和亮通道图Light中对应像素点暗通道值和亮通道值的平均值，再根据该平均值生成融合后图像E中该像素点的像素值。例如，继续以Dark(p)表示像素点p在暗通道图中的暗通道值，Light(p)表示像素点p在亮通道图中的亮通道值，那么，融合后图像中像素点p的像素值E(p)记作：
对于一张RGB表示的彩色图像，包含黑噪的区域往往在暗通道图和亮通道图中对应的像素值均比较低，甚至接近于0，而正常区域(即，不包含黑噪的区域)在暗通道图的像素值相对比较高，在亮通道图中的像素值更高。经过步骤S210和S220的处理，待处理图像中黑噪区域的像素值E(p)相对较大，而非黑噪区域的像素值则相对较小。
随后在步骤S230中，计算融合后图像E的梯度，根据融合后图像E中每个像素点的梯度方向计算得到新的融合后图像EI。
根据本发明的实施例，步骤S230可以分为三步：第一步，计算融合后图像E中的每个像素点的梯度，对于融合后图像E中的每个像素点，根据该像素点的梯度方向计算该像素点新的像素值；第二步，重复迭代第一数目次第一步，生成每个像素点的融合像素值；第三步，根据每个像素点的融合像素值生成新的融合后图像EI。
其中，第一步中根据像素点的梯度方向计算该像素点新的像素值的步骤又可以细分为如下4步：
a)计算融合后图像E中每个像素点的梯度，根据梯度确定梯度方向，并生成垂直于梯度方向的单位向量，设融合后图像E中像素点表示为p(x,y)，垂直于点p梯度方向的单位向量表示为(nx,ny)。应当注意的是，图像梯度的计算方法属于本领域已经比较成熟的技术，如采用中值差分运算、采用各种梯度算子(如Sobel算子、Robinson算子、Laplace算子等)进行运算，本发明的实施例对此不作限制。
b)根据单位向量(nx,ny)计算对应像素点的第一位置p+(x+,y+)和第二位置p-(x-,y-)：
第一位置
第二位置
c)分别对第一位置p+(x+,y+)和第二位置p-(x-,y-)进行双线性插值得到第一位置的像素值E(p+)和第二位置的像素值E(p-)。
一般地，根据b)算得的第一位置和第二位置是浮点数坐标，因此需要先对浮点数坐标取整，再插值得该坐标对应的像素值。以下给出一种计算第一位置或第二位置像素值的方式。
设浮点数坐标为(fx，fy)，取整后得到整数坐标(ux，uy)，ux＝floor(fx)，uy＝floor(fy)。其差值分别记为lx＝fx–ux，ly＝fy-uy，则原本的浮点数坐标(fx，fy)周围的4个坐标为(ux,uy)、(ux+1,uy)、(ux,uy+1)、(ux+1,uy+1)，那么，坐标位置(fx，fy)的像素值为：
I(fx，fy)＝(1.0-lx)*(1.0-ly)*I(ux,uy)+lx*(1.0-ly)*I(ux+1,uy)+(1.0-lx)*ly*I(ux,uy+1)+lx*ly*I(ux+1,uy+1)。
d)根据该像素点的像素值和双线性插值后第一位置、第二位置的像素值E(p+)和E(p-)分别计算该像素点对应的新像素值：
E+(p)＝E(p)+E+(p+)
E-(p)＝E(p)+E-(p-)
上式中，以E+和E-分别对应第一位置和第二位置的像素值。
而后在第二步中重复迭代第一数目次第一步，生成每个像素点的融合像素值，根据本发明的实施例，迭代公式为：
其中，k表示迭代次数，k＝0,1,…，和即E(p)，和分别表示在第k-1次迭代后生成的像素点p对应的新像素值，和分别表示在第k-1次迭代时、双线性插值后第一位置和第二位置的像素值。
设第一数目为K，一般地，K取3～5次。在经过K次迭代后，像素点p的融合像素值为：
式中，E(p)为根据第一导向图中像素点p的梯度计算出的梯度大小值，和分别为迭代K次后像素点p的新像素值。
在第三步中，将第二步中算得的融合像素值归一化到预定范围内，再根据归一化后的像素值生成新的融合后图像EI。可选地，预定范围为50～500。
经步骤S230中的多次迭代，黑噪区域的像素值增加幅度大、但其梯度绝对值在进一步减小，而非黑噪区域的像素值增加幅度缓慢，从而进一步扩大黑噪区域和非黑噪区域之间的像素差；同时又保留了原本图像中的边缘信息，削弱了黑噪对图像梯度(即，边缘信息)的影响。
随后在步骤S240中，计算新的融合后图像EI的梯度图GradEI。同上，此处对图像梯度的计算不作展开描述，任何计算图像梯度图的算法均可以与本发明实施例相结合，实现本发明的技术效果。可选地，梯度值有正有负，将其归一化到0～255范围内。
常见的方法是采用图像的Y通道图计算梯度图，由于梯度图具备一阶微分性质，容易受到噪声即黑噪的影响，而图像边缘的梯度的绝对值本身也比较大，采用Y通道图计算梯度，会使得无法区分黑噪和边缘的梯度。而在步骤S240中采用新的融合后图像EI，在保留边缘信息的同时，削弱了黑噪变化的影响，能够有效地区分黑噪和边缘的梯度。
随后在步骤S250中，将梯度图G作为导向图、对待处理图像进行导向滤波，得到去除黑噪的图像。根据本发明的实施例，将RGB表示的待处理图像转换为YUV图像，从而提取出Y通道图像作为亮度通道图像，对该亮度通道图像Y进行导向滤波。应当注意的是，此处的亮度通道图像Y与步骤S210中的亮通道图像Light并不相同，在图像处理研究中，我们常需要将RGB图像转换到YUV颜色空间进行处理，此处不再累述。
常见的一种导向滤波计算公式如下：
Y′(p)＝A(p)G(p)+B(p)
式中，Y′(p)为导向滤波处理后的Y通道滤波结果图中像素点p的值，G(p)为导向图中像素点p的像素值，A(p)和B(p)为像素点p的计算系数。
但在导向图中，若像素值差异变化过大，容易在滤波后的图像中产生局部突兀的滤波效果，因此，根据本发明的实施方式，需要先对导向图做一定的偏移处理。也就是说，先对梯度图G进行偏移处理，得到偏移处理后的梯度图，再将偏移处理后的梯度图作为导向图、对亮度通道图像Y进行导向滤波。
根据本发明的一个实施例，对梯度图做偏移处理得到偏移处理后的梯度图的步骤包括如下1)～4)4个步骤。
1)计算梯度图G中像素值的最大值Gmax和最小值Gmin。
2)对梯度图进行分块处理，计算每个分块内像素点的均值和标准偏差值。可选地，以像素点p为中心，r为滤波半径，构建大小为(2r+1)×(2r+1)的块，计算在分块内像素点p的均值μG(p)和标准偏差σG(p)。本发明对计算均值和标准偏差的具体方式不作限制。
3)根据梯度图中每个像素点的像素值G(p)和标准偏差值σG(p)与最大值Gmax或最小值Gmin的关系计算该像素点的偏移量。可选地，对于梯度图中每个像素点p，其对应的偏移量OFF(p)定义为：
其中，G(p)为梯度图中像素点p的像素值，σG(p)为梯度图中像素点p的标准偏差值，Gmax为梯度图中像素值的最大值，Gmin为梯度图中像素值的最小值。
4)根据步骤3)中算得的偏移量对梯度图进行偏移处理，得到偏移处理后的梯度图。
经上述处理，在根据本发明的实现方式中，导向滤波的计算公式就是：
Y'(p)＝A(p)[G(p)+OFF(p)]+B(p)
式中，Y'(p)为经导向滤波后像素点p的像素值，G(p)为像素点p在导向图(也就是本方案中的梯度图)中的像素值，A(p)和B(p)为像素点p的计算系数。
根据本发明的一个实施例，A(p)和B(p)的计算公式如下：
B(p)＝μY(p)-A(p)·μG(p)
式中，Y(p)为亮度通道图像中像素点p的像素值，μY(p)为其对应的均值，μG(p)为梯度图中像素点p的均值，σG(p)为梯度图中像素点p的标准偏差。将亮度通道图像中像素点p的像素值Y(p)与梯度图中像素点p的像素值G(p)相乘得到YG(p)，由所有像素点p的像素值YG(p)组成图像YG，σYG(p)表示在图像YG中像素点p的标准偏差值。关于均值和标准偏差值的计算，已经是本领域很常见的计算，且在前文中已经介绍，此处不再展开描述。
上式中，ε决定滤波的最终效果，一般情况下，ε取固定值。对于8bit量化、0～255范围表示的图像，该固定常数通常取值为ε＝50～500。其取值过大，会导致图像过度模糊，取值过小，滤波不够干净。
然而在一些场景中，图像一般只是在局部区域存在黑噪，若计算系数采用固定的常数ε，当ε选取过大时，会导致非黑噪区域过度模糊；当ε选取过小时，黑噪区域滤波又不够彻底，达不到滤波效果。因此，根据本发明的又一实施例，根据步骤S230中求得的新的融合后图像EI，自适应调整计算系数，以达到对不同的局部区域采用不同计算系数的目的。
具体地，将计算系数A(p)的计算公式改进为：
式中，EI(p)为新的融合后图像中像素点p的像素值，σG(p)为梯度图中像素点p的标准偏差，将亮度通道图像中像素点p的像素值Y(p)与梯度图中像素点p的像素值G(p)相乘得到YG(p)，所有像素点的像素值YG(p)即构成了图像YG，σYG(p)表示在YG中像素点p的标准偏差值，β为调整系数。关于均值和标准偏差值的计算，已经是本领域很常见的计算方式，且在前文中已经介绍，此处不再展开描述。
可选地，β的取值范围为0.5～2.0。或者，β采用如下方法计算：
β＝σGave/σGmax，
式中，σGave和σGmax分别表示梯度图中所有像素点的标准偏差值的平均值和最大值。
根据本发明的另一个实施例，将计算得的所有像素点的A(p)和B(p)分别组成系数图A和B，对两张系数图A和B进行3×3的均值滤波，然后再代入导向滤波的计算公式中进行导向滤波处理，也可避免系数在局部区域变化突兀。
通过上述流程介绍，根据本发明的导向滤波方案，针对具备一阶微分信息的梯度图易受黑噪影响的问题，借助待处理图像的暗通道和亮通道构建不受黑噪影响的通道图(即EI)，使得黑噪区域的梯度变化平缓，而图像边缘的梯度仍然得到保持，并以此作为导向滤波的导向图，削弱了黑噪对梯度图的影响。另外，在对Y通道图像进行导向滤波时，引入导向偏移量，抑制了局部区域滤波时突兀的变化；同时，对于图像中的不同区域，采用不同的计算系数，保证滤波干净的同时又使得图像不会过度模糊。
应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组件可以布置在如该实施例中所描述的设备中，或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
本发明一并公开了：
A9、如A6-8中任一项所述的方法，其中，利用偏移处理后的梯度图作为导向图、对亮度通道图像进行导向滤波的步骤包括：对于像素点p，根据下式进行导向滤波：Y'(p)＝A(p)[G(p)+OFF(p)]+B(p)，其中，Y'(p)为经导向滤波后像素点p的像素值，A(p)和B(p)为像素点p的计算系数。
A10、如A9所述的方法，其中，像素点p的计算系数A(p)和B(p)采用如下方法计算：
B(p)＝μY(p)-A(p)·μG(p)，
其中，Y(p)为亮度通道图像中像素点p的像素值，μY(p)为像素点p在亮度通道图像中对应的均值，EI(p)为新的融合后图像中像素点p的像素值，μG(p)为梯度图中像素点p的均值，将亮度通道图像中像素点p的像素值Y(p)与梯度图中像素点p的像素值G(p)相乘得到YG(p)，σYG(p)表示该像素点p对应的标准偏差值，β为调整系数。
A11、如A10所述的方法，其中，β的取值范围为0.5～2.0。
A12、如A10所述的方法，其中，β采用如下方法计算：β＝σGave/σGmax，其中，σGave和σGmax分别表示梯度图中所有像素点的标准偏差值的平均值和最大值。
A13、如A1-12中任一项所述的方法，其中，计算待处理图像的暗通道图的步骤包括：对于待处理图像中的像素点p：以该像素点p为中心生成预定块；选取预定块内每个像素点的R、G、B颜色值中的最小值作为该预定块内对应像素点的像素值；选取预定块内所有像素点的像素值中的最小值，作为该像素点p的暗通道值；以及根据所有像素点的暗通道值生成暗通道图。
A14、如A1-12中任一项所述的方法，其中，计算待处理图像的亮通道图的步骤包括：对于待处理图像中的像素点p：以该像素点p为中心生成预定块；选取预定块内每个像素点的R、G、B颜色值中的最大值作为该预定块内对应像素点的像素值；选取预定块内所有像素点的像素值中的最大值，作为该像素点p的亮通道值；以及根据所有像素点的亮通道值生成亮通道图。
A15、如A1-14中任一项所述的方法，其中，将暗通道图和亮通道图进行融合生成融合后图像的步骤包括：计算暗通道图和亮通道图中对应像素点暗通道值和亮通道值的平均值；以及根据平均值生成融合后图像中该像素点的像素值。
A16、如A15所述的方法，其中，融合后图像中像素点p的像素值E(p)为：
其中，Dark(p)为像素点p在暗通道图中的暗通道值，Light(p)为像素点p在亮通道图中的亮通道值。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
这里描述的各种技术可结合硬件或软件，或者它们的组合一起实现。从而，本发明的方法和设备，或者本发明的方法和设备的某些方面或部分可采取嵌入有形媒介，例如软盘、CD-ROM、硬盘驱动器或者其它任意机器可读的存储介质中的程序代码(即指令)的形式，其中当程序被载入诸如计算机之类的机器，并被所述机器执行时，所述机器变成实践本发明的设备。
在程序代码在可编程计算机上执行的情况下，计算设备一般包括处理器、处理器可读的存储介质(包括易失性和非易失性存储器和/或存储元件)，至少一个输入装置，和至少一个输出装置。其中，存储器被配置用于存储程序代码；处理器被配置用于根据该存储器中存储的所述程序代码中的指令，执行本发明所述的方法。
以示例而非限制的方式，计算机可读介质包括计算机存储介质和通信介质。计算机可读介质包括计算机存储介质和通信介质。计算机存储介质存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息。通信介质一般以诸如载波或其它传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其它数据，并且包括任何信息传递介质。以上的任一种的组合也包括在计算机可读介质的范围之内。
此外，所述实施例中的一些在此被描述成可以由计算机系统的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此，具有用于实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外，装置实施例的在此所述的元素是如下装置的例子：该装置用于实施由为了实施该发明的目的的元素所执行的功能。
如在此所使用的那样，除非另行规定，使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例，并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。
尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。
Claims (10)
1.一种去除图像中黑噪的方法，所述方法适于在计算设备中执行，包括步骤：
根据待处理图像的颜色值生成所述待处理图像的暗通道图和亮通道图；
将所述暗通道图和亮通道图进行融合，生成融合后图像；
根据融合后图像中每个像素点的梯度方向计算得到新的融合后图像；
计算所述新的融合后图像的梯度图；以及
将所述梯度图作为导向图、对待处理图像进行导向滤波，得到去除黑噪的图像。
2.如权利要求1所述的方法，其中，根据融合后图像中每个像素点的梯度方向计算得到新的融合后图像的步骤包括：
对于融合后图像中的每个像素点，根据所述像素点的梯度方向计算该像素点新的像素值；
重复迭代第一数目次计算新像素值的步骤生成每个像素点的融合像素值；以及
根据每个像素点的融合像素值生成新的融合后图像。
3.如权利要求2所述的方法，其中，根据像素点的梯度方向计算该像素点新的像素值的步骤包括：
计算所述像素点的梯度方向，并生成垂直于所述梯度方向的单位向量；
根据所述单位向量计算所述像素点的第一位置和第二位置；
分别对所述第一位置和第二位置进行双线性插值得到第一位置的像素值和第二位置的像素值；以及
根据该像素点的像素值和双线性插值后第一位置、第二位置的像素值分别计算该像素点对应的新像素值。
4.如权利要求3所述的方法，其中，
若像素点p的位置为(x,y)，垂直于像素点p的梯度方向的单位向量为(nx,ny)，则，像素点p的第一位置为像素点p的第二位置为
5.如权利要求2-4中任一项所述的方法，其中，所述根据每个像素点的融合像素值生成新的融合后图像的步骤包括：
将经第一数目次迭代后生成的每个像素点的融合像素值归一化到预定范围内；以及
根据归一化后的像素值生成新的融合后图像。
6.如权利要求1-5中任一项所述的方法，其中，所述将梯度图作为导向图、对待处理图像进行导向滤波的步骤包括：
提取待处理图像的亮度通道图像；
对所述梯度图做偏移处理，得到偏移处理后的梯度图；以及
将所述偏移处理后的梯度图作为导向图、对所述亮度通道图像进行导向滤波。
7.如权利要求6所述的方法，其中，所述对梯度图做偏移处理得到偏移处理后的梯度图的步骤包括：
计算所述梯度图中像素值的最大值和最小值；
对所述梯度图进行分块处理，计算每个分块内像素点的标准偏差值；
根据梯度图中每个像素点的像素值和标准偏差值与最大值或最小值的关系计算该像素点的偏移量；以及
根据所述偏移量对所述梯度图进行偏移处理，得到偏移处理后的梯度图。
8.如权利要求7所述的方法，其中，对于所述梯度图中每个像素点p，其对应的偏移量OFF(p)定义为：
其中，G(p)为梯度图中像素点p的像素值，σG(p)为梯度图中像素点p的标准偏差值，Gmax为梯度图中像素值的最大值，Gmin为梯度图中像素值的最小值。
9.一种计算设备，包括：
一个或多个处理器；和
存储器；
一个或多个程序，其中所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求1-8所述方法中的任一方法的指令。
10.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当计算设备执行时，使得所述计算设备执行根据权利要求1-8所述的方法中的任一方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710693456.4A CN107492078B (zh) | 2017-08-14 | 2017-08-14 | 一种去除图像中黑噪的方法及计算设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710693456.4A CN107492078B (zh) | 2017-08-14 | 2017-08-14 | 一种去除图像中黑噪的方法及计算设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107492078A true CN107492078A (zh) | 2017-12-19 |
| CN107492078B CN107492078B (zh) | 2020-04-07 |
Family
ID=60645532
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710693456.4A Active CN107492078B (zh) | 2017-08-14 | 2017-08-14 | 一种去除图像中黑噪的方法及计算设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107492078B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111275139A (zh) * | 2020-01-21 | 2020-06-12 | 杭州大拿科技股份有限公司 | 手写内容去除方法、手写内容去除装置、存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104268907A (zh) * | 2014-09-23 | 2015-01-07 | 西安电子科技大学 | 基于引导滤波与剪切滤波的红外图像压缩感知重构方法 |
| CN105335970A (zh) * | 2015-10-19 | 2016-02-17 | 中国科学院长春光学精密机械与物理研究所 | 基于改进梯度矢量模型的红外图像分割方法 |
| CN105809643A (zh) * | 2016-03-14 | 2016-07-27 | 浙江外国语学院 | 一种基于自适应块通道拉伸的图像增强方法 |
| CN106157261A (zh) * | 2016-06-23 | 2016-11-23 | 浙江工业大学之江学院 | 平移不变性的shearler变换医学图像去噪方法 |
| CN106934806A (zh) * | 2017-03-09 | 2017-07-07 | 东南大学 | 一种基于结构清晰度的无参考图失焦模糊区域分割方法 |
-
2017
- 2017-08-14 CN CN201710693456.4A patent/CN107492078B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104268907A (zh) * | 2014-09-23 | 2015-01-07 | 西安电子科技大学 | 基于引导滤波与剪切滤波的红外图像压缩感知重构方法 |
| CN105335970A (zh) * | 2015-10-19 | 2016-02-17 | 中国科学院长春光学精密机械与物理研究所 | 基于改进梯度矢量模型的红外图像分割方法 |
| CN105809643A (zh) * | 2016-03-14 | 2016-07-27 | 浙江外国语学院 | 一种基于自适应块通道拉伸的图像增强方法 |
| CN106157261A (zh) * | 2016-06-23 | 2016-11-23 | 浙江工业大学之江学院 | 平移不变性的shearler变换医学图像去噪方法 |
| CN106934806A (zh) * | 2017-03-09 | 2017-07-07 | 东南大学 | 一种基于结构清晰度的无参考图失焦模糊区域分割方法 |
Non-Patent Citations (3)
| Title |
|---|
| CHONGYI LI 等: "A hybrid method for underwater image correction", 《PATTERN RECOGNITION LETTERS》 * |
| 田原嫄 等: "亚像素边缘定位算法过滤噪声的分析", 《东北电力大学学报》 * |
| 鞠铭烨 等: "基于雾气浓度估计的图像去雾算法", 《自动化学报》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111275139A (zh) * | 2020-01-21 | 2020-06-12 | 杭州大拿科技股份有限公司 | 手写内容去除方法、手写内容去除装置、存储介质 |
| CN111275139B (zh) * | 2020-01-21 | 2024-02-23 | 杭州大拿科技股份有限公司 | 手写内容去除方法、手写内容去除装置、存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107492078B (zh) | 2020-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106971165B (zh) | 一种滤镜的实现方法及装置 | |
| US9813614B2 (en) | Method and system for analog/digital image simplification and stylization | |
| CN110610237A (zh) | 模型的量化训练方法、装置及存储介质 | |
| CN107454284A (zh) | 一种视频去噪方法及计算设备 | |
| US20140079319A1 (en) | Methods for enhancing images and apparatuses using the same | |
| CN107948529A (zh) | 图像处理方法及装置 | |
| CN109978063A (zh) | 一种生成目标对象的对齐模型的方法 | |
| CN109544482A (zh) | 一种卷积神经网络模型生成方法及图像增强方法 | |
| CN109840912A (zh) | 一种图像中异常像素的修正方法及计算设备 | |
| CN109978788A (zh) | 卷积神经网络生成方法、图像去马赛克方法及相关装置 | |
| CN107886516A (zh) | 一种计算人像中发丝走向的方法及计算设备 | |
| CN107481203A (zh) | 一种图像导向滤波方法及计算设备 | |
| CN109859217A (zh) | 人脸图像中毛孔区域的分割方法及计算设备 | |
| CN110148088A (zh) | 图像处理方法、图像去雨方法、装置、终端及介质 | |
| CN108921810A (zh) | 一种颜色迁移方法及计算设备 | |
| CN107808404A (zh) | 图像处理方法、系统、可读存储介质及移动摄像设备 | |
| CN109727211A (zh) | 一种图像去噪方法、装置、计算设备及介质 | |
| CN107492078A (zh) | 一种去除图像中黑噪的方法及计算设备 | |
| CN113450282A (zh) | 美化图像的方法和系统 | |
| CN110473281A (zh) | 三维模型的描边处理方法、装置、处理器及终端 | |
| CN115937029A (zh) | 一种水下图像增强方法 | |
| US20210374916A1 (en) | Storage medium storing program, image processing apparatus, and training method of machine learning model | |
| CN111382772B (zh) | 一种图像处理方法、装置及终端设备 | |
| JP4765667B2 (ja) | 画像処理プログラムおよび画像処理装置 | |
| CN115829827A (zh) | 人脸图像处理方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |