CN106161878A - 用于低光降噪的分量滤波 - Google Patents
用于低光降噪的分量滤波 Download PDFInfo
- Publication number
- CN106161878A CN106161878A CN201610649854.1A CN201610649854A CN106161878A CN 106161878 A CN106161878 A CN 106161878A CN 201610649854 A CN201610649854 A CN 201610649854A CN 106161878 A CN106161878 A CN 106161878A
- Authority
- CN
- China
- Prior art keywords
- edge pixels
- value
- pixel region
- edge
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001914 filtration Methods 0.000 title claims abstract description 63
- 230000009467 reduction Effects 0.000 title abstract description 4
- 230000003287 optical effect Effects 0.000 claims abstract description 21
- 238000000034 method Methods 0.000 claims description 52
- 238000001514 detection method Methods 0.000 claims description 13
- 230000008859 change Effects 0.000 claims description 4
- 238000009826 distribution Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 7
- 230000000877 morphologic effect Effects 0.000 description 5
- 101000911390 Homo sapiens Coagulation factor VIII Proteins 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 102000057593 human F8 Human genes 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 229940047431 recombinate Drugs 0.000 description 2
- 241000143372 Idaea ochrata Species 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/142—Edging; Contouring
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
- G06T2207/20012—Locally adaptive
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
本发明涉及一种用于低光降噪的分量滤波。总的来说,在一个实施例中,通过对图像的亮度分量和色度分量分别地滤波,通过至少部分地基于图像的高斯分布自适应地对图像滤波,和/或通过将图像划分成分开的区域并分别地对每个区域滤波来从图像移除低光噪声。
Description
本申请是申请号为201180062954.X、申请日为2011年11月15日、名称为“用于低光降噪的分量滤波”的发明专利申请的分案申请。
相关申请
本申请要求2010年11月19日提交的美国专利申请序列号12/950,664;2010年11月19日提交的美国专利申请序列号12/950,666;以及2010年11月19日提交的美国专利申请序列号12/950,671的优先权,这些专利申请的全部公开内容通过引用方式并入本文。
技术领域
本发明的实施例总的来说涉及视频信号处理,并且更具体地来说涉及处理视频信号以移除由低光噪声导致的假象。
背景技术
低光图像尤其容易因光检测传感器导致的噪声(即,低光假象)而劣化。例如,视频或照相机可能在低光状况中捕获到非期望的颗粒或变色。此噪声可能导致不相关的像素,并且由此导致视频编码算法(例如,MPEG4和H.264)的压缩效率降低。许多应用(如安全性摄像器)捕获到低光图像并且需要巨大量的存储空间来用于存储这些图像,并且所需存储器空间上的任何减少都可能导致更具成本效率的应用,存储的图像或视频帧的数量增加或用于传送这些图像的网络通信量减少。因此,有许多工作致力于检测和消除低光噪声。
但是,先前的工作(如变换域方法、DCT、小波(wavelet)或其他统计方法)存在缺点。这些方法为计算上密集且需要显著大量的计算资源,这样对于低功率便携式或其他装置可能不可用。再者,这些方法不可基于可用资源或源图像的复杂度进行调整,进一步将资源浪费在简单的图像上或在可能不需要附加资源或没有附加资源可用的高负荷状况期间浪费资源。
发明内容
总的来说,本文描述的系统和方法的各个方面使用高斯分布和相关性技术来从取自视频或照相机的图像中移除不相关的低光噪声。可以将这些图像分离成亮度和色度分量,并分别地对其进行滤波。根据图像的复杂度和可用的资源,可以使用不同的滤波器。这些滤波器可以通过使用边缘检测和膨胀滤波器来适应图像中的变化,从而保留特征边缘处的高频细节。再者,可以将图像分成多个部分,对其分别地进行滤波并且重组。
总的来说,在一个方面中,一种用于从低光图像移除噪声的系统包括亮度滤波器电路、色度滤波器电路和相加电路。亮度滤波器电路通过对低光图像的亮度分量应用第一滤波器来创建经过滤波的亮度分量,而色度滤波器电路通过对低光图像的色度分量应用第二滤波器来创建经过滤波的色度分量。相加电路将经过滤波的亮度分量与经过滤波的色度分量组合,从而产生经过滤波的低光图像。
在多种实施例中,亮度滤波器电路从多个可用滤波器中选择第一滤波器,并且该选择可至少部分地基于多个可用滤波器中每个滤波器的计算成本和/或亮度分量的复杂度。第一滤波器可以是低通均值滤波器、中值滤波器和/或基于边缘检测的自适应滤波器;第二滤波器可以是低通均值滤波器和/或时间均值滤波器。图像可以是静态图像和/或视频帧。
总的来说,在另一个方面中,一种用于从低光图像移除噪声的方法包括通过对低光图像的亮度分量应用第一滤波器来创建经过滤波的亮度分量。通过对低光图像的色度分量应用第二滤波器来创建经过滤波的色度分量。将经过滤波的亮度分量与经过滤波的色度分量组合,以产生经过滤波的低光图像。
在多种实施例中,第一滤波器选自多个可用滤波器。第一滤波器的选择可至少部分地基于多个可用滤波器中每个滤波器的计算成本和/或亮度分量的复杂度。第一滤波器可以是低通均值滤波器、中值滤波器和/或基于边缘检测的自适应滤波器;第二滤波器可以是低通均值滤波器和/或时间均值滤波器。图像可以是静态图像和/或视频帧。
总的来说,在另一个方面中,一种用于从低光图像滤除噪声的自适应滤波器包括形态滤波器和比较滤波器。形态滤波器通过将图像中检测到的边缘膨胀而将图像划分成非边缘区域和膨胀的边缘区域。比较滤波器将非边缘区域中的像素与该像素周围的区域比较,并且基于比较结果可选地将该像素替换为至少部分地从该像素周围的区域得出的新像素。
在多种实施例中,差分滤波器检测图像中的边缘且/或形态滤波器包括膨胀滤波器。膨胀滤波器可以是3×4膨胀滤波器,并且该像素周围的区域可以对应于3×3像素区域。自适应滤波器可以将像素与该像素周围的区域的平均值之间的差与该像素周围的区域的方差比较。该方差可为该像素周围的区域的高斯分布的方差;可以包括一种电路来计算该像素周围的区域的高斯分布的方差。该平均值可为该像素周围的区域的高斯分布的平均值;可以包括一种电路来计算该像素周围的区域的高斯分布的平均值。
比较滤波器可以至少部分地基于该像素周围的区域的中值和/或该像素周围的区域的低通滤波器值来得出新像素。比较滤波器可以将邻近该像素的第二像素替换为新像素;该像素可以是偶数像素,并且该第二像素可以是奇数像素。或者,比较滤波器可以保留该像素。
总的来说,在另一个方面中,一种用于自适应地从低光图像滤除噪声的方法包括膨胀在图像中检测到的边缘以将图像划分成非边缘区域和膨胀的边缘区域。将非边缘区域中的像素与该像素周围的区域比较。基于比较结果,可选地将该像素替换为至少部分地从该像素周围的区域得出的新像素。
在多种实施例中,可以在图像中检测边缘。将像素与该像素周围的区域比较可以包括,将该像素与该像素周围的区域的方差之间的差与该像素周围的区域的方差平均值比较。该方差是可为该像素周围的区域的高斯分布的方差,以及并且该平均值是可为该像素周围的区域的高斯分布的平均值。可以至少部分地基于该像素周围的区域的中值和/或该像素周围的区域的低通滤波器值来导得出新像素。可以将邻近该像素的第二像素替换为新像素,;该像素可以是偶数像素,以及并且该第二像素可以是奇数像素。作为备选或者,比较滤波器可以保留该像素。
总的来说,在一个方面中,一种用于从低光图像移除噪声的系统包括划分电路、滤波器电路和重组电路。划分电路将图像划分成多个图像区域。滤波器电路通过对多个图像区域中的每个图像区域的亮度分量应用第一滤波器来创建多个经过滤波的图像区域。重组电路将多个经过滤波的图像区域组合成经过滤波的图像。
在多种实施例中,滤波器电路一次对一个图像区域应用第一滤波器。或者,滤波器电路可以一次对多于一个图像区域应用第一滤波器。图像区域可以包括正方形拼块、矩形拼块、行或列。第一滤波器可以是低通均值滤波器、中值滤波器和/或自适应滤波器;自适应滤波器可以包括形态滤波器和/或比较滤波器。第二滤波器可以将多个图像区域中的每个图像区域的色度分量滤波,而重组电路可以将每个图像区域的经过滤波的亮度分量与每个图像区域的对应的经过滤波的色度分量组合。重组电路可以存储与图像块、图像行和/或图像列相关的历史信息。
总的来说,在另一个方面中,一种方法从低光图像移除噪声。将图像划分成多个图像区域。对多个图像区域中的每个图像区域的亮度分量应用的第一滤波器创建多个经过滤波的图像区域。将多个经过滤波的图像区域组合成经过滤波的图像。
在多种实施例中,依序对每个图像区域应用第一滤波器。或者,可以并行地对多个图像区域应用第一滤波器。应用第一滤波器可以包括对图像区域进行滤波、对图像区域进行中值滤波和/或对图像区域进行自适应地滤波(其可以包括对照相邻像素来比较像素,并且可选地替换该像素)。可以对多个图像区域中每个图像区域的色度分量滤波。可以将每个图像区域的经过滤波的亮度分量与每个图像区域的对应的经过滤波的色度分量组合。可以存储与图像块、图像行和/或图像列相关的历史信息。
通过参考下文描述、附图和权利要求书,本文公开的本发明的这些和其他目标连同优点和特征将更为显而易见。再者,要理解本文描述的多种实施例的特征并非互斥的,并且可以以多种组合和排列的形式存在。
附图说明
在这些附图中,多个不同视图中相似的引用符号一般指代相同的部分。在下文描述中,本发明的多种实施例参考下面附图来进行描述,其中:
图1是根据本发明实施例的用于从低光图像移除噪声的系统的框图;
图2是图示根据本发明实施例的用于从低光图像移除噪声的方法的流程图;
图3是根据本发明实施例的自适应滤波器的框图;
图4是根据本发明实施例的低光图像分量的示例;
图5是图示根据本发明实施例的用于自适应地从低光图像滤除噪声的方法的流程图;
图6是根据本发明实施例的用于划分图像以从其中移除低光噪声的系统的框图;以及
图7是图示根据本发明实施例的用于划分图像以便从其中移除低光噪声的方法的流程图。
具体实施方式
图1图示用于从低光图像移除噪声的系统100。正如本领域技术人员将理解的,可以将源图像102分离成明亮度分量104和颜色分量106。明亮度分量104也可称为Y或亮度分量;颜色分量106也可以称为UV或色度分量。在一个实施例中,使用不同的滤波器分别地对明亮度分量104和颜色分量106滤波。一旦将明亮度分量104和颜色分量106进行了滤波,则可以将它们组合以重新创建原图像102的滤波版本或作为分开的分量进一步处理。
开关108的网络选择三个滤波器110、112、114的其中之一用于图像102的明亮度分量104。但是,系统100可以包括任何数量的明亮度分量滤波器,包括一个滤波器,并且本发明不限于任何具体数量或类型的滤波器。在一个实施例中,如果源图像102简单、如果只需小程度的滤波和/或如果系统资源受限,则开关108可以选择低通均值滤波器110。低通均值滤波器110使明亮度分量104中的高频信号衰减,同时允许低频信号通过。在一个实施例中,低通均值滤波器110对明亮度分量104执行模糊功能。
对于中等复杂度的图像,如果需要中等量的滤波和/或如果有平均量的系统资源可用,则可以使用中值滤波器112来对明亮度分量104滤波。正如本领域技术人员将理解的,中值滤波器112逐个像素地处理明亮度分量104,并将每个像素替换为该像素与其周围像素的中值。例如,中值滤波器112可以考虑所关注像素周围3×3的像素窗口(即总共9个像素)。中值滤波器112按其明亮度值将9个像素排序,选择中间(即,第5个)位置中的值,并将所关注的像素替换为所选的值。在一个实施例中,滤波器112是排序或排序中值滤波器,并且可以选择排序的像素列表中任何位置(例如,第3或第6个位置)中的像素。在一个实施例中,如果所选的值与原值之间的绝对差大于阈值,则保留原值;如果此差小于或等于阈值,则赋予排序的值。
对于高复杂度的图像,如果需要大量的滤波和/或如果有大量系统资源可用,则可以使用自适应滤波器114来对明亮度分量104滤波。自适应滤波器114基于动态确定的明亮度分量104的特征来选择滤波技术,如下文更详细予以解释的。
可以使用低通均值滤波器116(例如,5×5低通均值滤波器)来对颜色分量106滤波。在一个实施例中,颜色分量106不如明亮度分量复杂,且/或受低光噪声影响较小,并且由此需要较少滤波。滤波器116可以是具有绝对差值求和(SAD)的时间均值滤波器或任何其他类型的类似滤波器。系统100可以包括多于一个的颜色分量滤波器116,并且多个颜色分量滤波器116的其中之一可以基于颜色分量106的复杂度、系统资源的可用性和/或期望的滤波质量水平来选择。
图2图示用于从低光图像移除噪声的流程图200。对低光图像的亮度分量应用第一滤波器(步骤202),并且对低光图像的色度分量应用第二滤波器(步骤204)。将经过滤波的亮度分量与经过滤波的色度分量组合,以产生经过滤波的低光图像(步骤206)。第一滤波器可以是低通均值滤波器110、中值/排序中值滤波器112,或基于边缘/高斯分布的自适应滤波器114,如上文所述,而第二滤波器可以是低通或时间均值滤波器116。
图3是自适应滤波器114的一个实现300的图示。边缘差分滤波器302检测图像102的亮度分量104中的边缘。边缘差分滤波器302也可以称为差分滤波器。边缘差分滤波器302可以检测亮度分量104中的边缘,同时保留其中的高频细节。边缘检测过程将亮度分量中的像素划分成边缘像素和非边缘像素。
基于膨胀的滤波器304通过将边缘检测的结果分布到相邻像素来修改边缘差分滤波器302的输出。可以修改基于膨胀的滤波器以便易于在例如嵌入式和/或DSP平台上实现。例如,如果膨胀一行上的4个像素,则可以根据像素的位置将这4个像素移位,以与字边界对齐。在多种实施例中,基于膨胀的滤波器304是形态滤波器、3×4膨胀滤波器或4×3膨胀滤波器。基于膨胀的滤波器304可以将被指定为边缘像素的像素的区域扩大或膨胀以并入其他相邻像素。例如,具有与其相邻像素不同的明暗度的像素可能是低光噪声所致,但是如果该像素的位置靠近检测到的边缘,则该像素可能反而是所捕获的图像的真实物理特征的结果。基于膨胀的滤波器304通过将靠近检测到的边缘出现的此类像素与边缘像素相关来防止将其错误地指定为噪声产生的像素。
然后,对照相邻像素区域(例如,相邻的3×3像素块)分析膨胀的亮度分量104中的每个非边缘像素。取决于如通过高斯分布引擎306计算的所分析的像素与其相邻像素之间的差,根据赋值单元308-312对该像素赋予新值,并由输出单元314输出。
更详细地来说,高斯分布引擎306计算所分析的像素周围的块或窗口的高斯分布的平均值和方差。计算该像素与块的平均值的离差,并将其与方差比较。如果像素与方差之间的差远大于平均值(例如,比标准离差的三倍大),则该像素可能是低光噪声所致。在此情况中,中值块308将该像素替换为像素块的中值。如果像素与方差之间的差接近平均值,则低通滤波器310将所分析的像素替换为对像素块进行低通滤波的结果。如果像素与方差之间的差小于平均值,则像素块213保持不变地将所分析的像素传递到输出块314。
总的来说,赋值单元308-312采用的算法可以通过如下等式来概括:
如果{(分析的像素)-(像素块的平均值)}>N×(像素块的方差):
输出=像素块的中值 (1)
如果{(分析的像素)-(像素块的平均值)}>M×(像素块的方差):
输出=像素块的低通滤波的结果 (2)
如果{(分析的像素)-(像素块的平均值)}>P×(像素块的方差):
输出=原分析的像素 (3)
其中P≤M≤N。即,对于大的差,对输出314赋予中值308,对于中等的差,赋予低通滤波器310的结果,以及对于小的差,保留原像素312。在一个实施例中,通过特殊分配的硬件执行上面等式(1)-(3)执行的运算。在另一个实施例中,由中值滤波器112执行中值运算,并且由低通均值滤波器110执行低通滤波,如图1所示。
图4图示示范亮度分量400。在图像区域404与406之间检测到边缘402。如上文描述的,可以由基于膨胀的滤波器304将靠近边缘402的像素408指定为边缘像素。可以分析第一像素410,并将其与其3×3的周围像素412比较。在此情况中,因为分析的像素410和像素块412的平均值之间的差远大于(即,大于阈值N)像素块412的方差(即,像素410与其相邻像素412的亮度值之间存在大差异),则将像素410替换为3×3的周围像素412的中值。
在另一个示例中,分析另一个像素414,并将其与其周围像素416比较。此处,因为在与像素块412的方差比较时,分析的像素414和像素块412的平均值之间的差小于第一阈值N但是大于第二阈值M,所以将像素414替换为对块416低通滤波的结果。最后,因为在与像素块420的方差比较时,第三分析的像素418与其周围像素块420的平均值之间的差远小于阈值P,所以像素418保持不变。
在一个实施例中,上文描述的系统300分析亮度分量104中的每个像素。在其他实施例中,系统300仅分析亮度分量104中的总体像素的一个子集。例如,系统300可以仅分析亮度分量104中的偶数编号的像素(例如,每隔一个像素的像素)。可以将分析偶数编号的像素的结果不仅应用到该像素本身,而且还应用于相邻奇数编号的像素(例如,同一行中与所分析的偶数编号的像素相邻的像素)。因为两个像素相邻,所以对一个像素计算的结果可能与相邻像素的未计算的结果相似,并且将分析的像素的结果应用于这两个像素可能仅产生小的误差。可以选择其他像素子集(如奇数像素、每隔N-1个像素的像素、对角线像素或多个行/列的像素)用于分析。如上文示例中,分析的像素可以构成总像素的50%,或可以构成总像素的任何其他百分比。
图5是图示用于自适应地从低光图像滤除噪声的方法的流程图500。使用例如上文描述的边缘差分滤波器302和基于膨胀的滤波器304将图像中检测到的边缘膨胀(步骤502)。边缘检测和膨胀将图像划分成边缘像素和非边缘像素,并将非边缘区域中的像素与像素周围的区域比较(步骤504)。根据比较的结果,如上文描述的,可选地替换非边缘像素(步骤506)。
图6是用于通过将图像划分成子区域而从低光图像移除噪声的系统的框图600。划分电路602将图像划分成两个或更多个区域,而滤波器电路604对每个区域的亮度分量应用第一滤波器。一旦已将每个区域滤波,则重组电路606将每个经过滤波的区域组合以创建经过滤波的图像。总的来说,这些区域可以是任何M×N的大小,例如16×16个像素。
在一个实施例中,系统600可以用于将图像划分成与可用滤波器电路604的数量对应的数量的区域。每个滤波器电路604可以包括用于从每个区域移除低光噪声的系统100,如图1所示。滤波器电路604可以包括用于对亮度分量滤波的第一滤波器和用于对色度分量滤波的第二滤波器。然后,可以并行地同时对多个区域滤波,从而减少对整个图像滤波所需的时间。在其他实施例中,区域的数量大于滤波器电路604的数量,并且并行地处理一些区域,而将其他区域排队。
在另一个实施例中,仅使用一个滤波器电路604来依序处理每个图像区域。在此实施例中,可以按可用的存储器或其他存储空间的量和/或滤波器电路604的能力来定义图像区域的大小。可以将区域的大小调整为消耗更多或更少的资源,这取决于特定应用的约束。例如,具有非常有限的存储器的应用可能需要小的区域。可以存储和管理区域或图像的行和列的历史信息,以便在切换和/或组合图像区域时易于数据移动。
图7图示用于通过将图像划分成子区域以从低光图像移除噪声的方法700。将图像划分成多个区域(步骤702),并对每个区域的亮度分量(依序或并行地)应用第一滤波器(步骤704)。将分别滤波的区域组合成经过滤波的图像(步骤706)。
应用第一滤波器可以包括对区域进行低通滤波、对区域进行中值滤波和/或对区域进行自适应地滤波,如上文参考图1所述。自适应滤波器将区域中的像素与相邻像素比较,并且可选地替换它。又如上文所述,还可以由划分电路602将图像的色度分量分解成图像区域,以第二滤波器对其进行滤波,并由重组电路606将其重组。色度分量的图像区域的大小可以与亮度分量的图像区域的大小相同或不同。在一个实施例中,作为整体图像处理色度分量,因为其具有较低复杂度,而将亮度分量划分并分别地处理。
本发明的实施例可以作为硬件、软件和/或固件来提供。例如,系统100、300、600可以在嵌入式装置(如ASIC、FPGA、微控制器或其他类似装置)中实现,并且可以被包括在视频或照相机中。在其他实施例中,系统100、300、600的元件可以在软件中实现,并且被包括在桌上型计算机、笔记本计算机、上网本计算机或手持计算机上。在这些实施例中,上网摄像头、蜂窝电话摄像头或其他类似装置可以捕获图像或视频,并且系统100、300、600可以从其中移除低光噪声。本发明还可以作为在一个或多个制造品上或中体现的一个或多个计算机可读程序来提供。该制造品可以是任何适合的硬件设备,例如软盘、硬盘、CD ROM光盘、DVDROM光盘、蓝光光盘、闪存卡、PROM、RAM、ROM或磁带。总的来说,计算机可读程序可以采用任何编程语言来实现。可以使用的语言的一些示例包括C、C++或JAVA。还可以将软件程序进一步解释成机器语言或虚拟机指令,并以该形式将其存储在程序文件中。然后,可以将程序文件存储在一个或多个制造品上或其中。
上文描述了本发明的某些实施例。但是,要明确地注意,本发明并不限于这些实施例,而是对本文明确描述的内容的添加和修改也旨在被包含在本发明的范围内。而且,要理解本文描述的多种实施例的特征并非互斥的,并且可以采用多种组合和排列的形式存在,即使此类组合或排列未在本文中明确给出,而不背离本发明的精神和范围。实际上,在不背离本发明的精神和范围的前提下,本领域普通技术人员将设想到本文描述的内容的变化、修改和其他实现。因此,本发明不应仅由前文说明性描述来定义。
Claims (22)
1.一种用于从图像移除噪声的系统,所述系统包括:
基于边缘检测的自适应滤波器,其被配置为:
识别所述图像中的边缘像素和非边缘像素;
基于至少一个非边缘像素与周围像素区域的比较是否表明所述至少一个非边缘像素是低光噪声所致,从用于非边缘像素的多个滤波技术中选择用于所述至少一个非边缘像素的滤波技术;以及
通过将所选择的滤波技术应用于所述图像来产生变换图像。
2.根据权利要求1所述的系统,其中所述基于边缘检测的自适应滤波器包括边缘差分滤波器,所述边缘差分滤波器被配置为将所述图像的像素分为边缘像素和非边缘像素。
3.根据权利要求1所述的系统,其中基于边缘检测的自适应滤波器包括基于膨胀的滤波器,所述基于膨胀的滤波器被配置为将边缘像素的区域膨胀为包括非边缘像素。
4.根据权利要求1所述的系统,进一步包括高斯分布引擎,所述高斯分布引擎被配置为计算所述周围像素区域的高斯分布的平均值和方差。
5.根据权利要求4所述的系统,其中所述高斯分布引擎进一步被配置为通过下述方式比较所述至少一个非边缘像素与所述周围像素区域:
确定所述至少一个非边缘像素的值与所述周围像素区域的平均值之间的差;以及
基于所述周围像素区域的方差和所述差的比较来选择滤波技术。
6.根据权利要求1所述的系统,其中所述比较的结果是表明所述至少一个非边缘像素是低光噪声所致的似然比的数值,所述系统进一步包括:
中值滤波器,所述中值滤波器被配置为确定所述周围像素区域的中值,
其中将所选择的滤波技术应用于所述图像包括当所述比较的结果大于第一阈值时,用所述中值替换所述至少一个非边缘像素的原始值。
7.根据权利要求20所述的系统,其中所述基于边缘检测的自适应滤波器被配置为输出所述低通滤波值、所述中值或所述原始值。
8.根据权利要求2所述的系统,其中所述基于边缘检测的自适应滤波器包括基于膨胀的滤波器,所述基于膨胀的滤波器被配置为通过将边缘检测的结果分布到相邻像素来修改所述边缘差分滤波器的输出。
9.一种用于从图像移除噪声的方法,所述方法包括:
识别边缘像素和非边缘像素;
基于至少一个非边缘像素与周围像素区域的比较是否表明所述至少一个非边缘像素是低光噪声所致,从用于非边缘像素的多个滤波技术中选择用于所述至少一个非边缘像素的滤波技术;以及
通过将所选择的滤波技术应用于所述图像来产生变换图像。
10.根据权利要求9所述的方法,其中识别边缘像素和非边缘像素包括将边缘像素的区域膨胀为包括非边缘像素。
11.根据权利要求9所述的方法,其中基于所述至少一个非边缘像素与周围像素区域的比较来选择用于所述至少一个非边缘像素的滤波技术包括:
确定所述周围像素区域的平均值;
确定所述周围像素区域的方差;
确定所述至少一个非边缘像素的原始值与周围像素区域的平均值之间的差;以及
基于所述周围像素区域的方差和所述差的比较来确定所述至少一个非边缘像素的赋予值。
12.根据权利要求11所述的方法,其中所述比较的结果是表明所述至少一个非边缘像素是低光噪声所致的似然比的数值,并且其中确定所述至少一个非边缘像素的赋予值包括:
当所述比较的结果大于第一阈值时,确定所述周围像素区域的中值并且赋予所述至少一个非边缘像素所述中值;
当所述比较的结果小于第一阈值且大于第二阈值时,确定所述周围像素区域的低通滤波值并且赋予所述至少一个非边缘像素所述低通滤波值;以及
当所述比较的结果小于第二阈值时,赋予所述至少一个非边缘像素所述原始值。
13.根据权利要求11所述的方法,其中确定所述平均值和方差包括确定所述周围像素区域的高斯分布的平均值和方差。
14.根据权利要求9所述的方法,进一步包括:
定义第一阈值N、第二阈值M以及第三阈值P,其中P≤M≤N;以及
基于所述至少一个非边缘像素与所述周围像素区域的比较来输出所述至少一个非边缘像素的值。
15.根据权利要求11所述的方法,其中所述比较的结果是表明所述至少一个非边缘像素是低光噪声所致的似然比的数值,并且其中所述方法进一步包括:
确定所述周围像素区域的中值,并且当所述比较的结果大于第一阈值时,用所述中值替换所述至少一个非边缘像素。
16.根据权利要求9所述的方法,其中所述周围像素区域是相邻的3×3像素块。
17.一种非易失性介质,包括用于执行以从图像移除噪声的程序,所述程序当被处理器执行时,可操作以执行如下操作:
识别所述图像中的边缘像素和非边缘像素;
基于至少一个非边缘像素与周围像素区域的比较是否表明所述至少一个非边缘像素是低光噪声所致,从用于非边缘像素的多个滤波技术中选择用于所述至少一个非边缘像素的滤波技术;以及
通过将所选择的滤波技术应用于所述图像来产生变换图像。
18.根据权利要求17所述的非易失性介质,其中基于所述至少一个非边缘像素与周围像素区域的比较来选择用于所述至少一个非边缘像素的滤波技术包括:
确定所述周围像素区域的平均值;
确定所述周围像素区域的方差;
确定所述至少一个非边缘像素的原始值与周围像素区域的平均值之间的差;以及
基于所述周围像素区域的方差和所述差的比较来确定所述至少一个非边缘像素的赋予值。
19.根据权利要求18所述的非易失性介质,其中所述比较的结果是表明所述至少一个非边缘像素是低光噪声所致的似然比的数值,并且其中确定所述至少一个非边缘像素的赋予值包括:
当所述比较的结果大于第一阈值时,确定所述周围像素区域的中值并且赋予所述至少一个非边缘像素所述中值;
当所述比较的结果小于第一阈值且大于第二阈值时,确定所述周围像素区域的低通滤波值并且赋予所述至少一个非边缘像素所述低通滤波值;以及
当所述比较的结果小于第二阈值时,赋予所述至少一个非边缘像素所述原始值。
20.根据权利要求6所述的系统,进一步包括:
低通滤波器,所述低通滤波器被配置为确定所述周围像素区域的低通滤波值,
其中将所选择的滤波技术应用于所述图像包括当所述比较的结果小于第一阈值且大于第二阈值时,用所述低通滤波值替换所述至少一个非边缘像素的原始值。
21.根据权利要求15所述的方法,进一步包括:
确定所述周围像素区域的低通滤波值,并且当所述比较的结果小于第一阈值且大于第二阈值时,用所述低通滤波值替换所述至少一个非边缘像素。
22.根据权利要求17所述的非易失性介质,其中所述比较的结果是表明所述至少一个非边缘像素是低光噪声所致的似然比的数值,并且其中所述操作进一步包括:
确定所述周围像素区域的中值,并且当所述比较的结果大于第一阈值时,用所述中值替换所述至少一个非边缘像素;以及
确定所述周围像素区域的低通滤波值,并且当所述比较的结果小于第一阈值且大于第二阈值时,用所述低通滤波值替换所述至少一个非边缘像素。
Applications Claiming Priority (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/950,671 US20120128244A1 (en) | 2010-11-19 | 2010-11-19 | Divide-and-conquer filter for low-light noise reduction |
US12/950,666 | 2010-11-19 | ||
US12/950,666 US8699813B2 (en) | 2010-11-19 | 2010-11-19 | Adaptive filter for low-light noise reduction |
US12/950,664 US8755625B2 (en) | 2010-11-19 | 2010-11-19 | Component filtering for low-light noise reduction |
US12/950,671 | 2010-11-19 | ||
US12/950,664 | 2010-11-19 | ||
CN201180062954.XA CN103270746B (zh) | 2010-11-19 | 2011-11-15 | 用于低光降噪的分量滤波 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201180062954.XA Division CN103270746B (zh) | 2010-11-19 | 2011-11-15 | 用于低光降噪的分量滤波 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106161878A true CN106161878A (zh) | 2016-11-23 |
CN106161878B CN106161878B (zh) | 2019-12-10 |
Family
ID=45375477
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610124067.5A Active CN105657216B (zh) | 2010-11-19 | 2011-11-15 | 用于低光降噪的分量滤波 |
CN201610649854.1A Active CN106161878B (zh) | 2010-11-19 | 2011-11-15 | 一种用于从图像移除噪声的系统、方法及非易失性介质 |
CN201180062954.XA Active CN103270746B (zh) | 2010-11-19 | 2011-11-15 | 用于低光降噪的分量滤波 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610124067.5A Active CN105657216B (zh) | 2010-11-19 | 2011-11-15 | 用于低光降噪的分量滤波 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201180062954.XA Active CN103270746B (zh) | 2010-11-19 | 2011-11-15 | 用于低光降噪的分量滤波 |
Country Status (4)
Country | Link |
---|---|
EP (1) | EP2641390B1 (zh) |
KR (1) | KR101537295B1 (zh) |
CN (3) | CN105657216B (zh) |
WO (1) | WO2012068085A2 (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8755625B2 (en) | 2010-11-19 | 2014-06-17 | Analog Devices, Inc. | Component filtering for low-light noise reduction |
GB201314068D0 (en) * | 2013-08-06 | 2013-09-18 | Microsoft Corp | Encoding Video Captured in low light |
US9990730B2 (en) | 2014-03-21 | 2018-06-05 | Fluke Corporation | Visible light image with edge marking for enhancing IR imagery |
US10152811B2 (en) | 2015-08-27 | 2018-12-11 | Fluke Corporation | Edge enhancement for thermal-visible combined images and cameras |
KR102383578B1 (ko) * | 2015-09-09 | 2022-04-08 | 삼성전자주식회사 | 화상 처리 장치, 디코딩 장치 및 화상 처리 방법 |
KR101802035B1 (ko) | 2015-11-03 | 2017-12-20 | 한국과학기술원 | 단층 촬영 재구성 영상의 잡음 특성을 고려한 영상 잡음 감소 기법 |
DE102015223175A1 (de) * | 2015-11-24 | 2017-05-24 | Conti Temic Microelectronic Gmbh | Fahrerassistenzsystem mit adaptiver Umgebungsbilddatenverarbeitung |
KR101961816B1 (ko) * | 2017-11-30 | 2019-03-25 | 전남대학교산학협력단 | 영상의 잡음제거 및 에지 보존이 가능한 방향성 평균 필터링 방법 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1520153A (zh) * | 2003-02-03 | 2004-08-11 | ŵ��ʿ�ֻ���ʽ���� | 图像处理装置、方法、程序及记录有该程序的记录介质 |
CN1655591A (zh) * | 2005-03-31 | 2005-08-17 | 北京中星微电子有限公司 | 在低照度下降低图像噪声的方法和装置 |
US20080112639A1 (en) * | 2006-11-14 | 2008-05-15 | Samsung Electro-Mechanics Co., Ltd. | Method and apparatus for removing noise in dark area of image |
CN101197934A (zh) * | 2007-12-21 | 2008-06-11 | 北京中星微电子有限公司 | 一种降低帧间噪声的方法和装置 |
US20090278961A1 (en) * | 2008-05-07 | 2009-11-12 | Honeywell International Inc. | Method for digital noise reduction in low light video |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6229578B1 (en) * | 1997-12-08 | 2001-05-08 | Intel Corporation | Edge-detection based noise removal algorithm |
US7724307B2 (en) * | 2004-07-28 | 2010-05-25 | Broadcom Corporation | Method and system for noise reduction in digital video |
CN100562129C (zh) * | 2004-11-05 | 2009-11-18 | 中兴通讯股份有限公司 | 视频编码的时域滤波方法 |
KR100776389B1 (ko) * | 2005-12-29 | 2007-11-16 | 엠텍비젼 주식회사 | 조정 가능한 임계값을 이용한 컬러 보간 장치 |
WO2007076894A1 (en) * | 2005-12-30 | 2007-07-12 | Telecom Italia S.P.A. | Contour finding in segmentation of video sequences |
CN101087365B (zh) * | 2006-06-10 | 2010-08-18 | 中兴通讯股份有限公司 | 一种滤除图像混合噪声的方法 |
KR100872253B1 (ko) * | 2007-08-23 | 2008-12-05 | 삼성전기주식회사 | 이미지 센서에 의해 생성된 이미지의 노이즈 제거 방법 |
KR101442153B1 (ko) * | 2008-01-15 | 2014-09-25 | 삼성전자 주식회사 | 저조도 영상 처리 방법 및 시스템 |
CN101237523B (zh) * | 2008-02-25 | 2013-03-06 | 宝利微电子系统控股公司 | 主边缘检测方法和基于该方法的降噪方法及装置 |
US8866936B2 (en) * | 2008-07-24 | 2014-10-21 | Florida State University of Research Foundation | Systems and methods for training an active random field for real-time image denoising |
-
2011
- 2011-11-15 CN CN201610124067.5A patent/CN105657216B/zh active Active
- 2011-11-15 CN CN201610649854.1A patent/CN106161878B/zh active Active
- 2011-11-15 CN CN201180062954.XA patent/CN103270746B/zh active Active
- 2011-11-15 WO PCT/US2011/060756 patent/WO2012068085A2/en active Application Filing
- 2011-11-15 EP EP11799339.4A patent/EP2641390B1/en active Active
- 2011-11-15 KR KR1020137015695A patent/KR101537295B1/ko active IP Right Grant
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1520153A (zh) * | 2003-02-03 | 2004-08-11 | ŵ��ʿ�ֻ���ʽ���� | 图像处理装置、方法、程序及记录有该程序的记录介质 |
CN1655591A (zh) * | 2005-03-31 | 2005-08-17 | 北京中星微电子有限公司 | 在低照度下降低图像噪声的方法和装置 |
US20080112639A1 (en) * | 2006-11-14 | 2008-05-15 | Samsung Electro-Mechanics Co., Ltd. | Method and apparatus for removing noise in dark area of image |
CN101197934A (zh) * | 2007-12-21 | 2008-06-11 | 北京中星微电子有限公司 | 一种降低帧间噪声的方法和装置 |
US20090278961A1 (en) * | 2008-05-07 | 2009-11-12 | Honeywell International Inc. | Method for digital noise reduction in low light video |
Also Published As
Publication number | Publication date |
---|---|
CN103270746A (zh) | 2013-08-28 |
CN105657216B (zh) | 2019-07-05 |
WO2012068085A2 (en) | 2012-05-24 |
KR101537295B1 (ko) | 2015-07-16 |
KR20130136486A (ko) | 2013-12-12 |
WO2012068085A3 (en) | 2012-08-09 |
EP2641390B1 (en) | 2017-11-08 |
CN103270746B (zh) | 2016-09-07 |
CN105657216A (zh) | 2016-06-08 |
CN106161878B (zh) | 2019-12-10 |
EP2641390A2 (en) | 2013-09-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106161878A (zh) | 用于低光降噪的分量滤波 | |
JP6507846B2 (ja) | 画像ノイズ除去方法及び画像ノイズ除去装置 | |
US9779491B2 (en) | Algorithm and device for image processing | |
CN1178495C (zh) | 图象处理系统反差扩展设备中的直方图均衡化方法及装置 | |
US9563938B2 (en) | System and method for removing image noise | |
CN110555847B (zh) | 一种基于卷积神经网络的图像处理方法及装置 | |
CN110738611B (zh) | 一种视频画质增强方法、系统及设备 | |
US8699813B2 (en) | Adaptive filter for low-light noise reduction | |
CN110781740B (zh) | 一种视频画质识别方法、系统及设备 | |
US20120163704A1 (en) | Apparatus and method for stereo matching | |
Malinski et al. | Fast adaptive switching technique of impulsive noise removal in color images | |
CN104854856B (zh) | 图像处理装置、图像处理方法 | |
US20120128244A1 (en) | Divide-and-conquer filter for low-light noise reduction | |
Garg et al. | Four stage median-average filter for healing high density salt and pepper noise corrupted images | |
Varadarajan et al. | A distributed psycho-visually motivated Canny edge detector | |
EP2966613A1 (en) | Method and apparatus for generating a super-resolved image from an input image | |
Ponomaryov et al. | Fuzzy color video filtering technique for sequences corrupted by additive Gaussian noise | |
JP5097141B2 (ja) | ノイズ低減装置及びノイズ低減プログラム | |
TWI511545B (zh) | 數位視訊的區塊雜訊偵測 | |
JP6467178B2 (ja) | 画像処理装置及び画像処理方法 | |
CN102938823A (zh) | 图像处理设备和图像处理方法 | |
JP6703732B2 (ja) | 超解像装置、超解像方法、およびプログラム | |
Bhuvaneshwari et al. | A novel and fast exemplar based approach for filling missing portions in an image | |
CN115797206A (zh) | 一种基于图形处理器的加权中值滤波方法及装置 | |
Vaudrey et al. | Improving optical flow using residual and Sobel edge images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |