CN112400185A - 多级双边噪声滤波的方法、装置及系统 - Google Patents
多级双边噪声滤波的方法、装置及系统 Download PDFInfo
- Publication number
- CN112400185A CN112400185A CN201980046400.7A CN201980046400A CN112400185A CN 112400185 A CN112400185 A CN 112400185A CN 201980046400 A CN201980046400 A CN 201980046400A CN 112400185 A CN112400185 A CN 112400185A
- Authority
- CN
- China
- Prior art keywords
- color plane
- noise
- plane image
- image
- level
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002146 bilateral effect Effects 0.000 title claims abstract description 75
- 238000001914 filtration Methods 0.000 title claims abstract description 55
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000012545 processing Methods 0.000 claims abstract description 34
- 238000004140 cleaning Methods 0.000 claims description 24
- 230000003190 augmentative effect Effects 0.000 claims description 15
- 238000000926 separation method Methods 0.000 claims description 13
- 238000004891 communication Methods 0.000 claims description 6
- 238000012935 Averaging Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 10
- 238000007781 pre-processing Methods 0.000 description 10
- 230000000875 corresponding effect Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000009467 reduction Effects 0.000 description 6
- 239000003638 chemical reducing agent Substances 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 2
- 230000003416 augmentation Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20028—Bilateral filtering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2209/00—Details of colour television systems
- H04N2209/04—Picture signal generators
- H04N2209/041—Picture signal generators using solid-state devices
- H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
- H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
提供了一种对数字图像进行多级双边噪声滤波的方法、图像处理装置和计算机程序产品。该方法包括：从图像传感器接收包括具有滤波器阵列(CFA)图案的彩色马赛克的图像帧；将所述图像帧分解成多个颜色平面中的每一个颜色平面的至少一个颜色平面图像；通过对所述至少一个颜色平面图像执行多级双边噪声滤波来顺序地且单独地降低至少一个颜色平面图像中的噪声；以及重构至少一个颜色平面图像以生成噪声滤波后的图像帧。
Description
技术领域
本发明涉及数字图像的多级双边噪声清除。此外，本发明涉及用于执行数字图像的多级双边噪声清除的装置和系统。
背景技术
数码相机包括用于捕获数字图像的图像传感器。图像传感器检测每个像素的光强度。为了允许记录颜色信息，颜色滤波器阵列(CFA)可以被结合到图像传感器的基板，颜色滤波器阵列(CFA)将特定颜色分配给特定像素，且每个像素检测特定颜色的光强度。
在数码相机中使用的CFA的典型图像是Bayer(拜尔)滤波器或Bayer CFA。Bayer滤波器包含交替行的红色和绿色滤波器以及蓝色和绿色滤波器，其中每行分别包含交替的红色和绿色滤波器以及蓝色和绿色滤波器。绿色滤波器优选地允许绿光光子传递到图像传感器的各个像素的检测器(例如，光电二极管)。同时，到达绿色滤波器的红光和蓝光光子不被滤波器透射，因此不被相应的检测器检测到。类似地，红色滤波器优选地允许红色光子，蓝色滤波器优先地允许蓝色光子传递到相应的检测器。
在Bayer CFA中，绿色滤波器以红色和蓝色滤波器两倍的空间频率出现。绿色通道代表亮度，红色和蓝色通道代表数字图像的色度。当Bayer滤波器应用在图像传感器前面时，由图像传感器产生的结果图像帧需要被内插或去马赛克，以再现每个像素的所有三种颜色，从而可以显示、打印或存储原始全色分辨率数字图像。
在数码相机中，内插或去马赛克可以由专用图像信号处理器(ISP)或由执行图像处理软件程序的通用处理器(CPU)执行。
数字图像通常包含来自各种来源的需要降噪的噪声。随着国际标准化组织(ISO)感光度，降噪需求增加。
多个噪声分量中的一个噪声分量是固定图案噪声(FPN)，其具有不随时间变化的空间模式。另一个噪声分量是时间噪声，其具有随时间变化的空间变化图案。数字图像中的整体噪声特性取决于例如传感器类型、像素尺寸、温度、曝光时间和ISO感光度。图像噪声也与通道相关，比如Zhang等人在“Multiresolution Bilateral Filtering for ImageDenoising”(用于图像去噪的多分辨率双边滤波)中所讨论的。
人们已经开发了各种图像去噪方法。其中一种方法利用双边滤波。双边滤波通过相邻图像值的非线性组合来平滑图像，同时保留边缘。例如托马西(Tomasi)等人在“Bilateral Filtering for Gray and Color Images”(用于灰度和彩色图像的双边滤波)中大致描述了该方法。
虽然双边滤波由于包括双边噪声清除的大量应用被人们所了解，但是它首次被提出来作为直观工具和参数，例如通常通过反复试验来选择控制空间域和强度域中的权重衰减的参数。参见Zhang等人的“Multiresolution Bilateral Filtering for ImageDenoising”用于图像去噪的多分辨率双边滤波。
具体地，作为颜色校正处理的一部分，现有的噪声清除过程试图在已经通过去马赛克或通道混合而混合成了噪声的空间中清除噪声。结果，对于不同的像素，噪声不一定不相关，从而导致不令人满意的噪声清除。因此，需要能够提高应用于数字图像的双边噪声滤波的有效性的新方法。
发明内容
本发明的目的是提供一种克服现有技术缺陷的用于数字图像噪声滤波的方法、图像处理装置和计算机可读存储介质。该目的是通过提供允许有效去除所有空间频带中的噪声的多级双边噪声滤波技术来实现的。
双边滤波器通过创建由核大小与形状定义的邻域像素的加权平均值来去噪。根据本发明的一个方面，核以目标像素I(x，y)为中心。当计算目标像素平均值的权重时，使用两个预测器，即核像素与目标像素的距离和定义核像素的值与目标像素的值的相似性或差异性的目标像素的z分数。
双边滤波器作用于由空间权重定义的一组像素。通常，双边滤波器尺寸仅为几个像素宽，且图像噪声是宽频带(光谱平滑)。已确定双边滤波器对高频噪声有效，但因其支撑只有几个像素，所以只减弱了高频噪声，仍然保留低频噪声。
关于核像素与目标像素的距离，最接近目标像素的像素具有最大的权重。关于核像素的值与目标像素的值的相似性或差异性，在值上最接近目标像素的像素具有最大的权重。
在每个目标像素I(x，y)处，根据以下等式在核内给每个像素ρ确定权重：
目标像素的输出值根据以下等式确定：
N(3)＝∑ρ∈KernelWeights(ρ)
对于以核为中心的目标像素I(x，y)，Δr是从原始CFA中测量的从I(x，y)到核中的另一个像素的像素距离。参数r是高斯半径参数。Δv是目标像素I(x，y)与核中的另一像素之间的代码值差。σ是具有强度I(x，y)的目标像素的标准偏差。对核内的所有I(ρ)值执行评估。
像素值差由I(x，y)的标准偏差缩放。通过I(x，y)的标准偏差来缩放像素值差是对相关技术中双边滤波器的效果的进一步增强。这确保了噪声清除的力度与数字图像中每个部分的预期噪声一致。图像代码值和噪声(标准偏差)之间的关系存储在提供给噪声滤波器的噪声表中。噪声表σ[I(x,y)]是根据特定捕获系统参数的知识计算或根据内径图像数据的经验测量所得的。在噪声表σ[I(x,y)]中，记录了I(x，y)的每个整数值处的标准偏差。
以上对双边滤波器的调整显著地提高了图像处理装置中噪声清除处理的有效性，从而提高了使用双边滤波器的图像处理装置的整体功能。
已经确定噪声不相关时噪声清除效果最好。在数码相机处理路径的上下文中，大多数非相关噪声发生在CFA内插之前且在颜色校正时执行矩阵混合之前。因此，根据本发明的一个方面，双边滤波器适于直接在预内插的CFA空间中操作，即在数字图像被内插或去马赛克之前操作，并且所使用的距离与图像记录中任何给定颜色所存在的空间间隙一致。换句话说，根据本发明的一个方面，提供了一种新的安排，即对通过分解从图像传感器接收的包括具有CFA图案的彩色马赛克的图像帧而生成的颜色平面图像执行双边滤波。
z分数预测器需要对图像数据的标准偏差进行估计，标准偏差可以根据经验和设备来确定，而不需要根据数据来估计。
根据本发明的第一方面，提供了一种用于数字图像的多级双边噪声滤波的方法。该方法包括：从图像传感器接收包括具有CFA图案的彩色马赛克的图像帧；将该图像帧分解为多个颜色平面中的每一个颜色平面的至少一个颜色平面图像；通过对所述至少一个颜色平面图像执行多级双边噪声滤波，顺序地且单独地降低所述至少一个颜色平面图像中的噪声；以及重构所述至少一个颜色平面图像以生成噪声滤波的图像帧。
根据本发明的第二方面，提供了一种图像预处理装置，其包括与图像传感器通信的一个或多个处理器以及与所述一个或多个处理器通信的一个或多个存储器装置。所述一个或多个处理器被配置为从所述图像传感器接收包括具有CFA图案的彩色马赛克的图像帧，将所述图像帧分解为多个颜色平面中的每一个颜色平面的至少一个颜色平面图像，通过对所述至少一个颜色平面图像执行多级双边噪声滤波，顺序地且单独地降低所述至少一个颜色平面图像中的噪声，并重构所述至少一个颜色平面图像以生成噪声滤波的图像帧。
根据本发明的第三方面，提供了一种非瞬时性计算机可读存储介质。所述非瞬时性计算机可读存储介质用包括计算机可执行指令的软件编码，所述计算机可执行指令在由一个或多个处理器执行时使得所述一个或多个处理器从所述图像传感器接收包括具有CFA图案的彩色马赛克的图像帧，将所述图像帧分解为多个颜色平面中的每一个颜色平面的至少一个颜色平面图像，通过对所述至少一个颜色平面图像执行多级双边噪声滤波，顺序地且单独地降低所述至少一个颜色平面图像中的噪声，并重构所述至少一个颜色平面图像以生成噪声滤波的图像帧。
附图说明
现通过参考附图描述本发明，其中：
图1示出了根据本发明示例性实施例的图像处理装置的示意图；
图2示出了根据本发明示例性实施例的平面分离的图示；
图3示出了根据本发明示例性实施例的图像处理装置的详细示意图；
图4示出了根据本发明示例性实施例的用于数字图像噪声滤波的方法的示意图；
图5示出了根据本发明示例性实施例的用于频率分离的方法的示意图；
图6示出了根据本发明示例性实施例的用于频率分离的方法的详细图示；以及
图7是描述根据本发明示例性实施例的由图像处理装置执行的对数字图像进行噪声滤波的操作的流程图。
具体实施方式
图1示出了被配置用于数字图像的多级双边噪声滤波的图像处理装置100。图像处理装置100包括图像传感器110、连接到图像传感器110和图像处理器130的图像预缓冲器120以及图像信号处理器(ISP)140。图像处理装置100进一步包括与图像处理器130通信的存储器150。图像处理装置100还包括与ISP 140通信的数字图像存储介质160。
图像传感器110可以在实时取景模式和静止捕获模式下操作。在这两种模式中，图像传感器110的全部有效面积得到利用，并且图像传感器110生成图像帧并将其输出到图像预缓冲器120。
存储器150和数字图像存储介质160是非瞬时性计算机可读存储介质，例如固态驱动器(SSD)，但不限于此。任何其它非瞬时性计算机可读存储介质或多个非瞬时性计算机可读存储介质也可用作存储器150或数字图像存储介质160。
现在参考图2(进一步参考图1)。图2显示了平面分离的图示。CFA(特别是BayerCFA)可以结合到图像传感器110。结果，由图像传感器110产生的图像帧包括具有Bayer CFA图案的彩色马赛克。图2示出了从图像传感器110接收到并存储在图像预缓冲器120中的图像帧210的一部分。如图2所示，图像帧210包括红色与绿色像素以及蓝色与绿色像素的交替行。相同颜色的像素表示一个颜色平面或颜色通道。在噪声清除之前，图像处理器130将Bayer CFA图像分解为三种颜色的平面图像，即红色平面图像220、绿色平面图像230和蓝色平面图像240，以允许单独清理每个颜色平面。绿色通道代表数字图像的亮度，红色和蓝色通道代表图像帧210的色度。如图2所示，绿色平面在相同颜色的相邻像素之间的距离方面具有与红色和蓝色平面不同的结构。对于具有特定像素宽度和像素高度的图像帧，红色平面和蓝色平面的尺寸可以描述如下：对于由像素宽度×像素高度定义的图像帧210的尺寸，红色平面图像220和蓝色平面图像240的尺寸为像素宽度/2×像素高度/2，绿色平面图像230的尺寸为像素宽度/2×像素高度。如下面更详细描述，基于以下等式可计算出所有红色平面行和蓝色平面行的像素与用于降噪的核像素的距离Δr(以像素为单位)：
基于以下等式计算偶数绿色平面行与核像素的距离Δr(以像素为单位)：
基于以下等式计算奇数绿色平面行与核像素的距离Δr(以像素为单位)：
结果，在所提取的红色、蓝色和绿色平面上测量的距离Δr与图像帧210的CFA像素距离一致。
在将图像帧210分解为红色、绿色和蓝色平面图像之后，图像处理器130通过分别对红色、绿色和蓝色颜色平面图像220、230和240执行多级双边噪声滤波顺序地且单独地降低每个颜色平面中的噪声。此后，图像处理器130分别重构红色平面图像220、绿色平面图像230和蓝色平面图像240，以生成由图像处理器130存储在图像预缓冲器120中的滤波后的图像帧。随后，滤波后的图像帧被发送到ISP 140并被内插或去马赛克成可视图像，存储在数字图像存储介质160中。
现在参考图3。图3示出了根据本发明示例性实施例的用于处理数字图像的图像处理装置300的更详细的示意图。如图3所示，图像处理装置300包括连接有图像传感器110的图像预处理装置310和图像主处理装置330。图像主处理装置330与图像预处理装置310、显示器140和存储介质160通信。
图3所示的图像处理装置300的示例性实施例中的图像主处理装置330具有片上系统(SoC)架构，并集成了处理从图像传感器接收的图像帧以生成可显示、打印或存储的数字图像所需的所有组件。因此，图像主处理装置330包括可以用作例如数字信号处理器(DSP)或图形处理单元(GPU)的图像处理器342。图像主处理装置330还包括第一ISP 338和数据收发器332，其被配置为接收和发送要存储在静止图像预缓冲器334中的图像帧。此外，提供了图像数据接收器336，其被配置为接收需由ISP 338处理的图像子帧。由ISP 338处理的图像子帧被存储在静止图像后缓冲器340中。提供了显示控制器352以执行允许图像传感器110捕获的图像帧在整个显示器140上可见的操作。显示控制器352经由显示数据发送器354连接到显示器140。为了将图形图像格式的静止图像帧或原始图像格式的图像帧存储在存储介质160中，提供了存储控制器356和存储接口358。
图像预处理装置310包括数据收发器312和第一成像器数据发送器314。数据收发器312和数据收发器332形成图像预处理装置310和图像主处理装置330之间的数据接口。数据收发器312、332可以是高速串行计算机扩展总线标准接口，例如外围组件快速互连(PCIe)标准接口，但不限于此。
与数据收发器312、332类似，成像器数据发送器314与成像器数据接收器336一起形成图像预处理装置310和图像主处理装置330之间的另一接口(即成像器数据接口)。数据收发机312和成像器数据发射机314由接收DMA(RDMA)控制器316和发射DMA(TDMA)控制器318控制。RDMA控制器316经由先进先出(FIFO)缓冲器320与成像器数据发送器314通信。图像预处理装置310还包括图像数据接收器322和像素处理器324，像素处理器324经由FIFO缓冲器326与发送DMA控制器318通信。
根据图3所示的示例性实施例的第一和第二成像器数据接口314、336和346、348是移动工业处理器接口(MIPI)相机串行接口(CSI)图像数据接口。然而，成像器数据接口不限于MIPI CSI，也可以使用任何其它串行接口。
在图3所示的示例性实施例中，图像预处理装置310被作为现场可编程门阵列(FPGA)。然而，图像预处理装置310也可以被作为专用集成电路(ASIC)。类似地，图像处理器342也可以被作为单独的FPGA或单独的ASIC。
图像预处理装置310还包括图像缩减器(downsizer)328，图像缩减器328经由FIFO缓冲器344连接到第二成像器数据发送器346，第二成像器数据发送器346与第二成像器数据接收器348一起形成第二成像器数据接口。成像器数据接收器348连接到第二ISP 350。
噪声滤波由图像处理器342执行。由图像传感器110生成的图像帧210在被图像处理器342分解成颜色平面图像之前被存储在静止图像预缓冲器334中。在颜色平面图像被重构以生成滤波后的图像帧之前，由图像处理器342顺序地且单独地降噪。所述滤波后的图像帧被存储在静止图像预缓冲器中，随后经由数据收发器332和312以及成像器数据发送器314和成像器数据接收器336发送到ISP 338。在成像器数据接收器336中，所述滤波后的图像帧被内插或去马赛克成可视图像，被存储在数字图像存储介质160。
现在参考图4(继续参考图1至3)。图4是根据本发明示例性实施例的用于对数字图像进行噪声滤波的方法示意图。具体来说，图4示出了用于由图像处理器130、342单独执行多级双边噪声滤波来顺序地减少颜色平面中的噪声的方法。图4所示的方法为每个颜色平面生成噪声滤波后的颜色平面图像405，噪声滤波后的颜色平面图像405随后被组合以生成由ISPs 140、338去马赛克并存储在存储介质160中的噪声滤波后的图像。
为了执行多级双边噪声滤波，定义多个噪声清除级别。图4示出了第一、第二和最高噪声清除级别。然而，该方法不限于此。事实上，噪声清除级别的数量可以增加到四个或更多。
在图4所示的第一级，颜色平面图像410由双边滤波器415进行双边滤波。为了对颜色平面图像410进行双边滤波，定义目标像素的核。所述核长宽尺寸相同，并且包括目标像素和核像素。随后，通过确定目标像素的加权平均像素值，将至少一个颜色平面图像的每个像素处理为目标像素。通过对每个核像素的值应用权重、随后对加权核像素值进行平均来确定目标像素的加权平均像素值。
基于核像素与目标像素的距离以及定义核像素的值与目标像素的值的相似性的z分数来确定核像素的权重。所述核像素与目标像素的距离被确定为与具有CFA图案的彩色马赛克中的空间间隙一致。
核像素的权重根据以下等式确定：
其中ThrottleR_ML定义高斯半径控制，ThrottleS_ML定义像素差控制，Δr定义与内核的像素距离，I(x，y)定义以内核为中心的目标像素，Δv定义码值差，σ[I(x,y)]定义噪声表，以及level定义噪声清除级别。因此，图4中的双边滤波器415确定第一级的权重，双边滤波器425确定第二级的权重，双边滤波器435确定最高级别(即图4所示的示例性实施例中的第三级)的权重。
双边滤波后的颜色平面图像被提供给频率分离器420。频率分离器420将所述双边滤波后的颜色平面图像划分为第一级低频颜色平面图像和第一级高频颜色平面图像。结合下图5和6更详细地描述频率分离。
第一级低频颜色平面图像被第二级双边滤波器425双边滤波，然后被提供给第二级频率分离器430。在第二级频率分离器430中，第一级低频颜色平面图像被分成第二级低频颜色平面图像和第二级高频颜色平面图像。
在图4中的最高级别时，第二级低频颜色平面图像由双边滤波器435双边滤波，并由增大器(upsizer)440增大。由增大器440输出的增大的颜色平面图像的像素值与第二级高频颜色平面图像的相应像素值相加，并且在由增大器444输出的增大的颜色平面图像的像素值与由频率分离器420生成的第一级高频颜色平面图像的相应像素值相加之前，所述第二级高频颜色平面图像再次被增大器445增大，以生成噪声滤波后的颜色平面图像405。
图5示出了用于频率分离的方法的示意图。该方法由频率分离器420在双边滤波的第一级颜色平面图像410上执行。然而，频率分离器430也通过类似的方法对双边滤波的第二级低频颜色平面图像进行操作。
通常，频率分裂是创建低频图像和残留高频图像的可逆过程。缩减和增大操作是双线性的。所描述的双边滤波器在清除核大小的空间频域内的噪声方面是有效的。然而，所述双边滤波器对较大空间频率的支持是最小的。通过用某一因子将图像缩减并重新滤波可实现对较低频率噪声的滤波。缩减的过程将图像数据分离成两个空间频带：低频带和高频带。有许多方法可用于将图像分离成高空间频带和低空间频带。其中一种方法在下文有更详细的描述。将频率分离与双边滤波器的空间频率支持相匹配也是有利的。这确保了在所有空间频率上能够均匀清除噪声。
如图5所示，双边滤波后的颜色平面图像505被提供给半径为2的高斯滤波器510。由高斯滤波器510滤波的双边滤波后的颜色平面图像505由缩减器515缩减两倍，以生成第一级低频颜色平面图像。由缩减器515缩减的颜色平面图像被增大器520增大两倍，并且从颜色平面图像505的相应像素值中减去各个像素值以生成第一级高频颜色平面图像。第一级低频和高频颜色平面图像被提供给下一(几)级，用以随后被最高噪声清除级别525处理，其中相应的低频颜色平面图像被提供给双边滤波器530，以被增大器535增大。所述由增大器535增大的颜色平面图像与来自上一(几)级的高频颜色平面图像相加。如果存在多于两个级别，则可以提供附加的增大器(未示出)，类似于图4中的增大器445，以匹配低频和高频颜色平面图像的大小。结果，噪声滤波后的颜色平面图像540生成。
图6示出了由频率分离器420执行的频率分离方法的详细图示。如图6所示，蓝色平面图像240在第一级中被双边滤波器415双边滤波，并被作为双边滤波后的图像605提供给频率分离器420。所述双边滤波后的图像605的一些像素被编号为BN1至BN18，以示出这些像素如何被频率分离器420处理以获得第一级的蓝色平面图像的蓝色低频和高频颜色平面图像。级别更高的频率分离器操作类似。
像素BN1至BN18被高斯滤波，并产生高斯滤波后的颜色平面图像610的高斯滤波的像素BN1’至BN18’。对高斯滤波的像素进行分组，并且通过计算所述高斯滤波后的颜色平面图像610的四个像素的组的平均值，将所述高斯滤波后的颜色平面图像610缩减为颜色平面图像615。例如，缩减的图像615的像素BD1’表示高斯滤波后的颜色平面图像610的像素BN1’、BN2’、BN6’和BN7’的平均值。类似地，缩减的图像615的像素BD2’代表像素BN3’、BN4’、BN8’和BN9’的平均值。像素BD1’、BD2’、BD6’和BD7’是提供给下一降噪级别的第一级别低频蓝色颜色平面图像(低频图像)的像素。
为了生成第一级高频蓝色平面图像，缩减的图像615的像素BD1’、BD2’、BD6’和BD7’中的每一个被增大两次，即像素被复制两次以生成增大的颜色平面图像620。从双边滤波后的图像605的像素值中减去所述增大的颜色平面图像620的像素值，产生被提供给下一降噪级别的第一级别高频颜色平面图像(高频图像)。
现在参考图7(继续参考图1、2和3)，图7示出了用于噪声滤波数字图像的方法700的流程图。方法700由图像处理器130和342为每个颜色平面图像执行。方法700开始于步骤710。在步骤710中，图像处理器130和342经由图像预缓冲器120(或各自的静止图像预缓冲器334)从图像传感器110接收包括具有CFA图案的彩色马赛克的图像帧。方法700继续到步骤720，在步骤720，图像处理器130和342将图像帧分解成多个颜色平面中的每一个颜色平面的至少一个颜色平面图像，即红色颜色平面图像220、绿色颜色平面图像230和蓝色颜色平面图像240。
在步骤730，通过对所述至少一个颜色平面图像执行多级双边噪声滤波，顺序地且单独地降低至少一个颜色平面图像中的噪声。该方法以步骤740结束，在步骤740至少一个颜色平面图像被重构以生成噪声滤波后的图像帧。
返回参考图1，图1更详细地描述了存储器150。根据本发明的示例性实施例，存储器150是用包括计算机可执行指令的软件编码的非瞬时性计算机可读存储介质，所述计算机可执行指令在由图像处理器130执行时使得图像处理器130从图像传感器110接收包括具有CFA图案的彩色马赛克的图像帧，将所述图像帧分解为多个颜色平面中的每一个颜色平面的至少一个颜色平面图像220、230和240，通过对所述至少一个颜色平面图像执行多级双边噪声滤波来顺序地且单独地降低所述至少一个颜色平面图像中的噪声；以及重构所述至少一个颜色平面图像以生成噪声滤波后的图像帧，如噪声滤波后的颜色平面图像405。图像处理器130可作为单处理器或多处理器。
总之，提供了用于数字图像的多级双边噪声滤波的技术，此技术比现有的噪声清除方法更有效，特别是在高频带中。多级方法对于从剩余频带中去除噪声是有效的。缩放每个像素处的噪声清除级别使得在数字图像的阴影和高光中进行适当噪声清除成为可能。通过将多级双边噪声滤波器安排在噪声滤波后的图像帧被去马赛克的ISP之前，可以执行更有效的噪声滤波，因为CFA空间中的噪声相比已经去马赛克或作为颜色校正处理的一部分的通道混合的噪声更少互相关联。结果，可以显著提高图像处理装置的整体功能和所得到的全彩色图像的质量。
应当理解，前面的描述是本发明的示例性实施例的描述，并且可以不脱离如所附权利要求所限定的本发明的精神和范围对其进行各种改变和修改。
Claims (20)
1.一种对数字图像进行多级双边噪声滤波的方法，所述方法包括：
从图像传感器接收包括具有颜色滤波器阵列(CFA)图案的彩色马赛克的图像帧；
将所述图像帧分解为多个颜色平面中的每一个颜色平面的至少一个颜色平面图像；
通过对所述至少一个颜色平面图像执行多级双边噪声滤波，顺序地且单独地降低所述至少一个颜色平面图像中的噪声；以及
重构所述至少一个颜色平面图像以生成噪声滤波后的图像帧。
2.根据权利要求1所述的方法，其中所述多个颜色平面包括绿色颜色平面、红色颜色平面和蓝色颜色平面中的至少一个。
3.根据权利要求1所述的方法，其中执行所述多级双边噪声滤波包括：
定义多个噪声清除级别；
在所述多个噪声清除级别中的每一级中对所述至少一个颜色平面图像进行双边滤波；以及
在除最高噪声清除级别之外的所述多个噪声清除级别中的每一级中执行所述至少一个颜色平面图像的频率分离。
4.根据权利要求3所述的方法，其中所述频率分离包括：
在第一噪声清除级别中，对所述至少一个颜色平面图像执行高斯滤波，将所述至少一个颜色平面图像划分为低频和高频颜色平面图像，所述低频颜色平面图像通过缩减高斯滤波后的至少一个颜色平面图像而生成，并且所述高频颜色平面图像通过增大所述低频颜色平面图像、并从所述至少一个颜色平面图像的相应像素值中减去增大的低频颜色平面的各个像素值而生成，并且将所述低频颜色平面图像发送到所述多个噪声清除级别中后续级别，并且将所述高频颜色平面图像发送到最高噪声清除级别；以及
在所述第一噪声清除级别之后并且在所述最高噪声清除级别之前的至少一个噪声清除级别中，对从所述多个噪声清除级别中的在前级别所接收的所述低频颜色平面图像执行高斯滤波，将来自所述多个噪声清除级别中的在前级别的高斯滤波后的低频颜色平面图像划分为所述低频颜色平面图像和所述高频颜色平面图像，所述低频颜色平面图像是通过缩减从所述多个噪声清除级别中的在前级别的高斯滤波后的低频颜色平面图像而生成的，所述高频颜色平面图像是通过增大所述低频颜色平面图像而生成的，并且将所述低频颜色平面图像发送到所述多个噪声清除中的后续级别，将所述高频颜色平面图像发送到最高噪声清除级别。
5.根据权利要求4所述的方法，进一步包括：
在所述最高噪声清除级别中，对从紧接的前一噪声清除级别接收的所述低频颜色平面图像进行双边滤波，增大从紧接的前一噪声清除级别接收的所述低频颜色平面图像；以及
通过将从每一个在前噪声清除级别中接收的高频颜色平面图像与从紧接的前一噪声清除级别中接收的双边滤波和增大的低频颜色平面图像相加来重构所述至少一个颜色平面图像。
6.根据权利要求3所述的方法，其中所述双边滤波包括：
定义目标像素的核，所述核具有一长宽尺寸并且包括所述目标像素和核像素；
随后通过确定所述目标像素的加权平均像素值来将所述至少一个颜色平面图像的每一个像素处理为所述目标像素，所述目标像素的加权平均像素值通过将权重应用于每一个核像素的值、并且随后对所述加权核像素值进行平均来确定。
7.根据权利要求6所述的方法，其中：
基于所述核像素与所述目标像素的距离以及基于定义核像素的值与目标像素的值的相似性的z分数来确定核像素的权重；以及
所述核像素与目标像素的距离被确定为与具有CFA图案的彩色马赛克中的空间间隙一致。
8.根据权利要求7所述的方法，其中：
基于以下公式确定所述核像素的权重：
其中ThrottleR_ML定义高斯半径，ThrottleS_ML定义像素相似性，Δr定义像素与所述核的距离，I(x，y)定义所述以核为中心的目标像素，Δv定义码值差，σ[I(x,y)]定义噪声表，以及level定义噪声清除级别。
9.一种图像处理装置，包括：
与图像传感器通信的一个或多个处理器；
与所述一个或多个处理器通信的一个或多个存储器装置；
其中，所述一个或多个处理器被配置为：
从图像传感器接收包括具有滤波器阵列(CFA)图案的彩色马赛克的图像帧；
将所述图像帧分解为多个颜色平面中的每一个颜色平面的至少一个颜色平面图像；
通过对所述至少一个颜色平面图像执行多级双边噪声滤波，顺序地且单独地降低所述至少一个颜色平面图像中的噪声；以及
重构所述至少一个颜色平面图像以生成噪声滤波后的图像帧。
10.根据权利要求9所述的图像处理装置，其中所述多个颜色平面包括绿色颜色平面、红色颜色平面和蓝色颜色平面中的至少一个。
11.根据权利要求9所述的图像处理装置，其中为了执行所述多级双边噪声滤波，所述一个或多个处理器被配置为：
定义多个噪声清除级别；
在所述多个噪声清除级别中的每一级中对所述至少一个颜色平面图像进行双边滤波；以及
在除了最高噪声清除级别之外的所述多个噪声清除级别中的每一级中对所述至少一个颜色平面图像执行频率分离。
12.根据权利要求11所述的图像处理装置，其中为了执行所述频率分离，所述一个或多个处理器被配置为：
在第一噪声清除级别中，对所述至少一个颜色平面图像执行高斯滤波，将所述至少一个颜色平面图像划分为低频和高频颜色平面图像，所述低频颜色平面图像通过缩减高斯滤波后的至少一个颜色平面图像而生成，并且所述高频颜色平面图像通过增大所述低频颜色平面图像的尺寸、并从所述至少一个颜色平面图像的相应像素值中减去增大的低频颜色平面的各个像素值而生成，并且将所述低频颜色平面图像发送到所述多个噪声清除级别中的后续级别，将所述高频颜色平面图像发送到最高噪声清除级别；以及
在所述第一噪声清除级别之后并且在所述最高噪声清除级别之前的至少一个噪声清除级别中，对从所述多个噪声清除级别中的在前级别接收的所述低频颜色平面图像执行高斯滤波，将来自所述多个噪声清除级别中的在前级别的高斯滤波后的低频颜色平面图像划分为所述低频颜色平面图像和所述高频颜色平面图像，所述低频颜色平面图像通过缩减来自所述多个噪声清除级别中的在前级别的高斯滤波后的低频颜色平面图像而生成，并且所述高频颜色平面图像通过增大所述低频颜色平面图像而生成，并且将所述低频颜色平面图像发送到所述多个噪声清除级别中的后续级别，将所述高频颜色平面图像发送到最高噪声清除级别。
13.根据权利要求12所述的图像处理装置，其中所述一个或多个处理器进一步被配置为：
在最高噪声清除级别中，对从紧接的前一噪声清除级别接收的所述低频色平面图像进行双边滤波，增大从紧接的前一噪声清除级别接收的所述低频色平面图像；以及
通过将从每一个在前噪声清除级别中接收的高频颜色平面图像与从紧接的前一个噪声清除级别中接收的双边滤波和增大的低频颜色平面图像相加来重构所述至少一个颜色平面图像。
14.根据权利要求11所述的图像处理装置，其中为了对所述低频颜色平面图像进行双边滤波，所述一个或多个处理器进一步被配置为：
定义目标像素的核，所述核具有一长宽尺寸并且包括所述目标像素和核像素；
随后通过确定所述目标像素的加权平均像素值来将所述至少一个颜色平面图像的每一个像素处理为所述目标像素，所述目标像素的加权平均像素值通过将权重应用于每一个核像素的值、并随后对所述加权核像素值进行平均来确定。
15.一种用包括计算机可执行指令的软件编码的非瞬时性计算机可读存储介质，所述计算机可执行指令在由一个或多个处理器执行时使所述一个或多个处理器：
从图像传感器接收包括具有滤波器阵列(CFA)图案的彩色马赛克的图像帧；
将所述图像帧分解为多个颜色平面中的每一个颜色平面的至少一个颜色平面图像；
通过对所述至少一个颜色平面图像执行多级双边噪声滤波，顺序地且单独地降低所述至少一个颜色平面图像中的噪声；
重构所述至少一个颜色平面图像以生成噪声滤波后的图像帧。
16.根据权利要求15所述的非瞬时性计算机可读存储介质，其中所述多个颜色平面包括绿色颜色平面、红色颜色平面和蓝色颜色平面中的至少一个。
17.根据权利要求15所述的非瞬时性计算机可读存储介质，其中为了执行所述多级双边噪声滤波，所述可执行指令进一步使所述一个或多个处理器：
定义多个噪声清除级别；
在所述多个噪声清除级别中的每一级中对所述至少一个颜色平面图像进行双边滤波；以及
在除了最高噪声清除级别之外的所述多个噪声清除级别中的每一级中对所述至少一个颜色平面图像执行频率分离。
18.根据权利要求17所述的非瞬时性计算机可读存储介质，其中为了执行所述频率分离，所述可执行指令进一步使得所述一个或多个处理器：
在第一噪声清除级别中，对所述至少一个颜色平面图像执行高斯滤波，将所述至少一个颜色平面图像划分为低频和高频颜色平面图像，所述低频颜色平面图像通过缩减高斯滤波后的至少一个颜色平面图像而生成，并且所述高频颜色平面图像通过增大所述低频颜色平面图像、并从所述至少一个颜色平面图像的相应像素值中减去增大的低频颜色平面的各个像素值而生成，并且将所述低频颜色平面图像发送到所述多个噪声清除级别中的后续级别，将所述高频颜色平面图像发送到最高噪声清除级别；以及
在所述第一噪声清除级别之后并且在所述最高噪声清除级别之前的至少一个噪声清除级别中，对从所述多个噪声清除级别中的在前级别接收的所述低频颜色平面图像执行高斯滤波，将来自所述多个噪声清除级别中的在前级别的高斯滤波后的低频颜色平面图像划分为所述低频颜色平面图像和所述高频颜色平面图像，所述低频颜色平面图像通过缩减来自所述多个噪声清除级别中的在前级别的高斯滤波后的低频颜色平面图像而生成，并且所述高频颜色平面图像通过增大所述低频颜色平面图像而生成，并且将所述低频颜色平面图像发送到所述多个噪声清除级别中的后续级别，将所述高频颜色平面图像发送到最高噪声清除级别。
19.根据权利要求18所述的非瞬时性计算机可读存储介质，所述可执行指令进一步使所述一个或多个处理器：
在最高噪声清除级别中，对从紧接的前一噪声清除级别接收的低频颜色平面图像进行双边滤波，增大从紧接的前一噪声清除级别接收的低频颜色平面图像；以及
通过将从每一个在前的噪声清除级别中接收的高频颜色平面图像与从紧接的前一噪声清除级别中接收的双边滤波和增大的低频颜色平面图像相加来重构所述至少一个颜色平面图像。
20.根据权利要求17所述的非瞬时性计算机可读存储介质，其中为了对所述低频颜色平面图像进行双边滤波，所述可执行指令进一步使所述一个或多个处理器：
定义目标像素的核，所述核具有一长宽尺寸并且包括所述目标像素和核像素；
随后通过确定所述目标像素的加权平均像素值来将所述至少一个颜色平面图像的每个像素处理为所述目标像素，所述目标像素的加权平均像素值通过将权重应用于每一个核像素的值、且随后对所述加权核像素值进行平均来确定，
基于所述核像素与目标像素的距离以及基于定义核像素的值与目标像素的值的值的相似性的z分数来确定核像素的权重；以及
确定所述核像素与目标像素的距离为与具有滤波器阵列(CFA)图案的彩色马赛克中的空间间隙一致。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16/006,605 US10789684B2 (en) | 2018-06-12 | 2018-06-12 | Method, apparatus, and system for multilevel bilateral noise filtering |
| US16/006,605 | 2018-06-12 | ||
| PCT/EP2019/065297 WO2019238729A1 (en) | 2018-06-12 | 2019-06-12 | Method, apparatus, and system for multilevel bilateral noise filtering |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112400185A true CN112400185A (zh) | 2021-02-23 |
Family
ID=66867134
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201980046400.7A Pending CN112400185A (zh) | 2018-06-12 | 2019-06-12 | 多级双边噪声滤波的方法、装置及系统 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US10789684B2 (zh) |
| JP (1) | JP7132364B2 (zh) |
| CN (1) | CN112400185A (zh) |
| WO (1) | WO2019238729A1 (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10997690B2 (en) * | 2019-01-18 | 2021-05-04 | Ramot At Tel-Aviv University Ltd. | Method and system for end-to-end image processing |
| US11423515B2 (en) * | 2019-11-06 | 2022-08-23 | Canon Kabushiki Kaisha | Image processing apparatus |
| US11146445B2 (en) * | 2019-12-02 | 2021-10-12 | Alibaba Group Holding Limited | Time series decomposition |
| KR20220081532A (ko) * | 2020-12-09 | 2022-06-16 | 에스케이하이닉스 주식회사 | 이미지 시그널 프로세서 및 이미지 처리 시스템 |
| US11412164B1 (en) * | 2021-07-11 | 2022-08-09 | Carl Zeiss Ag | Method, apparatus, and system for residual row noise removal |
| CN116485702A (zh) * | 2022-01-17 | 2023-07-25 | 株式会社理光 | 图像处理方法、装置以及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050281458A1 (en) * | 2004-06-16 | 2005-12-22 | Eastman Kodak Company | Noise-reducing a color filter array image |
| CN102687502A (zh) * | 2009-08-25 | 2012-09-19 | Ip链有限公司 | 减少彩色图像中的噪声 |
| US20140002697A1 (en) * | 2012-06-29 | 2014-01-02 | Samsung Electronics Co., Ltd. | Apparatus and method of reducing noise of image |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7418130B2 (en) | 2004-04-29 | 2008-08-26 | Hewlett-Packard Development Company, L.P. | Edge-sensitive denoising and color interpolation of digital images |
| JP4501855B2 (ja) | 2005-12-22 | 2010-07-14 | ソニー株式会社 | 画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラム |
| US7599569B2 (en) | 2006-01-13 | 2009-10-06 | Ati Technologies, Ulc | Method and apparatus for bilateral high pass filter |
| US7876956B2 (en) * | 2006-11-10 | 2011-01-25 | Eastman Kodak Company | Noise reduction of panchromatic and color image |
| JP2008211840A (ja) * | 2008-05-09 | 2008-09-11 | Konica Minolta Holdings Inc | 画像処理装置 |
| JP2014021928A (ja) * | 2012-07-23 | 2014-02-03 | Canon Inc | 画像処理装置、画像処理方法およびプログラム |
| US9639923B2 (en) | 2015-07-08 | 2017-05-02 | National Taiwan University | Bilateral filter and a method thereof |
-
2018
- 2018-06-12 US US16/006,605 patent/US10789684B2/en active Active
-
2019
- 2019-06-12 JP JP2020569771A patent/JP7132364B2/ja active Active
- 2019-06-12 WO PCT/EP2019/065297 patent/WO2019238729A1/en active Application Filing
- 2019-06-12 CN CN201980046400.7A patent/CN112400185A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050281458A1 (en) * | 2004-06-16 | 2005-12-22 | Eastman Kodak Company | Noise-reducing a color filter array image |
| CN102687502A (zh) * | 2009-08-25 | 2012-09-19 | Ip链有限公司 | 减少彩色图像中的噪声 |
| US20140002697A1 (en) * | 2012-06-29 | 2014-01-02 | Samsung Electronics Co., Ltd. | Apparatus and method of reducing noise of image |
Also Published As
| Publication number | Publication date |
|---|---|
| US20190378246A1 (en) | 2019-12-12 |
| JP2021526695A (ja) | 2021-10-07 |
| JP7132364B2 (ja) | 2022-09-06 |
| US10789684B2 (en) | 2020-09-29 |
| WO2019238729A1 (en) | 2019-12-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7132364B2 (ja) | マルチレベル・バイラテラル・ノイズフィルタリングのための方法、装置、およびシステム | |
| US6904169B2 (en) | Method and system for improving color images | |
| US8138466B2 (en) | Video signal processing apparatus and method with infrared component remover | |
| KR100780932B1 (ko) | 컬러 보간 방법 및 장치 | |
| US9148593B2 (en) | Advanced noise reduction in digital cameras | |
| US20140253808A1 (en) | Image processing device, and image processing method, and program | |
| CN105809630B (zh) | 一种图像噪声过滤方法及系统 | |
| KR101685885B1 (ko) | 화상 처리 장치, 화상 처리 방법 및 화상 처리 프로그램 | |
| US8238685B2 (en) | Image noise reduction method and image processing apparatus using the same | |
| JP6046927B2 (ja) | 画像処理装置及びその制御方法 | |
| JP2008527861A (ja) | 散在カラー・ディジタル画像のノイズ除去 | |
| JP2017091582A (ja) | 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体 | |
| US9111339B1 (en) | System and method for reducing noise from an image | |
| KR100844142B1 (ko) | 화질개선장치 및 그 방법 | |
| CN112703728B (zh) | 用于处理数字图像的方法、装置和系统 | |
| US8031945B2 (en) | Image-processing device, image-processing method, program of image-processing method, and recording medium recording program of image-processing method | |
| KR100869134B1 (ko) | 이미지 처리장치 및 방법 | |
| US11412164B1 (en) | Method, apparatus, and system for residual row noise removal | |
| US8705884B2 (en) | Image processing apparatus and method for controlling the same | |
| Nokovic et al. | Image enhancement by jetson tx2 embedded ai computing device | |
| JP7299398B1 (ja) | 画像処理装置および画像処理方法 | |
| US20160210729A1 (en) | Noise reduction apparatus, method and program for the same | |
| JP2015035698A (ja) | 画像処理装置、画像処理方法及び画像処理プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |