CN104751418A - 3维区块匹配的图像去噪的方法与装置 - Google Patents

3维区块匹配的图像去噪的方法与装置 Download PDF

Info

Publication number
CN104751418A
CN104751418A CN201410436600.2A CN201410436600A CN104751418A CN 104751418 A CN104751418 A CN 104751418A CN 201410436600 A CN201410436600 A CN 201410436600A CN 104751418 A CN104751418 A CN 104751418A
Authority
CN
China
Prior art keywords
noise
reference diagram
image
diagram photo
noise variance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410436600.2A
Other languages
English (en)
Other versions
CN104751418B (zh
Inventor
陈鼎匀
朱启诚
何镇在
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN104751418A publication Critical patent/CN104751418A/zh
Application granted granted Critical
Publication of CN104751418B publication Critical patent/CN104751418B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20052—Discrete cosine transform [DCT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种通过3维区块匹配减弱图像噪声的方法与相关装置。该方法与装置用来增进图像的质量。在本发明中，每一个图像片以一个特定的评估噪声方差来处理，而并非是一个图像中所有的图像片都使用相同的噪声方差。其中该评估噪声方差是依据与图像片集合相关的噪声方差或者与图像片集合相关的内容特性来决定。通过区块匹配来找到参考图像片的相似图像片。在频率域，依据评估噪声方差应用噪声减弱至该图像片集合。决定评估噪声方差的操作可以在空间域或者频率域中执行。本发明针对不同区域提供不同的评估噪声方差，从而提供更好的去噪图像质量。

Description

3维区块匹配的图像去噪的方法与装置
技术领域
本发明关于图像处理，特别是关于3维区块匹配(three-dimensional block-matching)的图像去噪(去噪)方法。
背景技术
由摄影机或者其他视频以及图像系统获得的图像通常包含由模拟装置引入的或者在模拟信号转换成数字信号时引入的噪声(noise)。在低光条件下，噪声可能是一个严重的问题。因此需要图像去噪的技术来增进捕获图像的信号质量。依据使用的数据，图像去噪方法被分为空间去噪方法、时间去噪方法以及结合的去噪方法，其中空间去噪方法仅仅使用帧内信息，时间去噪方法使用帧间信息以及运动补偿，以及结合的去噪方法结合使用帧内信息以及帧间信息。
3维区块匹配(以下简称为BM3D)方法被发展来执行图像去噪。通过区块匹配(以下也可简称为BM)，每一2维(two-dimensional，2D)参考图像片(patch)的相似的2维图像片被识别来执行去噪。从静态图像或者包含参考图像片的视频帧中通过空间去噪方法来选择相似的2D图像片。对于时间去噪方法来说，相似的图像片可以从一列数字视频帧中找到。依据分组的图像片的相似性，参考图像片以及匹配图像片可以组成一个图像片集合。图像片集合被转换以及去噪。参考图像片以及其相似图像片(也可以称为匹配图像片)的加权平均可用来减少参考图像片中所有像素的噪声。
图1是通过区块匹配分析图像，来识别相似图像片以及分组多个图像片为多个图像片集合，每一个图像片集合可以代表一个数据阵列(data array)。如图1所示，通过区块匹配来处理一个噪声图像，并且每一个处理的图像片以及相似图像片被分组为3D阵列。每一个通过区块匹配处理的图像片也被认为是一个参考图像片。参考图像片R10以及匹配图像片M11与M12被分为一组，来组成3D数据阵列110。参考图像片R20具有4个具有相似的图像内容的匹配图像片M21、M22、M23与M24。这5个图像片进栈至3D数据阵列120。图像片R30与匹配图像片M31、M32以及M33被分组至3D数据阵列130。图像片R40与其匹配图像片M41、M42以及M43一同被分组至3D数据阵列140。在每一个3D数据阵列中，使用每一个3D数据阵列中图像片之间的关联(correlation)来增强图像处理的性能。
依据使用区块匹配去噪的结果，一个图像的在转换域的噪声减弱。图2是通过BM3D方法执行图像去噪的流程图的举例说明。在具有噪声的图像210上去噪是通过两个去噪流程来执行。第一个去噪流程是流程220，其通过硬阈值处理(hard-thresholding)执行图像去噪，第二个去噪流程是流程230，其通过实证维纳滤波(Wiener filtering)执行图像去噪。在流程220中，在噪声图像210上执行通过区块匹配分组，来通过流程221寻找当前图像片的相似图像片。原始噪声图像的当前图像片被用作一个参考图像片，以R1表示。通过流程222，参考图像片R1与其相似图像片一同被分组为一个3D数据阵列。接着，从3D转换223开始，3D数据阵列通过转换域收缩(transform-domainshrinkage)处理。3D转换对应一个单一转换，其以2D离散余弦转换(2D discrete cosine transform DCT)连接一个1D哈达玛转换(by 1DHadamard transform)来实现。3D阵列中的多个图像片之间的相似性或者关联性是通过应用3D单一转换来产生一个3D转换域的真实信号的空间代表来实现。接着，通过在3D域中的转换系数的硬阈值处理224，减弱噪声，并且获得对应的权重。执行硬阈值处理224之后的反3D转换(Inverse 3D transform)225，来产生所有图像片的估计。噪声图像的所有图像片以一个滑动的方式来处理，以产生所有图像片的逐块估计。针对每一个参考区块的重叠的逐块估计形成了一个真实信号的冗余估计(redundant estimate)。为了获得噪声图像的一个非冗余估计，在逐块估计以及硬阈值处理224产生的权重上执行聚集(aggregation)226。通过聚集226，在去噪流程220，获得噪声图像的基本估计(basic estimate)。
噪声图像的基本估计(即所有图像片的加权平均)在第二去噪流程230中被使用。第二去噪流程230使用维纳滤波，而不是硬阈值处理，来减弱噪声。R1基本估计被标示为参考图像片R2。在基本估计内，而并非是在噪声图像210内，执行通过区块匹配231的分组，来找到参考图像片R2的多个相似图像片。R2以及其相似图像片一同进栈，来通过流程232形成一个3D数据阵列。通过包含2D离散余弦转换以及1D哈达玛转换的3D转换233来处理3D数据。通过维纳滤波234来处理转换系数，以减弱转换域(transform domain)中的噪声并且产生每一个图像片的权重。接着执行3D反转换235，来获得所有图像片的估计。图像的所有图像片以滑动的方式被处理，以产生逐块估计。通过聚集236完成最后的维纳估计240。最后的维纳估计240是依据维纳滤波234获得权重以及反3D转换235获得逐块估计来计算。
在通过硬阈值处理的BM3D图像去噪的过程中(例如图2所示的流程220),在转换系数收缩上利用噪声方差(Noise variance)来实现去噪。
图3是通过在具有区块匹配的3D转换域中使用硬阈值处理来去噪的流程图的举例说明。依据输入的噪声图像估计噪声方差。如图3所示，首先通过方差估计311来估计方差σ2，以处理噪声图像310。依据估计结果，在程序312中计算标准差(standard deviation)σ。标准差σ输出至区块匹配程序320以及去噪程序330，其通过硬阈值处理收缩转换系数。区块匹配程序320在噪声图像310上执行区块匹配，以产生区块匹配结果SχR。区块匹配结果SχR包含匹配图像片的系数，匹配图像片与参考图像片(表示为R)相似。通过在3D转换域的硬阈值处理，去噪程序330使用区块匹配结果以及标准差σ来执行去噪。
依据区块匹配的结果，每一个参考图像片以及匹配图像片被分组，以形成3D数据阵列ZSχR。通过在3D转换域的硬阈值处理实现的去噪程序在3D阵列ZSχR上执行。在3D转换域的去噪程序包含3个步骤，其分别是3D转换、硬阈值处理以及反3D转换。3D转换依据分组的图像片的相似性，产生真实信号在转换域的空间代表。通过硬阈值处理转换系数，产生每一个分组图像片的对应的权重，并且依据标准差σ的值来减弱分组图像片的噪声。在硬阈值处理之后的反3D转换重新构建每一个图像片的估计。在3D转换域的去噪程序332输出重新构建的图像片估计的权重ωSχR以及3D阵列通过相乘程序341，凯赛窗(Kaiser window)Wwin2D乘以权重ωSχR来产生具有权重W(χR)的图像片。通过程序343，分母的总和，以wbuff来表示，累积至权重缓冲器(weights buffer)。通过使用凯赛窗Wwin2D，减少在图像片的边界上的伪像的影响(边界影响)。另一个相乘程序342被用来将具有权重W(χR)的图像片与每一个重新构建的图像片的估计相乘。通过程序344，相乘程序342的结果累积至估计缓冲器(estimate buffer)。分子的总和以“ebuff”表示。程序345通过将ebuff除以wbuff来计算噪声图像的中间估计(intermediate estimate)或者基本估计，以产生估计的图像。中间估计在通过维纳滤波实现的去噪程序中被用作基本估计。
在传统的BM3D方法的硬阈值处理中，许多相关技术估计输入噪声图像的用来去噪的图像噪声方差，并且其他一些相关的技术假设输入图像的噪声方差是已知的。噪声方差在输入图像或者在转换域中定义。然而，所有的传统的去噪方法具有相同的缺陷，即无论噪声方差是如何估计的，相同的噪声方差应用至整个图像。举例来说，使用相同的噪声方差来减少输入图像的所有图像片的噪声。另外一个举例说明是，转换输入图像至一个新的图像域，例如频率域。接着，在新的图像域执行BM3D方法，并且使用相同的噪声方差来处理输入图像的所有图像片。在去噪程序中，相同的方差也应用在空间域或者转换域的整体图像。
实际上，即使在相同的输入图像上，由于信号强度的波动，噪声水平并不相同。使用相同的噪声方差水平来针对整体图像进行去噪将明显不适当，当一个图像片的实际的噪声方差偏离给定的噪声方差。依据相同的噪声方差(与实际值差距很大)的去噪的结果将导致去噪区域变得更模糊。由于存在这样的问题，因此需要本发明来解决。
发明内容
本发明提供一种通过3维区块匹配减弱图像噪声的方法与相关装置。
依据本发明的一个实施例，提出一种图像噪声减弱方法，该方法包含：接收具有第一尺寸的一个噪声图像；该噪声图像选择一个具有第二尺寸的参考图像片，其中该第二尺寸小于该第一尺寸；决定与一个图像片集合相关的评估噪声方差；转换该图像片集合至频率域，其中该转换步骤在上述决定该评估噪声方差的步骤之前、之后或者并行执行；在该频率域，依据该评估噪声方差应用噪声减弱至该图像片集合；反转换该图像片集合至空间域，来获得该噪声图像的一个已处理的参考图像片。其中该图像片集合包含该参考图像片以及/或者与该参考图像片相似的多个相似图像片，其中该评估噪声方差是依据与该图像片集合相关的噪声方差或者与该图像片集合相关的内容特性来决定。该方法进一步包含聚集噪声图像中所有的已处理的参考图像片。
决定评估噪声方差的步骤在空间域或者频率域中执行。评估噪声方差对应于该参考图像片的噪声方差或者该图像片集合中多个图像片的噪声方差的平均值。评估噪声方差通过分析参考图像片或者图像片集合的内容特性来获得的分析结果。图像片集合的内容特性对应至图像片集合中每一个图像片中的或者接近的多个像素。图像片集合的内容特性对应于对比度、亮度、饱和度以及色调中的至少一个。图像片集合的内容特性对应于一个频带。评估噪声方差线性或者非线性映射到内容特性的分析结果。
参考图像片是在YUV阈或者拜尔模式域。转换该图像片集合的操作是通过3维转换、2维转换或者1维转换来执行。3维转换对应于2维离散余弦转换以及1维哈达玛转换。该噪声减弱是通过依据该评估噪声方差修正该图像片集合的一个或多个频率系数来执行。该噪声减弱是通过硬阈值处理或者维纳滤波来执行。
依据本发明另一个实施例，评估噪声方差是依据一个或者多个频率系数来决定。该实施例提供一种图像噪声减弱方法，该方法包含：接收具有第一尺寸的一个噪声图像；从该噪声图像选择一个具有第二尺寸的参考图像片，其中该第二尺寸小于该第一尺寸；将该参考图像片从空间域转换至频率域，来获得该参考图像片的多个频率系数；依据该多个频率系数中至少一个决定该参考图像片的评估噪声方差，依据该评估噪声方差，修正该多个频率系数中的至少一个以减弱噪声；以及反转换该参考图像片至空间域，来获得该噪声图像的一个已处理的参考图像片。其中该评估噪声方差是依据与该参考图像片相关的噪声方差或者依据该参考图像片的内容特性来获得。该评估噪声方差是用来减弱该参考图像片的多个相似图像片的噪声。该方法进一步包含应用聚集至该已处理的参考图像片。该参考图像片是在YUV阈或者拜尔模式域。
该转换的操作是通过3维转换、2维转换或者1维转换来执行。其中该3维转换对应于2维离散余弦转换以及1维哈达玛转换。
本发明又一实施例提供一种图像噪声减弱装置，该装置包含一个或者多个电子电路，其中该一个或者多个电子电路被配置为：接收具有第一尺寸的一个噪声图像；从该噪声图像选择一个具有第二尺寸的参考图像片，其中该第二尺寸小于该第一尺寸；决定与一个图像片集合相关的评估噪声方差；识别该多个相似图像片并且分组该多个相似图像片与该参考图像片至该图像片集合；转换该图像片集合至频率域；在该频率域，依据该评估噪声方差应用噪声减弱至该图像片集合；反转换该图像片集合至空间域，来获得该噪声图像的一个已处理的参考图像片；以及聚集该噪声图像的所有已处理的参考图像片。其中该图像片集合包含该参考图像片以及/或者与该参考图像片相似的多个相似图像片，其中该评估噪声方差是依据与该图像片集合相关的噪声方差或者与该图像片集合相关的内容特性来决定。
本发明再一实施例提供一种图像噪声减弱装置，该装置包含一个或者多个电子电路，其中该一个或者多个电子电路被配置为：接收具有第一尺寸的一个噪声图像；从该噪声图像选择一个具有第二尺寸的参考图像片，其中该第二尺寸小于该第一尺寸；将该参考图像片转换至频率域，依据多个频率系数中至少一个决定该参考图像片的评估噪声方差；依据该评估噪声方差，修正该多个频率系数中的至少一个以减弱噪声；反转换该参考图像片至空间域；以及应用聚集至已处理的参考图像片。其中该评估噪声方差是依据与该参考图像片相关的噪声方差或者依据该参考图像片的内容特性来获得。
本发明提供的减弱图像的噪声的方法与装置针对每一参考图像片或者每一图像片集合决定一个特定的评估噪声方差。从而针对不同区域提供不同的评估噪声方差，提供更好的去噪图像质量。
附图说明
图1是通过区块匹配分析噪声图像的示意图。
图2是通过BM3D方法执行图像去噪的流程图的举例说明。
图3是通过在具有区块匹配的3D转换域中使用硬阈值处理来去噪的流程图的举例说明。
图4是依据本申请第一实施例的通过BM3D方法执行图像去噪的流程图。
图5是依据本申请第二实施例的通过BM3D方法执行图像去噪的流程图。
图6是依据本申请第三实施例的减弱一个噪声图像的每一图像片的噪声的流程图。
图7是依据本申请第四实施例的在频率域执行图像去噪的流程图。
具体实施方式
为了增进图像去噪的质量，本发明针对整体噪声图像的不同区域使用不同的噪声方差值。上述区域可以是比整体噪声图像小的一个图像片或者一个图像片集合。因此，针对整体噪声图像使用两个或者更多个噪声方差值。用来针对一个图像片或者一个图像片集合去噪的每一个噪声方差值被称为一个评估噪声方差(assessed noise variance)。传统的去噪方法当实际噪声方差在输入图像中波动的情况下，针对整体图像使用一个相同的噪声方差值。在本发明中，使用一个动态的策略来决定针对不同区域的不同的评估噪声方差，来胜过传统的去噪方法。因此，本发明将提供更好的去噪图像质量。
依据本发明的实施例，针对每一个图像片以一个特定的评估噪声方差来处理，上述特定的评估噪声方差依据图像片的数据来决定。噪声方差的决定与一个图像片集合相关，该图像片集合包含一个参考图像片以及其多个相似图像片，该多个相似图像片建立了参考图像片的高度相似性。参考图像片可以是任何的在噪声图像中待处理的图像片。参考图像片的评估噪声方差是仅依据参考图像片决定或者依据图像片集合决定。
如果仅仅依据参考图像片决定噪声方差，评估噪声方差是传统噪声方差的值，或者从参考图像片的内容特性分析结果中获得。为了通过参考图像片的内容特性分析决定参考图像片的评估噪声方差，图像片的内容特性被首先分析来获得一个图像片度量指标。接着依据图像片度量指标计算参考图像片的评估噪声方差。
如果依据图像片集合决定噪声方差，一个图像片集合中所有的图像片共同分享一个相同的评估噪声方差。因此，仅仅使用一个评估噪声方差来减弱该图像片集合中每一个图像片的噪声。用来处理该参考图像片的评估噪声方差是依据该图像片集合的数据来决定的平均噪声方差。
图4是依据本申请第一实施例的通过BM3D方法执行图像去噪的流程图。在这个实施例中，用来处理参考图像片的评估噪声方差是依据参考图像片的图像分析来决定。为了去噪，通过部分重叠(overlappingpartition)或者部分非重叠(non-overlapping partition)处理噪声图像来获得图像片。每一个参考图像片的尺寸小于噪声图像的尺寸。如图4所示，在步骤410中，从噪声图像中选择一个参考图像片。该参考图像片在YUV(即亮度/色度)域、拜尔模式域(Bayer pattern domain)或者其他的色彩域中。在步骤420，分析参考图像片的内容特性，来产生一个图像片度量指标。参考图像片的图像内容的分析可以在空间域或者频率域中进行。在步骤430中，依据图像片度量指标决定评估噪声方差，即依据参考图像片的分析结果决定评估噪声方差，该评估噪声方差用来减弱参考图像片的噪声。评估噪声方差能够线性或者非线性地映射至图像片度量指标。在决定了参考图像片的评估噪声方差之后，在步骤440中，在BM3D处理中应用评估噪声方差至参考图像片。
图像的噪声能够被人的视觉观察到，特别是在低光的条件下。因此评估噪声方差的决定也可以考虑人视觉的因素。因此步骤420中分析的内容特性可以是参考图像片的对比度、亮度、强度、饱和度、色调或者其他的特性的其中之一。上述分析也可以应用在频带。为了依据参考图像片决定评估噪声方差，参考图像片中的像素或者靠近参考图像片的像素可被用来进行图像内容分析。
在步骤440中的BM3D程序包含通过区块匹配执行的分组、3D转换、转换系数的修正、反3D转换以及聚集。在BM3D处理中，首先通过区块匹配处理参考图像片，来找到多个相似图像片，接着参考图像片与相似图像片分组为一个图像片集合，该图像片集合以一个3D阵列来代表。区块匹配在空间域或者频率域中执行。区块匹配的算法是运动估计快速算法，在应用图像片集合的分组之后，参考图像片被转换至频率域。在BM3D处理中的3D转换可以被2D或者1D转换代替、或者被任何的3D、2D以及1D转换代替。在包含参考图像片的图像片集合上应用噪声减弱之后，应用反3D或者2D或者1D转换来讲图像片集合转换回至空间域，并且获得图像片集合中一个已处理的参考图像片或者已处理的多个图像片。在噪声图像中所有的图像片都通过反转换处理之后，重新构建的或者已处理的参考图像片通过聚集来处理，以获得噪声图像的估计。
由于评估的噪声方差是仅仅依据参考图像片的数据决定的，上述决定评估噪声方差的操作能在BM3D处理流程中的在噪声减弱以及反转换之前的任何位置实现。上述决定评估噪声方差的操作在区块匹配操作、或转换的操作或者两者结合之前执行或者并行执行。相似地，内容特性的分析能够在区块匹配操作、或转换的操作或者两者结合之前执行或者并行执行。
图5是依据本申请第二实施例的通过BM3D方法执行图像去噪的流程图。包含步骤510-560；步骤510：从噪声图像中选择一个参考图像片；步骤515：识别参考图像片的相似图像片，并且将该参考图像片与其相似图像片分为一个图像片集合；步骤520：分析该参考图像片的内容特性；步骤530：依据参考图像片的分析结果来决定评估噪声方差；步骤535：将该图像片集合转换至频率域；步骤540：依据该评估噪声方差，在该图像片集合上应用噪声减弱的程序；步骤550：将图像片集合反转换至空间域，来获得一个已处理的参考图像片；步骤560：聚集该噪声图像的所有的已处理的参考图像片。
在图5所示的实施例中，步骤520所示的分析程序以及步骤530所示的决定程序在区块匹配515与转换535之间执行。评估噪声方差能够依据参考图像片来决定。在其他的实施例中，评估噪声方差是依据图像片集合决定。在步骤540，依据参考图像片的评估噪声方差，通过硬阈值处理或者其他的程序来执行噪声减弱。当依据参考图像片的评估噪声方差通过硬阈值处理来执行噪声减弱，以修正一个或者多个系数时，获得参考图像片的权重。在步骤560中使用获得的权重来产生噪声图像的估计。该评估噪声方差是用来减弱该参考图像片的多个相似图像片的噪声。
图6是依据本申请第三实施例的减弱一个噪声图像的一个参考图像片的噪声的流程图，其中该噪声方差在转换程序之前被决定或者与转换程序并行决定。在步骤610中接收噪声图像，并且在步骤620中从噪声图像中选择参考图像片。通过部分重叠或者部分非重叠处理噪声图像来获得参考图像片。每一个参考图像片的尺寸小于噪声图像的尺寸。该参考图像片在YUV(即亮度/色度)域或者拜尔模式域。
在步骤630中，决定与一个图像片集合相关的评估噪声方差。图像片集合包含参考图像片以及多个相似图像片，该多个相似图像片与参考图像片建立了高度的相似性。依据与图像片集合有关的噪声方差或者依据该图像片集合的内容特性获得评估噪声方差。在其他的实施例中，当依据与图像片集合有关的噪声方差获得评估噪声方差时，评估噪声方差是参考图像片的传统的噪声方差，或者图像片集合中所有图像片的传统的噪声方差的平均值。当依据该图像片集合的内容特性获得评估噪声方差时，评估噪声方差能够仅仅依据参考图像片获得、或者依据图像片集合中的所有图像片获得。
分析图像片集合的内容特性来产生一个图像片度量指标，该图像片度量指标用来决定参考图像片的评估噪声方差。内容特性可以是对比度、亮度、强度、饱和度、色调、位置或者其他的特性的其中之一。举例来说，位置特性是该图像片在整张图像的位置，因为每个位置的数字增益(digital gain)可能不同。另举一例来说，该其他特性是相机的图像信号处理器ISP(Image Signal Processing)的数字增益，例如利用相机的图像信号处理器的数字增益来当成图像片的评估噪声方差。上述内容特性对应于参考图像片的频带。该评估噪声方差线性或者非线性地映射至该图像片度量指标。图像片度量指标对应于一个或者更多个空间域的统计值。上述决定是依据空间域中的至少一个统计值。
在步骤640，将图像片集合转换至频率域，可以在决定评估噪声方差之前、之后或者与决定评估噪声方差并行执行。参考图像片通过3维、2维、1维转换、或者它们的结合来转换。在步骤650，依据评估噪声方差，针对该图像片集合执行噪声减弱。在步骤660，将图像片集合反转换至空间域，来获得噪声图像的已处理的参考图像片。噪声图像的所有已处理的参考图像片通过聚集处理来产生噪声图像的估计。方法进一步包含通过区块匹配寻找参考图像片的多个相似图像片，这个操作与在空间域或者频率域决定评估噪声方差的操作并行进行、或者在之前或之后进行。
图7是依据本申请第四实施例的减弱噪声图像的一个参考图像片的噪声的流程图。在这个实施例中，决定评估噪声方差的操作是在转换操作之后进行。首先在步骤710，接收一个噪声图像。在步骤720中，通过部分重叠或者部分非重叠从噪声图像选择一个参考图像片。在步骤730，YUV域或者拜尔模式域的参考图像片从空间域转换为频率域，以获得该参考图像片的多个频率系数。参考图像片可以通过3维、2维、1维转换或者其结合来转换。
在步骤740中，决定参考图像片的评估噪声方差。例如依据至少一个频率系数，决定参考图像片的评估噪声方差。例如评估噪声方差是依据与参考图像片相关的噪声方差或者依据参考图像片的内容特性来决定。内容特性可以是参考图像片的对比度、亮度、强度、饱和度、色调、位置或者其他的特性的其中之一。上述内容特性对应于参考图像片的频带。通过在频率域分析该参考图像片的内容特性，获得一个图像片度量指标。参考图像片的评估噪声方差线性或者非线性地映射至该图像片度量指标。
在决定评估噪声方差之后，在步骤750中，修正一个或者多个频率系数来在该参考图像片上执行噪声减弱。该一个或者多个频率系数也可称为频率转换系数。在步骤760，参考图像片反转换至空间域，来获得噪声图像的已处理的参考图像片。噪声图像的已处理的参考图像片通过聚集处理来产生噪声图像的估计。该方法进一步包含在空间域或者频率域通过区块匹配寻找参考图像片的多个相似图像片。
本发明的上述实施例能够以不同的硬件、软件代码或者两者的结合来实现。举例来说，本发明的一个实施例是集成至一个视频压缩芯片的电路、或者集成至图像信号处理软件的软件代码来执行上述程序。本发明的一个实施例也可以是在数字信号处理器(DSP)上执行的程序代码，来执行上述处理。本发明涉及多个计算机处理器执、数字信号处理器、微处理器或者元件可编程逻辑闸阵列的(field programmablegate array,FPGA)的多个功能。上述处理器依据本发明被配置为通过执行定义了本发明的特定方法的机器可读软件代码或者固件代码，执行特定的功能。软件代码或者固件代码以不同的编码语言以及不同的格式或者规格开发。上述软件代码配置为不同的目标平台。然而，不同的编码格式、风格以及语言的软件代码或者其他设置代码的方式来执行依据本发明所述的功能都不偏离本申请的精神。
虽然本发明以较佳实施方式揭露如上，然而此较佳实施方式并非用以限定本发明，本领域技术人员不脱离本发明的精神和范围内，凡依本发明申请专利范围所做的均等变化与修饰，都应属本发明的涵盖范围。

Claims (24)

1.一种图像噪声减弱方法，该方法包含：
接收具有第一尺寸的一个噪声图像；
从该噪声图像选择一个具有第二尺寸的参考图像片，其中该第二尺寸小于该第一尺寸；
决定与一个图像片集合相关的评估噪声方差，其中该图像片集合包含该参考图像片以及/或者与该参考图像片相似的多个相似图像片，其中该评估噪声方差是依据与该图像片集合相关的噪声方差或者与该图像片集合相关的内容特性来决定；
转换该图像片集合至频率域，其中该转换步骤在上述决定该评估噪声方差的步骤之前、之后或者并行执行；
在该频率域，依据该评估噪声方差应用噪声减弱至该图像片集合；以及
反转换该图像片集合至空间域，来获得该噪声图像的一个已处理的参考图像片。
2.根据权利要求1所述的图像噪声减弱方法，其特征在于，该决定该评估噪声方差的步骤在该空间域或者该频率域中执行。
3.根据权利要求1所述的图像噪声减弱方法，其特征在于，该图像片集合相关的噪声方差对应于该参考图像片的噪声方差或者该图像片集合中多个图像片的噪声方差的平均值。
4.根据权利要求1所述的图像噪声减弱方法，其特征在于，该评估噪声方差是依据与该图像片集合相关的内容特性来决定指的是该评估噪声方差是通过分析该参考图像片或者该图像片集合的内容特性来获得的分析结果。
5.根据权利要求4所述的图像噪声减弱方法，其特征在于，该评估噪声方差是线性或者非线性映射到该内容特性的该分析结果。
6.根据权利要求4所述的图像噪声减弱方法，其特征在于，该图像片集合的该内容特性对应至该图像片集合中每一个图像片中的或者接近的多个像素。
7.根据权利要求4所述的图像噪声减弱方法，其特征在于，该图像片集合的该内容特性对应于对比度、亮度、饱和度以及色调中的至少一个。
8.根据权利要求4所述的图像噪声减弱方法，其特征在于，该图像片集合的该内容特性对应于一个频带。
9.根据权利要求4所述的图像噪声减弱方法，其特征在于，该参考图像片是在YUV阈或者拜尔模式域。
10.根据权利要求1所述的图像噪声减弱方法，其特征在于，该转换该图像片集合的操作是通过3维转换、2维转换或者1维转换来执行。
11.根据权利要求10所述的图像噪声减弱方法，其特征在于，该3维转换对应于2维离散余弦转换以及1维哈达玛转换。
12.根据权利要求1所述的图像噪声减弱方法，其特征在于，该噪声减弱是通过依据该评估噪声方差修正该图像片集合的一个或多个频率系数来执行。
13.根据权利要求1所述的图像噪声减弱方法，其特征在于，该噪声减弱是通过硬阈值处理或者维纳滤波来执行。
14.根据权利要求1所述的图像噪声减弱方法，其特征在于，进一步包含聚集该噪声图像的所有已处理的参考图像片。
15.一种图像噪声减弱方法，该方法包含：
接收具有第一尺寸的一个噪声图像；
从该噪声图像选择一个具有第二尺寸的参考图像片，其中该第二尺寸小于该第一尺寸；
将该参考图像片从空间域转换至频率域，来获得该参考图像片的多个频率系数；
依据该多个频率系数中至少一个决定该参考图像片的评估噪声方差，其中该评估噪声方差是依据与该参考图像片相关的噪声方差或者依据该参考图像片的内容特性来获得；
依据该评估噪声方差，修正该多个频率系数中的至少一个以减弱噪声；以及
反转换该参考图像片至空间域，来获得该噪声图像的一个已处理的参考图像片。
16.根据权利要求15所述的图像噪声减弱方法，其特征在于，该参考图像片是在YUV阈或者拜尔模式域。
17.根据权利要求15所述的图像噪声减弱方法，其特征在于，该转换的操作是通过3维转换、2维转换或者1维转换来执行。
18.根据权利要求17所述的图像噪声减弱方法，其特征在于，该3维转换对应于2维离散余弦转换以及1维哈达玛转换。
19.根据权利要求15所述的图像噪声减弱方法，其特征在于，进一步包含应用聚集至该已处理的参考图像片。
20.根据权利要求15所述的图像噪声减弱方法，其特征在于，该评估噪声方差是用来减弱该参考图像片的多个相似图像片的噪声。
21.一种图像噪声减弱装置，该装置包含一个或者多个电子电路，其中该一个或者多个电子电路被配置为：
接收具有第一尺寸的一个噪声图像；
从该噪声图像选择一个具有第二尺寸的参考图像片，其中该第二尺寸小于该第一尺寸；
决定与一个图像片集合相关的评估噪声方差，其中该图像片集合包含该参考图像片以及/或者与该参考图像片相似的多个相似图像片，其中该评估噪声方差是依据与该图像片集合相关的噪声方差或者与该图像片集合相关的内容特性来决定；
识别该多个相似图像片并且分组该多个相似图像片与该参考图像片至该图像片集合；
转换该图像片集合至频率域；
在该频率域，依据该评估噪声方差应用噪声减弱至该图像片集合；
反转换该图像片集合至空间域，来获得该噪声图像的一个已处理的参考图像片；以及。
聚集该噪声图像的所有已处理的参考图像片。
22.一种图像噪声减弱装置，该装置包含一个或者多个电子电路，其中该一个或者多个电子电路被配置为：
接收具有第一尺寸的一个噪声图像；
从该噪声图像选择一个具有第二尺寸的参考图像片，其中该第二尺寸小于该第一尺寸；
将该参考图像片转换至频率域，
依据多个频率系数中至少一个决定该参考图像片的评估噪声方差，其中该评估噪声方差是依据与该参考图像片相关的噪声方差或者依据该参考图像片的内容特性来获得；
依据该评估噪声方差，修正该多个频率系数中的至少一个以减弱噪声；
反转换该参考图像片至空间域；以及
应用聚集至已处理的参考图像片。
23.一种用来减弱图像噪声的装置，该装置包含：
用来接收具有第一尺寸的一个噪声图像的单元；
用来从该噪声图像选择一个具有第二尺寸的参考图像片的单元，其中该第二尺寸小于该第一尺寸；
用来决定与一个图像片集合相关的评估噪声方差的单元，其中该图像片集合包含该参考图像片以及/或者与该参考图像片相似的多个相似图像片，其中该评估噪声方差是依据与该图像片集合相关的噪声方差或者与该图像片集合相关的内容特性来决定；
用来转换该图像片集合至频率域的单元，其中该转换步骤在上述决定该评估噪声方差的步骤之前、之后或者并行执行；
在该频率域，用来依据该评估噪声方差应用噪声减弱至该图像片集合的单元；以及
用来反转换该图像片集合至空间域的单元，来获得该噪声图像的一个已处理的参考图像片。
24.一种用来减弱图像噪声的装置，该装置包含：
用来接收具有第一尺寸的一个噪声图像的单元；
用来从该噪声图像选择一个具有第二尺寸的参考图像片的单元，其中该第二尺寸小于该第一尺寸；
用来将该参考图像片从空间域转换至频率域的单元，来获得该参考图像片的多个频率系数；
用来依据该多个频率系数中至少一个决定该参考图像片的评估噪声方差的单元，其中该评估噪声方差是依据与该参考图像片相关的噪声方差或者依据该参考图像片的内容特性来获得；
用来依据该评估噪声方差，修正该多个频率系数中的至少一个以减弱噪声的单元；以及
用来反转换该参考图像片至空间域的单元，来获得该噪声图像的一个已处理的参考图像片。
CN201410436600.2A 2013-12-26 2014-08-29 3维区块匹配的图像去噪的方法与装置 Expired - Fee Related CN104751418B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/141,416 2013-12-26
US14/141,416 US9123103B2 (en) 2013-12-26 2013-12-26 Method and apparatus for image denoising with three-dimensional block-matching

Publications (2)

Publication Number Publication Date
CN104751418A true CN104751418A (zh) 2015-07-01
CN104751418B CN104751418B (zh) 2018-08-31

Family

ID=53482359

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410436600.2A Expired - Fee Related CN104751418B (zh) 2013-12-26 2014-08-29 3维区块匹配的图像去噪的方法与装置

Country Status (2)

Country Link
US (1) US9123103B2 (zh)
CN (1) CN104751418B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107292851A (zh) * 2017-07-14 2017-10-24 重庆理工大学 一种基于伪3d变换的bm3d图像降噪方法
CN109171815A (zh) * 2018-08-27 2019-01-11 香港理工大学 超声装置、超声方法以及计算机可读介质
CN109697704A (zh) * 2018-11-28 2019-04-30 山东师范大学 基于bm3d算法的自适应全变分espi图像降噪方法及系统
CN110060220A (zh) * 2019-04-26 2019-07-26 中国科学院长春光学精密机械与物理研究所 基于改进bm3d算法的图像去噪方法及系统
CN112561821A (zh) * 2020-12-17 2021-03-26 中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室）） 基于近场扫描的芯片表面电磁数据降噪方法
CN113781357A (zh) * 2021-09-24 2021-12-10 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和存储介质

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102144994B1 (ko) * 2013-09-30 2020-08-14 삼성전자주식회사 영상의 노이즈를 저감하는 방법 및 이를 이용한 영상 처리 장치
WO2015143624A1 (en) * 2014-03-25 2015-10-01 Spreadtrum Communications(Shanghai) Co., Ltd. Methods and systems for denoising images
US10282831B2 (en) * 2015-12-28 2019-05-07 Novatek Microelectronics Corp. Method and apparatus for motion compensated noise reduction
WO2017124036A1 (en) * 2016-01-16 2017-07-20 Flir Systems, Inc. Systems and methods for image super-resolution using iterative collaborative filtering
KR20170107252A (ko) 2016-03-15 2017-09-25 삼성전자주식회사 이미지 데이터의 노이즈 제거 방법
US9990699B1 (en) * 2016-03-21 2018-06-05 Rockwell Collins, Inc. Block match denoising for real-time imaging
US20170324914A1 (en) * 2016-05-09 2017-11-09 Gopro, Inc. Correcting disturbance in a pixel signal introduced by signal filtering in a digital camera
WO2018152071A1 (en) * 2017-02-15 2018-08-23 Flir Systems, Inc. Systems and methods for efficient enhanced image filtering by collaborative sharpening in similarity domain
US11308584B2 (en) 2017-12-04 2022-04-19 Google Llc Method and apparatus for denoising video content
WO2019116975A1 (ja) * 2017-12-13 2019-06-20 キヤノン株式会社 画像処理方法、画像処理装置およびプログラム
CN109544593B (zh) * 2018-10-31 2023-01-31 泰山学院 一种基于自相似度量的通用图像噪声估计方法
JP7301589B2 (ja) * 2019-04-25 2023-07-03 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
CN110084764B (zh) * 2019-04-29 2024-06-25 努比亚技术有限公司 图像降噪处理方法、移动终端、装置及计算机存储介质
CN110189308B (zh) * 2019-05-17 2020-10-23 山东财经大学 一种基于bm3d和稠密卷积网络融合的肿瘤检测方法和装置
CN112311962B (zh) * 2019-07-29 2023-11-24 深圳市中兴微电子技术有限公司 一种视频去噪方法和装置、计算机可读存储介质
CN111612706B (zh) * 2020-04-28 2023-10-13 广州科易光电技术有限公司 一种应用于红外图像的滤波方法及系统
CN111626955A (zh) * 2020-05-25 2020-09-04 泰山学院 一种基于体素级非局部模型的视频去噪方法
CN112132768A (zh) * 2020-09-30 2020-12-25 西京学院 一种基于多降噪器联合优化降噪的mri图像降噪方法
CN112435182B (zh) * 2020-11-17 2024-05-10 浙江大华技术股份有限公司 图像降噪方法及装置
CN113793280B (zh) * 2021-09-14 2023-09-12 福州大学 局部噪声方差估计与bm3d块匹配相结合的真实图像降噪方法
CN115031651B (zh) * 2022-06-07 2023-04-18 天津大学 一种改进bm3d去噪ofdr分布式应变测量方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5729631A (en) * 1993-11-30 1998-03-17 Polaroid Corporation Image noise reduction system using a wiener variant filter in a pyramid image representation
US20030016884A1 (en) * 2001-04-26 2003-01-23 Yucel Altunbasak Video enhancement using multiple frame techniques
US6553127B1 (en) * 1998-05-20 2003-04-22 Macrovision Corporation Method and apparatus for selective block processing
US20040228406A1 (en) * 2002-12-27 2004-11-18 Samsung Electronics Co., Ltd. Advanced DCT-based video encoding method and apparatus
US20100309985A1 (en) * 2009-06-05 2010-12-09 Apple Inc. Video processing for masking coding artifacts using dynamic noise maps
CN102034224A (zh) * 2010-11-30 2011-04-27 辽宁师范大学 基于伪Zernike矩的图像去噪算法
CN102184526A (zh) * 2011-04-22 2011-09-14 西安电子科技大学 基于字典学习和块匹配的自然图像去噪方法
US8260076B1 (en) * 2009-03-31 2012-09-04 Hewlett-Packard Development Company, L.P. Constant time filtering
US20130235931A1 (en) * 2012-03-06 2013-09-12 Apple Inc. Masking video artifacts with comfort noise

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5729631A (en) * 1993-11-30 1998-03-17 Polaroid Corporation Image noise reduction system using a wiener variant filter in a pyramid image representation
US6553127B1 (en) * 1998-05-20 2003-04-22 Macrovision Corporation Method and apparatus for selective block processing
US20030016884A1 (en) * 2001-04-26 2003-01-23 Yucel Altunbasak Video enhancement using multiple frame techniques
US20040228406A1 (en) * 2002-12-27 2004-11-18 Samsung Electronics Co., Ltd. Advanced DCT-based video encoding method and apparatus
US8260076B1 (en) * 2009-03-31 2012-09-04 Hewlett-Packard Development Company, L.P. Constant time filtering
US20100309985A1 (en) * 2009-06-05 2010-12-09 Apple Inc. Video processing for masking coding artifacts using dynamic noise maps
CN102034224A (zh) * 2010-11-30 2011-04-27 辽宁师范大学 基于伪Zernike矩的图像去噪算法
CN102184526A (zh) * 2011-04-22 2011-09-14 西安电子科技大学 基于字典学习和块匹配的自然图像去噪方法
US20130235931A1 (en) * 2012-03-06 2013-09-12 Apple Inc. Masking video artifacts with comfort noise

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
BUADES A等: "A review of image denoising algorithms with a new one", 《MULTISCALE MODELING AND SIMULATION》 *
ELAD M等: "Image denoising via sparse and redundant representations over learned dictionaries", 《IEEE TRANS. IMAGE PROCESS》 *
KERVRANN C等: "Optimal spatial adaptation for patchbased image denoising", 《IEEETRANS. IMAGE PROCESS》 *
徐忠威: "非局部型三维块匹配去噪算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
王明晖等: "利用MATLAB实现二维窗函数", 《电脑编程技巧与维护》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107292851A (zh) * 2017-07-14 2017-10-24 重庆理工大学 一种基于伪3d变换的bm3d图像降噪方法
CN107292851B (zh) * 2017-07-14 2019-09-27 重庆理工大学 一种基于伪3d变换的bm3d图像降噪方法
CN109171815A (zh) * 2018-08-27 2019-01-11 香港理工大学 超声装置、超声方法以及计算机可读介质
CN109171815B (zh) * 2018-08-27 2021-08-03 香港理工大学 超声装置、超声方法以及计算机可读介质
CN109697704A (zh) * 2018-11-28 2019-04-30 山东师范大学 基于bm3d算法的自适应全变分espi图像降噪方法及系统
CN110060220A (zh) * 2019-04-26 2019-07-26 中国科学院长春光学精密机械与物理研究所 基于改进bm3d算法的图像去噪方法及系统
CN112561821A (zh) * 2020-12-17 2021-03-26 中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室）） 基于近场扫描的芯片表面电磁数据降噪方法
CN112561821B (zh) * 2020-12-17 2024-05-17 中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室）） 基于近场扫描的芯片表面电磁数据降噪方法
CN113781357A (zh) * 2021-09-24 2021-12-10 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN104751418B (zh) 2018-08-31
US20150187053A1 (en) 2015-07-02
US9123103B2 (en) 2015-09-01

Similar Documents

Publication Publication Date Title
CN104751418A (zh) 3维区块匹配的图像去噪的方法与装置
Shen et al. Hybrid no-reference natural image quality assessment of noisy, blurry, JPEG2000, and JPEG images
Yoo et al. Image restoration by estimating frequency distribution of local patches
CN109919959B (zh) 基于色彩、自然性及结构的色调映射图像质量评价方法
CN104023225B (zh) 基于空时域自然场景统计特征的无参考视频质量评估方法
Zheng et al. No-reference quality assessment for screen content images based on hybrid region features fusion
CN108805840A (zh) 图像去噪的方法、装置、终端及计算机可读存储介质
KR20090101911A (ko) 코딩된 화상 및 영상에서 블록 아티팩트 검출
US8737762B2 (en) Method for enhancing image edge
Hou et al. Underwater image dehazing and denoising via curvature variation regularization
CN109214996B (zh) 一种图像处理方法及装置
Attar et al. Image quality assessment using edge based features
JPWO2008093835A1 (ja) 画像処理方法
Rothe et al. Efficient regression priors for reducing image compression artifacts
CN105894507B (zh) 基于图像信息量自然场景统计特征的图像质量评价方法
Das et al. A comparative study of single image fog removal methods
CN115809966A (zh) 一种低照度图像的增强方法和系统
Bindal et al. A systematic review of state-of-the-art noise removal techniques in digital images
Satapathy et al. A combination of variational mode decomposition and histogram equalization for image enhancement
Okarma Colour image quality assessment using the combined full-reference metric
Ponomaryov et al. Fuzzy color video filtering technique for sequences corrupted by additive Gaussian noise
US8897378B2 (en) Selective perceptual masking via scale separation in the spatial and temporal domains using intrinsic images for use in data compression
Ponomarenko et al. Color image lossy compression based on blind evaluation and prediction of noise characteristics
Farah et al. Full-reference and reduced-reference quality metrics based on SIFT
Sun et al. Reduced-reference image quality assessment through SIFT intensity ratio

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180831

Termination date: 20210829

CF01 Termination of patent right due to non-payment of annual fee