CN105144232B

CN105144232B - 图像去噪方法和系统

Info

Publication number: CN105144232B
Application number: CN201480003269.3A
Authority: CN
Inventors: 陈敏杰; 张乐; 牛海军; 林福辉
Original assignee: Spreadtrum Communications Shanghai Co Ltd
Current assignee: Spreadtrum Communications Shanghai Co Ltd
Priority date: 2014-03-25
Filing date: 2014-03-25
Publication date: 2017-09-08
Anticipated expiration: 2034-03-25
Also published as: US9454807B2; WO2015143624A1; US20160253787A1; CN105144232A

Abstract

采用与训练方案相关的收缩函数模型来协助获得已去噪块，具体地，用来从图像中去除噪声。

Description

图像去噪方法和系统

背景技术

在过去数十年中，数字成像激增。大多数的图像通过数字方式获得，并且模拟图像也被转换为数字图形进行处理、存储和显示。消费者与专业人士同样地对图像质量具有较高的要求和期望。噪声水平是影响图像质量的一个重要方面。图像中存在各种噪声，例如来自图像传感器的chroma噪声和lumna噪声以及源于图像处理的压缩噪声。在尽可能小地降低图像清晰度的情况下，从图像中去除噪声是一个很大的挑战。虽然现有技术中具有多种图像处理技术，但是由于各种原因其效果并不佳。因此，很有必要提出一种新型的图像降噪方法和系统。

发明内容

本发明提供了用于拜耳颜色过滤阵列(CFA：color filter array)图像的去噪算法的方法和系统的多个实施例，但并不限制其用于其他图像的去噪算法中。在一些实施例中，不是采用相同的硬阈值过滤策略，而是在训练模型中学习多个用于不同系数的收缩函数。上述方法可以进一步扩展用于在平均红绿蓝(RGB)估计和绿-红、绿-蓝(GrGb)校正中学习收缩函数模型。在一些实施例中，采用了匹配类型估计(MTE)步骤，其中，具有不同匹配类型的块具有自身唯一的收缩函数模型。在训练模型中，所述MTE可以与协同过滤(COLF)相结合。

在一些实施例中，本发明包括了从图像中去除噪声的方法。本发明可以进一步包括，但并不限于，从具有噪声属性的第一图像中选择一个或多个块作为一组噪声块，其中，每个噪声块具有一组n×n个像素；从不具有噪声属性的第二图像中选择一个或多个块作为一组清洁块，其中，每个清洁块具有一组n×n个像素；评估该组噪声块的块类型，所属块类型的数量为一个或多个；基于所述一个或多个块类型、以及所述噪声块和清洁块各自的n×n个像素，构建收缩函数模型；将所述收缩函数模型应用于第三图像，获得一组已去噪块，每个已去噪块具有n×n个像素；以及重建所述n×n像素的一组已去噪块，以去除所述第三图像的噪声。

本发明从图像中去除噪声的方法还包括，但不限于，选择具有相同颜色配置的一个或多个块，分别选择具有不同颜色配置的一个或多个块，评估所述第一图像的所述一个或多个块的空间分布，计算所述第一图像的一个或多个相邻块之间的块距离，对块类型进行分类，以及基于计算获得的所述块距离将相似块类型进行分组，为了获得第一块和第二块的相同颜色配置而旋转所述第一块和第二块。所述收缩函数模型还可以包括对块类型进行分组包括快速块匹配算法；以及为了评估块类型，表示所述快速块匹配算法在每个方向上的已匹配块数量的n维向量。所述的收缩函数模型对每个块类型设计对应的n×n个收缩系数。

在另一实施例中，本发明还提供了一种用于从图像中去除噪声的方法，所述方法可以进一步包括，从图像中选择块，所述块具有第一组n×n个像素，其中，每个像素具有一个RGB值；确定所述块的平均RGB值；评估所述块的块类型；从所述平均RGB值中分别减去所述块的n×n个像素的各个RGB值，获得第二组n×n个像素；对所述第二组n×n个像素执行2D转换，以获得n×n个频域系数；为s个相似块，对所述n×n个频域系数执行3D变换获得n×n×s个3D系数；获得与图像传感器的噪声属性和所述块的块类型相关的一组收缩函数；为所述n×n×s个3D系数，采用该组收缩函数执行收缩处理，获得一组n×n×s个已去噪频域值；对所述n×n×s个已去噪频域值执行一个或多个逆向变换，获得一组n×n已去噪像素值。

本发明的从图像中去除噪声的方法还可以包括，但不限制于，构建收缩函数模型，选择具有相同颜色配置的一个或多个块，分别选择具有不同颜色配置的一个或多个块，评估一个或多个块的空间分布，计算一个或多个相邻块之间的块距离，对块类型进行分类，以及基于计算获得的所述块距离将相似块类型进行分组，为了获得相同颜色配置而旋转一个或多个块。所述收缩函数模型还可以包括，每个所述n×n×s个3D系数的唯一收缩曲线，每个块类型的n×n个收缩系数，2D离散余弦变换(2D-DCT)，2D离散小波变换(2D-DWT)和1-D哈尔/哈达玛变换的组合，表示所述快速块匹配算法在每个方向上已匹配块数量的n维向量，绿-红、绿-蓝(GrGb)校正处理以及可选的色彩值校正处理。

本发明公开的进一步的适应领域通过下文中的描述会更加清楚。应当理解的是，在阐述各个实施例时，本发明的具体示例和细节描述仅是出于进行说明的目的，而并不用来限制本发明的保护范围。

本说明书通篇所涉及的“一个例子”、“例子”、“一个实施例”或者“实施例”等表述，在结合当前技术的一个或多个示例进行描述时，用于说明一个特定的特征、结构或者特点。因此，在本说明书的通篇的多处采用短语“在一个实施例中”，“在例子中”，“一个实施例”或者“实施例”并不是必然地指相同的例子。进一步地，此处的标题仅是为了描述的方便而不是用于限制或者说明本发明权利要求技术的范围或意义。

附图说明

在本说明书结论部分的权利要求中，特别指明和主张了本发明的主题。此外，所述附图并不用来衡量，以强调而不是宽泛的方式来示例，本发明的主旨。从下面的详细描述并结合对应的附图可以清楚地了解本发明上述的以及其他的目的、特征和优点。

图1A示出了本发明实施例形成训练收缩函数(SF)模型的流程图；

图1B示出了本发明实施例应用所述训练SF模型对噪声图像进行去噪的流程图；

图2A示出了用于颜色过滤阵列(CFA)图像去噪的具有平均红绿蓝(RGB)估计和匹配类型估计的基于3D块匹配(BM3D)过滤的算法的示意图；

图2B示出了用于CFA图像去噪的具有协同过滤(COLF)的基于BM3D的算法的示意图；

图2C示出了用于CFA图像去噪的具有COLF和聚合的基于BM3D的算法的示意图；

图3示出了采用块代码1、2和3分别表示平坦、结构和纹理块的用于噪声CFA图像的8维匹配向量的示例；

图4A示出了用于拜耳(Bayer)图像的块匹配算法的旋转处理；

图4B示出了对参考块及其相似块执行的3维转换；

图5A示出了采用一组哈达玛(Hadamard)转换数值的用于红色通道均值估计的训练SF模型的示例；

图5B示出了采用一组差值的用于红色通道的均值估计的训练SF模型的示例；

图6A示出了用于6×6像素DCT转换的基；

图6B示出了对平坦块进行1-D转换中具有直流(DC)系数的训练后SF模型结果；

图6C示出了对纹理块进行1-D转换中具有DC系数的训练后SF模型结果；

图6D示出了对结构块进行1-D转换中具有DC系数的训练后SF模型结果；

图6E示出了对平坦块进行1-D转换中具有交流(AC)系数的训练后SF模型结果；

图6F示出了对结构块进行1-D转换中具有AC系数的训练后SF模型结果；

图6G示出了对垂直结构块进行1-D转换中具有DC系数的训练后SF模型结果；

图6H示出了对水平结构块进行1-D转换中具有DC系数的训练后SF模型结果；

图7示出了具有绿-红、绿-蓝(GrGb)校正的训练SF模型的应用结果；

图8示出了计算机系统和装置的示例。

具体实施方式

在下面的描述中，出于解释的目的，为了使本发明的各种实施例能够被透彻理解，阐述了很多细节。但是，显然地，对于本领域技术人员来说，本发明的实施例也可以在没有部分这些细节的情况下实施。在其他示例中，一些公知的结构和算法通过框图的形式示出。

近年来，已经提出了多种去噪算法。其中，基于块的非局部方案(patch-basednon-local solutions)，例如三维块匹配(BM3D：Block-matching3D)过滤，是较为先进的算法。BM3D的核心是对相似块(patch)进行搜索和分组，并协同地在3D变换域(3dimensional(3-D)transform domain)对所述相似块执行去噪模型。在经过诸如硬阈值过滤器或者Wiener过滤器的收缩处理之后，将通过逆向3D变换获得的去噪块经过加权来重建已去噪图像。但是，由于所述块匹配方法的计算成本过高，使得其在实际应用中不切实际。此外，BM3D具有两步去噪处理，首先，在收缩处理中，对初始硬阈值处理采用相同的参数，在第二步中，通过参考一个真实能谱的初始预估来执行Wiener过滤。这些程序增加了硬件设计的难度。

通常，由于大多数的去噪算法的假定噪声模型为独立同分布的噪声模型(I.I.D.)，如果对噪声图像直接进行逆马赛克(demosaicing)处理，将会导致产生与空间相关的噪声。因此，在逆马赛克处理之前在拜耳域(Bayer Domain)对去噪模型进行操作是非常关键的。因此，需要一种系统和方法，其能够提供简单快速构建和应用的去噪算法来降低具有拜耳图案(Bayer patterns)的原始图像的噪声。

以下的描述仅提供了优选的典型实施例，其并不用来限制本发明的范围、实用性和结构。相反，以下对优选的典型实施例进行的描述为本领域技术人员提供了对某一优选典型实施例的可实施性描述。可以理解的是，在不脱离本发明如所附上的权利要求的精神和范围的情况下，可以对本发明的功能和元件的排列做出各种变化。

本发明一般涉及信号降噪。虽然在整个上下文中以图像信号进行描述，但是本发明的多个方面还可以应用于具有低计算量限制的图像处理、信号处理和/或类似的需要滤除无关信号噪声技术的各种方案，而不是试图通过优化特定系统的物理方面，例如物理连接/连接器优化、电路结构优化以及其他，来解决图像噪声的问题。特定系统的物理方面至少是在具体应用或者具体个例的基础上有些效果的。但是，仅通过投入资源用于优化物理系统方面，很难在一个宽范围内解决图像噪声降低的问题。在另一方面，就噪声减少和/或去噪算法核心的意义上来说，图像处理是可扩展的，或者轻便的，因此，如下所述，除了由于软件或者固件中的具体实施需求而需要的修改外，其可以集成入各种系统来执行图像噪声降低。

如本说明书所用，术语“RGB”或“RGB值”或“RGB图案”可以指具有三基色，红色、绿色和蓝色，的图像。如本说明书所用，术语“拜耳图像”(Bayer image)或“拜耳图案”(Bayerpattern)或“拜耳格式”(Bayer format)可以指一个图像的一个或多个像素的具有不同RGB值的颜色配置。如本说明书所用，术语“原始图像”可以指拜耳图案图像，其具有拜耳过滤器相机或者传感器的原始输出。由于每个像素都被过滤来记录所述三基色中的一个，仅从每个像素获得的数据本身不能完全确定颜色。为了能够获得全色(full-color)图像，对全色图像的一个或多个像素采用一种或多种逆马赛克算法来内插一组完整的红、绿和蓝数值。如本说明书所用，术语“收缩函数(SF：Shrinkage Function)”或“训练SF”或“训练SF模型”可以指形成一个或多个训练收缩函数的过程、或者用来对一个或多个噪声图形去噪的一个或多个训练收缩函数模型。如本说明书所用，术语“系数收缩”可以指应用于转换和/或频率域的系数的收缩函数。

首先，参考图1，图1示出了训练模型100的流程示意图。图1A示出了以一个或多个清洁图像104和一个或多个噪声样本图像106作为输入数据开始的形成训练SF模型102的流程图。在一些实施例中，对未知或者随机图像进行降噪要建立降噪训练模型并将其应用于所述图像。所述训练SF模型102可以通过分析一组“训练数据”(例如，预先确定的一组噪声和清洁图像的多个数据点)获得，所述“训练数据”映射已知的“输入变量”(例如，训练SF模型102)来获取“输出值”(例如，随机噪声图像的去噪图像)。在模型建立之后，将清洁图像和噪声图像的数据流应用于所述模型；例如，通过接收所述数据流的随机输入，所述模型预测所述随机图像的去噪结果。在一些实施例中，尽管在所述训练SF模型102中示出了清洁和噪声图像两者，但是所述训练SF模型102也可以仅根据噪声图像建立。为了准确预测去噪图像，该组训练数据应当包括一个或多个噪声图像样本来确保训练数据足够大而可以包含每个块的多个代表图像数据。总之，所述训练模型100可以全部或者部分由具有特定目的的计算系统或者装置来实施，在一些实施例中，该系统或装置本身基于特定实施需求和规格而被配置。后续会结合图8进一步详细描述这种计算系统或者装置的一个示例。

在一些实施例中，所述清洁图像104和噪声图像106可能为噪声或者清洁数据的子集，并基于采样建立所述训练SF模型102。在一些实施例中，一个或多个噪声样本图像106经过图像传感器系统测量。作为本说明书所用的术语，要进行过滤和/或增强的特定类型图像被称为“清洁”图像。所述清洁图像104可以为利用所述噪声样本图像106通过某种去噪算法进行减噪后形成的增强图像。建立所述训练SF模型102的步骤还包括对清洁图像104和噪声样本图像106两者的输入数据进行方差稳定变换(VST:variance stabilizationtransform)108，快速块匹配(BM:Block Matching)110，和匹配类型估计(MTE:match typeestimation)处理。当所述噪声数据不是独立同分布(I.I.D.)高斯数据(例如，信号依赖噪声数据)时，所述VST 108采用向前/向后广义安斯库姆变换(GAT：generalized anscombetransform)来执行。在一些实施例中，如果给定的图像传感器的国际标准化组织(ISO)值是确定的，通过假定泊松高斯噪声模型，用所述VST 108将所述颜色过滤阵列(CFA：colorfilter array)图像转换为近似I.I.D.高斯数据。对于未知ISO值或者不同的增益设置，可以采用不同的参数，所述参数预先在特定传感器上进行训练。在一些实施例中，对于具有已知ISO值的不同传感器，所述噪声模型也会变化。对于每个传感器，不同的ISO值需要进行不同的测量。

在一些实施例中，所述MTE 120中的块距离使用沿着测地线距离路径(Geodesicdistance path)的相邻块估计。如本说明书所用，术语“测地线距离”或者“测地线值”可以指图像上任意两个像素点之间的最短路径和/或距离。快速BM 110可以对4×4，6×6或8×8的图像块执行，且具有相似的计算成本。传统算法受限于只能处理具有相同颜色配置(例如，绿色、红色和蓝色图案配置)的块。在一些实施例中，还增加了旋转过程，因此，对相似块的搜索可以扩展到具有不同颜色配置的块。如本说明书所用，术语“块”可以指一个具有n×n个色块的图像的一部分。在一些实施例中，块的不同类型可以指基于所述块的不同空间分布的块类型(例如，平坦、结构和纹理区域，但是不限于三种匹配类型)。例如，对平坦区域执行高水平降噪，对纹理区域进行低水平降噪。

根据本发明的一些实施例，图1B示出了将所述训练SF模型102应用于随机噪声图像152的去噪模型的流程图150。在一些实施例中，8维(8-D)快速BM 156采用代表每个方向上匹配块数量的8维向量来示意。虽然本实施例仅示出了8-D的快速BM 156(更多的细节在下面结合图3进一步阐述)，但是应当理解的是，在其他的一些实施例中还可以采用其他数量的维度。在一些实施例中，接着VST 154、快速BM 156和MTE 158之后，将所述训练SF模型的训练应用于所述随机噪声图像152。在所述MTE 158之后，所述流程图还引入了所述训练SF模型102的训练过程。下一步中，基于相似块执行平均RGB值估计160。接着，对这些相似块在3-D变换域162下协同地执行去噪流程。如本说明书所用，术语“协同地”可以指在同时对多个块执行去噪程序。所述3D变换域可以包括使用1-D哈尔/哈达玛变换和2D离散余弦变换(2D-DCT)或者2维离散小波变换(2D-DWT)的组合，和/或与此类似的变换。在一些实施例中，所述MTE 158包括对不同块类型(例如，平坦、结构和纹理区域，但是不限于三种匹配类型)的不同空间匹配分配的一组预定义或训练的判定规则。在一实施例中，相似块的空间分布可以指转向核估计(steering kernel estimation)，具体可以参考“Takeda,Farsiu,&Milanfar,“Kernel regression of image processing and reconstruction”,IEEETran.on image processing,16(2),349-366,2007”(其全文作为参考引用于此)。所述流程图150还包括系数收缩164，逆向3-D变换166，绿-红、绿-蓝(GrGb)校正168，其在后续将会结合图2进行详细描述。块平均或块聚合170和逆向VST 172也可能被应用于所述数据来获得已去噪图像180。总之，所述训练SF模型102的应用流程图150可以全部或者部分由具有特定目的的计算系统或者装置来实施，在一些实施例中，该系统或装置本身基于特定实施需求和规格而被配置。后续会结合图8进一步详细描述这种计算系统或者装置的一个示例。

图2示出了对原始CFA图像的噪声块进行基于BM3D基本框架的去噪处理的一个示例，其中，图2A示出了本发明CFA图像去噪中平均RGB值估计160和MTE158步骤的示意图，图2B示出了对所述CFA图像基于BM3D协同去噪(COLF)的算法，图2C示出了对所述CFA图像使用具有COLF和聚合的BM3D的算法的去噪过程。在一些实施例中，在平均RGB估计中采用相似块。在图2A中，从噪声CFA图像204中选取参考块(R)202，以及具有相同颜色配置的其它三个相似块206(例如，206_1，206_2和206_3)。在一些实施例中，分别对所有块202和206进行平均RGB值估计和相减208。接着，对所述块应用一个或多个2D变换210来获得一个或多个频域系数，接着进行与所述MTE 214一致的一个或多个收缩函数212。在逆向变换(例如，2D-DCT)之后，将平均RGB值加回所述不同的频率域系数216。最后，对所述空间域系数执行一个或多个变换来重建(步骤218)去噪CFA图像204。在一些实施例中，通过平均所有的去噪块在空间域执行步骤218。在图2B中，通过COLF获取直流(DC)系数230和交流(AC)系数232。例如，对于一个6×6的像素块，在2-D DCT变换后在频率域具有36个系数。在一些实施例中，在左上部的系数被作为直流系数，其余的系数被作为交流系数。在一些实施例中，由于4个块(202，206_1，206_2，206_3)被协同处理，也可以首先采用2-D DCT转换210。接着，执行不同组的1-D变换来对应2-D DCT变换域的系数。对于4个6×6块，在3-D变换后存在144个系数。下面会结合图6D进一步介绍收缩函数DC系数，以及结合图6E进一步介绍收缩函数AC系数。

除了与图2A中相同的去噪步骤，在去噪过程中还可以包括3-D变换234和逆向3-D变换236。在一些实施例中，为了获得去噪图像，如图2C中所示的块平均或块聚合240也可以被应用于所述数据。在一些实施例中，所述训练SF模型102通过在空间域优化所述均方误差时共同被训练。所述平均RGB估计的收缩函数可以采用局部策略。尽管本实施例中仅示出了2-D DCT变换，但是应当理解的是，在其他实施例中，也可以采用其他的变换(例如，哈达玛变换(Hadamard transform)、双数实数/复数变换，非抽样DCT)。在一些实施例中，与3-D变换域162的基于BM3D的算法类似地，也可以应用COLF处理。哈达玛变换之后的不同系数被用于学习训练SF模型102，分别包括DC系数230和AC系数232。在一些实施例中，对于和COLF一样的多匹配类型还可以采用基于切片变换(slicing–transform-based)的训练策略。所述训练策略也可以对所述平均RGB值估计和GrGb校正168扩充。在一些实施例中，在执行接着逆向3-D变换236的收缩函数212之后，每个通道的平均RGB值估计160被回加至所述去噪块。当Gr和Gb直接回加时，在一些平坦区域可能会导致网格效应(grid effect)。因此，我们会在具有不同匹配类型的块上为GrGb训练所述训练SF模型102。下文会结合图5进一步描述所述平均RGB值估计160的示例，以及结合图7描述所述COLF应用和所述GrGb校正168的示例。

图3示出了噪声CFA图像302的快速块匹配结果的示例。在一些实施例中，不是通过穷举策略(Brute forcing strategy)来搜索相似块，而仅是对所述块的测地线路径上的相邻块比较来对块匹配步骤进行加速。因此，每个块(块p₁ 306，块p₂ 308和块p₃ 310)可以具有8-D向量312。在一实施例中，鉴于对拜耳CFA图像采用两个像素的移动步骤，计算相邻块测地线路径或者块距离的8-D向量312。假设P_ij为在i方向上的第j个块，d_ij为P_i,j-1和P_i,j之间的距离，d(P_i,j)为当前块P_i,j的距离，则有：

d(P_i,j)＝max(d(P_i,j-1),d_i,j)+c, (1)

其中c＝κn²σ²为常数。在一些实施例中，此8-D向量可以用来匹配类型估计。例如，块p₁ 306，块p₂ 308和块p₃ 310被分别选作平坦、结构和纹理块。在一些实施例中，相似块的空间分布和梯度信息也可以被用来做匹配类型估计。

本发明的某些实施方式中采用了串色相关性(cross-color correlations)。例如，存在以下限制，即仅对具有相同RGB颜色配置的块分组来为图像搜索相似块，其后为COLF处理。由于过滤器同时利用所有的颜色成分，因此使用术语串色过滤(cross-colorfiltering)，具体细节可参考“Danielyan,Vehvilainen,Kathovnik&Egiazarian,“Cross-color BM3D filtering of noisy raw data”,LNLA,125-129,2009”(其全文作为参考引用与此)。为了避免去噪结果中的网格效应，还可以为具有不同颜色配置的块引入旋转过程。例如，如图4A所示，块R表示左上角区域为红色的块。不是采用具有相同颜色配置(例如，块R和块D)的块，而是在对所述块A 410，块B 412和块C 414分别进行-90°，90°和180°的旋转之后，在所述快速BM 110和156模型中选定所有的块(例如，块A 410，块B 412，块C 414和块D416)。上述改进的匹配策略可以在所述快速BM 110和156模型中应用。例如，在向东的方向(例如，水平方向的右侧)，我们要计算R 420和D 416，D和F之间的块距离，以及R 420和A410，A 410和E之间的块距离。图4B示出了对参考块及其相似块执行三维转换的示意图。所述相似块采用快速块匹配算法选定。在图4B中，为所述3-D转换162和234对所述具有相同颜色配置的相似块402进行分组。所述3D转换域可以包括2维离散余弦转换(2D-DCT)和2维离散小波转换(2D-DWT)450，接着为1-D哈尔转换460，和/或类似转换。在一些实施例中，所述MTE 158依赖，具有一组预定义或训练的判定规则的，所述相似块402的空间分布(例如，与所述测地线距离关联的快速BM 110和156)实现。给定一个公差τ，在8维快速匹配处理后，距离小于τ的块被选定为相似块。因此，8-D匹配向量V312表示每个方向的匹配块数目。所述8-D匹配向量V 312在所述MTE 120和158中采用。例如，去噪块可以被划分为三种类型(例如，平坦、结构和纹理区域)。在所有相邻方向具有相似块402的块被认为是平坦区域，而不具有相似块的独特块则被划分为纹理块。所述结构块可以进一步划分为不同的子类别，其中在不同的方向上可以找到所述相似块402。应当理解的是，在其他实施例中还可以采用其他匹配类型。

在一些实施例中，基于切片变换(SLT)的训练策略也可以用于具有多种匹配类型以及COLF过程的情况。所述SLT指一种线性变换，其中，信号x表示矩阵S_q(x)的列向量的线性组合，具体可参考“Y.Hel-Or,D.Shaked,“A discriminative approach for waveletshrinkage denoising,IEEE Tran.on image processing,17(4),443-457,2008”。在所述SLT中，矩阵S_q(x)可以变化而向量q的值固定。在加入对超范围系数的不变设置和增加映射函数的对称约束后，SLT的向量形式可以表示为：

x＝S_q(x)q+h (2)

其中，q＝[q₀,q₁,...,q_M]^T将区间[0,b)划分为M个组距(bins)，因此0＝q₀<q₁<...<q_M＝b，h为超范围系数(out-of-the-range coefficient)。向量x的每个值都与单一的组距π(x)∈{0,1...M}相关，其中，0表示在区间[0,b)之外的值，对应的标准化留数(normalizedresidue)r(x)为：

因此，N×(M-1)维矩阵S_q(x)表示为：

所述超范围系数h定义为：

在一些实施例中，所述SLT的一个独特性质是置换性质，其中，边界向量q被不同的向量p_1×(M－1)所代替。这种情况下，对x执行分段线性映射处理：

M_q,p{x}＝S_q(x)p+h (6)

在一些实施例中，所述SLT为基于样条(spline-based)表示，其中，非线性映射操作使用分段线性的方式实现。因此，可以通过最小二乘形式来解此优化问题。在SLT变换中，在所述区间[0,b)之外的映射值可以不改变。在一些实施例中，所述超范围的系数(例如，去模糊和/或增强)可能需要放大。因此，所述超范围的系数h可能被取消和/或移除。修正方程(3)和(4)可以被精确量化表示为：

因此，所述N×M矩阵S_q(x)为：

在一些实施例中，所述SLT可以被用来学习所述CFA图像去噪中的训练SF模型102。在其他实施例中，也可以进行其他变型(例如，增加正则项使得结果更为稳定)。除了在转换域中的系数收缩164，SLT还被用于平均RGB值估计160和GrGb校正168。在一些实施例中，同时集成了所述MTE 120和158和所述COLF。

在一些实施例中，去噪算法被直接应用于拜耳CFA图像。然而，大多数基于小波的去噪算法把图像局部平滑作为算法设计前提，而拜耳CFA图像并不具备此特点。因此，在本方案中，在噪声块中每个颜色通道的平均值预先被估计和相减。为了改善所述估计的准确性，前面提及的相似块的平均RGB值可以同时在所述平均RGB值估计160中使用。在一些实施例中，在所述平均RGB值估计160的训练过程中应用了局部策略。假设对于块p_k，其在颜色通道R，Gr，Gb和B上对应的平均值可表示为mr_k，mgr_k，mgb_k和mb_k。采用所述快速块匹配，选择若干具有平均值mr_k,s，mgr_k,s，mgb_k,s和mb_k,s的相似块p_k,1,…,p_k,s，s∈{0,1,3,7}。在一些实施例中，通过对清洁和噪声图像的最小二乘训练方案获得的权重均值可以用来替代mr_k,s，mgr_k,s，mgb_k,s和mb_k,s。在一些实施例中，两种策略可以被用来预测所述平均RGB值估计160。在一种解决方案中，在哈达玛变换之后对所述系数执行收缩函数212，而在另一种方案中，一种可替换的方案是对均值差值应用所述系数收缩164。例如，假设存在3个相似块，当所述红色通道被估计后，在均值变换之后可以获得一个4-D向量。在一些实施例中，基于所述相似块的红色平均值预测标量值。对所述转换后数据可以应用收缩曲线。

图5示出了使用6×6像素块大小对柯达(Kodak)测试数据集中的一幅图像的R通道的训练SF模型的示例，其结果为s＝1(502),s＝3(504)以及s＝7(506)，其中s为相似块的数量。在一些实施例中，在哈达玛变换之后执行收缩函数212，其结果示于图5A中。

例如，假设块p_k在颜色通道R具有均值mr_k，选择具有均值mr_k,j(j＝1,…,s)的相似块。对向量x_mrk＝[mr_k,mr_k,1,…,mr_k,s]^T进行哈达玛变换后，可以得到此处，被收缩函数作为没有任何修改的超范围系数。对应用相同的收缩函数212。例如，可以通过最小化下面的代价函数获得R通道的训练SF模型102：

其中，为清洁块的R通道的平均值。T_si为提取矩阵或向量第i行的操作符号，λ为正则化参数。如果选择了M个组距，需要训练12个(M-1)维向量。此处，边界向量p在这个最小二乘优化问题中具有解析解。在所述向量p优化后，R通道的估计值可以通过下式计算：

在其他实施例中，所述系数收缩164采用差替代值，所述差值可以指如图5B所示的结果的值mr_k,1-mr_k,...,mr_k,s-mr_k，其中，s＝1(522)，s＝3(524)和s＝7(526)。通过最小化前面描述的代价函数可以求得对这些差值最优收缩函数。在这种情况下，所述R通道的估计值为：

在一些实施例中，不是在所述训练SF模型102中最小化均方误差，而是对代价函数(例如，感知保真度的均方误差)进行修改。

在一些实施例中，给定预定义的匹配类型c，对于n×n的像素块，存在n×n×c×(M-1)个训练参数。图6中示出了所述训练SF模型102的一个示例，其中，图6A示出了6×6像素的DCT变换的字典的基(dictionary basis)。图6B为对所述平坦块620进行1-D变换的具有直流(DC)系数的训练后SF模型的结果，图6C示出了对所述纹理块630进行1-D变换的具有DC系数的训练后SF模型的结果，图6D示出了对所述结构块640进行1-D变换的具有DC系数的训练后SF模型的结果，图6E示出了对所述平坦块650进行1-D变换应用具有交流(AC)系数的训练后SF模型的结果，图6F示出了对所述结构块660进行1-D变换应用具有AC系数的训练后SF模型的结果，图6G示出了对垂直结构块进行1-D变换应用具有DC系数的训练后SF模型的结果，以及图6H示出了对水平结构块进行1-D变换应用具有DC系数的训练后SF模型的结果。在图6A中，选择4个字典中的基向量610，612，614和616来示意不同的特征，且他们对应的收缩曲线分别在图6B到图6H中示出。在图6B到图6H中，x轴表示频率系数，y轴表示收缩系数。在一些实施例中，结构块还可以被进一步划分为垂直、水平或者其他类型。应当指出的是，根据潜在的图像，所述收缩函数212应用中有不同的曲线。在一些实施例中，可以执行所述训练SF模型来估计有COLF的平均RGB值。当对多个相似块402协作去噪时，可以应用所述训练SF模型102。例如，当对哈达玛转换后的值执行收缩函数212时，为所述清洁图像的一组平均值，所述代价函数修改为：

需要注意的是，所述训练参数的数量不会变化。

在一些实施例中，所述收缩函数对平坦块或区域会显示出更平滑的效果。对于纹理块或区域，为了保留更多的纹理内容系数会收缩的略小。对于结构块和区域，与边缘信息对应的系数会略小的收缩。在一些实施例中，如果所述结构块沿着水平和垂直方向分别进行训练，该方法可能到边缘起到被更好的保留效果。在一些实施例中，转换域中训练SF模型102的系数与空间分布方法类似，具体可参考：“Takeda,Farsiu,&Milanfar,“Kernelregression of image processing and reconstruction”,IEEE Tran.on imageprocessing,16(2),349-366,2007”。由于增加了额外的匹配类型，可以为具有不同匹配类型的块训练不同的SF模型。例如，假设p_kn和分别表示在位置k平均RGB值相减后的噪声块和清洁块，D为2-D DCT转换450，则代价函数可以表示为：

其中，

其中，MT(p_k)为块p_k的匹配类型。为提取第k个块的操作符号(例如，p_k＝R_ky)。在一些实施例中，当考虑COLF时，在优化处理中还进行了下面的修正：

(1)可以采用哈达玛转换的值或者差值来替换哈尔(Haar)。在本实施例中，收缩系数的训练参数的数量仅为公式13中定义方法的两倍，其与选定的相似块的数量不相关。例如，对于具有三个选定相似块的块，在哈达玛转换之后，所述DC系数230和3个AC系数232被分为两组，且分别训练所述收缩系数。

(2)在一些实施例中，采用所述快速BM110和156可以将所述噪声块划分为不同匹配类型。接着，为COLF选择不同数量的相似块。例如，平坦匹配类型选择7个相似块，而结构匹配类型选择3个块，而纹理匹配类型不再选择额外的块。

(3)如公式10所示，预先将不同的平均RGB值相减。假设p_kn和为n²×1向量，分别为在k位置的噪声和清洁块，选定的相似块为p_k,1,…,p_k,s和其中s∈{0,3,7}。当MT(p_k)＝j，选定的相似块的个数为s[j]。因此，用于训练参数j的代价函数为：

where

(14)

在一些实施例中，对所有的相似块，在收缩函数212和逆向3-D变换162和234之后，应用块聚合240，其中，所有的块被回加至所述去噪图像。因此，R_k和可以被修订为：

其中，函数kron()为Kronecker积。

图7示出了具有GrGb修正168的训练SF模型102的示例。结果700包括平坦块702，纹理块704，结构块706的结果。在一些实施例中，在对应用了收缩函数212的系数进行反变换172后，每个通道的平均RGB值估计169被回加至所述去噪块。当直接回加Gr和Gb值时，在一些平坦区域可能会导致网格效应。因此，我们在具有不同匹配类型的块上为GrGb训练所述SF模型102。在一些实施例中，通过在GrGb校正168中为所述训练SF模型102定义代价函数，全局训练策略可以表示为：

其中，

其中，为去噪块p_ks，R_k,GrGb是为第k个块在Gr/Gb位置提取像素的操作符。在本实施例中，所述训练SF模型102的收缩系数可以从上面提出的三步法中学习，其包括了平均RGB估计，在频域的系数训练和GrGb校正。

在一些实施例中，该GrGb校正处理可以进一步扩展成为颜色校正方案。例如，对所述平均颜色值进行转换后，也训练了色彩值mchr1和mchr2的收缩函数：

在所述收缩处理后，其再被转换回来以获得平均RGB值：

其中，m′_chr1,m′_chr2,m′_GrGb为收缩后的值。

在一些实施例中，还可以对本发明公开的实施例进行多种变化和修改。在一些实施例中，本发明还可以用于处理泊松噪声图像，即使当所述VST 154处理可能不是100％准确时，也可以使得所述去噪算法具有鲁棒性。在一些实施例中，采用传感器获取的真实噪声可以使得所述训练SF模型的噪声样本图像106获得更佳的效果。在所述训练SF模型102中，在不同的ISO设置下，在不同亮度条件下获取两张图像，分别对应清洁图像和噪声图像(例如，在低光条件下)。例如，预估本征相机响应函数(CRF)或者强度映射函数来将参考图像映射到所述噪声图像的亮度和对比度条件。当预先对所述参考图像执行增强处理时，学习与去噪和增强效果联合的系数。

在一实施例中，本发明集中于优化训练数据集来应用于所述训练SF模型102的方法和算法；一些文献中的机器学习或其他算法的方法也可以应用于本发明来获得初始训练数据。

图8示出了本发明一实施例的示例计算机系统/装置800。计算机装置的示例包括移动用户设备或终端(例如，智能手机)，服务器计算机，桌面计算机，笔记本计算机，个人数字助理，游戏终端或者其他装置。所述计算机装置800被配置用于执行和/或包括指令，当执行所述指令时，可以使得所述计算机系统800执行图1的示例方法。应当理解的是，图8仅为用于提供各种部件的一个通用示意，其部分或所有可以被适当使用。因此，图8宽泛地示出了独立系统要素如何可以被相对分离或者相对更集成的方式实现。

图中示出的计算机装置800包括可以通过总线802电耦合的(或者，视情况，可以相互通信的)硬件要素。所述硬件要素可以包括：具有一个或多个处理器804的处理单元，包括但不限于一个或多个通用处理器和/或一个或多个专用处理器(例如数字信号处理芯片，图形加速处理器和/或类似物)；一个或多个输入装置806，其可以包括但不限于远程控制、鼠标、键盘和/或类似物；以及一个或多个输出装置808，其包括但不限于显示装置(例如，电视)、打印机和/或类似物。

所述计算机系统800还进一步包括(和/或与之通信的)：一个或多个非暂时存储装置810，其包括但不限于，本地和/或网络可访问存储器、和/或还包括但不限于，磁盘驱动、驱动阵列、光学存储装置、固态存储装置，例如随机访问存储器(RAM)、和/或只读存储器(ROM)，其可被编程、可快速更新、和/或类似功能。该存储装置可以被配置用于执行适当的数据存储，包括但不限于，多种文件系统、数据块结构、和/或类似物。

所述计算机装置800还可能包括通信子系统812，其包括但不限于调制解调器、网卡(无线或有线)、红外通信装置、无线通信装置、和/或芯片集(例如蓝牙装置、402.11装置、WiFi装置、WiMax装置、蜂窝通信设备(例如，GSM、WCDMA、LTE等)、和/或类似物。所述通信子系统812可以用于与网络(例如，下面举例中描述的网络)交换数据、其他计算机系统、和/或任何此处描述的其他装置。在许多实施例中，所述计算机系统800还进一步包括工作存储器814，其包括如上文所述的RAM或者ROM装置。

所述计算机装置800还包括软件要素，如当前位于所述工作存储器814中的内容所示，包括：操作系统816、装置驱动、可执行库、和/或其他代码，诸如一个或多个应用程序818，其可以包括由各种实施例提供的计算机程序，和/或此处所描述的其他实施例提供的可以被设计用来实施方法，和/或配置系统。仅作为示例，上述讨论的方法中描述的一个或多个程序，和/或系统部件可以作为代码和/或计算机(和/或计算机中的处理器)可执行的指令来实施。在一方面，接着，该代码和/或指令可以用来配置和/或适应通用计算机(或者其他装置)来执行与上述方法一致的一个或多个操作。

此类指令可以在非暂时、计算机可读的存储介质中存储，例如在前文描述的存储装置810中存储。在一些情况下，所述存储介质可以被并入计算机系统，例如计算机系统800。在其他实施例中，所述存储介质可以从计算机系统中分离(例如，可移动介质，例如闪存)，和/或提供在安装包中，因此，所述存储介质可以被用来编程、配置和/或适应存储有所述指令/代码的通用计算机。这些指令可以采用可执行代码的形式，其可以被所述计算机装置800执行，和/或采用源和/或可安装代码的形式，其在所述计算机系统800上编译和/或安装(例如，使用多种通用可用编译器，安装程序，压缩/解压缩工具中的任一种)时采用可执行代码的形式。

对本领域技术人员显而易见的是，依照具体需求可以对本发明作出大量变化。例如，可以采用定制硬件，和/或可以使用硬件、软件(包括轻便程序，例如，小应用程序等)或者两者执行特定要素。进一步地，可以与其他计算装置例如网络输入/输出装置的连接。

如上文提及的，在一方面，一些实施例中可以采用计算机系统(例如所述计算机装置800)来执行与本发明各种实施例一致的方法。根据一组实施例，通过响应处理器804执行一个或多个序列的包含在所述工作内从814中的一个或多个指令(其可以被集成在所述操作系统816中和/或其他代码中，例如应用程序818中)，所述方法的若干或者全部步骤都可以被所述计算机系统800执行。这些指令可以从另外的计算机可读介质，例如从一个或多个存储装置810中读入所述工作存储器814。仅作为示例，执行包括在所述工作存储器814中的指令队列可以使得所述处理器804执行本文描述的方法的一个或多个步骤。

此处所用的术语“机器可读介质”和“计算机可读介质”是指可以提供使得机器以特定方式进行操作的数据的任意介质。在使用计算机装置800执行的一个实施例中，可能涉及多种计算机可读介质为处理器804提供指令/代码来执行，和/或用来存储和/或携带这些指令/代码。在大量实施例中，计算机可读介质是指物理和/或有形的存储介质。该介质可以采用非易失介质或易失的形式。非易失介质包括，例如，光和/或磁盘，如所述存储装置810。易失介质包括但不限于动态存储器，例如所述工作存储器814。

物理和/或有形计算机可读介质的通用形式包括：例如，软盘、柔性盘(flexibledisk)、硬盘、磁带或者任何其他磁介质、CD-ROM或者任何其他光介质、穿孔卡片、纸带、任何其他带有孔型图案的物理介质，RAM，PROM，EPROM，FLASH-EPROM，任何其他存储器芯片或者卡盘，或者任何其他计算机可以读取指令和/或代码的介质。

计算机可读介质的多种形式可以包括为所述处理器804执行所携带的一个或多个队列的一个或多个指令。仅仅作为举例的方式，所述指令最初携带在远程计算机的磁盘和/或光盘上。远程计算机可以将该指令装载进其动态存储器并以信号的方式通过传输介质发送所述指令，所述指令被所述计算机系统800接收和/或执行。

所述通信子系统812(和/或它的组件)一般接收信号，所述总线802接着将所述信号(和/或数据、指令等等，其被所述信号所携带)到工作内存814，所述处理器804从工作内存814中取得并执行所述指令。所述工作内存接收到的所述质量在所述处理器804执行之前或之后可以可选择地被存储到非暂时存储装置810中。

以上的所述方法、系统和装置仅为举例说明。不同的配置可以视情况进行删减、变形或者增加不同的程序或部件。举例来说，在替换配置中，所述方法可以以不同于上述描述的顺序执行，和/或增加、省略和/或结合各个阶段。并且，在其他各种配置中，所描述的特定配置的特征也可以进行结合。所述配置的不同方面或要素可以以相似的方式进行结合。并且，由于技术的演进，因此多个要素的示例并不能用来限制本发明或权利要求的保护范围。

本发明实施例提供了大量具体细节用以充分理解实施例配置(包括实施方式)。但是，在没有这些具体细节的情况下，所述配置也可以被实施。例如，为了避免模糊配置，并没有对已知电路、处理器、算法、结构和技术的非必要细节进行描述。本说明书仅提供了示例配置，并不用于限制权利要求的范围、应用或配置。当然，前述说明书的配置为本领域技术人员提供可以实施所述技术方案的可实施说明。可以在不脱离本发明精神和范围的情况下，对各要素的功能和组织进行多种变化。

此外，可以将配置描述成如流程图或方框图所示的流程。虽然每一流程可以作为顺序流程说明操作，大多数操作可以并列或者同时执行。此外，操作顺序可以重新排列。流程还可以有图中所不包括的额外的步骤。进一步的，可以采用硬件、软件、固件、中间件、微码、硬件描述语言或其任意组合来实施实施例的方法。当以软件、固件、中间件或微码实施时，执行必要任务的程序代码或代码段可以存储于非临时性计算机可读介质，例如存储介质。处理器可以执行所述的任务。

进一步地，本文所描述的示例实施例可以以逻辑操作的形式在联网计算机系统环境中的计算机装置中执行。所述逻辑操作可以通过：(i)运行于计算装置上的计算机执行指令序列、步骤或程序模块；和(ii)运行于计算装置中的互相连接的逻辑或硬件模块，的任意结合的形式实施。

虽然本发明的主题已经以结构特征和/或方法动作的具体语言进行了描述，但是应当理解的是，权利要求中定义的主题并不限于上述的特定特征和行为。当然，上述特定特征和方法给出了作为实施权利要求方案的示例形式。

Claims

1.一种从图像中去除噪声的方法，其特征在于，包括：

从具有噪声属性的第一图像中选择一个或多个块作为一组噪声块，其中，每个噪声块具有一组n×n个像素；

从不具有噪声属性的第二图像中选择一个或多个块作为一组清洁块，其中，每个清洁块具有一组n×n个像素；

评估该组噪声块的块类型，所属块类型的数量为一个或多个；

基于所述一个或多个块类型、以及所述噪声块和清洁块各自的n×n个像素，构建收缩函数模型；

将所述收缩函数模型应用于第三图像，获得一组已去噪块，每个已去噪块具有n×n个像素；以及

重建所述n×n像素的一组已去噪块，以去除所述第三图像的噪声。

2.如权利要求1所述的从图像中去除噪声的方法，其特征在于，还包括：选择具有相同颜色配置的一个或多个块。

3.如权利要求1所述的从图像中去除噪声的方法，其特征在于，还包括：分别选择具有不同颜色配置的一个或多个块。

4.如权利要求1所述的从图像中去除噪声的方法，其特征在于，所述评估一个或多个块类型还包括：评估所述第一图像的所述一个或多个块的空间分布。

5.如权利要求1所述的从图像中去除噪声的方法，其特征在于，所述评估一个或多个块类型还包括：计算所述第一图像的一个或多个相邻块之间的块距离。

6.如权利要求1所述的从图像中去除噪声的方法，其特征在于，所述收缩函数模型还包括对应于每个块类型的n×n个收缩系数。

7.如权利要求5所述的从图像中去除噪声的方法，其特征在于，所述评估一个或多个块类型还包括：对块类型进行分类，以及基于计算获得的所述块距离将相似块类型进行分组。

8.如权利要求7所述的从图像中去除噪声的方法，其特征在于，所述对块类型进行分组包括快速块匹配算法。

9.如权利要求1所述的从图像中去除噪声的方法，其特征在于，所述评估块类型还包括：为了获得第一块和第二块的相同颜色配置而旋转所述第一块和第二块。

10.如权利要求8所述的从图像中去除噪声的方法，其特征在于，所述评估块类型还包括：表示所述快速块匹配算法在每个方向上的已匹配块数量的n维向量。

11.一种从图像中去除噪声的方法，其特征在于，包括：

从图像中选择块，所述块具有第一组n×n个像素，其中，每个像素具有一个RGB值；

确定所述块的平均RGB值；

评估所述块的块类型；

从所述平均RGB值中分别减去所述块的n×n个像素的各个RGB值，获得第二组n×n个像素；

对所述第二组n×n个像素执行2D转换，以获得n×n个频域系数；

为s个相似块，对所述n×n个频域系数执行3D变换获得n×n×s个3D系数；

获得与图像传感器的噪声属性和所述块的块类型相关的一组收缩函数；

为所述n×n×s个3D系数，采用该组收缩函数执行收缩处理，获得一组n×n×s个已去噪频域值；

对所述n×n×s个已去噪频域值执行一个或多个逆向变换，获得一组n×n已去噪像素值。

12.如权利要求11所述的从图像中去除噪声的方法，其特征在于，所述组n×n×s个3D系数还包括每个所述n×n×s个3D系数的唯一收缩曲线。

13.如权利要求11所述的从图像中去除噪声的方法，其特征在于，获得该组收缩函数还包括构建收缩函数模型。

14.如权利要求13所述的从图像中去除噪声的方法，其特征在于，所述收缩函数模型还包括针对每个块类型的n×n个收缩系数。

15.如权利要求11所述的从图像中去除噪声的方法，其特征在于，还包括：选择具有相同颜色配置的一个或多个块。

16.如权利要求11所述的从图像中去除噪声的方法，其特征在于，还包括，分别选择具有不同颜色配置的一个或多个块。

17.如权利要求11所述的从图像中去除噪声的方法，其特征在于，所述3D变换还包括2D离散余弦变换。

18.如权利要求11所述的从图像中去除噪声的方法，其特征在于，所述3D变换包括1-D哈尔/哈达玛变换和2D离散小波变换的组合。

19.如权利要求11所述的从图像中去除噪声的方法，其特征在于，所述评估块类型还包括评估一个或多个块的空间分布。

20.如权利要求11所述的从图像中去除噪声的方法，其特征在于，所述评估块类型还包括计算一个或多个相邻块之间的块距离。

21.如权利要求20所述的从图像中去除噪声的方法，其特征在于，所述评估块类型还包括：对块类型进行分类，以及基于计算获得的所述块距离将相似块类型进行分组。

22.如权利要求21所述的从图像中去除噪声的方法，其特征在于，所述对块类型进行分组还包括快速块匹配算法。

23.如权利要求11所述的从图像中去除噪声的方法，其特征在于，所述评估块类型还包括为了获得相同颜色配置而旋转一个或多个块。

24.如权利要求22所述的从图像中去除噪声的方法，其特征在于，所述评估块类型还包括：表示所述快速块匹配算法在每个方向上已匹配块数量的n维向量。

25.如权利要求11所述的从图像中去除噪声的方法，其特征在于，所述确定平均RGB值还包括最小二乘训练方案。

26.如权利要求11所述的从图像中去除噪声的方法，其特征在于，所述获得所述组收缩函数还包括绿-红、绿-蓝(GrGb)校正处理。

27.如权利要求11所述的从图像中去除噪声的方法，其特征在于，所述获得所述组收缩函数组还包括色彩值校正处理。