CN102693528B - 低光度图像中的噪声抑制 - Google Patents

Abstract

本发明公开了低光度图像中的噪声抑制。低光度降噪机制可在去镶嵌之前执行去噪，并且还可使用在用于执行去镶嵌的去噪操作期间所确定的参数。去噪操作可试图找出图像的若干片，所述若干片类似于第一片，并且基于相似度使用加权平均值来确定用于对原始数字图像进行去噪的适当的值。相同的加权平均值和类似的片可用于在去噪操作之后对相同的图像进行去镶嵌。

Description

低光度图像中的噪声抑制

技术背景

本发明涉及图像处理技术，尤其涉及噪声抑制技术。

背景技术

数字图像无处不在，且可由数字照相机、蜂窝电话、摄像机、以及许多不同的设备来捕捉。图像中的许多都可在低光度条件下被拍摄，或可具有图像中曝光不足的部分。在许多情况下，常见噪声抑制算法可导致重复的大斑点图案在低光度区域被生成。

发明内容

低光度降噪的方案可在去镶嵌之前执行去噪，并且可使用在用于执行去镶嵌的去噪操作期间所确定的参数。去噪操作可试图找出图像的若干片，所述若干片类似于第一片，并且基于相似度使用加权平均值来确定用于对原始数字图像进行去噪的适当的值。相同的加权平均值和类似的片可用于在去噪操作之后对相同的图像进行去镶嵌。

提供本发明内容以便以简化形式介绍将在以下具体实施方式中进一步描述的一些概念。本发明内容并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。

附图说明

在附图中：

图1是显示用于处理数字图像的系统的实施例的图示。

图2是显示用于对图像进行去噪和去镶嵌的方法的实施例的流程图图示。

具体实施例

用于原始数字图像的处理系统可通过分析图像的片来处理图像的低光度部分。对于每个图像片，可以在相同的图像中标识一组类似的片。基于与所分析的片的相似度对该组类似片进行排名以及计算权重，并且，类似片的加权平均值用于为该片生成去噪值。

在去噪之后，可以对经去噪的原始数字图像进行去镶嵌，以从原始数字图像的不完整的样本图像中重构全色图像。在去镶嵌时，相同组的具有相同排名和权重的类似片用于确定在去镶嵌过程期间的适当值。

在一些实施例中，低光度处理算法仅仅用于图像的那些低光度部分。在其他实施例中，低光度处理算法可以应用于整个图像。

一些实施例可作为可在个人计算机上执行的计算机程序的处理服务来部署，或作为可处理并且增强上传到云服务的照片的云服务来部署。在一些实施例中，低光度处理算法可由照相设备本身来执行。

贯穿本说明书，在对附图的整个描述中，相同的附图标记表示相同的元素。

当元素被称为被“连接”或“耦合”时，这些元素可被直接连接或耦合在一起，或者也可存在一个或多个中间元素。相反，当元素被称为被“直接连接”或“直接耦合”时，不存在中间元素。

本主题可体现为设备、系统、方法、和/或计算机程序产品。因此，本主题的部分或全部都可以由硬件和/或软件(包括固件、常驻软件、微码、状态机、门阵列等)来体现。此外，本主题可以采取上面包含有供指令执行系统使用或结合其使用的计算机可使用或计算机可读程序代码的计算机可使用或计算机可读存储介质上的计算机程序产品的形式。在本文献的上下文中，计算机可使用或计算机可读介质可以是可包含、存储、通信、传播、或传输程序以供指令执行系统、装置或设备使用或结合其使用的任何介质。

计算机可使用或计算机可读介质可以是，例如，但不限于，电、磁、光、电磁、红外、或半导体系统、装置、设备或传播介质。作为示例而非限制，计算机可读介质可包括计算机存储介质和通信介质。

计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据这样的信息的任意方法或技术来实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括，但不限于，RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁带盒、磁带、磁盘存储或其他磁性存储设备、或能用于存储所需信息且可以由指令执行系统访问的任何其他介质。注意，计算机可使用或计算机可读介质可以是其上打印有程序的纸张或其他合适的介质，因为程序可经由例如对纸张或其他合适的介质的光学扫描来电子地捕获，随后如有必要被编译、解释，或以其他合适的方式处理，并且随后存储在计算机存储器中。

通信介质通常以诸如载波或其他传输机制之类的已调制数据信号来具体化计算机可读指令、数据结构、程序模块或其他数据，并且包括任何信息传送介质。术语“已调制数据信号”可被定义为其一个或多个特性以对信号中的信息编码的方式设置或改变的信号。作为示例而非限制，通信介质包括诸如有线网络或直接线连接之类的有线介质，以及诸如声学、RF、红外及其他无线介质之类的无线介质。上述的任何组合也应包含在计算机可读介质的范围内。

当本主题在计算机可执行指令的一般上下文中具体化时，该实施例可包括由一个或多个系统、计算机、或其他设备执行的程序模块。一般而言，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等。通常，程序模块的功能可在各个实施例中按需进行组合或分布。

图1是实施例100的框图，示出可为原始数字图像执行低光度去噪和去镶嵌的系统。实施例100是可执行低光度图像增强的环境的简化示例，该环境或是作为照相机或其他图像捕捉设备的部分，或是作为用于由其他设备捕捉和管理的图像的服务。

图1的图示出了系统的功能组件。在一些情况下，这些组件可以是硬件组件、软件组件、或者硬件和软件的组合。一些组件可以是应用级软件，而其他组件可以是操作系统级组件。在一些情况下，一个组件到另一组件的连接可以是紧密连接，其中两个或更多个组件在单个硬件平台上操作。在其他情况下，连接可通过跨长距离的网络连接来进行。每个实施例都可使用不同的硬件、软件、以及互连架构来实现所描述的功能。

实施例100示出在其中可执行图像处理的通用计算机环境。图像处理可包括分析低光度图像或图像的低光度部分，来联合对图像进行去噪和去镶嵌。去噪部分可使用一种技术，其中可对图像的类似片进行计算权重、求平均值，并且为低光度区域或图像中的每一片确定去噪值。相同组的类似片和权重可用于去镶嵌，以生成高清晰且去噪的图像。

图像增强可由设备102执行。设备102被示为具有硬件组件104和软件组件106。示出的设备102表示常规的计算设备，但是其它实施例可具有不同配置、架构、或组件。

在许多实施例中，设备102可以是个人计算机或服务器计算机。在一些实施例中，设备102仍然还可以是膝上型计算机、上网本计算机、平板(tablet或slate)计算机、无线手机、蜂窝电话、或任何其他类型的计算设备。在另外一些实施例中，设备102可以是数字照相机、摄像机、或其他摄影或摄像设备。

硬件组件104可包括处理器108、随机存取存储器110、以及非易失性存储112。硬件组件104还可包括用户接口114和网络接口116。在一些实施例中，处理器108可由若干处理器或处理器核组成。随机存取存储器110可以是处理器108容易访问和寻址的存储器。非易失性存储112可以是在关闭设备102之后持久保持的存储。非易失性存储112可以是任何类型的存储设备，包括硬盘、固态存储器设备、磁带盒、光学存储、或其他类型的存储。非易失性存储112可以是只读、或能够读/写。

用户接口114可以是能够显示输出并且从用户接收输入的任何类型的硬件。在许多情况下，输出显示可以是图形显示监视器，但是输出设备可包括灯光和其他视觉输出、音频输出、动力致动器输出、以及其他输出设备。常规输入设备可包括键盘和定点设备，诸如鼠标、指示笔、跟踪球、或其他定点设备。其他输入设备可包括各种传感器，包括生物测定输入设备、音频和视频输入设备、以及其他传感器。

网络接口116可以是到另一计算机的任何类型的连接。在许多实施例中，网络接口116可以是有线以太网连接。其他实施例可包括基于各种通信协议的有线或无线连接。

设备102可以包括图像捕捉组件118，它可以是能够捕捉图像的数字照相机。在许多实施例中，图像捕捉设备118可以是具有滤色器阵列的单个传感器。滤色器阵列的一个示例可以是拜耳滤波器，其中滤色器具有的绿色像素是红色和蓝色像素的两倍。

软件组件106可包括操作系统118，各种应用程序和服务可在操作系统118上操作。操作系统可在执行例程和执行硬件组件104之间提供抽象层，并且可包括各种例程和与各个硬件组件直接通信的功能。

在操作系统118上执行的应用程序可以包括可接收将增强的图像的图像管理系统122。在一些实施例中，图像管理系统122可以允许用户进行组织、排序、编辑、打印、以及执行各种其他操作。

图像管理系统122可以从图像捕捉组件118或从其他设备接收原始数字图像124。

原始数字图像124可以由图像增强系统126处理，以产生处理的数字图像128。在一些实施例中，图像增强系统126可以批模式处理每个原始数字图像124，其中可以对队列中一系列图像执行图像增强。在其他实施例中，通过当图像被捕捉时接收图像以及无延迟地处理图像，图像增强系统126可以在实时或几乎实时的基础上对图像执行图像增强。

在一些实施例中，设备102可以处理在其他设备上捕捉的图像。图像捕捉设备132可以通过网络130连接到设备102。图像捕捉设备132可以捕捉图像，并且可以将图像传送到用于低光度的增强的设备102。

图像捕捉设备132可以表示照相机设备，诸如数字单镜头反射照相机、袖珍照相机、蜂窝电话上的照相机、或其他设备、或能够捕捉原始数字图像的其他设备。图像捕捉设备132可以具有硬件平台134，可包括图像捕捉组件、镜头、以及其他光学组件。

图像捕捉设备132还可以包括可捕捉并处理图像以作为一组图像138来存储的图像捕捉系统136。图像捕捉设备136可以允许用户组成、预览、编辑、以及捕捉图像。在许多数字照相机的实施例中，图像捕捉系统136可以是可创建用户接口并且基于用户的输入来处理图像的软件系统。

图像捕捉设备132可以捕捉图像，但可能不具备执行低光度图像的增强的能力。在这种情况下，图像可以从图像捕捉设备132传送到用于图像的增强的设备102。处理之后，图像可以返回到图像捕捉设备132，或传送到用于存储和查看的另一系统。

这一系统的一个示例可以是可提供图像管理服务的设备140。这一系统可以是，例如，用户家中的个人计算机，其中可以存储用户的图像。在这一实施例中，用户可能有作为图像捕捉设备的照相机，并且由照相机生成的图像可以传送到用于处理的设备102。处理所得的图像可以由设备140存储并使用。

设备140可以具有硬件平台142，图像管理系统144可以在其上对各种图像146进行操作。图像管理系统144可以允许用户浏览图像、存储以及操纵图像，包括编辑图像。在一些实施例中，低光度图像增强处理可能在计算上是昂贵的。在这些实施例中，设备140上的用户可以将图像传送到用于增强的设备102。在一些这样的实施例中，设备102可以是具有图像增强服务的云计算平台。

图2是显示用于对原始数字图像进行去噪和去镶嵌的方法的实施例200的流程图图示。实施例200的过程是一种用于对图像进行去噪和去镶嵌的方法的一个简化示例，其中，该过程可以仅应用于图像的低光度部分。

其他实施例可使用不同的排序、附加或更少的步骤、以及不同的命名或术语来完成类似功能。在一些实施例中，各个操作或操作集合可与其他操作以同步或异步方式并行地执行。此处所选的步骤是为了以简化的形式示出一些操作原理而选择的。

实施例200可以表示用于对原始图像进行去噪和去镶嵌的方法。实施例200的方法可以应用类似片的加权平均值来为每一片确定去噪值，随后在执行去镶嵌时使用该相同的类似片的加权平均值。实施例200的方法可以跳过不够相似的相似片，并且当足够相似片不可用时可以跳过去噪过程。

在框202中，可以接收原始数字图像。原始数字图像可以是用单个传感器和滤色器阵列创建的图像。滤色器阵列可以将各个像素过滤成特定的颜色。一个这样的过滤机制可以是拜耳过滤器，其中将四个像素的每一块分配给两个绿色像素、一个蓝色像素、以及一个红色像素。从这一图像来看，去噪过程可以降低可能具有更小的信噪比的低光度区域的噪声。

去噪之后，去镶嵌的过程可以为每个像素分配红色值、蓝色值、以及绿色值，以呈现高密度图像。去镶嵌过程可以从由单个传感器滤色器阵列照相机输出的不完整的色彩样本中，重构高密度图像。

在框204，可以标识图像的低光度部分。在一些实施例中，为低光度图像描述的去噪和去镶嵌过程可以应用于整个图像，而不管该图像是否包含低光度区域。在实施例200中，低光度去噪和去镶嵌过程可以仅应用于该低光度区域而非图像的其他区域。在低光度去噪和去镶嵌过程可能是计算上昂贵的情况下，这一实施例可能是有用的。

对于框206中图像的低光度部分，可以标识图像的片。图像的片可以是用于处理的图像的片段，并且可以包含若干像素。各种实施例可以使用可包含四个、八个、十六个、三十二个、四十六个或更多像素的图像的片。在一些实施例中，该片可以是正方形或矩形，而在另一些情况下，该片可以是圆形、椭圆形、或一些其他形状。随着该片变得更大，去噪过程可以更多计算为代价呈现更平滑的结果。

该片可以单个像素为中心，其中可以为该单个像素寻找去噪值。在使用实施例200的过程对整个图像进行去噪和去镶嵌的实施例中，图像可能具有相同数量的片和像素。

在框210，在图像中找出相似片。相似片可以具有与第一片相似的值并且可以在图像中找出。相似片可以用于为片中的各个像素确定去噪值。

当分析其他片时，第一片与其他片直接的相似度表示为从第一片到每个其他片的向量距离。具有与第一片最小距离的这些片被选作相似片。

一组相似片可以被选作框210中的部分。在一些实施例中，可以分析相似片的最大数量。该最大数量可以是二、四、十、五十、一百、或其他数量的相似片。

在一些实施例中，相似片可以取自该图像中的任何区域，包括相同或另一低光度部分、或甚至取自该低光度部分以外的片。在一些实施例中，相似片可以被限于来自相同的低光度部分或另一低光度部分。一些实施例可以限制来自图片的特定区域的相似片，以便限制用于标识相似片的比较。

对于框212中每个相似片，如果该相似片在框214的相似度阈值之中，则可以使用该片。如果该相似片在框214的相似度阈值之外，则在框216中可以不考虑该片。该相似度阈值可以是从第一片到被考虑的相似片的最大向量距离。

在用阈值筛选片之后，如果在框218没有足够数量的片，则在框220跳过第一片。每个实施例都对片的最小数量有不同的限制。例如，一些实施例可以一个相似片、两个相似片、或10、20、30个相似片来继续。随着相似片的最小数量的增加，去噪操作可以更平滑。

在框222，可以为相似片确定加权平均值。在框224，使用加权平均值可以为片确定去噪值。该去噪值可用于该片中的单个像素。在一些实施例中，可以为相同片中若干像素计算去噪值。例如，十六个像素的片大小可以用于确定该片中心的四个像素。

如果该片在框220被跳过或在框224被去噪，该过程可以返回到框226。如果在框226有可用于处理的另一片，该过程可以返回到框208。否则，该过程可以返回到框206以处理另一低光度部分。

在框206处理所有低光度部分之后，在框228可以存储去噪的原始图像。现在可以执行去镶嵌过程。

在框230，可以分析图像的每个低光度部分。在框232对于每个先前被去噪的片，可以使用与在框224中去噪已使用的相同的相似片的加权平均值来对该片进行去镶嵌。该相同的加权平均值可以最小化对图像的低光度部分使用传统去镶嵌处理时可能发生的大斑点或各种噪声模式。

在框236对于所有其余的片，在框238可以执行普通的去镶嵌处理。

在框240可以保存所去噪且所去镶嵌的图像。

在一个实施例中，去噪和去镶嵌处理可以通过形成以图像中每个[R，G，G，B]节点为中心的片来开始。[R，G，G，B]节点可以表示经拜耳过滤的原始图像中一组方阵像素。对于以y_i为中心的任何给定的片，图像中以y_j为中心的与K最相似的片。

基于y_i相似度考虑的片的中心节点是以下形式的相似片的线性组合：

$\hat{z}=\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{w}_{\mathrm{ij}}{y}_j=Y_i{w}_i$

其中，Y_i可以是通过串接相似片y_j的向量化的中心节点所形成的矩阵。项w_ij可以是测量以y_j为中心的片的置信度类似于以y_i为中心的片的置信度的权重，并且w_i可以是包含w_ij条目的向量。权重可以优化的框架来计算：

其中，选择p以适合错误分布。在一些实施例中，p可以等于1。

该过程可以不同模式来重复块，即，[G，R，B，G]，[G，B，R，G]，以及[B，G，G，R]。块可以与具有相同模式的其他块匹配。在一些实施例中，可以为每一模式执行嵌入学习过程以获得图像的多个去噪估算。最终估算可以是多个估算的平均值。第二平均过程可以降低首次估算中的残留噪声。

去镶嵌可以使用优化的框架来执行。具体地，

$\tilde{r}=(W-I){\mathrm{Dr}}^{\mathrm{un}}=\tilde{W}{r}^{\mathrm{un}}$

其中，D是矩阵运算符，其中每一行实现对应于观察到的样本r的未观察到的样本的和。W是稀疏矩阵，具有w_ij作为其第i至第j个条目。是仅观察到的样本的函数，而具有作为单位矩阵的I。在去镶嵌步骤中，给定所估算的和来估算r^un。可以获得对去镶嵌的图像的最终估算用于对未知强度求解：

${\tilde{r}}^{\mathrm{un}}=\underset{r^{\mathrm{un}}}{\arg \min }{\left|\right|\tilde{r}-\tilde{W}{r}^{\mathrm{un}}\left|\right|}_p^p+{\left|\right|\mathrm{\Λ}(r^{\mathrm{un}}-r_0^{\mathrm{un}})\left|\right|}_q^q$

其中，Λ是具有变化的对角条目的对角矩阵，变化的对角条目可以允许控制对偏离初始估算的惩罚，并且，p和q可以根据用于数据拟合及正则化项的误差分布来选择。在一些实施例中，可以使用p＝q＝1。

对本发明的上述描述是出于图示和描述的目的而呈现的。它不旨在穷举本主题或将本主题限于所公开的精确形式，并且鉴于上述教导其他修改和变型都是可能的。选择并描述实施例来最好地解释本发明的原理及其实践应用，由此使本领域的其他技术人员能够在各种实施例和各种适于所构想的特定用途的修改中最好地利用本发明。所附权利要求书旨在被解释为包括除受现有技术所限的范围以外的其他替换实施例。

Claims (15)

1.一种用于低光度图像中的噪声抑制的方法，包括：

接收包括像素信息的原始数字图像(202)；

标识包括多个像素的第一片(208)；

标识与所述第一片相似的多个片(210)；

对于所述多个片中的每一片，确定所述多个片中的每一片与所述第一片之间的相似度(214)；

基于所述相似度来确定所述多个片的加权平均值(222)；

使用所述加权平均值来确定所述原始数字图像的去噪版本(224)。

2.如权利要求1所述的方法，其特征在于，还包括：

使用所述加权平均值来确定所述原始数字图像的所述去噪版本的去镶嵌版本。

3.如权利要求1所述的方法，其特征在于，所述第一片在所述图像的低光度区域内。

4.如权利要求3所述的方法，其特征在于，还包括：

将所述图像的一部分标识成低光度部分，并对所述低光度部分执行所述方法。

5.如权利要求4所述的方法，其特征在于，所述多个片在所述低光度部分内。

6.如权利要求4所述的方法，其特征在于，不对所述图像在所述低光度部分之外的一部分执行所述方法。

7.如权利要求1所述的方法，其特征在于，所述第一片是圆形的片。

8.如权利要求1所述的方法，其特征在于，所述第一片是矩形的片。

9.如权利要求1所述的方法，其特征在于，所述第一片在大小上大于16个像素。

10.如权利要求1所述的方法，其特征在于，所述第一片在大小上大于50个像素。

11.一种用于低光度图像中的噪声抑制的系统，包括：

接收包括像素信息的原始数字图像的图像管理系统(122)；

图像增强系统(126)，用于：

标识包括所述原始数字图像内的多个像素的第一片；

标识与所述第一片相似的多个片；

对于所述多个片中的每一片，确定所述多个片中的每一片与所述第一片之间的相似度；

基于所述相似度来确定所述多个片的加权平均值；

使用所述加权平均值来确定所述原始数字图像的去噪版本。

12.如权利要求11所述的系统，其特征在于，所述图像增强系统还用于：

使用所述加权平均值来确定所述原始数字图像的所述去噪版本的去镶嵌版本。

13.如权利要求11所述的系统，其特征在于，所述图像增强系统还用于：

分析所述原始数字图像以标识所述图像的低光度区域。

14.如权利要求13所述的系统，其特征在于，所述第一片在所述图像的低光度区域内。

15.如权利要求14所述的系统，其特征在于，所述图像增强系统不对所述图像在所述低光度区域以外的一部分执行以下：

所述标识第一片；

所述标识与所述第一片相似的多个片；

所述确定相似度；

所述基于加权平均值；

所述使用所述加权平均值来确定去噪版本。