CN108288254A - 用于图像去噪的系统和方法 - Google Patents

Abstract

一种用于图像去噪的系统和方法。一种颜色‑边缘对比度保留器包括：去马赛克模块、颜色校正模块、转换器模块和彩色‑去噪模块。去马赛克模块可对所述图像的红白蓝(RWB)像素图像进行去马赛克。颜色校正模块可对去马赛克的RWB像素图像进行颜色校正，并可从颜色校正的去马赛克的RWB像素图像产生红绿蓝(RGB)像素图像。转换器模块用于将RGB像素图像转换为色调‑饱和度‑明度(HSV)像素图像，并用于产生相似度核ΔY。彩色‑去噪模块可使用相似度核ΔY对RWB像素图像的红色像素图像和蓝色像素图像进行去噪。

Description

用于图像去噪的系统和方法

本专利申请要求于2017年1月9日提交的第62/444,359号美国专利申请的优先权权益，所述美国专利申请的公开通过公开全部包含于此。

技术领域

这里公开的主题总体涉及图像信号处理，更具体地讲，涉及一种用于提供具有颜色-边缘对比度保留的图像去噪的设备和方法。

背景技术

红白蓝(RWB)传感器最近已被发展，并被用在商业产品(诸如，蜂窝电话)中。RWB传感器提供减少低光噪声(即，SNR的大约+3dB增加)的优点。被称为彩色去噪(ChromaticDenoising)或清晰度+去噪(Clarity+Denoising)的去噪技术被用在RWB传感器的输出。虽然极大地去除图像噪声，但是去噪技术还不幸地使两种不同的颜色之间的边缘变模糊，因而降低了图像的颜色-边缘对比度。虽然不是那么严重，但是使用宽带滤波器(诸如，颜色分束器滤波器)的其他图像传感器也可呈现类似的问题。

发明内容

示例实施例提供一种用于保留图像的颜色-边缘对比度的系统，其中，所述系统可包括：去马赛克模块、颜色校正模块、转换器模块和彩色-去噪模块。去马赛克模块可对所述图像的红白蓝(RWB)像素图像进行去马赛克。颜色校正模块可对去马赛克的RWB像素图像进行颜色校正，并可从颜色校正的去马赛克的RWB像素图像产生红绿蓝(RGB)像素图像。转换器模块用于将RGB像素图像转换为色调-饱和度-明度HSV像素图像，并用于产生相似度核ΔY。彩色-去噪模块可使用相似度核ΔY对RWB像素图像的红色像素图像和蓝色像素图像进行去噪。在一个实施例中，相似度核ΔY可以是：

ΔY＝αΔH+βΔS+γΔV

其中，

α+β+γ＝1，

h₁是在具有大小MxM的相似度核的中心的像素p₁的色调值，h₂是与像素p₁邻近的像素p₂的色调值并可以是MxM个像素中的与像素p₁邻近的任何像素，

ΔS＝||s₁-s₂||，

其中，s₁是像素p₁的饱和度值，s₂是像素p₂的饱和度值，

ΔV＝||v₁-v₂||，

其中，v₁是像素p₁的亮度值，v₂是像素p₂的亮度值。

示例实施例提供一种用于保留图像的颜色-边缘对比度的系统，其中，所述方法可包括：对所述图像的红白蓝RWB像素图像进行去马赛克；通过对去马赛克的RWB像素图像进行颜色校正，产生RGB像素图像；将RGB像素图像转换为HSV图像；从HSV像素图像产生相似度核ΔY；使用相似度核ΔY对RWB像素图像的红色像素图像和蓝色像素图像进行去噪。

示例实施例提供一种用于保留图像的颜色-边缘对比度的系统，其中，所述系统可包括：原始图像接收器、去马赛克模块、颜色校正模块、转换器模块和彩色-去噪模块。原始图像接收器可接收RWB像素图像。去马赛克模块可对所述图像的RWB像素图像进行去马赛克。颜色校正模块可对去马赛克的RWB像素图像进行颜色校正，并用于从颜色校正的去马赛克的RWB像素图像产生RGB像素图像。转换器模块可将RGB像素图像转换为HSV像素图像，并用于产生相似度核ΔY。彩色-去噪模块可使用相似度核ΔY对RWB像素图像的红色像素图像和蓝色像素图像进行去噪。

附图说明

在下面的部分中，将参照附图中示出的示例性实施例对这里公开的主题的多个方面进行描述，其中：

图1描述具有传统彩色-去噪模块的图像信号处理器的部分的功能框图；

图2描述根据这里公开的主题的具有彩色-去噪模块和颜色-对比度保留模块的图像信号处理器的部分的功能框图；

图3描述根据这里公开的主题的用于在保留颜色-对比度的同时对RGB像素图像进行去噪的方法的示例实施例的流程图；

图4描述根据这里公开的主题的包括包含具有颜色-边缘对比度保留的图像去噪器的一个或多个集成电路(芯片)的电子装置。

具体实施方式

在下面的详细描述中，阐述了许多具体细节以提供对本公开的彻底理解。然而，本领域的技术人员将理解，可在没有这些具体细节的情况下实践公开的方面。在其他情况下，没有详细描述公知的方法、程序、组件和电路，从而不会使在此公开的主题模糊。

贯穿本说明书的对“一个实施例”或“实施例”的参考表示结合实施例描述的特定特征、结构或特性可包括在在此公开的至少一个实施例中。因此，贯穿本说明书的各个地方中的短语“在一个实施例中”或“在实施例中”或“根据一个实施例”(或具有类似意思的其他短语)的出现可不必都表示同一实施例。此外，可在一个或多个实施例中以任何合适的方式组合特定特征、结构或特性。在这方面，如在此使用的，词语“示例性”表示“用作示例、实例或说明”。在此被描述为“示例性”的任何实施例不应被解释为相对于其他实施例而言必需优选或有优势。此外，根据在此的讨论的上下文，单数术语可包括对应的复数形式，并且复数术语可包括对应的单数形式。还应注意，在此示出和讨论的各种附图(包括组件示图)仅为了说明的目的，并且不是按比例绘制的。类似地，仅为了说明的目的示出各种波形和时序图。例如，为了清楚，一些元件的尺寸可相对于其他元件被夸大。此外，如果认为适当，则已经在附图中重复附图标号，以指示对应的和/或类似的元件。

在此使用的术语仅为了描述特定的示例性实施例的目的，并不意图限制要求保护的主题。如在此使用的，除非上下文清楚地另有指示，否则单数形式也意图包括复数形式。还将理解，当在本说明书中使用术语“包括”时，指定存在阐述的特征、整体、步骤、操作、元件和/或组件，但不排除存在或添加一个或多个其它特征、整体、步骤、操作、元件、组件和/或它们的组。如在此使用的，术语“第一”、“第二”等被用作它们之后的名词的标签，除非明确这样定义，否则它们并不意味着任何类型的排序(例如，空间的、时间的、逻辑的排序等)。此外，在两个或更多个附图之间可使用相同的参考标号来表示具有相同或相似功能的部件、组件、块、电路、单元或模块。然而，这样的用法仅仅是为了说明简单且易于讨论；这并不意味着：这样的组件或单元的构造或架构的细节在所有实施例中都是相同的，或者这样的共同参考的部件/模块是实现在此公开的特定实施例的教导的唯一方式。

除非另有定义，否则在此使用的所有术语(包括技术术语和科学术语)具有与本主题所属领域的普通技术人员通常理解的含义相同的含义。例如，如这里使用的术语“mod”意味着“模运算”。还将理解，除非在此清楚地定义，否则术语(诸如，通用字典中定义的术语)应被解释为具有与相关技术领域的上下文中的含义相同的含义，而不被解释为理想化或过于正式的含义。

如在此使用的，术语“模块”表示被配置为提供在此结合模块描述的功能的软件、固件和/或硬件的任意组合。如应用于在此描述的任何实现的术语“软件”可以被实现为软件包、代码和/或指令集或指令。如应用于在此描述的任何实现的术语“硬件”可例如单独或以任何组合的方式包括硬连线电路、可编程电路、状态机电路和/或存储由可编程电路执行的指令的固件。模块可共同地或单独地被实现为形成较大系统(诸如，但不限于，集成电路(IC)、片上系统(SoC)等)的部分的软件、固件和/或硬件。

这里公开的主题提供一种针对RWB和其他宽带图像传感器的颜色-边缘-保留去噪技术。也就是说，这里公开的主题在去除噪声的同时保留(并在一些情况下增强)颜色-边缘对比度。在一个实施例中，颜色-边缘-保留去噪技术的参数可被调整，以控制颜色边缘对比度的程度和噪声等级。

图1描述具有传统彩色-去噪模块102的图像信号处理器(ISP)100的部分的功能框图。如图1所述，RWB图像传感器101感测图像，并输出原始RWB像素图像110。RWB像素图像110被图像预处理模块102接收。图像预处理模块102可提供一些预处理(诸如，坏像素纠正、白平衡等)，但是由于去马赛克(demosaicing)还没有被应用，所以每个像素包含单个颜色。图像预处理模块102将RWB像素图像110分离成红色像素图像110R、蓝色像素图像110B和白色像素图像110W。白色像素图像110W被重建和去马赛克，这可被称为亮度通道(Y)。

红色像素图像110R、蓝色像素图像110B和白色像素图像110W被传统彩色-去噪模块103接收。重建的白色通道W从红色像素图像110R和蓝色像素图像110B二者被减去，以分别形成红色像素图像111R和蓝色像素图像111B。非局部均值(NLM)处理使用重建的白色通道W对红色像素图像111R和蓝色像素图像111B二者进行去噪，以分别形成红色通道112R和蓝色通道112B。重建的白色通道W然后被加到红色通道112R和蓝色通道112B二者，以分别形成红色通道113R和蓝色通道113B。使用重建的白色通道W对红色通道113R和蓝色通道113B二者进行去马赛克，以分别形成上色(chromatically)去噪红色通道114R和上色去噪蓝色通道114B。重建的白色通道W然后被用于形成上色去噪RWB像素图像115。传统彩色-去噪模块103去除显著量的噪声，也同样使两种不同颜色之间的边缘变得模糊，使得图像的颜色-边缘对比度被降低。

图2描述根据这里公开的主题的具有彩色-去噪模块203和颜色-对比度保留模块204的ISP 200的部分的功能框图。应当注意，图像预处理模块202、彩色-去噪模块203和颜色-对比度保留模块204可集体地或单独地被实现为形成较大系统(诸如，但不限于，IC、SoC等)的部分的软件、固件和/或硬件。图3描述根据这里公开的主题的用于在保留颜色-对比度的同时对RGB像素图像进行去噪的方法300的示例实施例的流程图。

如图2所述，RWB图像传感器201感测图像，并输出原始(未处理)RWB像素图像210。RWB像素图像210被图像预处理模块202接收。图像预处理模块202可提供一些预处理(诸如，坏像素纠正、白平衡等)，但是由于去马赛克还没有被应用，所以每个像素包含单个颜色。图像预处理模块202将RWB像素图像210分离成红色像素图像210R、蓝色像素图像210B和白色像素图像210W。在图3中的301，这里公开的具有颜色-边缘对比度保留处理的图像去噪开始。在图3中的302和303，白色像素图像210W被重建和去马赛克。重建的白色像素图像210W还可被称为亮度通道(Y)。

在304，通过颜色-对比度保留模块204对重建和去马赛克的白色通道W进行颜色校正，以形成RGB像素图像220。在305，RGB像素图像220从RGB颜色空间被转换而变成色调-饱和度-明度(HSV)像素图像221。在306，HSV像素图像被用于确定相似度核ΔY。在彩色去噪期间的NLM处理期间，将由彩色-去噪模块202使用相似度核ΔY，而不是使用重建的白色通道。

在一个实施例中，相似度核ΔY被确定为：

ΔY＝αΔH+βΔS+γΔV (1)

其中，

α+β+γ＝1，

h₁是在具有大小M×M的相似度核的中心的像素p₁的色调值，h₂是与像素p₁邻近的像素p₂的色调值，像素p₂可以是相似度核中的M×M个像素中的与像素p₁邻近的任何像素，

ΔS＝||s₁-s₂||，

其中，s₁是像素p₁的饱和度值，s₂是像素p₂的饱和度值，

ΔV＝||v₁-v₂||，

其中，v₁是像素p₁的亮度值，v₂是像素p₂的亮度值。应当注意，不需要采用ΔH的绝对值，因为根据定义ΔH是非负的。

如等式(1)所示，变量α,β和γ由于约束α+β+γ＝1而线性相关。存在可简单限定系数α,β和γ的值的两种一般情况。在第一情况中，α＝β＝0.5，γ＝0。在这种情况下，颜色边缘被保留并将被正常使用。在第二情况中，α＝β＝0，γ＝1。在这种情况下，颜色边缘保留被禁用并将被用于低照明情形。

返回参照图2，红色像素图像210R、蓝色像素图像210B和白色像素图像210W被彩色-去噪模块203接收。在图3中的307，彩色-去噪模块203从红色像素图像210R和蓝色像素图像210B二者减去白色通道W，以形成红色像素图像211R′和蓝色像素图像211B′。在308，NLM处理使用相似度核ΔY对红色像素图像211R′和蓝色像素图像211B′二者进行去噪，以分别形成红色通道211R′和蓝色通道211B′。在309，重建的白色通道W然后被加到红色通道211R′和蓝色通道211B′二者，以分别形成红色通道211R″和蓝色通道211B″。使用重建的白色通道W对红色通道211R″和蓝色通道211B″二者进行去马赛克，以分别形成上色去噪红色通道211R″和上色去噪蓝色通道211B″。在310，重建的白色通道W然后被用于输出上色去噪R″WB″像素图像215。处理在311结束。

图4描述根据这里公开的主题的包括包含具有颜色-边缘对比度保留的图像去噪器的一个或多个集成电路(芯片)的电子装置400。电子装置400可用于，但不限于，计算装置、个人数字助理(PDA)、膝上型计算机、移动计算机、网络平板、无线电话、蜂窝电话、智能电话、数字音乐播放器或者

有线或无线电子装置。电子装置400可包括通过总线450彼此连接的控制器410、输入/输出装置420(诸如，但不限于，键区、键盘、显示器、触摸屏显示器、相机和/或图像传感器)、存储器430以及接口440。控制器410可包括例如至少一个微处理器、至少一个数字信号处理器、至少一个微控制器等。存储器430可被配置为存储将由控制器410使用的命令代码或用户数据。电子装置400和包括电子装置400的各种系统组件可包括根据在此公开的主题的具有颜色-边缘对比度保留的图像去噪器。接口440可被配置为包括使用RF信号将数据发送到无线通信网络或者从无线通信网络接收数据的无线接口。无线接口440可包括例如天线、无线收发器等。电子装置400还可用于通信系统的通信接口协议(诸如，但不限于，码分多址(CDMA)、全球移动通信系统(GSM)、北美数字通信(NADC)、扩展时分多址(E-TDMA)、宽带CDMA(WCDMA)、CDMA2000、Wi-Fi、市政Wi-Fi(Muni Wi-Fi)、蓝牙、数字增强无绳电信(DECT)、无线通用串行总线(Wireless USB)、利用无缝切换正交频分复用的快速低延迟接入(Flash-OFDM)、IEEE 802.20、通用分组无线业务(GPRS)、iBurst、无线宽带(WiBro)、WiMAX、WiMAX-Advanced、通用移动电信业务-时分双工(UMTS-TDD)、高速分组接入(HSPA)、演进数据优化(EVDO)、改进的长期演进(LTE-Advanced)、多信道多点分配业务(MMDS)等)。

如本领域技术人员将认识的，可在广泛的应用中对在此描述的创新构思进行修改和变化。因此，所要求保护的主题的范围不应受限于以上讨论的任何具体的示例性教导，而是由权利要求书限定。

Claims (9)

1.一种用于图像去噪的系统，所述系统包括：

去马赛克模块，用于对图像的红白蓝RWB像素图像进行去马赛克；

颜色校正模块，用于对去马赛克的RWB像素图像进行颜色校正，并用于从颜色校正的去马赛克的RWB像素图像产生红绿蓝RGB像素图像；

转换器模块，用于将RGB像素图像转换为色调-饱和度-明度HSV像素图像，并用于产生相似度核ΔY；

彩色-去噪模块，用于使用相似度核ΔY对RWB像素图像的红色像素图像和蓝色像素图像进行去噪。

2.如权利要求1所述的系统，其中，相似度核ΔY被确定为：

ΔY＝αΔH+βΔS+γΔV

其中，

α+β+γ＝1，

h₁是在具有大小M×M的相似度核的中心的像素p₁的色调值，h₂是与像素p₁邻近的像素p₂的色调值，像素p₂是相似度核中的M×M个像素中的与像素p₁邻近的任何像素，

ΔS＝||s₁-s₂||，

其中，s₁是像素p₁的饱和度值，s₂是像素p₂的饱和度值，

ΔV＝||v₁-v₂||，

其中，v₁是像素p₁的亮度值，v₂是像素p₂的亮度值。

3.如权利要求2所述的系统，其中，α＝β＝0.5，γ＝0。

4.如权利要求2所述的系统，其中，α＝β＝0，γ＝1。

5.如权利要求1所述的系统，其中，彩色-去噪模块还用于从所述图像的RWB像素图像形成重建的白色W通道，并用于形成红色通道R′和蓝色通道B′。

6.如权利要求1所述的系统，其中，彩色-去噪模块使用非局部均值技术利用相似度核ΔY来对RWB像素图像的红色像素图像和蓝色像素图像进行去噪。

7.一种用于图像去噪的方法，所述方法包括：

对图像的红白蓝RWB像素图像进行去马赛克；

通过对去马赛克的RWB像素图像进行颜色校正，产生红绿蓝RGB像素图像；

将RGB像素图像转换为色调-饱和度-明度HSV像素图像；

从HSV像素图像产生相似度核ΔY；

使用相似度核ΔY对RWB像素图像的红色像素图像和蓝色像素图像进行去噪。

8.如权利要7所述的方法，其中，相似度核ΔY被确定为：

ΔY＝αΔH+βΔS+γΔV

其中，

α+β+γ＝1，

h₁是在具有大小M×M的相似度核的中心的像素p₁的色调值，h₂是与像素p₁邻近的像素p₂的色调值，像素p₂是相似度核中的M×M个像素中的与像素p₁邻近的任何像素，

ΔS＝||s₁-s₂||，

其中，s₁是像素p₁的饱和度值，s₂是像素p₂的饱和度值，

ΔV＝||v₁-v₂||，

其中，v₁是像素p₁的亮度值，v₂是像素p₂的亮度值。

9.一种用于图像去噪的系统，所述系统包括：

原始图像接收器，用于接收图像的红白蓝RWB像素图像；

去马赛克模块，用于对红白蓝RWB像素图像进行去马赛克；

颜色校正模块，用于对去马赛克的RWB像素图像进行颜色校正，并用于从颜色校正的去马赛克的RWB像素图像产生红绿蓝RGB像素图像；

转换器模块，用于将RGB像素图像转换为色调-饱和度-明度HSV像素图像，并用于产生相似度核ΔY；

彩色-去噪模块，用于使用相似度核ΔY对RWB像素图像的红色像素图像和蓝色像素图像进行去噪。