CN117441338A - 用于红绿蓝白(rgbw)图像的多重曝光、多帧混合的系统和方法 - Google Patents

Abstract

一种方法包括使用至少一个红绿蓝白(RGBW)图像传感器获得场景的多个图像。所述方法还包括从所述图像生成不同曝光等级的多通道帧。所述方法还包括使用所述多通道帧的白色通道作为引导信号来估计在所述不同曝光等级之间的曝光差上的运动，以生成多个运动图。所述方法还包括估计在所述不同曝光等级之间的曝光差上的饱和度，以生成多个饱和度图。所述方法还包括使用生成的运动图和饱和度图来从所述不同曝光等级恢复饱和度并生成无饱和度RGBW帧。另外，所述方法包括对所述无饱和度RGBW帧进行处理以生成所述场景的最终图像。

Description

用于红绿蓝白(RGBW)图像的多重曝光、多帧混合的系统和 方法

技术领域

本公开总体上涉及图像处理系统。更具体地，本公开涉及用于红绿蓝白(RGBW)图像的多重曝光、多帧混合的系统和方法。

背景技术

拜耳颜色滤波阵列(CFA)模式广泛用于移动成像传感器中。然而，其有限的灵敏度使其在极低光照条件下的使用成为挑战。可选地，红绿蓝白(RGBW)传感器包括具有白色滤色器以及红色滤色器、绿色滤色器和蓝色滤色器的CFA模式。RGBW CFA模式较敏感并且提供较高的信噪比(SNR)。RGBW的缺点是假设自动曝光(AE)逻辑保持针对RGB校准的情况下，RGBW在高光照条件下的白色(W)通道的过度灵敏度。

发明内容

技术方案

本公开提供了一种用于红绿蓝白(RGBW)图像的多重曝光、多帧混合的系统和方法。

根据本公开的一方面，一种方法包括使用至少一个红绿蓝白(RGBW)图像传感器获得场景的多个图像。所述方法还包括从所述图像生成不同曝光等级的多通道帧。所述方法还包括通过使用所述多通道帧的白色通道作为引导信号来估计在所述不同曝光等级之间的曝光差上的运动，生成多个运动图。所述方法还包括通过估计在所述不同曝光等级之间的曝光差上的饱和度来生成多个饱和度图。所述方法还包括使用生成的运动图和饱和度图来从所述不同曝光等级恢复饱和度并生成无饱和度RGBW帧。另外，所述方法包括对所述无饱和度RGBW帧进行处理以生成场景的最终图像。

根据实施例，所述方法可包括将所述多个图像对齐以生成运动矢量。根据实施例，所述方法可包括使用所述运动矢量将所述图像转换为多通道帧。根据实施例，所述方法可包括将所述多通道帧均衡到共同的亮度等级。根据实施例，所述方法可包括对所述多通道帧进行分组和混合。

根据实施例，所述方法可包括将无饱和度RGBW帧中的白色通道与红色通道、绿色通道和蓝色通道融合以生成三通道RGB帧。根据实施例，所述方法可包括将所述三通道RGB帧从第一比特深度转换为第二比特深度。根据实施例，所述方法可包括对转换的所述三通道RGB帧进行后处理以生成所述最终图像。

根据实施例，所述方法可包括：与针对所述多通道帧的所述白色通道的在所述不同曝光等级之间的曝光差上的饱和度与针对所述多通道帧的红色通道、绿色通道和蓝色通道的在所述不同曝光等级之间的曝光差上的饱和度被分开地估计。

根据实施例，所述方法可包括：在估计在所述不同曝光等级之间的曝光差上的所述饱和度时，当前曝光等级的饱和度等级依据下一曝光等级相对于参考曝光等级的曝光值。

根据实施例，所述方法可包括将在所述不同曝光等级的成对的生成的运动图和饱和度图相乘以生成组合图。根据实施例，所述方法可包括将所述组合图与所述不同曝光等级的所述多通道帧组合。

根据实施例，所述方法可包括对所述多通道帧对执行饱和度限幅。根据实施例，所述方法可包括将所述多通道帧的红色通道、绿色通道和蓝色通道转换为Y通道、U通道和V通道。根据实施例，所述方法可包括对所述白色通道的亮度进行均衡以对应于Y通道的亮度。根据实施例，所述方法可包括使用所述白色通道作为所述引导信号对所述Y通道执行引导滤波。根据本发明的一方面，一种电子装置包括至少一个RGBW图像传感器，其中，所述至少一个RGBW图像传感器被配置为获得场景的多个图像。所述电子装置还包括至少一个处理器，其中，所述至少一个处理器被配置为从所述图像生成不同曝光等级的多通道帧。所述至少一个处理器还被配置为通过使用所述多通道帧的白色通道作为引导信号来估计在所述不同曝光等级之间的曝光差上的运动，生成多个运动图。所述至少一个处理器还被配置为通过估计在所述不同曝光等级之间的曝光差上的饱和度，生成多个饱和度图。所述至少一个处理器还被配置为使用生成的运动图和饱和度图来从所述不同曝光等级恢复饱和度且生成无饱和度RGBW帧。另外，至少一个处理器被配置为对所述无饱和度RGBW帧进行处理以生成所述场景的最终图像。

根据实施例，所述电子装置可被配置为将所述多个图像对齐以生成运动矢量。根据实施例，电子装置可被配置为使用所述运动矢量将所述图像转换为多通道帧。根据实施例，电子装置可被配置为将所述多通道帧均衡到共同的亮度等级。根据实施例，电子装置可被配置为对所述多通道帧进行分组和混合。

根据实施例，所述电子装置可包括至少一个处理器。所述至少一个处理器可被配置为将所述多个图像对齐以生成运动矢量。所述至少一个处理器可被配置为使用所述运动矢量将所述图像转换为所述多通道帧。所述至少一个处理器可被配置为将所述多通道帧均衡到共同的亮度等级。所述至少一个处理器可被配置为对所述多通道帧进行分组和混合。

根据实施例，所述电子装置可包括至少一个处理器。所述至少一个处理器可被配置为将所述无饱和度RGBW帧中的所述白色通道与红色通道、绿色通道和蓝色通道融合以生成三通道RGB帧。所述至少一个处理器可被配置为将所述三通道RGB帧从第一比特深度转换为第二比特深度。所述至少一个处理器可被配置为对转换的所述三通道RGB帧进行后处理以生成所述最终图像。

根据实施例，所述电子装置可包括至少一个处理器。所述至少一个处理器可被配置为与针对所述多通道帧的红色通道、绿色通道和蓝色通道的在所述不同曝光等级之间的曝光差上的饱和度分开地估计针对所述多通道帧的白色通道的在所述不同曝光等级之间的曝光差上的饱和度。

根据实施例，所述电子装置可包括：在估计在所述不同曝光等级之间的曝光差上的饱和度时，当前曝光等级的饱和度等级依据下一曝光等级相对于参考曝光等级的曝光值。

根据实施例，所述电子装置可包括至少一个处理器。所述至少一个处理器可被配置为将所述不同曝光等级的成对的生成的运动图与饱和度图相乘以生成组合图。所述至少一个处理器可被配置为将所述组合图与所述不同曝光等级的所述多通道帧组合。

根据实施例，所述电子装置可包括至少一个处理器。所述至少一个处理器可被配置为对所述多通道帧对执行饱和度限幅。所述至少一个处理器可被配置为将所述多通道帧的红色通道、绿色通道和蓝色通道转换为Y通道、U通道和V通道。所述至少一个处理器可被配置为对白色通道的亮度进行均衡对应于所述Y通道的亮度。至少一个处理器可被配置为使用所述白色通道作为所述引导信号对所述Y通道执行引导滤波。

根据本发明的一方面，一种包含指令的机器可读介质，其中，所述指令在被执行时促使电子装置的至少一个处理器从使用至少一个RGBW图像传感器获得的场景的多个图像生成不同曝光等级的多通道帧。所述介质还包含在被执行时促使所述至少一个处理器进行以下操作的指令：通过使用所述多通道帧的白色通道作为引导信号估计在所述不同曝光等级之间的曝光差上的运动，生成多个运动图。所述介质还包含在被执行时促使所述至少一个处理器进行以下操作的指令：通过估计在所述不同曝光等级之间的曝光差上的饱和度，生成多个饱和度图。所述介质还包含在被执行时促使所述至少一个处理器进行以下操作的指令：使用生成的运动图和饱和度图来从所述不同曝光等级恢复饱和度并生成无饱和度RGBW帧。另外，所述介质还包含在被执行时促使所述至少一个处理器进行以下操作的指令：对所述无饱和度RGBW帧进行处理以生成所述场景的最终图像。

根据以下附图、说明书和权利要求，其他技术特征对于本领域技术人员而言可以是显而易见的。

在进行下面的详细描述之前，阐述贯穿本专利文件使用的某些词语和短语的定义可能是有利的。术语“发送”、“接收”和“通信”及其派生词包括直接通信和间接通信两者。术语“包括”和“包含”及其派生词意指包括但不限于此。术语“或”是包含性的，意指和/或。短语“与……相关联”及其派生词意指包括、被包括在……内、与……互连、包含、被包含在……内、连接到或与……连接、结合到或与……结合、可与……通信、与……协作、交织、并置、接近于、绑定到或与……绑定、具有、具有……的性质、与……具有关系等。

此外，下面描述的各种功能可由一个或更多个计算机程序实现或支持，一个或更多个计算机程序中的每一个由计算机可读程序代码形成并体现在计算机可读介质中。术语“应用”和“程序”是指适于在合适的计算机可读程序代码中实现的一个或更多个计算机程序、软件组件、指令集、过程、功能、对象、类、实例、相关数据或它们的一部分。短语“计算机可读程序代码”包括任何类型的计算机代码，包括源代码、目标代码和可执行代码。短语“计算机可读介质”包括能够由计算机访问的任何类型的介质，诸如只读存储器(ROM)、随机存取存储器(RAM)、硬盘驱动器、光盘(CD)、数字视频光盘(DVD)或任何其他类型的存储器。计算机可读介质不包括传输暂时性电信号或其他信号的有线、无线、光学或其他通信链路。计算机可读介质包括可永久存储数据的介质以及可存储数据并随后重写数据的介质，诸如，可重写光盘或可擦除存储器装置。

如本文所使用的，诸如“具有”、“可具有”、“包括”或“可包括”特征(如数字、功能、操作或组件(诸如，部件))的术语和短语指示该特征的存在，并且不排除其他特征的存在。此外，如本文所使用的，短语“A或B”、“A和/或B中的至少一个”或“A和/或B中的一个或更多个”可包括A和B的所有可能的组合。例如，“A或B”、“A和B中的至少一个”和“A或B中的至少一个”可指示以下全部：(1)包括至少一个A、(2)包括至少一个B、或者(3)包括至少一个A和至少一个B。此外，如本文所使用的，术语“第一”和“第二”可修饰各种组件而不管其重要性，并且不限制组件。这些术语仅用于将一个组件与另一个组件区分开。例如，第一用户装置和第二用户装置可指示彼此不同的用户装置，而不管装置的顺序或重要性。在不脱离本公开的范围的情况下，第一组件可被表示为第二组件，反之亦然。

应当理解，当元件(诸如，第一元件)被称为(可操作地或通信地)“与”另一元件(诸如，第二元件)“结合”或“结合到”另一元件、或者“与”另一元件(诸如，第二元件)“连接”或“连接到”另一元件(诸如，第二元件)时，它可直接或经由第三元件与另一元件结合或连接、或者结合到或连接到另一元件。相反，应当理解，当元件(诸如，第一元件)被称为“与”另一元件(诸如，第二元件)“直接结合”或“直接结合到”另一元件(诸如，第二元件)或者“与”另一元件(诸如，第二元件)“直接连接”或“直接连接到”另一元件(诸如，第二元件)时，在该元件和另一元件之间没有其他元件(诸如，第三元件)。

如本文所使用的，取决于情况，短语“被配置(或设置)为”可与短语“适合于”、“具有……的能力”、“被设计为”、“适于”、“被制造为”或“能够”互换使用。短语“被配置(或设置)为”本质上不意味着“在硬件中专门设计为”。相反，短语“被配置为”可表示装置可与另一装置或部件一起执行操作。例如，短语“被配置(或设置)为执行A、B和C的处理器”可表示可通过执行存储在存储器装置中的一个或更多个软件程序来执行操作的通用处理器(诸如，CPU或应用处理器)或者用于执行操作的专用处理器(诸如，嵌入式处理器)。

本文所使用的术语和短语仅用于描述本公开的一些实施例，而不是限制本公开的其他实施例的范围。应当理解的是，除非上下文另有明确说明，否则单数形式“一”、“一个”和“该”包括复数指代。本文所使用的所有术语和短语(包括技术术语和科学术语以及短语)具有与本公开的实施例所属领域的普通技术人员通常理解的含义相同的含义。将进一步理解的是，除非在此明确地如此定义，否则术语和短语(诸如，在常用词典中定义的那些术语和短语)应当被解释为具有与其在相关领域的上下文中的含义一致的含义，并且将不以理想化或过度正式的意义来解释。在一些情况下，这里定义的术语和短语可以被解释为排除本公开的实施例。

根据本公开的实施例的“电子装置”的示例可包括以下项中的至少一个：智能电话、平板个人计算机(PC)、移动电话、视频电话、电子书阅读器、桌上型PC、膝上型计算机、上网本计算机、工作站、个人数字助理(PDA)、便携式多媒体播放器(PMP)、MP3播放器、移动医疗装置、相机或可穿戴装置(诸如，智能眼镜、头戴式装置(HMD)、电子服装、电子手镯、电子项链、电子配件、电子纹身、智能镜子或智能手表)。电子装置的其他示例包括智能家用电器。智能家用电器的示例可包括以下项中的至少一个：电视、数字视频盘(DVD)播放器、音频播放器、冰箱、空调、吸尘器、烤箱、微波炉、洗衣机、烘干机、空气净化器、机顶盒、家庭自动化控制面板、安全控制面板、TV盒(诸如，三星HOMESYNC、APPLETV或GOOGLETV)、智能扬声器或具有集成数字助理的扬声器(诸如三星GALAXY HOME、APPLE HOMEPOD或AMAZON ECHO)、游戏控制台(诸如，XBOX、PLAYSTATION或NINTENDO)、电子词典、电子钥匙、摄像机或电子相框。电子装置的其他示例包括以下项中的至少一个：各种医疗装置(诸如，各种便携式医疗测量装置(如血糖测量装置、心跳测量装置或体温测量装置)、磁资源血管造影(MRA)装置、磁资源成像(MRI)装置、计算机断层摄影(CT)装置、成像装置或超声装置)、导航装置、全球定位系统(GPS)接收器、事件数据记录器(EDR)、飞行数据记录器(FDR)、汽车信息娱乐装置、航行电子装置(诸如，航行导航装置或陀螺罗盘)、航空电子装置、安全装置、车载头部单元、工业或家用机器人、自动柜员机(ATM)、销售点(POS)装置或物联网(IoT)装置(诸如，灯泡、各种传感器、电表或煤气表、喷水器、火灾报警器、恒温器、路灯、烤面包机、健身设备、热水箱、加热器或锅炉)。电子装置的其他示例包括家具或建筑物/结构的至少一部分、电子板、电子签名接收装置、投影仪或各种测量装置(诸如，用于测量水、电、气或电磁波的装置)。注意，根据本公开的各种实施例，电子装置可以是上面列出的装置中的一个或组合。根据本公开的一些实施例，电子装置可以是柔性电子装置。这里公开的电子装置不限于上面列出的装置，并且根据技术的发展可包括新的电子装置。

在以下描述中，根据本公开的各种实施例，参照附图描述了电子装置。如本文所使用的，术语“用户”可表示使用电子装置的人或另一装置(诸如，人工智能电子装置)。

在本专利文件中可提供其他某些单词和短语的定义。本领域普通技术人员应当理解，在许多实例中(如果不是大多数实例的话)，这样的定义适用于这样定义的单词和短语的先前以及将来的使用。

本申请中的描述都不应被解读为暗示任何特定元件、步骤或功能是必须包括在权利要求范围内的必要元件。专利主题的范围仅由权利要求限定。

附图说明

为了更完整地理解本公开及其优点，现在参考结合附图进行的以下描述，其中相同的附图标号表示相同的部件：

图1示出根据本公开的包括电子装置的示例网络配置；

图2示出根据本公开的用于红绿蓝白(RGBW)图像的多重曝光、多帧混合的示例处理；

图3示出根据本公开的图2的处理中的W引导的去重影操作的示例实施方式；

图4示出根据本公开的图2的处理中的后向多重曝光混合操作的示例实施方式；以及

图5示出根据本公开的用于RGBW图像的多重曝光、多帧混合的示例方法。

具体实施方式

参照附图描述下面讨论的图1至图5以及本公开的各种实施例。然而，应当理解，本公开不限于这些实施例，并且这些实施例的所有改变和/或等同物或替换也属于本公开的范围。

如上所述，拜耳颜色滤波阵列(CFA)模式广泛用于移动成像传感器中。然而，其有限的灵敏度使其在极低光照条件下的使用成为挑战。这是因为拜耳CFA模式使不同谱的光(即红色(R)谱、绿色(G)谱和蓝色(B)谱)通过以分离像素。结果是，红色像素、绿色像素和蓝色像素以相似的等级曝光，并且所有像素在极低光照条件下都可能曝光不足。可选地，红绿蓝白(RGBW)传感器包括具有白色滤色器以及红色滤色器、绿色滤色器和蓝色滤色器的CFA模式。换句话说，RGBW CFA模式也使白光通过，该白光覆盖红色谱、绿色谱和蓝色谱的整个光谱。因此，白色像素比红色像素、绿色像素和蓝色像素曝光得更多。RGBW CFA模式较敏感并且提供较高的信噪比(SNR)。RGBW的缺点是假设自动曝光(AE)逻辑保持针对RGB校准的情况下，RGBW在高光照条件下的白色(W)通道的过度灵敏度。常规技术通常限于单帧RGBW，关注于其灵敏度和分辨率/SNR改进，而在很大程度上(通过假设曝光条件良好或动态范围足够低)忽略白色通道的过度敏感性质。

本公开提供了用于RGBW图像的多重曝光、多帧混合的系统和方法。如下面更详细描述的，系统和方法提供多帧、多重曝光的成像流水线，其中多个图像由RGBW传感器在不同曝光下捕捉并混合，以便保持RGBW的SNR益处，同时避免通道的子集中的过度曝光或饱和像素的问题。使用用于RGB通道和W通道的多帧、多重曝光捕捉、饱和度/过度曝光分析、和恢复，所公开的系统和方法针对所有四个RGBW通道提供改进的曝光等级。注意，虽然在消费电子装置(诸如，智能电话)中的图像处理的上下文中描述了下面讨论的一些实施例，但这仅仅是一个示例，并且应当理解，本公开的原理可在任何数量的其他合适的上下文中实现。

图1示出根据本公开的包括电子装置的示例网络配置100。图1中所示出的网络配置100的实施例仅用于说明。在不脱离本公开的范围的情况下，可使用网络配置100的其他实施例。

根据本公开的实施例，电子装置101被包括在网络配置100中。电子装置101可包括总线110、处理器120、存储器130、输入/输出(I/O)接口150、显示器160、通信接口170或传感器180中的至少一个。在一些实施例中，电子装置101可排除这些组件中的至少一个，或者可添加至少一个其他组件。总线110包括用于将组件120至180彼此连接并且用于在组件之间传输通信(诸如，控制消息和/或数据)的电路。

处理器120包括中央处理器(CPU)、应用处理器(AP)或通信处理器(CP)中的一个或更多个。处理器120能够对电子装置101的其他组件中的至少一个执行控制和/或执行与通信有关的操作或数据处理。在一些实施例中，处理器120可以是图形处理器单元(GPU)。如下面更详细描述的，处理器120可执行用于RGBW图像的多重曝光、多帧混合的一个或更多个操作。

存储器130可包括易失性和/或非易失性存储器。例如，存储器130可存储与电子装置101的至少一个其他组件相关的命令或数据。根据本公开的实施例，存储器130可存储软件和/或程序140。程序140包括例如内核141、中间件143、应用编程接口(API)145和/或应用程序(或“应用”)147。内核141、中间件143或API 145的至少一部分可表示为操作系统(OS)。

内核141可控制或管理用于执行在其他程序(诸如，中间件143、API 145或应用147)中实现的操作或功能的系统资源(诸如，总线110、处理器120或存储器130)。内核141提供允许中间件143、API 145或应用147访问电子装置101的各个组件以控制或管理系统资源的接口。应用147可支持如下所述的用于RGBW图像的多重曝光、多帧混合的一个或更多个功能。这些功能可由单个应用或多个应用执行，其中每一个应用执行这些功能中的一个或更多个。例如，中间件143可用作中继以允许API 145或应用147与内核141通信数据。可提供多个应用147。中间件143能够控制从应用147接收的工作请求，诸如通过将使用电子装置101的系统资源(如总线110、处理器120或存储器130)的优先级分配给多个应用147中的至少一个来控制从应用147接收的工作请求。API 145是允许应用147控制从内核141或中间件143提供的功能的接口。例如，API 145包括用于归档控制、窗口控制、图像处理或文本控制的至少一个接口或功能(诸如，命令)。

I/O接口150用作可例如将从用户或其他外部装置输入的命令或数据传送到电子装置101的其他(一个或更多个)组件的接口。I/O接口150还可将从电子装置101的其他(一个或更多个)组件接收的命令或数据输出给用户或其他外部装置。

显示器160包括例如液晶显示器(LCD)、发光二极管(LED)显示器、有机发光二极管(OLED)显示器、量子点发光二极管(QLED)显示器、微机电系统(MEMS)显示器或电子纸显示器。显示器160还可以是深度感知显示器，诸如多焦显示器。显示器160能够向用户显示例如各种内容(诸如，文本、图像、视频、图标或符号)。显示器160可包括触摸屏，并且可接收例如使用电子笔或用户的身体部位的触摸、手势、接近或悬停输入。

通信接口170例如能够在电子装置101与外部电子装置(诸如，第一电子装置102、第二电子装置104或服务器106)之间建立通信。例如，通信接口170可通过无线通信或有线通信与网络162或网络164连接，以与外部电子装置通信。通信接口170可以是有线收发器或无线收发器、或者用于发送和接收信号的任何其他组件。

无线通信能够使用例如长期演进(LTE)、高级长期演进(LTE-A)、第五代无线系统(5G)、毫米波或60GHz无线通信、无线USB、码分多址(CDMA)、宽带码分多址(WCDMA)、通用移动电信系统(UMTS)、无线宽带(WiBro)或全球移动通信系统(GSM)中的至少一个作为蜂窝通信协议。有线连接可包括例如通用串行总线(USB)、高清多媒体接口(HDMI)、推荐标准232(RS-232)或普通老式电话服务(POTS)中的至少一个。网络162或网络164包括至少一个通信网络，诸如，计算机网络(如局域网(LAN)或广域网(WAN))、互联网或电话网络。

电子装置101还包括可计量物理量或检测电子装置101的激活状态并将计量或检测到的信息转换为电信号的一个或更多个传感器180。例如，一个或更多个传感器180包括用于捕捉场景的图像的一个或更多个相机或其他成像传感器，诸如被配置为获得场景的多个图像的至少一个红绿蓝白(RGBW)图像传感器。传感器180还可包括用于触摸输入的一个或更多个按钮、手势传感器、陀螺仪或陀螺仪传感器、气压传感器、磁传感器或磁力计、加速度传感器或加速度计、握持传感器、接近传感器、颜色传感器(诸如，红绿蓝(RGB)传感器)、生物物理传感器、温度传感器、湿度传感器、照度传感器、紫外线(UV)传感器、肌电图(EMG)传感器、脑电图(EEG)传感器、心电图(ECG)传感器、红外(IR)传感器、超声传感器、虹膜传感器或指纹传感器。(一个或更多个)传感器180还可包括惯性测量单元，其中，惯性测量单元可包括一个或更多个加速度计、陀螺仪和其他组件。另外，(一个或更多个)传感器180可包括用于控制这里包括的传感器中的至少一个的控制电路。这些(一个或更多个)传感器180中的任何一个可位于电子装置101内。

第一外部电子装置102或第二外部电子装置104可以是可穿戴装置或电子装置可安装的可穿戴装置(诸如，HMD)。当电子装置101安装在电子装置102(诸如，HMD)中时，电子装置101可通过通信接口170与电子装置102通信。电子装置101可与电子装置102直接连接以与电子装置102通信，而不涉及单独的网络。电子装置101还可以是包括一个或更多个相机的增强现实可穿戴装置(诸如，眼镜)。

第一外部电子装置102和第二外部电子装置104以及服务器106各自可以是与电子装置101相同或不同类型的装置。根据本公开的某些实施例，服务器106包括一个或更多个服务器的组。此外，根据本公开的某些实施例，在电子装置101上执行的操作中的全部或一些可在另一个或更多个其他电子装置(诸如，电子装置102和电子装置104或者服务器106)上执行。此外，根据本公开的某些实施例，当电子装置101应当自动地或应请求执行某个功能或服务时，电子装置101可请求另一装置(诸如，电子装置102和电子装置104或者服务器106)执行与其相关联的至少一些功能，而不是独自或另外地执行该功能或服务。其他电子装置(诸如，电子装置102和电子装置104或者服务器106)能够执行所请求的功能或附加功能，并将执行结果传送到电子装置101。电子装置101可通过按原样或另外地处理接收到的结果来提供所请求的功能或服务。为此，例如，可使用云计算、分布式计算或客户端-服务器计算技术。虽然图1示出了电子装置101包括通信接口170以经由网络162或网络164与外部电子装置104或服务器106通信，但根据本公开的一些实施例，电子装置101可在没有单独的通信功能的情况下独立地操作。

服务器106可包括与电子装置101相同或相似的组件110至180(或它们的合适的子集)。服务器106可通过执行在电子装置101上实现的操作(或功能)中的至少一个来支持驱动电子装置101。例如，服务器106可包括可支持在电子装置101中实现的处理器120的处理模块或处理器。如下面更详细描述的，服务器106可执行一个或更多个操作以支持用于RGBW图像的多重曝光、多帧混合的技术。

尽管图1示出包括电子装置101的网络配置100的一个示例，但可对图1进行各种改变。例如，网络配置100可以以任何合适的布置包括任何数量的每一个组件。通常，计算和通信系统具有各种各样的配置，并且图1不将本公开的范围限制于任何特定配置。此外，虽然图1示出了可使用本专利文件中公开的各种特征的一个操作环境，但这些特征可用于任何其他合适的系统中。

图2示出根据本公开的用于RGBW图像的多重曝光、多帧混合的示例处理200。注意，处理200被描述为使用上述电子装置101的一个或更多个组件来执行。然而，这仅仅是一个示例，并且处理200可使用(一个或更多个)任何其他合适的装置来执行，诸如当使用服务器106实现时。

如在图2中所示出的，在处理200中，电子装置101获得场景的多个图像205。例如，电子装置101可在突发捕捉操作中获得图像205，这意味着可快速连续地或者同时或接近同时地获得图像205。可响应于事件(诸如，用户致动快门控制或图像捕捉控制)来执行捕捉操作。在一些实施例中，使用电子装置101的共同的图像传感器180(诸如，具有RGBW传感器的相机)来捕捉图像205。在其他实施例中，使用电子装置101的多个图像传感器180捕捉图像205。在处理200中，图像205可以是每像素十二比特深度的多重曝光、多帧、单通道(马赛克)原始RGBW图像(该原始RGBW图像可被识别为RGBW 1C 12b)。然而，这仅仅是一个示例，并且具有其他深度或通道数量的图像在本公开的范围内。

电子装置101对图像205执行对齐操作210以生成运动矢量。对齐通常是指将不同的图像帧对齐，使得图像帧中的共同点对齐。因为当图像帧良好对齐时，稍后的混合操作可更加成功，因此这可能是有用的或期望的。对齐操作210可包括用于从图像生成运动矢量的任何合适的对齐处理、技术或算法。

电子装置101使用在对齐操作210期间生成的运动矢量作为去马赛克扭曲操作215的输入。电子装置101执行去马赛克扭曲操作215以将图像205的马赛克帧转换为多通道帧(诸如，四通道帧)。在去马赛克扭曲操作215中，去马赛克帧的曝光等级可以是例如EV-4、EV-2和EV0，但曝光等级的其他组合也是可能的。去马赛克扭曲操作215可包括用于将马赛克帧转换为多通道帧的任何合适的处理、技术或算法。

电子装置101对多通道帧执行均衡操作220，以便将帧均衡到共同的亮度等级。在一些实施例中，所选择的共同的亮度等级是EV0帧的亮度，但对于共同的亮度等级可选择其他亮度等级。在均衡操作220期间，将其他帧(诸如，EV-4帧和EV-2帧)均衡到目标帧(诸如，EV0帧)的亮度。在一些情况下，这导致最多每像素十六比特深度。EV0帧已经处于期望的亮度等级，因此，在均衡操作220中EV0帧可不变(尽管这再次取决于期望的亮度等级)。均衡操作220可包括用于均衡多通道帧中的亮度等级的任何合适的处理、技术或算法。

电子装置101按曝光等级对多通道帧进行分组，并将成组的多通道帧作为输入提供给单次曝光(SE)混合操作225、230和235。对一组具有共同的曝光等级的多通道帧执行SE混合操作225、230和235中的每一个。例如，可对EV-4曝光的多通道帧执行SE混合操作225，可对EV-2曝光的多通道帧执行SE混合操作230，并且可对EV0曝光的多通道帧执行SE混合操作235。在SE混合操作225、230和235中的每一个中，将相应组的多通道帧混合以生成单个混合图像帧。SE混合操作225、230和235表示用于将多个多通道帧混合为单个混合帧的任何合适的处理、技术或算法。如在图2中所示出的，SE混合操作225、230和235的输出是混合的四通道16×EV-4RGBW图像帧；混合的四通道4×EV-2RGBW图像帧；以及混合的四通道EV0 RGBW图像帧。

电子装置101还执行W引导的去重影操作240和245。执行W引导的去重影操作240和245以识别交叉曝光图像帧中的运动区域，使得可抑制这些区域中的混合。因为运动区域中的混合可导致重影伪影，因此，这是有用的。因此，W引导的去重影操作240和245进行操作以估计在曝光差上的运动。为了考虑交叉曝光帧之间的运动，按照前向的成对的方式将帧输入到W引导的去重影操作240和245。例如，16×EV-4图像帧和4×EV-2图像帧可以是W引导的去重影操作240的输入，并且4×EV-2和EV0图像帧可以是W引导的去重影操作245的输入。如下面更详细讨论的，W引导的去重影操作240和245的输出是针对图像帧对的运动图。

可按照任何合适的方式执行W引导的去重影操作240和245。图3示出根据本公开的图2的处理200中的W引导的去重影操作240和245的示例实施方式。如图3中所示出的，W引导的去重影操作240和245接收图像帧对，在该示例中，图像帧对是RGBW 4C 16b帧。电子装置101将帧作为输入提供给饱和度限幅操作300。由于对交叉曝光图像帧执行去重影，因此，建立饱和度极限以忽略由于动态范围差而引起的像素差。电子装置101执行饱和度限幅操作300以对基于运动的像素差和基于范围的像素差进行区分。作为具体示例，饱和度限幅操作300可将饱和度极限设置在以下曝光等级(例如EV-4)：该曝光等级依据下一曝光等级(诸如，EV-2)相对于参考曝光等级(诸如，EV0)的曝光值。这可在数学上如下表示。

I_{clip,16×EV-4}＝min(I_16×EV-4,t_satref×2^{(EV0 EV-2)}) (1)

I_clip,4×EV-2＝min(I_4×EV-2,t_satref×2^(EV0–EV0)) (2)

其中I_x是给定曝光等级的输入图像帧，I_clip,x是限幅的图像帧，并且t_satref是参考EV等级(诸如，EV0)处的饱和度阈值。等式(1)与用于16×EV-4图像帧的饱和度限幅操作300相应，而等式(2)与用于4×EV-2图像帧的饱和度限幅操作300相应。电子装置101还将具有初始线性的伽马曲线310应用于每一个帧，以在避免放大暗区域噪声的同时使内容变亮。电子装置101可将任何合适的伽马曲线应用于每一个帧。

与传统的RGB去重影技术不同，W引导的去重影操作240和245可通过利用高SNR白色通道作为引导信号来实现较高的运动估计精度。这里，电子装置101使用RGB2YUV转换操作320将图像帧的红色通道、绿色通道和蓝色通道中的每一个单独地转换为Y通道、U通道和V通道。RGB2YUV转换操作320的输出是每一个图像帧的Y通道、U通道和V通道。电子装置101可执行用于将RGB通道转换为YUV通道的任何合适的处理、技术或算法。在一些实施例中，转换操作320可在数学上如下表示。

另外，由于白色通道与RGB/YUV通道处于不同的亮度等级，因此白色通道可在用作对Y通道进行滤波的引导信号之前在亮度上被均衡。因此，电子装置101对W通道执行亮度均衡操作330。可使用用于亮度均衡操作330的各种技术。在一些实施例中，使用W通道和Y通道作为输入，电子装置101如下执行亮度均衡操作330。

W_eq＝W，其中，γ＝log(Y_median)/log(W_median) (4)

其中W_eq是均衡的白色通道，Y_median和W_median分别是Y通道和W通道的中值。

电子装置101通过以W_eq作为引导信号对Y通道应用引导滤波操作340来获得改进的Y通道(标识为Y_GF)。引导滤波操作340基于每一个像素i处的滤波输出q与引导图像I之间的局部线性模型。在一些实施例中，这可如下表示。

其中a_k、b_k是针对以像素k为中心的局部窗口w_k优化的线性系数。滤波输出可被优化为在均方意义上最接近输入p。例如，在一些实施例中，a_k和b_k可如下表示。

其中是w_k中的I的局部方差。当然，这仅仅是引导滤波操作340的一个示例。其他合适的处理、技术或算法是可能的并且在本公开的范围内。

电子装置101还使用Y_GF通道以及图像帧的原始U通道和原始V通道来执行YUV去重影操作350。在YUV去重影操作350期间，电子装置101对Y_GF通道、U通道和V通道进行处理以生成更准确的运动图MM。

返回图2，除了执行去重影操作240和245之外，电子装置101还执行多个饱和度操作250、255、260和265。执行饱和度操作250、255、260和265以估计针对RGB通道和W通道两者的在曝光差上的饱和像素，从而考虑交叉曝光帧之间的饱和度。在饱和度操作250、255、260和265中，电子装置101以前向的成对方式使用饱和度分析对帧进行处理。与传统的RGB饱和度分析技术不同，针对RGB通道和W通道不同地执行处理200中的饱和度分析。因此，分开执行针对RGB通道和W通道的饱和度分析，从而生成RGB分支(包括饱和度操作250和255)和W分支(包括饱和度操作260和265)。然而，两个饱和度分析可遵循相同的原理：当前曝光等级(诸如，EV-4)处的饱和度等级依据下一曝光等级(诸如，EV-2)相对于参考曝光等级(诸如，EV0)的曝光值。

如在该示例中可以看到的，饱和度操作250、255、260和265具有不同的输入对。在该示例中，饱和度操作250的输入是从SE混合操作230和235输出的4×EV-2帧和EV0帧，饱和度操作255的输入是从SE混合操作225和230输出的16×EV-4和4×EV-2帧，饱和度操作260的输入是从SE混合操作225和230输出的16×EV-4和4×EV-2帧，饱和度操作265的输入是从SE混合操作230和235输出的4×EV-2和EV0帧。饱和度操作250、255、260和265的输出是输入对的饱和度图M_S。在一些实施例中，饱和度操作250如下生成饱和度图M_S,16×EV-4。

M_S，16xEV-4＝max(0，min(1，[max(I_RGB)-t_satrefx2^(EV0-EV-2)]/[σ_satrefx2^(EV0-EV-2)])) (8)

此外，在一些实施例中，饱和度操作255如下生成饱和度图M_S,4×EV-2：

M_S，4xEV-2＝max(0，min(1，[max(I_RGB)-t_satrefx2^(EV0-EV0)]/[σ_satrefx2^(EV0-Ev0)])) (9)

此外，在一些实施例中，饱和度操作260如下生成饱和度图M_S,16×EV-4：M_S，16xEV-4＝max(0，min(1，[I_W-t_satrefx2^(EV0-EV-2)]/[σ_satrefx2^(EV0-Ev-2)])) (10)

另外，在一些实施例中，饱和度操作265如下生成饱和度图M_S,4×EV-2：

M_S，4xEV-2＝max(0，min(1，[I_W-t_satrefx2^(EV0-EV0)]/[σ_satrefx2^(EV0-Ev0)])) (11)

在等式(8)至等式(11)中，I_W和I_RGB分别表示图像帧的白色通道和RGB通道，σ_satref是参考EV等级(诸如，EV0)处的饱和度标准差，并且t_satref是参考EV等级的饱和度阈值。

使用在去重影操作240和245中生成的运动图以及在饱和度操作250、255、260和265中生成的饱和度图，电子装置101执行后向多重曝光(ME)混合操作270和275。电子装置101执行后向ME混合操作270以实现RGB分支中的饱和度恢复，并且电子装置101执行后向ME混合操作275以实现W分支中的饱和度恢复。由于在后向ME混合操作275中包括白色通道，因此，后向ME混合操作270和275是类似但略微不同的处理。RGB饱和度恢复和W饱和度恢复之后的输出被级联以形成如下所述的无饱和度RGBW帧。

可按照任何合适的方式执行后向ME混合操作270和275。图4示出根据本公开的图2的处理200中的后向多重曝光混合操作270和275的示例实施方式。如在图4中所示出的，后向ME混合操作270、275从可用的多个曝光等级递增地恢复饱和度，即从最高EV等级(诸如，EV0)开始并工作到最低EV(诸如，EV-4)(因此为术语后向)。这种递增方法允许多重曝光系统中的曝光等级之间的更恰当的过渡，从而生成更自然的HDR图像。

在该示例中，使用乘法器运算器405a将运动图M_M,16×EV-4和饱和度图M_S,16×EV-4组合以生成组合图M_16×EV-4。使用乘法运算器405b将组合图M_16×EV-4与图像帧I_16×EV-4组合。还将组合图M_16×EV-4输入到求补运算器410a，求补运算器410a对组合图M_16×EV-4执行对二求补运算(诸如，1-x)。使用乘法器运算器405c将运动图M_M,4×EV-2和饱和度图M_S,4×EV-2组合以生成组合图M_4×EV-2。使用乘法运算器405d将组合图M_4×EV-2与图像帧I_4×EV-2组合。还将组合图M_4×EV-2输入到求补运算器410b，求补运算器410b对组合图M_4×EV-2执行对二求补运算。使用乘法器运算器405e将图像帧I_EV0与求补运算器410b的输出组合。使用求和运算器415a将该输出与乘法运算器405d的输出相加。使用乘法器运算器405f将求和运算器415a的输出与求补运算器410a的输出组合。使用求和运算器415b将该输出与乘法运算器405b的输出相加。根据执行后向ME混合操作270还是后向ME混合操作275，求和运算器415b的输出是饱和度恢复图像帧的RGB通道或W通道。

返回到图2，电子装置101执行带间去噪和锐化操作280，以将四通道RGBW图像帧中的W通道与RGB通道融合，以创建三通道RGB图像帧。在一些情况下，三通道RGB图像帧仍可具有高动态范围，诸如十六比特深度。带间去噪和锐化操作280表示用于将四通道RGBW图像帧融合成三通道RGB图像帧的任何合适的处理、技术或算法。

电子装置101对三通道RGB帧执行色调映射操作285，以将具有显示动态范围(诸如，十六比特深度)的帧转换为较低比特深度(诸如，八比特深度)。可使用各种技术来执行色调映射操作285。电子装置101还对具有较低比特深度的三通道RGB帧执行一个或更多个后处理操作290，以便提高图像质量。在后处理操作290中可使用各种后处理技术。

注意的是，可按照任何合适的方式在电子装置101、服务器106或其他装置中实现图2至图4中所示出的操作和功能。例如，在一些实施例中，可使用由电子装置101的处理器120、服务器106或其他装置执行的一个或更多个软件应用或其他软件指令来实现或支持图2至图4中所示出的操作和功能。在其他实施例中，可使用专用硬件组件来实现或支持图2至图4中所示出的操作和功能中的至少一些。通常，可使用任何合适的硬件或者硬件和软件/固件指令的任何合适的组合来执行图2至图4中所示出的操作和功能。

尽管图2至图4示出了用于RGBW图像的多重曝光、多帧混合的处理200和相关细节的一个示例，但可对图2至图4进行各种改变。例如，虽然在RGB分支和W分支之间共享由W引导的去重影操作240和245确定的运动图，但在其他实施例中可分开计算针对RGB的运动图和针对W的运动图。例如，RGB信号可被转换为YUV以用于YUV去重影操作350。YUV去重影操作350还可将W信号视为Y并且忽略来自U和V的色度效应。此外，虽然示出为特定的操作序列，但图2至图4中所示出的各种操作可重叠、并行发生、以不同的顺序发生或发生任何次数(包括零次)。此外，图2至图4中所示出的具体操作仅是示例，并且可使用其他技术来执行图2至图4中所示出的每一个操作。另外，可按照任何其他合适的方式实现W引导的去重影操作和后向多重曝光混合操作。

图5示出根据本公开的用于RGBW图像的多重曝光、多帧混合的示例方法500。为了便于解释，图5中所示出的方法500被描述为涉及使用图2至图4中所示出的处理200和图1中所示出的电子装置101。然而，图5中所示出的方法500可与任何其他合适的电子装置(诸如，服务器106)一起使用并且在任何合适的系统中使用。

如在图5中所示出的，在步骤502，使用至少一个RGBW图像传感器获得场景的多个图像。这可包括例如电子装置101使用至少一个RGBW图像传感器180捕捉场景的图像205。

在步骤504，将多个图像对齐以生成运动矢量。这可包括例如电子装置101对图像205执行对齐操作210。在步骤506，使用运动矢量将图像转换为多通道帧。这可包括例如电子装置101执行去马赛克扭曲操作215以将图像205转换为多通道帧。在步骤508，将多通道帧均衡到共同的亮度等级。这可包括例如电子装置101对多通道帧执行均衡操作220，以便将帧均衡到共同的亮度等级。

在步骤510，按照不同的曝光等级对多通道帧进行分组和混合。这可包括例如电子装置101对一组具有共同曝光等级的多通道帧执行SE混合操作225、230和235。步骤504至步骤510中所示出的操作和功能从图像生成不同曝光等级的多通道帧。

在步骤512，使用多通道帧的白色通道作为引导信号来估计在不同曝光等级之间的曝光差上的运动，以便生成多个运动图。这可包括例如电子装置101执行W引导的去重影操作240和245以生成运动图。在步骤514，估计在不同曝光等级之间的曝光差上的饱和度，以生成多个饱和度图。这可包括例如电子装置101执行饱和度操作250、255、260和265以生成饱和度图。

在步骤516，使用生成的运动图和饱和度图，从不同的曝光等级恢复饱和度并且生成无饱和度RGBW帧。这可包括例如电子装置101执行后向ME混合操作270和275。在步骤518，无饱和度RGBW帧中的W通道与RGB通道融合，以生成三通道RGB帧。这可包括例如电子装置101对RGBW图像帧执行带间去噪和锐化操作280。在步骤520，将三通道RGB帧从第一比特深度转换为第二比特深度。这可包括例如电子装置101对三通道RGB图像帧执行色调映射操作285。在步骤522，对转换的三通道RGB帧执行后处理以生成最终图像。这可包括例如电子装置101对三通道RGB图像帧执行一个或更多个后处理操作290。

尽管图5示出用于RGBW图像的多重曝光、多帧混合的方法500的一个示例，但可对图5进行各种改变。例如，虽然示出为一系列步骤，但图5中的各种步骤可重叠、并行发生、以不同顺序发生或发生任何次数。

尽管已经参考各种示例实施例描述了本公开，但可向本领域技术人员建议各种改变和修改。本公开旨在涵盖落入所附权利要求的范围内的这些改变和修改。

Claims (15)

1.一种方法，包括：

使用至少一个红绿蓝白(RGBW)图像传感器获得场景的多个图像；

从所述图像生成不同曝光等级的多通道帧；

通过使用所述多通道帧的白色通道作为引导信号来估计在所述不同曝光等级之间的曝光差上的运动，生成多个运动图；

通过估计在所述不同曝光等级之间的曝光差上的饱和度，生成多个饱和度图；

使用生成的运动图和饱和度图来从所述不同曝光等级恢复饱和度并生成无饱和度RGBW帧；并且

对所述无饱和度RGBW帧进行处理以生成所述场景的最终图像。

2.根据权利要求1所述的方法，其中，从所述图像生成所述不同曝光等级的所述多通道帧的步骤包括：

将所述多个图像对齐以生成运动矢量；

使用所述运动矢量将所述图像转换为所述多通道帧；

将所述多通道帧均衡到共同的亮度等级；以及

对所述多通道帧进行分组和混合。

3.根据权利要求1所述的方法，其中，对所述无饱和度RGBW帧进行处理以生成所述场景的所述最终图像的步骤包括：

将所述无饱和度RGBW帧中的所述白色通道与红色通道、绿色通道和蓝色通道融合以生成三通道RGB帧；

将所述三通道RGB帧从第一比特深度转换为第二比特深度；以及

对转换的所述三通道RGB帧进行后处理以生成所述最终图像。

4.根据权利要求1所述的方法，其中，针对所述多通道帧的所述白色通道的在所述不同曝光等级之间的曝光差上的饱和度与针对所述多通道帧的红色通道、绿色通道和蓝色通道的在所述不同曝光等级之间的曝光差上的饱和度被分开地估计。

5.根据权利要求1所述的方法，其中，在估计在所述不同曝光等级之间的曝光差上的所述饱和度时，当前曝光等级的饱和度等级依据下一曝光等级相对于参考曝光等级的曝光值。

6.根据权利要求1所述的方法，其中，生成所述无饱和度RGBW帧的步骤包括：

将所述不同曝光等级的成对的生成的运动图和饱和度图相乘以生成组合图；以及

将所述组合图与所述不同曝光等级的所述多通道帧组合。

7.根据权利要求1所述的方法，其中，估计在所述不同曝光等级之间的曝光差上的所述运动的步骤包括：

对成对的多通道帧执行饱和度限幅；

将所述多通道帧的红色通道、绿色通道和蓝色通道转换为Y通道、U通道和V通道；

对所述白色通道的亮度进行均衡以对应于所述Y通道的亮度；以及

使用所述白色通道作为所述引导信号对所述Y通道执行引导滤波。

8.一种电子装置，包括：

至少一个红绿蓝白(RGBW)图像传感器，被配置为获得场景的多个图像；以及

至少一个处理器，被配置为：

从所述图像生成不同曝光等级的多通道帧；

通过使用所述多通道帧的白色通道作为引导信号来估计在所述不同曝光等级之间的曝光差上的运动，生成多个运动图；

通过估计在所述不同曝光等级之间的曝光差上的饱和度，生成多个饱和度图；

使用生成的运动图和饱和度图来从所述不同曝光等级恢复饱和度并生成无饱和度RGBW帧；以及

对所述无饱和度RGBW帧进行处理以生成所述场景的最终图像。

9.根据权利要求8所述的电子装置，其中，为了从所述图像生成所述不同曝光等级的所述多通道帧，所述至少一个处理器被配置为：

将所述多个图像对齐以生成运动矢量；

使用所述运动矢量将所述图像转换为所述多通道帧；

将所述多通道帧均衡到共同的亮度等级；以及

对所述多通道帧进行分组和混合。

10.根据权利要求8所述的电子装置，其中，为了对所述无饱和度RGBW帧进行处理以生成所述场景的所述最终图像，所述至少一个处理器被配置为：

将所述无饱和度RGBW帧中的所述白色通道与红色通道、绿色通道和蓝色通道融合，以生成三通道RGB帧；

将所述三通道RGB帧从第一比特深度转换为第二比特深度；以及

对转换的所述三通道RGB帧进行后处理以生成所述最终图像。

11.根据权利要求8所述的电子装置，其中，所述至少一个处理器被配置为：与针对所述多通道帧的红色通道、绿色通道和蓝色通道的在所述不同曝光等级之间的曝光差上的饱和度分开地估计针对所述多通道帧的所述白色通道的在所述不同曝光等级之间的曝光差上的饱和度。

12.根据权利要求8所述的电子装置，其中，在估计在所述不同曝光等级之间的曝光差上的所述饱和度时，当前曝光等级的饱和度等级依据下一曝光等级相对于参考曝光等级的曝光值。

13.根据权利要求8所述的电子装置，其中，为了生成所述无饱和度RGBW帧，所述至少一个处理器被配置为：

将所述不同曝光等级的成对的生成的运动图和饱和度图相乘以生成组合图；以及

将所述组合图与所述不同曝光等级的所述多通道帧组合。

14.根据权利要求8所述的电子装置，其中，为了估计在所述不同曝光等级之间的曝光差上的所述运动，所述至少一个处理器被配置为：

对成对的所述多通道帧执行饱和度限幅；

将所述多通道帧的红色通道、绿色通道和蓝色通道转换为Y通道、U通道和V通道；

对所述白色通道的亮度进行均衡以对应于所述Y通道的亮度；以及

使用所述白色通道作为所述引导信号对所述Y通道执行引导滤波。

15.一种包含指令的机器可读介质，其中，所述指令在被执行时促使电子装置的至少一个处理器执行与根据权利要求1至7中任一项所述的方法相应的操作。