CN113168672A

CN113168672A - 用于图像处理的色调映射和色调控制集成

Info

Publication number: CN113168672A
Application number: CN201980077204.6A
Authority: CN
Inventors: G·M·古埃林; B·C·道亚迪
Original assignee: Kotoro
Current assignee: Kotoro
Priority date: 2018-10-19
Filing date: 2019-06-13
Publication date: 2021-07-23
Anticipated expiration: 2039-06-13
Also published as: WO2020081126A1; US11941789B2; EP3867860A1; US20210342987A1; CN113168672B

Abstract

图像使用多种技术的组合而被处理，特别地，其中低频信息使用多色调控制而被处理，并且高频信息使用局部色调映射来被处理。图像被分成包括给定块的多个块。给定块的低频信息和高频信息被分离。低频信息使用多色调控制来被处理。低频信息使用局部色调映射来被处理。然后，基于经处理的低频信息并且基于经处理的高频信息来产生经处理的图像，该经处理的图像对应于使用图像传感器捕获的图像。然后，经处理的图像被输出以用于存储或显示。处理低频信息可以包括使用增益曲线和双线性插值。处理高频信息可以包括使用边缘保留滤波器。

Description

用于图像处理的色调映射和色调控制集成

技术领域

本公开涉及用于图像处理的色调映射和色调控制集成。

背景技术

图像捕获设备(诸如相机)可以将图像或视频作为内容捕获。光可以经由透镜接收和聚焦，并且可以由图像传感器转换为电子图像信号。图像信号可以由图像信号处理器(ISP)处理以形成图像，图像可以被处理，然后被存储或输出。红色、绿色和蓝色分量的组合用于为图像的像素创建颜色。用于为像素创建颜色的那些颜色分量中的每个颜色分量的量表示用于那些像素的相应颜色的强度水平。

发明内容

本发明尤其描述用于图像处理的色调映射和色调控制集成的系统和技术。

本公开的一个方面是一种图像捕获装置。图像捕获装置包括图像传感器、处理器和存储器。存储器包括处理器可执行的指令，指令包括以下指令：使用图像传感器捕获图像；将图像划分成包括给定块的多个块；将给定块的低频信息和给定块的高频信息分离；使用多色调控制来处理给定块的低频信息；使用局部色调映射来处理给定块的低频信息；基于经处理的低频信息并且基于经处理的高频信息，产生经处理的图像，其中经处理的图像对应于使用图像传感器捕获的图像；以及输出经处理的图像以用于存储或显示。

在图像捕获装置的一些实施方式中，使用多色调控制来处理给定块的低频信息的指令包括以下指令：基于针对给定块计算的增益曲线，并且基于在给定块与图像内的、与给定块相邻的一个或多个块之间执行的双线性插值的结果，对给定块的低频信息进行多色调控制。

在图像捕获装置的一些实施方式中，增益曲线是全局色调映射曲线。

在图像捕获装置的一些实施方式中，给定块的一个或多个像素内的低频信息的对比度通过对给定块的低频信息执行多色调控制而被增强。

在图像捕获装置的一些实施方式中，用于使用局部色调映射来处理给定块的低频信息的指令包括以下指令：使用边缘保留滤波器对给定块的高频信息执行局部色调映射。

在图像捕获装置的一些实施方式中，边缘保留滤波器的尺寸比用于执行局部色调映射而不执行多色调控制的滤波器的尺寸小。

在图像捕获装置的一些实施方式中，多色调控制的分辨率基于边缘保留滤波器的尺寸而被增加，增加多色调控制的分辨率补偿局部色调映射对图像的中频信息的影响。

在图像捕获装置的一些实施方式中，给定块的一个或多个像素内的高频信息的对比度通过对给定块的高频信息执行局部色调映射而被保留或增强。

在图像捕获装置的一些实施方式中，使用局部色调映射来处理给定块的低频信息的指令包括以下指令：基于与给定块的像素的一个或多个邻居平均的像素的亮度值的低通版本来处理像素，以产生经处理的像素。

在图像捕获装置的一些实施方式中，经处理的图像使用多级查找表而被产生，多级查找表中的第一查找表存储用于处理低频信息的参数值，多级查找表中的多个第二查找表中的一个第二查找表存储用于处理高频信息的参数值。

本公开的另一方面是图像处理器。图像处理器包括图像捕获单元和图像处理单元。图像捕获单元被配置为捕获图像。图像处理单元被配置为：将图像划分成块，并且对块中的每个块执行图像处理。对于块中的给定块，图像处理单元通过以下方式执行图像处理：将给定块的低频信息和给定块的高频信息分离；基于针对给定块计算的增益曲线并且基于在给定块与图像内与给定块相邻的一个或多个块之间执行的双线性插值的结果，对给定块的低频信息执行多色调控制；使用边缘保留滤波器对给定块的高频信息执行局部色调映射；以及基于多色调控制的结果和局部色调映射的结果，产生经处理的块。基于经处理的块并且基于由图像处理单元产生的其他经处理的块，来产生经处理的图像。

在图像处理器的一些实施方式中，增益曲线是全局色调映射曲线。

在图像处理器的一些实施方式中，边缘保留滤波器的尺寸比用于执行局部色调映射而不执行多色调控制的滤波器的尺寸小。

在图像处理器的一些实施方式中，对给定块的低频信息执行多色调控制包括：增强给定块的一个或多个像素内的低频信息的对比度。

在图像处理器的一些实施方式中，对给定块的高频信息执行局部色调映射包括：保留或增强在给定块的一个或多个像素内的高频信息的对比度。

在图像处理器的一些实施方式中，使用多级查找表来产生经处理的块，多级查找表中的第一查找表存储与图像的低频信息相关联的参数值，多级查找表中的多个第二查找表均存储与块中的一个块的高频信息相关联的参数值。

在图像处理器的一些实施方式中，多色调控制的分辨率，基于边缘保留滤波器的尺寸而被增加，增加多色调控制的分辨率补偿了局部色调映射对图像的中频信息的影响。

本公开的另一方面是一种方法。方法包括：对图像的块进行滤波，以将块的低频信息和块的高频信息分离；使用多色调控制并且基于全局色调映射曲线来处理低频信息；使用局部色调映射来处理高频信息；以及使用经处理的低频信息和经处理的高频信息，来产生经处理的图像。

在方法的一些实施方式中，使用多色调控制并且基于全局色调映射曲线来处理低频信息包括：增强块的一个或多个像素内的低频信息的对比度，并且使用局部色调映射来处理高频信息包括：保留或增强块的一个或多个像素内的高频信息的对比度。

在方法的一些实施方式中，用于执行局部色调映射的边缘保留滤波器的尺寸比用于执行局部色调映射而不执行多色调控制的滤波器的尺寸小。

在以下详细描述、所附权利要求和附图中公开了本公开的这些和其他方面。

附图说明

所公开的实施方式具有其他优点和特征，这些优点和特征将从具体实施方式、所附权利要求和附图中变得更加明显。这些附图的简要介绍如下。

图1A-图1D是图像捕获设备的示例的等距视图。

图2是包括重叠视场的图像捕获设备的示例的截面图。

图3A-图3B是被配置为用于图像捕获的系统的示例的框图。

图4是图像处理和编码管线的示例的框图。

图5是用于图像处理的对比度增强单元的示例的框图。

图6是示出用于使用色调映射和色调控制集成的图像处理的技术的示例的流程图。

具体实施方式

图像捕获设备通过使用图像传感器来来捕获图像，以测量暴露于那些图像传感器的光的强度。所测量的光强度被转换为作为模拟信号的电压测量结果。将那些测量的光强度转换为电压测量结果的过程导致对图像生成噪声。可以使用一种或多种图像处理技术来减少由于转换过程产生的噪声的量，诸如以改善输出用于显示的图像的质量。这种图像处理技术的示例包括全局色调映射(GTM)、局部色调映射(LTM)和多色调控制(MTC)。

GTM包括估计增益曲线并且将其应用于整个图像以增强对比度。然而，通常以该方式增加图像的对比度在一些情况下可能导致图像内的局部细节被压缩。与其相反，LTM包括通过对图像应用大的(例如150x150)滤波器来保留和增强局部细节。对图像应用滤波器可以分离图像的低频信息和高频信息。LTM然后对高频信息进行操作。然而，使用这种大的滤波器在计算上可能昂贵。

另外，MTC引起图像内局部对比度的相对廉价的增强。MTC包括将图像划分成数个(MxN，其中M和N可以是相同或不同的数字)块。然后针对块中的每个块计算GTM曲线。然后使用双线性插值来混合各种GTM曲线，以防止相邻块之间的不连续性影响图像处理。MTC允许更好地控制GTM，并且减少细节的损失，诸如通过对整个图像选择最佳的GTM曲线。MTC相对便宜，因为它仅使用MxN直方图和MxN查找表(LUT)。但是，MTC可能导致图像的较小区域中的细节丢失。

本发明的实施方式解决了诸如使用色调映射和色调控制集成来进行图像处理的这些问题，以便在不损失局部图像细节的情况下减少图像处理的计算费用。特别地，使用MTC来处理来自图像的低频信息，并且使用LTM来处理来自图像的高频信息。图像被划分成多个块。滤波器(例如，比用于执行LTM而不执行MTC的滤波器的尺寸小的40x40或其他尺寸)被应用于每个块，以将该块内的低频信息与该块内的高频信息分离。然后，使用MTC并且基于GTM曲线来处理低频信息，而使用LTM来处理高频信息。使用MTC来处理低频信息有助于减少图像处理的计算费用，而使用LTM来处理高频信息有助于防止或限制图像块内的局部细节的丢失。

参考作为示例提供的附图详细描述本公开的实施方式，以使本领域技术人员能够实践本技术。附图和示例并不意指将本公开的范围限制为单个实施方式，并且通过与所描述或图示的一些或所有元件互换或组合，其他实施方式是可能的。在任何方便之处，贯穿附图，相同的附图标记被用来指代相同或相似的部件。

图1A-图1D是图像捕获设备100的示例的等距视图。图像捕获设备100可以包括主体102(具有构造在主体102的前表面上的透镜104)，在主体102的表面的前面上的各种指示器(诸如LED、显示器等)，各种输入机制(诸如按钮、开关和触摸屏机构)以及主体102内部的电子设备(例如，成像电子设备、功率电子设备等)，用于经由透镜104捕获图像和/或执行其他功能。图像捕获设备100可以被配置为：捕获图像和视频，并且存储所捕获的图像和视频以用于后续的显示或回放。

图像捕获设备100可以包括各种指示器，包括LED灯106和LED显示器108。图像捕获设备100还可以包括按钮110，按钮110被配置为：允许图像捕获设备100的用户与图像捕获设备100交互，开启图像捕获设备100以及以其他方式配置图像捕获设备100的操作模式。图像捕获设备100还可以包括麦克风112，麦克风112被配置为与记录视频一起接收和记录音频信号。图像捕获设备100的侧面可以包括I/O接口114。

相机还可以包括被集成到相机壳体中的麦克风116系统。相机的前表面可以包括两个排水口，两个排水口作为用于相机音频系统的排水通道118的一部分。相机可以包括交互式显示器120，其允许与相机进行交互，同时在相机的表面上显示相机信息。如所示的，图像捕获设备100可以包括透镜104，透镜104被配置为接收入射在透镜上的光并且将所接收的光引导到透镜内部的图像传感器上。

图像捕获设备100包括相机外部，该外部包围并且保护相机的内部电子设备，内部电子设备将在后面的部分中进一步被描述。相机外部包括六个表面(即，前面、左面、右面、背面、顶面和底面)，其中外表面形成矩形长方体。此外，图像捕获设备100的前表面和后表面两者是基本矩形的形状。图像捕获设备100可以由诸如塑料、铝、钢或玻璃纤维的刚性材料制成。

附加的相机特征(诸如上述特征)可以被固定到相机的外部。在一些实施方式中，本文描述的相机包括下面描述的那些特征以外的特征。例如，代替单个界面按钮，相机可以包括附加按钮或不同的界面特征，诸如用于接收语音或其他音频命令的多个麦克风开口。

尽管未在图1A-图1D中明确示出，但在一些实施方式中，图像捕获设备100可以包括一个或多个图像传感器，诸如电荷耦合器件(CCD)传感器、有源像素传感器(APS)、互补金属氧化物半导体(CMOS)传感器、N型金属氧化物半导体(NMOS)传感器和/或任何其他图像传感器或图像传感器的组合。

尽管未在图1A-图1D中明确示出，但在一些实施方式中，图像捕获设备100可以包括一个或多个麦克风，其可以接收、捕获和记录音频信息，该音频信息可以与由图像传感器获取的图像相关联。

尽管未在图1A-图1D中明确示出，但图像捕获设备100可以包括一个或多个其他信息源或传感器，诸如惯性测量单元(IMU)、全球定位系统(GPS)接收器组件、压力传感器、温度传感器、心率传感器或图像捕获装置中可能包括的任何其他单元或单元的组合。

在一些实施方式中，图像捕获设备100可以经由有线或无线计算通信链路(未示出)，与诸如外部用户接口设备的外部设备对接或通信。用户接口设备可以例如是下面关于图3描述的个人计算设备360。可以使用任何数目的计算通信链路。计算通信链路可以是直接计算通信链路或间接计算通信链路，包括另一个设备或网络(例如，因特网)的链路可以被使用。在一些实施方式中，计算通信链路可以是Wi-Fi链路、红外链路、蓝牙(BT)链路、蜂窝链路、ZigBee链路、近场通信(NFC)链路(诸如ISO/IEC 23243协议链路)、高级网络技术互操作性(ANT+)链路和/或任何其他无线通信链路或链路的组合。在一些实施方式中，计算通信链路可以是HDMI链路、USB链路、数字视频接口链路、显示端口接口链路(诸如视频电子标准协会(VESA)数字显示接口链路)、以太网链路、雷电链路和/或其他有线计算通信链路。

在一些实施方式中，图像捕获设备100可以经由计算通信链路将诸如全景图像或全景图像的一部分传送到用户接口设备(未示出)，并且用户接口设备可以对全景图像进行存储、处理、显示或其组合。

在一些实施方式中，用户接口设备可以是计算设备，诸如智能电话、平板计算机、平板手机、智能手表、便携式计算机和/或另一设备或设备组合，其被配置为接收用户的输入，经由计算通信链路与图像捕获设备100通信信息，或经由计算通信链路接收用户输入并且与图像捕获设备100通信信息。

在一些实施方式中，用户接口设备可以显示或以其他方式呈现由图像捕获设备100获取的内容，诸如图像或视频。例如，用户接口设备的显示可以是进入由图像捕获设备100捕获或创建的全景图像或视频表示的三维空间的视口。

在一些实施方式中，用户接口设备可以将诸如元数据的信息传达给图像捕获设备100。例如，用户接口设备可以将用户接口设备相对于限定的坐标系的定向信息发送给图像捕获设备100，使得图像捕获设备100可以确定用户接口设备相对于图像捕获设备100的定向。基于所确定的定向，图像捕获设备100可以标识全景图像的一部分或标识由图像捕获设备100捕获的视频，以供图像捕获设备100发送到用户接口设备以作为视口进行呈现。在一些实施方式中，基于所确定的定向，图像捕获设备100可以确定用户接口设备的位置和/或确定用于察看全景图像或视频的一部分的尺寸。

在一些实施方式中，用户接口设备可以实施或执行一个或多个应用以管理或控制图像捕获设备100。例如，用户接口设备可以包括用于控制相机配置、视频获取、视频显示或图像捕获设备100的任何其他可配置或可控制的方面的应用。

在一些实施方式中，用户接口设备(诸如经由应用)可以诸如响应于用户输入，而生成和共享(诸如，经由基于云或社交媒体的服务)一个或多个图像或短视频剪辑。在一些实施方式中，用户接口设备(诸如经由应用)可以诸如响应于用户输入来远程控制图像捕获设备100。

在一些实施方式中，用户接口设备(诸如经由应用)可以与由图像捕获设备100捕获图像或视频的同时，显示由图像捕获设备100捕获的未处理或最小处理的图像或视频，诸如以用于透镜取景，这在本文中可以被称为实时预览，并且可以响应于用户输入而被执行。在一些实施方式中，用户接口设备(诸如，经由应用)可以诸如响应于用户输入，而在图像捕获设备100捕获图像或视频的同时，标记(诸如利用标签)一个或多个关键时刻。

在一些实施方式中，用户接口设备(诸如，经由应用)可以诸如响应于用户输入，而显示或以其他方式呈现与图像或视频相关联的标记或标签。例如，可以在相机胶卷应用中呈现标记，以用于位置回顾和/或视频集锦的回放。

在一些实施方式中，用户接口设备(诸如经由应用)可以无线地控制相机软件、硬件或两者。例如，用户接口设备可以包括用户可访问的基于网络的图形界面，以用于从图像捕获设备100选择实况或先前记录的视频流以在用户接口设备上显示。

在一些实施方式中，用户接口设备可以接收指示用户设置的信息，诸如图像分辨率设置(例如，3840像素乘2160像素)、帧速率设置(例如，每秒60帧(fps))、位置设置和/或上下文设置，上下文设置可以响应于用户输入来指示诸如山地自行车的活动，并且可以将设置或相关信息传达给图像捕获设备100。

图2是包括重叠视场210、212的双透镜图像捕获设备200的示例的截面图。在一些实施方式中，如图2中所示，图像捕获设备200可以是具有视场210、212的球形图像捕获设备。例如，图像捕获设备200可以包括以背对背或Janus配置布置的图像捕获设备220、222、相关的组件或其组合。例如，第一图像捕获设备220可以包括第一透镜230和第一图像传感器240，并且第二图像捕获设备222可以包括第二透镜232和第二图像传感器242，第二透镜232和第二图像传感器242与第一透镜230和第一图像传感器240相对布置。

图像捕获设备200的第一透镜230可以具有在边界250上方示出的视场210。在第一透镜230后面，第一图像传感器240可以从进入第一透镜230的光捕获第一超半球图像平面，第一超半球图像平面对应于第一视场210。

图像捕获设备200的第二透镜232可以具有如边界252下方所示的视场212。在第二透镜232后面，第二图像传感器242可以从进入第二透镜232的光捕获第二超半球图像平面，第二超半球图像平面对应于第二视场212。

诸如盲点260、262的一个或多个区域可以在透镜230、232的视场210、212的外部，光可能从透镜230、232和对应的图像传感器240、242被遮挡，并且捕获可能会漏掉盲点260、262中的内容。在一些实施方式中，图像捕获设备200可以被配置为最小化盲点260、262。

视场210、212可以重叠。靠近图像捕获设备200的缝合点270、272(在该处，视场210、212重叠)在本文中可以被称为重叠点或缝合点。由在缝合点270、272远端的相应透镜230、232捕获的内容可以重叠。

由相应图像传感器240、242同时捕获的图像可以被组合以形成组合图像。组合相应图像可以包括：将由相应图像传感器240、242捕获的重叠区域相关联；将捕获的视场210、212对齐；以及将图像缝合在一起以形成内聚的组合图像。

透镜230、232，图像传感器240、242或两者的对齐的小改变(诸如，位置和/或倾斜)，可以改变它们相应视场210、212的相对位置和缝合点270、272的位置。对齐的改变可以影响盲点260、262的尺寸，这可以包括不均等地改变盲点260、262的尺寸。

指示图像捕获设备220、222的对齐(诸如缝合点270、272的位置)的不完整或不准确的信息，可能降低生成组合图像的准确性、效率或两者。在一些实施方式中，图像捕获设备200可以维持指示透镜230、232和图像传感器240、242的位置和定向的信息，以使视场210、212、缝合点270、272或两者可以被准确确定，这可以改进生成组合图像的准确性、效率或两者。

穿过透镜230、232的光学轴线可以基本上彼此反平行，以使相应轴线可以在诸如1％、3％、5％、10％和/或其他公差的公差内。在一些实施方式中，图像传感器240、242可以基本垂直于通过它们相应的透镜230、232的光学轴线，使得图像传感器可以垂直于相应轴线以在诸如1％、3％、5％、10％和/或其他公差的公差内。

透镜230、232可以彼此横向偏移，可以从图像捕获设备200的中心轴线偏离中心，或者可以从中心轴线横向偏离并且偏离中心。与具有背对背透镜(诸如沿相同轴线对齐的透镜)的图像捕获设备相比，包括横向偏移透镜230、232的图像捕获设备200关于固定透镜230、232的镜筒的长度可以具有明显减小的厚度。例如，图像捕获设备200的整体厚度可以接近单个镜筒的长度，而不是背对背配置中单个镜筒的长度的两倍。减小透镜230、232之间的横向距离可以改善视场210、212中的重叠。

由诸如图1A-图1D中所示的图像捕获设备100和图2中所示的图像捕获设备200的图像捕获设备捕获的图像或帧可以被组合、合并或缝合在一起以产生组合图像，诸如球形或全景图像，其可以是等矩形平面图像。在一些实施方式中，生成组合图像可以包括三维或时空的降噪(3DNR)。在一些实施方式中，沿着缝合边界的像素可以被准确匹配以最小化边界不连续。

图3A-图3B是被配置为用于图像捕获的系统的示例的框图。首先参考图3A，示出了被配置为用于图像捕获的图像捕获设备300。图像捕获设备300包括图像捕获设备310(例如，相机或无人机)，其可以例如是图1A-图1D中所示的图像捕获设备100。图像捕获设备310包括处理装置312，处理装置312被配置为接收来自第一图像传感器314的第一图像并且被配置为接收来自第二图像传感器316的第二图像。处理装置312可以被配置为执行图像信号处理(例如，滤波、色调映射、缝合和/或编码)，以基于来自图像传感器314和316的图像数据来生成输出图像。

图像捕获设备310包括用于将图像传输到其他设备的通信接口318。图像捕获设备310包括用户界面320，其可以允许用户控制图像捕获功能和/或察看图像。图像捕获设备310包括用于为图像捕获设备310供电的电池322。图像捕获设备310的组件可以经由总线324彼此通信。

处理装置312可以包括具有单个或多个处理核的一个或多个处理器。处理装置312可以包括存储器，诸如随机存取存储设备(RAM)、闪存，或诸如非暂态计算机可读存储器的另一种合适类型的存储设备。处理装置312的存储器可以包括可以由处理装置312的一个或多个处理器访问的可执行指令和数据。例如，处理装置312可以包括一个或多个动态随机存取存储器(DRAM)模块，诸如双倍数据速率同步动态随机存取存储器(DDR SDRAM)。在一些实施方式中，处理装置312可以包括数字信号处理器(DSP)。在一些实施方式中，处理装置312可以包括专用集成电路(ASIC)。例如，处理装置312可以包括定制的图像信号处理器。

第一图像传感器314和第二图像传感器316被配置为检测某个光谱(例如，可见光谱或红外光谱)的光，并且将构成图像的信息作为电信号(例如，模拟或数字信号)传送。例如，图像传感器314和316可以包括CCD或CMOS中的有源像素传感器。图像传感器314和316可以检测通过相应透镜(例如，鱼眼透镜)入射的光。在一些实施方式中，图像传感器314和316包括数模转换器。在一些实施方式中，图像传感器314和316被保持在固定的定向上，具有重叠的相应视场。

图像捕获设备310可以包括通信接口318，其可以使能与个人计算设备(例如，智能电话、平板电脑、膝上型计算机或台式计算机)进行通信。例如，通信接口318可以用于接收控制图像捕获设备310中的图像捕获和处理的命令。例如，通信接口318可以用于将图像数据传输到个人计算设备。例如，通信接口318可以包括有线接口，诸如高清多媒体接口(HDMI)、通用串行总线(USB)接口或火线接口。例如，通信接口318可以包括无线接口，诸如蓝牙接口、ZigBee接口和/或Wi-Fi接口。

图像捕获设备310可以包括用户界面320。例如，用户界面320可以包括用于向用户呈现图像和/或消息的LCD显示器。例如，用户界面320可以包括使人能够手动开启和关闭图像捕获设备310的按钮或开关。例如，用户界面320可以包括用于对图片进行快照(snap)的快门按钮。图像捕获设备310可以包括为图像捕获设备310和/或其外围设备供电的电池322。例如，电池322可以无线地或通过微USB接口被充电。

在一些实施方式中，图像捕获设备310可以包括一个或多个硬件或软件组件，以用于对使用图像捕获设备310捕获的图像的像素执行全局色调映射。使用那些一个或多个硬件或软件组件执行的全局色调映射可以集成颜色校正操作。例如，那些一个或多个硬件或软件组件可以用于执行下面关于图12描述的技术1200。

接下来参考图3B，示出了被配置为用于图像捕获的系统330。系统330包括经由通信链路350通信的图像捕获设备340和个人计算设备360。图像捕获设备340可以例如是图1A-图1D中所示的图像捕获设备100。个人计算设备360可以例如是关于图1A-图1D描述的用户接口设备。图像捕获设备340包括被配置为捕获相应图像的第一图像传感器342和第二图像传感器344。图像捕获设备340包括通信接口346，通信接口346被配置为经由通信链路350将图像传输到个人计算设备360。

个人计算设备360包括处理装置362，处理装置362被配置为使用通信接口366接收来自第一图像传感器的第一图像，并且接收来自第二图像传感器344的第二图像。处理装置362可以被配置为执行图像信号处理(例如，滤波、色调映射、缝合和/或编码)，以基于来自图像传感器342和344的图像数据来生成输出图像。

第一图像传感器342和第二图像传感器344被配置为检测某个光谱(例如，可见光谱或红外光谱)的光并且将构成图像的信息作为电信号(例如，模拟或数字信号)传送。例如，图像传感器342和344可以包括CCD或CMOS中的有源像素传感器。图像传感器342和344可以检测通过相应透镜(例如，鱼眼透镜)入射的光。在一些实施方式中，图像传感器342和344包括数模转换器。在一些实施方式中，图像传感器342和344被保持在固定的相对定向中，具有重叠的相应视场。来自图像传感器342和344的图像信号可以经由总线348被传递给图像捕获设备340的其他组件。

通信链路350可以是有线通信链路或无线通信链路。通信接口346和通信接口366可以使能通过通信链路350的通信。例如，通信接口346和通信接口366可以包括HDMI端口或其他接口、USB端口或其他接口、火线接口、蓝牙接口、ZigBee接口和/或Wi-Fi接口。例如，通信接口346和通信接口366可以用于将图像数据从图像捕获设备340传输到个人计算设备360，以进行图像信号处理(例如，滤波、色调映射、缝合和/或编码)，以基于来自图像传感器342和344的图像数据来生成输出图像。

处理装置362可以包括具有单个或多个处理核的一个或多个处理器。处理装置362可以包括存储器，诸如RAM、闪存，或诸如非暂态计算机可读存储器的另一种合适类型的存储设备。处理装置362的存储器可以包括可以由处理装置362的一个或多个处理器访问的可执行指令和数据。例如，处理装置362可以包括一个或多个DRAM模块，诸如DDR SDRAM。

在一些实施方式中，处理装置362可以包括DSP。在一些实施方式中，处理装置362可以包括例如ASIC的集成电路。例如，处理装置362可以包括定制的图像信号处理器。处理装置362可以经由总线368与个人计算设备360的其他组件交换数据(例如，图像数据)。

个人计算设备360可以包括用户界面364。例如，用户界面364可以包括用于向用户呈现图像和/或消息并且从用户接收命令的触摸屏显示器。例如，用户界面364可以包括使人能够手动开启和关闭个人计算设备360的按钮或开关。在一些实施方式中，经由用户界面364接收的命令(例如，开始记录视频、停止记录视频或快照照片)可以经由通信链路350被继续传递给图像捕获设备340。

在一些实施方式中，图像捕获设备340和/或个人计算设备360可以包括一个或多个硬件或软件组件，以用于对使用图像捕获设备340捕获的图像的像素执行全局色调映射。使用那些一个或多个硬件或软件组件执行的全局色调映射可以集成颜色校正操作。例如，那些一个或多个硬件或软件组件可以用于执行下面关于图12描述的技术1200。

图4是图像处理和编码管线400的示例的框图。图像处理和编码管线400可以被包括在图像捕获设备中，图像捕获设备诸如是图1A-图1D中所示的图像捕获设备100或图2中所示的图像捕获设备200。备选地或附加地，图像处理和编码管线400可以表示集成电路的功能，例如，该集成电路包括图像捕获单元、图像处理单元或组合的图像捕获单元和图像处理单元。

图像处理和编码管线400接收输入402，并且使用图像捕获单元406和图像处理单元408来处理输入402以产生输出404。输入402包括可用于使用图像捕获单元406来捕获图像的信息或测量结果。例如，输入402可以包括由图像捕获单元406的图像传感器410用来捕获图像的测量结果和/或其他信息。输出404是使用图像捕获单元406捕获并且使用图像处理单元408处理的图像。

例如，图像传感器410可以是以下中的一项或多项：图像捕获设备100的图像传感器、图像捕获设备200的图像传感器(例如，图像传感器240或图像传感器242)、图像捕获设备300的图像传感器(例如，第一图像传感器314或第二图像传感器316)，或图像捕获设备330的图像传感器(例如，第一图像传感器342或第二图像传感器344)。在一些实施方式中，图像捕获单元406可以包括图像传感器410以外的其他组件。例如，图像捕获单元406可以指代用于由图像捕获设备100、图像捕获设备200、图像捕获设备300或图像捕获设备330捕获图像的一个或多个组件。

图像处理单元408包括频率分离单元412和对比度增强单元414。图像处理单元408通过使用频率分离单元412来分离图像内的频率信息，来处理使用图像捕获单元406捕获的图像，然后使用对比增强单元414使用对比增强技术来分别处理不同的频率信息。

例如，频率分离单元412可以将使用图像捕获单元406捕获的图像分离为低频信息和高频信息。对比度增强单元414然后可以使用第一图像处理技术(诸如，MTC)来处理低频信息，并且可以使用第二图像处理技术(诸如，LTM)来处理高频信息。在一些实施方式中，对比度增强单元414也可以使用MTC来处理中频信息，例如，中频信息使用频率分离单元412而被分离。例如，组合地执行MTC和LTM可以包括：基于由LTM使用的边缘保留过滤器的大小来增加MTC的分辨率。以该方式增加MTC的分辨率补偿由LTM对图像的中频信息的影响。

图5是用于图像处理的对比度增强单元500的示例的框图。对比度增强单元将图像处理技术的组合应用于图像，以产生经处理的图像502。对比度增强单元500可以例如是图4中所示的对比度增强单元414。例如，经处理的图像502可以是或参考图4中所示的输出404。

对比度增强单元包括MTC单元504和LTM单元506。MTC单元504和LTM单元506用于处理与图像相关联的不同信息。例如，MTC单元504可以用于处理与图像相关联的低频信息508，并且LTM单元506可以用于处理与图像相关联的高频信息510。

低频信息508(也被称为基础层)和高频信息510(也被称为增强层)可以通过对图像应用滤波器(例如，使用图4中所示的频率分离单元412)而被分离。例如，应用滤波器可以使得从图像的给定块中移除除低频信息之外的频率信息。因此，可以基于原始图像和低频信息之间的差异来确定高频信息。

图像的像素可以被限定为p＝[R，G，B]^T。像素p具有亮度值x＝Y(p)，该亮度值对应于三个颜色通道R、G和B的加权和。LTM的其他方法可以包括产生经处理的像素

其中

是x与其最相似的邻居平均的低通版本，并且其中α≥1。然而，对比度增强单元500将LTM与MTC结合以用于图像处理。因此，使用LTM和MTC进行处理包括产生经处理的像素

其中

是x与其最相似的邻居平均的低通版本，并且其中α≥1。

使用对比度增强单元500执行的图像处理的原理指示LTM和MTC不是排他性的，并且指示可以使用上述公式使用x的平滑版本来组合它们。由于MTC分辨率通常较低，因此MTC的目标是增强图像内的低频细节的对比度。结果，使用对比度增强单元500执行的MTC可以具有比其他MTC方法更高的分辨率。相同的思路，使用对比度增强单元500执行的LTM可以使用比其他LTM方法((诸如，未与MTC一起执行的LTM方法))中使用的滤波器尺寸(例如150x150)更小的滤波器尺寸(例如40x40)。

在一些实施方式中，使用多级LUT来产生经处理的块。例如，多级LUT中的第一LUT可以存储与图像的低频信息相关联的参数值，而多级查找表中的多个第二查找表中的每个第二查找表可以存储与块中的一个块的低频信息相关联的参数值。

现在描述使用关于图1A-图5描述的系统和管线执行的实施方式的另外细节和技术的示例。图6是示出用于使用色调映射和色调控制集成进行图像处理的技术600的示例的流程图。可以例如使用图像捕获系统(诸如图1A-图1D中所示的图像捕获设备100或图2中所示的图像捕获设备200)的硬件和/或软件组件来执行技术600。例如，图像捕获设备100或图像捕获设备200可以包括一个或多个软件组件，该一个或多个软件组件例如使用用于控制点处理的多级LUT(诸如在图4中所示的管线400中所描述的)，来处理使用图像捕获设备100或图像捕获设备200的图像捕获设备捕获的图像。

在另一示例中，可以使用集成电路来执行技术600。集成电路可以例如是现场可编程门阵列(例如，FPGA)、可编程逻辑设备(PLD)、可重配置计算机结构(RCF)、片上系统(SoC)、ASIC和/或另一种类型的集成电路。集成电路的图像处理器可以例如包括图像捕获单元和/或图像和控制参数处理单元(例如，具有一个或多个核的处理器)，其被配置为执行指令以执行技术600中的一些或全部。

尽管关于操作的系列描述了技术600，但是可以以不同于本文描述的那些顺序的顺序来执行包括技术600的操作。在一些实施方式中，与本文描述的那些操作相比，技术600可以包括附加、更少或不同的操作。

在602处，图像被捕获或接收。例如，可以使用图像捕获设备的图像捕获单元的图像传感器来捕获图像。在另一个示例中，可以从图像捕获设备或从存储器接收图像。在604处，图像被划分成块。例如，图像可以被划分成48个以上的块。

在606处，块中的每个块内的低频信息和高频信息被分离。在608处，使用诸如MTC的色调控制技术来处理每个块的低频信息。处理低频信息包括：针对每个块计算增益曲线，并且在相邻块之间执行双线性插值。增益曲线可以例如是针对块(例如，与作为整体的图像相反)计算的GTM曲线。因此，执行MTC可以包括使用增益曲线来增强给定块的一个或多个像素内的低频信息的对比度。在给定块和图像内与给定块相邻的一个或多个块之间执行双线性插值，使得每个块能够基于图像中的其他块来被处理。因此，给定块内的当前像素，基于与给定块相关联的参数并且基于与图像内与给定块相邻的一个或多个块相关联的参数而被处理。

在610处，使用诸如LTM的色调映射技术来处理每个块的高频信息。例如，处理高频信息可以包括使用边缘保留滤波器来保留在每个块内的高频信息。因此，执行LTM可以包括使用滤波器来保留在给定块的一个或多个像素内的低频信息的对比度。在一些实施方式中，处理高频信息可以包括执行LTM来保留或增强给定块的高频信息和给定块的中频信息。例如，调整加权值(例如，上述方程式中的α)，可以选择是保留还是增强对比度。此外，组合地执行MTC和LTM可以包括基于由LTM使用的边缘保留滤波器的大小来增加MTC的分辨率。以该方式增加MTC的分辨率可以补偿LTM对图像中频信息的影响。

在612处，基于在每个块处使用MTC和LTM的图像处理的结果来产生经处理的图像。例如，在给定块处使用MTC和LTM进行图像处理的结果可以表示该块的经处理像素。那些经处理像素可以诸如基于原始图像内的对应原始像素的二维位置，来被组合到经处理的图像中。备选地，使用经处理的像素来产生经处理的图像可以包括：通过利用经处理像素中的对应像素替换原始图像内的原始像素的各个像素，来修改原始图像。在614处，经处理的图像被输出或存储。

在可以使用已知组件部分或完全实施这些实施方式的某些元件的情况下，已经描述了对于理解本公开所必需的这种已知组件的那些部分，并且已经省略对这种已知组件的其他部分的详细描述以免模糊本公开。

在本说明书中，展示单个组件的实施方式不应当被视为限制；而是，除非本文另有明确说明，否则本公开旨在涵盖包括多个相同组件的其他实施方式，反之亦然。此外，本公开涵盖本文中通过说明的方式提及的组件的当前及未来知晓的等效物。

如本文中所使用的，术语“总线”一般旨在表示可以用于在两个以上实体之间通信数据的任何类型的互连或通信架构。“总线”可以是光学的、无线的、红外的或另一类型的通信介质。总线的精确拓扑可以例如为标准“总线”、多级总线、片上网络、地址事件表示(AER)连接，或用于访问例如系统中的不同存储器的其他类型的通信拓扑。

如本文中所使用的，术语“计算机”、“计算设备”以及“计算化设备”包括但不限于个人计算机(PC)及小型计算机(无论是桌上型计算机、膝上型计算机还是其他)、大型计算机、工作站、服务器、个人数字助理(PDA)、手持式计算机、嵌入式计算机、可编程逻辑器件、个人通信器、平板计算机、便携式导航辅助、Java 2平台、配备微型版(J2ME)的设备、蜂窝电话、智能电话、个人集成通信或娱乐设备，或者能够执行指令集的另一设备。

如本文中所使用的，术语“计算机程序”或“软件”意指包括执行功能的机器可认知步骤的任何序列。这种程序可以用任何编程语言或环境来呈现，这些编程语言或环境包括例如C/C++、C#、Fortran、COBOL、MATLABTM、PASCAL、Python、汇编语言、标记语言(例如，HTML、标准通用标记语言(SGML)、XML、语音标记语言(VoXML))以及例如公共对象请求代理体系结构(CORBA)、JavaTM(包括J2ME、Java Beans)、和/或二进制运行时环境(例如，用于无线的二进制运行时环境(BREW))的面向对象的环境。

如本文中所使用的，术语“连接”、“链路”、“传输通道”、“延迟线路”和“无线”意指两个以上实体之间的因果链路(无论是物理的还是逻辑的/虚拟的)，其使能这些实体之间的信息交换。

如本文中所使用的，术语“集成电路”、“芯片”和“IC”意指通过将迹线元素图案化扩散到半导体材料的薄衬底的表面中而制造的电子电路。通过非限制性实例的方式，集成电路可以包括FPGA、PLD、RCF、SoC、ASIC和/或其他类型的集成电路。

如本文中所使用的，术语“存储器”包括适于存储数字数据的任何类型的集成电路或其他存储设备，其包括但不限于只读存储器(ROM)、可编程ROM(PROM)、电可擦PROM(EEPROM)、DRAM、移动DRAM、同步DRAM(SDRAM)、双数据速率2(DDR/2)SDRAM、扩展数据输出(EDO)/快页模式(FPM)、降低延迟(RLDRAM)、静态RAM(SRAM)、“快闪”存储器(例如，NAND/NOR)、忆阻器存储器以及伪SRAM(PSRAM)。

如本文中所使用的，术语“微处理器”和“数字处理器”通常意指包括数字处理设备。作为非限制性示例的方式，数字处理设备可以包括以下中的一个或多个：DSP、精简指令集计算机(RISC)、通用复杂指令集计算(CISC)处理器、微处理器、门阵列(例如，现场可编程门阵列(FPGA))、PLD、RCF、阵列处理器、安全微处理器、ASIC和/或其他数字处理设备。这种数字处理器可以被包含在单个单一IC裸片上，或者跨多个组件分布。

如本文中所使用的，术语“网络接口”指代与组件、网络和/或过程接口连接的任何信号、数据和/或软件。作为非限制性示例，网络接口可以包括以下中的一个或多个：火线(例如，FW400、FW110和/或其他变化)、USB(例如，USB2)、以太网(例如，10/100、10/100/1000(吉比特以太网)、10-Gig-E和/或其他以太网实施方式)、MoCA、Coaxsys(例如，TVnetTM)、射频调谐器(例如，带内或带外线缆调制解调器和/或其他射频调谐器协议接口)、Wi-Fi(802.11)、WiMAX(802.16)、个人区域网络(PAN)(例如，802.15)、蜂窝(例如，3G、LTE/LTE-A/TD-LTE、GSM和/或其他蜂窝技术)、IrDA家族和/或其他网络接口。

如本文中所使用的，术语“Wi-Fi”包括以下中的一个或多个：IEEE-Std.802.11、IEEE-Std.802.11的变体、与IEEE-Std.802.11相关的标准(例如，802.11a/b/g/n/s/v)和/或其他无线标准。

如本文中所使用的，术语“无线”意指任何无线信号、数据、通信和/或其他无线接口。作为非限制性示例，无线接口可以包括以下中的一个或多个：Wi-Fi、蓝牙、3G(3GPP/3GPP2)、高速下行链路分组访问/高速上行链路分组访问(HSDPA/HSUPA)、时分多址(TDMA)、码分多址(CDMA)(例如，IS-95A、宽带CDMA(WCDMA)、和/或其他无线技术)、跳频扩频(FHSS)、直接序列扩频(DSSS)、全球移动通信系统(GSM)、PAN/802.1、WiMAX(802.16)、802.20、窄带/频分多址(FDMA)、正交频分复用(OFDM)、个人通信服务(PCS)/数字蜂窝系统(DCS)、LTE/LTE高级(LTE-A)/时分LTE(TD-LTE)、模拟蜂窝、蜂窝数字分组数据(CDPD)、卫星系统、毫米波或微波系统、声学、红外(例如，IrDA)和/或其他无线接口。

如本文中所使用的，术语“相机”或其变型以及“图像捕获设备”或其变型可以用于指代被配置为捕获、记录及/或传送静止和/或视频图像的任何成像设备或传感器，其可能对电磁频谱的可见部分和/或电磁频谱的不可见部分(例如，红外线、紫外线)和/其他能量(例如，压力波)敏感。

虽然根据方法的特定步骤序列描述技术的某些方面，但是这些描述是对本公开的更广泛方法的说明，并且可以通过特定应用进行修改。在一些情况下，某些步骤可能变得不必要或任选。另外，可以将某些步骤或功能性添加到所公开的实施方式，或者可以改变两个以上步骤的执行顺序。所有这种变型都被认为涵盖在本公开内。

虽然以上详细描述已经被示出、描述和指出应用于各种实施方式的本公开的新颖特征，但是应当理解，在不脱离本公开的情况下，可以由本领域技术人员对所说明的设备或过程的形式和细节做出各种省略、替换以及变化。前述描述绝不意指限制，而是应当被视为对本技术的一般原理的说明。

Claims

1.一种图像捕获装置，包括：

图像传感器；

处理器；以及

存储器，包括由所述处理器可执行的指令，用于：

使用所述图像传感器捕获图像；

将所述图像划分成包括给定块的多个块；

将所述给定块的低频信息和所述给定块的高频信息分离；

使用多色调控制来处理所述给定块的所述低频信息；

使用局部色调映射来处理所述给定块的所述低频信息；

基于经处理的所述低频信息并且基于经处理的所述高频信息，产生经处理的图像，所述经处理的图像与使用所述图像传感器捕获的所述图像相对应；以及

输出所述经处理的图像以用于存储或显示。

2.根据权利要求1所述的图像捕获装置，其中用于使用多色调控制来处理所述给定块的所述低频信息的所述指令包括指令以：

基于针对所述给定块计算的增益曲线，并且基于在所述给定块与所述图像内的、与所述给定块相邻的一个或多个块之间执行的双线性插值的结果，对所述给定块的所述低频信息执行多色调控制。

3.根据权利要求2所述的图像捕获装置，其中所述增益曲线是全局色调映射曲线。

4.根据权利要求1、2或3中任一项所述的图像捕获装置，其中所述给定块的一个或多个像素内的所述低频信息的对比度通过对所述给定块的所述低频信息执行所述多色调控制而被增强。

5.根据权利要求1、2、3或4中任一项所述的图像捕获装置，其中用于使用局部色调映射来处理所述给定块的所述低频信息的所述指令包括指令以：

使用边缘保留滤波器对所述给定块的所述高频信息执行局部色调映射。

6.根据权利要求5所述的图像捕获装置，其中所述边缘保留滤波器的尺寸比用于执行所述局部色调映射而不执行所述多色调控制的滤波器的尺寸小。

7.根据权利要求5或6中任一项所述的图像捕获装置，其中所述多色调控制的分辨率基于所述边缘保留滤波器的尺寸而被增加，其中增加所述多色调控制的所述分辨率补偿所述局部色调映射对所述图像的中频信息的影响。

8.根据权利要求1、2、3、4、5、6或7中任一项所述的图像捕获装置，其中所述给定块的一个或多个像素内的所述高频信息的对比度通过对所述给定块的所述高频信息执行所述局部色调映射而被保留或增强。

9.根据权利要求1、2、3、4、5、6、7或8中任一项所述的图像捕获装置，其中用于使用局部色调映射来处理所述给定块的所述低频信息的所述指令包括指令以：

基于与所述给定块的像素的一个或多个邻居平均的所述像素的亮度值的低通版本来处理所述像素，以产生经处理的像素。

10.根据权利要求1、2、3、4、5、6、7、8或9中任一项所述的图像捕获装置，其中所述经处理的图像使用多级查找表而被产生，其中所述多级查找表中的第一查找表存储用于处理所述低频信息的参数值，其中所述多级查找表中的多个第二查找表中的一个第二查找表存储用于处理所述高频信息的参数值。

11.一种图像处理器，包括：

图像捕获单元，被配置为捕获图像；

图像处理单元，被配置为：将所述图像划分成块，并且对所述块中的每个块执行图像处理，其中，对于所述块中的给定块，所述图像处理单元通过如下执行所述图像处理：

将所述给定块的低频信息和所述给定块的高频信息分离；

基于针对所述给定块计算的增益曲线并且基于在所述给定块与所述图像内的、与所述给定块相邻的一个或多个块之间执行的双线性插值的结果，对所述给定块的所述低频信息执行多色调控制；

使用边缘保留滤波器对所述给定块的所述高频信息执行局部色调映射；以及

基于所述多色调控制的结果和所述局部色调映射的结果，产生经处理的块，

其中基于所述经处理的块并且基于由所述图像处理单元产生的其他经处理的块，经处理的图像被产生。

12.根据权利要求11所述的图像处理器，其中所述增益曲线是全局色调映射曲线。

13.根据权利要求11或12中任一项所述的图像处理器，其中所述边缘保留滤波器的尺寸比用于执行所述局部色调映射而不执行所述多色调控制的滤波器的尺寸小。

14.根据权利要求11、12或13中任一项所述的图像处理器，其中对所述给定块的所述低频信息执行所述多色调控制包括：增强所述给定块的一个或多个像素内的所述低频信息的对比度。

15.根据权利要求11、12、13或14中任一项所述的图像处理器，其中对所述给定块的所述高频信息执行所述局部色调映射包括：保留或增强在所述给定块的一个或多个像素内的所述高频信息的对比度。

16.根据权利要求11、12、13、14或15中任一项所述的图像处理器，其中所述经处理的块使用多级查找表而被产生，其中所述多级查找表中的第一查找表存储与所述图像的低频信息相关联的参数值，其中所述多级查找表中的多个第二查找表各自存储与所述块中的一个块的高频信息相关联的参数值。

17.根据权利要求11、12、13、14、15或16中任一项所述的图像处理器，其中所述多色调控制的分辨率基于所述边缘保留滤波器的尺寸而被增加，其中增加所述多色调控制的所述分辨率补偿所述局部色调映射对所述图像的中频信息的影响。

18.一种方法，包括：

对图像的块进行滤波，以将所述块的低频信息和所述块的高频信息分离；

使用多色调控制并且基于全局色调映射曲线来处理所述低频信息；

使用局部色调映射来处理所述高频信息；以及

使用经处理的所述低频信息和经处理的所述高频信息，来产生经处理的图像。

19.根据权利要求18所述的方法，其中使用所述多色调控制并且基于所述全局色调映射曲线来处理所述低频信息包括：增强所述块的一个或多个像素内的所述低频信息的对比度，

其中使用局部色调映射来处理所述高频信息包括：保留或增强所述块的所述一个或多个像素内的所述高频信息的对比度。

20.根据权利要求18或19中任一项所述的方法，其中用于执行所述局部色调映射的边缘保留滤波器的尺寸比用于执行所述局部色调映射而不执行所述多色调控制的滤波器的尺寸小。