CN109690610A - 用于多相机系统的颜色归一化 - Google Patents

用于多相机系统的颜色归一化 Download PDF

Info

Publication number
CN109690610A
CN109690610A CN201780056524.4A CN201780056524A CN109690610A CN 109690610 A CN109690610 A CN 109690610A CN 201780056524 A CN201780056524 A CN 201780056524A CN 109690610 A CN109690610 A CN 109690610A
Authority
CN
China
Prior art keywords
image
histogram
overlapping region
pixel
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780056524.4A
Other languages
English (en)
Inventor
S·萨胡
C·乔杜里
P·K·拜哈提
A·D·格普特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN109690610A publication Critical patent/CN109690610A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/82—Camera processing pipelines; Components thereof for controlling camera response irrespective of the scene brightness, e.g. gamma correction
    • H04N23/83—Camera processing pipelines; Components thereof for controlling camera response irrespective of the scene brightness, e.g. gamma correction specially adapted for colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • H04N9/69—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits for modifying the colour signals by gamma correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本申请描述技术，其中装置经配置以确定第一图像及第二图像之间的重叠区域，基于包含在所述第一图像中的对应于所述重叠区域的颜色数据而确定第一直方图，及基于包含在所述第二图像中的对应于所述重叠区域的颜色数据而确定第二直方图。处理器进一步经配置以基于所述第一及第二直方图而确定将所述第二直方图基本上映射到所述第一直方图的映射函数，及将所述映射函数应用于所述第二图像以相对于所述第一图像生成归一化第二图像。

Description

用于多相机系统的颜色归一化
本申请要求2016年9月19日提交的第62/396,715号美国临时申请的权益，所述申请的全部内容以引用的方式并入本文中。
技术领域
本公开涉及图像生成，且更具体来说，涉及使用从多个相机捕获的多个图像的图像生成。
背景技术
来自多相机系统的每个相机的图像可拼接在一起以形成拼接图像，例如360度图像。举例来说，此类拼接图像可在头戴式装置上实时记录或流式传输。然而，多相机系统的相机光学器件之间的不匹配可导致拼接图像上，具体来说在用于形成拼接图像的图像之间的边界处的不一致。
发明内容
本公开描述实例技术，通过所述实例技术，在通过多相机系统的相机捕获内容之后，后处理技术补偿所述多相机系统的相机之间的不匹配。所述技术可用于归一化由不同相机捕获的图像的直方图，及/或识别重叠区域之间的分组亮度对应性，而不是仅匹配重叠区域的平均亮度。以此方式，所得拼接图像可具有较少的轮廓伪影并且改进不同拼接图像之间的归一化。
在一个实例中，装置包含包括集成电路的处理器，所述处理器经配置以确定第一图像及第二图像之间的重叠区域，基于包含在所述第一图像中的对应于所述重叠区域的颜色数据确定第一直方图，及基于包含在所述第二图像中的对应于所述重叠区域的颜色数据确定第二直方图。所述处理器进一步经配置以基于所述第一及第二直方图确定将所述第二直方图基本上映射到所述第一直方图的映射函数，及将所述映射函数应用于所述第二图像以相对于所述第一图像生成归一化第二图像。
在一个实例中，方法包含确定第一图像及第二图像之间的重叠区域，基于包含在所述第一图像中的对应于所述重叠区域的颜色数据确定第一直方图，及基于包含在所述第二图像中的对应于所述重叠区域的颜色数据确定第二直方图。所述方法进一步包含基于所述第一及第二直方图确定将所述第二直方图基本上映射到所述第一直方图的映射函数，及将所述映射函数应用于所述第二图像以相对于所述第一图像生成归一化第二图像。
在另一实例中，一种非暂时性计算机可读存储媒体，其存储在执行时使一或多个处理器执行以下操作的指令：确定第一图像及第二图像之间的重叠区域，及基于包含在所述第一图像中的对应于所述重叠区域的颜色数据确定第一直方图。进一步使所述一或多个处理器基于包含在所述第二图像中的对应于所述重叠区域的颜色数据确定第二直方图，基于所述第一及第二直方图确定将所述第二直方图基本上映射到所述第一直方图的映射函数，及将所述映射函数应用于所述第二图像以相对于所述第一图像生成归一化第二图像。
附图及以下描述中阐述了一或多个实例的细节。其它特征、目标及优点将从描述、图式及权利要求书中变得显而易见。
附图说明
图1是用于图像处理的计算装置的框图，所述计算装置经配置以执行本公开中所描述的一或多个实例技术。
图2A是用于执行本公开中所描述的一或多个实例技术的多相机系统的图示。
图2B是根据本公开中所描述的一或多个实例技术的使用来自多相机系统的图像的实例拼接图像。
图3是根据本公开中所描述的一或多个实例技术的使用来自多相机系统的图像的拼接图像的图式。
图4是说明在执行本公开中所描述的拼接技术的各种方面时图1的装置的示范性操作的流程图。
图5是使用图4的一或多个技术的拼接图像的图式。
图6是根据本公开中所描述的一或多个实例技术的说明重叠区域之间的直方图匹配的第一曲线图。
图7是根据本公开中所描述的一或多个实例技术的说明重叠区域之间的直方图匹配的第二曲线图。
图8是根据本公开中所描述的一或多个实例技术的说明重叠区域之间的直方图匹配的第三曲线图。
图9是根据本公开中所描述的一或多个实例技术的使用全局伽马校正的实例拼接图像。
图10是根据本公开中所描述的一或多个实例技术的使用直方图归一化的实例拼接图像。
图11是根据本公开中所描述的一或多个实例技术的使用全局伽马校正及直方图归一化的实例拼接图像。
图12是根据本公开中所描述的一或多个实例技术的使用联合伽马校正及滤波直方图归一化的实例拼接图像。
图13是说明在执行本公开中所描述的拼接技术的各种方面时图1的装置的示范性操作的流程图。
图14是根据本公开中所描述的一或多个实例技术的说明分组边界处的不连续性的曲线图。
图15是根据本公开中所描述的一或多个实例技术的说明每图像单个伽马的曲线图。
图16是根据本公开中所描述的一或多个实例技术的说明每图像多个伽马的曲线图。
图17是根据本公开中所描述的一或多个实例技术的不使用颜色校正的实例拼接图像。
图18是根据本公开中所描述的一或多个实例技术的使用单个伽马校正的实例拼接图像。
图19是根据本公开中所描述的一或多个实例技术的使用多个伽马校正的实例拼接图像。
图20是根据本公开中所描述的一或多个实例技术的说明用于直方图归一化的实例技术的流程图。
图21是根据本公开中所描述的一或多个实例技术的说明用于拼接图像的伽马校正图像的实例技术的流程图。
图22是根据本公开中所描述的一或多个实例技术的说明用于拼接图像的归一化及伽马校正图像的第一实例技术的流程图。
图23是根据本公开中所描述的一或多个实例技术的说明用于拼接图像的归一化及伽马校正图像的第二实例技术的流程图。
具体实施方式
多相机系统可以360度有效地捕获图像，并且制备可被实时记录及/或流式传输到用户(例如，在头戴式显示器(HMD)上)的拼接图像或视频内容。具有不同曝光及/或白平衡控制的不同相机可使用不同设置(例如，亮度灵敏度、颜色饱和度等)捕获图像，尤其当所有相机前端不在共同处理器上时。即使当全局地完成自动曝光及/或自动白平衡(AE/AWB)时，举例来说，在可能确定不同光照条件及光源的情况下，实现所有拼接图像上的亮度及/或颜色一致性仍可保持挑战性。本公开的技术可用于实现从由不同相机捕获的图像拼接的画布中的亮度及颜色一致性。在本文中的一些实例中，固定焦点(例如，无穷远)假设用于多相机系统的所有相机。
一些技术可使用具有多个(例如，多于6个)相机的产品(例如，在原型制作阶段)。然而，一些系统无法补偿多个相机中的差异，由此导致颜色质量不完美。在一些实例中，具有两个相机的商业产品可捕获两个单独图像并且跨越图像之间的缝隙混合图像，其中“缝隙”对应于在两个所捕获之间的重叠区域的边界处的线。因此，可看到重影效果。一些算法(例如，多相机颜色对准)可包含局部混合及平均伽马校正。
局部混合可包含从第一相机线性地混合到第二相机，以跨越缝隙从由第一相机捕获的图像平滑地过渡到由第二相机捕获的图像。尽管局部混合可为一种简单方法，但是当前景中的对象在运动时跨越缝隙并且相机之间的亮度/色差可保持时，局部混合可遭受重影伪影，使得仅过渡变得更平滑。
重叠区域的平均伽马校正可包含具有组合伽马及线性校正的图像序列的颜色匹配。尽管平均伽马校正可在一定程度上桥接帧之间的亮度差，但是平均伽马校正可不表示场景内的变化(例如，例如在图2D中)。因此，平均伽马校正可能无法以合适方式解决由不同相机捕获的图像之间的不匹配。
在一些技术中，并非仅平滑化由不同相机捕获的图像之间的混合或减少由不同相机捕获的图像之间的平均亮度差，多相机系统可执行用于相邻图像的直方图归一化技术。举例来说，多相机系统的处理器可使用直方图归一化技术创建将第一及第二图像之间的重叠区域中的像素值归一化的映射，并将映射应用于整个第二图像。此外，在一些实例中，多相机系统可在应用任何映射之前对目标及源累积直方图执行平滑函数(例如，低通滤波)。举例来说，多相机系统的处理器可在创建将第一及第二图像之间的像素值归一化的映射之前，对第一图像的目标累积直方图应用低通滤波器函数及/或对第二图像的源累积直方图应用低通滤波器函数。与省略平滑函数的多相机系统相比，多相机系统可应用平滑函数以减少突然的像素值映射及去除所得归一化图像中的附加轮廓伪影。以此方式，可减少用于以360度捕获图像的多个相机的差异，由此产生具有减少的重影伪影的拼接图像，同时也最小化拼接图像中的不同图像之间的亮度差及色差。
另外或替代地，在一些技术中，并非仅归一化由不同相机捕获的整个图像之间的单个平均亮度(例如，亮度分量)差，多相机系统可归一化用于由不同相机捕获的图像之间的像素值的每个分组的平均亮度差。与经配置以减少一对图像的所有颜色(例如，分组)中的单个平均亮度差的多相机系统相比，经配置以归一化用于所述对图像的类似颜色的每个组(例如，分组)的平均亮度差的多相机系统由此可进一步归一化所述对图像之间的颜色不匹配。
此外，在一些实例中，可动态地定义分组(例如，用于由不同相机捕获的每一对图像),使得在图像累积分布函数(CDF)中的平坦区域处定义分组边界。举例来说，多相机系统可根据所捕获图像的CDF动态地确定分组边界，使得类似颜色像素值将一起放置于单个分组中并且不同颜色像素值将单独放置于不同分组中。以此方式，与经配置以减少不同图像的所有颜色中的单个平均亮度差的多相机系统相比，可减少用于以360度捕获图像的相机的差异，由此产生具有减少的重影伪影的拼接图像，同时归一化拼接图像中的不同图像之间的亮度差及色差。
图1是用于图像处理的计算装置10的框图，所述计算装置经配置以执行本公开中所描述的一或多个实例技术。计算装置10的实例包含个人计算机、台式计算机、膝上型计算机、计算机工作站、视频游戏平台或控制台、无线通信装置(例如移动电话、蜂窝电话、卫星电话及/或移动电话手持机)、陆线电话、因特网电话、例如便携式视频游戏装置或个人数字助理(PDA)的手持式装置、个人音乐播放器、视频播放器、显示装置、独立相机、电视机、电视机顶盒、服务器、中间网络装置、主机计算机，或包含捕获照片或其它类型的图像数据的相机的任何其它类型的装置。
如在图1的实例中所说明，计算装置10包含多个相机12A-12N(例如，作为两个实例，四个相机或九个相机)、至少一个相机处理器14、中央处理单元(CPU)16、图形处理单元(GPU)18及GPU 18的本地存储器20、用户接口22、提供对系统存储器30的访问的存储器控制器24，及输出使图形数据显示在显示器28上的信号的显示接口26。
并且，虽然各种组件说明为单独的组件，但在一些实例中，所述组件可组合以形成片上系统(SoC)。举例来说，相机处理器14、CPU 16、GPU 18及显示接口26可形成于共同芯片上。在一些实例中，相机处理器14、CPU 16、GPU 18及显示接口26中的一或多者可在单独的芯片中。
图1中所说明的各种组件可形成于一或多个微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)或其它等效集成或离散逻辑电路中。本地存储器20的实例包含一或多个易失性或非易失性存储器或存储装置,例如，随机存取存储器(RAM)、静态RAM(SRAM)、动态RAM(DRAM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、闪存存储器、磁性数据媒体或光学存储媒体。
图1中所说明的各种单元使用总线32彼此通信。总线32可为多种总线结构中的任一者，例如第三代总线(例如，超传输总线或无限频带总线)、第二代总线(例如，高级图形端口总线、外围组件互连(PCI)高速总线，或高级可扩展接口(AXI)总线)或另一类型的总线或装置互连件。应注意，图1所示的不同组件之间的总线及通信接口的特定配置仅为示范性的，且可使用计算装置的其它配置及/或具有相同或不同组件的其它图像处理系统来实施本公开的技术。
如所说明，计算装置10包含相机12A-12N。相机12A-12N不一定需要是计算装置10的一部分并且可在计算装置10外部。在此类实例中，相机处理器14可类似地在计算装置10外部；然而，在此类实例中，相机处理器14可在计算装置10内部。为易于描述，关于作为计算装置10的一部分的相机12A-12N及相机处理器14描述实例(例如，例如在计算装置10是例如智能电话、平板计算机等的移动装置的实例中)。
如在本公开中使用的相机12A-12N可各自捕获单独的像素集合(例如，相机12A捕获像素的第一集合，相机12B捕获像素的第二集合等等)。在一些实例中，相机12A-12N中的每一者包含多个传感器，并且每个传感器经配置以捕获一或多个像素。举例来说，每个传感器捕获三个像素(例如，用于红色的像素、用于绿色的像素及用于蓝色的像素)。作为另一实例，每个传感器捕获四个像素(例如，用于红色的像素、用于确定绿色强度及总亮度的用于绿色的两个像素、如结合拜耳滤波器布置的用于蓝色的像素)。即使在相机12A-12N包含捕获多个像素的多个传感器的实例中，相机12A-12N可各自捕获多个像素。可使用其它命名规范。举例来说，计算装置10可被视为包含一个相机，并且相机12A-12N分别称为传感器，而不是相机或子相机。本公开中描述的技术适用于所有这些实例。
不管特定命名规则如何，相机12A-12N中的每一者可捕获图像内容以生成一个拼接图像。从两个或多于两个图像生成拼接图像可包含连接两个或多于两个图像，使得所得拼接图像呈现为单个连续的图像。在一些实例中，生成拼接图像可包含确定两个或多于两个图像的重叠区域，及将两个或多于两个图像对准以形成单个连续图像。这些图像中的每一者可组合以生成较高分辨率图像。然而，在一些实例中，可存在来自相机12A-12N所捕获以供显示的图像中的任一者的足够分辨率。
相机12A-12N中的每一者可包含其自身的光圈和镜头。然而，技术不限于此。在一些实例中，可存在用于相机12A-12N的共用光圈及/或镜头，及将所捕获的光发射到12A-12N中的对应者的分光器及波导。其它配置是可能的且由本公开中所描述的技术预期。
在一些实例中，相机12A-12N的像素可根据拜耳滤波器用红-绿-蓝(RGB)滤色器覆盖。使用拜耳滤波，像素中的每一者可接收用于特定颜色分量(例如红色、绿色或蓝色)的光能。因此，由每个像素产生的电流指示所捕获光中的红色、绿色或蓝色颜色分量的强度。
相机处理器14经配置以接收来自相机12A-12N的相应像素的电流且处理所述电流以生成图像。尽管说明一个相机处理器14，但是在一些实例中，可存在多个相机处理器(例如，每相机12A-12N一个相机处理器)。因此，在一些实例中，可存在类似于计算装置10中的相机处理器14的一或多个相机处理器。
在一些实例中，相机处理器14可配置为单输入多数据(SIMD)架构。相机处理器14可对从相机12A-12N中的每一者上的像素中的每一者接收到的电流执行相同操作。SIMD架构的每个通道包含图像管线。图像管线包含硬连线电路及/或可编程电路以处理像素的输出。
举例来说，每个相机处理器14可包含相应跨阻抗放大器(TIA)以将电流转换成电压；及相应模/数转换器(ADC)，其将模拟电压输出转换为数字值。在可见光谱的实例中，因为由每个像素输出的电流指示红色、绿色或蓝色分量的强度，所以来自相机12A-12N中的一者的三个像素的数字值(例如，来自包含三个或四个像素的一个传感器的数字值)可用于生成一个图像像素。
除了将模拟电流输出转换为数字值之外，相机处理器14还可执行某一附加后处理来增加最终图像的质量。举例来说，相机处理器14可评估相邻图像像素的颜色及亮度数据，及执行去马赛克来更新图像像素的颜色及亮度。作为额外实例，相机处理器14还可执行噪声减少及图像锐化。相机处理器14通过存储器控制器24将所得图像(例如，用于图像像素中的每一者的像素值)输出到系统存储器30。
CPU 16可包括控制装置10的操作的通用或专用处理器。用户可将输入提供到计算装置10以使CPU 16执行一或多个软件应用程序。在CPU 16上执行的软件应用程序可包含例如，操作系统、文字处理器应用程序、电子邮件应用程序、电子数据表应用程序、媒体播放器应用程序、视频游戏应用程序、图形用户接口应用程序或另一程序。用户可通过一或多个输入装置(未图示)，例如键盘、鼠标、麦克风、触控板或通过用户输入接口22耦合到计算装置10的另一输入装置将输入提供到计算装置10。
作为一个实例，用户可执行应用程序以捕获图像。应用程序可在显示器28上呈现实时图像内容，以供用户在获取图像之前观看。在一些实例中，在显示器28上显示的实时图像内容可为来自相机12A-12N中的一者的内容。用于捕获图像的应用程序的代码可存储在系统存储器30上，且CPU 16可检索及执行所述应用程序的目标代码，或检索及编译源代码来获得目标代码，CPU 16可执行所述目标代码来呈现所述应用程序。
当用户对实时图像内容满足时，用户可与用户接口22(其可为显示器28上显示的图形按钮)交互以捕获图像内容。作为响应，一或多个相机12A-12N可捕获图像内容，并且相机处理器14可处理所接收的图像内容以生成多个图像。在一些实例中，并非相机12A-12N在所有情况下均捕获图像，而是在CPU 16上执行的应用程序可经由显示器28输出选项来供用户选择高分辨率图像生成。作为响应，相机12A-12N中的每一者将捕获图像。如果未选择高分辨率图像生成，则相机12A-12N中的一者捕获图像内容。或者，所有相机12A-12N可在所有情形中捕获图像。然而，相机处理器14可不在所有情形中处理来自所有相机12A-12N的所得内容。
存储器控制器24有助于进入和离开系统存储器30的数据传送。举例来说，存储器控制器24可接收存储器读取及写入命令，并且关于存储器30来服务此类命令以便为计算装置10中的组件提供存储器服务。存储器控制器24通信耦合到系统存储器30。虽然在图1的实例计算装置10中将存储器控制器34说明为与CPU 16及系统存储器30两者分开的处理模块，但在其它实例中，存储器控制器24的功能性中的一些或全部可实施于CPU 46及系统存储器30中的一或两者上。
系统存储器30可存储可由相机处理器14、CPU 16及GPU 18存取的程序模块及/或指令及/或数据。举例来说，系统存储器30可存储用户应用程序、来自相机处理器14的所得图像、中间数据等。系统存储器30可另外存储由计算装置10的其它组件使用及/或产生的信息。举例来说，系统存储器30可充当相机处理器14的装置存储器。系统存储器30可包含一或多个易失性或非易失性存储器或存储装置，例如随机存取存储器(RAM)、静态RAM(SRAM)、动态RAM(DRAM)、只读存储器(ROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、闪存存储器、磁性数据媒体或光学存储媒体。
在一些方面，系统存储器30可包含使相机处理器14、CPU 16、GPU 18及显示接口26执行在本公开中归于这些组件的功能的指令。因此，系统存储器30可表示具有存储于其上的指令的计算机可读存储媒体，所述指令在执行时使一或多个处理器(例如，相机处理器14、CPU 16、GPU 18及显示接口26)执行本公开中所描述的技术的各个方面。
在一些实例中，系统存储器30可表示非暂时性计算机可读存储媒体。术语“非暂时性”指示存储媒体不以载波或传播信号体现。然而，术语“非暂时性”不应解释为意味着系统存储器30为不可移动的或其内容为静态的。作为一个实例，系统存储器30可从计算装置10移除并移动到另一装置。作为另一实例，大体类似于系统存储器30的存储器可插入到计算装置10中。在某些实例中，非暂时性存储媒体可存储可随时间改变的数据(例如，存储在RAM中)。
相机处理器14、CPU 16及GPU 18可将图像数据等存储在系统存储器30内分配的相应缓冲器中。显示接口26可从系统存储器30检索数据并配置显示器28以显示由渲染图像数据表示的图像。在一些实例中，显示接口26可包含数/模转换器(DAC)，其经配置以将从系统存储器30检索到的数字值转换成可由显示器28消耗的模拟信号。在其它实例中，显示接口26可将数字值直接传递到显示器28以供处理。
显示器28可包含监视器、电视机、投影装置、液晶显示器(LCD)、等离子体显示面板、发光二极管(LED)阵列、阴极射线管(CRT)显示器、电子纸、表面传导电子发射显示器(SED)、激光电视机显示器、纳米晶体显示器或另一类型的显示单元。显示器28可集成在计算装置10内。举例来说，显示器28可为移动电话手持机或平板计算机的屏幕。或者，显示器28可为经由有线或无线通信链路耦合到计算装置10的独立装置。举例来说，显示器28可为经由电缆或无线链路连接到个人计算机的计算机监视器或平板显示器。
根据本公开中所描述的技术，计算装置10可基于在捕获彩色照片的同时捕获的单色(其可缩短为“mono”)照片来增强彩色照片。在图1的实例中，假定相机12A表示彩色相机12A，而假定相机12N表示单色相机12N。由此，计算装置10可包含彩色相机12A及单色相机12N两者。彩色相机12A可从单色相机12N物理地在计算装置10的外壳内显示(例如，水平移位或竖直移位)。
在操作中，计算装置10的单色相机12N可捕获场景的单色照片(其中术语“照片”可指“图像数据”)。与通过单色相机12N捕获单色图像数据13N同时地，彩色相机12A可捕获同一场景的彩色图像数据13A。相机处理器14可通过同时启动彩色相机12A及单色相机12N中的每一者以在大致相同的时间(其由于信号时延、处理时延或其它类型的时延而可能不完全相同，但在时间上应足够接近以便捕获基本上相同的内容)捕获场景来协调彩色图像数据13A与单色图像数据13N的同时捕获。
在一些情况下，相机处理器14可在一段时间内启动多个不同彩色图像数据13A及/或多个不同单色图像数据13N的捕获，并且执行所谓的帧平均或其它求和技术以从在短时间段内捕获的多个图像产生图像。相机处理器14可处理多个不同彩色图像数据13A及/或多个不同单色图像数据13N，以生成单个组合的彩色图像数据15A(“CID 15A”)及/或单个组合的单色图像数据15N(“MID 15N”)。举例来说，相机处理器14可在逐像素基础上对多个不同彩色图像数据13A中指定的每个像素的对应像素值进行平均化，以生成单个组合的彩色图像数据15A。同样，相机处理器14可在逐像素基础上对多个不同单色图像数据13N中指定的每个像素的对应像素值进行平均化，以生成单个组合的单色图像数据15N。
代替上文在本公开中描述的技术的各个方面提到的单个彩色图像数据13A及/或单个单色图像数据13N，相机处理器14可利用单个组合的彩色图像数据15A及/或单个组合的彩色图像数据15N。尽管相机处理器14可相对于单个彩色图像数据13A、单个单色图像数据13N、单个组合的彩色图像数据15A及单个组合的单色图像数据15N的任何组合来操作，但为便于说明目的，下文将相机处理器14描述为相对于单个组合的彩色图像数据15A及单个组合的单色图像数据15N操作，除了在论述利用单个彩色图像数据13A及单个单色图像数据13N的摄影结果时。
在任何情况下，相机处理器14基于组合的单色图像数据15N来处理组合的彩色图像数据15A，以生成增强的彩色图像数据17(“ECID 17”)。相对于图2到23更详细地描述相机处理器14在基于组合的单色图像数据15N来处理组合的彩色图像数据15A时的总体操作。
图2A是用于执行本公开中所描述的一或多个实例技术的多相机系统200A的第一图示。仅出于示范性目的，图2A相对于图1的计算装置10论述。在图2A的实例中，多相机系统200A论述为包含八个相机C1-C8。然而，多相机系统200A可包含更少相机(例如，少于8)或更多相机(例如，多于9)。在一些实例中，相机C1-C8中的每个相机可为图1的装置10的实例。相机C1-C8之间的亮度及/或色调设置可不同，这可导致通过相机C1-C8的捕获之间的不匹配。换句话说，相机C1-C8可指向不同方向，并且可具有导致由相机C1-C8捕获的图像及/或视频之间的不匹配的独立设置。举例来说，相机C1-C8可具有可使相机C1-C8捕获看起来不同的视频及/或图像的不同设置，例如自动曝光及自动白平衡。举例来说，相机C1可使用不同于相机C2的亮度及/或色调设置来捕获第一图像，相机C3可使用不同于相机C2的亮度及/或色调设置来捕获第三图像等。为了创建沉浸式或全景视图，多相机系统200A(例如，处理器、CPU 16或其它处理器电路)可在由相机C1-C8捕获的图像合并在一起之前匹配所述图像，使得拼接边界不可见并且图像及/或视频的消费者可例如通过头戴式装置具有沉浸式体验。
图2B是使用来自多相机系统的图像的实例拼接图像202。如图所示，拼接图像202可包含图像202A-H。举例来说，图像202A可由图2A的C1捕获，图像202B可由图2A的C2捕获，图像202C可由图2A的C3捕获等等。然而，如图2B中所说明，与图像202A及202C相比，图像202B具有明显不同的亮度及色调。在实例中，相对于捕获图像202A及C的相机(例如，C1及C3)的亮度及/或色调设置，捕获图像202B的相机(例如，相机C2)的不同亮度及/或色调设置导致不同亮度。因此，需要考虑捕获用于拼接图像202的图像的相机中的不同设置，使得拼接图像202呈现为已由单个相机捕获。
图3是使用来自多相机系统的图像302A-D的拼接图像302的图式。仅出于示范性目的，图3相对于图1的计算装置10及图2A的多相机系统200A论述。在图3的实例中，图像302A及B形成重叠区域304，图像302B及C形成重叠区域306，及图像302C及D形成重叠区域306。如图所示，缝隙314划分重叠区域304，缝隙316在重叠区域306中划分，及缝隙318划分重叠区域308。在图3的实例中，图像302A可由图2A的C1捕获，图像302B可由图2A的C2捕获，图像302C可由图2A的C3捕获，及图像302D可由图2A的C4捕获。在图3的实例中，由于捕获图像302A-D的相机(例如，相机C1-4)的不同亮度及/或色调设置，缝隙314-318可见。
图4是说明在执行本公开中所描述的拼接技术的各种方面时图1的装置的示范性操作的流程图。仅出于示范性目的，图4相对于图1的计算装置10、图2A的多相机系统200A、图2B的拼接图像202及图3的拼接图像302论述。
在图4的实例中，相机C1-Cn使用独立配置的设置捕获图像(402)。举例来说，相机C1可具有不同于相机C2的亮度及/或色调设置。多相机系统200A可从相机C1-Cn选择目标设置(404)。举例来说，多相机系统200A可基于相机C1-Cn上的主导光源从相机Cn选择设置作为目标设置。如本文中所使用，主导光源可指最频繁出现的白点。举例来说，当用于相机Cn的AWB设置导致在由相机Cn捕获的图像中以比图像202A-202H中更高的出现率出现的主导光源时，多相机系统200A可从相机Cn选择目标自动白平衡(AWB)设置。
多相机系统200A可基于Cn及Cn-1的重叠区域计算Cn的目标直方图及/或混合映射。举例来说，多相机系统200A可基于重叠区域计算目标直方图及/或混合映射(406)。如图所示，多相机系统200A可根据重叠区域304计算第一目标直方图及/或混合映射(406B)，根据重叠区域306计算第二目标直方图及混合映射(406C)，根据重叠区域308计算第三目标直方图及/或混合映射(406D)。
多相机系统200A可基于计算出的目标直方图及混合映射来处理所捕获图像的分量(408)。举例来说，多相机系统200A可以处理图像202A中的分量(408A)、处理图像202B中的分量(408B)、处理图像202C中的分量(408C)，及处理图像202D中的分量(408D)。过程组件的实例可包含但不限于，不失真、球形投影、透视变换、颜色校正或其它过程组件。
一些处理技术可包含通过在相机捕获中连续地传播个别像素值映射来匹配各种全景分量图像之间的亮度差。举例来说，多相机系统200A可通过匹配图像302A及B之间的亮度差，随后匹配图像302B及C之间的亮度差，随后匹配图像302C及D之间的亮度差等形成拼接图像(例如，360画布)。
在一些实例中，可跨越相邻相机及/或图像信号处理器(ISP)共享特征(例如，直方图属性)。举例来说，多相机系统200A可使相机C1-Cn中的每一者的相机处理器14共享AWB设置。
多相机系统200A可形成拼接图像(例如，360画布)(410)。举例来说，多相机系统200A可在缝隙314-318处跨越帧混合。多相机系统200A可输出拼接图像(412)。举例来说，多相机系统200A可起始拼接图像的编码，使(编码的)拼接图像传输到另一装置及/或使(编码的)拼接图像进行存储。
图5是使用图4的一或多个技术的拼接图像502的图式。仅出于示范性目的，图5相对于图1的计算装置10、图2A的多相机系统200A，及图2B的拼接图像202论述。在图5的实例中，图像502A及B形成重叠区域504，图像502B及C形成重叠区域506，及图像502C及D形成重叠区域506。如图所示，缝隙514划分重叠区域504，缝隙516在重叠区域506中划分，及缝隙518划分重叠区域508。在图5的实例中，图像502A可由图2A的C1捕获，图像502B可由图2A的C2捕获，图像502C可由图2A的C3捕获，及图像502D可由图2A的C4捕获。
多相机系统200A可基于相机捕获之间的成对重叠来执行校正。举例来说，多相机系统200A可基于重叠区域504处理图像502B，基于重叠区域506处理502C，基于重叠区域506处理图像502C，及基于重叠区域506处理图像502D。
在一些实例中，为了拼接图像(例如，视频)，相邻相机之间可存在合理重叠(例如30％-50％)。此重叠区域可有助于找到及匹配连续对的颜色启发法。举例来说，多相机系统200A可匹配图像502B到图像502A的颜色启发法(524)。在匹配图像502B到图像502A的颜色启发法之后，多相机系统200A可匹配图像502C到图像502B的颜色启发法(526)。在匹配图像502C到图像502B的颜色启发法之后，多相机系统200A可匹配图像502D到图像502C的颜色启发法(528)。以此方式，在拼接或合并之前，在公共区域(例如，重叠区域504-508)上计算出的参数可应用于相机图像的其余部分。
多相机系统200A可在红-绿-蓝(RGB)域中、YUV域中、仅在具有颜色通道上的R/G、B/G校正的亮度Y(例如，亮度分量)通道上，或在另一域中执行直方图归一化技术。举例来说，多相机系统200A可使用在颜色数据中指示的亮度分量生成直方图。在多相机系统200使用YCbCr域(例如，Y是亮度分量、Cb是蓝色差及Cr是红色差)的情况下，多相机系统200可对YCbCr域的Y通道执行直方图归一化技术。在多相机系统200使用色调、饱和度和值(HSV)域的情况下，多相机系统200可对HSV域的V(例如，值)通道执行直方图归一化技术。举例来说，多相机系统200A可归一化图像502B到图像502A的直方图。
多相机系统200A可基于不对应于重叠区域的颜色数据生成直方图。举例来说，并非省略布置在重叠区域504之外的每一像素的颜色数据以生成用于归一化图像502B到图像502A的直方图，多相机系统200A可将第一加权因子应用于包含在图像502A中的对应于重叠区域504的颜色数据，及将第二加权因子应用于包含在图像502A中的不对应于重叠区域504的颜色数据。更具体来说，举例来说，多相机系统200A可将第二加权因子应用于包含在位于重叠区域504外部的图像502A中的颜色数据。在一些实例中，第一加权因子大于第二加权因子。另外或替代地，多相机系统200A可将第一加权因子应用于包含在图像502B中的对应于重叠区域504的颜色数据，及将第二加权因子应用于包含在图像502B中的不对应于重叠区域504的颜色数据。以此方式，与仅使用对应于重叠区域的颜色数据的系统相比，多相机系统200A可生成提供总体图片的改进表示的直方图，由此导致归一化图像中的更少伪影。尽管以上实例使用包含在图像中的对应于重叠区域的颜色数据的单个加权因子，及包含在图像中的不对应于重叠区域的颜色数据的单个加权银子，但是应理解，可使用多个加权因子。举例来说，多相机系统200A可将加权因子的第一集合应用于包含在图像502A中的对应于重叠区域504的颜色数据。另外或替代地，多相机系统200A可将加权因子的第二集合应用于包含在图像502A中的不对应于重叠区域504的颜色数据。
多相机系统200A可使用重叠区域中的像素的子集生成直方图。举例来说，并非使用重叠区域504中的每个像素来生成用于归一化图像502B到图像502A的直方图，多相机系统200A可通过缩小图像及使用缩小图像生成直方图来确定重叠区域中的像素的子集。举例来说，多相机系统200A可缩小图像502B，及使用位于重叠区域504中的图像502B的缩小图像的像素生成直方图。另外或替代地，多相机系统200A可通过选择图像中的像素及使用所取样图像生成直方图来确定重叠区域中的像素的子集。举例来说，多相机系统200A可选择图像502B的交替像素，及使用位于重叠区域504中的图像502B的选定像素中的像素生成直方图。
在归一化图像502B到图像502A的直方图之后，多相机系统200A可归一化图像502C到图像502B的直方图。在归一化图像502C到图像502B的直方图之后，多相机系统200A可归一化图像502D到图像502C的直方图。在图5的实例中，由于捕获图像302A-D的相机(例如，相机C1-4)的不同亮度及/或色调设置而先前可见的缝隙514-518可能不太可见或不可见。
多相机系统200A可执行R/G及/或B/G校正。举例来说，多相机系统200A可计算原始RGB图像中的像素的R/G及B/G比率。举例来说，多相机系统200A可计算图像502B中的像素的R/G及B/G比率。在实例中，多相机系统200A可将图像从RGB域转换到YUV域。在实例中，多相机系统200A可对YUV域的Y通道(例如，亮度分量)执行直方图校正。举例来说，在重叠区域504中扩展的图像502A的部分中包含的颜色数据可指示第一亮度分量(例如，Y通道)，在重叠区域504中扩展的图像502B的部分中包含的颜色数据可指示不同于第一亮度分量的第二亮度分量(例如，Y通道)，并且映射函数将第二亮度分量归一化到第一亮度分量。在实例中，多相机系统200A可将归一化图像从YUV域转换到RGB域。在实例中，多相机系统200A可通过R/G及B/G比率来缩放R及B通道，以获得新的R及B。换句话说，多相机系统200A可通过执行R/G及B/G校正来保持原始图像与归一化图像之间的红-绿比率及蓝-绿比率。举例来说，图像502B的归一化图像可指示与由图像502B指示的红-绿比率对应(例如，匹配)的红-绿比率，并且图像502B的归一化图像可指示与由图像502B指示的蓝-绿比率对应(例如，匹配)的蓝-绿比率。
多相机系统200A可确定校正因子。举例来说，对于图像502B的每个像素，多相机系统200A可确定基于相应像素距重叠区域504的距离的校正因子。举例来说，多相机系统202A可收集图像502A及502B之间的重叠区域504的统计，及基于图像502A及502B之间的重叠区域504的所收集统计来计算校正因子。在一些实例中，多相机系统200A可确定将线性地渐变的校正因子，使得所应用的校正量与距重叠边界的距离成反比。举例来说，多相机系统200A可确定将线性地渐变的校正因子，使得应用于图像502B的校正量与距缝隙514的距离成反比。
多相机系统200A可基于校正因子确定映射函数。举例来说，多相机系统200A可基于第一及第二直方图及校正因子确定映射函数，使得应用于第二图像的校正量相对于距重叠区域的校正距离减小。举例来说，多相机系统200A可基于图像502A的直方图、图像502B的直方图及校正因子确定映射函数，使得应用于图像502B的像素的校正量相对于像素距缝隙514的距离减小。以此方式，多相机系统200A可将较少校正应用于更远离重叠区域定位的图像502B的像素，使得应用于位于图像502中心的像素的校正量可为零。
在图5的实例中，由于捕获图像302A-D的相机(例如，相机C1-4)的不同亮度及/或色调设置而先前可见的缝隙514-518可能不太可见或不可见。
多相机系统200A可执行直方图归一化。举例来说，多相机系统200A可计算重叠区域(例如，504-508)直方图。举例来说，多相机系统200A可使用图像502A及B成对地计算重叠区域504。在实例中，多相机系统200A可选择累积重叠直方图中的一者作为目标直方图(O12)(例如，用于图像502A)。在实例中，多相机系统200A可控制对应重叠区域(O21)中的像素值以匹配目标累积直方图。举例来说，多相机系统200A可控制重叠区域504中的图像502B的像素值以匹配图像502A的目标累积直方图。
在实例中，多相机系统200A可将如此达到的映射应用于整个图像。举例来说，多相机系统200A可根据控制重叠区域504中的图像502B的像素值的映射来控制在重叠区域504之外延伸的图像502B的部分的像素值，以匹配图像502A的目标累积直方图。在实例中，多相机系统200A可使用校正重叠对相邻重叠区域(例如，重叠区域506、508)重复，直到覆盖所有对。举例来说，多相机系统200A可根据控制重叠区域504中的图像502C的像素值的映射来控制在重叠区域506之外延伸的图像502C的部分的像素值，以匹配图像502B的目标累积直方图，及可根据控制重叠区域508中的图像502D的像素值的映射来控制在重叠区域508之外延伸的图像502D的部分的像素值，以匹配图像502C的目标累积直方图。在图5的实例中，由于捕获图像302A-D的相机(例如，相机C1-4)的不同亮度及/或色调设置而先前可见的拼接图像502的缝隙514-518可能不太可见或不可见。
图6是说明重叠区域之间的直方图匹配的第一曲线图。如图所示，直方图603具有与直方图601不同的颜色值分布。举例来说，直方图603可表示重叠区域504内的图像502A的像素值的累积分布，及直方图601可表示重叠区域504内的图像502B的像素值的累积分布。在图6的实例中，多相机系统200A可执行将直方图601基本上映射到直方图603的映射函数。举例来说，多相机系统200A可确定增加小于175的图像502B的像素值及减小大于175的图像502B的颜色值的映射函数，使得图像502B的像素值的所得累积分布基本上等于图像502A的像素值的累积分布。如本文所使用，当第一直方图的每个亮度或颜色值具有在第二直方图的频率的10％内的频率时，第一直方图可基本上等于第二直方图。
图7是说明重叠区域之间的直方图匹配的第二曲线图。仅出于示范性目的，图7相对于图1的计算装置10、图2A的多相机系统200A、图2B的拼接图像202、图3的拼接图像302、图5的拼接图像502，及图6的直方图601及603论述。
在图7的实例中，多相机系统200A可基于重叠区域应用将初始直方图700映射到目标直方图701的映射函数。如图所示，像素值702及704是初始直方图700中的两个临近像素值。在图7的实例中，多相机系统200A可应用映射函数，所述映射函数修改图像502B的重叠区域504中的像素的像素值，以基本上匹配图像502A的重叠区域504中的像素的像素值。更具体来说，多相机系统200A可使用归一化相邻图像之间的重叠区域中的像素值的映射函数将像素值702映射到像素值703，所述像素值被说明为基本上类似于像素值703。举例来说，多相机系统200A可将具有像素值702的图像502B的像素设置成替代地具有像素值703。类似地，多相机系统200A可使用归一化相邻图像之间的重叠区域中的像素值的映射函数将像素值704映射到像素值705，所述像素值被说明为非常不同于像素值705。举例来说，多相机系统200A可将具有像素值705的图像502B的像素设置成替代地具有像素值704。如果这些像素在空间上处于相同位置，则映射像素值时的此种差异可导致轮廓伪影。
下文论述直方图归一化的副作用。重叠区域的直方图可能不总是表示整个相机图像。举例来说，重叠区域可能缺少图像中其它地方存在的像素值。举例来说，重叠区域可能缺少图像中其它地方存在的像素值704。因此，直方图中的一些分组可具有等于零的值。在目标(例如，701)或源(例如，700)直方图中的零分组值可导致偏心累积直方图(例如，零斜率)，这可能导致位于映射的拐点周围区域中的像素的像素映射的突然变化。
在像素值不存在于重叠区域中的情况下，多相机系统200A可基于另一像素值修改不存在于重叠区域中的像素值。举例来说，多相机系统200A可基于存在于重叠区域中的像素值702而使用将初始直方图700映射到目标直方图701的映射函数映射不存在于重叠区域中的像素值704。如图所示，多相机系统200A可使用将初始直方图700映射到目标直方图701的映射函数将像素值704映射到被说明为基本上不同于像素值704的像素值705。举例来说，多相机系统200A可将具有像素值704的图像502B的像素设置成替代地具有像素值705。因此，多相机系统200A可以非常不同的方式映射类似像素值702及704，使得像素值702与像素值704相比基本上较少地进行修改。由于以非常不同的方式映射类似像素值702及704，因此多相机系统200A可在校正图像中引入轮廓伪影。
图8是说明重叠区域之间的直方图匹配的第三曲线图。仅出于示范性目的，图8相对于图1的计算装置10、图2A的多相机系统200A、图2B的拼接图像202、图5的拼接图像502，及图6的直方图601及603论述。
图8中论述用于改进像素映射的技术。当控制图像502B的对应重叠区域(O21)中的像素值以匹配目标累积直方图801时，改进的归一化可包含平滑函数。在一些实例中，平滑函数可包含在应用任何控制之前平滑化目标累积直方图801及/或源累积直方图800两者。举例来说，多相机系统200A可经配置以平滑化源累积直方图800及/或目标累积直方图801。如图所示，多相机系统200A可平滑化源累积直方图800来生成平滑源累积直方图810。在一些实例中，平滑函数可包含从平滑累积直方图推导出映射。举例来说，多相机系统200A可根据用于归一化拼接图像502的图像502A-D的平滑累积直方图确定映射函数。
多相机系统200A可使用低通滤波器函数(例如，模糊)平滑化直方图。举例来说，多相机系统200A可使用低通滤波器函数平滑化源累积直方图800。低通滤波器函数的实例可包含但不限于，低通空间滤波、重构滤波、增强滤波或其它低通滤波器函数。
下文论述对直方图进行滤波的优点。即使一些像素值在重叠区域中缺失，映射函数也可保持连续并且在映射中没有剧烈变化。在一些实例中，避免像素值映射可去除归一化图像中的轮廓伪影。如图8中所示，多相机系统200A可基于存在于重叠区域中的像素值702而使用将平滑源累积直方图810映射到目标累积直方图801的映射函数来映射不存在于重叠区域中的像素值704。如图所示，多相机系统200A可使用将平滑源累积直方图810映射到目标累积直方图801的映射函数来将像素值702映射到像素值803，并且可使用将平滑源累积直方图810映射到目标累积直方图801的映射函数来将像素值704映射到像素值705。举例来说，多相机系统200A可将具有像素值704的图像502B的像素设置成替代地具有像素值705，并且可将具有像素值702的图像502B的像素设置成替代地具有像素值803。如图所示，像素值705及803可比像素值705及703更靠近地映射，由此减少归一化图像中的轮廓伪影。
图9是使用全局伽马校正的实例拼接图像。仅出于示范性目的，图9相对于图2A的多相机系统200A论述。如图所示，拼接图像902可包含图像902A-H。举例来说，图像902A可由图2A的C1捕获，图像902B可由图2A的C2捕获，图像902C可由图2A的C3捕获等等。在图9的实例中，多相机系统200A可将全局伽马校正应用于图像902A-H。然而，如图9中所说明，图像902A-H的边界920可见。
图10是使用直方图归一化的实例拼接图像。仅出于示范性目的，图10相对于图2A的多相机系统200A论述。如图所示，拼接图像1002可包含图像1002A-H。举例来说，图像1002A可由图2A的C1捕获，图像1002B可由图2A的C2捕获，图像1002C可由图2A的C3捕获等等。在图10的实例中，多相机系统200A可将直方图归一化应用于图像1002A-H。然而，如图10中所说明，图像1002A-H包含饱和度1022及轮廓伪影1024。
图11是使用全局伽马校正及直方图归一化的实例拼接图像。仅出于示范性目的，图11相对于图2A的多相机系统200A论述。如图所示，拼接图像1102可包含图像1102A-H。举例来说，图像1102A可由图2A的C1捕获，图像1102B可由图2A的C2捕获，图像1102C可由图2A的C3捕获等等。在图11的实例中，多相机系统200A可将直方图归一化及全局伽马校正应用于图像1102A-H。然而，如图11中所说明，图像1102A-H包含饱和度1122及轮廓伪影1124。
图12是使用全局伽马校正及滤波后的直方图归一化的实例拼接图像。仅出于示范性目的，图12相对于图2A的多相机系统200A论述。如图所示，拼接图像1202可包含图像1202A-H。举例来说，图像1202A可由图2A的C1捕获，图像1202B可由图2A的C2捕获，图像1202C可由图2A的C3捕获等等。在图12的实例中，多相机系统200A可将滤波后的(例如，平滑的)直方图归一化及全局伽马校正应用于图像1202A-H。如图12中所说明，多相机系统200A具有从图像1202A-H去除的饱和度及轮廓伪影。
在一些实例中，具有直方图归一化的全景图可具有以下特征。当本文所描述的一或多个技术应用于所有颜色通道时，不同相机(例如，C1-Cn)之间的缝隙可能不可见。如果使用闪光灯捕获锚相机帧，则所有其它帧可显示类似干扰，这可指示颜色映射的传播。
总而言之，所提出的系统流程及技术(例如，基于直方图归一化)可具有匹配多个相机捕获中的照明差异的潜力。当在捕获期间不具有对相机参数的控制时，此类技术可适用于执行校正后处理。因此，多相机系统200A可通过全局颜色校正下游的重叠区域之间的局部颜色混合来实现增强的局部匹配。
除了本文所描述的用于直方图归一化的技术之外，或代替本文所描述的用于直方图归一化的技术，多相机系统可优化拼接图像的图像的亮度。举例来说，多相机系统200A可匹配拼接图像502的图像502A及502B的分组集合中的每个分组的平均亮度值，以归一化拼接图像502的亮度差及色差。以此方式，可减少用于以360度捕获图像的多个相机的差异，由此产生具有减少的重影伪影的拼接图像，同时也归一化拼接图像中的不同图像之间的亮度差及色差。
下文论述关于本文所描述的一或多个技术的动机。在多个相机系统(例如，多相机系统200A)中，图像可使用多个相机捕获及拼接在一起，例如，360度虚拟相机系统。此类系统可包含多个相机，例如但不限于，从2个到8个，或甚至更多个相机。不同相机可暴露于不同光照条件。不同相机可运行3A算法(例如，自动曝光、自动聚焦、自动白平衡)。同一对象可在由不同相机捕获的图像中获取不同颜色，并且导致两个相机图像会合的可见人工边界。图2B中说明此类可见人工边界的实例。
图13是说明在执行本公开中所描述的拼接技术的各种方面时图1的装置的示范性操作的流程图。仅出于示范性目的，图13相对于图1的计算装置10、图2A的多相机系统200A、图2B的拼接图像202、图3的拼接图像302，及图5的拼接图像502论述。
在图13的实例中，相机C1-Cn使用独立配置的设置捕获图像(1302)。举例来说，相机C1可具有不同于相机C2的亮度及/或色调设置。多相机系统200A可从相机C1-Cn选择目标设置(1304)。举例来说，多相机系统200A可基于相机C1-Cn上的主导光源从相机Cn选择设置作为目标设置。
多相机系统200A可基于Cn及Cn-1的重叠区域基于Cn的亮度执行伽马优化。举例来说，多相机系统200A可基于重叠区域最小化表示伽马值的误差函数(1306)。在图13的实例中，多相机系统200A可根据重叠区域304最小化表示伽马值的第一误差函数(1306B)，根据重叠区域306最小化表示伽马值的第二误差函数(1306C)，及根据重叠区域308最小化表示伽马值的第三误差函数(1306D)。
在一些实例中，伽马优化可均衡相邻图像之间的重叠区域中的像素值的平均亮度。均衡像素，而不是个别像素的平均亮度值可简化问题以及产生闭合形式的解决方案。优化可通过求解一系列线性方程的多相机系统200A执行。
Lgi,j->Li,jγi----(方程1)
其中Li,j是指重叠区域Oi,j的亮度分量
在一些实例中，可通过方程2表示将在帧对之间最小化的误差函数。
其中第一项是成对重叠区域中的平均伽马校正像素值的差。第二项将γ限定为保持接近1。选择σg及σn以在两项之间加权。
多相机系统200A可通过求解线性方程集合来最小化以上误差函数。在具有N个相机的系统中，可存在多相机系统200A可共同优化的N个此类方程。
在一些实例中，伽马优化可包含多相机系统200A可确定映射函数的集合的情况。举例来说，并非最小化由单相机(例如，单个伽马校正)捕获的整个图像的误差函数，多相机系统200A可最小化用于映射函数的集合的误差函数，其中对于亮度分组的集合中的相应亮度分组，映射函数的集合中的每个映射函数将包含在第二图像中的对应于重叠区域的颜色数据的平均亮度值映射到包含在第一图像中的对应于重叠区域的颜色数据的平均亮度值。举例来说，多相机系统200A可最小化用于映射函数的集合的误差函数，其中对于亮度组的集合中的相应亮度分组，映射函数的集合中的每个映射函数将包含在图像502B中的对应于重叠区域504的颜色数据的平均亮度值映射到包含在图像502A中的对应于重叠区域504的颜色数据的平均亮度值。
下文论述图像的分组集合中的每个分组的伽马优化，而不是整个图像的单个伽马优化的益处。举例来说，与多相机系统应用多伽马优化的情况相比，举例来说基于平均值应用每图像边界单个伽马校正的多相机系统可不显著归一化图像之间的颜色不匹配。另外或替代地，试图基于个别像素值的失配而获得最佳伽马值的多相机系统可能太复杂并且可能不会产生闭合形式的解决方案。发现像素对应性的多相机系统还可能实施起来具有挑战性并且可能引起不正确匹配，由此引起优化误差。
下文论述从多相机设置(例如，多相机系统200A)上的两个相机捕获图像对的情况。在此实例中，由多相机设置捕获的所有对象可能不具有类似颜色不匹配。举例来说，由多相机设置捕获的两个图像中的黑色可能看起来相似，但是褐色可能看起来不相似。使用用于整个图像的单个伽马优化归一化像素的平均值可能不会导致匹配所有像素。因此，与单个伽马优化技术相比，多伽马优化技术可改进拼接图像的图像处理。
多相机系统200A可处理基于表示伽马值的最小化误差函数捕获的图像的分量(1308)。举例来说，多相机系统200A可处理图像202A中的分量(1308A)、处理图像202B中的分量(1308B)、处理图像202C中的分量(1308C)，及处理图像202D中的分量(1308D)。过程组件的实例可包含但不限于，不失真、球形投影、透视变换、颜色校正或其它过程组件。
多相机系统200A可形成拼接图像(例如，360画布)(1310)。举例来说，多相机系统200A可在缝隙314-318处跨越帧混合。多相机系统200A可输出拼接图像(1312)。举例来说，多相机系统200A可起始拼接图像的编码，使(编码的)拼接图像传输到另一装置及/或使(编码的)拼接图像进行存储。
在一些实例中，与仅匹配重叠区域的装置相比，多相机系统200A可以更精细的水平匹配颜色。举例来说，多相机系统200A可将重叠区域分成多个子区域，例如，矩形网格。可单独地匹配每个子区域的平均值。举例来说，多相机系统200A可单独地匹配每个子区域的平均值。然而，子区域可含有属于不同对象的像素，因此可具有非常不同的颜色及亮度。匹配这些子区域的平均值可能无法解决问题。此外，原始图像中的单个对象/平滑区域可被分成不同子区域，每个子区域将经历不同校正(例如，不同伽马值)，这可引起轮廓化并且边界可在网格边界处可见。
替代地，执行本文所描述的一或多个技术的装置可识别两个相邻图像的重叠区域之间的“亮度对应性”。举例来说，多相机系统200A可识别两个相邻图像的重叠区域之间的“亮度对应性”。举例来说，多相机系统200A可识别图像302A及B的重叠区域304之间的“亮度对应性”、图像302B及C的重叠区域306之间的“亮度对应性”，及图像302C及D的重叠区域308之间的“亮度对应性”。亮度值可分组并且两个图像之间的对应性可建立用于每个亮度分组。举例来说，多相机系统200A可通过使用伽马校正公式来匹配每个亮度分组的平均值。
在一些实例中，多相机系统200A可优化多个伽马分组以跨越拼接缝隙获得亮度及/或颜色一致性。在一些实例中，多相机系统200A可根据钻机中的所有相机上计算的场景统计(例如，不同光源的数目)识别多个伽马分组。应理解，多相机系统200A可基于一或多AWB技术识别光源。
下文论述识别亮度对应性。关于图像配准，应注意，在例如360视频/图像拼接的多相机应用中，相邻图像可使用图像配准技术配准，随后拼接在一起。图像配准可通过变换图像中的一个图像，使得所述图像与另一图像对准来实现。举例来说，线性变换或可涉及多个线性或非线性变换的一系列变换可包含I2＝T(I1)，其中T描述对准两个图像所需的所得变换。
在一些实例中，变换T可将图像I1中的像素映射到图像I2中的像素。此映射可用于建立像素对应性。假设配准具有相当好的质量，则可存在建立的像素对应性准确的高可能性。因为对于所有像素(例如，边缘像素)，配准可能不准确，所以多相机系统200A可使用阈值来将两个图像之间的对应性分类为有效或无效。举例来说，响应于多相机系统200A确定像素的位置满足阈值，多相机系统200A可确定像素是有效的。举例来说，响应于多相机系统200A确定log(p2(I,j))-log(p1(I,j))大于阈值，则多相机系统200A可确定图像之间的对应性无效。另外或替代地，响应于多相机系统200A确定log(p2(I,j))-log(p1(I,j)不大于阈值，则多相机系统200A可确定之间的对应性有效。响应于确定第一图像的像素满足阈值，多相机系统200A可使像素与亮度分组的集合中的亮度分组相关联，其中用于亮度分组的映射函数基于使像素与亮度分组的集合中的亮度分组相关联。举例来说，多相机系统200A可使满足阈值的像素与亮度分组的集合中的亮度分组相关联，及避免使像素与不满足阈值的亮度分组的集合中的亮度分组相关联。
另外或替代地，可从来自两个图像的像素对应性计算中识别及去除边缘像素。举例来说，多相机系统200A可确定第一图像的像素是否是第一图像的边缘像素。举例来说，多相机系统200A可确定图像502A的像素是否是图像502A的边缘像素。响应于确定第一图像的像素不是第一图像的边缘像素，多相机系统200A可使像素与亮度分组的集合中的亮度分组相关联，其中用于亮度分组的映射函数基于使像素与亮度分组的集合中的亮度分组相关联。举例来说，多相机系统200A可使满足阈值的像素与亮度分组的集合中的亮度分组相关联，及避免使像素与不满足阈值的亮度分组的集合中的亮度分组相关联。
在一些实例中，图像中的一个图像中的亮度值可分成N个分组(B1、B2、…Bn)。对于分组Bi中的所有像素，可识别另一图像中的对应像素并将其分组在一起。可针对第一图像中的分组1到n中的像素计算平均值m11、m12、…m1n。可针对与分组1、2、…n中的第一图像中的像素对应的第二图像中的像素计算平均值m21、m22、…m2n。可静态地(预定义)或动态地识别分组边界。
下文论述动态分组边界确定技术。多相机系统200A可将分组边界放置于图像CDF中的平坦区域处(例如，CDF斜率～＝0)。以此方式，多相机系统200A可减小相似颜色像素落入不同分组中的概率，由此减少轮廓伪影。
图14是说明分组边界处的不连续性的曲线图。仅出于示范性目的，图14相对于图1的计算装置10、图2A的多相机系统200A、图2B的拼接图像202，及图3的拼接图像302论述。下文描述实例多伽马优化技术。对于每个图像对，可存在一组平均值对应性m11→m21；m12→m22；…；m1n→m2n。用于所有相机对的这n个对应性可被馈送到先前描述的伽马优化公式中。举例来说，多相机系统200A可将所有相机对的n个对应性馈送到先前在图13中描述的伽马优化公式(1306)。以此方式，因此可共同地优化每图像多个平均值。优化架构可产生应用于平均值中的每一者的唯一伽马值。
如图所示，由于针对不同分组计算不同伽马值，因此优化帧工作可引起分组边界处的不连续性1402-1408(参看图14)。通过使用合适的曲线平滑技术，例如，在关于不连续性对称的较小输入值范围内线性地分布不连续性处的输出值差，可平滑化这些不连续性(参看图15)。举例来说，在将映射函数的集合应用于第二图像的亮度分量之前，多相机系统200A可将曲线平滑技术应用于映射函数的集合。因此，可获得用于每个图像的输入及输出像素值之间的平滑映射，如可在图15中可见(图15展示多个此类不同平滑映射-一个平滑映射用于每个图像)。图14展示当每个图像对仅匹配1个均值对时的实例的映射。图15是说明每图像单个伽马校正的曲线图。图16是说明每图像多个伽马校正的曲线图。
图17是不使用颜色校正的实例拼接图像。仅出于示范性目的，图17相对于图2A的多相机系统200A论述。如图所示，拼接图像1702可包含图像1702A-H。举例来说，图像1702A可由图2A的C1捕获，图像1702B可由图2A的C2捕获，图像1702C可由图2A的C3捕获等等。在图17的实例中，多相机系统200A可不将校正应用于图像1702A-H。如图所示，在图像边界1720处可能存在严重的颜色不匹配。
图18是使用单个伽马校正的实例拼接图像。仅出于示范性目的，图18相对于图2A的多相机系统200A论述。图18展示使用用于每个图像的单个优化伽马值的拼接视频帧。如图所示，拼接图像1802可包含图像1802A-H。举例来说，图像1802A可由图2A的C1捕获，图像1802B可由图2A的C2捕获，图像1802C可由图2A的C3捕获等等。在图18的实例中，多相机系统200A可将单个伽马校正应用于图像1802A-H。如图所示，在图像边界1820处可能存在中度颜色不匹配。
图19是使用多个伽马校正的实例拼接图像。仅出于示范性目的，图19相对于图2A的多相机系统200A论述。图19展示使用所提出的多伽马优化技术的拼接视频帧。如图所示，可显著减少颜色不匹配。如图所示，拼接图像1902可包含图像1902A-H。举例来说，图像1902A可由图2A的C1捕获，图像1902B可由图2A的C2捕获，图像1902C可由图2A的C3捕获等等。在图19的实例中，多相机系统200A可将多伽马校正应用于图像1902A-H。如图所示，在图像边界1920处可能存在极少颜色不匹配或不存在颜色不匹配。
这些技术可实现以下益处中的任一者或全部。在一些实例中，技术可包含可延伸到用于所有所捕获视图的360度视频的闭合形式解决方案。在一些实例中，可在相机之间实现商品颜色匹配。在一些实例中，与单个伽马相比，可减少轮廓/饱和度伪影。在一些实例中，分组边界可具有重要作用。可在不同相机产品中发现不同颜色色彩。一些R/G、B/G方法可保持此色彩。对G通道，而不是Y的伽马均衡可在视觉上产生类似结果。然而，从G到Y及反向的转换可导致某一动态范围的损失，因为Y在16到240的范围内，其小于G的动态范围(例如，0到255)。
一些技术可用于对更大/不同捕获设置执行评估，识别多伽马应用到对颜色块的相机前端硬件和/或软件控制的映射。一些技术可使锚帧的选择、分组边界确定(例如，使用启发法)、多个伽马变换到单调映射的转换(例如，使用启发法)中的一或多个自动化。可在时间上并入滞后，以避免伽马的突然变化。
图20是根据本公开中所描述技术的说明用于直方图归一化的实例技术的流程图。仅出于示范性目的，图20相对于图1的计算装置10、图2A的多相机系统200A、图2B的拼接图像202、图3的拼接图像302、图5的图像502A-D、图6的直方图601及603，及图7的像素值702-705论述。
在操作中，多相机系统200A可确定第一及第二图像之间的重叠区域(2002)。举例来说，多相机系统200A可确定重叠区域504与图像502A及B重叠。多相机系统200A可基于包含在第一图像中的对应于重叠区域的颜色数据确定第一直方图(2004)。举例来说，多相机系统200A可确定图6的直方图603。在一些实例中，多相机系统200A可任选地平滑化第一直方图(2006)。举例来说，多相机系统200A可将低通滤波器函数应用于第一直方图。多相机系统200A可基于包含在第二图像中的对应于重叠区域的颜色数据确定第二直方图(2008)。举例来说，多相机系统200A可确定图6的直方图601。在一些实例中，多相机系统200A可任选地平滑化第二直方图(2010)。举例来说，多相机系统200A可将低通滤波器函数应用于第二直方图。
多相机系统200A可确定将第二直方图基本上映射到第一直方图的映射函数(2012)。举例来说，多相机系统200A可确定经配置以将第二直方图的每个亮度或颜色值修改成具有第一直方图的频率的映射函数。多相机系统200A可将映射函数应用于第二图像，以相对于第一图像生成归一化第二图像(2014)。举例来说，多相机系统200A可将具有图7的像素值702的第二图像的像素设置成替代地具有图7的像素值703，及类似地，将具有图7的像素值704的第二图像的像素设置成替代地具有图7的像素值705。
多相机系统200A可针对N数目个图像重复2002-2014中所说明的技术以生成拼接图像(2016)。举例来说，多相机系统200A可将映射函数应用于图像502B，以相对于图像502A生成归一化图像502B。在实例中，多相机系统200A可将第二映射函数应用于图像502C，以相对于图像502B生成归一化图像502C，相对于图像502C生成归一化图像502D等等。
更具体来说，在将映射函数应用于第二图像以相对于第一图像生成归一化第二图像之后，多相机系统200A可确定归一化第二图像及第三图像之间的重叠区域。举例来说，在将映射函数应用于图像502B以相对于图像502A生成图像502B的归一化图像之后，多相机系统200A可确定图像502B的归一化图像及图像502C之间的重叠区域506。在实例中，多相机系统200A可基于包含在归一化第二图像中的对应于归一化第二图像及第三图像之间的重叠区域的颜色数据确定归一化第二直方图。举例来说，多相机系统200A可基于包含在图像502B的归一化图像中的对应于图像502B的归一化图像及图像502C之间的重叠区域506的颜色数据确定归一化第二直方图。在实例中，多相机系统200A可基于包含在第三图像中的对应于归一化第二图像及第三图像之间的重叠区域的颜色数据确定第三直方图。举例来说，多相机系统200A可基于包含在第三502C图像中的对应于图像502B的归一化图像及图像502C之间的重叠区域506的颜色数据确定第三直方图。在实例中，多相机系统200A可基于归一化第二直方图及第三直方图确定将第三直方图基本上映射到归一化第二直方图的映射函数。在实例中，多相机系统200A可将映射函数应用于第三图像，以相对于归一化第二图像生成归一化第三图像，所述映射函数将第三直方图基本上映射到归一化第二直方图。举例来说，多相机系统200A可将映射函数应用于图像502C，以相对于图像502B的归一化图像生成图像502C的归一化图像，所述映射函数将第三直方图基本上映射到归一化第二直方图。在实例中，多相机系统200A可将映射函数的集合依序应用于N数目个图像，N大于3，其中映射函数的集合包含将第二直方图基本上映射到第一直方图的映射函数，及将第三直方图基本上映射到归一化第二直方图的映射函数，并且其中N数目个图像包含第一图像(例如，图像502A)、第二图像(例如，图像502B)，及第三图像(例如，图像502C)。
图21是根据本公开中所描述技术的说明用于拼接图像的伽马校正图像的实例技术的流程图。仅出于示范性目的，图21相对于图1的计算装置10、图2A的多相机系统200A、图2B的拼接图像202、图3的拼接图像302，及图5的图像502A-D论述。
在操作中，多相机系统200A可确定第一及第二图像之间的重叠区域(2102)。举例来说，多相机系统200A可确定重叠区域504与图像502A及B重叠。多相机系统200A可确定重叠区域中的第一及第二图像的像素值的亮度分组的集合(2104)。举例来说，多相机系统200A可根据预定义分组边界确定重叠区域中的第一及第二图像的像素值的亮度分组的集合。举例来说，多相机系统200A可根据亮度分组的预定义数量(例如，n)确定亮度分组的集合，使得亮度分组的集合中的每个亮度分组的大小等于分组集合中的其它亮度分组并且跨越像素值的预定集合。
多相机系统200A可确定用于亮度分组的集合的映射函数的集合(2106)。举例来说，对于亮度分组的集合中的每个亮度分组，多相机系统200A可求解线性方程的集合，所述线性方程归一化来自相应亮度分组中及位于重叠区域504中的图像502A及502B的像素值之间的平均亮度值。在实例中，多相机系统200A可通过确定将相应亮度分组的误差函数最小化的加权因子来求解相应亮度分组的线性方程的集合。多相机系统200A可将映射函数的集合应用于第二图像的亮度分量，以生成伽马校正的第二图像(2108)。举例来说，多相机系统200A可将加权因子应用于与相应亮度分组对应及位于图像502B中的像素，使得像素具有通过加权因子修改的亮度值。多相机系统200A可对拼接图像的任何合适数目个图像共同地进行伽马校正。举例来说，多相机系统200A可对图像502A-502D共同地进行伽马校正，以对拼接图像502进行伽马校正。
图22是根据本公开中所描述技术的说明用于拼接图像的归一化及伽马校正图像的第一实例技术的流程图。仅出于示范性目的，图22相对于图1的计算装置10、图2A的多相机系统200A、图2B的拼接图像202、图3的拼接图像302、图5的图像502A-D，及图7的像素值702-705论述。
在操作中，多相机系统200A可确定拼接图像的相邻图像之间的重叠区域(2202)。举例来说，多相机系统200A可确定重叠区域504与图像502A及B重叠。多相机系统200A可确定基本上映射相邻图像的直方图的映射函数(2204)。举例来说，多相机系统200A可确定映射函数，所述映射函数将图像502B的直方图的每个亮度或颜色值修改成具有图像502A的直方图的频率。多相机系统200A可应用映射函数以归一化相邻图像(2206)。举例来说，相对于图7，多相机系统200A可将具有像素值702的第二图像的像素设置成替代地具有图7的像素值703，及类似地，将具有像素值704的第二图像的像素设置成替代地具有像素值705。
多相机系统200A可针对N数目个图像重复2202-2206中所说明的技术以生成拼接图像(2208)。举例来说，多相机系统200A可将映射函数应用于图像502C，以相对于归一化及伽马校正图像502B生成归一化图像502C等等。
多相机系统200A可确定基本上映射归一化相邻图像的亮度分组集合中的每个亮度分组的平均亮度值的映射函数的集合(2210)。举例来说，对于亮度分组的集合中的每个亮度分组，多相机系统200A可求解线性方程的集合，所述线性方程归一化来自相应亮度分组中及位于重叠区域504中的图像502A及502B的像素值之间的平均亮度值。在实例中，多相机系统200A可通过确定将相应亮度分组的误差函数最小化的加权因子来求解相应亮度分组的线性方程的集合。多相机系统200A可应用映射函数的集合以对归一化图像进行伽马校正(2212)。举例来说，多相机系统200A可将加权因子应用于对应于相应亮度分组及位于图像502B的归一化图像中的像素，使得所述像素具有通过加权因子修改的亮度值。
图23是根据本公开中所描述技术的说明用于拼接图像的归一化及伽马校正图像的第二实例技术的流程图。仅出于示范性目的，图23相对于图1的计算装置10、图2A的多相机系统200A、图2B的拼接图像202、图3的拼接图像302、图5的图像502A-D，及图7的像素值702-705论述。
在操作中，多相机系统200A可确定拼接图像的相邻图像之间的重叠区域(2302)。举例来说，多相机系统200A可确定重叠区域504与图像502A及B重叠。多相机系统200A可确定基本上映射归一化相邻图像的亮度分组集合中的每个亮度分组的平均亮度值的映射函数的集合(2304)。举例来说，对于亮度分组的集合中的每个亮度分组，多相机系统200A可求解线性方程的集合，所述线性方程归一化来自相应亮度分组中及位于重叠区域504中的图像502A及502B的像素值之间的平均亮度值。在实例中，多相机系统200A可通过确定将相应亮度分组的误差函数最小化的加权因子来求解相应亮度分组的线性方程的集合。多相机系统200A可应用映射函数的集合以对相邻图像进行伽马校正(2306)。举例来说，多相机系统200A可将加权因子应用于与相应亮度分组对应及位于图像502B中的像素，使得像素具有通过加权因子修改的亮度值。
多相机系统200A可确定基本上映射相邻图像的直方图的映射函数(2308)。举例来说，多相机系统200A可确定映射函数，所述映射函数将图像502B的直方图的每个亮度或颜色值修改成具有图像502A的直方图的频率。多相机系统200A可应用映射函数以归一化伽马校正图像(2310)。举例来说，相对于图7，多相机系统200A可将具有像素值702的伽马校正图像的像素设置成替代地具有图7的像素值703，及类似地，将具有像素值704的伽马校正图像的像素设置成替代地具有像素值705。
多相机系统200A可针对N数目个图像重复2308-2310中所说明的技术以生成拼接图像(2312)。举例来说，多相机系统200A可将映射函数应用于图像502C，以相对于归一化及伽马校正图像502B生成归一化图像502C等等。
在一或多个实例中，所描述的功能可实施于硬件、软件、固件或其任何组合中。如果以软件实施，则所述功能可作为一或多个指令或代码存储在计算机可读媒体上且由基于硬件的处理单元执行。计算机可读媒体可包含计算机可读存储媒体，其对应于例如数据存储媒体的有形媒体。以此方式，计算机可读媒体通常可以对应于非暂时性的有形计算机可读存储媒体。数据存储媒体可为可由一或多个计算机或者一或多个处理器存取以检索用于实施本公开中描述的技术的指令、代码及/或数据结构的任何可用媒体。计算机程序产品可包含计算机可读媒体。
借助于实例而非限制，此类计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、闪存存储器，或可用于存储呈指令或数据结构形式的所要程序代码且可由计算机存取的任何其它媒体。应理解，计算机可读存储媒体及数据存储媒体并不包含载波、信号或其它暂时性媒体，而是替代地涉及非暂时性有形存储媒体。如本文中所使用，磁盘及光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软磁盘及蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘用激光以光学方式再现数据。以上各项的组合也应包含在计算机可读媒体的范围内。
指令可由一或多个处理器执行，所述一或多个处理器例如，一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)、或其它等效的集成或离散逻辑电路。因此，如本文中所使用的术语“处理器”可指代上述结构或适合于实施本文中所描述的技术的任何其它结构中的任一者。另外，在一些方面中，本文中所描述的功能性可在经配置以用于编码及解码的专用硬件和/或软件模块内提供，或并入在组合编解码器中。而且，所述技术可完全实施于一或多个电路或逻辑元件中。
本公开的技术可在各种装置或设备中实施，包含无线手持机、集成电路(IC)或一组IC(例如，芯片组)。本公开中描述各种组件、模块或单元是为了强调经配置以执行所公开的技术的装置的功能方面，但未必需要由不同硬件单元实现。相反，如上所述，各种单元可结合合适的软件及/或固件组合在编解码器硬件单元中，或由互操作硬件单元的集合来提供，所述硬件单元包含如上文所描述的一或多个处理器。
描述了各种实例。这些及其它实例在所附权利要求书的范围内。

Claims (20)

1.一种包括处理器的装置，所述处理器包括集成电路，所述处理器经配置以：
确定第一图像及第二图像之间的重叠区域；
基于包含在所述第一图像中的对应于所述重叠区域的颜色数据确定第一直方图；
基于包含在所述第二图像中的对应于所述重叠区域的颜色数据确定第二直方图；
基于所述第一及第二直方图确定将所述第二直方图基本上映射到所述第一直方图的映射函数；及
将所述映射函数应用于所述第二图像，以相对于所述第一图像生成归一化第二图像。
2.根据权利要求1所述的装置，其中所述处理器进一步经配置以：
使用所述第一图像及所述归一化第二图像生成拼接图像。
3.根据权利要求1所述的装置，其中所述处理器进一步经配置以：
平滑化所述第一直方图以生成第一平滑直方图；及
平滑化所述第二直方图以生成第二平滑直方图，
其中所述处理器进一步经配置以基于所述第一及第二平滑直方图确定所述映射函数。
4.根据权利要求3所述的装置，其中：
为了平滑化所述第一直方图，所述处理器经配置以将低通滤波器函数应用于所述第一直方图；及
为了平滑化所述第二直方图，所述处理器经配置以将所述低通滤波器函数应用于所述第二直方图。
5.根据权利要求1所述的装置，其中所述处理器进一步经配置以：
对于所述第二图像的每个像素，基于相应像素距所述重叠区域的距离确定校正因子，
其中所述处理器进一步经配置以基于所述校正因子确定所述映射函数。
6.根据权利要求1所述的装置，其中：
为了生成所述第二归一化图像，所述处理器经配置以生成所述归一化第二图像，使得由所述归一化第二图像指示的红-绿比率对应于由所述第二图像指示的红-绿比率；及
为了生成所述第二归一化图像，所述处理器经配置以生成所述归一化第二图像，使得由所述归一化第二图像指示的蓝-绿比率对应于由所述第二图像指示的蓝-绿比率。
7.根据权利要求1所述的装置，其中：
在所述重叠区域中扩展的所述第一图像的部分中包含的所述颜色数据指示第一亮度分量；
在所述重叠区域中扩展的所述第二图像的部分中包含的所述颜色数据指示不同于所述第一亮度分量的第二亮度分量；及
为了应用所述映射函数，所述处理器经配置以使用所述映射函数将所述第二亮度分量归一化到所述第一亮度分量。
8.根据权利要求1所述的装置，其中所述处理器进一步经配置以：
在将所述映射函数应用于所述第二图像以相对于所述第一图像生成所述归一化第二图像之后，确定所述归一化第二图像及第三图像之间的重叠区域；
基于包含在所述归一化第二图像中的对应于所述归一化第二图像及第三图像之间的所述重叠区域的颜色数据确定归一化第二直方图；
基于包含在所述第三图像中的对应于所述归一化第二图像及第三图像之间的所述重叠区域的颜色数据确定第三直方图；
基于所述归一化第二直方图及所述第三直方图确定将所述第三直方图基本上映射到所述归一化第二直方图的第二映射函数；及
应用将所述第三直方图基本上映射到所述归一化第二直方图的所述映射函数，以相对于所述归一化第二图像生成归一化第三图像。
9.根据权利要求1所述的装置，其中所述处理器进一步经配置以：
确定用于所述重叠区域中的所述第一图像及所述第二图像的像素值的亮度分组的集合；
确定映射函数的集合，其中对于亮度分组的所述集合中的相应亮度分组，映射函数的所述集合中的每个映射函数将包含在所述第二图像中的对应于所述重叠区域的颜色数据的平均亮度值映射到包含在所述第一图像中的对应于所述重叠区域的颜色数据的平均亮度值；及
将映射函数的所述集合应用于所述第二图像的亮度分量，以相对于所述第一图像生成伽马校正的第二图像。
10.根据权利要求9所述的装置，其中所述处理器进一步经配置以：
使用所述第一图像及所述伽马校正的第二图像生成拼接图像。
11.根据权利要求9所述的装置，其中所述处理器进一步经配置以：
确定所述第一图像的累积分布函数CDF中的平坦区域，
其中所述处理器进一步经配置以基于所述第一图像的所述CDF中的所述平坦区域而确定所述第一图像及所述第二图像的像素值的亮度分组的所述集合。
12.根据权利要求9所述的装置，其中所述处理器进一步经配置以：
在将映射函数的所述集合应用于所述第二图像的所述亮度分量之前，将曲线平滑技术应用于映射函数的所述集合。
13.根据权利要求9所述的装置，其中所述处理器进一步经配置以：
确定所述第一图像的像素的位置是否满足阈值；及
响应于确定所述第一图像的所述像素的所述位置满足所述阈值，使所述像素与亮度分组的所述集合中的亮度分组相关联，
其中所述亮度分组的所述映射函数基于使所述像素与亮度分组的所述集合中的所述亮度分组相关联。
14.根据权利要求9所述的装置，其中所述处理器进一步经配置以：
确定所述第一图像的像素是否是所述第一图像的边缘像素；及
响应于确定所述第一图像的所述像素不是所述第一图像的边缘，使所述像素与亮度分组的所述集合中的亮度分组相关联，
其中所述亮度分组的所述映射函数基于使所述像素与亮度分组的所述集合中的所述亮度分组相关联。
15.根据权利要求1所述的装置，其中所述第一直方图指示用于包含在所述第一图像中的对应于所述重叠区域的所述颜色数据的YCbCr域中的第一Y通道，并且其中所述第二直方图指示用于包含在所述第二图像中的对应于所述重叠区域的所述颜色数据的所述YCbCr域中的第二Y通道。
16.根据权利要求1所述的装置，其中所述处理器进一步经配置以：
基于位于所述重叠区域中的所述第一图像的像素的子集确定包含在所述第一图像中的对应于所述重叠区域的所述颜色数据；及
基于位于所述重叠区域中的所述第二图像的像素的子集确定包含在所述第二图像中的对应于所述重叠区域的所述颜色数据。
17.根据权利要求1所述的装置，其中所述处理器进一步经配置以：
将第一加权因子应用于包含在所述第一图像中的对应于所述重叠区域的颜色数据，以生成对应于所述重叠区域的第一加权颜色数据；
将第二加权因子应用于包含在所述第一图像中的不对应于所述重叠区域的颜色数据，以生成不对应于所述重叠区域的第一加权颜色数据，所述第二加权因子小于所述第一加权因子，
其中为了确定所述第一直方图，所述处理器经配置以基于对应于所述重叠区域的所述第一加权颜色数据及不对应于所述重叠区域的所述第一加权颜色数据确定所述第一直方图；
将第三加权因子应用于包含在所述第二图像中的对应于所述重叠区域的颜色数据，以生成对应于所述重叠区域的第二加权颜色数据；及
将第四加权因子应用于包含在所述第二图像中的不对应于所述重叠区域的颜色数据，以生成不对应于所述重叠区域的第二加权颜色数据，所述第四加权因子小于所述第三加权因子，
其中为了确定所述第二直方图，所述处理器经配置以基于对应于所述重叠区域的所述第二加权颜色数据及不对应于所述重叠区域的所述第二加权颜色数据确定所述第二直方图。
18.一种方法，所述方法包括：
确定第一图像及第二图像之间的重叠区域；
基于包含在所述第一图像中的对应于所述重叠区域的颜色数据确定第一直方图；
基于包含在所述第二图像中的对应于所述重叠区域的颜色数据确定第二直方图；
基于所述第一及第二直方图确定将所述第二直方图基本上映射到所述第一直方图的映射函数；及
将所述映射函数应用于所述第二图像，以相对于所述第一图像生成归一化第二图像。
19.根据权利要求18所述的方法，进一步包括：
使用所述第一图像及所述归一化第二图像生成拼接图像。
20.一种非暂时性计算机可读存储媒体，其存储当执行时使一或多个处理器执行以下操作的指令：
确定第一图像及第二图像之间的重叠区域；
基于包含在所述第一图像中的对应于所述重叠区域的颜色数据确定第一直方图；
基于包含在所述第二图像中的对应于所述重叠区域的颜色数据确定第二直方图；
基于所述第一及第二直方图确定将所述第二直方图基本上映射到所述第一直方图的映射函数；及
将所述映射函数应用于所述第二图像，以相对于所述第一图像生成归一化第二图像。
CN201780056524.4A 2016-09-19 2017-08-07 用于多相机系统的颜色归一化 Pending CN109690610A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662396715P 2016-09-19 2016-09-19
US62/396,715 2016-09-19
US15/473,038 2017-03-29
US15/473,038 US10614603B2 (en) 2016-09-19 2017-03-29 Color normalization for a multi-camera system
PCT/US2017/045725 WO2018052570A1 (en) 2016-09-19 2017-08-07 Color normalization for a multi-camera system

Publications (1)

Publication Number Publication Date
CN109690610A true CN109690610A (zh) 2019-04-26

Family

ID=59702831

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780056524.4A Pending CN109690610A (zh) 2016-09-19 2017-08-07 用于多相机系统的颜色归一化

Country Status (4)

Country Link
US (1) US10614603B2 (zh)
EP (1) EP3516619A1 (zh)
CN (1) CN109690610A (zh)
WO (1) WO2018052570A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113079275A (zh) * 2020-01-03 2021-07-06 南京大学 一种基于优化直方图匹配的阵列相机色彩校正方法

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10192295B2 (en) * 2016-11-09 2019-01-29 AI Analysis, Inc. Methods and systems for normalizing images
US10699375B2 (en) * 2017-02-14 2020-06-30 Nokia Technologies Oy Method and apparatus for image adjustment for panoramic image stitching
TW201839717A (zh) * 2017-04-19 2018-11-01 睿緻科技股份有限公司 影像拼接方法及其影像拼接裝置
WO2019079403A1 (en) * 2017-10-18 2019-04-25 Gopro, Inc. LOCAL EXPOSURE COMPENSATION
US10977811B2 (en) * 2017-12-20 2021-04-13 AI Analysis, Inc. Methods and systems that normalize images, generate quantitative enhancement maps, and generate synthetically enhanced images
US10602079B2 (en) * 2018-01-24 2020-03-24 Motorola Mobility Llc Digital image color space channel blending
KR102524671B1 (ko) * 2018-01-24 2023-04-24 삼성전자주식회사 전자 장치 및 그의 제어 방법
CN208094621U (zh) * 2018-05-09 2018-11-13 吴华伟 一种多功能手机
CN109166076B (zh) * 2018-08-10 2020-08-07 影石创新科技股份有限公司 多相机拼接的亮度调整方法、装置及便携式终端
CN110868548B (zh) * 2018-08-27 2021-05-18 华为技术有限公司 一种图像处理方法及电子设备
US11681047B2 (en) * 2019-12-19 2023-06-20 Argo AI, LLC Ground surface imaging combining LiDAR and camera data
US11276134B2 (en) * 2020-01-02 2022-03-15 Texas Instruments Incorporated Reconfigurable image processing hardware pipeline
US11475639B2 (en) 2020-01-03 2022-10-18 Meta Platforms Technologies, Llc Self presence in artificial reality
TWI760733B (zh) * 2020-04-27 2022-04-11 晶睿通訊股份有限公司 影像校正方法及其影像校正裝置
CN113706375A (zh) * 2020-05-20 2021-11-26 佛吉亚歌乐电子(厦门)有限公司 一种图像拼接装置及方法
US11978181B1 (en) 2020-12-11 2024-05-07 Nvidia Corporation Training a neural network using luminance
US11637998B1 (en) * 2020-12-11 2023-04-25 Nvidia Corporation Determination of luminance values using image signal processing pipeline
US11295503B1 (en) 2021-06-28 2022-04-05 Facebook Technologies, Llc Interactive avatars in artificial reality
EP4198870A1 (en) * 2021-12-17 2023-06-21 dSPACE GmbH A method for generating a bird s eye view image

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5544258A (en) * 1991-03-14 1996-08-06 Levien; Raphael L. Automatic tone correction of images using non-linear histogram processing
CN102257531A (zh) * 2008-12-19 2011-11-23 高通股份有限公司 高动态范围图像组合
CN104364820A (zh) * 2012-10-08 2015-02-18 皇家飞利浦有限公司 具有颜色约束的亮度改变图像处理
CN105009580A (zh) * 2013-02-21 2015-10-28 杜比实验室特许公司 高动态范围视频的显示管理
US20160155219A1 (en) * 2013-07-08 2016-06-02 Denso Corporation Image generating device, image generating method, and non-transitory computer-readable storage medium

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7840067B2 (en) * 2003-10-24 2010-11-23 Arcsoft, Inc. Color matching and color correction for images forming a panoramic image
US8179363B2 (en) 2007-12-26 2012-05-15 Sharp Laboratories Of America, Inc. Methods and systems for display source light management with histogram manipulation
EP2355037A1 (en) 2009-12-18 2011-08-10 Nxp B.V. Method of and system for determining an average colour value for pixels
US8933985B1 (en) 2011-06-06 2015-01-13 Qualcomm Technologies, Inc. Method, apparatus, and manufacture for on-camera HDR panorama
US9077943B2 (en) 2012-05-31 2015-07-07 Apple Inc. Local image statistics collection
US8965121B2 (en) 2012-10-04 2015-02-24 3Dmedia Corporation Image color matching and equalization devices and related methods
US9589350B1 (en) * 2013-05-30 2017-03-07 360 Lab Llc. Utilizing three overlapping images for exposure correction during panoramic image stitching
US8958658B1 (en) 2013-09-10 2015-02-17 Apple Inc. Image tone adjustment using local tone curve computation
US9838641B1 (en) * 2015-12-30 2017-12-05 Google Llc Low power framework for processing, compressing, and transmitting images at a mobile image capture device
US9838614B1 (en) * 2016-06-20 2017-12-05 Amazon Technologies, Inc. Multi-camera image data generation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5544258A (en) * 1991-03-14 1996-08-06 Levien; Raphael L. Automatic tone correction of images using non-linear histogram processing
CN102257531A (zh) * 2008-12-19 2011-11-23 高通股份有限公司 高动态范围图像组合
CN104364820A (zh) * 2012-10-08 2015-02-18 皇家飞利浦有限公司 具有颜色约束的亮度改变图像处理
CN105009580A (zh) * 2013-02-21 2015-10-28 杜比实验室特许公司 高动态范围视频的显示管理
US20160155219A1 (en) * 2013-07-08 2016-06-02 Denso Corporation Image generating device, image generating method, and non-transitory computer-readable storage medium

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
DAVID L. MILGRAM: ""Computer Methods for Creating Photomosaics"", 《IEEE TRANSACTIONS ON COMPUTERS》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113079275A (zh) * 2020-01-03 2021-07-06 南京大学 一种基于优化直方图匹配的阵列相机色彩校正方法
CN113079275B (zh) * 2020-01-03 2022-05-17 南京大学 一种基于优化直方图匹配的阵列相机色彩校正方法

Also Published As

Publication number Publication date
US20180082454A1 (en) 2018-03-22
EP3516619A1 (en) 2019-07-31
WO2018052570A1 (en) 2018-03-22
US10614603B2 (en) 2020-04-07

Similar Documents

Publication Publication Date Title
CN109690610A (zh) 用于多相机系统的颜色归一化
US10791310B2 (en) Method and system of deep learning-based automatic white balancing
CN105144233B (zh) 用于运动重影滤波的参考图像选择
KR100968378B1 (ko) 파노라마 이미지를 생성하는 장치, 방법 및 그 방법을 실행하는 프로그램이 기록된 기록 매체
CN109076138A (zh) 相对于单声道和彩色图像执行强度均衡
TWI737979B (zh) 圖像去馬賽克裝置及方法
CN108353125A (zh) 彩色滤波阵列缩放器
US20150138312A1 (en) Method and apparatus for a surround view camera system photometric alignment
CN103200409B (zh) 多投影仪显示系统的颜色校正方法
JP6623832B2 (ja) 画像補正装置、画像補正方法及び画像補正用コンピュータプログラム
CN102244757A (zh) 一种基于投影仪-相机系统的多投影大屏幕颜色校正方法
CN110930341A (zh) 一种基于图像融合的低光照图像增强方法
US20220198625A1 (en) High-dynamic-range image generation with pre-combination denoising
CN111970432A (zh) 一种图像处理方法及图像处理装置
CN106454144B (zh) 一种对谷歌眼镜图像过度曝光的校正方法
CN112508812A (zh) 图像色偏校正方法、模型训练方法、装置及设备
US20230074060A1 (en) Artificial-intelligence-based image processing method and apparatus, electronic device, computer-readable storage medium, and computer program product
CN109348207B (zh) 色温调节方法、图像处理方法及装置、介质和电子设备
US10621769B2 (en) Simplified lighting compositing
KR20150128168A (ko) 화이트 밸런싱 장치 및 이의 구동 방법
US8994848B2 (en) Method and system for handling mixed illumination in video and photography
CN104010134B (zh) 用于形成具有宽动态范围的系统和方法
CN117156289A (zh) 色彩风格校正方法、系统、电子设备、存储介质及芯片
Han et al. A large-scale image database for benchmarking mobile camera quality and NR-IQA algorithms
JP2011124884A (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190426

WD01 Invention patent application deemed withdrawn after publication