CN118251899A - 用于高动态范围（hdr）摄影中的并行帧捕获的图像传感器和数据处理 - Google Patents

用于高动态范围（hdr）摄影中的并行帧捕获的图像传感器和数据处理 Download PDF

Info

Publication number
CN118251899A
CN118251899A CN202280076326.5A CN202280076326A CN118251899A CN 118251899 A CN118251899 A CN 118251899A CN 202280076326 A CN202280076326 A CN 202280076326A CN 118251899 A CN118251899 A CN 118251899A
Authority
CN
China
Prior art keywords
data
sensor elements
image
sensor
dynamic range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280076326.5A
Other languages
English (en)
Inventor
J·王
罗家夫
S·马
江晓云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN118251899A publication Critical patent/CN118251899A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/445—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/585—Control of the dynamic range involving two or more exposures acquired simultaneously with pixels having different sensitivities within the sensor, e.g. fast or slow pixels or pixels having different sizes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/59—Control of the dynamic range by controlling the amount of charge storable in the pixel, e.g. modification of the charge conversion ratio of the floating node capacitance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本公开内容提供了用于图像信号处理的系统、方法和设备，其支持通过增加的动态范围和/或高光保持来改进摄影中的细节保持。可以对从具有两组具有不同的灵敏度的传感器元件的分割像素图像传感器接收的数据执行图像信号处理。图像信号处理可以包括接收图像数据，该图像数据包括：来自第一组传感器元件的第一数据和来自第二组传感器元件的第二数据，第二组传感器元件利用与第一组传感器元件不同的灵敏度捕获对场景的表示；确定输出图像帧的输出动态范围；以及基于第一数据和第二数据中的至少一项以及基于输出动态范围来确定输出图像帧。还要求保护并描述了其它方面和特征。

Description

用于高动态范围(HDR)摄影中的并行帧捕获的图像传感器和 数据处理
相关申请的交叉引用
本申请要求享有于2021年11月22日提交的题为“IMAGE SENSOR AND DATAPROCESSING FOR PARALLEL FRAME CAPTURE IN HIGH DYNAMIC RANGE(HDR)PHOTOGRAPHY”的美国专利申请No.17/456,117的权益，该美国专利申请以其全部内容通过引用明确地并入本文。
技术领域
本公开内容的各方面一般涉及图像处理。一些特征可以实现并提供改进的图像处理，包括具有增加的图像细节和/或动态范围的图像。
背景技术
图像捕获设备是可以捕获一个或多个数字图像的设备，无论是针对照片的静止图像还是针对视频的图像序列。捕获设备可以被合并到各种设备中。举例来说，图像捕获设备可以包括独立数码相机或数字视频摄像机、配备有相机的无线通信设备手持机(诸如，移动电话、蜂窝式或卫星无线电电话、个人数字助理(PDA)、面板或平板计算机)、游戏设备、计算机设备(诸如，网络摄像机、视频监控相机、或具有数字成像或视频能力的其它设备)。
当使用图像捕获设备捕获具有宽色域的对场景的表示时，动态范围可能对于图像质量是重要的。传统的图像传感器具有有限的动态范围，其可能小于人眼的动态范围。动态范围可以指在图像的亮部分与图像的暗部分之间的光范围。常规图像传感器可以增加曝光时间以在使图像的亮部分饱和的代价下改进图像的暗部分中的细节。或者，常规图像传感器可以减少曝光时间以在丢失图像的暗部分中的细节的代价下改进图像的亮部分中的细节。因此，图像捕获设备常规地通过调整曝光时间来平衡冲突期望，从而保留图像的亮部分或暗部分中的细节。高动态范围(HDR)摄影通过合并来自图像传感器的多个被记录图像来改进使用这些常规图像传感器的摄影。这些被记录图像被一个接一个地连续地被记录，并且然后被合并。然而，对图像的连续记录导致在记录图像帧之间的重影或失配，这降低了通过合并被记录图像帧获得的HDR摄影的质量。
发明内容
下面概括了本公开内容的一些方面以提供对所讨论的技术的基本理解。该概括不是对本公开内容的全部预期特征的详尽概述，以及既不旨在标识本公开内容的全部方面的关键或重要元素，也不旨在描绘本公开内容的任何或全部方面的范围。其唯一目的是以概括的形式呈现本公开内容的一个或多个方面的一些概念，作为稍后呈现的更详细描述的序言。
图像传感器可以被配置为利用不同的灵敏度记录图像帧，使得所述图像帧可以被合并以产生具有改进的质量的摄影。可以在一个或多个高光区域和/或暗区域中通过较高的细节观测到改进的质量。图像传感器配置可以包括具有第一灵敏度的第一组传感器元件和具有不同于第一灵敏度的第二灵敏度的第二组传感器元件。第一组传感器元件可以以第一灵敏度捕获对场景的第一表示；并且第二组传感器元件可以以第二灵敏度捕获对场景的第二表示。一种这样的图像传感器配置是在下面的实施例中被描述为分割像素图像传感器，然而其它图像传感器配置可以被用以获得第一灵敏度和第二灵敏度。单个图像传感器内的不同的灵敏度可以允许在至少部分地重叠的时间中记录第一数据和第二数据。可以根据第一数据和第二数据中的至少一个并且在一些实施例中根据第一数据和第二数据两者，来确定用于摄影的输出图像帧。
根据本公开内容的实施例的具有用于记录对场景的表示的不同的灵敏度的图像传感器可以被用以产生标准动态范围(SDR)摄影或高动态范围(HDR)摄影。一种用于处理至少部分地在重叠时间段中从一个或多个传感器捕获的第一数据和第二数据的方法可以包括：从图像传感器或从被耦合到所述图像传感器的存储器接收包括第一数据和第二数据的图像数据。可以从利用第一灵敏度捕获对场景的第一表示的第一组传感器元件接收所述第一数据。可以从利用不同于所述第一灵敏度的第二灵敏度捕获对所述场景的第二表示的第二组传感器元件接收所述第二数据。在一些实施例中，从一个图像传感器并行地捕获所述第一数据和所述第二数据，其中，所述第一组传感器元件具有与所述第二组传感器元件相比的不同配置，诸如在本公开内容的实施例中描述的分割像素图像传感器中。
在本公开内容的一个方面中，一种用于图像处理的方法包括：接收以第一灵敏度捕获的对应于场景的第一数据，所述第一数据由第一组传感器元件捕获；接收以第二灵敏度捕获的对应于所述场景的第二数据，所述第二数据由第二组传感器元件捕获，其中，所述第一组传感器元件和所述第二组传感器元件形成以比拜耳图案大的包括颜色滤光片阵列(CFA)的颜色图案配置的均匀传感器元件阵列；确定输出图像帧的输出动态范围；以及基于所述输出动态范围以及所述第一数据和所述第二数据中的至少一项来确定输出图像帧。
在本公开内容的附加方面中，一种装置包括至少一个处理器和被耦合到所述至少一个处理器的存储器。所述至少一个处理器被配置为执行包括以下各项的步骤：接收以第一灵敏度捕获的对应于场景的第一数据，所述第一数据由第一组传感器元件捕获；接收以第二灵敏度捕获的对应于所述场景的第二数据，所述第二数据由第二组传感器元件捕获，其中，所述第一组传感器元件和所述第二组传感器元件形成以比拜耳图案大的包括颜色滤光片阵列(CFA)的颜色图案配置的均匀传感器元件阵列；确定输出图像帧的输出动态范围；以及基于所述输出动态范围以及基于所述第一数据和所述第二数据中的至少一项来确定输出图像帧。
在本公开内容的附加方面中，一种装置包括：用于接收以第一灵敏度捕获的对应于场景的第一数据的单元，所述第一数据由第一组传感器元件捕获；用于接收以第二灵敏度捕获的对应于所述场景的第二数据的单元，所述第二数据由第二组传感器元件捕获，其中，所述第一组传感器元件和所述第二组传感器元件形成以比拜耳图案大的包括颜色滤光片阵列(CFA)的颜色图案配置的均匀传感器元件阵列；用于确定输出图像帧的输出动态范围的单元；以及用于基于所述输出动态范围以及基于所述第一数据和所述第二数据中的至少一项来确定输出图像帧的单元。
在本公开内容的另一方面中，一种装置包括：图像传感器，其包括第一组传感器元件和第二组传感器元件，其中，所述第一组传感器元件和所述第二组传感器元件包括表示大于拜耳图案的颜色滤光片阵列(CFA)的颜色图案的均匀传感器元件阵列；存储器，其存储处理器可读代码并且被耦合到所述图像传感器；以及至少一个处理器，其被耦合到所述存储器并且被耦合到所述图像传感器，所述至少一个处理器被配置为执行所述处理器可读代码以使所述至少一个处理器执行包括以下各项的步骤：在至少部分地重叠的时间期间将从所述图像传感器捕获的第一数据和第二数据记录到所述存储器中，所述第一数据来自利用第一灵敏度捕获对场景的第一表示的所述第一组传感器元件，并且所述第二数据来自利用不同于所述第一灵敏度的第二灵敏度捕获对所述场景的第二表示的所述第二组传感器元件；确定输出图像帧的输出动态范围；以及基于所述输出动态范围以及基于所述第一数据和所述第二数据中的至少一项来确定输出图像帧。
在本公开内容的附加方面中，一种非暂时性计算机可读介质，其存储了当由处理器执行时使所述处理器执行操作的指令。所述操作包括：接收以第一灵敏度捕获的对应于场景的第一数据，所述第一数据由第一组传感器元件捕获；接收以第二灵敏度捕获的对应于所述场景的第二数据，所述第二数据由第二组传感器元件捕获，其中，所述第一组传感器元件和所述第二组传感器元件形成以比拜耳图案大的包括颜色滤光片阵列(CFA)的颜色图案配置的均匀传感器元件阵列；确定输出图像帧的输出动态范围；以及基于所述输出动态范围以及基于所述第一数据和所述第二数据中的至少一项来确定输出图像帧。
图像捕获设备(可以捕获一个或多个数字图像(无论是静止图像照片还是针对视频的图像序列)的设备)可以被并入到各种各样的设备中。举例来说，图像捕获设备可以包括独立数码相机或数字视频摄像机、配备有相机的无线通信设备手持机(诸如移动电话、蜂窝式或卫星无线电电话、个人数字助理(PDA)、面板或平板计算机)、游戏设备、计算机设备(诸如，网络摄像机、视频监控相机、或具有数字成像或视频能力的其它设备)。
一般来说，本公开内容描述涉及具有图像传感器和图像信号处理器(ISP)的数码相机的图像处理技术。ISP可以被配置为控制对来自一个或多个图像传感器的图像帧的捕获并且处理来自所述一个或多个图像传感器的一个或多个图像帧以生成被校正的图像帧中的场景的视图。被校正的图像帧可以是形成视频序列的图像帧序列的一部分。视频序列可以包括从所述图像传感器或其它图像传感器接收的其它图像帧和/或基于来自所述图像传感器或另一图像传感器的输入的其它被校正的图像帧。在一些实施例中，对一个或多个图像帧的处理可以是在图像传感器内(诸如在合并读出(binning)模块中)执行的。在本文公开的实施例中描述的图像处理技术可以由电路(诸如在图像传感器中、在图像信号处理器(ISP)中、在应用处理器(AP)中或在这些组件中的两个或全部组件的组合中的合并读出模块)执行。
在示例中，图像信号处理器可以响应于加载软件(诸如，相机应用)而接收对于捕获图像帧序列的指令，以从图像捕获设备产生预览显示。图像信号处理器可以被配置为基于从一个或多个图像传感器接收的图像帧来产生输出帧的单个流。输出帧的单个流可以包括来自图像传感器的原始图像数据、来自图像传感器的被合并读出的图像数据、或由图像信号处理器内的一个或多个算法(诸如在合并读出模块中)处理的被校正的图像帧。例如，通过图像后处理引擎(IPE)和/或用于执行色调映射、人像照明、对比度增强、伽马校正等中的一项或多项的其它图像处理电路处理从图像传感器获得的图像帧，可以在图像信号处理器中处理该图像帧，该图像传感器可能已经在输出到图像信号处理器之前对数据执行了一些处理。
在由图像信号处理器使用图像校正(诸如，在本文中的各种实施例中描述的合并读出)确定表示场景的输出帧之后，输出帧可以作为单个静止图像和/或作为视频序列的一部分被显示在设备显示器上，作为图片或视频序列被保存到存储设备，在网络上被发送、和/或被打印到输出介质。例如，图像信号处理器可以被配置为从不同的图像传感器获得图像数据的输入帧(例如，像素值)，并且既而产生图像数据的对应输出帧(例如，预览显示帧、静态图像捕获、针对视频的帧、用于对象跟踪的帧等)。在其它示例中，图像信号处理器可以将图像数据的帧输出到各种输出设备和/或相机模块以用于进一步处理，诸如用于3A参数同步(例如，自动聚焦(AF)、自动白平衡(AWB)和自动曝光控制(AEC))，经由输出帧产生视频文件，配置帧以用于显示，配置帧以用于存储，通过网络连接发送帧等。也即，图像信号处理器可以从一个或多个图像传感器获得输入帧，每个图像传感器都被耦合到一个或多个相机镜头，并且既而可以产生输出帧的流并将其输出到各种输出目的地。
在一些方面中，可以通过合并本公开内容的图像校正的各方面与诸如高动态范围(HDR)摄影或多帧噪声减少(MFNR)之类的其它计算摄影技术来产生被校正的图像帧。利用HDR摄影，使用不同的曝光时间、不同的光圈、不同的镜头和/或其它特性来捕获第一图像帧和第二图像帧，其中，不同的曝光时间、不同的光圈、不同的镜头和/或其它特性当两个图像帧被合并时可能导致被融合的图像的改进的动态范围。在一些方面中，可以针对MFNR摄影执行方法，其中，第一图像帧和第二图像帧是使用相同曝光时间或不同的曝光时间来捕获的，并且被融合以生成具有与所捕获的第一图像帧相比减少的噪声的被校正的第一图像帧。
在一些方面中，设备可以包括图像信号处理器或处理器(例如，应用处理器)，其包括用于相机控制和/或处理的特定功能，诸如启用或禁用合并读出模块或以其它方式控制图像校正的各方面。在本文中描述的方法和技术可以完全由图像信号处理器或处理器执行，或各种操作可以在图像信号处理器与处理器之间被拆分，并且在一些方面中跨附加处理器被拆分。
所述装置可以包括一个、两个或更多个图像传感器，例如包括第一图像传感器。当存在多个图像传感器时，第一图像传感器可以具有与第二图像传感器相比较大的视场(FOV)，或者第一图像传感器可以具有与第二图像传感器相比不同的灵敏度或不同的动态范围。在一个示例中，第一图像传感器可以是广角图像传感器，并且第二图像传感器可以是长焦(tele)图像传感器。在另一示例中，第一传感器被配置为通过具有第一光轴的第一镜头获得图像，并且第二传感器被配置为通过具有不同于第一光轴的第二光轴的第二镜头获得图像。另外地或替代地，第一镜头可以具有第一放大率，并且第二镜头可以具有不同于第一放大率的第二放大率。该配置可以与移动设备上的镜头集群一起发生，诸如在其中多个图像传感器以及相关联的镜头位于移动设备的前侧或后侧上的偏移位置中。可以包括具有更大、更小或相同视场的附加图像传感器。在本文中描述的图像校正技术可以被应用于从多传感器设备中的图像传感器中的任何图像传感器捕获的图像帧。
在本公开内容的附加方面中，公开了一种被配置用于图像处理和/或图像捕获的设备。所述装置包括用于捕获图像帧的单元。所述装置还包括用于捕获表示场景的数据的一个或多个单元，诸如，图像传感器(包括电荷耦合器件(CCD)、拜耳滤光片传感器、红外(IR)检测器、紫外(UV)检测器、互补金属氧化物半导体(CMOS)传感器)、飞行时间检测器。所述装置还可以包括用于将光线累积及/或聚焦到一个或多个图像传感器中的一个或多个单元(包括简单镜头、复合镜头、球面镜头和非球面镜头)。可以控制这些组件以捕获被输入到在本文中描述的图像处理技术的第一图像帧和/或第二图像帧。
对于本领域普通技术人员来说，在结合附图阅读对特定示例性方面的以下描述之后，其它方面、特征和实现将变得显而易见。虽然下文可能关于某些方面和图论述了特征，但是各个方面可以包括在本文中论述的有利特征中的一个或多个特征。换句话说，虽然可能将一个或多个方面论述为具有某些有利特征，但是此类特征中的一个或多个特征还可以是根据各个方面来使用的。以类似的方式，虽然下文可以将示例性方面论述为设备、系统或方法方面，但是示例性方面可以是在各种设备、系统和方法中实现的。
该方法可以被嵌入在计算机可读介质中，作为包括使处理器执行该方法的步骤的指令的计算机程序代码。在一些实施例中，所述处理器可以是移动设备的一部分，所述移动设备包括：第一网络适配器，其被配置为在多个网络连接中的第一网络连接上发送数据，诸如作为记录或作为流数据的图像或视频；以及处理器，其被耦合到所述第一网络适配器和所述存储器。所述处理器可以使在无线通信网络(诸如，5G NR通信网络)上发送在本文中描述的被校正的图像帧。
前文已经相当宽泛地概述了根据本公开内容的示例的特征和技术优点，以便可以更好地理解以下的详细描述。后文将描述附加特征和优点。所公开的概念和特定示例可以容易用作用于修改或设计用于执行本公开内容的相同目的的其它结构的基础。这样的等效的构造不背离所附权利要求书的保护范围。当结合附图考虑时，根据以下描述，将更好地理解本文公开的概念的特性(其组织和操作方法二者)以及相关联的优点。提供附图中的每个附图以用于说明和描述的目的，并且不作为对权利要求的限制的定义。
虽然在本申请中通过对一些示例的说明来描述各方面和实现方案，但是本领域技术人员将理解的是，在许多其它布置和场景中可能产生附加实现方案和用例。在本文中描述的创新可以是跨越许多不同的平台类型、设备、系统、形状、大小、封装布置来实现的。例如，各方面和/或各用途可以经由集成芯片实现方案和其它基于非模块组件的设备(例如，终端用户设备、车辆、通信设备、计算设备、工业设备、零售/购买设备、医疗设备、实现人工智能(AI)的设备等)而产生。虽然一些示例可能是或可能不是专门针对用例或应用的，但是可以存在所描述的创新的各种各样的适用性。实现方案的范围可以从芯片级或模块化组件到非模块化非芯片级实现方案、并且进一步到并入所描述的创新的一个或多个方面的聚合式、分布式或原始设备制造商(OEM)设备或系统。在一些实际设置中，并入所描述的方面和特征的设备还可以必要地包括用于实现并实行所要求保护并且描述的方面的附加组件和特征。例如，对无线信号的发送和接收必要地包括：用于模拟和数字目的的多个组件(例如，包括：天线、射频(RF)链、功率放大器、调制器、缓冲器、处理器、交织器、加法器/求和器等的硬件组件)。在本文中描述的创新旨在可以是在具有不同大小、形状和构造的各种设备、芯片级组件、系统、分布式布置、终端用户设备等中实行的。
附图说明
对本公开内容的性质及优点的进一步理解可以是通过参照如下附图来实现的。在附图中，类似的组件或特征可以具有相同的附图标记。此外，相同类型的各种组件可以通过在附图标记之后跟随有破折号和用于在类似组件之间进行区分的第二标记来进行区分。如果说明书中仅使用第一附图标记，则描述适用于具有相同第一附图标记的相似组件中的任何一个组件，而不管第二附图标记如何。
图1示出了用于执行从一个或多个图像传感器的图像捕获的示例设备的块图。
图2示出了根据本公开内容的一些实施例的具有分割像素图像传感器设计的图像捕获设备。
图3A示出了根据本公开内容的一些实施例的用于3x3颜色滤光片阵列(CFA)像素配置的分割像素图像传感器设计。
图3B示出了根据本公开内容的一些实施例的用于2x2颜色滤光片阵列(CFA)像素配置的分割像素图像传感器设计。
图3C示出了根据本公开内容的一些实施例的用于4×4颜色滤光片阵列(CFA)像素配置的分割像素图像传感器设计。
图3D示出了根据本公开内容的一些实施例的用于4×4颜色滤光片阵列(CFA)像素配置的分割像素图像传感器设计。
图4示出了根据本公开内容的一些实施例的针对具有3x3颜色滤光片阵列(CFA)像素配置的图像处理技术的块图。
图5示出了说明根据本公开内容的一些实施例的用于处理来自分割像素图像传感器的图像数据的方法的流程图。
图6A示出了根据本公开内容的一些实施例的针对分割像素图像传感器的电路图。
图6B示出了根据本公开内容的一些实施例的用于读出分割像素图像传感器的定时图。
图7示出了根据本公开内容的一些实施例的针对具有3x3颜色滤光片阵列(CFA)像素配置的利用高光保持的图像处理的块图。
图8示出了根据本公开内容的一些实施例的用于关于分割像素图像传感器的高光保持的方法的流程图。
图9A示出了说明根据本公开内容的一些实施例的用于高光保持的图像处理技术的图表。
图9B示出了说明根据本公开内容的一些实施例的用于高光保持的图像处理技术的图表。
在各个附图中的相同的附图标记和名称指示相同的元素。
具体实施方式
下文结合附图阐述的具体实施方式旨在作为对各种配置的描述并且不旨在限制本公开内容的范围。而是，具体实施方式包括用于提供对本发明主题的透彻理解的目的的具体细节。对于本领域技术人员将显而易见的是，并非在每种情况下都需要这些具体细节，并且在一些实例中，为了呈现清楚，公知的结构和组件以块图形式示出。
本公开内容提供了支持图像捕获和/或图像处理的系统、装置、方法和计算机可读介质。例如，图像传感器可以被配置为利用不同的灵敏度记录图像帧，使得图像帧可以被合并以产生具有改进的质量的摄影。可以通过在一个或多个高光区域和/或暗区域中的较高的细节来观测改进的质量。图像传感器配置可以包括具有第一灵敏度的第一组传感器元件和具有不同于第一灵敏度的第二灵敏度的第二组传感器元件。第一组传感器元件可以以第一灵敏度捕获对场景的第一表示；并且第二组传感器元件可以以第二灵敏度捕获对场景的第二表示。
可以实现在本公开内容中描述的主题的特定实现方案，以实现以下潜在优点或益处中的一个或多个优点或益处。在一些方面中，本公开内容提供了用于实现具有减少的运动伪影的高动态范围(HDR)摄影的技术。从自单个图像传感器(诸如，在本公开内容的实施例中描述的分割像素图像传感器)并行地捕获的图像数据形成HDR图像可以减少运动伪影。图像传感器中的不同的传感器元件的曝光时间可以相同以进一步减少运动伪影。在一些实施例中，用于传感器元件的电路配置可以包括提供较高的动态范围而不针对不同的传感器元件使用不同的曝光时间的电容。在本公开内容的技术中描述的图像传感器配置和处理仍然可以通过允许对从图像传感器输出的图像数据进行不同的处理以产生不同的输出帧，来支持传感器内变焦(in sensor zoom)、合并读出和其它SDR摄影处理技术。
用于使用一个或多个图像传感器(诸如，智能电话)捕获图像帧的示例设备可以包括设备的背侧(例如，与用户显示器相对的侧)或前侧(例如，与用户显示器相同的侧)上的两个、三个、四个或更多个相机的配置。具有多个图像传感器的设备包括一个或多个图像信号处理器(ISP)、计算机视觉处理器(CVP)(例如，AI引擎)或用于处理由图像传感器捕获的图像的其它合适的电路。图像传感器中的一个或多个可以包括可重新配置的合并读出模块。另外地或替代地，图像信号处理器(ISP)中的一个或多个可以包括可重新配置的合并读出模块。一个或多个图像信号处理器可以将被处理的图像帧提供给存储器和/或处理器(例如，应用处理器、图像前端(IFE)、图像处理引擎(IPE)或其它合适的处理电路)以用于进一步处理，诸如，用于编码、存储、传输或其它操纵。
如在本文中使用的，图像传感器可以指图像传感器本身和被耦合到图像传感器的任何某些其它组件，所述任何某些其它组件被用以生成图像帧以供图像信号处理器或其它逻辑电路或存储器中的存储(无论是短期缓冲器还是长期非易失性存储器)处理。例如，图像传感器可以包括相机的其它组件，包括快门、缓冲器或用于存取图像传感器的个别像素的其它读出电路。图像传感器还可以指模拟前端或用于将模拟信号转换成针对图像帧的数字表示的其它电路，所述数字表示被提供给被耦合到图像传感器的数字电路。
在下面的描述中，阐述了大量具体的细节(诸如，具体组件、电路和过程的示例)以便提供对本公开内容的透彻理解。如在本文中使用的，术语“耦合”意指直接地被连接到或者通过一个或多个中间组件或电路被连接。另外，在下面的描述中以及出于解释的目的，阐述了特定的术语以提供对本公开内容的透彻理解。然而，对于一名本领域的技术人员将显而易见的是：为了实行在本文中公开的教导，可以不需要这些具体的细节。在其它实例中，为了避免模糊本公开内容的教导，以块图形式示出了公知的电路和设备。
以下详细描述的一些部分是以过程、逻辑块、处理、和对计算机存储器内的数据比特的运算的其它符号表示的形式来呈现的。在本公开内容中，过程、逻辑块、处理过程等被设想为导致期望结果的步骤或指令的自洽序列。这些步骤是需要对物理量的物理操控的那些步骤。通常，虽然不是必需地，但是这些量采取能够被存储、被转移、被合并、被比较、以及以其它方式在计算机系统中被操控的电信号或磁信号的形式。
在附图中，单个块可以被描述为执行一个或多个功能。由该块执行的一个或多个功能可以是在单个组件中或跨多个组件执行的，和/或可以是使用硬件、软件或硬件和软件的组合来执行的。为了清楚地表示硬件和软件之间的该可互换性，下文对各个说明性的组件、块、模块、电路和步骤均围绕其功能进行了总体描述。将这种功能性实现为硬件还是软件取决于具体的应用和对整个系统施加的设计约束。熟练技术人员可以针对每个特定应用以不同的方式实现所描述的功能，但是这样的实现方案决定不应被解释为导致背离本公开内容的范围。此外，示例设备可以包括除所示组件之外的组件，包括诸如处理器、存储器等的公知组件。
本公开内容的各方面适用于包括或被耦合到能够捕获图像帧(或“帧”)的两个或更多个图像传感器的任何电子设备。此外，本公开内容的各方面可以是在具有或被耦合到有相同能力和特性(诸如，分辨率、快门速度、传感器类型等)或不同的能力和特性的图像传感器的设备中实现的。此外，本公开内容的各方面可以是在用于处理图像帧的设备中实现的，无论设备是否包括或被耦合到图像传感器，设备诸如是可以检索被存储的图像以进行处理的处理设备，包括存在于云计算系统中的处理设备。
除非特别声明，否则从以下讨论中可以理解的是：贯穿本申请，使用诸如“访问”、“接收”、“发送”、“使用”、“选择”、“确定”、“归一化”，“相乘”，“平均”、“监测”、“比较”、“应用”、“更新”、“测量”、“推导”、“设置”，“生成”等等术语的讨论是指计算机系统或类似电子计算设备的动作和处理，该计算机系统或类似电子计算设备操控在计算机系统的寄存器和存储器内被表示为物理(电子)量的数据并将其转换成在计算机系统的寄存器、存储器、或其它这种信息存储、传输或显示设备内类似地被表示为物理量的其它数据。
术语“设备”和“装置”不限于一个或特定数量的物理物体(诸如，一部智能手机、一个相机控制器、一个处理系统等)。如在本文中使用的，设备可以是具有可以实现本公开内容的至少一些部分的一个或多个部分的任何电子设备。虽然下文的描述和示例使用术语“设备”以描述本公开内容的各个方面，但是术语“设备”不限于特定配置、类型或数量的物体。如在本文中使用的，装置可以包括用于执行所描述的操作的设备或该设备的一部分。
图1示出了用于执行从一个或多个图像传感器的图像捕获的示例设备100的块图。设备100可以包括或以其它方式被耦合到用于处理来自一个或多个图像传感器(诸如，第一图像传感器101、第二图像传感器102和深度传感器140)的图像帧的图像信号处理器112。在一些实现方案中，设备100还包括或被耦合到处理器104和存储指令108的存储器106。设备100还可以包括或被耦合到显示器114和输入/输出(I/O)组件116。I/O组件116可以被用于与用户交互，诸如，触摸屏接口和/或物理按钮。I/O组件116还可以包括用于与其它设备进行通信的网络接口，包括广域网(WAN)适配器152、局域网(LAN)适配器153和/或个域网(PAN)适配器154。示例WAN适配器是4G LTE或5G NR无线网络适配器。示例LAN适配器153是IEEE 802.11WiFi无线网络适配器。示例PAN适配器154是蓝牙无线网络适配器。适配器152、153和/或154中的每一项可以被耦合到天线，包括被配置用于主接收和分集接收和/或被配置用于接收特定频带的多个天线。设备100还可以包括或被耦合到用于设备100的电源118，诸如，电池或将设备100耦合到能量源的组件。设备100还可以包括或被耦合到在图1中未示出的附加特征或组件。在一个示例中，可以包括多个收发机和基带处理器的无线接口可以被耦合到用于无线通信设备的WAN适配器152或被包括在用于无线通信设备的WAN适配器152中。在另一示例中，用于将模拟图像帧数据转换为数字图像帧数据的模拟前端(AFE)可以被耦合在图像传感器101和102与图像信号处理器112之间。
设备可以包括或被耦合到用于与传感器以接口连接以接收关于设备100的移动的数据、关于设备100周围的环境的数据和/或其它非相机传感器数据的传感器集线器150。一个示例非相机传感器是陀螺仪，一种被配置用于测量旋转、取向和/或角速率以生成运动数据的设备。另一示例非相机传感器是加速度计，一种被配置用于测量加速度的设备，其还可以被用以通过适当地积分所测量的加速度来确定速度和行进的距离，并且加速度、速度和/或距离中的一项或多项可以被包括在所生成的运动数据中。在一些方面中，电子图像稳定系统(EIS)中的陀螺仪可以被耦合到传感器集线器或直接地被耦合到图像信号处理器112。在另一示例中，非相机传感器可以是全球定位系统(GPS)接收机。
图像信号处理器112可以接收例如被用以形成图像帧的图像数据。在一个实施例中，本地总线连接将图像信号处理器112分别耦合到第一相机的图像传感器101和第二相机的图像传感器102。在另一实施例中，有线接口将图像信号处理器112耦合到外部图像传感器。在另一实施例中，无线接口将图像信号处理器112耦合到图像传感器101、102。
第一相机可以包括第一图像传感器101和对应的第一镜头131。第二相机可以包括第二图像传感器102和对应的第二镜头132。镜头131和132中的每一项可以由在ISP 112中执行的相关联的自动聚焦(AF)算法133控制，该算法调整镜头131和132以聚焦在距图像传感器101和102一定场景深度处的特定焦平面上。AF算法133可以由深度传感器140辅助。
第一图像传感器101和第二图像传感器102被配置为捕获一个或多个图像帧。镜头131和132通过用于接收光的一个或多个孔、用于当在曝光窗口之外时阻挡光的一个或多个快门、用于过滤特定频率范围之外的光的一个或多个颜色滤光片阵列(CFA)、用于将模拟测量转换为数字信息的一个或多个模拟前端、和/或用于成像的其它合适的组件，来分别将光聚焦在图像传感器101和102处。第一镜头131和第二镜头132可以具有不同的视场以捕获对场景的不同的表示。例如，第一镜头131可以是超宽(UW)镜头，并且第二镜头132可以是宽(W)镜头。多个图像传感器可以包括超宽(高视场(FOV))、宽、长焦和超长焦(ultra-tele)(低FOV)传感器的组合。也就是说，每个图像传感器可以通过硬件配置和/或软件设置来配置，以获得不同的但重叠的视场的。在一种配置中，图像传感器被配置有具有导致不同的视场的不同的放大率的不同的镜头。传感器可以被配置为使得UW传感器具有比W传感器大的FOV，该W传感器具有比T传感器大的FOV，该T传感器具有比UT传感器大的FOV。例如，被配置用于宽FOV的传感器可以捕获在64-84度范围内的视场，被配置用于超侧FOV的传感器可以捕获在100-140度范围内的视场，被配置用于长焦FOV的传感器可以捕获在10-30度范围内的视场，并且被配置用于超长焦FOV的传感器可以捕获在1-8度范围内的视场。
图像信号处理器112处理由图像传感器101和102捕获的图像帧。虽然图1将设备100示出为包括被耦合到图像信号处理器112的两个图像传感器101及102，但是任何数量(例如，一、二、三、四、五、六等)个图像传感器可以被耦合到图像信号处理器112。在一些方面中，深度传感器(诸如，深度传感器140)可以被耦合到图像信号处理器112并且以与图像传感器101和102的方式类似的方式从深度传感器被输出。此外，对于设备100可以存在任何数量个附加图像传感器或图像信号处理器。
在一些实施例中，图像信号处理器112可以执行来自存储器的指令，诸如，来自存储器106的指令108、被存储在被耦合到图像信号处理器112或被包括在图像信号处理器112中的分开的存储器中的指令、或由处理器104提供的指令。另外地或替代地，图像信号处理器112可以包括被配置为执行在本公开内容中描述的一个或多个操作的特定硬件(诸如，一个或多个集成电路(IC))。例如，图像信号处理器112可以包括一个或多个图像前端(IFE)135、一个或多个图像后处理引擎136(IPE)和/或一个或多个自动曝光补偿(AEC)134引擎。AF 133、AEC 134、AFE 135、APE 136可以各自包括专用电路，被实施为由ISP 112执行的软件代码、和/或在ISP 112内的硬件和在ISP 112上执行的软件代码的组合。
在一些实现方案中，存储器106可以包括非瞬态或非暂时性计算机可读介质，其存储计算机可执行指令108以执行在本公开内容中描述的一个或多个操作的全部或部分。在一些实现方案中，指令108包括要由设备100执行的用于生成图像或视频的相机应用(或其它合适的应用)。指令108还可以包括由设备100执行的其它应用或程序，诸如，操作系统和除用于图像或视频生成之外的特定应用。对相机应用的执行(诸如由处理器104)可以使得设备100使用图像传感器101和102和图像信号处理器112生成图像。存储器106还可以由图像信号处理器112存取以存储被处理的帧，或者可以由处理器104存取以获得被处理的帧。在一些实施例中，设备100不包括存储器106。例如，设备100可以是包括图像信号处理器112的电路，并且存储器可以在设备100的外部。设备100可以被耦合到外部存储器并且被配置为存取存储器以写入输出帧以供显示或长期存储。在一些实施例中，设备100是片上系统(SoC)，其将图像信号处理器112、处理器104、传感器集线器150、存储器106和输入/输出组件116并入单个封装中。
在一些实施例中，图像信号处理器112或处理器104中的至少一项执行指令以执行在本文中描述的各种操作，包括合并读出操作。例如，对指令的执行可以指令图像信号处理器112开始或结束捕获图像帧或图像帧序列，其中，捕获包括如本文实施例中描述的合并读出。在一些实现方案中，处理器104可以包括能够执行一个或多个软件程序的脚本或指令(诸如，被存储在存储器106中的指令108)的一个或多个通用处理器核心104A。例如，处理器104可以包括被配置为执行被存储在存储器106中的相机应用(或用于生成图像或视频的其它合适应用)的一个或多个应用处理器。
在执行相机应用时，处理器104可以被配置为指令图像信号处理器112参考图像传感器101或102执行一个或多个操作。例如，相机应用可以接收对于开始视频预览显示的命令，在该命令后从一个或多个图像传感器101或102捕获并且处理包括图像帧序列的视频。诸如利用级联的IPE的图像校正可以被应用于序列中的一个或多个图像帧。由处理器104在相机应用外部执行指令108也可以使设备100执行任何数量个功能或操作。在一些实施例中，除了执行软件以使设备100执行多个功能或操作(诸如，在本文中描述的操作)的能力之外，处理器104还可以包括IC或其它硬件(例如，人工智能(AI)引擎124)。在一些其它实施例中，设备100不包括处理器104，诸如当所有描述的功能全部都被配置在图像信号处理器112中时。
在一些实施例中，显示器114可以包括允许用户交互和/或向用户呈现项目(诸如，由图像传感器101和102捕获的图像帧的预览)的一个或多个合适的显示器或屏幕。在一些实施例中，显示器114是触敏显示器。I/O组件116可以是或包括任何合适的机制、接口或设备以从用户接收输入(诸如，对于指定输出动态范围的命令)并通过显示器114向用户提供输出。例如，I/O组件116可以包括(但不限于)图形用户界面(GUI)、键盘、鼠标、麦克风、扬声器、可挤压边框、一个或多个按钮(例如，电源按钮)、滑动块、开关等。
虽然示出了经由处理器104彼此耦合，但是组件(诸如，处理器104、存储器106、图像信号处理器112、显示器114和I/O组件116)可以其它各种布置方式彼此耦合，诸如经由一个或多个本地总线，为简单起见未示出。虽然图像信号处理器112被示为与处理器104分离，但是图像信号处理器112可以是处理器104的核心，该处理器104是应用处理器单元(APU)，其被包括在片上系统(SoC)中，或者以其它方式被包括在处理器104中。虽然在本文的示例中提及设备100以执行本公开内容的各方面，但是一些设备组件可以不在图1中被示出，以防止模糊本公开内容的各方面。另外，其它组件、组件数量或组件组合可以被包括在用于执行本公开内容的各方面的合适设备中。因此，本公开内容不限于特定设备或组件的配置，包括设备100。
图2示出了根据本公开内容的一些实施例的具有分割像素图像传感器设计的图像捕获设备。图像捕获设备100可以具有一个或多个相机，包括具有第一图像传感器101的第一相机。由场景反射的光由第一镜头131收集并且被引导到第一图像传感器101的光子表示。第一图像传感器101包括将由光子表示的光转换成电信号的传感器元件，诸如，电荷耦合器件(CCD)或有源像素器件(例如，互补金属氧化物半导体(CMOS)器件)。第一图像传感器101可以包括这些传感器元件中的许多传感器元件的阵列。可以通过在传感器元件中的每个传感器元件上包括颜色滤光片来检测场景中的分别的颜色，使得每个传感器元件测量场景中的特定位置处的特定颜色的强度。传感器元件和颜色滤光片可以被组织成跨较大尺寸重复的特定单元尺寸。每个传感器元件可以是传感器元件的均匀阵列200的一部分，其中，每个传感器元件具有被暴露用于接收光的相同表面区域。均匀传感器阵列可以具有共同形成大于拜耳图案的颜色滤光片阵列(CFA)图案的传感器元件组。
作为一个示例，图像传感器101可以包括颜色滤光片阵列(CFA)200，其包括传感器元件202-G、202-R、202-B、204-G、204-R和204-B。绿色传感器元件202-G和204-G可以被组织成3x3阵列；红色传感器元件202-R和204-R可以被组织成3x3阵列；并且蓝色传感器元件202-B和204-B可以被组织成3x3阵列。绿色阵列、蓝色阵列和红色阵列可以被组织成6x6阵列，其中，左上象限包括绿色图像传感器202-G和204-G，右上象限包括红色传感器元件202-R和204-R，左下象限包括蓝色传感器元件202-B和204-B，并且右下象限包括绿色传感器元件202-S和204-S。尽管图2说明了具有例如针对每个颜色的3x3阵列以及跨图像传感器200重复的6x6单元的一个示例颜色滤光片阵列(CFA)配置，但是可以使用用于颜色滤光片阵列(CFA)的其它配置。在一些实施例中，传感器元件204-G、204-R、204-B和204-S可以具有相关联的中性密度滤光片，其减小到达元件204-G、204-R、204-B和204-S的光的强度，使得元件204具有与元件202相比的较低的灵敏度。在一些实施例中，虽然所有传感器元件可以具有中性密度滤光片，但是较强的滤光片与传感器元件204-G、204-R、204-B和204-S相关联。在图3A-3D中示出了根据一些实施例的用于分割像素设计的替代CFA阵列。
从颜色滤光片阵列(CFA)的读出可以合并从CFA 200内的多个传感器元件收集的光子以获得表示场景的图像帧的像素值。一些元件(诸如，象限中的一些相邻边界元件)可以被合并成大的像素组，其中，由该像素组中的元件收集的光子被求和或以其它方式被合并以生成图像帧的像素值。举例来说，可以合并左上象限中的八个绿色传感器元件202-G以获得第一绿色像素值。诸如象限中的中心绿色元件204-G的一些元件可以作为小的像素组被分开地读出以利用不同灵敏度获得第二绿色像素值。同样地，右上象限中的八个红色传感器元件202-R可以被合并以获得第一红色像素值并且中心红色元件204-R可以被读出以获得第二红色像素；左下象限中的八个蓝色传感器元件202-B可被合并以获得第一蓝色像素值并且中心蓝色元件204-B可以被读出以获得第二蓝色像素；并且右下象限中的八个绿色传感器元件202-S可以被合并以获得第三绿色像素值并且中心绿色元件204-S可以被读出以获得第四绿色像素值。
不同的像素值可以被用以形成图像帧。分割像素配置的大的像素组和小的像素组提供不同的灵敏度，并且因此提供不同的曝光时间的等效。可以在不同的图像处理技术中合并不同的像素值以获得具有不同的特性的对场景的表示，诸如，标准动态范围(SDR)或高动态范围(HDR)图像。例如，可以将HDR图像帧确定为基于元件202的第一图像帧和基于元件204的第二图像帧的合并，其中，从第一绿色像素值、第一红色像素值、第一蓝色像素值和第三绿色像素值确定第一图像帧，并且从第二绿色像素值、第二红色像素值、第二蓝色像素值和第四绿色像素值确定第二图像帧。第一图像帧和第二图像帧可以以两个不同的等效的曝光时间表示场景，从而允许确定具有与第一图像帧或第二图像帧中的任一个相比的较高的动态范围的HDR图像帧。
常规HDR图像传感器使用不同的曝光时间以获得第一图像帧和第二图像帧以便合并成HDR图像帧。然而，由于由不同的曝光时间引入的不同水平的运动模糊，不同的曝光时间导致被合并的HDR图像帧中的运动伪影。诸如在图2和本文的其它实施例中描述的分割像素图像传感器允许从利用相同曝光时间但利用带来不同的灵敏度的不同数量个传感器元件的图像帧确定被合并的HDR图像帧。可以以相同的曝光时间操作CFA阵列200的每个元件，使得大的像素组(例如，绿色传感器元件202-G)和小的像素组(例如，绿色传感器元件204-G)中的每一项被暴露于相同场景，并且不遭受与常规HDR传感器相同的运动模糊。在一些实施例中，可以以不同的曝光时间操作大的像素组和小的像素组，以进一步增加从基于大的像素组的第一图像帧并从基于小的像素组的第二图像帧确定的被合并的HDR图像帧的动态范围。
在图3A、图3B、图3C和图3D中示出了用于不同的CFA图案的附加分割像素传感器设计。
图3A示出了根据本公开内容的一些实施例的用于3x3颜色滤光片阵列(CFA)像素配置的分割像素图像传感器设计。CFA阵列310包括传感器元件的3x3阵列的第一象限312，其中周边传感器元件形成大的像素组并且中心传感器元件形成小的像素组。与具有大的像素组和小的像素组的第一象限312类似地配置象限314、316和318。
本公开内容的实施例可以具有与图3A的3x3阵列相比的不同尺寸的CFA，诸如，在图3B中所示的2x2阵列尺寸或在图3C和图3D中所示的4x4阵列尺寸。图3B示出了根据本公开内容的一些实施例的用于2x2颜色滤光片阵列(CFA)像素配置的分割像素图像传感器设计。CFA阵列320包括传感器元件的2x2阵列的第一象限322，其中2x2阵列(其是第一象限322)的顶部传感器元件和左传感器元件形成大的像素组以及右下传感器元件形成小的像素组。与第一象限322类似地配置象限324、326和328。图3C示出了根据本公开内容的一些实施例的用于4×4颜色滤光片阵列(CFA)像素配置的分割像素图像传感器设计。CFA阵列330包括传感器元件的4×4阵列的第一象限332，其中4×4传感器元件中的15个形成大的像素组并且这些传感器元件中的一个形成小的像素组。形成小的像素组的单个传感器元件可以是象限332的16个传感器元件中的任何一个，诸如，在图3C的象限332中所示的带阴影的元件。与具有大的像素组和小的像素组的第一象限332类似地配置象限314、316和318。
在一些实施例中，小的像素组可以包括多个传感器元件，诸如在图3D的实施例中。图3D示出了根据本公开内容的一些实施例的用于4×4颜色滤光片阵列(CFA)像素配置的分割像素图像传感器设计。CFA阵列340包括传感器元件的4×4阵列的第一象限342，其中周边十二个传感器元件形成大的像素组并且内部四个传感器元件形成小的像素组。与第一象限342类似地配置象限344、346和348。尽管在图3A-3D中所示的重复单元的每个象限被示出为被类似地配置，但是象限可以具有不同的配置，诸如当针对不同的颜色的不同的配置是适当的时。此外，尽管图3A-3D的CFA阵列中的每个CFA阵列被示出为具有类似的G-R-B-G颜色滤光片布置，但是颜色滤光片可以被不同地配置，诸如具有两个蓝色象限或两个红色象限或具有被散布在整个CFA阵列中的RGB颜色滤光片。
不管具有不同的大的像素组和小的像素组的CFA阵列的配置如何，大的像素组和小的像素组都可以被合并或不被合并以确定适合于场景确定的或基于用户输入确定的输出帧。在图4中示出了用于确定输出图像帧的不同的技术。图4示出了根据本公开内容的一些实施例的针对具有3x3颜色滤光片阵列(CFA)像素配置的图像处理技术的块图。CFA阵列412可以生成原始数据作为从CFA阵列412的各个传感器元件读取的一系列传感器值。可以在处理路径430、432和/或434中的一个或多个中处理原始数据。
第一处理路径430确定非HDR输出图像帧。路径430包括被配置为对CFA阵列412的值执行八像素合并读出的合并读出块402。小的像素组可以在第一处理路径430中被丢弃，从而将CFA阵列412减小到CFA阵列412的单元的每个象限中的八个值。八个值可以被平均或被求和以获得针对每个象限的单个像素值，以将3x3 CFA阵列412减小到具有与CFA阵列412的大的像素组的图像帧相比的相同动态范围的具有拜耳表示的输出图像帧414。输出图像帧414可以具有比CFA阵列412低的分辨率。块402的合并读出可以被匹配到CFA阵列412的配置。例如，如果输入是由诸如图3C的分割像素图像传感器的传感器产生的CFA阵列，则块402的合并读出可以是十五像素合并读出。
第二处理路径432确定用以捕获全分辨率图像的非HDR输出图像帧或利用传感器内变焦(in-sensor zoom)的图像捕获帧418。作为一个示例，在合并读出模式中，具有用于传感器元件的3x3配置的108MP传感器可以产生12MP拜耳。在全分辨率模式中，重新马赛克(remosaic)块406生成不同图像帧。在全分辨率模式中，马赛克块416可以接收三个108MP原始图像，并且数据帧418将是108MP拜耳。在传感器内变焦模式中，将仅输出12MP 3x3原始图像帧416，并且图像帧418将为12MP拜耳。此12MP拜耳将具有合并读出模式12MP拜耳的1/3FOV，因此得名传感器内变焦。此技术还可以被应用于以全分辨率进行操作的传感器图像，或可以在传感器内变焦与传感器内实施例之间可切换。
路径432包括替换像素生成模块404，其被配置为生成替换数据以用从大的像素组的值确定的值替换小的像素组的值，以确定中间图像帧416。中间图像帧416在重新马赛克模块406中被处理，重新马赛克模块406确定具有与CFA阵列412的大的像素组的图像帧相比的相同动态范围的具有重新马赛克拜耳图案的输出图像帧418。输出图像帧418可以具有与CFA阵列412的分辨率匹配的分辨率。
第三处理路径434通过合并来自CFA阵列412的大的像素组的值和小的像素组的值来确定HDR输出帧。CFA阵列412值被输入到像素分离模块408，以确定来自大的像素组的具有拜耳图案的第一图像帧420，并且以确定来自小的像素组的具有拜耳图案的第二图像帧422。HDR处理模块410可以接收作为以不同的等效的曝光时间捕获的对场景的不同的表示的图像帧420和422，并且使用图像帧420和422基于色调映射来确定HDR输出帧424。HDR输出图像帧424可以是比CFA阵列412低的分辨率。
确定针对接收的CFA阵列要执行图4的哪个处理路径可以是基于图像捕获设备被配置为确定HDR输出图像帧还是SDR输出图像帧的。在图5中示出了用于处理来自CFA阵列的原始数据的方法500。图5示出了说明根据本公开内容的一些实施例的用于处理来自分割像素图像传感器的图像数据的方法的流程图。方法500包括在块502处接收图像数据，图像数据包括对应于利用第一灵敏度捕获对场景的第一表示的第一组传感器元件(例如，大的像素组)的第一数据。图像数据还可以包括对应于利用不同于第一组传感器元件的第一灵敏度的第二灵敏度捕获对场景的第二表示的第二组传感器元件(例如，小的像素组)的第二数据。例如，第二组传感器元件可以具有中性密度滤光片、不同的电容和/或不同的曝光时间。在一些实施例中，可以从一个图像传感器并行地捕获第一数据和第二数据。在一些实施例中，从具有诸如在图3A-3D中所示的滤光片阵列(CFA)配置的分割像素图像传感器接收图像数据。图像数据可以由图像信号处理器或处理器(诸如，图1的ISP 112或处理器104)从图1的一个或多个图像传感器(诸如，图1的图像传感器101、102和/或140)接收。
在块504处，确定输出图像帧的动态范围，诸如，输出图像帧被配置为高动态范围(HDR)图像帧还是标准动态范围(SDR)图像帧。输出动态范围的确定可以基于用户输入，诸如，通过允许相机应用中的用户选择SDR或HDR用于输出。输出动态范围的确定还可以或替代地基于系统默认。输出动态范围的确定还可以或替代地基于对图像数据的分析，诸如，用以确定图像数据是否具有高于指示场景受益于HDR表示的阈值颜色范围的宽色域。输出动态范围的确定还可以或替代地基于对先前图像帧的分析，诸如，最近是在HDR图像帧还是在SDR图像帧中表示了相同或相似的场景。该确定可以由ISP或处理器(诸如，图1的ISP 112或处理器104)基于在存储器106中的被存储的设置和/或通过组件116接收的输入来执行。
如果输出动态范围被确定为HDR表示，则方法500继续到块506。如果输出动态范围被确定为SDR表示，则方法继续到块508。尽管从判决块504示出了两个结果，但是其它结果也是可能的，例如，通过将多个阈值水平应用于输出动态范围。例如，可以基于输出动态范围被确定为8比特表示、9比特表示还是10比特表示来执行不同的处理。
在块506处，当输出动态范围是HDR表示时，基于第一数据和第二数据来确定具有图像数据中的对场景的HDR表示的输出图像帧。也就是说，针对HDR表示的输出图像帧是基于第一数据(诸如来自在图3A-3D中所示的分割像素图像传感器的大的像素组)和第二数据(诸如来自在图3A-3D中所示的分割像素图像传感器的小的像素组)的。来自不同的像素组的第一数据和第二数据可以是以对光的不同的灵敏度的对场景的表示，诸如通过具有不同的曝光时间或不同的滤光片强度或不同的电容。合并第一数据和第二数据可以产生具有与第一数据的第一动态范围相比的较高的动态范围和与第二数据的第二动态范围相比的较高的动态范围的输出图像帧。块506处的处理可以是在图4的处理路径434中表示的处理，其中，输出图像帧对应于HDR输出帧424。诸如在处理路径434中表示的对应于块506的处理可以由图像信号处理器(诸如，图1的ISP 112)、由处理器(诸如，图1的处理器104)或ISP 112与处理器104的组合执行。
在块508处，当输出动态范围是SDR表示时，至少基于第一数据来确定具有图像数据中的对场景的SDR表示的输出图像帧。在一些实施例中，输出图像帧可以仅基于第一数据，诸如通过丢弃第二数据、和/或第一数据中的一部分。例如，可以通过将第一数据合并读出并且丢弃第二数据来生成SDR表示。在该示例中，块508处的处理可以是在图4的处理路径430中表示的处理，其中，输出图像帧对应于输出帧414。作为另一示例，SDR表示可以是通过使用替换像素生成来填充第一数据中的缺失值并对所得数据进行重新马赛克来生成的。在该示例中，块508处的处理可以是在图4的处理路径432中表示的处理，其中，输出图像帧对应于输出帧418。确定是根据路径430还是根据路径432执行处理可以是基于针对图像捕获设备设置的变焦水平的所需分辨率的。诸如在处理路径430或432中表示的对应于块508的处理可以由图像信号处理器(诸如，图1的ISP 112)、由处理器(诸如，图1的处理器104)或ISP 112与处理器104的组合执行。在一些实施方案中，确定具有SDR表示的输出图像帧可以另外基于第二数据，诸如通过基于第二数据的对应部分调整第一数据中的高光区域。
在具有在图6A中所示的针对传感器元件的电路布置的一个实施例中，可以实现在图像传感器内的不同的像素组之间具有不同的灵敏度的分割像素图像传感器。图6A示出了根据本公开内容的一些实施例的针对分割像素图像传感器的电路图。电路600可以包括两个分开的浮动节点，其中，第一浮动节点610由传感器元件的第一组612(诸如，大的像素组)共享并且第二浮动节点620由传感器元件的第二组622(诸如，小的像素组)共享。第一组612元件可以具有m个元件，并且第二组622元件可以具有n个元件。m个元件和n个元件中的每项可以分别具有对应的存取晶体管TL1-TLm和TGS1-TGSn，其中，可配置路径至少包括被配置为将组612和622的浮动栅极节点610和620耦合的晶体管栅极FDG。当元件如在例如图3A中所示被布置时，m＝8且n＝1。当元件如在例如图3D中所示被布置时，m＝8且n＝4。对应于第二组622的第二浮动节点620可以被配置有足够大的满阱容量以允许高动态范围。在一些实施例中，可以将电容器630添加到浮动节点620以进一步增加动态范围。
在其它实施例中，可以通过其它特征或特征的组合来实现图像传感器内的像素组之间的不同的灵敏度。例如，可以在像素中的一些像素上应用中性密度(ND)滤光片，使得一些入射光被阻挡，从而导致需要较多的光以使针对具有ND滤光片的像素的传感器元件饱和(例如，“满阱等效亮度”)。分割像素图像传感器可以使用不同的电容和/或ND滤光片的组合以获得像素组之间的不同的灵敏度。在一些实施例中，满阱容量(FWC)可以部分地由节点610和/或620处的电压摆幅来确定。可以通过电容器630中的附加电容来控制电压摆幅，使得FWC被调整以改变灵敏度。在一些实施方案中，横向溢出集成电容器(LOFIC)可以被用以进一步增加FWC，其中，在曝光期间，TGS1-TGSn像素部分地打开，使得由SPD1-SPDn收集的任何额外电荷溢出到电容器630中。在一些实施例中，可以通过利用不同的曝光时间控制不同的像素组来另外地或替代地改变灵敏度。
在图6B中示出了用于读出诸如图6A的配置中的元件的定时图。图6B示出了根据本公开内容的一些实施例的用于读出分割像素图像传感器的定时图。图6B的图被简化以示出具有第一组612中的三个元件(具有对应的TGL1访问信号、TGL2访问信号和TGL3访问信号的LPD1、LPD2、LPD3)和第二组622中的一个元件(具有对应的TGS访问信号的SPD)的配置，诸如具有图3B的2x2颜色滤光片阵列(CFA)配置。然而，可以使用类似的定时图以操作图像元件的不同的配置。在时间652处，通过将元素暴露于从场景反射的光而在图像捕获的期望开始之前发生重置。首先，读出小的像素组。在时间654处，读取SPD信号，随后是在时间656处的SPD重置。接着，读出大的像素组。在时间658处，发生LPD1重置，随后是在时间660处读取的LPD1信号。在时间662处，发生LPD3重置，随后是在时间664处读取的LPD2信号。在时间666处，发生LPD3重置，随后是在时间668处读取的LPD3信号。
可以使用其它定时用于控制诸如在图6A的电路中表示的分割像素图像传感器。在其中使用ND滤光片的一些实施例中，可以在LPD之前或之后读取SPD信号/SPD重置。例如，在FDG信号变高之后，RST信号可以被设置为高以进行对节点610和620的重置，随后读取SPD的重置电平，将TGS设置为高电平，然后执行对SPD信号电平的第二读取。此定时或其它定时可以被用以执行真实的相关双采样(CDS)，其可以在所得图像中产生较低的噪声。作为另一示例，FDG信号可以被设置为高，以用于读出SPD复位，并且发信号通知何时分割像素图像传感器包括电容器630和FDG存取晶体管。作为涉及具有LOFIC的实施例的另一示例，可以示出图6B的定时，其中，修改使得TGS信号具有低电平、中电平和高电平。在曝光时间期间，TGS信号被设置为中间电平。因为电容器630在曝光期间已经累积了信号，所以可以通过首先读取SPD信号，然后读出SPD重置值来执行双采样。作为另一示例，当使用不同的曝光时间时的读出定时可以包括对SPD信号的重置。在多个曝光时间的情况下，在时间652处，RST信号和TGL1-n可以被设置为高，其中在时间652和时间654之间的附加重置将RST、TGS和FDG信号设置为高。
通过来自第一组传感器元件的第一数据和来自第二组传感器元件的第二数据捕获的对场景的不同的表示可以被用以改进对场景的表示的高光区域，而无论输出图像帧是SDR表示还是HDR表示。由于曝光时间被调整以改进图像的阴影区域中的细节，图像的高光区域可能被过度曝光。当场景的动态范围超过图像传感器的动态范围时，较短的曝光时间减小所捕获图像的信噪比(SNR)并且较长的曝光时间导致高光区域的饱和和钳制(clamping)。关于高光区域的挑战在具有明亮天空的图片中是明显的，其中，细节由于高光区域中的像素值的饱和以及因此的钳制而在天空中丢失。高动态范围(HDR)图像帧可以通过具有可以捕获场景的动态范围的较大的动态范围而减小高光区域中的钳制和饱和度的外观(appearance)。可以通过使用来自第一组传感器元件的第一数据和来自第二组传感器元件的第二数据调整高光区域，来改进标准动态范围(SDR)图像帧，并且在一些实施例中改进HDR图像帧。
在图7中示出了一种用于利用高光保持的图像处理的技术。图7示出了根据本公开内容的一些实施例的针对具有3x3颜色滤光片阵列(CFA)像素配置的利用高光保持的图像处理的块图。处理路径700开始于从诸如分割像素图像传感器的第一图像传感器101接收数据724。数据724可以包括针对第一组元素(诸如，大的像素组)的第一数据和针对第二组元素(诸如，小的像素组)的第二数据的原始值。通过替换像素生成块704处理第一数据以生成图像帧726并且通过重新马赛克块708处理第一数据以生成图像帧730可以类似于图4的处理路径432。图像帧730可以被输入到高光保持块710，高光保持块710可以减小图像帧730的被钳制区域或饱和区域的外观。高光保持块710可以使用第二数据执行高光保持，第二数据可以由像素分离块706分离以生成图像帧728。高光保持块710可以使用来自图像帧728的数据来修改图像帧730的高光区域，以生成输出图像帧(诸如，摄影)或一系列输出图像帧(诸如，视频)712。被用以获得第二数据的不同灵敏度可以导致图像帧728内的高光区域中存在的附加细节，该附加细节可以被用以修改图像帧730，诸如通过用来自图像帧728的值或被缩放值替换图像帧730中的某些值。
在图8中示出了使用第一数据和第二数据的高光保持的方法。图8示出了根据本公开内容的一些实施例的用于关于分割像素图像传感器的高光保持的方法的流程图。方法800包括在块802处接收图像数据，图像数据包括对应于利用第一灵敏度捕获对场景的第一表示的第一组传感器元件的第一数据。图像数据还可以包括对应于利用不同于第一组传感器元件的第一灵敏度的第二灵敏度捕获对场景的第二表示的第二组传感器元件的第二数据。例如，第二组传感器元件可以具有中性密度滤光片、不同的电容和/或不同的曝光时间。在一些实施例中，可以从一个图像传感器并行地捕获第一数据和第二数据。在一些实施例中，从具有诸如在图3A-3D中所示的滤光片阵列(CFA)配置的分割像素图像传感器接收图像数据。
在块804处，第一组像素可以被处理为第一处理路径中的对场景的第一表示以生成第一被处理的数据。例如，参照图7，可以通过第一处理路径(诸如，块704和708)处理来自数据724的第一组像素，以生成被表示为图像帧730的第一被处理的数据。
在块806处，第二组像素可以被处理为第二处理路径中的对场景的第二表示以生成第二被处理的数据。例如，参照图7，可以通过第二处理路径(诸如，块706)处理来自数据724的第二组像素，以生成被表示为图像帧728的第二被处理的数据。
在块808处，可以通过合并第一被处理的数据与第二被处理的数据，以场景中的高光区域的改进的外观来确定输出图像帧。来自块804和806的被处理的数据可以具有利用不同的光灵敏度的对场景的不同的表示，使得第一被处理的数据中被钳制或饱和的高光区域在第二被处理的数据中不被钳制或饱和。在块808处确定的输出图像帧可以使用第二被处理的数据的部分以修改(诸如，通过替换)第一被处理的数据的部分以将保持在第一被处理的数据的高光区域内的细节。在一些实施例中，块808的输出图像帧可以是高动态范围(HDR)图像帧。在一些实施例中，块808的输出图像帧可以是标准动态范围(SDR)图像帧。参照图9A和图9B描述了针对在确定块808的输出图像帧时使用的高光保持的示例算法。
如在图9A的示例实施例中，一个示例高光保持算法维持图像的比特宽度(bitwidth)。图9A示出了说明根据本公开内容的一些实施例的用于高光保持的图像处理技术的图表。来自第一组传感器元件(诸如，大的像素组)的原始信号902可能在高光区域中饱和。高光区域中的饱和导致将来自传感器元件的原始值钳制到值2^N-1，其中，N是传感器比特宽度(例如，10个比特或12个比特)。原始信号902的原始值可以被调整为被缩放的信号904，其中，针对被缩放的信号904的钳制值是(2^N-1)/M，其中，M是缩放比率(例如，1.5、2、3、4等)。缩放比率M可以基于两组传感器元件之间的灵敏度或从两组传感器元件捕获的信号的等效的曝光时间的比率。缩放比率M可以是如下的缩放比率：其足以使得高光区域之外的来自第一数据的原始信号和第二数据的高光区域的组合是以某个传感器比特宽度(诸如，原始信号902的比特宽度)可表示的。可以基于来自第二组传感器元件(诸如，小的像素组)的原始值来调整被缩放的信号904的高光区域。第二组传感器元件的不同灵敏度允许第二组传感器元件保持在高光区域中的细节。基于基于两个不同的灵敏度的对场景的两个表示的益处，在图9A中所示的被调整的被缩放的信号904相对于原始信号902具有改进的细节。在该实施例中，传感器输出比特宽度不变，因为被缩放的信号904的最大值保持低于原始信号902的最大值。基于被缩放的信号904的场景表示可以比基于原始信号902时暗。在一些实施例中，可以将色调映射算法应用于被缩放的信号904，以基于缩放比率来调整色调曲线，从而调整图像亮度以改进图像的外观。
如在图9B的示例实施例中，一个示例高光照保持算法增加图像的比特宽度。图9B示出了说明根据本公开内容的一些实施例的用于高光保持的图像处理技术的图表。来自第一组传感器元件(诸如，大的像素组)的原始信号914可能在高光区域中饱和912。高光区域中的饱和导致将来自传感器元件的原始值钳制到值2^N-1，其中，N是原始信号914的传感器比特宽度(例如，10个比特或12个比特)。可以基于来自第二组传感器元件(诸如，小的像素组)的原始值来调整(诸如，通过替换)原始信号914的高光区域。第二组传感器元件的不同灵敏度允许第二组传感器元件改进高光区域中的细节。基于基于两个不同的灵敏度的对场景的两个表示的益处，如在图9B中所示的具有在高光区域中的被恢复的信号916的原始信号914具有相比原始信号914的改进的细节。所得信号可以是具有大于原始信号914的比特宽度的比特宽度的HDR图像帧的部分。针对具有使用被恢复的信号916的被调整的高光区域的原始信号914的值范围以及对应的比特宽度是2^K-1，其中，K是HDR融合之后的比特宽度。
应当注意的是，可以将参照图4、5、6B、7和/或8描述的一个或多个块(或操作)与参照这些图中的另一图描述的一个或多个块(或操作)组合。例如，可以将图4的一个或多个块(或操作)与图7的一个或多个块(或操作)组合。作为另一示例，可以将与图5相关联的一个或多个块同与图8相关联的一个或多个块组合。作为另一示例，可以将与图4、5、6B、7和/或8相关联的一个或多个块同与图1、2和/或6A相关联的一个或多个块(或操作)组合。
在一个或多个方面中，用于支持图像信号处理的技术可以包括附加方面，诸如，在下文或结合本文在别处描述的一个或多个其它处理过程或设备描述的任何单个方面或任方面何组合。在第一方面中，支持图像处理可以包括被配置为诸如在图像捕获设备中捕获和/或处理图像数据的装置。装置可以包括根据在本文中描述的一个或多个实施例的分割像素图像传感器。另外，装置可以根据如下描述的一个或多个方面进行执行或进行操作。举例来说，装置可以执行包括接收图像数据的步骤，图像数据包括对应于利用第一灵敏度捕获对场景的第一表示的第一组传感器元件的第一数据、以及对应于利用不同于第一灵敏度的第二灵敏度捕获对场景的第二表示的第二组传感器元件的第二数据。在一些方面中，例如结合在下文描述的一或多个方面，从一个图像传感器并行地捕获第一数据和第二数据。在一些方面中，第一数据和第二数据包括颜色图案(诸如，大于拜耳图案的滤光片阵列(CFA)，其中此类CFA的示例是2x2 CFA、3x3 CFA、4x4 CFA、5x5 CFA、6x6 CFA、7x7 CFA、8x8CFA或NxN CFA)中的值。在一些方面中，第一组传感器元件和第二组传感器元件中的每一项可以具有相同的尺寸，使得第一组传感器元件和第二组传感器元件形成具有被暴露用于收集光的相同表面的均匀传感器元件阵列。在一些方面中，装置还可以包括：确定输出图像帧的输出动态范围；以及基于第一数据和第二数据中的至少一项以及基于所确定的输出动态范围来确定输出图像帧。在一些实现中，装置包括无线设备，诸如，用户设备(UE)或基站(BS)。在一些实现方案中，装置可以包括至少一个处理器、以及被耦合到处理器的存储器。处理器可以被配置为执行在本文关于装置描述的操作。在一些其它实现方案中，装置可以包括其上记录有程序代码的非暂时性计算机可读介质，并且程序代码可以由计算机可执行用于使计算机执行在本文参照装置描述的操作。在一些实现方案中，装置可以包括被配置为执行在本文描述的操作的一个或多个单元。在一些实现方案中，一种图像处理的方法可以包括在本文参照装置描述的一个或多个操作。
在第二方面中，结合第一方面，第一组传感器元件与中性密度(ND)滤光片相关联，所述中性密度滤光器被配置为减少到第一组传感器元件的入射光。
在第三方面中，结合第一方面或第二方面中的一个或多个，第一组传感器元件与第一电容相关联，第一电容大于与第二组传感器元件相关联的第二电容。
在第四方面中，结合第一方面到第三方面中的一个或多个，第二组传感器元件利用不同于第一组传感器元件的用于捕获第一数据的第一曝光时间的第二曝光时间捕获第二数据。
在第五方面中，结合第一方面至第四方面中的一个或多个，确定输出图像帧包括将第一数据与对应的第二数据合并以生成具有输出动态范围的输出图像帧，其中，输出动态范围高于第一数据的第一动态范围并且高于第二数据的第二动态范围。
在第六方面中，结合第一方面到第五方面中的一个或多个，确定输出图像帧包括：基于第一数据来生成对应于第二组传感器元件的替换数据；以及基于将第一数据和替换数据合并来确定第三数据，其中，输出图像帧是基于第三数据的。
在第七方面中，结合第一方面到第六方面中的一个或多个，确定输出图像帧进一步包括：基于第二数据来修改第三数据中的高光区域。
在第八方面中，结合第一方面到第七方面中的一个或多个，修改第三数据中的高光区域包括：基于第二数据来确定被缩放的第三数据，使得在高光区域外部的第三数据和在高光区域内部的第二数据是以第三数据的传感器比特宽度可表示的；以及用第二数据的对应部分替换被缩放的第三数据的高光区域。
在第九方面中，结合第一方面到第八方面中的一个或多个，修改第三数据中的高光区域包括：用第二数据的对应部分替换第三数据的高光区域。
在第十方面中，结合第一方面到第九方面中的一个或多个，接收第一数据包括通过第一浮动节点读出第一组传感器元件；并且其中接收第二数据包括通过第二浮动节点读出第二组传感器元件。
在第十一方面中，结合第一方面到第十方面中的一个或多个，所述装置还包括图像传感器，图像传感器包括第一组传感器元件和第二组传感器元件，其中，第一组传感器元件和第二组传感器元件包括表示大于拜耳图案的颜色滤光片阵列(CFA)的颜色图案的均匀传感器元件阵列。
在一个或多个方面中，用于支持图像信号处理的技术可以包括附加方面，诸如，在下文或结合本文在别处描述的一个或多个其它处理过程或设备描述的任何单个方面或任方面何组合。在第十二方面中，支持图像处理可以包括装置，装置具有：图像传感器，其包括第一组传感器元件和第二组传感器元件，其中，第一组传感器元件和第二组传感器元件包括表示大于拜耳图案的颜色滤光片阵列(CFA)的颜色图案的均匀传感器元件阵列；存储器，其存储处理器可读代码并且被耦合到图像传感器；以及至少一个处理器，其被耦合到存储器且被耦合到图像传感器。至少一个处理器可以被配置为执行处理器可读代码以使至少一个处理器执行包括以下各项的步骤：在至少部分地重叠的时间期间将从图像传感器捕获的第一数据和第二数据记录到存储器中，第一数据来自利用第一灵敏度捕获对场景的第一表示的第一组传感器元件，并且第二数据来自利用不同于第一灵敏度的第二灵敏度捕获对场景的第二表示的第二组传感器元件；确定输出图像帧的输出动态范围；以及基于输出动态范围以及基于第一数据和第二数据中的至少一项来确定输出图像帧。
在第十三方面中，结合第一方面至第十二方面中的一个或多个，装置还包括被耦合到第二组传感器元件的中性密度滤光片。
在第十四方面中，结合第一方面到第十三方面中的一个或多个，所述装置还包括图像传感器，图像传感器包括：第一浮动节点，其被耦合到第一组传感器元件；第二浮动节点，其被耦合到第二组传感器元件；以及可配置路径，其耦合第一浮动节点和第二浮动节点。
在第十五方面中，结合第一方面至第十四方面中的一个或多个，将第一数据和第二数据记录到存储器中包括：控制可配置路径以通过第一浮动节点记录第一数据；以及控制可配置路径以通过第二浮动节点记录第二数据。
在第十六方面中，结合第一方面到第十五方面中的一个或多个，图像传感器包括被耦合在第二浮动节点和第二组传感器元件之间的电容器。
本领域技术人员应当理解的是：可以使用多种不同的技术和技艺中的任一种来表示信息和信号。例如，在遍及上文的描述中提及的数据、指令、命令、信息、信号、比特、符号和码片可以通过电压、电流、电磁波、磁场或粒子、光场或粒子或者其任何组合来表示。
在本文中关于图1-9描述的组件、功能块和模块包括处理器、电子设备、硬件设备、电子组件、逻辑电路、存储器、软件代码、固件代码等，或者它们的任何组合。“软件”应当广义地被解释为意指指令、指令集、代码、代码段、程序代码、程序、子程序、软件模块、应用、软件应用、软件包、例程、子例程、对象、可执行文件、执行线程、过程和/或函数等，而无论被称为软件、固件、中间件、微代码、硬件描述语言还是其它。此外，在本文中讨论的特征可以经由专用处理器电路、经由可执行指令或其组合来实现。
技术人员还将意识到，结合本文的公开内容描述的各种说明性的逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件、或两者的组合。为了清楚地示出硬件和软件的这种可互换性，已经在其功能性方面大致描述了各种说明性组件、块、模块、电路和步骤。将这种功能性实现为硬件还是软件取决于具体的应用和对整个系统施加的设计约束。熟练技术人员可以针对每个特定应用以不同的方式实现所描述的功能，但是这样的实现方案决定不应被解释为导致背离本公开内容的范围。熟练技术人员还将容易地认识到：本文描述的组件、方法或交互的顺序或组合仅仅是示例，并且可以以本文示出和描述的方式以外的方式来组合或执行本公开内容的各个方面的组件、方法或交互。
结合在本文中公开的实现方案描述的各种说明性逻辑、逻辑块、模块、电路和算法过程可以被实现为电子硬件、计算机软件、或二者的组合。硬件和软件的互换性已在功能方面进行了一般性描述，并在上述各种说明性组件、块、模块、电路和过程中进行了说明。至于这样的功能是被实现在硬件还是软件中，取决于特定的应用以及施加在整个系统上的设计约束。
可以利用被设计为执行在本文中描述的功能的通用单芯片或者多芯片处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件或者其任意组合，来实现或执行被用以实现结合在本文中公开的各方面描述的各种说明性逻辑、逻辑块、模块和电路的硬件和数据处理装置。通用处理器可以是微处理器或任何常规的处理器、控制器、微控制器或状态机。在一些实现方案中，处理器可以被实现为计算设备的组合，诸如，DSP和微处理器的组合、多个微处理器、一个或多个微处理器结合DSP核、或者任何其它这样的配置。在一些实现方案中，可以由特定于给定功能的电路来执行特定过程和方法。
在一个或多个方面中，描述的功能可以是以硬件、数字电子电路、计算机软件、固件(包括本说明书中公开的结构和其结构等效物)，或以其任何组合来实现的。在本说明书中描述的主题的实现方案还可以被实现为一个或多个计算机程序(该一个或多个计算机程序是计算机程序指令的一个或多个模块)，其被编码在计算机存储介质上以由数据处理装置执行或者控制数据处理装置的操作。
如果以软件实现，则功能可以作为一个或多个指令或代码存储在计算机可读介质上或者通过计算机可读介质进行发送。可以以驻留在计算机可读介质上的处理器可执行软件模块来实现本文公开的方法或算法的过程。计算机可读介质包括计算机存储介质与通信介质两者，所述通信介质包括可以被启用以将计算机程序从一个地方发送到另一个地方的任何介质。存储介质可以是可以由计算机能够访问的任何可用介质。作为示例而非限制，这种计算机可读介质可以包括：随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、CD-ROM或其它光盘存储、磁盘存储或其它磁性存储设备、或可以用于以指令或数据结构的形式存储所需程序代码并且可以由计算机访问的任何其它介质。此外，任何连接被适当地称为计算机可读介质。如本文使用的磁盘和光盘包括：压缩光盘(CD)、激光盘、光盘、数字通用光盘(DVD)、软盘和蓝光盘，其中，磁盘通常磁性复制数据，而光盘用激光光学复制数据。上述的组合应当也被包括在计算机可读介质的范围内。另外，方法或算法的操作可以作为一个代码和指令集或者代码和指令集的任意组合，位于机器可读介质和计算机可读介质上，该机器可读介质和计算机可读介质可以并入到计算机程序产品中。
对在本公开内容中描述的实现方案的各种修改对于本领域技术人员来说是容易显而易见的，并且在不脱离本公开内容的精神或范围的情况下，在本文中定义的一般原理可以被应用于一些其它实现方案。因此，权利要求不旨在限于本文所示的实现方案，而是要符合与本公开内容、本文公开的原则和新颖性特征相一致的最宽范围。
另外，本领域普通技术人员将容易意识到：为了易于描述附图，有时使用术语“上”和“下”，并且术语“上”和“下”指示与在正确朝向的页面上附图的朝向对应的相对位置，并且可能不反映如实现的任何设备的正确朝向。
在本说明书中在单独实现方案的上下文中描述的某些特征也可以是在单个实现方案中组合地实现的。相反，在单个实现方案的上下文中描述的各种特征也可以是在多个实现方案中分别实现或者以任何合适的子组合实现的。此外，尽管特征可以在上文被描述为在某些组合中起作用并且甚至最初被这样要求保护，但是来自所要求保护的组合的一个或多个特征在一些情况下可以从该组合中被去除，并且所要求保护的组合可以针对子组合或子组合的变型。
类似地，虽然在附图中以特定的次序描绘了操作，但是这并不应当被理解为要求：这样的操作以所示出的特定次序或者以顺序次序被执行，或者所有示出的操作被执行以实现期望的结果。进一步地，附图可以以流程图的形式示意性地描绘了一个或多个示例处理过程。然而，未被描绘的其它操作可以被并入示意性地说明的示例处理过程中。例如，可以在任何示出的操作之前、之后、同时或之间执行一个或多个附加操作。在某些环境下，多任务处理和并行处理是有利的。此外，上述实现方案中的各种系统组件的分离不应被理解为在所有实现方案中都要求这种分离，并且应当理解，所描述的程序组件和系统一般可以一起被集成在单个软件产品中或被封装到多个软件产品中。另外，一些其它实现方案是在所附权利要求的范围内的。在一些情况下，在权利要求中记载的动作可以以不同顺序被执行并且仍然实现期望的结果。
如在本文中使用的，包括在权利要求中，术语“或”在用在两个或更多个项目的列表中时意味着：可以单独采用所列出的项目中的任何一个项目，或者可以采用所列出的项目中的两个或更多个项目的任何组合。例如，如果将组合物描述为包含组件A、B或C，则组合物可以包含：单独的A；单独的B；单独的C；A和B的组合；A和C的组合；B和C的组合；或A、B和C的组合。此外，如在本文中使用的，包括在权利要求中，如在以“中的至少一个”结尾的项目列表中使用的“或”指示析取性列表，使得例如“A、B或C中的至少一个”的列表是指A或B或C或AB或AC或BC或ABC(即，A和B和C)或者上述项的任何组合中的这些项中的任何项目。如本领域普通技术人员理解，术语“基本上”被定义为大部分但不必完全是被指定的内容(并且包括被指定的内容；例如，基本上90度包括90度，并且基本上平行包括平行)。在任何公开的实现方案中，术语“基本上”可以被替换为“在被指定的内容的[百分比]内”，其中，百分比包括0.1、1、5或10％。
提供本公开内容的先前描述以使本领域的任何技术人员能够制作或使用本公开内容。对本公开内容的各种修改对于本领域技术人员来说将是容易显而易见的，并且在本文中定义的一般原理可以被应用于其它变型而不背离本公开内容的精神或范围。因此，本公开内容并非旨在限于本文描述的示例和设计，而是要被赋予与本文公开的原理和新颖特征相一致的最广范围。

Claims (30)

1.一种方法，包括：
接收以第一灵敏度捕获的对应于场景的第一数据，所述第一数据由第一组传感器元件捕获；
接收以第二灵敏度捕获的对应于所述场景的第二数据，所述第二数据由第二组传感器元件捕获，其中，所述第一组传感器元件和所述第二组传感器元件形成以包括比拜耳图案大的包括颜色滤光片阵列(CFA)的颜色图案配置的均匀传感器元件阵列；
确定输出图像帧的输出动态范围；以及
基于所述输出动态范围以及所述第一数据和所述第二数据中的至少一项来确定输出图像帧。
2.根据权利要求1所述的方法，其中，所述第一组传感器元件与中性密度(ND)滤光片相关联，所述中性密度(ND)滤光片被配置为减少到所述第一组传感器元件的入射光。
3.根据权利要求1所述的方法，其中，所述第一组传感器元件与第一电容相关联，所述第一电容大于与所述第二组传感器元件相关联的第二电容。
4.根据权利要求1所述的方法，其中，所述第二组传感器元件利用不同于所述第一组传感器元件的用于捕获所述第一数据的第一曝光时间的第二曝光时间捕获所述第二数据。
5.根据权利要求1所述的方法，其中，确定所述输出图像帧包括将第一数据与对应的第二数据合并以生成具有所述输出动态范围的所述输出图像帧，其中，所述输出动态范围高于所述第一数据的第一动态范围并且高于所述第二数据的第二动态范围。
6.根据权利要求1所述的方法，其中，确定所述输出图像帧包括：
基于所述第一数据来生成对应于所述第二组传感器元件的替换数据；以及
基于将所述第一数据和所述替换数据合并来确定第三数据，其中，所述输出图像帧基于所述第三数据。
7.根据权利要求6所述的方法，其中，确定所述输出图像帧还包括：
基于所述第二数据来修改所述第三数据中的高光区域。
8.根据权利要求7所述的方法，其中，修改所述第三数据中的高光区域包括：
基于所述第二数据来确定被缩放的第三数据，使得在所述高光区域外部的第三数据和在所述高光区域内部的第二数据是以所述第三数据的传感器比特宽度可表示的；以及
用所述第二数据的对应部分替换所述被缩放的第三数据的高光区域。
9.根据权利要求7所述的方法，其中，修改所述第三数据中的高光区域包括：
用所述第二数据的对应部分替换所述第三数据的高光区域。
10.根据权利要求1所述的方法，其中，接收图像数据包括：
通过第一浮动节点读出所述第一组传感器元件；以及
通过第二浮动节点读出所述第二组传感器元件。
11.一种装置，包括：
存储处理器可读代码的存储器；以及
被耦合到所述存储器的至少一个处理器，所述至少一个处理器被配置为执行所述处理器可读代码以使所述至少一个处理器执行包括以下各项的步骤：
接收以第一灵敏度捕获的对应于场景的第一数据，所述第一数据由第一组传感器元件捕获；
接收以第二灵敏度捕获的对应于所述场景的第二数据，所述第二数据由第二组传感器元件捕获，其中，所述第一组传感器元件和所述第二组传感器元件形成以包括比拜耳图案大的包括颜色滤光片阵列(CFA)的颜色图案配置的均匀传感器元件阵列；
确定输出图像帧的输出动态范围；以及
基于所述输出动态范围以及基于所述第一数据和所述第二数据中的至少一项来确定输出图像帧。
12.根据权利要求11所述的装置，其中，所述第一组传感器元件与中性密度(ND)滤光片相关联，所述中性密度(ND)滤光片被配置为减少到所述第一组传感器元件的入射光。
13.根据权利要求11所述的装置，其中，所述第一组传感器元件与第一电容相关联，所述第一电容大于与所述第二组传感器元件相关联的第二电容。
14.根据权利要求11所述的装置，其中，所述第二组传感器元件利用不同于所述第一组传感器元件的用于捕获所述第一数据的第一曝光时间的第二曝光时间捕获所述第二数据。
15.根据权利要求11所述的装置，其中，确定所述输出图像帧包括将第一数据与对应的第二数据合并以生成具有所述输出动态范围的所述输出图像帧，其中，所述输出动态范围高于所述第一数据的第一动态范围并且高于所述第二数据的第二动态范围。
16.根据权利要求11所述装置，其中，确定所述输出图像帧包括：
基于所述第一数据来生成对应于所述第二组传感器元件的替换数据；以及
基于将所述第一数据和所述替换数据合并来确定第三数据，其中，所述输出图像帧基于所述第三数据。
17.根据权利要求16所述的装置，其中，确定所述输出图像帧还包括：
基于所述第二数据来修改所述第三数据中的高光区域。
18.根据权利要求17所述的装置，其中，修改所述第三数据中的高光区域包括：
基于所述第二数据来确定被缩放的第三数据，使得在所述高光区域外部的第三数据和在所述高光区域内部的第二数据是以所述第三数据的传感器比特宽度可表示的；以及
用所述第二数据的对应部分替换所述被缩放的第三数据的高光区域。
19.根据权利要求17所述的装置，其中，修改所述第三数据中的高光区域包括：
用所述第二数据的对应部分替换所述第三数据的高光区域。
20.根据权利要求11所述的装置，其中，接收所述第一数据包括通过第一浮动节点读出所述第一组传感器元件；并且其中，接收所述第二数据包括通过第二浮动节点读出所述第二组传感器元件。
21.根据权利要求11所述的装置，还包括图像传感器，所述图像传感器包括所述第一组传感器元件和所述第二组传感器元件，其中，所述第一组传感器元件和所述第二组传感器元件包括表示大于拜耳图案的颜色滤光片阵列(CFA)的所述颜色图案的所述均匀传感器元件阵列。
22.一种装置，包括：
图像传感器，其包括第一组传感器元件和第二组传感器元件，其中，所述第一组传感器元件和所述第二组传感器元件包括表示大于拜耳图案的颜色滤光片阵列(CFA)的颜色图案的均匀传感器元件阵列；
存储器，其存储处理器可读代码并且被耦合到图像传感器；以及
至少一个处理器，其被耦合到所述存储器并且被耦合到所述图像传感器，所述至少一个处理器被配置为执行所述处理器可读代码以使所述至少一个处理器执行包括以下各项的步骤：
在至少部分地重叠的时间期间将从所述图像传感器捕获的第一数据和第二数据记录到所述存储器中，所述第一数据来自利用第一灵敏度捕获对场景的第一表示的所述第一组传感器元件，并且所述第二数据来自利用不同于所述第一灵敏度的第二灵敏度捕获对所述场景的第二表示的所述第二组传感器元件；
确定输出图像帧的输出动态范围；以及
基于所述输出动态范围以及基于所述第一数据和所述第二数据中的至少一项来确定输出图像帧。
23.根据权利要求22所述的装置，还包括被耦合到所述第二组传感器元件的中性密度滤光片。
24.根据权利要求22所述的装置，其中，所述图像传感器包括：
被耦合到所述第一组传感器元件的第一浮动节点；
被耦合到所述第二组传感器元件的第二浮动节点；以及
耦合所述第一浮动节点和所述第二浮动节点的可配置路径。
25.根据权利要求24所述的装置，其中，将所述第一数据和所述第二数据记录到所述存储器中包括：
控制所述可配置路径以通过所述第一浮动节点记录所述第一数据；以及
控制所述可配置路径以通过所述第二浮动节点记录所述第二数据。
26.根据权利要求24所述的装置，其中，所述图像传感器包括被耦合在所述第二浮动节点和所述第二组传感器元件之间的电容器。
27.一种存储指令的非暂时性计算机可读介质，所述指令在由处理器执行时使所述处理器执行操作，所述操作包括：
接收以第一灵敏度捕获的对应于场景的第一数据，所述第一数据由第一组传感器元件捕获；
接收以第二灵敏度捕获的对应于所述场景的第二数据，所述第二数据由第二组传感器元件捕获，其中，所述第一组传感器元件和所述第二组传感器元件形成以包括比拜耳图案大的包括颜色滤光片阵列(CFA)的颜色图案配置的均匀传感器元件阵列；
确定输出图像帧的输出动态范围；以及
基于所述输出动态范围以及基于所述第一数据和所述第二数据中的至少一项来确定输出图像帧。
28.根据权利要求27所述的非暂时性计算机可读介质，其中，确定所述输出图像帧包括将所述第一数据与对应的第二数据合并以生成具有所述输出动态范围的所述输出图像帧，其中，所述输出动态范围高于所述第一数据的第一动态范围并且高于所述第二数据的第二动态范围。
29.根据权利要求27所述的非暂时性计算机可读介质，其中，确定所述输出图像帧包括：
基于所述第一数据来生成对应于所述第二组传感器元件的替换数据；
基于将所述第一数据和所述替换数据合并来确定第三数据，其中，所述输出图像帧基于所述第三数据；以及
基于所述第二数据来修改所述第三数据中的高光区域。
30.根据权利要求29所述的非暂时性计算机可读介质，其中，修改所述第三数据中的高光区域包括：
基于所述第二数据来确定被缩放的第三数据，使得在所述高光区域外部的第三数据和在所述高光区域内部的第二数据是以所述第三数据的传感器比特宽度可表示的；以及
用所述第二数据的对应部分替换所述被缩放的第三数据的高光区域。
CN202280076326.5A 2021-11-22 2022-10-20 用于高动态范围（hdr）摄影中的并行帧捕获的图像传感器和数据处理 Pending CN118251899A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/456,117 2021-11-22
US17/456,117 US12101563B2 (en) 2021-11-22 2021-11-22 Image sensor and data processing for parallel frame capture in high dynamic range (HDR) photography
PCT/US2022/078441 WO2023091838A1 (en) 2021-11-22 2022-10-20 Image sensor and data processing for parallel frame capture in high dynamic range (hdr) photography

Publications (1)

Publication Number Publication Date
CN118251899A true CN118251899A (zh) 2024-06-25

Family

ID=84362762

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280076326.5A Pending CN118251899A (zh) 2021-11-22 2022-10-20 用于高动态范围（hdr）摄影中的并行帧捕获的图像传感器和数据处理

Country Status (6)

Country Link
US (1) US12101563B2 (zh)
EP (1) EP4437738A1 (zh)
KR (1) KR20240112832A (zh)
CN (1) CN118251899A (zh)
TW (1) TW202327344A (zh)
WO (1) WO2023091838A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12058460B2 (en) 2022-06-24 2024-08-06 Omnivision Technologies, Inc. High dynamic range CMOS image sensor pixel with reduced metal-insulator-metal lateral overflow integration capacitor lag
US11736833B1 (en) * 2022-06-24 2023-08-22 Omnivision Technologies, Inc. High dynamic range CMOS image sensor pixel with reduced metal-insulator-metal lateral overflow integration capacitor lag

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8081234B2 (en) 2004-12-29 2011-12-20 Intel Corporation Technique for increased exposure range in image sensors
US9571763B2 (en) 2014-01-10 2017-02-14 Omnivision Technologies, Inc. Split pixel high dynamic range sensor
US10638054B2 (en) 2017-01-25 2020-04-28 Cista System Corp. System and method for visible and infrared high dynamic range sensing
US11527569B2 (en) 2020-05-18 2022-12-13 Omnivision Technologies, Inc. High dynamic range split pixel CMOS image sensor with low color crosstalk

Also Published As

Publication number Publication date
KR20240112832A (ko) 2024-07-19
TW202327344A (zh) 2023-07-01
EP4437738A1 (en) 2024-10-02
WO2023091838A1 (en) 2023-05-25
US20230164447A1 (en) 2023-05-25
US12101563B2 (en) 2024-09-24

Similar Documents

Publication Publication Date Title
CN118251899A (zh) 用于高动态范围（hdr）摄影中的并行帧捕获的图像传感器和数据处理
CN118435618A (zh) 利用传感器内变焦的高动态范围（hdr）摄影
WO2023164422A1 (en) Multi-frame auto exposure control (aec)
US20230412922A1 (en) Dynamic image capture device configuration for improved image stabilization
US11582405B1 (en) Image data processing using non-integer ratio transforming for color arrays
US20240267634A1 (en) Compensation techniques for diffraction patterns caused by an aperture of an image capture device
US20240331084A1 (en) Image processing with single interpolation operation for de-mosaicing and warping
US20240121516A1 (en) Separate exposure control for pixel sensors of an image sensor
US20240022827A1 (en) High dynamic range (hdr) photography using multiple frame rates
EP4454288A1 (en) High dynamic range (hdr) photography with in-sensor zoom
US20240185390A1 (en) Fusion of image frames for high dynamic range content
WO2024021057A1 (en) Dynamic image sensor configuration for improved image stabilization in an image capture device
US20240193789A1 (en) Selective motion distortion correction within image frames
WO2023216089A1 (en) Camera transition for image capture devices with variable aperture capability
US20240354910A1 (en) Cascade image processing for noise reduction
US20240303779A1 (en) Image processing with adjustable bokeh effect
US20240163569A1 (en) Image correction using one-dimensional correction factors
WO2024124395A1 (en) Temporal filtering for motion distortion correction
WO2023178656A1 (en) Multi-camera alignment using region of interest (roi) refinement
KR20240153979A (ko) 멀티-프레임 자동 노출 제어(aec)
JP2024525344A (ja) ノイズ低減のためのカスケード画像処理
WO2024226226A1 (en) Improved high dynamic range photography
WO2023250261A1 (en) Dynamic image capture device configuration for improved image stabilization
CN118235422A (zh) 图像捕获设备中减少的时延模式切换
CN118871946A (zh) 使用感兴趣区域（roi）细化的多相机对齐

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination