CN110476414A - 控制系统和图像传感器 - Google Patents

控制系统和图像传感器 Download PDF

Info

Publication number
CN110476414A
CN110476414A CN201880022623.5A CN201880022623A CN110476414A CN 110476414 A CN110476414 A CN 110476414A CN 201880022623 A CN201880022623 A CN 201880022623A CN 110476414 A CN110476414 A CN 110476414A
Authority
CN
China
Prior art keywords
pixel
sense signals
data
sensor
focus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880022623.5A
Other languages
English (en)
Other versions
CN110476414B (zh
Inventor
维亚切斯拉夫·切斯诺科夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ARM
Original Assignee
Apical Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apical Ltd filed Critical Apical Ltd
Publication of CN110476414A publication Critical patent/CN110476414A/zh
Application granted granted Critical
Publication of CN110476414B publication Critical patent/CN110476414B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/585—Control of the dynamic range involving two or more exposures acquired simultaneously with pixels having different sensitivities within the sensor, e.g. fast or slow pixels or pixels having different sizes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)

Abstract

一种用于图像捕获设备的控制系统。所述控制系统包括图像传感器，所述图像传感器包括分别包括至少两个子像素的传感器像素。第一多个所述传感器子像素和第二多个所述传感器子像素分别按第一曝光和第二曝光而捕获第一像素数据和第二像素数据。图像处理器接收从所述传感器子像素的第一集合导出的图像数据，所述第一集合包括所述第一多个所述传感器子像素中的子像素和所述第二多个所述传感器子像素中的子像素。基于所述图像数据，所述图像处理器生成表示输出图像的至少一部分的输出数据。焦点控制器接收从所述传感器子像素的第二集合导出的焦点数据，所述传感器子像素的第二集合包括所述第一多个所述传感器子像素中的至少两个。基于所述焦点数据，所述焦点控制器生成用于调节所述图像捕获设备的焦点的控制信号。其他实施例涉及图像传感器。

Description

控制系统和图像传感器
技术领域
本发明涉及用于图像捕获设备的各种图像传感器和控制系统。
背景技术
已知在诸如移动电话相机或数字相机这样的图像捕获设备中包括图像传感器以捕获图像。已知的图像传感器可用于捕获高动态范围(HDR)图像。
已知的图像传感器使用一些传感器像素来按短曝光时间而捕获图像并且使用其他传感器像素以长曝光时间来捕获图像。使用短曝光时间捕获的图像通常包括场景的明亮部分中或在光亮条件下的细节，如果使用长曝光时间来捕获，则细节可能会饱和或者过度曝光。相比之下，使用长曝光时间捕获的图像通常包括场景的黑暗部分中或在黑暗条件下的细节，如果使用短曝光时间来捕获，则细节可能不存在。短曝光图像和长曝光图像然后被组合以生成HDR图像。
为了增强使用图像传感器捕获的图像的图像质量，可适当地调节包括或者耦合到图像传感器的图像捕获设备的焦点，使得图像在图像传感器的平面中焦点对准。已知使用称为相位检测自动聚焦(PDAF)的过程来控制图像捕获设备的焦点。可以通过比较由光电传感器在不同位置处获得的光强度或辉度(luminance)图案来执行PDAF。如果图像捕获设备焦点对准，则图案匹配。图案之间的差异指示图像捕获设备焦点没有对准并且应该相应地调节图像捕获设备的焦点。
期望提供一种图像传感器以及一种与图像传感器一起使用的控制系统，该图像传感器和该控制系统提供对图像捕获设备的焦点的改进控制，特别是但不排他地当正在捕获较高质量的HDR图像时。
附图说明
另外的特征将从仅作为实施例给出的以下描述中变得显而易见，参考附图做出以下描述。
图1是根据实施例的用于图像捕获设备的实施例控制系统的示意图示；
图2是根据实施例的图像传感器的示意图示；
图3是根据另一实施例的图像传感器的示意图示；
图4是根据又一的实施例的图像传感器的示意图示；
图5是根据再一实施例的图像传感器的示意图示；
图6是根据另一实施例的图像传感器的示意图示；
图7是根据另一实施例的用于图像捕获设备的另一示例控制系统的示意图示；
图8是根据实施例的图像传感器的示意图示；
图9是根据另一实施例的用于图像捕获设备的又一示例控制系统的示意图示；
图10是根据又另一实施例的用于图像捕获设备的再一示例控制系统的示意图示；以及
图11是示意性地图示根据实施例的控制系统的内部组件的框图。
具体实施方式
参考图，实施例的细节将从以下描述中变得显而易见。在本说明书中，出于说明的目的，阐述了某些实施例的许多具体细节。在本说明书中对“一个实施例”或类似语言的引用意味着连同该实施例一起描述的特定特征、结构或特性被包括在至少该一个实施例中，但是不一定在其他实施例中。应该进一步注意的是，某些实施例被示意性地描述，同时为了易于说明和理解作为实施例基础的构思，某些特征被省略和/或必定简化。
本文描述的第一实施例提供一种用于图像捕获设备的控制系统。所述控制系统包括：图像传感器，所述图像传感器包括传感器像素阵列；图像处理器；以及焦点控制器。使用从所述传感器像素阵列的某些子像素导出的数据，所述图像处理器可生成表示输出图像的至少一部分的输出数据。使用从所述传感器像素阵列的某些其他子像素(其可以是相同的或者包括由所述图像处理器使用的所述子像素中的至少一些)导出的数据，所述焦点控制器可生成用于调节所述图像捕获设备的焦点的控制信号。
所述第一实施例的图像传感器结合所述控制系统因此允许既捕获图像又控制所述图像捕获设备的焦点，例如利用对所述图像捕获设备的焦点的改进控制。这可改进所捕获的图像的质量，如将在下面详细地说明的。
第二实施例涉及一种具有第一类型的传感器像素和第二不同类型的传感器像素的图像传感器。所述第一类型的传感器像素可被用于与所述第二类型的传感器像素不同的目的。例如，所述第一类型的传感器像素可被用于显示或者输出给用户的图像的捕获。相比之下，所述第二类型的传感器像素可用于调节耦合到或者包括所述图像传感器的图像捕获设备的焦点。因此，类似于所述第一实施例，所述第二实施例也可用于改进对所述图像捕获设备的焦点的控制，并且因此改进由所述图像传感器捕获的图像的质量。
第三实施例涉及用于图像捕获设备的另一控制系统。所述另一控制系统包括焦点控制器，所述焦点控制器被配置为接收基于来自彼此不同的曝光的至少两个传感器子像素的像素数据的焦点数据。曝光通常取决于图像捕获设备的快门速度(以及因此所述图像传感器被暴露于光的时间，有时称为曝光时间)和所述图像捕获设备的特性(诸如所述图像捕获设备的孔径(或光圈)的大小)的组合，所述图像捕获设备的孔径(或光圈)控制入射在所述图像传感器上的光量和/或所述图像捕获设备的增益。在所述图像捕获设备的特性保持恒定或不变的情况下，所述曝光因此可以与所述曝光时间成比例。因此，在本文中对曝光差异的引用也可以指示曝光时间差异。例如，彼此不同的曝光的两个传感器子像素可以具有彼此不同的曝光时间。
所述焦点控制器可生成用于基于所述焦点数据来调节所述图像捕获设备的焦点的控制信号。通过使用基于不同曝光的传感器子像素的焦点数据，将改进所述焦点数据它本身的质量。例如，这允许使用较短曝光的传感器子像素来针对明亮条件捕获详细图像，并且使用较长曝光的传感器子像素来针对黑暗条件捕获图像，以及使用较短曝光的传感器子像素和较长曝光的传感器子像素的组合来针对适度明亮条件或具有变化的明亮和黑暗区域的场景捕获详细图像。根据这些详细图像，可准确地计算所述焦点将被调节的程度，从而改进由所述图像捕获设备的图像传感器捕获的所述图像的质量。
图1示意性地示出用于图像捕获设备(未示出)的实施例控制系统100。如上所述，图像捕获设备可以例如是移动电话或智能电话相机、独立数码相机、耦合到或者并入在另一个电子设备中的数码相机或计算机。
控制系统100包括图像传感器102。图像传感器102包括传感器像素阵列。传感器像素阵列的传感器像素分别包括至少两个子像素。关于图2至图6和图8示意性地示出并描述实施例传感器像素阵列。传感器像素可以是用于捕获图像的任何适合的光电传感器。例如，典型的传感器像素包括诸如光电二极管这样的光敏元件，所述光电二极管可将入射光转换成电子信号或数据。传感器像素可以例如是电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)。
在诸如这个的实施例中的图像传感器包括滤色器阵列，所述滤色器阵列包括滤色器元件的图案。滤色器元件对应于传感器像素阵列的各个传感器像素。例如，滤色器阵列可以被认为形成马赛克或重复图案。滤色器元件通常允许特定颜色的光透过到所对应的传感器像素。以这种方式，滤色器阵列允许传感器像素阵列的不同的传感器像素接收不同颜色的入射光，从而允许捕获全色图像。因为典型的光电传感器对传入光的波长不敏感，所以典型的传感器像素将不能在没有滤色器阵列的情况下从所检测到的光中提供颜色信息。然而，通过使用滤色器阵列来将传入光分成与不同颜色相对应的不同波长范围，可探知这些不同波长范围内的光的强度，从而允许确定这种颜色信息。
应当领会的是，颜色可以指代光的波长的任何范围。例如，清晰、透明或白色滤色器元件然而在该滤色器元件允许可见光谱中的这些特定波长(诸如全部或基本上全部波长)被透射到底层传感器像素的意义上可以被认为是滤色器元件。在其他实施例中，滤色器元件中的一些或全部可以是非白色滤色器元件。
传感器像素的子像素可以对应于同一滤色器元件或者被同一滤色器元件重叠。例如，连续的滤色器元件可以重叠或者覆盖同一传感器像素的两个子像素。然而，在其他实施例中，传感器像素的每个或一些子像素可以具有单独的滤色器元件。但是，通常，传感器像素的子像素具有彼此相同的滤色器元件。另外，传感器像素的子像素通常彼此相邻或邻近。子像素通常(但不总是)具有单独的光电传感器并且可以是独立地可控的。例如，在图1中，第一多个传感器子像素104被配置为以第一曝光来捕获第一像素数据，而第二多个传感器子像素106被配置为以与第一曝光不同的第二曝光来捕获第二像素数据。
因此，在诸如图1这样的实施例中，第一多个传感器子像素104可以是独立于第二多个传感器子像素106可操作的。在这样的情况下，第一多个传感器子像素104和第二多个传感器子像素106的图案可以取决于图像传感器的构造。例如，第一多个传感器子像素104可以连接到第一控制线(在图1中未示出)并且可经由第一控制线(在图1中未示出)控制，而第二多个传感器子像素106可以连接到与第一控制线不同的第二控制线并且可经由与第一控制线不同的第二控制线控制。在其他实施例中，第一多个传感器子像素104和/或第二多个传感器子像素106的单独的子像素或子像素组可以连接到单独的控制线并且可经由单独的控制线控制。这可提供对图像传感器的增加控制，但是可能要求附加处理能力或存储器空间以及控制电路的增加复杂性。
图1的图像传感器102具有传感器子像素的第一集合108和传感器子像素的第二集合110。传感器子像素的第一集合108包括第一多个传感器子像素104的子像素和第二多个传感器子像素106的子像素。传感器子像素的第二集合110包括第一多个传感器子像素106中的至少两个。因此，传感器子像素的第一集合108包括被配置为以两个不同的曝光来捕获像素数据的子像素，然而传感器子像素的第二集合110包括被配置为以彼此相同的曝光来捕获像素数据的子像素。
可以电子地或在硬件中控制或者设置传感器子像素的曝光。例如，曝光可以取决于传感器子像素的尺寸，其中较大传感器子像素与较小传感器子像素相比具有较长曝光。在其他实施例中，例如在均匀大小的传感器子像素的情况下，可以通过控制在传感器子像素前面的机械快门的打开和关闭电子地确定曝光。可替代地，可以使用电子快门电子地控制曝光，例如通过计算由传感器子像素在可控时间段内接收的信号。
控制系统100还包括图像处理器112。图像处理器112被配置为接收从传感器像素的第一集合108导出的图像数据114，并且基于该图像数据114，生成表示输出图像的至少一部分的输出数据116。
输出图像可以是高动态范围图像。因为图像数据114是从传感器像素的第一集合108导出的，所述传感器像素的第一集合108包括第一多个传感器子像素104和第二多个传感器子像素106的传感器子像素，这些传感器子像素被布置为以两个不同的曝光来捕获像素数据，所以可在黑暗条件或图像区域和明亮条件或图像区域两者中捕获细节。例如，图像数据114可以包括第一子图像数据和第二子图像数据，所述第一子图像数据表示从第一多个传感器子像素104的子像素接收的数据，所述第二子图像数据表示从第二多个传感器子像素106的子像素接收的数据。光的辉度例如表示通过某个面积的光量或光子的量或数量，所述某个面积诸如以下各项中的至少一个的面积：第一多个传感器子像素104的子像素或第二多个传感器子像素106的子像素。
在这样的情况下，第一子图像数据和第二子图像数据对输出数据的相对贡献可以取决于由以下各项中的至少一个捕获的光的辉度：第一多个传感器子像素104的子像素或第二多个传感器子像素106的子像素。例如，可以使用以下公式来计算针对与相同颜色(其在这种情况下是绿色)的滤色器元件相对应的两个传感器子像素的第一子图像数据和第二子图像数据对输出数据的相对贡献：
其中G0是与绿色滤色器元件相对应的传感器子像素的输出强度，α是遮罩参数，G1是由与第一多个传感器像素(具有第一曝光)的绿色滤色器元件相对应的传感器子像素捕获的光的强度，G2是由与第二多个传感器像素(具有第二曝光)的绿色滤色器元件相对应的传感器子像素捕获的光的强度，并且R是曝光比率，其等于第二曝光时间除以第一曝光时间。在图像捕获设备的属性(诸如孔径大小和/或增益)在捕获第一子图像数据与捕获第二子图像数据之间不变的情况下，也可以将曝光比率表达为第二曝光除以第一曝光。可以类似地计算与其他滤色器元件相对应的传感器子像素的输出强度。
遮罩参数可以是函数，例如G1和/或G2的平滑变化函数。可以凭经验或在算法上计算此函数。例如，α的值可以依靠增加由具有较长曝光的传感器子像素捕获的光强度而逐渐地增加。
在其他实施例中，遮罩参数可以依靠诸如G1和/或G2这样的其他参数而取多个值中的一个。例如，如果第一曝光比第二曝光短，则在G2大于可由具有第二曝光的传感器子像素捕获的最大光量的90％的情况下α可以等于1，否则α可以等于0。在这种情况下，对于明亮条件G0＝G1(换句话说，由具有较短曝光的传感器子像素捕获的光的强度被用于输出强度)，而对于黑暗条件G0＝G2(换句话说，由具有较长曝光的传感器子像素捕获的光的强度被用于输出强度)。
因此，总而言之，在第一曝光比第二曝光短的情况下并且在由第二多个传感器子像素中的子像素捕获的光的辉度等于或高于辉度阈值的情况下，可以基于第一子图像数据来生成输出数据，所述第一子图像数据例如是由具有第一曝光的第一多个传感器子像素捕获的数据。相反地，在第一曝光比第二曝光短的情况下并且在由第二多个传感器子像素中的子像素捕获的光的辉度低于辉度阈值的情况下，可以基于第二子图像数据来生成输出数据，所述第二子图像数据例如是由具有第二曝光的第二多个传感器子像素捕获的数据。辉度阈值可以例如取决于可由具有第一曝光或第二曝光的传感器子像素捕获的光的强度或辉度；在以上实施例中，辉度阈值是可由第二多个传感器子像素捕获的最大辉度的90％。可以在实验上或者使用理论计算来确定辉度阈值。
因此，从传感器子像素的第一集合导出的图像数据可以不包括第一子图像数据和第二子图像数据两者。相反，可以做出关于图像数据是基于第一子图像数据或第二子图像数据还是第一子图像数据和第二子图像数据两者的组合的确定。
图1的控制系统100还包括焦点控制器118。焦点控制器118被配置为接收从传感器子像素的第二集合110导出的焦点数据120，并且基于该焦点数据120，生成用于调节图像捕获设备的焦点的控制信号122。如上所述，传感器子像素的第二集合110包括第一多个传感器子像素104中的至少两个，其被配置为以第一曝光来捕获第一像素数据。换句话说，控制信号122是基于具有彼此相同的曝光的多个传感器子像素来生成的。
焦点控制器可以是用于基于相位检测自动聚焦过程来调节图像捕获设备的焦点的相位检测自动聚焦(PDAF)控制器。例如，焦点数据120可以包括来自沿着轴线(诸如水平轴线)分开的第一多个传感器子像素104的两个传感器子像素的数据。如上所述，可以通过比较由光电传感器在不同位置处(例如沿着轴线，诸如水平轴线)获得的光强度或辉度图案来执行PDAF。如果图像捕获设备焦点对准，则图案将是相同的。如果在图案之间存在差异，则这指示图像捕获设备焦点没有对准。基于此确定，可相应地调节图像捕获设备的焦点，例如通过更改透镜相对于图像传感器102的位置。
利用诸如图1的控制系统100这样的控制系统，图像捕获设备可用于捕获HDR图像(例如使用传感器子像素的第一集合)以及被适当地聚焦(使用传感器子像素的第二集合)。这可改进由图像捕获设备捕获的图像的质量，从而允许获得焦点对准HDR图像。
第一集合和第二集合的传感器子像素可以重叠。换句话说，第一多个传感器子像素中的一些传感器子像素可以属于第一集合和第二集合两者。利用此布置，重叠传感器子像素可以既用于HDR图像捕获又用于聚焦程序，从而消除对于用于计算图像捕获设备的焦点的专用像素的需要。这意味着可同时地或基本上同时地执行HDR图像捕获和聚焦。这在图像捕获设备用于捕获视频图像的情况下可以是有益的，所述视频图像可以包括一系列图像，其中每个图像对应于视频的帧。例如，如果焦点控制器被配置为随着图像处理器被配置为接收图像数据而基本上同时地接收焦点数据，则可在图像处理器正在继续生成输出数据的同时实现聚焦过程。例如，可能不需要首先调节焦点并随后捕获图像以进行显示或输出。替代地，当图像捕获设备正在继续使用图像传感器来捕获图像数据时，可例如通过移动透镜来调节焦点。在这样的情况下，图像数据可以包括焦点数据。例如，可以获得图像数据并且可将图像数据(诸如与第一多个中的至少两个传感器子像素相对应的图像数据)的全部或部分的副本作为焦点数据发送到焦点控制器。
如应领会的是，在其他实施例中，图像捕获设备可以用于捕获静止图像。在这样的情况下，至于视频捕获，可以在获得图像之前调节焦点或者聚焦和图像捕获过程可以基本上同时地发生。
各种不同的结构和/或构造的图像传感器可以与图1的控制系统或诸如要在下面参考图7、图9和图10描述的那些这样的其他控制系统一起使用。图2示意性地示出了用于图像传感器的一个这样适合的结构的实施例。为了清楚，在图2的图像传感器中省略了传感器像素和传感器子像素中的一些。
图2的图像传感器202包括多个传感器像素124，其中的一些被标记在图中。在图2的实施例中，每个传感器像素124与各个滤色器元件对应并包括两个传感器子像素126，其中的两个被标记在图中。因此，在图2中，传感器像素124的传感器子像素126中的每一个均分别与颜色彼此相同的滤色器元件对应。图2中标记的两个传感器子像素126各自分别与绿色滤色器元件(在图中用“G”指示)对应。其他传感器像素的传感器子像素与其他滤色器元件对应，其中红色滤色器元件在图中用“R”指示并且蓝色滤色器元件在图中用“B”指示。在诸如图2这样的实施例中，滤色器元件的图案可以包括滤色器元件的至少一个组。例如，图案可以通过重复滤色器元件组而形成。在这种情况下，滤色器元件的至少一个组包括一红色滤色器元件、一蓝色滤色器元件和两个绿色滤色器元件，但是在其他实施例中其他组是可能的。图2中的滤色器阵列因此对应于拜耳图案。每个组可以与必要的传感器像素对应以获得适合质量的全色输出图像。
在图2的图像传感器202中第一多个传感器子像素中的传感器子像素无阴影。相比之下，在图2中第二多个传感器像素的传感器子像素被画阴影。因此，如可从图中看到的，图2是图像传感器的实施例，其中第一多个传感器子像素位于至少一个第一阵列列中，并且第二多个传感器子像素位于与至少一个第一阵列列不同的至少一个第二阵列列中。在图2中，第一多个传感器子像素位于第一阵列列C1、第四阵列列C4、第五阵列列C5和第八阵列列C8中，并且第二多个传感器子像素位于第二阵列列C2、第三阵列列C3、第六阵列列C6和第七阵列列C7中。因此，这是第一多个传感器子像素位于两个相邻的第一阵列列中并且第二多个传感器子像素位于两个相邻的第二阵列列中的实施例，所述两个相邻的第一阵列列中的一个与所述两个相邻的第二阵列列中的一个相邻。
在图2的实施例中，所有图示的传感器子像素都属于传感器子像素的第一集合。因此，图2是第一多个传感器子像素中的至少两个包括同一传感器像素的两个传感器子像素的布置的实施例。例如由于与同一滤色器元件相对应的长曝光子像素和短曝光子像素之间的较小距离，这可进一步改进HDR图像捕获的准确性。
在图2的实施例中传感器子像素的子集属于传感器子像素的第二集合。因此，传感器子像素的第一集合在此实施例中包括传感器子像素的第二集合的第一多个传感器子像素中的至少两个。第二集合的传感器子像素在图2中是环状的并且包括第一对传感器子像素128a和第二对传感器子像素128b。第一对传感器子像素128a是第二多个传感器像素(具有第二曝光)的，并且第二对传感器子像素128b是第一多个传感器像素(具有第一曝光)的。第一对128a和第二对128b的子像素中的每一个均分别与颜色彼此相同的滤色器元件相关联，所述滤色器元件在此实施例中是绿色滤色器以使亮度最大化以用于焦点数据的生成，但是在其他实施例中其他颜色是可能的。第二集合的传感器子像素的第一对128a和第二对128b用于生成焦点数据。例如，作为PDAF过程的一部分可将从第一对128a的左部子像素获得的强度数据与从第一对128a的右部子像素获得的强度数据相比较，以确定图像捕获设备的成像系统是否焦点对准并因此生成焦点数据。也可类似地比较使用第二对128b的左部和右部子像素获得的强度数据以进一步探知图像捕获设备的焦点。将在下面参考图7详细地描述焦点数据的生成。
如可从图2中看到的，在此实施例中，包括传感器子像素的第一对128a和第二对128b的传感器子像素的第二集合包括在水平方向上与第二子像素相邻的第一传感器子像素。例如，第一对128a和第二对128b的左部和右部传感器子像素在水平方向上各自是对应于颜色彼此相同的且曝光彼此相同的滤色器元件的最接近的两个传感器子像素。通过在第二集合中包括相邻的传感器子像素，对于焦点数据的生成，与在第二集合的传感器子像素之间存在较大距离的其他情况相比较，可改进聚焦程序的准确性。在此实施例中，不管第一对128a的左部和右部传感器子像素对应于彼此不同的传感器像素，第一对128a的(以及因此第二集合的)传感器子像素然而分别对应于颜色彼此相同的滤色器元件，其在此实施例中是绿色滤色器元件(但是在其他实施例中其他颜色是可能的)。
在诸如图2这样的实施例中，传感器子像素的第二集合包括第一阵列行和第一阵列列中的第一传感器子像素以及第二阵列行和第二阵列列中的第二传感器子像素，其中第一阵列行与第二阵列行相邻并且第一阵列列与第二阵列列相邻。第一对128a的传感器子像素相对于彼此处于这样的位置中，例如相对于彼此具有对角线偏移。
在图3中图示了具有不同的图案但是具有传感器子像素的第二集合的第一对228a的类似地偏移的子像素的另一图像传感器302。在图3中图示了传感器子像素的第二集合的第二对228b。因此，在图3中，传感器子像素的第二集合包括第一对228a和第二对228b。如在图2中一样，传感器子像素的第一集合包括所有图示的传感器子像素并且因此传感器子像素的第二集合是第一集合的子集。类似地图示了与图2的对应特征类似的图3的特征，但是为了清楚省略了一些附图标记。
图3的图像传感器302与图2的图像传感器类似但具有属于第一多个和第二多个的传感器子像素的不同图案。如在图2中一样，在图3中第一多个传感器子像素无阴影并且第二多个传感器子像素被画阴影。
在诸如图3这样的实施例中，传感器像素阵列包括第一多个传感器子像素中的传感器子像素与第二多个传感器子像素中的传感器子像素交替的第一阵列列。这样的实施例中的传感器像素阵列还可以包括第一多个传感器子像素中的传感器子像素与第二多个传感器子像素中的传感器子像素交替的第二阵列列，第二阵列列与第一阵列列相邻，并且其中第一阵列列的第一多个传感器像素的传感器子像素与第二阵列列的第二多个传感器像素的传感器子像素相邻，以及其中第一阵列列的第二多个传感器像素的传感器子像素与第二阵列列的第一多个传感器像素的传感器子像素相邻。图3的第三阵列列C3和第四阵列列C4分别是第一阵列列和第二阵列列的实施例。这些实施例中的传感器像素阵列可以附加地包括：与第二阵列列相邻的第三阵列列，所述第三阵列列包括第一多个传感器子像素中的传感器子像素；以及与第三阵列列相邻的第四阵列列，所述第四阵列列包括第二多个传感器子像素中的传感器子像素。图3的第五阵列列C5和第六阵列列C6分别是第三阵列列和第四阵列列的实施例。
图4示出具有属于第一多个和第二多个的传感器子像素的不同图案的图像传感器402的另一个实施例。类似地图示了与图2的对应特征类似的
图4的特征，但是为了清楚省略了一些附图标记。如在图2和图3中一样，在图4中第一多个传感器子像素无阴影并且第二多个传感器子像素被画阴影。
在图4中，第一多个传感器子像素位于与第二多个传感器子像素的阵列列交替的阵列列中。传感器子像素的第一集合包括所有图示的传感器子像素。传感器子像素的第二集合包括传感器对子像素(其中的每一个是环状的)的第一对128a。利用此结构，第一对128a的传感器子像素(其是第二集合的一部分)不再彼此相邻。在此实施例中，第一对128a的传感器子像素是与同一滤色器元件相对应并且曝光彼此相同的最接近的传感器子像素。
图5示出具有传感器子像素的不同图案的图像传感器502的又一个实施例。类似地图示了与图2的对应特征类似的图5的特征，但是为了清楚省略了一些附图标记。如在图2至图4中一样，在图5中第一多个传感器子像素无阴影并且第二多个传感器子像素被画阴影。
诸如图5的图像传感器这样的图像传感器包括传感器像素阵列，所述传感器像素阵列的传感器像素包括至少两个子像素。传感器像素阵列的第一类型130的传感器像素包括被配置为以第一曝光来捕获第一像素数据的第一传感器子像素132和被配置为以与第一曝光不同的第二曝光来捕获第二像素数据的第二传感器子像素134。传感器像素阵列的与第一类型的传感器像素不同的第二类型136的传感器像素包括第三传感器子像素138和第四传感器子像素140，所述第三传感器子像素138被配置为以第三曝光来捕获第三像素数据，所述第四传感器子像素140被配置为以第三曝光来捕获第四像素数据。
第一类型130的传感器像素可以被用于图像捕获，例如用于如上所述的HDR图像捕获。第一曝光可以比第二曝光短，例如使得第一传感器子像素132可用于在明亮条件下捕获图像并且使得第二传感器子像素134可用于在黑暗条件下捕获图像。这可允许获得具有较大动态范围的图像。
第二类型136的传感器像素可以被用于聚焦，例如使用如上面所说明的PDAF过程。第三传感器子像素138和第四传感器子像素140的第三曝光可以与第一曝光和第二曝光中的一个或两个不同或相同。例如，第三曝光可以等于第一曝光，或者例如如果第一曝光相对短并且第二曝光相对长，则第三曝光可以比第一曝光长并比第二曝光短。在图3的实施例中，第三曝光等于第一曝光，并且因此第一子像素132、第三子像素138和第四子像素140全部是第一多个传感器子像素的。在图5中第二子像素134是第二多个传感器子像素的。
在图5的实施例中，类似于图2至图4，图像传感器502包括包含滤色器元件的图案的滤色器阵列，滤色器元件对应于所述多个传感器像素的各个传感器像素。滤色器元件的图案包括滤色器元件的至少一个组，在图5中多个组。图5中的滤色器的组各自包括一红色滤色器元件、一蓝色滤色器元件和两个绿色滤色器元件。在诸如图5这样的实施例中，绿色滤色器元件对应于第二类型136的传感器像素以增加针对PDAF过程捕获的光的辉度。但是，在其他实施例中，不同类型的滤色器元件可以对应于第二类型的传感器像素。此外，每个传感器子像素可以包括各个滤色器元件而不是每个传感器像素有一个滤色器元件。
第二类型136的传感器像素通常是图像传感器的传感器像素的子集。第二类型136的传感器像素可以按照任何适合的图案或布置分布在整个图像传感器中。图6示意性地图示图像传感器602中的第二类型136的传感器像素的实施例布置。在诸如图6这样的实施例中，传感器像素阵列的至少85％、90％或95％是第一类型130的(为了清楚，在图6中未示出)。在这样的情况下，第二类型136的传感器像素的量可能仍然足以准确地计算并调节图像捕获设备的焦点。第二类型136的传感器像素可以基本上均匀地分布在传感器像素阵列中，例如其中第二类型136的邻近传感器像素之间的距离变化小于10％。图6示出这样的实施例。
图7是根据另一实施例的用于图像捕获设备的另一个实施例控制系统的示意图示。与图1的对应特征类似的图7的特征标记有相同的附图标记但是递增了100。对应描述应被视为适用。
图7的实施例控制系统700包括焦点控制器718和图像传感器702。图像传感器702例如与参考图5和图6描述的图像传感器502、602相同或类似。
在一些实施例中，焦点控制器718被配置为接收从第二类型136的传感器像素导出的焦点数据720，并且基于该焦点数据720，生成用于调节图像捕获设备的焦点的控制信号。例如，焦点控制器718可以类似于焦点控制器118并且可以是用于基于PDAF过程来调节图像捕获设备的焦点的PDAF控制器。
然而，在其他实施例(诸如图7的实施例)中，焦点控制器718被配置为接收从第三类型144的传感器像素导出的进一步的焦点数据142并且基于焦点数据720或进一步的焦点数据142中的至少一个来生成控制信号。
在图8中示意性地图示了具有第三类型的传感器像素的实施例图像传感器。图8的图像传感器802类似于图6的图像传感器602，但是包括第一类型130的传感器像素、第二类型136的传感器像素和第三类型144的传感器像素。图8的第一类型130和第二类型136的传感器像素与图6的第一类型130和第二类型136的传感器像素相同，并且因此标记有相同的附图标记。
在诸如图8这样的实施例中，传感器像素阵列的第三类型的传感器像素包括第五传感器子像素146和第六传感器子像素148，所述第五传感器子像素146被配置为以第四曝光来捕获第五像素数据，所述第六传感器子像素148被配置为以第四曝光来捕获第五像素数据。第四曝光不同于第二类型136的传感器像素的第三传感器子像素138和第四传感器子像素140的第三曝光。在图8的实施例中，第四曝光等于(第一类型130的传感器像素的第二子像素134的)第二曝光。然而，在其他实施例中，第四曝光可以与第一曝光和/或第二曝光不同。
类似于图6的图像传感器602，图8的图像传感器802包括包含滤色器元件的图案的滤色器阵列，滤色器元件对应于所述多个传感器像素的各个传感器像素。在图8中，绿色滤色器元件对应于第三类型144的传感器像素。但是，在其他实施例中，第三类型的传感器像素可以与不同颜色的滤色器元件对应或者第三类型的不同的传感器像素可以与不同颜色的滤色器元件对应。
返回参考图7，由焦点控制器718生成控制信号可以基于指示图像捕获设备的焦点特性的焦点特性数据。例如，焦点特性可以指示图像捕获设备是否焦点对准。控制信号然后可以是转移到图像捕获设备以更改或者调节图像捕获设备的组件(诸如透镜)以基于焦点特性数据来补偿所计算出的图像捕获设备的焦点的信号。
焦点特性数据的生成可以涉及针对由用于第二类型的传感器像素并且类似地用于第三类型的传感器像素(如果图像传感器包括第三类型的传感器像素)的一对传感器子像素中的每个传感器子像素所捕获的光的光强度图案的比较。该比较例如涉及确定对由每对传感器子像素捕获的强度图案的分离误差的确定，所述分离误差通常表示由通常位于不同水平位置中的传感器子像素中的每一个捕获的强度图案之间的差异。分离误差将取决于图像捕获设备的焦点而不同。如果图像捕获设备焦点对准，则分离误差将为零，并且该一对传感器子像素中的每一个的强度图案将是相同的。相反地，如果透镜的位置使得图像聚焦在传感器子像素前面，则与如果透镜的位置使得图像聚焦在传感器子像素后面相比将有不同的(非零)分离误差。因此，根据分离误差，可生成控制信号以适当地移动透镜以便透镜使图像聚焦在传感器子像素的位置处。因此，焦点特性数据可以表示或者指示分离误差。
焦点数据720和进一步的焦点数据142对焦点特性数据的相对贡献可以取决于由以下各项中的至少一种捕获的光的辉度：第二类型的传感器像素或第三类型的传感器像素。类似于参考图1描述的图像数据114的生成，通过使用从第二类型的传感器子像素和第三类型的传感器子像素以两个不同的曝光来捕获的焦点数据720或进一步的焦点数据142来选择性地计算焦点特性数据，可在黑暗图像区域和明亮图像区域两者中准确地计算焦点特性数据以及控制信号。
在第三曝光比第四曝光短的实施例中，可以基于焦点数据720来生成焦点特性数据722，其中由第三类型的传感器像素捕获的光的辉度等于或高于辉度阈值。在这样的实施例中，可以基于进一步的焦点数据142来生成焦点特性数据722，其中由第三类型的传感器像素捕获的光的辉度低于辉度阈值。例如，辉度阈值可以对应于第二类型的传感器像素(具有比第三类型的传感器像素短的曝光)开始饱和的转变。换句话说，在辉度阈值以下，可以通过第二类型的传感器像素捕获细节。在辉度阈值以上，第二类型的传感器像素可能饱和，但是可通过具有较长曝光的第三类型的传感器像素来捕获细节。因此，辉度阈值可以例如取决于可由分别为第二类型和第三类型的具有第三曝光或第四曝光的传感器像素捕获的光的强度或辉度。例如，辉度阈值可以在实验上被确定，并且例如可以是可由第三类型的传感器像素捕获的最大辉度的90％。
图7的控制系统700还包括图像处理器712，所述图像处理器712接收从第一类型130的传感器子像素导出的图像数据716。图像处理器712可以类似于图1的图像处理器112并且在此实施例中被配置为基于图像数据716来生成表示输出图像的至少一部分的输出数据716。输出数据716的生成可以类似于上面参考图1描述的输出数据116的生成。在其他实施例中，控制系统可以不包括图像处理器。例如，图像处理器可以是单独的控制系统的一部分或者可以被省略。
尽管在这里参考图7的控制系统700描述进一步的焦点数据142的生成，然而应领会的是，可以针对不同的控制系统(例如，包括不同于图7的图像传感器702的图像传感器的控制系统)类似地计算进一步的焦点数据。例如，可以用图9的另一实施例控制系统900生成进一步的焦点数据，图9的另一实施例控制系统900可以与诸如图2至图6的图像传感器202、302、402、502、602这样的图像传感器一起使用。与图1的对应特征类似的图9的特征标记有相同的附图标记但是递增了100；对应描述应被视为适用。
在图9中，除了传感器子像素的第一集合908和传感器子像素的第二集合910之外，图像传感器902还包括传感器子像素的第三集合150。传感器子像素的第三集合具有与第一多个传感器子像素的第一曝光不同的第三曝光。在诸如图9的实施例这样的实施例中，第三曝光等于第二曝光，因为传感器子像素的第三集合150包括第二多个传感器子像素906中的至少两个。例如，第二多个传感器子像素906中的至少两个可以包括第二多个906中的成对水平相邻的传感器子像素，以改进焦点控制程序的准确性。但是，在其他实施例中，图像传感器可以包括具有第三曝光的第三多个传感器子像素，其中第三曝光与第一曝光和第二曝光不同。
图9的控制系统900从传感器子像素的第三集合150接收进一步的焦点数据942并且基于焦点数据920(从传感器子像素的第二集合910导出)或进一步的焦点数据942中的至少一个来生成控制信号。进一步的焦点数据942可以类似于参考图7描述的进一步的焦点数据142并且可以被以类似的方式利用来生成控制信号。例如，焦点控制器918可以被配置为基于指示焦点特性的特性数据来生成控制信号，焦点数据920和进一步的焦点数据942对焦点特性数据的相对贡献取决于由传感器子像素的第二集合910或传感器子像素的第三集合150中的至少一个所捕获的光的辉度。在第一曝光比第三曝光短的情况下，可以在由传感器子像素910的第三集合捕获的光的辉度等于或高于辉度阈值的情况下基于焦点数据920来生成焦点特性数据。在这样的情况下，可以在由传感器子像素的第三集合910捕获的光的辉度低于辉度阈值的情况下基于进一步的焦点数据942来生成焦点特性。
图10示出用于图像捕获设备的控制系统1000的又一个实施例。图10的控制系统1000包括图像传感器1002。图像传感器1002包括传感器像素阵列，所述传感器像素阵列的传感器像素分别包括至少两个传感器子像素。第一多个传感器子像素1004被配置为以第一曝光来捕获第一像素数据并且第二多个传感器子像素1006被配置为以与第一曝光不同的第二曝光来捕获第二像素数据。在下面进一步描述图像传感器1002的结构。
图10的控制系统1000还包括焦点控制器1018。焦点控制器1018接收基于以下各项的焦点数据(在图10中未示出)：第一多个传感器子像素1004中的至少两个的第一像素数据152和第二多个传感器子像素1006中的至少两个的第二像素数据154。焦点控制器1018被进一步配置为生成用于调节图像捕获设备的焦点的控制信号1022。控制信号1022可以类似于参考图1和图9描述的信号。
通过使用曝光彼此不同的第一多个传感器子像素1004和第二多个传感器子像素1006，可在明亮条件和黑暗条件两者下准确地生成焦点数据。第一像素数据和第二像素数据对焦点数据的相对贡献可以取决于由第一多个传感器子像素1004中的至少两个中的至少一个或第二多个传感器子像素1006中的至少两个中的至少一个所捕获的光的辉度。例如，在第一曝光比第二曝光短的情况下，第一像素数据152由于由第一多个传感器子像素1004中的至少两个中的至少一个所捕获的光的第一辉度而对焦点数据的第一相对贡献可以小于第一像素数据152由于由第一多个传感器子像素1004中的至少两个中的至少一个所捕获的光的第二辉度而对焦点数据的第二相对贡献，第二辉度大于第一辉度。
在其他实施例中，焦点控制器1018被配置为基于第一像素数据152和第二像素数据154来导出焦点数据。导出焦点数据可以包括选择第一像素数据152和第二像素数据154中的一个以获得选择的像素数据并且基于所选择的像素数据来生成焦点数据。可以依靠由第一多个传感器子像素1004中的至少两个中的至少一个或第二多个传感器子像素1006中的至少两个中的至少一个所捕获的光的辉度而选择第一像素数据152和第二像素数据152中的一个。例如，可以由于由第二多个传感器子像素1006中的至少两个中的至少一个所捕获的光的辉度等于或高于辉度阈值而选择第一像素数据152，并且由于由第二多个传感器子像素1006中的至少两个中的至少一个所捕获的光的辉度低于辉度阈值而选择第二像素数据154。这可以是第二曝光比第一曝光长的情况。辉度阈值可以如先前所描述的并且可以对应于可由第二多个传感器子像素1006中的一个捕获的最大辉度的约90％或90％。
在其他实施例中，可以选择第一像素数据152和第二像素数据154中的一个，或者可以基于要由图像传感器1002捕获的场景中的运动(诸如要由焦点控制器1018进行焦点确定的场景中的对象的运动)来确定第一像素数据152和第二像素数据154对焦点数据的相对贡献。例如，在第一多个传感器子像素1004中的至少两个的第一曝光比第二多个传感器子像素1006中的至少两个的第二曝光短的情况下，可以针对具有相对大的运动量或者具有等于或高于阈值运动量的运动的场景选择第一像素数据152。相反地，可以针对具有较少运动或者具有低于阈值运动量的运动的场景选择第二像素数据154。以这种方式，可以适当地选择焦点数据，例如将按较短曝光时间而获得的第一像素数据152用于聚焦在快速移动的对象或场景上。类似地，以较长曝光时间而获得的并且因此与按较短曝光时间来捕获的第一像素数据152相比遭受较少噪声的第二像素数据154可被用于聚焦在不动的或不太移动的对象或场景上。
如技术人员应领会的，可以使用任何适合的方法来计算图像中的运动量。例如，可以通过将第一像素数据152(具有较短曝光时间)与第二像素数据154(具有较长曝光时间)相比较来确定运动量。在实施例中，可以依照以下等式来执行运动量与阈值运动量的比较：
|F1R-F2|＜Δ
其中F1是第一像素数据152(具有比用于第二像素数据154的第二曝光短的第一曝光)，R是如上面所定义的曝光比率，其等于第二曝光时间除以第一曝光时间，F2是第二像素数据154并且Δ是噪声阈值，例如是具有较短曝光的第一多个传感器子像素1004的传感器子像素的预期噪声。在这些实施例中，如果通过曝光比率补偿的第一多个传感器子像素1004中的至少一个的像素值(通过第一像素数据152来表示)与第二多个传感器子像素中的至少一个的像素值(通过第二像素数据154来表示)之间的差异低于第一多个传感器子像素1004的传感器子像素的预期噪声，则图像可以被认为是相对静态的或非移动的。在这样的情况下，可以选择第二像素数据154。相反地，如果所计算出的运动量等于或大于噪声阈值Δ，则可以选择第一像素数据152。
在另一实施例中，第一像素数据152和第二像素数据154对焦点数据的相对贡献可以取决于由第二多个传感器子像素中的至少两个中的一个所捕获的光的辉度和图像中的运动量两者。可以将这样的实施例中的第一像素数据152和第二像素数据154对焦点数据的相对贡献的计算、概括为：
FO＝(1-α)F1+αF2
其中F0是焦点数据，F1是第一像素数据152，F2是第二像素数据154(具有比第二曝光短的第一曝光)，并且其中如果第二多个传感器子像素中的至少两个的传感器子像素的强度大于阈值强度，诸如可由具有第二曝光的第二多个传感器子像素捕获的最大光量的90％；或者如果由图像捕获设备捕获的场景或场景的一部分中的运动量等于或者超过阈值量，则α等于0。否则，α等于1。
在另一实施例中，可以不同地计算第一像素数据152和第二像素数据154对焦点数据的相对贡献。例如，α可以是基于第一像素数据152和/或第二像素数据154的函数，诸如平滑变化函数。
返回参考图像传感器1002的结构，第一多个传感器子像素1004和第二多个传感器子像素1006可以类似于参考图1描述的第一多个传感器子像素104和第二多个传感器子像素106。因此，图像传感器1002可以类似于图1的图像传感器102或图2至图6的图像传感器202、302、402、502、602。例如，如参考图2和图3所描述的，第一传感器像素可以包括第一多个传感器子像素1004中的至少两个中的一个，第二传感器像素可以包括第一多个传感器子像素1004中的至少两个中的一个，第三传感器像素可以包括第二多个传感器子像素1006中的至少两个中的一个，并且第四传感器像素可以包括第二多个传感器子像素1006中的至少两个中的一个。
在实施例中，如参考图2和图3所描述的，第一多个传感器子像素1004中的至少两个可以包括第一阵列行和第一阵列列中的第一传感器子像素以及第二阵列行和第二阵列列中的传感器子像素，其中第一阵列行与第二阵列行相邻并且第一阵列列与第二阵列行相邻。在这些实施例中，第二多个传感器子像素1006中的至少两个可以包括第二阵列行和第三阵列列中的第三传感器子像素以及第一阵列行和第四阵列列中的第四传感器子像素，第三阵列列与第二阵列列相邻并且第四阵列列与第三阵列列相邻。
在其他实施例中，图像传感器1002可以类似于图8的图像传感器802，其中第一多个传感器子像素1004对应于第二类型136的传感器像素并且第二多个传感器像素1006对应于第三类型144的传感器像素的传感器子像素。在这样的情况下，第一传感器像素可以包括第一多个传感器子像素1004中的至少两个并且/或者第二传感器像素可以包括第二多个传感器子像素1006中的至少两个。
不管图10的图像传感器1002类似于图2至图6的图像传感器还是类似于图8的图像传感器，第一多个传感器子像素1004中的至少两个都可以彼此相邻。此外，第二多个传感器子像素1006中的至少两个可以彼此相邻。
图像传感器1002可以包括包含滤色器元件的图案的滤色器阵列，滤色器元件对应于所述多个传感器像素的各个传感器像素。第一多个传感器子像素1004中的至少两个可以对应于颜色彼此相同的传感器子像素，例如可以是绿色滤色器元件。类似地，第二多个传感器子像素1006中的至少两个可以对应于颜色彼此相同的传感器子像素，其也可以是绿色滤色器元件。
图10的图像传感器1000还可以包括图像处理器，诸如图1的图像处理器112，但是图像处理器在一些情况下可以不存在，或者被形成为与图像传感器1000分开的组件。
图11是示意性地图示根据实施例的控制系统(诸如分别参考图1、图7、图9和图10描述的控制系统100、700、900、1000)的内部组件的框图。图11示出包括控制系统1100的系统。控制系统1100包括用于从图像捕获设备160中检索数据的图像捕获设备接口158。尽管图11的控制系统1100被示出为与图像捕获设备160分开但是耦合到图像捕获设备160，然而在其他实施例中控制系统1100和图像捕获设备160可以被集成在一个设备中。
图像捕获设备160通常包括包含传感器像素阵列的图像传感器，诸如上述的图像传感器。来自图像捕获设备1100的数据因此可以包括来自传感器像素或传感器子像素的图像数据、焦点数据和/或像素数据。图像捕获设备接口158可以包括软件和/或硬件组件。
图11的实施例中的控制系统1100的存储装置162存储在图像捕获设备接口158处接收的数据。存储装置162可以包括易失性存储器(诸如随机存取存储器(RAM))和非易失性存储器(诸如只读存储器(ROM)或诸如闪速存储器这样的固态驱动器(SSD))中的至少一个。实施例中的存储装置162可以包括另外的存储设备，例如磁、光学或磁带介质、光盘(CD)、数字通用盘(DVD)或其他数据存储介质。存储装置162可以从控制系统1100或图像捕获设备160可移除或不可移除(其中控制系统1100被集成在图像捕获设备160中)。
至少一个处理器164通信地耦合到存储装置162。图11的实施例中的至少一个处理器164可以包括微处理器、通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他可编程逻辑器件、分立门或晶体管逻辑、分立硬件组件，或其被设计来执行本文描述的功能的任何适合的组合。处理器还可以作为计算设备的组合(例如，DSP和微处理器的组合)、多个微处理器、结合DSP核心的一个或多个微处理器或任何其他这样的配置被实现。
图11的实施例中的存储装置162可以包括计算机程序指令，所述计算机程序指令被配置为当由至少一个处理器164处理时，实现图像处理器和/或焦点控制器，诸如以上实施例中描述的那些。计算机程序指令可以被存储在可访问的非暂时性计算机可读介质中并加载到存储器(例如存储装置162)中，以实现图像处理器和/或焦点控制器。
图11的实施例中的系统156的组件使用系统总线166来互连。这允许在各个组件之间转移数据。例如，由根据实施例的图像处理器生成的输出数据可被存储在存储器162中并且随后经由系统总线166被从存储装置162发送到显示设备接口168以转移到显示设备170以进行显示。显示设备接口168可以包括显示端口和/或内部电子接口，例如其中控制系统1100和显示设备170是图像捕获设备160的一部分，诸如智能电话或数码相机的显示屏幕。因此，当由至少一个处理器164经由显示设备接口168指示时，显示设备170可以基于输出数据来显示输出图像的至少一部分。
以上实施例将被理解为说明性实施例。设想了另外的实施例。在上面参考图1描述的实施例中，第一子图像数据和第二子图像数据对输出数据的相对贡献可以取决于由以下各项中的至少一个捕获的光的辉度：第一多个传感器子像素104的子像素或第二多个传感器子像素106的子像素。在其他类似的实施例中，第一子图像数据和第二子图像数据对输出数据的相对贡献可以附加地或可替代地取决于要由图像捕获设备捕获的图像或场景的全部或部分中的运动量。在这种情况下，可以类似于参考图10描述的第一像素数据和第二像素数据对焦点数据的相对贡献的计算来计算第一子图像数据和第二子图像数据对输出数据的相对贡献。
应当理解的是，关于任何一个实施例描述的任何特征可以被单独或者与所描述的其他特征相结合地使用，并且也可以被与任何其他实施例或任何其他实施例的任何组合的一个或多个特征相结合地使用。此外，在不脱离所附权利要求的范围的情况下，也可以采用上面未描述的等同和修改。
依照以下编号的条款描述另外的实施例：
1.一种用于图像捕获设备的控制系统，所述控制系统包括：
图像传感器，所述图像传感器包括：
传感器像素阵列，所述传感器像素阵列的传感器像素分别包括至少两个子像素；以及
滤色器阵列，所述滤色器阵列包括滤色器元件的图案，滤色器元件对应于所述传感器像素阵列的各个传感器像素，其中：
第一多个所述传感器子像素被配置为以第一曝光来捕获第一像素数据；并且
第二多个所述传感器子像素被配置为以与所述第一曝光不同的第二曝光来捕获第二像素数据；
图像处理器，所述图像处理器被配置为：
接收从所述传感器子像素的第一集合导出的图像数据，所述第一集合包括：
所述第一多个所述传感器子像素中的子像素；和
所述第二多个所述传感器子像素中的子像素；并且
基于所述图像数据，生成表示输出图像的至少一部分的输出数据；以及
焦点控制器，所述焦点控制器被配置为：
接收从所述传感器子像素的第二集合导出的焦点数据，所述第二集合包括所述第一多个所述传感器子像素中的至少两个；并且
基于所述焦点数据，生成用于调节所述图像捕获设备的焦点的控制信号。
2.根据条款1所述的控制系统，其中，所述焦点控制器是用于基于相位检测自动聚焦过程来调节所述图像捕获设备的焦点的相位检测自动聚焦控制器。
3.根据条款1或条款2所述的控制系统，其中，所述焦点控制器被进一步配置为：
从具有与所述第一曝光不同的第三曝光的所述传感器子像素的第三集合接收另外的焦点数据；并且
基于所述焦点数据或所述另外的焦点数据中的至少一个来生成所述控制信号。
4.根据条款3所述的控制系统，其中，所述第三集合包括所述第二多个所述传感器子像素中的至少两个，并且其中，所述第三曝光等于所述第二曝光。
5.根据条款3或条款4所述的控制系统，其中，所述焦点控制器被配置为基于指示焦点特性的焦点特性数据来生成所述控制信号，
所述焦点数据和所述另外的焦点数据对所述焦点特性数据的相对贡献取决于由以下各项中的至少一个捕获的光的辉度：
所述传感器子像素的第二集合；或
所述传感器子像素的第三集合。
6.根据条款5所述的控制系统，其中，所述第一曝光比所述第三曝光短，并且
在由所述传感器子像素的第二集合捕获的光的辉度等于或高于辉度阈值的情况下，基于所述焦点数据来生成所述焦点特性数据；以及
在由所述传感器子像素的第二集合捕获的光的辉度低于所述辉度阈值的情况下，基于所述另外的焦点数据来生成所述焦点特性数据。
7.根据条款1至6中任一项所述的控制系统，其中，所述输出图像是高动态范围图像。
8.根据条款1至7中任一项所述的控制系统，其中，所述图像数据包括：
第一子图像数据，所述第一子图像数据表示从所述第一多个所述传感器子像素中的子像素接收的数据；以及
第二子图像数据，所述第二子图像数据表示从所述第二多个所述传感器子像素中的子像素接收的数据，
所述第一子图像数据和所述第二子图像数据对所述输出数据的相对贡献取决于由以下各项中的至少一个捕获的光的辉度：
所述第一多个所述传感器子像素中的子像素；或
所述第二多个所述传感器子像素中的子像素。
9.根据条款8所述的控制系统，其中，所述第一曝光比所述第二曝光短，并且
在由所述第二多个所述传感器子像素中的子像素捕获的光的辉度等于或高于辉度阈值的情况下，基于所述第一子图像数据来生成所述输出数据；以及
在由所述第二多个所述传感器子像素中的子像素捕获的光的辉度低于所述辉度阈值的情况下，基于所述第二子图像数据来生成所述输出数据。
10.根据条款1至9中任一项所述的控制系统，其中，所述焦点控制器被配置为随着所述图像处理器被配置为接收所述图像数据而基本上同时地接收所述焦点数据。
11.根据条款1至10中任一项所述的控制系统，其中，所述图像数据包括所述焦点数据。
12.根据条款1至11中任一项所述的控制系统，其中，所述传感器子像素的第二集合包括：
与第二传感器子像素相邻的第一传感器子像素。
13.根据条款1至12中任一项所述的控制系统，其中，所述传感器子像素的第二集合包括：
第一阵列行和第一阵列列中的第一传感器子像素；以及
第二阵列行和第二阵列列中的第二传感器子像素，
所述第一阵列行与所述第二阵列行相邻，并且
所述第一阵列列与所述第二阵列列相邻。
14.根据条款1至13中任一项所述的控制系统，其中，所述第一多个所述传感器子像素位于至少一个第一阵列列中并且所述第二多个所述传感器子像素位于与所述至少一个第一阵列列不同的至少一个第二阵列列中。
15.根据条款1至14中任一项所述的控制系统，其中，所述第一多个所述传感器子像素位于两个相邻的第一阵列列中并且所述第二多个所述传感器子像素位于两个相邻的第二阵列列中，
所述两个相邻的第一阵列列中的一个与所述两个相邻的第二阵列列中的一个相邻。
16.根据条款1至12中任一项所述的控制系统，其中，所述传感器像素阵列包括：
第一阵列列，其中：
所述第一多个所述传感器子像素中的传感器子像素与所述第二多个所述传感器子像素中的传感器子像素交替；
第二阵列列，其中：
所述第一多个所述传感器子像素中的传感器子像素与所述第二多个所述传感器子像素中的传感器子像素交替，所述第二阵列列与所述第一阵列列相邻，并且其中所述第一阵列列的所述第一多个所述传感器像素的传感器子像素与所述第二阵列列的所述第二多个所述传感器像素的传感器子像素相邻，以及其中所述第一阵列列的所述第二多个所述传感器像素的传感器子像素与所述第二阵列列的所述第一多个所述传感器像素的传感器子像素相邻；
与所述第二阵列列相邻的第三阵列列，包括：
所述第一多个所述传感器子像素中的传感器子像素；以及
与所述第三阵列列相邻的第四阵列列，包括：
所述第二多个所述传感器子像素中的传感器子像素。
17.根据条款1至16中任一项所述的控制系统，其中，所述传感器子像素的第一集合包括所述传感器子像素的第二集合的所述第一多个所述传感器子像素中的至少两个。
18.根据条款1至17中任一项所述的控制系统，其中，所述第一多个所述传感器子像素中的所述至少两个包括同一传感器像素的两个传感器子像素。
19.根据条款1至18中任一项所述的控制系统，其中，所述滤色器元件的图案包括滤色器元件的至少一个组，所述滤色器元件的至少一个组包括一红色滤色器元件、一蓝色滤色器元件和两个绿色滤色器元件。
20.根据条款1至19中任一项所述的控制系统，其中，所述传感器子像素的第二集合的每个传感器子像素分别对应于颜色彼此相同的滤色器元件。
21.根据条款20所述的控制系统，其中，所述传感器子像素的第二集合的每个传感器子像素分别对应于绿色滤色器元件。
22.一种图像传感器，所述图像传感器包括：
传感器像素阵列，所述传感器像素阵列的传感器像素包括至少两个传感器子像素，其中：
所述传感器像素阵列的第一类型的传感器像素包括：
第一传感器子像素，所述第一传感器子像素被配置为以第一曝光来捕获第一像素数据；以及
第二传感器子像素，所述第二传感器子像素被配置为以与所述第一曝光不同的第二曝光来捕获第二像素数据；并且
所述传感器像素阵列的与所述第一类型的传感器像素不同的第二类型的传感器像素包括：
第三传感器子像素，所述第三传感器子像素被配置为以第三曝光来捕获第三像素数据；以及
第四传感器子像素，所述第四传感器子像素被配置为以所述第三曝光来捕获第四像素数据。
23.根据条款22所述的图像传感器，其中，所述第三曝光等于所述第一曝光。
24.根据条款22所述的图像传感器，其中，所述第三曝光比所述第一曝光长并比所述第二曝光短。
25.根据条款22至24中任一项所述的图像传感器，其中，所述第一曝光比所述第二曝光短。
26.根据条款22至25中任一项所述的图像传感器，包括滤色器阵列，所述滤色器阵列包括滤色器元件的图案，滤色器元件对应于所述传感器像素阵列的各个传感器像素。
27.根据条款26所述的图像传感器，其中，绿色滤色器元件对应于所述第二类型的传感器像素。
28.根据条款26或条款27所述的图像传感器，其中，所述滤色器元件的图案包括滤色器元件的至少一个组，所述滤色器元件的至少一个组包括一红色滤色器元件、一蓝色滤色器元件和两个绿色滤色器元件。
29.根据条款22至28中任一项所述的图像传感器，其中，所述传感器像素阵列的第三类型的传感器像素包括：
第五传感器子像素，所述第五传感器子像素被配置为以第四曝光来捕获第五像素数据；以及
第六传感器子像素，所述第六传感器子像素被配置为以所述第四曝光来捕获第六像素数据，其中，所述第四曝光与所述第三曝光不同。
30.根据条款29所述的图像传感器，其中，所述第四曝光等于所述第二曝光。
31根据条款29的图像传感器，当从属于条款26至28或条款30中任一项时，当从属于条款26至28中任一项时，其中，绿色滤色器元件对应于所述第三类型的传感器像素。
32.根据条款22至31中任一项所述的图像传感器，其中，所述传感器像素阵列的至少85％、90％或95％是所述第一类型的。
33.根据条款22至32中任一项所述的图像传感器，其中，所述第二类型的传感器像素基本上均匀地分布在所述传感器像素阵列中。
34.一种用于图像捕获设备的控制系统，所述控制系统包括：
焦点控制器；以及
根据条款22至33中的任何一项所述的图像传感器。
35.根据条款34所述的控制系统，其中，所述焦点控制器被配置为：
接收从所述第二类型的传感器像素导出的焦点数据；并且
基于所述焦点数据，生成用于调节所述图像捕获设备的焦点的控制信号。
36.根据条款35所述的控制系统，其中，所述焦点控制器是用于基于相位检测自动聚焦过程来调节所述图像捕获设备的焦点的相位检测自动聚焦控制器。
37.根据条款35的控制系统，当从属于条款29至31或条款36中的任何一项时，当从属于条款29至31中任一项时，其中，所述焦点控制器被配置为：
接收从所述第三类型的传感器像素导出的另外的焦点数据；并且
基于所述焦点数据或所述另外的焦点数据中的至少一个来生成所述控制信号。
38.根据条款37所述的控制系统，其中，所述焦点控制器被配置为基于指示焦点特性的焦点特性数据来生成所述控制信号，
所述焦点数据和所述另外的焦点数据对所述焦点特性数据的相对贡献取决于由以下各项中的至少一个捕获的光的辉度：
所述第二类型的传感器像素；或
所述第三类型的传感器像素。
39.根据条款38所述的控制系统，其中，所述第三曝光比所述第四曝光短，并且
在由所述第三类型的传感器像素捕获的光的辉度等于或高于辉度阈值的情况下，基于所述焦点数据来生成所述焦点特性数据；以及
在由所述第三类型的传感器像素捕获的光的辉度低于所述辉度阈值的情况下，基于所述另外的焦点数据来生成所述焦点特性数据。
40.一种用于图像捕获设备的控制系统，所述控制系统包括：
图像传感器，所述图像传感器包括：
传感器像素阵列，所述传感器像素阵列的传感器像素分别包括至少两个传感器子像素，其中：
第一多个所述传感器子像素被配置为以第一曝光来捕获第一像素数据；并且
第二多个所述传感器子像素被配置为以与所述第一曝光不同的第二曝光来捕获第二像素数据；
焦点控制器，所述焦点控制器被配置为：
接收基于以下各项的焦点数据：
所述第一多个所述传感器子像素中的至少两个的第一像素数据；以及
所述第二多个所述传感器子像素中的至少两个的第二像素数据；并且
基于所述焦点数据，生成用于调节所述图像捕获设备的焦点的控制信号。
41.根据条款40所述的控制系统，其中，所述第一像素数据和所述第二像素数据对所述焦点数据的相对贡献取决于由以下各项捕获的光的辉度：
所述第一多个所述传感器子像素中的所述至少两个中的至少一个；或
所述第二多个所述传感器子像素中的所述至少两个中的至少一个。
42.根据条款41所述的控制系统，其中，所述第一曝光比所述第二曝光短，
所述第一像素数据由于由所述第一多个所述传感器子像素中的所述至少两个中的所述至少一个所捕获的光的第一辉度而对所述焦点数据的第一相对贡献小于
所述第一像素数据由于由所述第一多个所述传感器子像素中的所述至少两个中的所述至少一个所捕获的光的第二辉度而对所述焦点数据的第二相对贡献，所述第二辉度大于所述第一辉度。
43.根据条款40至42中任一项所述的控制系统，其中，所述焦点控制器被配置为基于所述第一像素数据和所述第二像素数据来导出所述焦点数据，
所述导出所述焦点数据包括：
选择所述第一像素数据和所述第二像素数据中的一个以获得选择的像素数据；以及
基于所述选择的像素数据来生成所述焦点数据。
44.根据条款43所述的控制系统，其中，所述选择所述第一像素数据和所述第二像素数据中的一个包括依靠由以下各项捕获的光的辉度而选择所述第一像素数据和所述第二像素数据中的一个：
所述第一多个所述传感器子像素中的所述至少两个中的至少一个；或
所述第二多个所述传感器子像素中的所述至少两个中的至少一个。
45.根据条款44所述的控制系统，其中，所述选择所述第一像素数据和所述第二像素数据中的一个包括：
由于由所述第二多个所述传感器子像素中的所述至少两个中的所述至少一个所捕获的光的辉度等于或高于辉度阈值而选择所述第一像素数据；以及
由于由所述第二多个所述传感器子像素中的所述至少两个中的所述至少一个所捕获的光的辉度低于所述辉度阈值而选择所述第二像素数据。
46.根据条款45所述的控制系统，其中，所述辉度阈值对应于可由所述第二多个所述传感器子像素中的一个捕获的最大辉度的约90％或90％。
47.根据条款40至46中任一项所述的控制系统，其中，第一传感器像素包括所述第一多个所述传感器子像素中的至少两个。
48.根据条款40至47中任一项所述的控制系统，其中，第二传感器像素包括所述第二多个所述传感器子像素中的至少两个。
49.根据条款40至46中任一项所述的控制系统，其中
第一传感器像素包括所述第一多个所述传感器子像素中的所述至少两个中的一个；
第二传感器像素包括所述第一多个传感器子像素中的所述至少两个中的一个；
第三传感器像素包括所述第二多个所述传感器子像素中的所述至少两个中的一个；并且
第四传感器像素包括所述第二多个所述传感器子像素中的所述至少两个中的一个。
50.根据条款40至49中任一项所述的控制系统，其中，所述第一多个所述传感器子像素中的至少两个彼此相邻。
51.根据条款40至50中任一项所述的控制系统，其中，所述第二多个所述传感器子像素中的至少两个彼此相邻。
52.根据条款40至51中任一项所述的控制系统，其中，所述第一多个所述传感器子像素中的所述至少两个包括：
第一阵列行和第一阵列列中的第一传感器子像素；以及
第二阵列行和第二阵列列中的第二传感器子像素，
所述第一阵列行与所述第二阵列行相邻，并且
所述第一阵列列与所述第二阵列列相邻。
53.根据条款52所述的控制系统，其中，所述第二多个所述传感器子像素中的所述至少两个包括：
所述第二阵列行和第三阵列列中的第三传感器子像素；以及
所述第一阵列行和第四阵列列中的第四传感器子像素，
所述第三阵列列与所述第二阵列列相邻，
所述第四阵列列与所述第三阵列列相邻。
54.根据条款40至53中任一项所述的控制系统，其中，所述图像传感器包括滤色器阵列，所述滤色器阵列包括滤色器元件的图案，滤色器元件对应于所述传感器像素阵列的各个传感器像素。
55.根据条款54所述的控制系统，其中，所述第一多个所述传感器子像素中的所述至少两个分别对应于绿色滤色器元件。
56.根据条款54或条款55所述的控制系统，其中，所述第二多个所述传感器子像素中的所述至少两个分别对应于绿色滤色器元件。

Claims (15)

1.一种用于图像捕获设备的控制系统，所述控制系统包括：
图像传感器，包括：
传感器像素阵列，所述传感器像素阵列的传感器像素分别包括至少两个子像素；以及
滤色器阵列，所述滤色器阵列包括滤色器元件的图案，滤色器元件对应于所述传感器像素阵列的相应传感器像素，其中：
第一多个所述传感器子像素被配置为以第一曝光来捕获第一像素数据；并且
第二多个所述传感器子像素被配置为以与所述第一曝光不同的第二曝光来捕获第二像素数据；图像处理器，所述图像处理器被配置为：
接收从所述传感器子像素的第一集合导出的图像数据，所述第一集合包括：
所述第一多个所述传感器子像素中的子像素；和
所述第二多个所述传感器子像素中的子像素；并且
基于所述图像数据，生成表示输出图像的至少一部分的输出数据；以及
焦点控制器，所述焦点控制器被配置为：
接收从所述传感器子像素的第二集合导出的焦点数据，所述第二集合包括所述第一多个所述传感器子像素中的至少两个传感器子像素；并且
基于所述焦点数据，生成用于调节所述图像捕获设备的焦点的控制信号。
2.根据权利要求1所述的控制系统，其中，所述焦点控制器是相位检测自动聚焦控制器，其用于基于相位检测自动聚焦过程来调节所述图像捕获设备的焦点。
3.根据权利要求1或权利要求2所述的控制系统，其中，所述焦点控制器被进一步配置为：
从具有与所述第一曝光不同的第三曝光的所述传感器子像素的第三集合接收进一步的焦点数据；并且
基于所述焦点数据或所述进一步的焦点数据中的至少一者来生成所述控制信号。
4.根据权利要求3所述的控制系统，其中，所述第三集合包括所述第二多个所述传感器子像素中的至少两个传感器子像素，并且其中，所述第三曝光等于所述第二曝光。
5.根据权利要求3或权利要求4所述的控制系统，其中，所述焦点控制器被配置为基于指示焦点特性的焦点特性数据来生成所述控制信号，
所述焦点数据和所述进一步的焦点数据对所述焦点特性数据的相对贡献取决于由以下项中的至少一个捕获的光的辉度：
所述传感器子像素的第二集合；或
所述传感器子像素的第三集合，
其中可选地：
所述第一曝光比所述第三曝光短；
在由所述传感器子像素的第二集合捕获的光的辉度等于或高于辉度阈值的情况下，基于所述焦点数据来生成所述焦点特性数据；以及
在由所述传感器子像素的第二集合捕获的光的辉度低于所述辉度阈值的情况下，基于所述进一步的焦点数据来生成所述焦点特性数据。
6.根据权利要求1至5中任一项所述的控制系统，其中，所述图像数据包括：
第一子图像数据，所述第一子图像数据表示从所述第一多个所述传感器子像素中的子像素接收的数据；以及
第二子图像数据，所述第二子图像数据表示从所述第二多个所述传感器子像素中的子像素接收的数据，
所述第一子图像数据和所述第二子图像数据对所述输出数据的相对贡献取决于由以下项中的至少一个捕获的光的辉度：
所述第一多个所述传感器子像素中的子像素；或
所述第二多个所述传感器子像素中的子像素，
其中可选地：
所述第一曝光比所述第二曝光短；
在由所述第二多个所述传感器子像素中的子像素捕获的光的辉度等于或高于辉度阈值的情况下，基于所述第一子图像数据来生成所述输出数据；以及
在由所述第二多个所述传感器子像素中的子像素捕获的光的辉度低于所述辉度阈值的情况下，基于所述第二子图像数据来生成所述输出数据。
7.根据权利要求1至6中任一项所述的控制系统，其中，所述图像数据包括所述焦点数据。
8.根据权利要求1至7中任一项所述的控制系统，其中，所述传感器子像素的第二集合包括：
与第二传感器子像素相邻的第一传感器子像素。
9.根据权利要求1至8中任一项所述的控制系统，其中，所述传感器子像素的第二集合包括：
第一阵列行和第一阵列列中的第一传感器子像素；以及
第二阵列行和第二阵列列中的第二传感器子像素，
所述第一阵列行与所述第二阵列行相邻，并且
所述第一阵列列与所述第二阵列列相邻。
10.根据权利要求1至9中任一项所述的控制系统，其中，所述第一多个所述传感器子像素位于至少一个第一阵列列中，并且所述第二多个所述传感器子像素位于与所述至少一个第一阵列列不同的至少一个第二阵列列中。
11.根据权利要求1至10中任一项所述的控制系统，其中，所述第一多个所述传感器子像素位于两个相邻的第一阵列列中，并且所述第二多个所述传感器子像素位于两个相邻的第二阵列列中，
所述两个相邻的第一阵列列中的一个第一阵列列与所述两个相邻的第二阵列列中的一个第二阵列列相邻。
12.根据权利要求1至11中任一项所述的控制系统，其中，所述传感器像素阵列包括：
第一阵列列，其中：
所述第一多个所述传感器子像素中的传感器子像素与所述第二多个所述传感器子像素中的传感器子像素交替；第二阵列列，其中：
所述第一多个所述传感器子像素中的传感器子像素与所述第二多个所述传感器子像素中的传感器子像素交替，所述第二阵列列与所述第一阵列列相邻，其中所述第一阵列列的所述第一多个所述传感器像素的传感器子像素与所述第二阵列列的所述第二多个所述传感器像素的传感器子像素相邻，并且其中所述第一阵列列的所述第二多个所述传感器像素的传感器子像素与所述第二阵列列的所述第一多个所述传感器像素的传感器子像素相邻；
第三阵列列，所述第三阵列列与所述第二阵列列相邻，所述第三阵列列包括：
所述第一多个所述传感器子像素中的传感器子像素；以及
第四阵列列，所述第四阵列列与所述第三阵列列相邻，所述第四阵列列包括：
所述第二多个所述传感器子像素中的传感器子像素。
13.根据权利要求1至12中任一项所述的控制系统，其中，所述传感器子像素的第一集合包括所述传感器子像素的第二集合的所述第一多个所述传感器子像素中的至少两个传感器子像素。
14.根据权利要求1至13中任一项所述的控制系统，其中，所述第一多个所述传感器子像素中的所述至少两个传感器子像素包括同一传感器像素的两个传感器子像素。
15.根据权利要求1至14中任一项所述的控制系统，其中，所述传感器子像素的第二集合中的每个传感器子像素分别对应于颜色彼此相同的滤色器元件。
CN201880022623.5A 2017-03-30 2018-02-28 控制系统和图像传感器 Expired - Fee Related CN110476414B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1705103.8 2017-03-30
GB1705103.8A GB2561163B (en) 2017-03-30 2017-03-30 Control systems and image sensors
PCT/GB2018/050518 WO2018178621A1 (en) 2017-03-30 2018-02-28 Control systems and image sensors

Publications (2)

Publication Number Publication Date
CN110476414A true CN110476414A (zh) 2019-11-19
CN110476414B CN110476414B (zh) 2022-01-07

Family

ID=58682701

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880022623.5A Expired - Fee Related CN110476414B (zh) 2017-03-30 2018-02-28 控制系统和图像传感器

Country Status (4)

Country Link
US (1) US11089202B2 (zh)
CN (1) CN110476414B (zh)
GB (1) GB2561163B (zh)
WO (1) WO2018178621A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109067942B (zh) * 2018-08-03 2021-03-16 Oppo广东移动通信有限公司 显示屏和具有其的电子装置
CN110136620B (zh) * 2019-06-28 2022-06-28 京东方科技集团股份有限公司 显示面板的驱动时间差确定方法及系统
US20220294964A1 (en) * 2019-10-11 2022-09-15 Google Llc Low-light autofocus technique

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060017800A1 (en) * 2004-07-23 2006-01-26 Fuji Photo Film Co., Ltd. Exposure system
CN202856877U (zh) * 2012-04-18 2013-04-03 格科微电子（上海）有限公司 图像传感器
US20150009352A1 (en) * 2013-07-02 2015-01-08 Canon Kabushiki Kaisha Imaging apparatus and method for controlling the same
US20150304517A1 (en) * 2013-06-18 2015-10-22 Masamoto Nakazawa Photoelectric conversion element, image reading device, image forming apparatus, and image reading method
CN105049755A (zh) * 2014-04-28 2015-11-11 三星电子株式会社 图像传感器和具有该图像传感器的图像处理装置
US20160286108A1 (en) * 2015-03-24 2016-09-29 Semiconductor Components Industries, Llc Imaging systems having image sensor pixel arrays with phase detection capabilities

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6271952B2 (ja) * 2013-01-23 2018-01-31 キヤノン株式会社 撮像装置
KR102039464B1 (ko) * 2013-05-21 2019-11-01 삼성전자주식회사 전자 센서와, 그의 제어 방법
JP2015041890A (ja) * 2013-08-22 2015-03-02 ソニー株式会社 制御装置、制御方法、および電子機器
KR20150118213A (ko) * 2014-04-11 2015-10-22 에스케이하이닉스 주식회사 이미지 센싱 장치
US9392160B2 (en) * 2014-06-20 2016-07-12 Samsung Electronics Co., Ltd. Circuit and method providing wide dynamic-range operation of auto-focus(AF) focus state sensor elements, digital imaging device, and computer system including same
KR20160071203A (ko) * 2014-12-11 2016-06-21 삼성전자주식회사 이미지 신호 프로세서, 이의 작동 방법, 및 이를 포함하는 모바일 컴퓨팅 장치
US9467633B2 (en) * 2015-02-27 2016-10-11 Semiconductor Components Industries, Llc High dynamic range imaging systems having differential photodiode exposures
KR102536083B1 (ko) * 2015-12-24 2023-05-24 삼성전자주식회사 이미징 장치, 전자 장치 및 그의 이미지 획득 방법
JP6762766B2 (ja) * 2016-06-01 2020-09-30 キヤノン株式会社 撮像素子、撮像装置、および撮像信号処理方法
JP6765860B2 (ja) * 2016-06-01 2020-10-07 キヤノン株式会社 撮像素子、撮像装置、および撮像信号処理方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060017800A1 (en) * 2004-07-23 2006-01-26 Fuji Photo Film Co., Ltd. Exposure system
CN202856877U (zh) * 2012-04-18 2013-04-03 格科微电子（上海）有限公司 图像传感器
US20150304517A1 (en) * 2013-06-18 2015-10-22 Masamoto Nakazawa Photoelectric conversion element, image reading device, image forming apparatus, and image reading method
US20150009352A1 (en) * 2013-07-02 2015-01-08 Canon Kabushiki Kaisha Imaging apparatus and method for controlling the same
CN105049755A (zh) * 2014-04-28 2015-11-11 三星电子株式会社 图像传感器和具有该图像传感器的图像处理装置
US20160286108A1 (en) * 2015-03-24 2016-09-29 Semiconductor Components Industries, Llc Imaging systems having image sensor pixel arrays with phase detection capabilities

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张丽芳、周军: "利用多曝光对图像进行动态范围增强", 《数据采集与处理》 *

Also Published As

Publication number Publication date
GB201705103D0 (en) 2017-05-17
US20200014858A1 (en) 2020-01-09
US11089202B2 (en) 2021-08-10
GB2561163A (en) 2018-10-10
GB2561163B (en) 2021-05-12
WO2018178621A1 (en) 2018-10-04
CN110476414B (zh) 2022-01-07

Similar Documents

Publication Publication Date Title
US9615030B2 (en) Luminance source selection in a multi-lens camera
CN105306786B (zh) 用于具有相位检测像素的图像传感器的图像处理方法
US9979941B2 (en) Imaging system using a lens unit with longitudinal chromatic aberrations and method of operating
CN104335246B (zh) 用pi滤光器群组来形成图案的相机模块
EP2775719B1 (en) Image processing device, image pickup apparatus, and storage medium storing image processing program
US9635275B2 (en) Flash system for multi-aperture imaging
CN206759600U (zh) 成像系统
CN102369721B (zh) 具有合成全色图像的彩色滤光器阵列(cfa)图像
CN102892008B (zh) 双图像捕获处理
US20160286199A1 (en) Processing Multi-Aperture Image Data for a Compound Imaging System
US10630920B2 (en) Image processing apparatus
WO2020238970A1 (zh) 图像降噪装置及图像降噪方法
JP2010531540A (ja) 広いダイナミックレンジと良好な色再現性および解像度を有する画素アレイならびに画素アレイを用いたイメージセンサ
JP2013529400A (ja) 色フィルタアレイ画像反復デノイズ
JP2013518527A (ja) 加重画素値差分に基づくｃｆａ画像デノイズ
US20160254300A1 (en) Sensor for dual-aperture camera
CN106296625A (zh) 图像处理装置及图像处理方法、摄像装置及摄像方法
CN102629976A (zh) 图像处理设备和图像处理设备的控制方法
CN107431755B (zh) 图像处理设备、摄像设备、图像处理方法和存储介质
TW201813371A (zh) 鬼偽影去除系統和方法
CN103327220A (zh) 低照度Bayer图像上以绿色通道为导向的去噪方法
CN110476414A (zh) 控制系统和图像传感器
CN109196855A (zh) 摄像装置、图像处理装置及电子设备
US11245878B2 (en) Quad color filter array image sensor with aperture simulation and phase detection
CN104243804A (zh) 摄像设备、图像处理设备及其控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20221012

Address after: Cambridge County, England

Patentee after: ARM

Address before: Cambridge County, England

Patentee before: Apical Ltd.

TR01 Transfer of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220107

CF01 Termination of patent right due to non-payment of annual fee