CN111614886A - 图像传感器和电子设备 - Google Patents

图像传感器和电子设备 Download PDF

Info

Publication number
CN111614886A
CN111614886A CN202010708333.5A CN202010708333A CN111614886A CN 111614886 A CN111614886 A CN 111614886A CN 202010708333 A CN202010708333 A CN 202010708333A CN 111614886 A CN111614886 A CN 111614886A
Authority
CN
China
Prior art keywords
filter
unit
image data
filtering
units
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010708333.5A
Other languages
English (en)
Other versions
CN111614886B (zh
Inventor
程祥
王迎磊
宋锐男
张玮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Goodix Technology Co Ltd
Original Assignee
Shenzhen Goodix Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Goodix Technology Co Ltd filed Critical Shenzhen Goodix Technology Co Ltd
Publication of CN111614886A publication Critical patent/CN111614886A/zh
Application granted granted Critical
Publication of CN111614886B publication Critical patent/CN111614886B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

本申请实施例涉及图像传感器和电子设备。该图像传感器微透镜阵列、滤光单元阵列以及感光单元阵列；微透镜阵列，用于将拍摄对象返回的光信号汇聚至滤光单元阵列；滤光单元阵列，包括多个滤光单元组，每个所述滤光单元组包括4个滤光子单元组，所述4个滤光子单元组包括1个第一滤光子单元组、1个第二滤光子单元组以及2个第三滤光子单元组，每个所述滤光单元组中，所述2个第三滤光子单元组在水平方向和垂直方向均不相邻；感光单元阵列，位于图像传感器下方，感光单元阵列中的感光单元与滤光单元阵列中的滤光单元一一对应。本申请实施例的图像传感器，能够提高低光照环境下的拍照性能。

Description

图像传感器和电子设备
技术领域
本申请实施例涉及图像领域，并且更具体地，涉及图像传感器和电子设备。
背景技术
电子设备中的成像系统通常依靠图像传感器来建立可视图像的电子显示。这样的图像传感器的例子包括电荷耦合装置(Charge-coupled Device，CCD)图像传感器和有源像素传感器(Active Pixel Sensor，APS)装置，其中，因为能够在互补金属氧化物半导体(Complementary Metal Oxide Semiconductor，CMOS)处理中制造APS装置，所以APS装置经常也被叫做CMOS传感器。
图像传感器的成像原理是基于半导体材料的光电转换效应。在半导体衬底上设置有多个像素组成的像素阵列，每一个像素内含有光电转换元件和读出电路。当光投射到像素阵列时，各个光电转换元件产生相应数量的光生电荷，经读出电路读出后到达模数转换电路(Analog-to-Digital Converter，ADC)转变为数字信号，数字信号再经过图像信号处理器(Image Signal Processing，ISP)处理后，最终输出图像。
为了捕获彩色图像，需要在不同像素上累积特定波长的光信号，即对应接收特定颜色的信号，所以会在图像传感器中设有滤光单元阵列(Color Filter Array，CFA)。由于在用于移动设备中时，CFA本身对于光的透过率较低，同事图像传感器尺寸受限，对应的像素阵列的感光面积也受限，所以在低光照环境中下，拍照的性能会受限。
发明内容
本申请提供了一种图像传感器和电子设备，旨在解决低光照环境中下，拍照的性能会受限的问题。
第一方面，提供了一种图像传感器，该图像传感器包括：微透镜阵列、滤光单元阵列以及感光单元阵列；微透镜阵列，用于将拍摄对象返回的光信号汇聚至滤光单元阵列；滤光单元阵列，包括多个滤光单元组，每个滤光单元组包括4个滤光子单元组，4个滤光子单元组包括1个第一滤光子单元组、1个第二滤光子单元组以及2个第三滤光子单元组；每个滤光单元组中，2个第三滤光子单元组在水平方向和垂直方向均不相邻；每个滤光子单元组包括多个滤光单元，滤光单元包括白色滤光单元和彩色滤光单元，彩色滤光单元包括第一彩色滤光单元、第二彩色滤光单元以及第三彩色滤光单元；每个滤光子单元组中，白色滤光单元和彩色滤光单元在水平方向和垂直方向间隔排列，且第一对角线位置上均为同一颜色的滤光单元，第二对角线位置上均为同一颜色的滤光单元；第一滤光子单元组包括多个白色滤光单元和多个第一彩色滤光单元；第二滤光子单元组包括多个白色滤光单元和多个第二彩色滤光单元；第三滤光子单元组包括多个白色滤光单元和多个第三彩色滤光单元；感光单元阵列，位于图像传感器下方，感光单元阵列中的感光单元与滤光单元阵列中的滤光单元一一对应。
因此，本申请实施例的图像传感器，通过对图像传感器的特定排布方式，有效的增加图像传感器的整体进光量。通过合理地设置图像传感器的各个颜色的滤光单元的分布，能够保证例如白色等混合色滤光单元具有较高的空间采样率，有利于后续获取更好的高分辨率灰度图像；也可以保证R像素、G像素、B像素有相对平均的空间采样率，有利于后续的重建马赛克算法获取彩色图像。
结合第一方面，在第一方面的一种实现方式中，第一彩色滤光单元、第二彩色滤光单元和第三彩色滤光单元分别为以下中的一种：红色滤光单元、绿色滤光单元、蓝色滤光单元、黄色滤光单元、青色滤光单元以及洋红色滤光单元；第一彩色滤光单元、第二彩色滤光单元和第三彩色滤光单元的颜色均不相同。
结合第一方面及其上述实现方式，在第一方面的另一种实现方式中，第一彩色滤光单元为蓝色滤光单元；第二彩色滤光单元为红色滤光单元；第三彩色滤光单元为绿色滤光单元。
结合第一方面及其上述实现方式，在第一方面的另一种实现方式中，每个滤光子单元组包括4×4个滤光单元。
结合第一方面及其上述实现方式，在第一方面的另一种实现方式中，每个滤光子单元组的第一对角线位置上均为白色滤光单元，第二对角线位置上均为彩色滤光单元。
结合第一方面及其上述实现方式，在第一方面的另一种实现方式中，第一滤光子单元组的第一行排列的第一个为蓝色滤光单元；第二滤光子单元组的第一行排列的第一个为红色滤光单元；第三滤光子单元组的第一行排列的第一个为绿色滤光单元。
结合第一方面及其上述实现方式，在第一方面的另一种实现方式中，2个第三滤光子单元组分别位于滤光单元组的左上角和右下角。
结合第一方面及其上述实现方式，在第一方面的另一种实现方式中，2个第三滤光子单元组分别位于滤光单元组的右上角和左下角。
结合第一方面及其上述实现方式，在第一方面的另一种实现方式中，图像传感器还包括处理器，处理器用于：若当前光照强度为正常光照时，对图像数据依次进行插值处理、重建马赛克处理以及数据融合处理。
结合第一方面及其上述实现方式，在第一方面的另一种实现方式中，图像传感器还包括处理器，处理器用于：若当前光照强度为弱光照时，对图像数据进行一次像素合成处理。
结合第一方面及其上述实现方式，在第一方面的另一种实现方式中，每个滤光子单元组分为四个2×2个滤光单元，一次像素合成处理包括：在第一滤光子单元组中，每2×2个滤光单元中的2个白色滤光单元的图像数据合成1个白色滤光单元的图像数据以及2个蓝色滤光单元的图像数据合成1个蓝色滤光单元的图像数据；在第二滤光子单元组中，每2×2个滤光单元中的2个白色滤光单元的图像数据合成1个白色滤光单元的图像数据以及2个红色滤光单元的图像数据合成1个红色滤光单元的图像数据；在2个第三滤光子单元组中，每2×2个滤光单元中的2个白色滤光单元的图像数据合成1个白色滤光单元的图像数据以及2个绿色滤光单元的图像数据合成1个绿色滤光单元的图像数据。
结合第一方面及其上述实现方式，在第一方面的另一种实现方式中，图像传感器还包括处理器，处理器用于：若当前光照强度为极限光照时，对图像数据进行两次像素合成处理。
结合第一方面及其上述实现方式，在第一方面的另一种实现方式中，两次像素合成处理包括：在第一滤光子单元组中，8个白色滤光单元的图像数据合成1个白色滤光单元的图像数据以及8个蓝色滤光单元的图像数据合成1个蓝色滤光单元的图像数据；在第二滤光子单元组中，8个白色滤光单元的图像数据合成1个白色滤光单元的图像数据以及8个红色滤光单元的图像数据合成1个红色滤光单元的图像数据。在2个第三滤光子单元组中，8个白色滤光单元的图像数据合成1个白色滤光单元的图像数据以及8个绿色滤光单元的图像数据合成1个绿色滤光单元的图像数据。
结合第一方面及其上述实现方式，在第一方面的另一种实现方式中，每个滤光子单元组包括3×3个滤光单元。
结合第一方面及其上述实现方式，在第一方面的另一种实现方式中，第一滤光子单元组的第一行排列的第一个为红色滤光单元；第二滤光子单元组的第一行排列的第一个为蓝色滤光单元；第三滤光子单元组的第一行排列的第一个为绿色滤光单元。
结合第一方面及其上述实现方式，在第一方面的另一种实现方式中，2个第三滤光子单元组分别位于滤光单元组的右上角和左下角。
结合第一方面及其上述实现方式，在第一方面的另一种实现方式中，第一滤光子单元组的第一行排列的第一个为红色滤光单元；第二滤光子单元组的第一行排列的第一个为蓝色滤光单元；第三滤光子单元组的第一行排列的第一个为白色滤光单元。
结合第一方面及其上述实现方式，在第一方面的另一种实现方式中，2个第三滤光子单元组分别位于滤光单元组的左上角和右下角。
结合第一方面及其上述实现方式，在第一方面的另一种实现方式中，第一滤光子单元组的第一行排列的第一个为白色滤光单元；第二滤光子单元组的第一行排列的第一个为白色滤光单元；第三滤光子单元组的第一行排列的第一个为白色滤光单元。
结合第一方面及其上述实现方式，在第一方面的另一种实现方式中，2个第三滤光子单元组分别位于滤光单元组的右上角和左下角。
结合第一方面及其上述实现方式，在第一方面的另一种实现方式中第一滤光子单元组的第一行排列的第一个为白色滤光单元；第二滤光子单元组的第一行排列的第一个为白色滤光单元；第三滤光子单元组的第一行排列的第一个为绿色滤光单元。
结合第一方面及其上述实现方式，在第一方面的另一种实现方式中，2个第三滤光子单元组分别位于滤光单元组的右上角和左下角。
结合第一方面及其上述实现方式，在第一方面的另一种实现方式中，图像传感器还包括处理器，处理器用于若当前光照强度为正常光照时，对图像数据依次进行插值处理、重建马赛克处理以及数据融合处理。
结合第一方面及其上述实现方式，在第一方面的另一种实现方式中，图像传感器还包括处理器，处理器用于若当前光照强度为弱光照时，对图像数据进行一次像素合成处理。
结合第一方面及其上述实现方式，在第一方面的另一种实现方式中，每个滤光子单元组分为四个2×2个滤光单元，一次像素合成处理包括：在第一滤光子单元组中，每2×2个滤光单元中的2个白色滤光单元的图像数据合成1个白色滤光单元的图像数据、2个红色滤光单元的图像数据合成1个红色滤光单元的图像数据；在第二滤光子单元组中，每2×2个滤光单元中的2个白色滤光单元的图像数据合成1个白色滤光单元的图像数据、2个蓝色滤光单元的图像数据合成1个蓝色滤光单元的图像数据；在第三滤光子单元组中，每2×2个滤光单元中的2个白色滤光单元的图像数据合成1个白色滤光单元的图像数据、2个绿色滤光单元的图像数据合成1个绿色滤光单元的图像数据。
结合第一方面及其上述实现方式，在第一方面的另一种实现方式中，图像传感器还包括处理器，处理器用于若当前光照强度为极限光照时，对图像数据进行两次像素合成。
结合第一方面及其上述实现方式，在第一方面的另一种实现方式中，两次像素合成处理包括：在第一滤光子单元组中，4个白色滤光单元的图像数据合成1个白色滤光单元的图像数据以及5个红色滤光单元的图像数据合成1个蓝色滤光单元的图像数据，或者在第一滤光子单元组中，5个白色滤光单元的图像数据合成1个白色滤光单元的图像数据以及4个红色滤光单元的图像数据合成1个红色滤光单元的图像数据；在第二滤光子单元组中，4个白色滤光单元的图像数据合成1个白色滤光单元的图像数据以及5个蓝色滤光单元的图像数据合成1个蓝色滤光单元的图像数据，或者在第二滤光子单元组中，5个白色滤光单元的图像数据合成1个白色滤光单元的图像数据以及4个蓝色滤光单元的图像数据合成1个蓝色滤光单元的图像数据；在2个第三滤光子单元组中，4个白色滤光单元的图像数据合成1个白色滤光单元的图像数据以及5个绿色滤光单元的图像数据合成1个绿色滤光单元的图像数据，或者在2个第三滤光子单元组中，5个白色滤光单元的图像数据合成1个白色滤光单元的图像数据以及4个绿色滤光单元的图像数据合成1个绿色滤光单元的图像数据。
第二方面，提供了一种电子设备，该电子设备包括：上述第一方面或第一方面的任意可能的实现方式中的图像传感器、图像信号处理器以及显示器；图像信号处理器用于对图像传感器输出的图像数据进行处理；显示器用于显示图像传感器生成的目标图像。
因此，本申请实施例的图像传感器和电子设备，通过对图像传感器的特定排布方式，使得白色滤光单元具有较高的空间采样率，同时也使得R像素、G像素、B像素有相对平均的空间采样率，在不同光照强度下进行不同处理，输出融合W像素的bayer数据，从而大幅度提升图像的信噪比，并且可以通过牺牲一定分辨率，在极限弱光下，进一步的提升信噪比。
附图说明
图1是根据本申请实施例的图像处理装置的示意性框图。
图2是根据本申请实施例的图像传感器的示意图。
图3是根据本申请另一实施例的图像传感器的示意图。
图4是根据本申请又一实施例的图像传感器的示意图。
图5-10是根据本申请实施例的不同滤光单元组的颜色分布的示意图。
图11-12是根据本申请实施例的图像算法流程图。
图13-17是根据本申请实施例的确定拍摄对象的目标图像的示意图。
图18是根据本申请实施例的不同光强下不同处理方法对应的信噪比的示意图。
具体实施方式
下面将结合附图，对本申请实施例中的技术方案进行描述。
图像处理装置是利用像素阵列的光电转换功能，将成像对象的光像转换为与光像成相应比例关系的电信号，进而获得成像对象的图像。图1示出了一种图像处理装置100的示意性框图，该图像处理装置100可以指任意电子设备，例如，该图像处理装置100可以为手机；或者，该图像处理装置100也可以为电子设备的一部分，例如，可以为电子设备中的摄像模组，本申请实施例并不限于此。
如图1所示，图像处理装置100通常包括像素阵列(Pixel Array)101(或者也可以称为光电转换单元101)、信号读取电路102、处理器103、控制器104、接口电路105以及电源106。其中，像素阵列101的电信号输出端与信号读取电路102的输入端连接，像素阵列101的控制端与控制器104的输出端连接，信号读取电路102的输出端与处理器103的输入端连接，电源106用于为信号读取电路102、处理器103、控制器104以及接口电路105提供电源。
其中，像素阵列101用于采集经由成像对象返回的光信号，并将该光信号转换为电信号，通过电信号强弱反应成像对象的光像。信号读取电路102用于读取每个像素输出的电信号。处理器103用于对像素阵列输出的电信号进行处理，输出成像对象的图像数据。接口电路105用于向外传输图像数据。控制器104用于输出控制信号，控制信号用于控制像素阵列中每个像素协同工作。
图像处理装置100的核心部件就是像素阵列101。像素阵列101中的每个像素结构相似，通常每个像素结构可以包括微透镜(或者透镜)、滤光单元(Color Filter)以及光敏元件。其中，微透镜位于滤光单元的上方，滤光单元位于光敏元件的上方。经由成像对象后返回的光经过微透镜聚焦后，由微透镜出射区域射出，经过滤光单元过滤后，射入例如光电二极管(Photo-Diode，PD)等光敏元件，由光敏元件将光信号转换为电信号。根据不同滤光单元所能透过的光的类型，像素可以包括红色像素(以下称为R像素)、绿色像素(以下称为G像素)以及蓝色像素(以下称为B像素)。R像素是指经过滤光单元过滤后仅有红色光射入光敏元件，G像素和B像素的原理与R像素相同，此处不再赘述。
图像传感器生成彩色图像数据的原理为：像素阵列中每个像素仅能将一种类型的光信号转换为电信号，再结合周围其他类型的像素采集的光信号进行插值运算，即可还原出当前像素所采集区域的图像颜色，这一过程也称作去马赛克(Demosaicing)，通常在处理器中完成。例如：当前像素为R像素，R像素仅能将红色光信号转换电信号，则可以结合周围的B像素或者G像素采集的电信号，还原出当前像素的蓝色光和绿色光强度，确定当前像素的图像颜色。
因此，为了采集彩色图像，需要像素阵列中包括的光敏元件阵列上方设置颜色特定排布的滤光单元阵列，或者也可以称为颜色滤镜阵列(Color Filter Array，CFA)。目前，对于大部分像素阵列，例如CCD和CMOS图像传感器，其包括的CFA采用基于RGB三原色的Bayer格式。Bayer格式的特点是其基本单元是一个2×2的四像素阵列，包括1个红色像素R，一个蓝色像素B以及2个绿色像素G，其中，两个绿色像素G共顶角相邻设置。由于任一像素实际只能获得RGB中某一种颜色的信号，要还原出完整的色彩信息就必须通过特定的图像处理算法加以实现。
这种纯RGB的bayer布局，仅允许通过特定颜色的光，也就是会截断大部分的光子，那么在低光照环境下，就可能无法准确的还原图像。因此，本申请实施例提出了一种图像传感器，可以解决该问题。
图2示出了本申请实施例的图像传感器200的示意图，例如，该图像传感器200可以包括图1中的像素阵列101，并且，该图像传感器200适用于CCD或者CMOS结构。具体地，如图2所示，该图像传感器200可以包括微透镜阵列210、滤光单元阵列220和感光单元阵列230。
其中，该微透镜阵列210用于：将拍摄对象返回的光信号汇聚至滤光单元阵列220，即光照射被拍摄的对象产生返回光，微透镜阵列210中的微透镜将返回的光信号汇聚至下方的滤光单元阵列220中。
滤光单元阵列220位于该微透镜阵列210下方，也就是位于感光单元阵列230和微透镜阵列210之间，例如，滤光单元阵列220可以位于该微透镜阵列210的下表面。该微透镜阵列210中的每个微透镜对应滤光单元阵列220中的至少一个滤光单元。滤光单元阵列220可以包括多种颜色的滤光单元，例如，可以根据不同颜色分布，将该滤光单元阵列220中包括的滤光单元分为多组滤光单元，即滤光单元阵列220包括多个滤光单元组，其中，该多个滤光单元组具有相同的颜色分布。
具体地，该多个滤光单元组中每个滤光单元组包括至少一个白色滤光单元和至少一个彩色滤光单元。彩色滤光单元用于对经过微透镜的光进行过滤，输出对应的单色光；白色滤光单元用于对经过微透镜的光进行过滤，输出对应的混合色光。
应理解，本申请实施例中的单色光是指白光或太阳光经三棱镜折射所分离出光谱色光，例如：红光、橙光、黄光、绿光、蓝光、靛光、紫光等七个颜色光。被分离出光谱色光再次通过三棱镜不会再分解为其他的色光。这种不能再分解的色光为单色光；而混合光是指有任意两种或者以上单色光混合而成的复色光。例如，本申请实施例中的单色光可以为红光(Red)、绿光(Green)和蓝光(Blue)，混合光可以为白光。对应的，红色滤光单元至允许红光通过，因此输出红光，类似的，绿色滤光单元用于输出绿光，蓝色滤光单元用于输出蓝光，白色滤光单元用于输出白光。
感光单元阵列230，位于该滤光单元阵列220下方，该感光单元阵列230中的感光单元与该滤光单元阵列220中的滤光单元一一对应。该感光单元阵列中与彩色滤光单元对应的感光单元用于接收经过该彩色滤光单元的单色光信号，对应输出单色像素；该感光单元阵列230中与白色滤光单元对应的感光单元用于接收经过该白色滤光单元的混合色光信号，对应输出混合色像素；该单色光信号和该混合光信号共同用于生成该拍摄对象的目标图像。例如，与红色滤光单元对应的感应单元接收红色光信号，对应输出的像素可以称为红色像素；与白色滤光单元对应的感应单元接收白色光信号，对应输出的像素可以称为白色像素。
应理解，本申请实施例中的该图像传感器200还可以包括其他部分。例如图1中的信号读取电路102、处理器103、控制器104以及接口电路105，又例如，图3和图4示出了图像传感器200的其他部分的示意图。如图3和图4所示，在滤光单元阵列220和感光单元阵列230之间还可以包括电介质层240。
如图3和图4所示，滤光单元阵列220还可以包括位于周围的电介质225和反射栅格226；感光单元阵列230可以包括半导体基板231和光敏元件232，其中，光敏元件232位于半导体基板231中，光敏元件232可以为PD。可选地，感光单元阵列230还可以包括两个光敏元件232之间的隔离区233，但本申请实施例并不限于此。
本申请实施例中的图像传感器200中的滤光单元阵列220可以包括白色滤光单元，该白色滤光单元允许两种或者两者以上单色光混合而成的复色光通过，那么包括这种白色滤光单元的滤光单元阵列220，相比于仅设置彩色滤光单元的图像传感器而言，进光量则会大大提高，相应的，也就提高了整个图像传感器200的进光量，使得该图像传感器200即使在低光照环境下，性能仍然不受影响。
本申请实施例中的滤光单元阵列220包括多个滤光单元组，并且多个滤光单元组的颜色分布相同，也就是说，滤光单元阵列220包括多个重复的滤光单元组，这些重复的滤光单元组被平铺以便覆盖图像传感器200中的部分或整个感光单元阵列的表面。为了便于说明，下文中描述的滤光单元组以表示该滤光单元阵列220中的最小重复单元组为例，该最小的重复单元组说明其他的尺寸的重复单元组都不具有更少的滤光单元，多个最小重复单元组被平铺以便覆盖图像传感器200中的整个感光单元阵列的表面。
图5至图10示出了本申请实施例的一个滤光单元组的示意图，其中，图5-10中相同的滤光单元的标识方式相同，即标识R的方块表示红色滤光单元，标识G的方块表示绿色滤光单元，标识B的方块表示蓝色滤光单元，标识W的方块表示白色滤光单元；并且，每个小方格都表示一个滤光单元。应理解，本申请实施例中的相邻滤光单元之间还可以设置有其他结构，例如，如图3和图4所示，相邻滤光单元之间可以设置电介质225和反射栅格226，但在图5-10中，将相邻滤光单元之间的距离忽略，即图5-10主要表示的是滤光单元阵列220包括的滤光单元组的颜色分布。
本申请实施例提供一种图像传感器，该滤光单元阵列包括多个滤光单元组，每个滤光单元组包括4个滤光子单元组，4个滤光子单元组包括1个第一滤光子单元组、1个第二滤光子单元组以及2个第三滤光子单元组；每个滤光单元组中，2个第三滤光子单元组在水平方向和垂直方向均不相邻；每个滤光子单元组包括多个滤光单元，滤光单元包括白色滤光单元和彩色滤光单元，彩色滤光单元包括第一彩色滤光单元、第二彩色滤光单元以及第三彩色滤光单元；每个滤光子单元组中，白色滤光单元和彩色滤光单元在水平方向和垂直方向间隔排列，且第一对角线位置上均为同一颜色的滤光单元，第二对角线位置上均为同一颜色的滤光单元；第一滤光子单元组包括多个白色滤光单元和多个第一彩色滤光单元；第二滤光子单元组包括多个白色滤光单元和多个第二彩色滤光单元；第三滤光子单元组包括多个白色滤光单元和多个第三彩色滤光单元；感光单元阵列，位于滤光单元阵列下方，感光单元阵列中的感光单元与滤光单元阵列中的滤光单元一一对应。其中，第一彩色滤光单元、第二彩色滤光单元和第三彩色滤光单元分别为以下中的一种：红色滤光单元、绿色滤光单元、蓝色滤光单元、黄色滤光单元、青色滤光单元以及洋红色滤光单元；第一彩色滤光单元、第二彩色滤光单元和第三彩色滤光单元的颜色均不相同。
在本申请实施例中，以第一彩色滤光单元为蓝色滤光单元、第二彩色滤光单元为红色滤光单元、第三彩色滤光单元为绿色滤光单元，且每个滤光子单元包括4×4个滤光单元为例进行说明。
例如图5所示，该滤光单元组500包括第一滤光子单元组510、第二滤光子单元组540以及2个第三滤光子单元组520和530，每个滤光子单元组均包括4×4个滤光单元。其中，第一滤光子单元组510包括8个白色滤光单元W和8个蓝色滤光单元B，第一滤光子单元组510的第一对角线(+45°方向)上均为白色滤光单元W，第一滤光子单元组510的第二对角线(-45°方向)上均为蓝色滤光单元B，白色滤光单元W和蓝色滤光单元B在水平方向和竖直方向均呈间隔排列；第三滤光子单元组520和530均包括8个白色滤光单元W和8个绿色滤光单元G，第三滤光子单元组520和530的第一对角线上均为白色滤光单元W、第二对角线上均为绿色滤光单元G，白色滤光单元W和绿色滤光单元G在水平方向和竖直方向均呈间隔排列；第二滤光子单元组540包括8个白色滤光单元W和8个红色滤光单元R，第四滤光子单元组540的第一对角线上均为白色滤光单元W，第四滤光子单元组540的第二对角线上均为红色滤光单元R，白色滤光单元W和红色滤光单元R在水平方向和竖直方向均呈间隔排列；在滤光单元组500中，2个第三滤光子单元组520和530呈对角排列，滤光单元组500的第一对角线全为白色滤光单元W。
又例如图6所示，该滤光单元组600包括第一滤光子单元组610、第二滤光子单元组640、2个第三滤光子单元组620和630，每个滤光子单元组均包括4×4个滤光单元。其中，第一滤光子单元组610包括8个白色滤光单元W和8个蓝色滤光单元B，第一滤光子单元组610的第一对角线上均为白色滤光单元W、第二对角线上均为蓝色滤光单元B，白色滤光单元W和蓝色滤光单元B在水平方向和竖直方向均呈间隔排列；第二滤光子单元组640包括8个白色滤光单元W和8个红色滤光单元G，第二滤光子单元组640的第一对角线上均为白色滤光单元W、第二对角线上均为红色滤光单元G，白色滤光单元W和红色滤光单元G在水平方向和竖直方向均呈间隔排列；第三滤光子单元组620和630均包括8个白色滤光单元W和8个绿色滤光单元G，第三滤光子单元组620和630的第一对角线上均为白色滤光单元W、第二对角线上均为绿色滤光单元G，白色滤光单元W和绿色滤光单元G在水平方向和竖直方向均呈间隔排列；在滤光单元组600中，2个第三滤光子单元组620和630呈对角排列，滤光单元组600的第一对角线全为白色滤光单元W。
在本申请实施例中，第一滤光子单元组的第一行排列的第一个为蓝色滤光单元；第二滤光子单元组的第一行排列的第一个为红色滤光单元；第三滤光子单元组的第一行排列的第一个为绿色滤光单元。
在本申请实施例的一种实现方式中中，2个第三滤光子单元组分别位于滤光单元组的右上角和左下角，例如图5所示。
在本申请实施例的另一种实现方式中，2个第三滤光子单元组分别位于滤光单元组的左上角和右下角，例如图6所示。
在另一实施例中，以第一彩色滤光单元为蓝色滤光单元、第二彩色滤光单元为红色滤光单元、第三彩色滤光单元为绿色滤光单元，且每个滤光子单元包括3×3个滤光单元为例进行说明。
例如图7所示，该滤光单元组700包括第一滤光子单元组710、第二滤光子单元组740、2个第三滤光子单元组720和730，每个滤光子单元组均包括3×3个滤光单元。其中，第一滤光子单元组710包括4个白色滤光单元W和5个红色滤光单元R，第一滤光子单元组710的第一对角线和第二对角线上均为红色滤光单元R，白色滤光单元W和红色滤光单元R在水平方向和竖直方向均呈间隔排列；第二滤光子单元组740包括4个白色滤光单元W和5个蓝色滤光单元B，第二滤光子单元组740的第一对角线和第二对角线上均为蓝色滤光单元B，白色滤光单元W和蓝色滤光单元B在水平方向和竖直方向均呈间隔排列；第三滤光子单元组730包括4个白色滤光单元W和5个绿色滤光单元G，第三滤光子单元组730的第一对角线和第二对角线上均为绿色滤光单元R，白色滤光单元W和绿色滤光单元G在水平方向和竖直方向均呈间隔排列；在滤光单元组700中，2个第三滤光子单元组720和730呈对角排列。第一滤光子单元组710的第一行排列的第一个为红色滤光单元且位于滤光单元组左上角；第二滤光子单元组740的第一行排列的第一个为蓝色滤光单元且位于滤光单元组右下角；第三滤光子单元组720和730的第一行排列的第一个为绿色滤光单元且分别位于滤光单元组左下角和右上角。滤光单元组的第一对角线均为绿色滤光单元，第二对角线包括3个蓝色滤光单元和3个红色滤光单元。
又例如图8所示，该滤光单元组800包括第一滤光子单元组810、第二滤光子单元组840、2个第三滤光子单元组820和830，每个滤光子单元组均包括3×3个滤光单元。其中，第一滤光子单元组810包括4个白色滤光单元W和5个红色滤光单元R，第一滤光子单元组810的第一对角线和第二对角线上均为红色滤光单元R，白色滤光单元W和红滤光单元R在水平方向和竖直方向均呈间隔排列；第二滤光子单元组840包括4个白色滤光单元W和5个蓝色滤光单元B，第二滤光子单元组840的第一对角线和第二对角线上均为蓝色滤光单元B，白色滤光单元W和蓝色滤光单元B在水平方向和竖直方向均呈间隔排列；；第三滤光子单元组820和830均包括4个绿色滤光单元G和5个白色滤光单元W，第三滤光子单元组820和830的第一对角线和第二对角线上均为白色滤光单元W，白色滤光单元W和绿色滤光单元G在水平方向和竖直方向均呈间隔排列；在滤光单元组800中，2个第三滤光子单元组820和830呈对角排列。第一滤光子单元组810的第一行排列的第一个为红色滤光单元且位于滤光单元组右上角；第二滤光子单元组840的第一行排列的第一个为蓝色滤光单元且位于滤光单元组左下角；第三滤光子单元组820和830的第一行排列的第一个为白色滤光单元且分别位于滤光单元组左上角和右下角。滤光单元组的第一对角线包括3个蓝色滤光单元和3个红色滤光单元，第二对角线均为白色滤光单元。
又例如图9所示，该滤光单元组900包括第一滤光子单元组910、第二滤光子单元组940、2个第三滤光子单元组920和930，每个滤光子单元组均包括3×3个滤光单元。其中，第一滤光子单元组910包括5个白色滤光单元W和4个红色滤光单元R，第一滤光子单元组910的第一对角线和第二对角线上均为白色滤光单元W，白色滤光单元W和红滤光单元R在水平方向和竖直方向均呈间隔排列；第二滤光子单元组940包括5个白色滤光单元W和4个蓝色滤光单元B，第二滤光子单元组940的第一对角线和第二对角线上均为白色滤光单元W，白色滤光单元W和蓝色滤光单元B在水平方向和竖直方向均呈间隔排列；第三滤光子单元组920和930均包括4个绿色滤光单元G和5个白色滤光单元W，第三滤光子单元组920和930的第一对角线和第二对角线上均为白色滤光单元W，白色滤光单元W和绿色滤光单元G在水平方向和竖直方向均呈间隔排列；在滤光单元组900中，2个第三滤光子单元组920和930呈对角排列。第一滤光子单元组910的第一行排列的第一个为白色滤光单元且位于滤光单元组左上角；第二滤光子单元组940的第一行排列的第一个为白色滤光单元且位于滤光单元组右下角；第三滤光子单元组920和930的第一行排列的第一个为白色滤光单元且分别位于滤光单元组右上角和左下角。滤光单元组的第一对角线包括6个白色滤光单元、第二对角线包括6个白色滤光单元。
又例如图10所示，该滤光单元组1000包括第一滤光子单元组1010、第二滤光子单元组1040、2个第三滤光子单元组1020和1030，每个滤光子单元组均包括3×3个滤光单元。其中，第一滤光子单元组1010包括5个白色滤光单元W和4个红色滤光单元R，第一滤光子单元组1010的第一对角线和第二对角线上均为白色滤光单元W，白色滤光单元W和红滤光单元R在水平方向和竖直方向均呈间隔排列；第二滤光子单元组1040包括5个白色滤光单元W和4个蓝色滤光单元B，第二滤光子单元组1040的第一对角线和第二对角线上均为白色滤光单元W，白色滤光单元W和蓝色滤光单元B在水平方向和竖直方向均呈间隔排列；第三滤光子单元组1020和1030均包括5个绿色滤光单元G和4个白色滤光单元W，第三滤光子单元组1020和1030的第一对角线和第二对角线上均为绿色滤光单元G，白色滤光单元W和绿色滤光单元G在水平方向和竖直方向均呈间隔排列；在滤光单元组1000中，2个第三滤光子单元组1020和1030呈对角排列。第一滤光子单元组1010的第一行排列的第一个为白色滤光单元且位于滤光单元组左上角；第二滤光子单元组1040的第一行排列的第一个为白色滤光单元且位于滤光单元组右下角；第三滤光子单元组1020和1030的第一行排列的第一个为绿色滤光单元且分别位于滤光单元组右上角和左下角。滤光单元组的第一对角线包括6个绿色滤光单元、第二对角线包括6个白色滤光单元。
本申请实施例中，通过对滤光单元阵列中滤光单元的特定排布方式，有效的增加图像传感器的整体进光量。通过合理地设置图像传感器200的各个颜色的滤光单元的分布，能够保证例如白色等混合色滤光单元具有较高的空间采样率，有利于后续获取更好的高分辨率灰度图像；也可以保证R像素、G像素、B像素有相对平均的空间采样率，有利于后续的像素合成算法(或者说也可以称为bingning算法)、重建马赛克(Remosaic)算法获取彩色图像。
本申请实施例提供一种图像传感器，该图像传感器还包括处理器，该处理器可以是图1中的处理器102，该图像传感器用于确定拍摄对象的目标图像的方法，仍然以本申请实施例中的滤光单元阵列220包括白色、红色、蓝色和绿色四种颜色的滤光单元为例，如图11所示，该处理器用于：
S1101：判断当前光照强度的大小。
该光照强度包括正常光照、弱光照以及极限弱光照。
具体的，当光照强度大于第一阈值时，判断当前光照强度为正常光照；当光照强度小于第一阈值且大于第二阈值时，判断当前光照强度为弱光照；当光照强度小于第二阈值时，判断当前光照强度为极限弱光照；其中，第二阈值小于第一阈值。
S1102：根据不同的光照强度，执行不同的处理。
其中，步骤S1102具体包括：
S1210：若当前光照强度为正常光照，依次进行插值处理、重建马赛克(remosaic)处理以及数据融合处理。
具体地，图12示出了确定拍摄对应的目标图像的过程示意图，经过本申请实施例中的滤光单元阵列220，例如，可以经过具有如图5-10中任意一种滤光单元组的滤光单元阵列220，以图5中图像传感器中的滤光单元阵列220为例，获得的图像数据包括与白色滤光单元对应的W像素、与红色滤光单元对应的R像素、与绿色滤光单元对应的G像素和与蓝色滤光单元对应的B像素，如图13所示的左边第一个图像数据1310。
首先，如图13所示，将W像素与其他像素分为两张图像。即经过多种单色滤光单元的单色光信号用于生成一张图像，例如，如图13所示1320，包括R像素、G像素和B像素；经过混合色滤光单元的混合色光信号用于生成另一张图像，例如，如图13所示的1330，仅包括W像素。
对于混合色滤光单元对应的分离出来的图像，如图13所示，可以通过插值算法，对W像素缺失的位置进行填充，以获得全像素的第一图像数据1140，第一图像数据和第二图像数据的分辨率相同。其中，该第一图像数据为灰度图。
对于单色滤光单元对应的分离出来的图像，如图13所示，可以将其变为RGGB组合，即生成第二图像数据，该第二图像数据为彩色图像数据。例如，可以通过定制的重建马赛克算法，将图13中图像数据1320合成为第二图像数据1350。
将第一图像数据1340与第二图像数据1350进行数据融合处理，以获得融合处理后的图像数据1360，图像传感器最终将图像数据1360输入至图像信号处理器(Image SignalProcessor，ISP)进行处理。
S1220：若当前光照强度为弱光照，依次进行一次像素合成处理、重组马赛克处理、数据融合处理。
具体地，图14示出了确定拍摄对应的目标图像的过程的示意图，经过本申请实施例中的滤光单元阵列220，例如，可以经过具有如图5-10中任意一种滤光单元组的滤光单元阵列220，这里以图5中的滤光单元阵列220为例，获得的图像数据包括与白色滤光单元对应的W像素、与红色滤光单元对应的R像素、与绿色滤光单元对应的G像素和与蓝色滤光单元对应的B像素，如图14所示的左边第一个图像数据1410。
首先，如图14所示，每个滤光子单元组分为四个2×2阵列的滤光单元(或者称为2×2个滤光单元)，以第一滤光子单元组中的其中一个2×2个滤光单元14101为例说明，对该滤光单元对应的图像数据1410进行一次像素合成处理，像素合成处理是以2×2个像素作为一个合并单元，或者说2×2个滤光单元对应的图像数据合成一个滤光单元对应的图像数据，每个2×2单元内的2个W像素合成一个W像素14301、2个B像素合成1个B像素14201，该图像数据1410经过像素合成处理后，由8×8像素变为4×4像素，并得到两张图像，例如，如图14所示1420，包括R像素、G像素和B像素，以及如图14所示的1430，仅包括W像素，该1430为第一图像数据。
对于单色滤光单元对应的分离出来的图像，如图14所示，可以将其变为RGGB组合，即生成第二图像数据，该第二图像数据为彩色图像数据。例如，可以通过定制的重建马赛克算法，将图14中图像1420合成为第二图像数据1440。
将第一图像数据1430与第二图像数据1440进行数据融合处理，以获得融合处理后的图像数据1450，再将图像数据1450输入至ISP进行处理。
以图6中的滤光单元阵列220为例来确定拍摄对应的目标图像的过程与图14类似，本申请实施例不详细展开说明。
以图7中的滤光单元阵列220为例来确定拍摄对应的目标图像的过程，如图15所示，每个滤光子单元组分为四个2×2阵列的滤光单元，例如第一滤光子单元组的第1行第1列为R、第1行第2列为W、第1行第3列为R、第2行第1列为W、第2行第2列为R、第2行第3列为W、第3行第1列为R、第3行第2列为W、第3行第3列为R，这9个滤光单元可以分别表示为R11、W12、R13、W21、R22、W23、R31、W32、R33，其中，R11、W12、W21、R22组成2×2个滤光单元，W12、R13、R22、W23组成2×2个滤光单元，W21、R22、R31、W32组成2×2个滤光单元，R22、W23、W32、R33组成2×2个滤光单元，这4个2×2个滤光单元分别合成4个B像素和4个W像素，例如，2×2个滤光单元15101中的2个B像素合成1个B像素15201和一个W像素15301，该图像数据1510经过像素合成处理后，由6×6像素变为4×4像素，并得到两张图像，例如，如图15所示1520，包括R像素、G像素和B像素，以及如图15所示的1530，仅包括W像素，该1530为第一图像数据。
对于单色滤光单元对应的分离出来的图像，如图15所示，可以将其变为RGGB组合，即生成第二图像数据，该第二图像数据为彩色图像数据。例如，可以通过定制的重建马赛克算法，将图15中图像数据1520合成为第二图像数据1540。
将第一图像数据1530与第二图像数据1540进行数据融合处理，以获得融合处理后的图像数据1550，再将图像数据1550输入至ISP进行处理。
以图8、图9以及图10中的滤光单元阵列220为例来确定拍摄对应的目标图像的过程与图15类似，本申请不详细展开说明。
S1230：若当前光照强度为极限弱光照，依次进行两次像素合成处理以及数据融合处理。
具体地，仍然以本申请实施例中的滤光单元阵列220包括白色、红色、蓝色和绿色四种颜色的滤光单元为例，图16示出了确定拍摄对应的目标图像的过程的示意图，经过本申请实施例中的滤光单元阵列220，例如，可以经过具有如图5-10中任意一种滤光单元组的滤光单元阵列220，这里以图5中的滤光单元阵列220为例，获得的图像数据包括与白色滤光单元对应的白色(W)像素、与红色滤光单元对应的R像素、与绿色滤光单元对应的G像素和与蓝色滤光单元对应的B像素，如图16所示的左边第一个图像数据1610。
首先，如图16所示，对图像数据1610进行两次像素合成处理，一次像素合成处理是以2×2个像素作为一个合并单元，两次像素合成处理是以4×4个像素作为一个合并单元，每个4×4单元内的W像素合成1个W像素，在包括R像素、G像素以及R像素的另一图像中，每个4×4单元内的相同颜色的像素合成1个像素，该图像数据1610经过两次像素合成处理后，由8×8像素变为2×2像素，并得到两张图像。例如，如图16所示1620，包括R像素、G像素和B像素，即为第二图像数据，以及如图16所示的1630，仅包括W像素，即为第一图像数据。
将第一图像数据1630与第二图像数据1620进行数据融合处理，以获得融合处理后的图像数据1640，再将图像数据1640输入至ISP进行处理。
以图6中的滤光单元阵列220为例来确定拍摄对应的目标图像的过程与图16类似，本申请不详细展开说明。
以图7中的滤光单元阵列220为例来确定拍摄对应的目标图像的过程，如图17所示，对图像数据1710进行两次像素合成处理，每个3×3单元内的W像素合成1个W像素，在包括R像素、G像素以及R像素的另一图像中，每个3×3单元内的相同颜色的像素合成1个像素，该图像数据1710经过两次像素合成处理后，由6×6像素变为2×2像素，并得到两张图像。例如，如图17所示1720，包括R像素、G像素和B像素，即为第二图像数据，以及如图17所示的1730，仅包括W像素，即为第一图像数据。
将第一图像数据1730与第二图像数据1720进行数据融合处理，以获得融合处理后的图像数据1740，再将图像数据1740输入至ISP进行处理。
以图8、图9以及图10中的滤光单元阵列220为例来确定拍摄对应的目标图像的过程与图17类似，本申请不详细展开说明。
本申请实施例中的像素合成指的是一种binning算法。
通过本申请实施例的方案，由于对滤光单元组中的每个滤光子单元组的不同滤光单元的排布设计，有利于后续对图像传感器的像素进行像素合成等图像处理，使得在图像处理中，正常光照下，通过使用W像素对整体进光量大大提升，从而提升整体信噪比；弱光照下，对W像素和RGB像素进行一次像素合成处理，可以将信噪比增大2倍；极弱光照下，对W像素和RGB像素进行两次像素合成处理后，可以将信噪比增大4倍，如图18所示。
本申请实施例中，通过对图像传感器中的滤光单元组的特定排布方式以及对于不同特定排布方式进行不同的图像算法处理，使得白色滤光单元具有较高的空间采样率，同时也使得R像素、G像素、B像素有相对平均的空间采样率，在不同光照强度下进行不同处理，输出包括W像素的bayer数据，从而大幅度提升图像的信噪比，并且可以通过牺牲一定分辨率，在极限弱光下，进一步的提升信噪比。
本申请还提供一种电子设备，包括：上述任一实施例中的图像传感器、图像信号处理器以及显示器；所述图像信号处理器用于对图像传感器输出的图像数据进行处理；所述显示器用于显示所述图像传感器生成的目标图像。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (28)

1.一种图像传感器，其特征在于，包括：微透镜阵列、滤光单元阵列以及感光单元阵列；
所述微透镜阵列，用于将拍摄对象返回的光信号汇聚至所述滤光单元阵列；
所述滤光单元阵列，包括多个滤光单元组，每个所述滤光单元组包括4个滤光子单元组，所述4个滤光子单元组包括1个第一滤光子单元组、1个第二滤光子单元组以及2个第三滤光子单元组；
每个所述滤光单元组中，所述2个第三滤光子单元组在水平方向和垂直方向均不相邻；
每个所述滤光子单元组包括多个滤光单元，所述滤光单元包括白色滤光单元和彩色滤光单元，所述彩色滤光单元包括第一彩色滤光单元、第二彩色滤光单元以及第三彩色滤光单元；
每个所述滤光子单元组中，所述白色滤光单元和所述彩色滤光单元在水平方向和垂直方向间隔排列，且第一对角线位置上均为同一颜色的滤光单元，第二对角线位置上均为同一颜色的滤光单元；
所述第一滤光子单元组包括多个白色滤光单元和多个第一彩色滤光单元；
所述第二滤光子单元组包括多个白色滤光单元和多个第二彩色滤光单元；
所述第三滤光子单元组包括多个白色滤光单元和多个第三彩色滤光单元；
所述感光单元阵列，位于所述滤光单元阵列下方，所述感光单元阵列中的感光单元与所述滤光单元阵列中的滤光单元一一对应。
2.根据权利要求1所述的图像传感器，其特征在于，所述第一彩色滤光单元、所述第二彩色滤光单元和所述第三彩色滤光单元分别为以下中的一种：红色滤光单元、绿色滤光单元、蓝色滤光单元、黄色滤光单元、青色滤光单元以及洋红色滤光单元；所述第一彩色滤光单元、所述第二彩色滤光单元和所述第三彩色滤光单元的颜色均不相同。
3.根据权利要求2所述的图像传感器，其特征在于，第一彩色滤光单元为所述蓝色滤光单元；第二彩色滤光单元为所述红色滤光单元；第三彩色滤光单元为所述绿色滤光单元。
4.根据权利要求3所述的图像传感器，其特征在于，每个所述滤光子单元组包括4×4个滤光单元。
5.根据权利要求4所述的图像传感器，其特征在于，每个所述滤光子单元组的第一对角线位置上均为白色滤光单元，第二对角线位置上均为彩色滤光单元。
6.根据权利要求5所述的图像传感器，其特征在于，所述第一滤光子单元组的第一行排列的第一个为蓝色滤光单元；所述第二滤光子单元组的第一行排列的第一个为红色滤光单元；所述第三滤光子单元组的第一行排列的第一个为绿色滤光单元。
7.根据权利要求6所述的图像传感器，其特征在于，所述2个第三滤光子单元组分别位于所述滤光单元组的左上角和右下角。
8.根据权利要求6所述的图像传感器，其特征在于，所述2个第三滤光子单元组分别位于所述滤光单元组的右上角和左下角。
9.根据权利要求1-8中任意一项所述的图像传感器，其特征在于，还包括处理器，所述处理器用于
若当前光照强度为正常光照时，对图像数据依次进行插值处理、重建马赛克处理以及数据融合处理。
10.根据权利要求1-8中任意一项所述的图像传感器，其特征在于，还包括处理器，所述处理器用于
若当前光照强度为弱光照时，对图像数据进行一次像素合成处理。
11.根据权利要求10所述的图像传感器，其特征在于，每个所述滤光子单元组分为四个2×2个滤光单元，所述一次像素合成处理包括：
在所述第一滤光子单元组中，每2×2个滤光单元中的2个白色滤光单元的图像数据合成1个白色滤光单元的图像数据以及2个蓝色滤光单元的图像数据合成1个蓝色滤光单元的图像数据；
在所述第二滤光子单元组中，每2×2个滤光单元中的2个白色滤光单元的图像数据合成1个白色滤光单元的图像数据以及2个红色滤光单元的图像数据合成1个红色滤光单元的图像数据；
在2个所述第三滤光子单元组中，每2×2个滤光单元中的2个白色滤光单元的图像数据合成1个白色滤光单元的图像数据以及2个绿色滤光单元的图像数据合成1个绿色滤光单元的图像数据。
12.根据权利要求1-8中任意一项所述的图像传感器，其特征在于，还包括处理器，所述处理器用于
若当前光照强度为极限光照时，对图像数据进行两次像素合成处理。
13.根据权利要求12所述的图像传感器，其特征在于，所述两次像素合成处理包括：
在所述第一滤光子单元组中，8个白色滤光单元的图像数据合成1个白色滤光单元的图像数据以及8个蓝色滤光单元的图像数据合成1个蓝色滤光单元的图像数据；
在所述第二滤光子单元组中，8个白色滤光单元的图像数据合成1个白色滤光单元的图像数据以及8个红色滤光单元的图像数据合成1个红色滤光单元的图像数据；
在2个所述第三滤光子单元组中，8个白色滤光单元的图像数据合成1个白色滤光单元的图像数据以及8个绿色滤光单元的图像数据合成1个绿色滤光单元的图像数据。
14.根据权利要求3所述的图像传感器，其特征在于，每个所述滤光子单元组包括3×3个滤光单元。
15.根据权利要求14所述的图像传感器，其特征在于，所述第一滤光子单元组的第一行排列的第一个为红色滤光单元；所述第二滤光子单元组的第一行排列的第一个为蓝色滤光单元；所述第三滤光子单元组的第一行排列的第一个为绿色滤光单元。
16.根据权利要求15所述的图像传感器，其特征在于，所述2个第三滤光子单元组分别位于所述滤光单元组的右上角和左下角。
17.根据权利要求14所述的图像传感器，其特征在于，所述第一滤光子单元组的第一行排列的第一个为红色滤光单元；所述第二滤光子单元组的第一行排列的第一个为蓝色滤光单元；所述第三滤光子单元组的第一行排列的第一个为白色滤光单元。
18.根据权利要求17所述的图像传感器，其特征在于，所述2个第三滤光子单元组分别位于所述滤光单元组的左上角和右下角。
19.根据权利要求14所述的图像传感器，其特征在于，所述第一滤光子单元组的第一行排列的第一个为白色滤光单元；所述第二滤光子单元组的第一行排列的第一个为白色滤光单元；所述第三滤光子单元组的第一行排列的第一个为白色滤光单元。
20.根据权利要求19所述的图像传感器，其特征在于，所述2个第三滤光子单元组分别位于所述滤光单元组的右上角和左下角。
21.根据权利要求14所述的图像传感器，其特征在于，所述第一滤光子单元组的第一行排列的第一个为白色滤光单元；所述第二滤光子单元组的第一行排列的第一个为白色滤光单元；所述第三滤光子单元组的第一行排列的第一个为绿色滤光单元。
22.根据权利要求19所述的图像传感器，其特征在于，所述2个第三滤光子单元组分别位于所述滤光单元组的右上角和左下角。
23.根据权利要求14-22中任意一项所述的图像传感器，其特征在于，还包括处理器，所述处理器用于
若当前光照强度为正常光照时，对图像数据依次进行插值处理、重建马赛克处理以及数据融合处理。
24.根据权利要求14-22中任意一项所述的图像传感器，其特征在于，还包括处理器，所述处理器用于
若当前光照强度为弱光照时，对图像数据进行一次像素合成处理。
25.根据权利要求24所述的图像传感器，其特征在于，每个所述滤光子单元组分为四个2×2个滤光单元，所述一次像素合成处理包括：
在所述第一滤光子单元组中，每2×2个滤光单元中的2个白色滤光单元的图像数据合成1个白色滤光单元的图像数据、2个红色滤光单元的图像数据合成1个红色滤光单元的图像数据；
在所述第二滤光子单元组中，每2×2个滤光单元中的2个白色滤光单元的图像数据合成1个白色滤光单元的图像数据、2个蓝色滤光单元的图像数据合成1个蓝色滤光单元的图像数据；
在所述第三滤光子单元组中，每2×2个滤光单元中的2个白色滤光单元的图像数据合成1个白色滤光单元的图像数据、2个绿色滤光单元的图像数据合成1个绿色滤光单元的图像数据。
26.根据权利要求14-22中任意一项所述的图像传感器，其特征在于，还包括处理器，所述处理器用于
若当前光照强度为极限光照时，对图像数据进行两次像素合成。
27.根据权利要求26所述的图像传感器，其特征在于，所述两次像素合成处理包括：
在所述第一滤光子单元组中，4个白色滤光单元的图像数据合成1个白色滤光单元的图像数据以及5个红色滤光单元的图像数据合成1个蓝色滤光单元的图像数据，或者在所述第一滤光子单元组中，5个白色滤光单元的图像数据合成1个白色滤光单元的图像数据以及4个红色滤光单元的图像数据合成1个红色滤光单元的图像数据；
在所述第二滤光子单元组中，4个白色滤光单元的图像数据合成1个白色滤光单元的图像数据以及5个蓝色滤光单元的图像数据合成1个蓝色滤光单元的图像数据，或者在所述第二滤光子单元组中，5个白色滤光单元的图像数据合成1个白色滤光单元的图像数据以及4个蓝色滤光单元的图像数据合成1个蓝色滤光单元的图像数据；
在2个所述第三滤光子单元组中，4个白色滤光单元的图像数据合成1个白色滤光单元的图像数据以及5个绿色滤光单元的图像数据合成1个绿色滤光单元的图像数据，或者在2个所述第三滤光子单元组中，5个白色滤光单元的图像数据合成1个白色滤光单元的图像数据以及4个绿色滤光单元的图像数据合成1个绿色滤光单元的图像数据。
28.一种电子设备，其特征在于，包括：如权利要求1-27中任意一项所述的图像传感器、图像信号处理器以及显示器；
所述图像信号处理器用于对图像传感器输出的图像数据进行处理；
所述显示器用于显示所述图像传感器生成的目标图像。
CN202010708333.5A 2020-05-15 2020-07-22 图像传感器和电子设备 Active CN111614886B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010410639 2020-05-15
CN2020104106392 2020-05-15

Publications (2)

Publication Number Publication Date
CN111614886A true CN111614886A (zh) 2020-09-01
CN111614886B CN111614886B (zh) 2021-10-19

Family

ID=72202804

Family Applications (11)

Application Number Title Priority Date Filing Date
CN202010637147.7A Pending CN111756974A (zh) 2020-05-15 2020-07-03 图像传感器和电子设备
CN202021303789.5U Active CN212752379U (zh) 2020-05-15 2020-07-03 图像传感器和电子设备
CN202021297708.5U Active CN212435793U (zh) 2020-05-15 2020-07-03 图像传感器和电子设备
CN202010635332.2A Pending CN111756972A (zh) 2020-05-15 2020-07-03 图像传感器和电子设备
CN202021297709.XU Active CN212435794U (zh) 2020-05-15 2020-07-03 图像传感器和电子设备
CN202010636571.XA Pending CN111756973A (zh) 2020-05-15 2020-07-03 图像传感器和电子设备
CN202010708333.5A Active CN111614886B (zh) 2020-05-15 2020-07-22 图像传感器和电子设备
CN202021510460.6U Active CN212752389U (zh) 2020-05-15 2020-07-24 图像传感器和电子设备
CN202021508422.7U Active CN212785522U (zh) 2020-05-15 2020-07-24 图像传感器和电子设备
CN202010724146.6A Pending CN111654615A (zh) 2020-05-15 2020-07-24 图像传感器和电子设备
CN202010724148.5A Pending CN111629140A (zh) 2020-05-15 2020-07-24 图像传感器和电子设备

Family Applications Before (6)

Application Number Title Priority Date Filing Date
CN202010637147.7A Pending CN111756974A (zh) 2020-05-15 2020-07-03 图像传感器和电子设备
CN202021303789.5U Active CN212752379U (zh) 2020-05-15 2020-07-03 图像传感器和电子设备
CN202021297708.5U Active CN212435793U (zh) 2020-05-15 2020-07-03 图像传感器和电子设备
CN202010635332.2A Pending CN111756972A (zh) 2020-05-15 2020-07-03 图像传感器和电子设备
CN202021297709.XU Active CN212435794U (zh) 2020-05-15 2020-07-03 图像传感器和电子设备
CN202010636571.XA Pending CN111756973A (zh) 2020-05-15 2020-07-03 图像传感器和电子设备

Family Applications After (4)

Application Number Title Priority Date Filing Date
CN202021510460.6U Active CN212752389U (zh) 2020-05-15 2020-07-24 图像传感器和电子设备
CN202021508422.7U Active CN212785522U (zh) 2020-05-15 2020-07-24 图像传感器和电子设备
CN202010724146.6A Pending CN111654615A (zh) 2020-05-15 2020-07-24 图像传感器和电子设备
CN202010724148.5A Pending CN111629140A (zh) 2020-05-15 2020-07-24 图像传感器和电子设备

Country Status (2)

Country Link
CN (11) CN111756974A (zh)
WO (1) WO2021227250A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112822466A (zh) * 2020-12-28 2021-05-18 维沃移动通信有限公司 图像传感器、摄像模组和电子设备
CN113676652A (zh) * 2021-08-25 2021-11-19 维沃移动通信有限公司 图像传感器、控制方法、控制装置、电子设备和存储介质
CN113676651A (zh) * 2021-08-25 2021-11-19 维沃移动通信有限公司 图像传感器、控制方法、控制装置、电子设备和存储介质
CN114845015A (zh) * 2020-10-15 2022-08-02 Oppo广东移动通信有限公司 图像传感器、控制方法、成像装置、终端及可读存储介质

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112312097B (zh) * 2020-10-29 2023-01-24 维沃移动通信有限公司 一种传感器
CN113037980A (zh) * 2021-03-23 2021-06-25 北京灵汐科技有限公司 像素传感阵列和视觉传感器
CN115225832A (zh) * 2021-04-21 2022-10-21 海信集团控股股份有限公司 一种图像采集设备及图像加密处理方法、设备和介质
CN113540138B (zh) * 2021-06-03 2024-03-12 奥比中光科技集团股份有限公司 一种多光谱图像传感器及其成像模块
CN113852797A (zh) * 2021-09-24 2021-12-28 昆山丘钛微电子科技股份有限公司 色彩滤镜阵列、图像传感器以及摄像模组
CN114125318A (zh) * 2021-11-12 2022-03-01 Oppo广东移动通信有限公司 图像传感器、摄像模组、电子设备、图像生成方法和装置
CN114125240A (zh) * 2021-11-30 2022-03-01 维沃移动通信有限公司 图像传感器、摄像模组、电子设备及拍摄方法
CN114363486A (zh) * 2021-12-14 2022-04-15 Oppo广东移动通信有限公司 图像传感器、摄像模组、电子设备、图像生成方法和装置
CN114157795A (zh) * 2021-12-14 2022-03-08 Oppo广东移动通信有限公司 图像传感器、摄像模组、电子设备、图像生成方法和装置
CN114823985B (zh) * 2022-05-31 2024-04-09 深圳市聚飞光电股份有限公司 一种光电传感器及其封装方法
CN115696078B (zh) * 2022-08-01 2023-09-01 荣耀终端有限公司 色彩滤波阵列、图像传感器、摄像头模组和电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105282529A (zh) * 2015-10-22 2016-01-27 浙江宇视科技有限公司 一种基于raw空间的数字宽动态方法及装置
CN105516700A (zh) * 2015-12-18 2016-04-20 广东欧珀移动通信有限公司 图像传感器的成像方法、成像装置和电子装置
CN107635118A (zh) * 2014-09-19 2018-01-26 豪威科技股份有限公司 彩色滤光器阵列、图像传感器以及用于减少光谱串扰的方法
US20180124334A1 (en) * 2015-12-18 2018-05-03 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image sensor, control method, and electronic device

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI552594B (zh) * 2014-10-27 2016-10-01 聯詠科技股份有限公司 用於影像感測裝置的色彩濾波陣列及其製造方法
CN105578078B (zh) * 2015-12-18 2018-01-19 广东欧珀移动通信有限公司 图像传感器、成像装置、移动终端及成像方法
CN105516697B (zh) * 2015-12-18 2018-04-17 广东欧珀移动通信有限公司 图像传感器、成像装置、移动终端及成像方法
CN105430359B (zh) * 2015-12-18 2018-07-10 广东欧珀移动通信有限公司 成像方法、图像传感器、成像装置及电子装置
CN105578071B (zh) * 2015-12-18 2018-03-20 广东欧珀移动通信有限公司 图像传感器的成像方法、成像装置和电子装置
CN107105140B (zh) * 2017-04-28 2020-01-24 Oppo广东移动通信有限公司 双核对焦图像传感器及其对焦控制方法和成像装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107635118A (zh) * 2014-09-19 2018-01-26 豪威科技股份有限公司 彩色滤光器阵列、图像传感器以及用于减少光谱串扰的方法
CN105282529A (zh) * 2015-10-22 2016-01-27 浙江宇视科技有限公司 一种基于raw空间的数字宽动态方法及装置
CN105516700A (zh) * 2015-12-18 2016-04-20 广东欧珀移动通信有限公司 图像传感器的成像方法、成像装置和电子装置
US20180124334A1 (en) * 2015-12-18 2018-05-03 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image sensor, control method, and electronic device

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114845015A (zh) * 2020-10-15 2022-08-02 Oppo广东移动通信有限公司 图像传感器、控制方法、成像装置、终端及可读存储介质
CN112822466A (zh) * 2020-12-28 2021-05-18 维沃移动通信有限公司 图像传感器、摄像模组和电子设备
CN113676652A (zh) * 2021-08-25 2021-11-19 维沃移动通信有限公司 图像传感器、控制方法、控制装置、电子设备和存储介质
CN113676651A (zh) * 2021-08-25 2021-11-19 维沃移动通信有限公司 图像传感器、控制方法、控制装置、电子设备和存储介质
CN113676651B (zh) * 2021-08-25 2023-05-26 维沃移动通信有限公司 图像传感器、控制方法、控制装置、电子设备和存储介质

Also Published As

Publication number Publication date
WO2021227250A1 (zh) 2021-11-18
CN212752389U (zh) 2021-03-19
CN111654615A (zh) 2020-09-11
CN111756972A (zh) 2020-10-09
CN212435794U (zh) 2021-01-29
CN111756973A (zh) 2020-10-09
CN111756974A (zh) 2020-10-09
CN111614886B (zh) 2021-10-19
CN212752379U (zh) 2021-03-19
CN212785522U (zh) 2021-03-23
CN111629140A (zh) 2020-09-04
CN212435793U (zh) 2021-01-29

Similar Documents

Publication Publication Date Title
CN111614886B (zh) 图像传感器和电子设备
CN205792895U (zh) 成像系统
CN105282459B (zh) 图像传感器中的像素分选
US8754967B2 (en) Solid-state imaging device, signal processing method thereof, and image capturing apparatus
US8405748B2 (en) CMOS image sensor with improved photodiode area allocation
US20130135500A1 (en) Method for Correcting Image Data From an Image Sensor Having Image Pixels and Non-Image Pixels, and Image Sensor Implementing Same
US20130222603A1 (en) Imaging systems for infrared and visible imaging
US20160286108A1 (en) Imaging systems having image sensor pixel arrays with phase detection capabilities
US8878969B2 (en) Imaging systems with color filter barriers
CN110649057B (zh) 图像传感器、摄像头组件及移动终端
JP2008005488A (ja) カメラモジュール
CN111757006A (zh) 图像获取方法、摄像头组件及移动终端
KR20160065464A (ko) 컬러 필터 어레이, 이를 포함하는 이미지 센서 및 이를 이용한 적외선 정보 획득 방법
TWI567963B (zh) 在彩色濾波器陣列上之光學隔離柵格
CN210143059U (zh) 图像传感器集成电路、图像传感器以及成像系统
US8582006B2 (en) Pixel arrangement for extended dynamic range imaging
CN111741221B (zh) 图像获取方法、摄像头组件及移动终端
US9749554B2 (en) Systems and methods for weighted image signal readout
CN111818283A (zh) 三角形像素的图像传感器、电子设备及成像方法
CN111835971B (zh) 图像处理方法、图像处理系统、电子设备及可读存储介质
CN114679551A (zh) 固体摄像装置、固体摄像装置的信号处理方法以及电子机器
CN114584725A (zh) 一种图像传感器及成像装置
US20220279108A1 (en) Image sensor and mobile terminal
CN115118856A (zh) 图像传感器、图像处理方法、摄像头模组及电子设备
JP2022503764A (ja) 画像センサ、カメラモジュール、モバイル端末及び画像収集方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant