CN115280766B - 图像传感器、成像装置、电子设备、图像处理系统及信号处理方法 - Google Patents

图像传感器、成像装置、电子设备、图像处理系统及信号处理方法 Download PDF

Info

Publication number
CN115280766B
CN115280766B CN202080098201.3A CN202080098201A CN115280766B CN 115280766 B CN115280766 B CN 115280766B CN 202080098201 A CN202080098201 A CN 202080098201A CN 115280766 B CN115280766 B CN 115280766B
Authority
CN
China
Prior art keywords
filter
color
filters
signal
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080098201.3A
Other languages
English (en)
Other versions
CN115280766A (zh
Inventor
沼田肇
青山千秋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Publication of CN115280766A publication Critical patent/CN115280766A/zh
Application granted granted Critical
Publication of CN115280766B publication Critical patent/CN115280766B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • H04N9/78—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase for separating the brightness signal or the chrominance signal from the colour television signal, e.g. using comb filter

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

一种图像传感器(10)、成像装置(100)、电子设备(1000)、图像处理系统(10000)及信号处理方法。图像传感器(10)包括滤光片阵列(11)、像素阵列(12)和处理电路(13)。滤光片阵列(11)包括多个滤光片区域(111)，每个滤光片区域(111)包括多个滤光片单元(1111)。处理电路(13)用于将每个滤光片单元(1111)对应的像素(120)产生的电信号合并输出以作为合并亮度值并形成第一中间图像、根据每个滤光片区域(111)对应的像素(120)产生的电信号生成第一颜色信号、第二颜色信号和第三颜色信号并处理得到用于表征滤光片区域(111)的色彩值的多个第二中间图像，及融合第一中间图像与第二中间图像以得到第一目标图像。

Description

图像传感器、成像装置、电子设备、图像处理系统及信号处理 方法
技术领域
本申请涉及影像技术领域，特别涉及一种图像传感器、成像装置、电子设备、图像处理系统及信号处理方法。
背景技术
手机等电子设备中往往装配有摄像头，以实现拍照功能。摄像头中设置有图像传感器。为了实现彩色图像的采集，图像传感器中通常会设置以拜耳(Bayer)阵列形式排布的滤光片阵列，以使得图像传感器中的多个像素能够接收穿过对应的滤光片的光线，从而生成具有不同色彩通道的像素信号。图像传感器在低亮环境中的感光能力较差，从而难以获得清晰度较高的图像。
发明内容
本申请实施方式提供一种图像传感器、成像装置、电子设备、图像处理系统及信号处理方法。
本申请实施方式的图像传感器包括滤光片阵列、像素阵列和处理电路。所述滤光片阵列包括多个滤光片区域，每个所述滤光片区域包括多个滤光片单元，每个所述滤光片单元包括至少一个第一颜色滤光片、至少一个第二颜色滤光片和至少一个第三颜色滤光片。所述像素阵列包括多个像素，每个所述像素对应所述滤光片阵列的一个滤光片，所述像素用于接收穿过对应的所述滤光片的光线以生成电信号。所述处理电路设置在具有所述像素阵列的衬底上，所述处理电路用于将每个所述滤光片单元对应的像素产生的电信号合并输出以作为合并亮度值并形成第一中间图像，所述合并亮度值用于表征作用于所述滤光片单元对应像素的光线的亮度。所述处理电路还用于根据每个所述滤光片区域对应的像素产生的电信号生成第一颜色信号、第二颜色信号和第三颜色信号，所述第一颜色信号用于表征作用于所述滤光片区域对应像素的光线的第一颜色通道的值，所述第二颜色信号用于表征作用于所述滤光片区域对应像素的光线的第二颜色通道的值，所述第三颜色信号用于表征作用于所述滤光片区域对应像素的光线的第三颜色通道的值；所述处理电路还用于处理所述第一颜色信号、所述第二颜色信号和所述第三颜色信号以得到用于表征所述滤光片区域的色彩值的多个第二中间图像，及用于融合所述第一中间图像与所述第二中间图像以得到第一目标图像。
本申请实施方式的成像装置包括图像传感器和处理器。所述图像传感器包括滤光片阵列和像素阵列；所述滤光片阵列包括多个滤光片区域，每个所述滤光片区域包括多个滤光片单元，每个所述滤光片单元包括至少一个第一颜色滤光片、至少一个第二颜色滤光片和至少一个第三颜色滤光片；所述像素阵列包括多个像素，每个所述像素对应所述滤光片阵列的一个滤光片，所述像素用于接收穿过对应的所述滤光片的光线以生成电信号；每个所述滤光片单元对应的像素产生的电信号合并输出以作为合并亮度值并形成第一中间图像，所述合并亮度值用于表征作用于所述滤光片单元对应像素的光线的亮度。所述处理器用于根据每个所述滤光片区域对应的像素产生的电信号生成第一颜色信号、第二颜色信号和第三颜色信号，所述第一颜色信号用于表征作用于所述滤光片区域对应像素的光线的第一颜色通道的值，所述第二颜色信号用于表征作用于所述滤光片区域对应像素的光线的第二颜色通道的值，所述第三颜色信号用于表征作用于所述滤光片区域对应像素的光线的第三颜色通道的值；所述处理器还用于处理所述第一颜色信号、所述第二颜色信号和所述第三颜色信号以得到用于表征所述滤光片区域的色彩值的多个第二中间图像，融合所述第一中间图像与所述第二中间图像以得到第一目标图像。
本申请实施方式的电子设备包括成像装置和处理器。所述成像装置包括图像传感器，所述图像传感器包括滤光片阵列和像素阵列；所述滤光片阵列包括多个滤光片区域，每个所述滤光片区域包括多个滤光片单元，每个所述滤光片单元包括至少一个第一颜色滤光片、至少一个第二颜色滤光片和至少一个第三颜色滤光片：所述像素阵列包括多个像素，每个所述像素对应所述滤光片阵列的一个滤光片，所述像素用于接收穿过对应的所述滤光片的光线以生成电信号；每个所述滤光片单元对应的像素产生的电信号合并输出以作为合并亮度值并形成第一中间图像，所述合并亮度值用于表征作用于所述滤光片单元对应像素的光线的亮度。所述处理器用于根据每个所述滤光片区域对应的像素产生的电信号生成第一颜色信号、第二颜色信号和第三颜色信号，所述第一颜色信号用于表征作用于所述滤光片区域对应像素的光线的第一颜色通道的值，所述第二颜色信号用于表征作用于所述滤光片区域对应像素的光线的第二颜色通道的值，所述第三颜色信号用于表征作用于所述滤光片区域对应像素的光线的第三颜色通道的值；所述处理器还用于处理所述第一颜色信号、所述第二颜色信号和所述第三颜色信号以得到用于表征所述滤光片区域的色彩值的多个第二中间图像，融合所述第一中间图像与所述第二中间图像以得到第一目标图像。
本申请实施方式的图像处理系统包括电子设备和处理器。所述电子设备包括成像装置，所述成像装置包括图像传感器，所述图像传感器包括滤光片阵列和像素阵列；所述滤光片阵列包括多个滤光片区域，每个所述滤光片区域包括多个滤光片单元，每个所述滤光片单元包括至少一个第一颜色滤光片、至少一个第二颜色滤光片和至少一个第三颜色滤光片；所述像素阵列包括多个像素，每个所述像素对应所述滤光片阵列的一个滤光片，所述像素用于接收穿过对应的所述滤光片的光线以生成电信号；每个所述滤光片单元对应的像素产生的电信号合并输出以作为合并亮度值并形成第一中间图像，所述合并亮度值用于表征作用于所述滤光片单元对应像素的光线的亮度。所述处理器用于根据每个所述滤光片区域对应的像素产生的电信号生成第一颜色信号、第二颜色信号和第三颜色信号，所述第一颜色信号用于表征作用于所述滤光片区域对应像素的光线的第一颜色通道的值，所述第二颜色信号用于表征作用于所述滤光片区域对应像素的光线的第二颜色通道的值，所述第三颜色信号用于表征作用于所述滤光片区域对应像素的光线的第三颜色通道的值；所述处理器还用于处理所述第一颜色信号、所述第二颜色信号和所述第三颜色信号以得到用于表征所述滤光片区域的色彩值的多个第二中间图像，融合所述第一中间图像与所述第二中间图像以得到第一目标图像。
本申请实施方式的信号处理方法，用于图像传感器，所述图像传感器包括滤光片阵列和像素阵列；所述滤光片阵列包括多个滤光片区域，每个所述滤光片区域包括多个滤光片单元，每个所述滤光片单元包括至少一个第一颜色滤光片、至少一个第二颜色滤光片和至少一个第三颜色滤光片；所述像素阵列包括多个像素，每个所述像素对应所述滤光片阵列的一个滤光片，所述像素用于接收穿过对应的所述滤光片的光线以生成电信号。所述信号处理方法包括：将每个所述滤光片单元对应的像素产生的电信号合并输出以作为合并亮度值并形成第一中间图像，所述合并亮度值用于表征作用于所述滤光片单元对应像素的光线的亮度；根据每个所述滤光片区域对应的像素产生的电信号生成第一颜色信号、第二颜色信号和第三颜色信号，所述第一颜色信号用于表征作用于所述滤光片区域对应像素的光线的第一颜色通道的值，所述第二颜色信号用于表征作用于所述滤光片区域对应像素的光线的第二颜色通道的值，所述第三颜色信号用于表征作用于所述滤光片区域对应像素的光线的第三颜色通道的值；处理所述第一颜色信号、所述第二颜色信号和所述第三颜色信号以得到用于表征所述滤光片区域的色彩值的多个第二中间图像；融合所述第一中间图像与所述第二中间图像以得到第一目标图像。
本申请实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请的上述和/或附加的方面和优点可以从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：
图1和图2是本申请某些实施方式的图像传感器的示意图；
图3和图4是本申请某些实施方式的滤光片阵列的部分滤光片的排布示意图；
图5是本申请某些实施方式的图像传感器的示意图；
图6至图8是本申请某些实施方式的滤光片阵列的部分滤光片的排布示意图；
图9至图11是本申请某些实施方式的图像传感器的工作原理示意图；
图12是现有技术中包括以拜耳阵列形式排布的滤光片阵列的图像传感器的工作原理示意图；
图13至图15是本申请某些实施方式的滤光片阵列的部分滤光片的排布示意图；
图16至图19是本申请某些实施方式的图像传感器的工作原理示意图；
图20是本申请某些实施方式的处理电路的部分结构示意图；
图21是本申请某些实施方式的成像装置的示意图；
图22是本申请某些实施方式的电子设备的示意图；
图23是本申请某些实施方式的图像处理系统的示意图；
图24是本申请某些实施方式的信号处理方法的流程示意图；
图25是本申请某些实施方式的计算机设备中的图像处理电路的示意图。
具体实施方式
下面详细描述本申请的实施方式，实施方式的示例在附图中示出，其中，相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。
请参阅图1至图3，本申请提供一种图像传感器10。图像传感器10包括滤光片阵列11、像素阵列12和处理电路13。滤光片阵列11包括多个滤光片区域111，每个滤光片区域111包括多个滤光片单元1111。每个滤光片单元1111包括至少一个第一颜色滤光片A、至少一个第二颜色滤光片B和至少一个第三颜色滤光片C。像素阵列12包括多个像素120，每个像素120对应滤光片阵列11的一个滤光片110，像素120用于接收穿过对应的滤光片110的光线以生成电信号。处理电路13设置在具有像素阵列12的衬底14上。处理电路13用于将每个滤光片单元1111对应的像素120产生的电信号合并输出以作为合并亮度值并形成第一中间图像，合并亮度值用于表征作用于滤光片单元1111对应像素120的光线的亮度。处理电路13还用于根据每个滤光片区域111对应的像素120产生的电信号生成第一颜色信号、第二颜色信号和第三颜色信号，第一颜色信号用于表征作用于滤光片区域111对应像素120的光线的第一颜色通道的值，第二颜色信号用于表征作用于滤光片区域111对应像素120的光线的第二颜色通道的值，第三颜色信号用于表征作用于滤光片区域111对应像素120的光线的第三颜色通道的值。处理电路13还用于处理第一颜色信号、第二颜色信号和第三颜色信号以得到用于表征滤光片区域111的色彩值的多个第二中间图像，及用于融合第一中间图像与第二中间图像以得到第一目标图像。
本申请实施方式的图像传感器10中，由于合并亮度值是由每个滤光片单元1111对应的所有像素120的电信号合并输出的，其中，多个像素120的电信号合并输出相当于增大了像素的感光面积，从而能够提高像素的感光能力，因此获取到的合并亮度值更加准确，采用合并亮度值形成的第一目标图像也更加准确。另外，由于颜色信号(第一颜色信号、第二颜色信号和第三颜色信号)是由滤光片区域111对应的像素120产生的，因此，相对于由单个像素120产生颜色信号(尤其是低亮环境下)而言，本申请的颜色信号也更加准确。
请再次参阅图3，每个滤光片区域111中的滤光片单元1111的数量可以均为M*M，其中，M为大于或等于2的整数，示例地，M的取值可以为2、3、4、5、6、7、8、9、10、15、20等等，在此不作限制。其中，在M比较大时，滤光片区域111对应的第一颜色信号、第二颜色信号和第三颜色信号越准确，在M比较小时，同样大小的滤光片阵列11能够获取的图像的分辨率更高。每个滤光片单元1111中的滤光片110的数量可以均为N*N，其中，N为大于或等于2的整数，示例地，N的取值可以为2、3、4、5、6、7、8、9、10、15、20等等，在此不作限制。其中，在N比较大时，滤光片单元1111对应的合并亮度值更加，在N比较小时，同样大小的滤光片阵列11能够获取的图像的分辨率更高。M和N可以相同或不同。例如，每个滤光片区域111中的滤光片单元1111的数量可以均为2*2，每个滤光片单元1111中的滤光片110的数量可以均为2*2，此时第一颜色信号、第二颜色信号、第三颜色信号和合并亮度值均比较准确，图像的分辨率也比较高。当然，每个滤光片区域111中的滤光片单元1111的数量也可以均为3*3或均为4*4等。每个滤光片单元1111中的滤光片110的数量也可以均为3*3或均为4*4等。
本申请实施方式的图像传感器10中，每个滤光片单元1111中的第一颜色滤光片A的数量、第二颜色滤光片B的数量和第三颜色滤光片C的数量具有比值，多个滤光片单元1111的比值均相同。例如，每个滤光片单元1111中的第一颜色滤光片A的数量、第二颜色滤光片B的数量和第三颜色滤光片C的数量的比值均为2∶1∶1。又例如，每个滤光片单元1111中的第一颜色滤光片A的数量、第二颜色滤光片B的数量和第三颜色滤光片C的数量的比值均为5∶2∶2。
在本申请实施方式中，第一颜色滤光片A可以为绿色滤光片G，第二颜色滤光片B可以为红色滤光片R，第三颜色滤光片C可以为蓝色滤光片Bu。以每个滤光片单元1111中的第一颜色滤光片A的数量、第二颜色滤光片B的数量和第三颜色滤光片C的数量的比值均为2∶1∶1为例，此时每个滤光片单元1111中的绿色滤光片G、红色滤光片R和蓝色滤光片Bu的数量比值均为2∶1∶1，即合并亮度值为R+2G+B，与亮度信号的计算方式(y＝0.299R+0.586G+0.114B)类似，此时获得的合并亮度值更加准确。
在某些实施方式中，滤光片阵列11包括多个第一滤光片组1131及多个第二滤光片组1132，第一滤光片组1131包括数量相同的多个第一颜色滤光片A和多个第二颜色滤光片B，第二滤光片组1132包括数量相同的多个第一颜色滤光片A和多个第三颜色滤光片C；所有第一滤光片组1131与所有第二滤光片组1132排列形成的子阵列为滤光片阵列11的一部分；或所有滤光片区域111排列形成的子阵列为滤光片阵列11的一部分；在低亮模式下，图像传感器10用于获取第一目标图像；在纹理清晰模式下，处理电路13用于将第一滤光片组1131对应的像素120产生的电信号合并生成第一像素信号和第三像素信号，第一像素信号用于表征作用于第一滤光片组1131对应像素120的光线的第一颜色通道的值，第三像素信号用于表征作用于第一滤光片组1131对应像素120的光线的第二颜色通道的值，处理电路13还用于将第二滤光片组1132对应的像素120产生的电信号合并生成第二像素信号和第四像素信号，第二像素信号用于表征作用于第二滤光片组1132对应像素120的光线的第一颜色通道的值，第四像素信号用于表征作用于第二滤光片组1132对应像素120的光线的第三颜色通道的值，处理电路13还用于根据第一像素信号、第二像素信号、第三像素信号和第四像素信号得到第二目标图像。
在某些实施方式中，若滤光片阵列11制造时是以滤光片区域111为单位进行制造的，则所有第一滤光片组1131与所有第二滤光片组1132排列形成的子阵列为滤光片阵列11的一部分。在获取第一目标图像时，所有像素120所产生的电信号都会被读出。在获取第二目标图像时，第一行和/或第一列的像素120所产生的电信号不被读出。以图3的滤光片阵列11为例，则在获取第二目标图像时，第一行和最后一行的像素120所产生的电信号不被读出，或第一列和最后一列的像素120所产生的电信号不被读出。
例如，以每个滤光片单元1111中的第一颜色滤光片A的数量、第二颜色滤光片B的数量和第三颜色滤光片C的数量的比值均为2∶1∶1为例，则一个滤光片单元1111中的一个第一颜色滤光片A、一个第二颜色滤光片B和另外一个滤光片单元1111中的一个第一颜色滤光片A、一个第二颜色滤光片B组合形成第一滤光片组1131；一个滤光片单元1111中的一个第一颜色滤光片A、一个第三颜色滤光片C和另外一个滤光片单元1111中的一个第一颜色滤光片A、一个第二颜色滤光片C组合形成第二滤光片组1132。
在某些实施方式中，若滤光片阵列11制造时是以第一滤光片组1131、第二滤光片组1132为单位进行制造的，则所有滤光片区域111排列形成的子阵列为滤光片阵列11的一部分。在获取第一目标图像时，第一行和/或第一列的像素120所产生的电信号不被读出。在获取第二目标图像时，所有像素120所产生的电信号都会被读出。以图4的滤光片阵列11为例，则在获取第一目标图像时，第一行和最后三行的像素120所产生的电信号不被读出，或第一列和最后三列的像素120所产生的电信号不被读出。
在本申请实施方式中，用户可通过选择想要的模式以进行模式切换，例如显示界面显示低亮模式和纹理清晰模式，用户选中低亮模式则输出第一目标图像，用户选中纹理清晰模式则输出第二目标图像。如此，可以通过同一个滤光片阵列11分别实现低亮模式和纹理清晰模式的切换。在低亮模式中，由于合并亮度值是由每个滤光片单元1111对应的所有像素120的电信号合并输出的，颜色信号是由滤光片区域111对应的像素120产生的，因此，低亮模式在低亮环境下仍然能够准确、有效地获取图像，即低亮模式能够适用于低亮环境。在纹理清晰模式中，由于第一滤光片组1131和第二滤光片组1132中均具有第一颜色滤光片A，使得第一滤光片组1131对应的像素120和第二滤光片组1132对应的像素120均能够生成具有第一颜色通道的值的像素信号。由此，在第二目标图像的生成过程中，第一颜色通道的值不需要进行插值处理，彩色图像的色彩还原度更加准确。
请参阅图2和图5，本申请实施方式的图像传感器10包括微透镜阵列15、滤光片阵列11、及像素阵列12。沿图像传感器10的收光方向，微透镜阵列15、滤光片阵列11、及像素阵列12依次设置。
滤光片阵列11包括多个第一滤光片组1131和多个第二滤光片组1132。第一滤光片组1131包括数量相同的多个第一颜色滤光片A和多个第二颜色滤光片B。第二滤光片组1132包括数量相同的多个第一颜色滤光片A和多个第三颜色滤光片C。
像素阵列12包括多个像素120，每个像素120对应滤光片阵列11的一个滤光片110，像素120用于接收穿过对应的滤光片110的光线以生成电信号。
微透镜阵列15包括多个微透镜组151。微透镜阵列15中的一个微透镜组151对应一个滤光片组113(第一滤光片组1131或第二滤光片组1132)，并与该一个滤光片组113对应的多个像素120对应。如图2所示，每个微透镜组151均包括多个微透镜150，每个微透镜150对应一个滤光片110及一个像素120。如图5所示，每个微透镜组151均包括一个微透镜150，每个微透镜150对应一个滤光片组113，并与该一个滤光片组113对应的多个像素120对应。
图4、图6至图8是本申请多个实施例的滤光片阵列11中部分滤光片110的排布示意图。图4、图6至图8所示的滤光片阵列11中，每个滤光片阵列11均包括多个第一滤光片组1131和多个第二滤光片组1132。每个第一滤光片组1131包括数量相同的多个第一颜色滤光片A和多个第二颜色滤光片B。每个第二滤光片组1132包括数量相同的多个第一颜色滤光片A和多个第三颜色滤光片C。
其中，第一颜色滤光片A可以为绿色滤光片G，第二颜色滤光片B可以为红色滤光片R，第三颜色滤光片C可以为蓝色滤光片Bu。
其中，多个第一滤光片组1131可以设置在第一对角线方向D1，多个第二滤光片组1132可以设置在第二对角线方向D2，第一对角线方向D1与第二对角线方向D2不同。在一个例子中，当多个第一滤光片组1131设置在第一对角线方向D1，多个第二滤光片组1132设置在第二对角线方向D2时，第一滤光片组1131与第二滤光片组1132可以在图像传感器10的垂直方向和水平方向相邻布置。
其中，每个第一滤光片组1131中的滤光片110的数量均为K*K，每个第二滤光片组1132中的滤光片110的数量均为K*K，其中，K为大于或等于2的整数。示例地，K的取值可以为2、3、4、5、6、7、8、9、10、15、20等等，在此不作限制。
其中，每个第一滤光片组1131中的多个滤光片110的排布方式可以是：(1)请参阅图4，多个第一颜色滤光片A及多个第二颜色滤光片B在图像传感器10的垂直方向和水平方向相邻布置；(2)请参阅图6，多个滤光片110逐行排列，且同一行中的多个滤光片110的颜色相同；(3)请参阅图7，多个滤光片110逐列排列，且同一列中的多个滤光片110的颜色相同。当然，每个第一滤光片组1131中多个滤光片110的排布方式并不限于此。
其中，每个第二滤光片组1132中的多个滤光片110的排布方式可以是：(1)请参阅图4，多个第一颜色滤光片A及多个第三颜色滤光片C在图像传感器10的垂直方向和水平方向相邻布置；(2)请参阅图6，多个滤光片110逐行排列，且同一行中的多个滤光片110的颜色相同；(3)请参阅图7，多个滤光片110逐列排列，且同一列中的多个滤光片110的颜色相同。当然，每个第二滤光片组1132中多个滤光片110的排布方式并不限于此。
图4是本申请一个实施例的滤光片阵列11中部分滤光片110的排布示意图。请参阅图4，部分滤光片110的排布方式为：
其中，A为第一颜色滤光片，B为第二颜色滤光片，C为第三颜色滤光片。每个第一滤光片组1131中的滤光片110的数量均为2*2，每个第二滤光片组1132中的滤光片110的数量均为2*2。
如图4所示，多个第一滤光片组1131设置在第一对角线方向D1(例如图4中滤光片阵列11的左上角与右下角连接的方向)，多个第二滤光片组1132设置在第二对角线方向D2(例如图4中滤光片阵列11的左下角与右上角连接的方向)，第一对角线方向D1与第二对角线方向D2不同，例如，第一对角线方向D1与第二对角线方向D2垂直。
需要说明的是，第一对角线方向D1和第二对角线方向D2并不局限于对角线，还包括平行于对角线的方向。这里的“方向”并非单一指向，可以理解为指示排布的“直线”的概念，可以有直线两端的双向指向。此外，在其他实施例中，第一对角线方向D1也可以是滤光片阵列11的左下角与右上角连接的方向，第二对角线方向D2也可以是滤光片阵列11的左上角与右下角连接的方向，此时，第一滤光片组1131及第二滤光片组1132的位置对应对角线方向的变换做变换。
如图4所示，第一滤光片组1131与第二滤光片组1132在图像传感器10(图2所示)的垂直方向V上相邻布置，且在水平方向H上也相邻布置。也即，多个滤光片组113在垂直方向V上按照第一滤光片组1131、第二滤光片组1132的顺序呈周期性排列，多个滤光片组113在水平方向H上按照第一滤光片组1131、第二滤光片组1132的顺序呈周期性排列。
需要说明的是，第一滤光片组1131与第二滤光片组1132在垂直方向V上相邻布置，且在水平方向H上也相邻布置并不限于图4的方式，还可以是：多个滤光片组113在垂直方向V上按照第一滤光片组1131及第二滤光片组1132的顺序或第二滤光片组1132及第一滤光片组1131的顺序呈周期性排列(从左至右，从上至下来看，下同)，多个滤光片组113在水平方向H上按照第一滤光片组1131及第二滤光片组1132的顺序或第二滤光片组1132及第一滤光片组1131的顺序呈周期性排列(从左至右，从上至下来看，下同)。
如图4所示，在第一滤光片组1131中，多个第一颜色滤光片A及多个第二颜色滤光片B在垂直方向V和水平方向H上相邻布置。也即，在垂直方向V上，第一颜色滤光片A和第二颜色滤光片B交替排列，且在水平方向H上，第一颜色滤光片A和第二颜色滤光片B交替排列。在第二滤光片组1132中，多个第一颜色滤光片A及多个第三颜色滤光片C在垂直方向V和水平方向H上相邻布置。也即，在垂直方向V上，第一颜色滤光片A和第三颜色滤光片C交替排列，且在水平方向H上，第一颜色滤光片A和第三颜色滤光片C交替排列。
图4所示的滤光片阵列11中，若缺省第一行或第一列的滤光片110，则滤光片110的排布方式为：
此时，每个滤光片区域111可以包括2*2个滤光片单元1111，每个滤光片单元1111包括2*2个滤光片110。每个滤光片单元1111包括两个第一颜色滤光片A、一个第二颜色滤光片B和一个第三颜色滤光片C。
在某些实施方式中，滤光片阵列11中部分滤光片110的排布方式还可以为：
其中，A为第一颜色滤光片，B为第二颜色滤光片，C为第三颜色滤光片。每个第一滤光片组1131中的滤光片110的数量均为3*3，每个第二滤光片组1132中的滤光片110的数量均为3*3。
在此排布方式下，多个第一滤光片组1131设置在第一对角线方向D1(例如滤光片阵列11的左上角与右下角连接的方向)，多个第二滤光片组1132设置在第二对角线方向D2(例如滤光片阵列11的左下角与右上角连接的方向)，第一对角线方向D1与第二对角线方向D2不同，例如，第一对角线方向D1与第二对角线方向D2垂直。
在此排布方式下，第一滤光片组1131与第二滤光片组1132在图像传感器10(图2所示)的垂直方向V上相邻布置，且在水平方向H上也相邻布置。也即，多个滤光片组113在垂直方向V上按照第一滤光片组1131及第二滤光片组1132的顺序或第二滤光片组1132及第一滤光片组1131的顺序呈周期性排列，多个滤光片组113在水平方向H上按照第一滤光片组1131及第二滤光片组1132的顺序或第二滤光片组1132及第一滤光片组1131的顺序呈周期性排列。
在此排布方式下，在第一滤光片组1131中，多个第一颜色滤光片A及多个第二颜色滤光片B在垂直方向V和水平方向H上相邻布置。也即，在垂直方向V上，第一颜色滤光片A和第二颜色滤光片B交替排列，且在水平方向H上，第一颜色滤光片A和第二颜色滤光片B交替排列。在第二滤光片组1132中，多个第一颜色滤光片A及多个第三颜色滤光片C在垂直方向V和水平方向H上相邻布置。也即，在垂直方向V上，第一颜色滤光片A和第三颜色滤光片C交替排列，且在水平方向H上，第一颜色滤光片A和第三颜色滤光片C交替排列。
上述所示的滤光片阵列11中，若缺省第一行的滤光片110，则滤光片110的排布方式为：
此时，每个滤光片区域111可以包括2*2个滤光片单元1111，每个滤光片单元1111包括3*3个滤光片110。有些滤光片单元1111可以包括五个第一颜色滤光片A、三个第二颜色滤光片B和一个第三颜色滤光片C。有些滤光片单元1111可以包括五个第一颜色滤光片A、一个第二颜色滤光片B和三个第三颜色滤光片C。
若缺省第一列的滤光片110，则滤光片110的排布方式为：
此时，每个滤光片区域111可以包括2*2个滤光片单元1111，每个滤光片单元1111包括3*3个滤光片110。有些滤光片单元1111可以包括五个第一颜色滤光片A、三个第二颜色滤光片B和一个第三颜色滤光片C。有些滤光片单元1111可以包括五个第一颜色滤光片A、一个第二颜色滤光片B和三个第三颜色滤光片C。
在某些实施方式中，滤光片阵列11中部分滤光片110的排布方式还可以为：
其中，A为第一颜色滤光片，B为第二颜色滤光片，C为第三颜色滤光片。每个第一滤光片组1131中的滤光片110的数量均为4*4，每个第二滤光片组1132中的滤光片110的数量均为4*4。
在此排布方式下，多个第一滤光片组1131设置在第一对角线方向D1(例如滤光片阵列11的左上角与右下角连接的方向)，多个第二滤光片组1132设置在第二对角线方向D2(例如滤光片阵列11的左下角与右上角连接的方向)，第一对角线方向D1与第二对角线方向D2不同，例如，第一对角线方向D1与第二对角线方向D2垂直。
在此排布方式下，第一滤光片组1131与第二滤光片组1132在图像传感器10(图2所示)的垂直方向V上相邻布置，且在水平方向H上也相邻布置。也即，多个滤光片组113在垂直方向V上按照第一滤光片组1131及第二滤光片组1132的顺序或第二滤光片组1132及第一滤光片组1131的顺序呈周期性排列，多个滤光片组113在水平方向H上按照第一滤光片组1131及第二滤光片组1132的顺序或第二滤光片组1132及第一滤光片组1131的顺序呈周期性排列。
在此排布方式下，在第一滤光片组1131中，多个第一颜色滤光片A及多个第二颜色滤光片B在垂直方向V和水平方向H上相邻布置。也即，在垂直方向V上，第一颜色滤光片A和第二颜色滤光片B交替排列，且在水平方向H上，第一颜色滤光片A和第二颜色滤光片B交替排列。在第二滤光片组1132中，多个第一颜色滤光片A及多个第三颜色滤光片C在垂直方向V和水平方向H上相邻布置。也即，在垂直方向V上，第一颜色滤光片A和第三颜色滤光片C交替排列，且在水平方向H上，第一颜色滤光片A和第三颜色滤光片C交替排列。
上述所示的滤光片阵列11中，若缺省第一行的滤光片110，则滤光片110的排布方式为：
此时，每个滤光片区域111可以包括2*2个滤光片单元1111，每个滤光片单元1111包括4*4个滤光片110。有些滤光片单元1111可以包括八个第一颜色滤光片A、六个第二颜色滤光片B和两个第三颜色滤光片C。有些滤光片单元1111可以包括八个第一颜色滤光片A、两个第二颜色滤光片B和六个第三颜色滤光片C。
若缺省第一列的滤光片110，则滤光片110的排布方式为：
此时，每个滤光片区域111可以包括2*2个滤光片单元1111，每个滤光片单元1111包括4*4个滤光片110。有些滤光片单元1111可以包括八个第一颜色滤光片A、六个第二颜色滤光片B和两个第三颜色滤光片C。有些滤光片单元1111可以包括八个第一颜色滤光片A、两个第二颜色滤光片B和六个第三颜色滤光片C。
图6是本申请又一个实施例的滤光片阵列11中部分滤光片110的排布示意图。请参阅图6部分滤光片110的排布方式为：
其中，A为第一颜色滤光片，B为第二颜色滤光片，C为第三颜色滤光片。每个第一滤光片组1131中的滤光片110的数量均为2*2，每个第二滤光片组1132中的滤光片110的数量均为2*2。
如图6所示，多个第一滤光片组1131设置在第一对角线方向D1(例如图6中滤光片阵列11的左上角与右下角连接的方向)，多个第二滤光片组1132设置在第二对角线方向D2(例如图6中滤光片阵列11的左下角与右上角连接的方向)，第一对角线方向D1与第二对角线方向D2不同，例如，第一对角线方向D1与第二对角线方向D2垂直。
如图6所示，第一滤光片组1131与第二滤光片组1132在图像传感器10(图2所示)的垂直方向V上相邻布置，且在水平方向H上也相邻布置。也即，多个滤光片组113在垂直方向V上按照第一滤光片组1131及第二滤光片组1132的顺序或第二滤光片组1132及第一滤光片组1131的顺序呈周期性排列，多个滤光片组113在水平方向H上按照第一滤光片组1131及第二滤光片组1132的顺序或第二滤光片组1132及第一滤光片组1131的顺序呈周期性排列。
如图6所示，在第一滤光片组1131中，多个滤光片110逐行排列，且同一行中的多个滤光片110的颜色相同，例如，第一行的多个滤光片110均为第一颜色滤光片A，第二行的多个滤光片110均为第二颜色滤光片B。在第二滤光片组1132中，多个滤光片110逐行排列，且同一行中的多个滤光片110的颜色相同，例如，第一行的多个滤光片110均为第一颜色滤光片A，第二行的多个滤光片110均为第三颜色滤光片C。
图6所示的滤光片阵列11中，若缺省第一列的滤光片110，则滤光片110的排布方式为：
此时，每个滤光片区域111可以包括2*2个滤光片单元1111，每个滤光片单元1111包括2*2个滤光片110。每个滤光片单元1111包括两个第一颜色滤光片A、一个第二颜色滤光片B和一个第三颜色滤光片C。
在某些实施方式中，滤光片阵列11中部分滤光片110的排布方式还可以为：
其中，A为第一颜色滤光片，B为第二颜色滤光片，C为第三颜色滤光片。每个第一滤光片组1131中的滤光片110的数量均为3*3，每个第二滤光片组1132中的滤光片110的数量均为3*3。
在此排布方式下，多个第一滤光片组1131设置在第一对角线方向D1(例如滤光片阵列11的左上角与右下角连接的方向)，多个第二滤光片组1132设置在第二对角线方向D2(例如滤光片阵列11的左下角与右上角连接的方向)，第一对角线方向D1与第二对角线方向D2不同，例如，第一对角线方向D1与第二对角线方向D2垂直。
在此排布方式下，第一滤光片组1131与第二滤光片组1132在图像传感器10(图2所示)的垂直方向V上相邻布置，且在水平方向H上也相邻布置。也即，多个滤光片组113在垂直方向V上按照第一滤光片组1131及第二滤光片组1132的顺序或第二滤光片组1132及第一滤光片组1131的顺序呈周期性排列，多个滤光片组113在水平方向H上按照第一滤光片组1131及第二滤光片组1132的顺序或第二滤光片组1132及第一滤光片组1131的顺序呈周期性排列。
在此排布方式下，在第一滤光片组1131中，多个滤光片110逐行排列，且同一行中的多个滤光片110的颜色相同，例如，第一行的多个滤光片110均为第一颜色滤光片A，第二行的多个滤光片110均为第二颜色滤光片B，第三行的多个滤光片110均为第一颜色滤光片A。在第二滤光片组1132中，多个滤光片110逐行排列，且同一行中的多个滤光片110的颜色相同，例如，第一行的多个滤光片110均为第一颜色滤光片A，第二行的多个滤光片110均为第三颜色滤光片C，第三行的多个滤光片110均为第一颜色滤光片A。
上述所示的滤光片阵列11中，若缺省第一列的滤光片110，则滤光片110的排布方式为：
此时，每个滤光片区域111可以包括2*2个滤光片单元1111，每个滤光片单元1111包括3*3个滤光片110。有些滤光片单元1111可以包括五个第一颜色滤光片A、三个第二颜色滤光片B和一个第三颜色滤光片C。有些滤光片单元1111可以包括五个第一颜色滤光片A、一个第二颜色滤光片B和三个第三颜色滤光片C。
在某些实施方式中，滤光片阵列11中部分滤光片110的的排布方式还可以为：
其中，A为第一颜色滤光片，B为第二颜色滤光片，C为第三颜色滤光片。每个第一滤光片组1131中的滤光片110的数量均为4*4，每个第二滤光片组1132中的滤光片110的数量均为4*4。
在此排布方式下，多个第一滤光片组1131设置在第一对角线方向D1(例如滤光片阵列11的左上角与右下角连接的方向)，多个第二滤光片组1132设置在第二对角线方向D2(例如滤光片阵列11的左下角与右上角连接的方向)，第一对角线方向D1与第二对角线方向D2不同，例如，第一对角线方向D1与第二对角线方向D2垂直。
在此排布方式下，第一滤光片组1131与第二滤光片组1132在图像传感器10(图2所示)的垂直方向V上相邻布置，且在水平方向H上也相邻布置。也即，多个滤光片组113在垂直方向V上按照第一滤光片组1131及第二滤光片组1132的顺序或第二滤光片组1132及第一滤光片组1131的顺序呈周期性排列，多个滤光片组113在水平方向H上按照第一滤光片组1131及第二滤光片组1132的顺序或第二滤光片组1132及第一滤光片组1131的顺序呈周期性排列。
在此排布方式下，在第一滤光片组1131中，多个滤光片110逐行排列，且同一行中的多个滤光片110的颜色相同，例如，第一行的多个滤光片110均为第一颜色滤光片A，第二行的多个滤光片110均为第二颜色滤光片B，第三行的多个滤光片110均为第一颜色滤光片A，第四行的多个滤光片110均为第二颜色滤光片B。在第二滤光片组1132中，多个滤光片110逐行排列，且同一行中的多个滤光片110的颜色相同，例如，第一行的多个滤光片110均为第一颜色滤光片A，第二行的多个滤光片110均为第三颜色滤光片C，第三行的多个滤光片110均为第一颜色滤光片A，第四行的多个滤光片110均为第三颜色滤光片C。
上述所示的滤光片阵列11中，若缺省第一列的滤光片110，则滤光片110的排布方式为：
此时，每个滤光片区域111可以包括2*2个滤光片单元1111，每个滤光片单元1111包括4*4个滤光片110。有些滤光片单元1111可以包括八个第一颜色滤光片A、六个第二颜色滤光片B和两个第三颜色滤光片C。有些滤光片单元1111可以包括八个第一颜色滤光片A、两个第二颜色滤光片B和六个第三颜色滤光片C。
图7是本申请又一个实施例的滤光片阵列11中部分滤光片110的排布示意图。请参阅图7，部分滤光片110的排布方式为：
其中，A为第一颜色滤光片，B为第二颜色滤光片，C为第三颜色滤光片。每个第一滤光片组1131中的滤光片110的数量均为2*2，每个第二滤光片组1132中的滤光片110的数量均为2*2。
如图7所示，多个第一滤光片组1131设置在第一对角线方向D1(例如图7中滤光片阵列11的左上角与右下角连接的方向)，多个第二滤光片组1132设置在第二对角线方向D2(例如图7中滤光片阵列11的左下角与右上角连接的方向)，第一对角线方向D1与第二对角线方向D2不同，例如，第一对角线方向D1与第二对角线方向D2垂直。
如图7所示，第一滤光片组1131与第二滤光片组1132在图像传感器10(图2所示)的垂直方向V上相邻布置，且在水平方向H上也相邻布置。也即，多个滤光片组113在垂直方向V上按照第一滤光片组1131及第二滤光片组1132的顺序或第二滤光片组1132及第一滤光片组1131的顺序呈周期性排列，多个滤光片组113在水平方向H上按照第一滤光片组1131及第二滤光片组1132的顺序或第二滤光片组1132及第一滤光片组1131的顺序呈周期性排列。
如图7所示，在第一滤光片组1131中，多个滤光片110逐列排列，且同一列中的多个滤光片110的颜色相同，例如，第一列的多个滤光片110均为第一颜色滤光片A，第二列的多个滤光片110均为第二颜色滤光片B。在第二滤光片组1132中，多个滤光片110逐列排列，且同一列中的多个滤光片110的颜色相同，例如，第一列的多个滤光片110均为第一颜色滤光片A，第二列的多个滤光片110均为第三颜色滤光片C。
图7所示的滤光片阵列11中，若缺省第一行的滤光片110，则滤光片110的排布方式为：
此时，每个滤光片区域111可以包括2*2个滤光片单元1111，每个滤光片单元1111包括2*2个滤光片110。每个滤光片单元1111包括两个第一颜色滤光片A、一个第二颜色滤光片B和一个第三颜色滤光片C。
在某些实施方式中，滤光片阵列11中部分滤光片110的排布方式还可以为：
其中，A为第一颜色滤光片，B为第二颜色滤光片，C为第三颜色滤光片。每个第一滤光片组1131中的滤光片110的数量均为3*3，每个第二滤光片组1132中的滤光片110的数量均为3*3。
在此排布方式下，多个第一滤光片组1131设置在第一对角线方向D1(例如中滤光片阵列11的左上角与右下角连接的方向)，多个第二滤光片组1132设置在第二对角线方向D2(例如滤光片阵列11的左下角与右上角连接的方向)，第一对角线方向D1与第二对角线方向D2不同，例如，第一对角线方向D1与第二对角线方向D2垂直。
在此排布方式下，第一滤光片组1131与第二滤光片组1132在图像传感器10(图2所示)的垂直方向V上相邻布置，且在水平方向H上也相邻布置。也即，多个滤光片组113在垂直方向V上按照第一滤光片组1131及第二滤光片组1132的顺序或第二滤光片组1132及第一滤光片组1131的顺序呈周期性排列，多个滤光片组113在水平方向H上按照第一滤光片组1131及第二滤光片组1132的顺序或第二滤光片组1132及第一滤光片组1131的顺序呈周期性排列。
在此排布方式下，在第一滤光片组1131中，多个滤光片110逐列排列，且同一列中的多个滤光片110的颜色相同，例如，第一列的多个滤光片110均为第一颜色滤光片A，第二列的多个滤光片110均为第二颜色滤光片B，第三列的多个滤光片110均为第一颜色滤光片A。在第二滤光片组1132中，多个滤光片110逐列排列，且同一列中的多个滤光片110的颜色相同，例如，第一列的多个滤光片110均为第一颜色滤光片A，第二列的多个滤光片110均为第三颜色滤光片C，第三列的多个滤光片110均为第一颜色滤光片A。
上述所示的滤光片阵列11中，若缺省第一行的滤光片110，则滤光片110的排布方式为：
此时，每个滤光片区域111可以包括2*2个滤光片单元1111，每个滤光片单元1111包括3*3个滤光片110。有些滤光片单元1111可以包括五个第一颜色滤光片A、三个第二颜色滤光片B和一个第三颜色滤光片C。有些滤光片单元1111可以包括五个第一颜色滤光片A、一个第二颜色滤光片B和三个第三颜色滤光片C。
在某些实施方式中，滤光片阵列11中部分滤光片110的排布方式还可以为：
其中，A为第一颜色滤光片，B为第二颜色滤光片，C为第三颜色滤光片。每个第一滤光片组1131中的滤光片110的数量均为4*4，每个第二滤光片组1132中的滤光片110的数量均为4*4。
在此排布方式下，多个第一滤光片组1131设置在第一对角线方向D1(例如滤光片阵列11的左上角与右下角连接的方向)，多个第二滤光片组1132设置在第二对角线方向D2(例如滤光片阵列11的左下角与右上角连接的方向)，第一对角线方向D1与第二对角线方向D2不同，例如，第一对角线方向D1与第二对角线方向D2垂直。
在此排布方式下，第一滤光片组1131与第二滤光片组1132在图像传感器10(图2所示)的垂直方向V上相邻布置，且在水平方向H上也相邻布置。也即，多个滤光片组113在垂直方向V上按照第一滤光片组1131及第二滤光片组1132的顺序或第二滤光片组1132及第一滤光片组1131的顺序呈周期性排列，多个滤光片组113在水平方向H上按照第一滤光片组1131及第二滤光片组1132的顺序或第二滤光片组1132及第一滤光片组1131的顺序呈周期性排列。
在此排布方式下，在第一滤光片组1131中，多个滤光片110逐列排列，且同一列中的多个滤光片110的颜色相同，例如，第一列的多个滤光片110均为第一颜色滤光片A，第二列的多个滤光片110均为第二颜色滤光片B，第三列的多个滤光片110均为第一颜色滤光片A，第四列的多个滤光片110均为第二颜色滤光片B。在第二滤光片组1132中，多个滤光片110逐列排列，且同一列中的多个滤光片110的颜色相同，例如，第一列的多个滤光片110均为第一颜色滤光片A，第二列的多个滤光片110均为第三颜色滤光片C，第三列的多个滤光片110均为第一颜色滤光片A，第四列的多个滤光片110均为第三颜色滤光片C。
上述所示的滤光片阵列11中，若缺省第一行的滤光片110，则滤光片110的排布方式为：
此时，每个滤光片区域111可以包括2*2个滤光片单元1111，每个滤光片单元1111包括4*4个滤光片110。有些滤光片单元1111可以包括八个第一颜色滤光片A、六个第二颜色滤光片B和两个第三颜色滤光片C。有些滤光片单元1111可以包括八个第一颜色滤光片A、两个第二颜色滤光片B和六个第三颜色滤光片C。
图8是本申请又一个实施例的滤光片阵列11中部分滤光片110的排布示意图。请参阅图8，部分滤光片110的排布方式为：
其中，A为第一颜色滤光片，B为第二颜色滤光片，C为第三颜色滤光片。每个第一滤光片组1131中的滤光片110的数量均为2*2，每个第二滤光片组1132中的滤光片110的数量均为2*2。
如图8所示，多个第一滤光片组1131设置在第一对角线方向D1(例如图8中滤光片阵列11的左上角与右下角连接的方向)，多个第二滤光片组1132设置在第二对角线方向D2(例如图8中滤光片阵列11的左下角与右上角连接的方向)，第一对角线方向D1与第二对角线方向D2不同，例如，第一对角线方向D1与第二对角线方向D2垂直。
如图8所示，第一滤光片组1131与第二滤光片组1132在图像传感器10(图2所示)的垂直方向V上相邻布置，且在水平方向H上也相邻布置。也即，多个滤光片组113在垂直方向V上按照第一滤光片组1131及第二滤光片组1132的顺序或第二滤光片组1132及第一滤光片组1131的顺序呈周期性排列，多个滤光片组113在水平方向H上按照第一滤光片组1131及第二滤光片组1132的顺序或第二滤光片组1132及第一滤光片组1131的顺序呈周期性排列。
如图8所示，在第一滤光片组1131中，多个滤光片110逐列排列，且同一列中的多个滤光片110的颜色相同，例如，第一列的多个滤光片110均为第一颜色滤光片A，第二列的多个滤光片110均为第二颜色滤光片B。在第二滤光片组1132中，多个滤光片110逐行排列，且同一行中的多个滤光片110的颜色相同，例如，第一行的多个滤光片110均为第一颜色滤光片A，第二行的多个滤光片110均为第三颜色滤光片C。
图8所示的滤光片阵列11中，若缺省第一行和第一列的滤光片110，则滤光片110的排布方式为：
此时，每个滤光片区域111可以包括2*2个滤光片单元1111，每个滤光片单元1111包括2*2个滤光片110。每个滤光片单元1111包括两个第一颜色滤光片A、一个第二颜色滤光片B和一个第三颜色滤光片C。
在某些实施方式中，滤光片阵列11中部分滤光片110的排布方式还可以为：
其中，A为第一颜色滤光片，B为第二颜色滤光片，C为第三颜色滤光片。每个第一滤光片组1131中的滤光片110的数量均为3*3，每个第二滤光片组1132中的滤光片110的数量均为3*3。
在此排布方式下，多个第一滤光片组1131设置在第一对角线方向D1(例如中滤光片阵列11的左上角与右下角连接的方向)，多个第二滤光片组1132设置在第二对角线方向D2(例如中滤光片阵列11的左下角与右上角连接的方向)，第一对角线方向D1与第二对角线方向D2不同，例如，第一对角线方向D1与第二对角线方向D2垂直。
在此排布方式下，第一滤光片组1131与第二滤光片组1132在图像传感器10(图2所示)的垂直方向V上相邻布置，且在水平方向H上也相邻布置。也即，多个滤光片组113在垂直方向V上按照第一滤光片组1131及第二滤光片组1132的顺序或第二滤光片组1132及第一滤光片组1131的顺序呈周期性排列，多个滤光片组113在水平方向H上按照第一滤光片组1131及第二滤光片组1132的顺序或第二滤光片组1132及第一滤光片组1131的顺序呈周期性排列。
在此排布方式下，在第一滤光片组1131中，多个滤光片110逐行排列，且同一行中的多个滤光片110的颜色相同，例如，第一行的多个滤光片110均为第一颜色滤光片A，第二行的多个滤光片110均为第二颜色滤光片B，第三行的多个滤光片110均为第一颜色滤光片A。在第二滤光片组1132中，多个滤光片110逐列排列，且同一列中的多个滤光片110的颜色相同，例如，第一列的多个滤光片110均为第一颜色滤光片A，第二列的多个滤光片110均为第三颜色滤光片C，第三列的多个滤光片110均为第一颜色滤光片A。
上述所示的滤光片阵列11中，若缺省第一行和第一列的滤光片110，则滤光片110的排布方式为：
/>
此时，每个滤光片区域111可以包括2*2个滤光片单元1111，每个滤光片单元1111包括3*3个滤光片110。有些滤光片单元1111可以包括五个第一颜色滤光片A、三个第二颜色滤光片B和一个第三颜色滤光片C。有些滤光片单元1111可以包括五个第一颜色滤光片A、一个第二颜色滤光片B和三个第三颜色滤光片C。
在某些实施方式中，滤光片阵列11中部分滤光片110的排布方式还可以为：
其中，A为第一颜色滤光片，B为第二颜色滤光片，C为第三颜色滤光片。每个第一滤光片组1131中的滤光片110的数量均为4*4，每个第二滤光片组1132中的滤光片110的数量均为4*4。
在此排布方式下，多个第一滤光片组1131设置在第一对角线方向D1(例如滤光片阵列11的左上角与右下角连接的方向)，多个第二滤光片组1132设置在第二对角线方向D2(例如滤光片阵列11的左下角与右上角连接的方向)，第一对角线方向D1与第二对角线方向D2不同，例如，第一对角线方向D1与第二对角线方向D2垂直。
在此排布方式下，第一滤光片组1131与第二滤光片组1132在图像传感器10(图2所示)的垂直方向V上相邻布置，且在水平方向H上也相邻布置。也即，多个滤光片组113在垂直方向V上按照第一滤光片组1131及第二滤光片组1132的顺序或第二滤光片组1132及第一滤光片组1131的顺序呈周期性排列，多个滤光片组113在水平方向H上按照第一滤光片组1131及第二滤光片组1132的顺序或第二滤光片组1132及第一滤光片组1131的顺序呈周期性排列。
在此排布方式下，在第一滤光片组1131中，多个滤光片110逐列排列，且同一列中的多个滤光片110的颜色相同，例如，第一列的多个滤光片110均为第一颜色滤光片A，第二列的多个滤光片110均为第二颜色滤光片B，第三列的多个滤光片110均为第一颜色滤光片A，第四列的多个滤光片110均为第二颜色滤光片B。在第二滤光片组1132中，多个滤光片110逐行排列，且同一行中的多个滤光片110的颜色相同，例如，第一行的多个滤光片110均为第一颜色滤光片A，第二行的多个滤光片110均为第三颜色滤光片C，第三行的多个滤光片110均为第一颜色滤光片A，第四行的多个滤光片110均为第三颜色滤光片C。
上述所示的滤光片阵列11中，若缺省第一行和第一列的滤光片110，则滤光片110的排布方式为：
此时，每个滤光片区域111可以包括2*2个滤光片单元1111，每个滤光片单元1111包括4*4个滤光片110。有些滤光片单元1111可以包括八个第一颜色滤光片A、六个第二颜色滤光片B和两个第三颜色滤光片C。有些滤光片单元1111可以包括八个第一颜色滤光片A、两个第二颜色滤光片B和六个第三颜色滤光片C。
请结合图1至图8，本申请实施方式的图像传感器10中，每一个第一滤光片组1131对应的多个像素120产生的电信号均可以合并生成第一像素信号和第三像素信号。每一个第二滤光片组1132对应的多个像素120产生的电信号均可以合并生成第二像素信号和第四像素信号。
以图4所示的每个滤光片组113均包括2*2个滤光片110为例，此时每个滤光片组113对应四个像素120。请结合图2、图4和图9，第一滤光片组1131对应的四个像素120中，两个像素120能够接收穿过第一颜色滤光片A的光线以生成两个电信号，另外两个像素120能够接收穿过第二颜色滤光片B的光线以生成两个电信号。图像传感器10将接收穿过第一颜色滤光片A的光线的两个像素120生成的电信号合并以得到第一像素信号，并将接收穿过第二颜色滤光片B的光线的两个像素120生成的电信号合并以得到第三像素信号。其中，第一像素信号用于表征作用于第一滤光片组1131对应像素120的光线的第一颜色通道的值，第三像素信号用于表征作用于第一滤光片组1131对应像素120的光线的第二颜色通道的值。第二滤光片组1132对应的四个像素120中，两个像素120能够接收穿过第一颜色滤光片A的光线以生成两个电信号，另外两个像素120能够接收穿过第三颜色滤光片C的光线以生成两个电信号。图像传感器10将接收穿过第一颜色滤光片A的光线的两个像素120生成的电信号合并以得到第二像素信号，将接收穿过第三颜色滤光片C的光线的两个像素120生成的电信号合并以得到第四像素信号。其中，第二像素信号用于表征作用于第二滤光片组1132对应像素120的光线的第一颜色通道的值，第四像素信号用于表征作用于第二滤光片组1132对应像素120的光线的第三颜色通道的值。
由此，每个第一滤光片组1131对应的四个像素120可以组成一个第一合并像素，每个第一合并像素均可以生成第一像素信号及第三像素信号。每个第二滤光片组1132对应的四个像素120可以组成一个第二合并像素，每个第二合并像素均可以生成第二像素信号及第四像素信号。由于每个合并像素均可以输出具有第一颜色通道的值的像素信号(第一像素信号或第二像素信号)，仅部分合并像素可以输出具有第二颜色通道的值的第三像素信号，仅部分合并像素可以输出具有第三颜色通道的值的第四像素信号。因此，不能输出第三像素信号的合并像素需要进行插值处理，以计算获得该合并像素的第二颜色通道的值；不能输出第四像素信号的合并像素也需要进行插值处理，以计算获得该合并像素的第三颜色通道的值。如此，每个合并像素均能够获得第一颜色通道、第二颜色通道以及第三颜色通道的值，通过色彩空间计算即可生成彩色图像。
请参阅图12，现有的呈拜耳阵列排布的滤光片阵列中，每个滤光片对应的像素仅能生成具有一个颜色通道的值的像素信号。例如，左起第一行第一列的像素信号对应的像素仅具有第二颜色通道的值，该像素的第一颜色通道的值及第三颜色通道的值均需要通过插值得到；左起第一行第二列的像素信号对应的像素仅具有第一颜色通道的值，该像素的第二颜色通道的值及第三颜色通道的值均需要通过插值得到；左起第二行第二列的像素信号对应的像素仅具有第三颜色通道的值，该像素的第一颜色通道的值及第二颜色通道的值均需要通过插值得到。如此，一个像素信号对应的像素的其余多个颜色通道的值均需要经过插值处理来获取。然而，通过插值方式获取的像素信号的准确度不够高，会导致最终生成的彩色图像的色彩还原度不准确。此外，现有的呈拜耳阵列排布的滤光片阵列中，插值生成具有第一颜色通道的值的像素信号及插值生成具有第二颜色通道的值的像素信号时，大部分插值生成的像素信号仅能利用两个像素信号计算得到。示例地，在图12的仅包含具有第二颜色通道的值的像素信号的图像信号中，左起第二行第三列的像素信号对应的像素不具有第二颜色通道的值，该像素的第二颜色通道的值需要通过与该像素相邻的具有第二颜色通道的值的像素的像素信号得到，即根据第一行第三列的具有第二颜色通道的值的像素信号及第三行第三列的具有第二颜色通道的值的像素信号得到；再例如，在图12的仅包含具有第三颜色通道的值的像素信号的图像信号中，左起第三行第二列的像素信号不具有第三颜色通道的值，该像素信号对应的像素的第三颜色通道的值需要通过与该像素相邻的具有第三颜色通道的值的像素的像素信号得到，即根据第二行第二列的具有第三颜色通道的值的像素信号及第四行第二列的具有第三颜色通道的值的像素信号得到。如此，用于插值生成像素信号的可以利用的像素信号的个数较少，插值后的像素信号的准确度不够高。
请结合图2、图2、图9至图11，本申请实施方式的图像传感器10中，与由多个像素120组成的像素阵列12的分辨率相比，由多个合并像素对应的像素信号组成的图像的分辨率有所降低，但是由于每个合并像素均具备具有第一颜色通道的值的像素信号，因此，第一颜色通道的值不需要进行插值处理，最终生成的彩色图像的色彩还原度会更加准确，并且由于像素阵列12的每个合并像素都直接获得了对应的第一颜色通道的像素信号，在后续的信号处理过程中可以获得更多的信息。
此外，请结合图2、图4、图9及图10，本申请实施方式的图像传感器10中，对于不能输出第三像素信号的合并像素进行插值处理时，大部分合并像素的第二颜色通道的值均能通过四个具有第二颜色通道的值的第三像素信号计算得到。例如，在图10所示的由多个第三像素信号形成的第二图像信号M2中，左起第二行第三列的第三像素信号可以根据左起第一行第三列的第三像素信号、左起第二行第二列的第三像素信号、左起第二行第四列的第三像素信号、左起第三行第三列的第三像素信号计算得到。在本申请实施方式的图像传感器10中，对于不能输出第四像素信号的合并像素进行插值处理时，大部分合并像素的第三颜色通道的值均能通过四个具有第三颜色通道的值的第四像素信号计算得到。例如，在图10所示的由多个第四像素信号形成的第三图像信号M3中，左起第三行第三列的第四像素信号可以根据左起第二行第三列的第四像素信号、左起第三行第二列的第四像素信号、左起第三行第四列的第四像素信号、左起第四行第三列的第四像素信号计算得到。由此，用于插值生成像素信号的可以利用的像素信号的个数较多，插值后的像素信号的准确度较高。
综上，本申请实施方式的图像传感器10中，每个第一滤光片组1131和每个第二滤光片组1132中均具有第一颜色滤光片A，使得第一滤光片组1131对应的像素120及第二滤光片组1132对应的像素120均能生成具有第一颜色通道的值的像素信号。由此，在彩色图像的生成过程中，第一颜色通道的值不需要进行插值处理，彩色图像的色彩还原度更加准确。并且，对第二颜色通道的值(或第三颜色通道的值)进行插值处理时，大部分待插值生成的第二颜色通道的值(或待插值生成的第三颜色通道的值)均能够借用相邻的四个具有第二颜色通道的值(或相邻的四个具有第三颜色通道的值)的像素信号计算得到，插值生成的具有第二颜色通道的值(或第三颜色通道的值)的像素信号的准确度较高，有利于进一步提升彩色图像的色彩还原的准确性。
图13至图15是本申请多个实施例的滤光片阵列11中部分滤光片110的排布示意图。图13至图15所示的滤光片阵列11中，每个滤光片单元1111包括两个第一颜色滤光片A、一个第二颜色滤光片B和一个第三颜色滤光片C。每个滤光片单元1111中的第二颜色滤光片B和第三颜色滤光片C互不相邻，每个滤光片区域111中，多个滤光片单元1111的滤光片110的排列顺序均不相同。如此，由于第二颜色滤光片B和第三颜色滤光片C互不相邻，并且多个滤光片单元1111的滤光片110的排列顺序均不相同，因此，滤光片阵列的排列顺序比较多样、比较随机，从而能够减少莫尔条纹和错误色彩的产生。
多个滤光片区域111包括多个第一滤光片区域1112和多个第二滤光片区域1114，第一滤光片区1112中的滤光片单元1111的排列顺序与第二滤光片区1114中的滤光片单元1111的排列顺序不同。
例如，本申请实施方式举例时所采用的第一滤光片区域1112的排布方式为：
本申请实施方式举例时所采用的第二滤光片区域1114的排布方式为：
多个第一滤光片区域1112可以设置在第三对角线方向，多个第二滤光片区域1114可以设置在第四对角线方向，第三对角线方向与第四对角线方向不同。
多个第一滤光片区域1112和多个第二滤光片区域1114的排布方式可以是：(1)请参阅图13，第一滤光片区域1112与第二滤光片区域1114在图像传感器10的垂直方向和水平方向相邻布置；(2)请参阅图14，多个第一滤光片区域1112在图像传感器10的垂直方向相邻布置，多个第二滤光片区域1114在图像传感器10的垂直方向相邻布置；(3)请参阅图15，多个第一滤光片区域1112在图像传感器10的水平方向相邻布置，多个第二滤光片区域1114在图像传感器10的水平方向相邻布置。当然，多个第一滤光片区域1112和多个第二滤光片区域1114的排布方式并不限于此。
图13是本申请一个实施例的滤光片阵列11中部分滤光片110的排布示意图。请参阅图13，部分滤光片110的排布方式为：
其中，A为第一颜色滤光片，B为第二颜色滤光片，C为第三颜色滤光片。
如图13所示，多个第一滤光片区域1112设置在第三对角线方向D3(例如图13中滤光片阵列11的左上角与右下角连接的方向)，多个第二滤光片区域1114设置在第四对角线方向D4(例如图13中滤光片阵列11的左下角与右上角连接的方向)，第三对角线方向D3与第四对角线方向D4不同，例如，第三对角线方向D3与第四对角线方向D4垂直。
需要说明的是，第三对角线方向D3和第四对角线方向D4并不局限于对角线，还包括平行于对角线的方向。这里的“方向”并非单一指向，可以理解为指示排布的“直线”的概念，可以有直线两端的双向指向。此外，在其他实施例中，第三对角线方向D3也可以是滤光片阵列11的左下角与右上角连接的方向，第四对角线方向D4也可以是滤光片阵列11的左上角与右下角连接的方向，此时，第一滤光片区域1112及第二滤光片区域1114的位置对应对角线方向的变换做变换。
如图13所示，第一滤光片区域1112与第二滤光片区域1114在图像传感器10(图13所示)的垂直方向V上相邻布置，且在水平方向H上也相邻布置。也即，多个滤光片区域111在垂直方向V上按照第一滤光片区域1112、第二滤光片区域1114的顺序呈周期性排列，多个滤光片区域111在水平方向H上按照第一滤光片区域1112、第二滤光片区域1114的顺序呈周期性排列。
需要说明的是，第一滤光片区域1112与第二滤光片区域1114在垂直方向V上相邻布置，且在水平方向H上也相邻布置并不限于图13的方式，还可以是：多个滤光片区域111在垂直方向V上按照第一滤光片区域1112及第二滤光片区域1114的顺序或第二滤光片区域1114及第一滤光片区域1112的顺序呈周期性排列(从左至右，从上至下来看，下同)，多个滤光片区域111在水平方向H上按照第一滤光片区域1112及第二滤光片区域1114的顺序或第二滤光片区域1114及第一滤光片区域1112的顺序呈周期性排列(从左至右，从上至下来看，下同)。
图14是本申请又一个实施例的滤光片阵列11中部分滤光片110的排布示意图。请参阅图14，部分滤光片110的排布方式为：
/>
其中，A为第一颜色滤光片，B为第二颜色滤光片，C为第三颜色滤光片。
如图14所示，多个第一滤光片区域1112在图像传感器10的垂直方向V相邻布置，多个第二滤光片区域1114在图像传感器10的垂直方向V相邻布置。在图像传感器10的水平方向H上，多个滤光片区域111按照第一滤光片区域1112、第二滤光片区域1114的顺序呈周期性排列。
图15是本申请又一个实施例的滤光片阵列11中部分滤光片110的排布示意图。请参阅图15，部分滤光片110的排布方式为：
其中，A为第一颜色滤光片，B为第二颜色滤光片，C为第三颜色滤光片。
如图15所示，多个第一滤光片区域1112在图像传感器10的水平方向H相邻布置，多个第二滤光片区域1114在图像传感器10的水平方向H相邻布置。在图像传感器10的垂直方向V上，多个滤光片区域111按照第一滤光片区域1112、第二滤光片区域1114的顺序呈周期性排列。
在某些实施方式中，处理电路13用于计算每个滤光片区域111中第一颜色滤光片A对应的像素120产生的电信号的平均值以作为第一颜色信号，计算每个滤光片区域111中第二颜色滤光片B对应的像素120产生的电信号的平均值以作为第二颜色信号，计算每个滤光片区域111中第三颜色滤光片C对应的像素120产生的电信号的平均值以作为第三颜色信号。
以每个滤光片区域111包括2*2个滤光片单元1111，每个滤光片单元1111包括两个第一颜色滤光片A、一个第二颜色滤光片B和一个第三颜色滤光片C为例，则每个滤光片区域111包括八个第一颜色滤光片A、四个第二颜色滤光片B和四个第三颜色滤光片C。若八个第一颜色滤光片A对应的像素120产生的电信号对应的像素值分别为41、47、43、37、45、39、35、33，则第一颜色信号为(41+47+43+37+45+39+35+33)/8＝40；若四个第二颜色滤光片B对应的像素120产生的电信号对应的像素值分别为24、26、25、27，则第二颜色信号为(24+26+25+27)/4＝25.5；若四个第三颜色滤光片C对应的像素120产生的电信号对应的像素值分别为52、54、54、52，则第二颜色信号为(52+54+54+52)/4＝53。
在某些实施方式中，处理电路13可用于对第一中间图像进行伽马校正处理。利用伽马校正处理第一中间图像，可以使得处理后的第一中间图像显示出来的亮度更适合用户观看。具体地，伽马校正可以采用f(I)＝Iγ进行校正，其中f(I)为校正后的第一中间图像的亮度值，I为校正前的第一中间图像的亮度值，γ为第一校正系数。其中，当γ＜1时，能够提高第一中间图像的低亮度区域的动态范围，降低第一中间图像的高亮区域的动态范围，第一中间图像的整体亮度变大。当γ＞1时，能够降低第一中间图像的低亮度区域的动态范围，提高第一中间图像的高亮区域的动态范围，第一中间图像的整体亮度变小。用户可根据自身的观看需要，设置对应的校正系数γ，从而使得调整后的第一中间图像的显示效果更佳。
在某些实施方式中，处理电路13用于对第一颜色信号、第二颜色信号和第三颜色信号进行白平衡处理、色彩校正矩阵处理、伽马校正处理，将处理后的第一颜色信号、处理后的第二颜色信号和处理后的第三颜色信号转换至色亮分离空间以得到第二中间图像。通过白平衡处理、色彩校正矩阵处理以及伽马校正处理后，第一颜色信号、第二颜色信号和第三颜色信号更加准确，从而转换至色亮分离空间所得到的第二中间图像也更加准确。白平衡处理可以采用灰色世界法、基于动态阈值的自动白平衡法、镜面法等算法实现，可以根据不同的拍摄场景或根据用户的选择采用不同的白平衡算法，从而使得处理后的颜色信号更加准确、更加符合用户观看需求。
色彩校正矩阵可以为：
其中，R′是指经过色彩校正矩阵校正后的第二颜色信号，G′是指经过色彩校正矩阵校正后的第一颜色信号，B′是指经过色彩校正矩阵校正后的第三颜色信号，CMC11、CMC12、CMC13、CMC21、CMC22、CMC23、CMC31、CMC32、CMC33共同形成校正矩阵，R是指经过色彩校正矩阵校正前的第二颜色信号，G是指经过色彩校正矩阵校正前的第一颜色信号，B是指经过色彩校正矩阵校正前的第三颜色信号。其中，校正矩阵可根据调整前的第一颜色信号、第二颜色信号及第三颜色信号所对应的色温进行选取，从而使得第一颜色信号、第二颜色信号及第三颜色信号经过色彩校正矩阵处理后更加准确。
伽马校正也可以采用f(I)＝Iγ进行校正，其中f(I)为校正后的第一颜色信号、第二颜色信号及第三颜色信号，I为校正前的第一颜色信号、第二颜色信号及第三颜色信号，γ为第二校正系数。第二校正系数与第一校正系数可以相同或不同，在此不做具体限定。
将处理后的第一颜色信号、处理后的第二颜色信号和处理后的第三颜色信号转换至色亮分离空间以得到第二中间图像。具体地，可以采用以下计算公式进行转换：Y＝0.257*R+0.564*G+0.098*B+16，Cb＝-0.148*R-0.291*G+0.439*B+128，Cr＝0.439*R-0.368*G-0.071*B+128，其中，Y为亮度值，Cb为蓝色分量，Cr为红色分量，R为处理后的第二颜色信号，G为处理后的第一颜色信号，B为处理后的第三颜色信号。其中，第二中间图像可以包括两帧，两帧第二中间图像分别为蓝色分量对应的第二中间图像和红色分量对应的第二中间图像。
当然，也可以采用以下计算公式将处理后的第一颜色信号、处理后的第二颜色信号和处理后的第三颜色信号转换至色亮分离空间：Y＝0.29900*R+0.58700*G+0.11400*B，Cb＝-0.16874*R-0.33126*G+0.50000*B+128，Cr＝0.50000*R-0.41869*G-0.08131*B+128，在此不做具体限定。
在每个滤光片区域111包括2*2个滤光片单元1111，每个滤光片单元1111包括两个第一颜色滤光片A、一个第二颜色滤光片B和一个第三颜色滤光片C时，每个滤光片单元1111可以对应一个合并亮度值，每个滤光片区域111即可对应4个合并亮度值，每个滤光片区域111只对应一个第一颜色信号、一个第二颜色信号和一个第三颜色信号。以图3的滤光片阵列11为例。获取合并亮度值L的过程可参图16，每个滤光片单元1111对应的像素120合并输出以作为合并亮度值L。例如合并亮度值L可以为R+2G+B。获取第一颜色信号的过程可参图17，每个滤光片区域111中的第一颜色滤光片A对应的像素120用于生成第一颜色信号。获取第二颜色信号的过程可参图18，每个滤光片区域111中的第二颜色滤光片B对应的像素120用于生成第二颜色信号。获取第三颜色信号的过程可参图19，每个滤光片区域111中的第三颜色滤光片C对应的像素120用于生成第三颜色信号。第一颜色信号、第二颜色信号和第三颜色信号在转换至色亮分离空间后，每个滤光片区域111对应一个Cr和一个Cb，即第一中间图像的分辨率是第二中间图像的分辨率的4倍。
通常Y/Cb/Cr格式的图像可以允许Cb/Cr的分辨率低于Y的分辨率，例如Y/Cb/Cr的格式为4∶2∶2，或4∶2∶0。格式为4∶2∶0的Y/Cb/Cr的图像中，每四个Y对应一个Cr和一个Cb，因此，本申请实施方式的代表亮度Y的第一中间图像、代表红色分量Cr的第二中间图像和代表蓝色分量Cb的第二中间图像可以融合形成第一目标图像。
在某些实施方式中，处理电路13用于对第二中间图像进行上采样处理以使得一个滤光片区域111对应多个色彩值并形成第三中间图像，融合第一中间图像和第三中间图像以得到第一目标图像。例如，在每个滤光片区域111包括2*2个滤光片单元1111，每个滤光片单元1111包括两个第一颜色滤光片A、一个第二颜色滤光片B和一个第三颜色滤光片C时，第一中间图像的分辨率是第二中间图像的分辨率的4倍，因此，可以将第二中间图像进行上采样处理，例如将第二中间图像放大四倍，从而使得一个滤光片区域111对应四个Cr和四个Cb以获得第三中间图像，第三中间图像的分辨率与第一中间图像的分辨率一致，如此融合第一中间图像和第三中间图像后获得的第一目标图像的色彩信息更加丰富。
在某些实施方式中，处理电路13用于对第一中间图像进行高通滤波处理。如此，通过对第一中间图像进行高通滤波处理，利用高通滤波处理能够有效地保留细节信息、去除噪声，从而可以使得处理后的第一中间图像更加准确。
请参阅图20，在某些实施方式中，处理电路13包括如图20所示的读出电路，利用该读出电路，能够实现将每个滤光片单元1111对应的像素120产生的电信号合并输出以作为合并亮度值。具体地，同一滤光片单元1111对应的四个像素PD1、像素PD2、像素PD3、像素PD4可以通过控制端Tx1、Tx2、Tx3、Tx4同时开启，以将同一滤光片单元1111对应的四个像素120接收光线后产生的电荷转移到浮动扩散节点FD。V2为高电平，SF为放大电路，通过输入高电平V2以使得放大电路SF对浮动扩散节点FD处的电荷对应的电信号进行放大。T为选择信号，SEL为选择电路，通过输入选择信号T可以将选择电路SEL对应的经过放大电路SF放大后的电信号输出出来。R为复位信号，V1为高电平，RST为复位电路，可以通过输入复位信号R以及高电平V1以使得复位电路RST对浮动扩散节点FD进行复位。
请参阅图21，本申请还提供一种成像装置100。成像装置100包括上述任意一个实施方式所述的图像传感器10。
在某些实施方式中，成像装置100还包括处理器20。处理器20可以用于根据每个滤光片区域111对应的像素120产生的电信号生成第一颜色信号、第二颜色信号和第三颜色信号，第一颜色信号用于表征作用于滤光片区域111对应像素120的光线的第一颜色通道的值，第二颜色信号用于表征作用于滤光片区域111对应像素120的光线的第二颜色通道的值，第三颜色信号用于表征作用于滤光片区域111对应像素120的光线的第三颜色通道的值。处理器20还用于处理第一颜色信号、第二颜色信号和第三颜色信号以得到用于表征滤光片区域111的色彩值的多个第二中间图像，及用于融合第一中间图像与第二中间图像以得到第一目标图像。
本申请上述实施方式中，由处理电路13实现的功能均可以由处理器20实现，在此不再赘述。
请参阅图22，本申请还提供一种电子设备1000。电子设备1000可以是手机、平板电脑、笔记本电脑、智能手表、智能手环、智能头盔、智能眼镜、无人设备(例如无人机、无人车、无人船)等，在此不作限制。电子设备1000包括成像装置100。成像装置100包括上述任意一个实施方式所述的图像传感器10。电子设备1000还包括处理器20。电子设备1000的处理器20可以与图21所示成像装置100中的处理器20相同，在此不再赘述。
请参阅图23，本申请还提供一种图像处理系统10000。图像处理系统10000包括电子设备1000。电子设备1000包括成像装置100。成像装置100包括上述任意一个实施方式所述的图像传感器10。图像处理系统10000还包括处理器20。图像处理系统10000的处理器20可以与图21所示成像装置100中的处理器20相同，在此不再赘述。
其中，处理器20可以位于负责云计算的服务器中，也可以位于负责边缘计算的服务器中。如此，图像传感器10输出的像素信号的后续处理可以卸载到服务器中执行，可以节约成像装置100或电子设备1000的功耗。
请参阅图24，本申请还提供一种信号处理方法。信号处理方法可以用于上述任意一个实施方式所述的图像传感器10。信号处理方法包括：
01：将每个滤光片单元1111对应的像素120产生的电信号合并输出以作为合并亮度值并形成第一中间图像，合并亮度值用于表征作用于滤光片单元1111对应像素120的光线的亮度；
02：根据每个滤光片区域111对应的像素120产生的电信号生成第一颜色信号、第二颜色信号和第三颜色信号，第一颜色信号用于表征作用于滤光片区域111对应像素120的光线的第一颜色通道的值，第二颜色信号用于表征作用于滤光片区域111对应像素120的光线的第二颜色通道的值，第三颜色信号用于表征作用于滤光片区域111对应像素120的光线的第三颜色通道的值；
03：处理第一颜色信号、第二颜色信号和第三颜色信号以得到用于表征滤光片区域111的色彩值的多个第二中间图像；
04：融合第一中间图像与第二中间图像以得到第一目标图像。
在某些实施方式中，滤光片阵列11包括多个第一滤光片组1131及多个第二滤光片组1132，第一滤光片组1131包括数量相同的多个第一颜色滤光片A和多个第二颜色滤光片B，第二滤光片组1132包括数量相同的多个第一颜色滤光片A和多个第三颜色滤光片C；所有第一滤光片组1131与所有第二滤光片组1132排列形成的子阵列为滤光片阵列11的一部分；或所有滤光片区域111排列形成的子阵列为滤光片阵列11的一部分。信号处理方法包括：在低亮模式下，获取第一目标图像；在纹理清晰模式下，将第一滤光片组1131对应的像素120产生的电信号合并生成第一像素信号和第三像素信号，第一像素信号用于表征作用于第一滤光片组1131对应像素120的光线的第一颜色通道的值，第三像素信号用于表征作用于第一滤光片组1131对应像素120的光线的第二颜色通道的值，将第二滤光片组1132对应的像素120产生的电信号合并生成第二像素信号和第四像素信号，第二像素信号用于表征作用于第二滤光片组1132对应像素120的光线的第一颜色通道的值，第四像素信号用于表征作用于第二滤光片组1132对应像素120的光线的第三颜色通道的值，根据第一像素信号、第二像素信号、第三像素信号和第四像素信号得到第二目标图像。
在某些实施方式中，根据第一像素信号、第二像素信号、第三像素信号和第四像素信号得到第二目标图像，包括：计算每个滤光片区域111中第一颜色滤光片A对应的像素120产生的电信号的平均值以作为第一颜色信号，计算每个滤光片区域111中第二颜色滤光片B对应的像素120产生的电信号的平均值以作为第二颜色信号，计算每个滤光片区域111中第三颜色滤光片C对应的像素120产生的电信号的平均值以作为第三颜色信号。
在某些实施方式中，信号处理方法包括：对第一中间图像进行伽马校正处理。
在某些实施方式中，信号处理方法包括：对第一颜色信号、第二颜色信号和第三颜色信号进行白平衡处理、色彩校正矩阵处理、伽马校正处理。步骤03包括：将处理后的第一颜色信号、处理后的第二颜色信号和处理后的第三颜色信号转换至色亮分离空间以得到第二中间图像。
在某些实施方式中，步骤04包括：对第二中间图像进行上采样处理以使得一个滤光片区域111对应多个色彩值并形成第三中间图像，融合第一中间图像和第三中间图像以得到第一目标图像。
在某些实施方式中，信号处理方法包括：对第一中间图像进行高通滤波处理。
本申请实施方式还提供一种计算机设备。计算机设备可以是上述任意一项实施方式所述的电子设备100。
上述计算机设备中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图25为一个实施例中图像处理电路的示意图。如图25所示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。
如图25所示，图像处理电路包括ISP处理器940和控制逻辑器950。其中，ISP处理器940可以应用在多种电子设备中，以作为电子设备中的处理器。其中，多种电子设备中的一种电子设备可以是包括图像传感器10的电子设备100。
成像装置910捕捉的图像数据首先由ISP处理器940处理，ISP处理器940对图像数据进行分析以捕捉可用于确定和/或成像装置910的一个或多个控制参数的图像统计信息。成像装置910可包括具有一个或多个透镜912和图像传感器914的照相机。其中，图像传感器914可以是图像传感器10。图像传感器914可包括滤光片阵列，图像传感器914可获取由图像传感器914的每个像素捕捉的光强度和波长信息，并提供可由ISP处理器940处理的一组原始图像数据，例如多个第一像素信号、多个第二像素信号、多个第三像素信号、及多个第四像素信号组成的原始图像数据。传感器920(如陀螺仪)可基于传感器920接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器940。传感器920接口可以利用SMIA(Standard Mobile Imaging Architecture，标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。
此外，图像传感器914也可将原始图像数据发送给传感器920，传感器920可基于传感器920接口类型把原始图像数据提供给ISP处理器940，或者传感器920将原始图像数据存储到图像存储器930中。
ISP处理器940按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器940可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。
ISP处理器940还可从图像存储器930接收图像数据。例如，传感器920接口将原始图像数据发送给图像存储器930，图像存储器930中的原始图像数据再提供给ISP处理器940以供处理。图像存储器930可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。
当接收到来自图像传感器914接口或来自传感器920接口或来自图像存储器930的原始图像数据时，ISP处理器940可进行一个或多个图像处理操作，例如时域滤波；再例如，处理第一像素信号、第二像素信号、第三像素信号、第四像素信号获取彩色图像等。处理后的图像数据(例如彩色图像)可发送给图像存储器930，以便在被显示之前进行另外的处理。ISP处理器940从图像存储器930接收处理数据，并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器940处理后的图像数据可输出给显示器970，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，ISP处理器940的输出还可发送给图像存储器930，且显示器970可从图像存储器930读取图像数据。在一个实施例中，图像存储器930可被配置为实现一个或多个帧缓冲器。此外，ISP处理器940的输出可发送给编码器/解码器960，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器970设备上之前解压缩。编码器/解码器960可由CPU或GPU或协处理器实现。示例地，当计算机设备处于预览模式或录像模式下时，ISP处理器940可以处理包括多个图像信号单元U(图34所示)的图像信号以生成彩色图像这一图像数据。ISP处理器940可以将彩色图像发送给编码器/解码器960以编码彩色图像。编码的彩色图像可以被保存到图像存储器930中，还可以在显示器970上显示。
ISP处理器940确定的统计数据可发送给控制逻辑器950单元。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜912阴影校正等图像传感器914统计信息。控制逻辑器950可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定成像装置910的控制参数及ISP处理器940的控制参数。例如，成像装置910的控制参数可包括传感器920控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、透镜912控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及透镜912阴影校正参数。
在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个所述特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
尽管上面已经示出和描述了本申请的实施方式，可以理解的是，上述实施方式是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型。

Claims (54)

1.一种图像传感器，其特征在于，包括：
滤光片阵列，所述滤光片阵列包括多个滤光片区域，每个所述滤光片区域包括多个滤光片单元，每个所述滤光片单元包括至少一个第一颜色滤光片、至少一个第二颜色滤光片和至少一个第三颜色滤光片；
像素阵列，所述像素阵列包括多个像素，每个所述像素对应所述滤光片阵列的一个滤光片，所述像素用于接收穿过对应的所述滤光片的光线以生成电信号；
处理电路，所述处理电路设置在具有所述像素阵列的衬底上，所述处理电路用于将每个所述滤光片单元对应的像素产生的电信号合并输出以作为合并亮度值并形成第一中间图像，所述合并亮度值用于表征作用于所述滤光片单元对应像素的光线的亮度；所述处理电路还用于根据每个所述滤光片区域对应的像素产生的电信号生成第一颜色信号、第二颜色信号和第三颜色信号，所述第一颜色信号用于表征作用于所述滤光片区域对应像素的光线的第一颜色通道的值，所述第二颜色信号用于表征作用于所述滤光片区域对应像素的光线的第二颜色通道的值，所述第三颜色信号用于表征作用于所述滤光片区域对应像素的光线的第三颜色通道的值；所述处理电路还用于处理所述第一颜色信号、所述第二颜色信号和所述第三颜色信号以得到用于表征所述滤光片区域的色彩值的多个第二中间图像，及用于融合所述第一中间图像与所述第二中间图像以得到第一目标图像；
所述滤光片阵列包括多个第一滤光片组及多个第二滤光片组，所述第一滤光片组包括数量相同的多个所述第一颜色滤光片和多个所述第二颜色滤光片，所述第二滤光片组包括数量相同的多个所述第一颜色滤光片和多个所述第三颜色滤光片。
2.根据权利要求1所述的图像传感器，其特征在于，每个所述滤光片区域中的所述滤光片单元的数量均为M*M，其中，M为大于或等于2的整数；每个所述滤光片单元中的所述滤光片的数量均为N*N，其中，N为大于或等于2的整数。
3.根据权利要求1或2所述的图像传感器，其特征在于，每个所述滤光片单元中的所述第一颜色滤光片的数量、所述第二颜色滤光片的数量和所述第三颜色滤光片的数量具有比值，多个所述滤光片单元的所述比值均相同。
4.根据权利要求1或2所述的图像传感器，其特征在于，所述第一颜色滤光片为绿色滤光片，所述第二颜色滤光片为红色滤光片，所述第三颜色滤光片为蓝色滤光片。
5.根据权利要求1或2所述的图像传感器，其特征在于，
所有所述第一滤光片组与所有所述第二滤光片组排列形成的子阵列为所述滤光片阵列的一部分；或所有所述滤光片区域排列形成的子阵列为所述滤光片阵列的一部分；
在低亮模式下，所述图像传感器用于获取所述第一目标图像；
在纹理清晰模式下，所述处理电路用于将所述第一滤光片组对应的像素产生的电信号合并生成第一像素信号和第三像素信号，所述第一像素信号用于表征作用于所述第一滤光片组对应像素的光线的第一颜色通道的值，所述第三像素信号用于表征作用于所述第一滤光片组对应像素的光线的第二颜色通道的值，所述处理电路还用于将所述第二滤光片组对应的像素产生的电信号合并生成第二像素信号和第四像素信号，所述第二像素信号用于表征作用于所述第二滤光片组对应像素的光线的第一颜色通道的值，所述第四像素信号用于表征作用于所述第二滤光片组对应像素的光线的第三颜色通道的值，所述处理电路还用于根据所述第一像素信号、所述第二像素信号、所述第三像素信号和所述第四像素信号得到第二目标图像。
6.根据权利要求5所述的图像传感器，其特征在于，多个所述第一滤光片组设置在第一对角线方向，多个所述第二滤光片组设置在第二对角线方向，所述第一对角线方向与所述第二对角线方向不同。
7.根据权利要求6所述的图像传感器，其特征在于，所述第一滤光片组与所述第二滤光片组在所述图像传感器的垂直方向和水平方向相邻布置。
8.根据权利要求6或7所述的图像传感器，其特征在于，在每个所述第一滤光片组中，多个所述第一颜色滤光片及多个所述第二颜色滤光片在所述图像传感器的垂直方向和水平方向相邻布置；
在每个所述第二滤光片组中，多个所述第一颜色滤光片及多个所述第三颜色滤光片在所述图像传感器的垂直方向和水平方向相邻布置。
9.根据权利要求6或7所述的图像传感器，其特征在于，在每个所述第一滤光片组中，多个所述滤光片逐行排列，且同一行中的多个所述滤光片的颜色相同；或
在每个所述第一滤光片组中，多个所述滤光片逐列排列，且同一列中的多个所述滤光片的颜色相同；
在每个所述第二滤光片组中，多个所述滤光片逐行排列，且同一行中的多个所述滤光片的颜色相同；或
在每个所述第二滤光片组中，多个所述滤光片逐列排列，且同一列中的多个所述滤光片的颜色相同。
10.根据权利要求9所述的图像传感器，其特征在于，所述图像传感器还包括微透镜阵列，所述微透镜阵列包括多个微透镜组，一个所述微透镜组对应一个滤光片组，并与该一个所述滤光片组对应的多个所述像素对应。
11.根据权利要求10所述的图像传感器，其特征在于，每个所述微透镜组均包括多个微透镜，每个所述微透镜对应一个所述滤光片及一个所述像素。
12.根据权利要求10所述的图像传感器，其特征在于，每个所述微透镜组均包括一个微透镜，一个所述微透镜对应一个所述滤光片组，并与该一个所述滤光片组对应的多个所述像素对应。
13.根据权利要求1或2所述的图像传感器，其特征在于，每个所述滤光片单元包括两个第一颜色滤光片、一个第二颜色滤光片和一个第三颜色滤光片；每个所述滤光片单元中的所述第二颜色滤光片和所述第三颜色滤光片互不相邻，每个所述滤光片区域中，多个所述滤光片单元的所述滤光片的排列顺序均不相同。
14.根据权利要求13所述的图像传感器，其特征在于，多个所述滤光片区域包括多个第一滤光片区域和多个第二滤光片区域，所述第一滤光片区中的所述滤光片单元的排列顺序与所述第二滤光片区中的所述滤光片单元的排列顺序不同。
15.根据权利要求14所述的图像传感器，其特征在于，多个所述第一滤光片区域设置在第三对角线方向，多个所述第二滤光片区域设置在第四对角线方向，所述第三对角线方向与所述第四对角线方向不同。
16. 根据权利要求15所述的图像传感器，其特征在于，所述第一滤光片区域与所述第二滤光片区域在所述图像传感器的垂直方向和水平方向相邻布置。
17.根据权利要求14所述的图像传感器，其特征在于，多个所述第一滤光片区域在所述图像传感器的垂直方向相邻布置，多个所述第二滤光片区域在所述图像传感器的垂直方向相邻布置；或
多个所述第一滤光片区域在所述图像传感器的水平方向相邻布置，多个所述第二滤光片区域在所述图像传感器的水平方向相邻布置。
18.根据权利要求1、2、6、7、10-12、14-17任意一项所述的图像传感器，其特征在于，所述处理电路用于计算每个所述滤光片区域中所述第一颜色滤光片对应的像素产生的电信号的平均值以作为所述第一颜色信号，计算每个所述滤光片区域中所述第二颜色滤光片对应的像素产生的电信号的平均值以作为所述第二颜色信号，计算每个所述滤光片区域中所述第三颜色滤光片对应的像素产生的电信号的平均值以作为所述第三颜色信号。
19.根据权利要求18所述的图像传感器，其特征在于，所述处理电路用于对所述第一中间图像进行伽马校正处理。
20.根据权利要求19所述的图像传感器，其特征在于，所述处理电路用于对所述第一颜色信号、所述第二颜色信号和所述第三颜色信号进行白平衡处理、色彩校正矩阵处理、伽马校正处理，将处理后的所述第一颜色信号、处理后的所述第二颜色信号和处理后的所述第三颜色信号转换至色亮分离空间以得到所述第二中间图像。
21.根据权利要求20所述的图像传感器，其特征在于，所述处理电路用于对所述第二中间图像进行上采样处理以使得一个所述滤光片区域对应多个色彩值并形成第三中间图像，融合所述第一中间图像和所述第三中间图像以得到所述第一目标图像。
22.根据权利要求21所述的图像传感器，其特征在于，所述处理电路用于对所述第一中间图像进行高通滤波处理。
23.一种成像装置，其特征在于，所述成像装置包括：
图像传感器，所述图像传感器包括滤光片阵列和像素阵列；所述滤光片阵列包括多个滤光片区域，每个所述滤光片区域包括多个滤光片单元，每个所述滤光片单元包括至少一个第一颜色滤光片、至少一个第二颜色滤光片和至少一个第三颜色滤光片；所述像素阵列包括多个像素，每个所述像素对应所述滤光片阵列的一个滤光片，所述像素用于接收穿过对应的所述滤光片的光线以生成电信号；每个所述滤光片单元对应的像素产生的电信号合并输出以作为合并亮度值并形成第一中间图像，所述合并亮度值用于表征作用于所述滤光片单元对应像素的光线的亮度；
处理器，所述处理器用于根据每个所述滤光片区域对应的像素产生的电信号生成第一颜色信号、第二颜色信号和第三颜色信号，所述第一颜色信号用于表征作用于所述滤光片区域对应像素的光线的第一颜色通道的值，所述第二颜色信号用于表征作用于所述滤光片区域对应像素的光线的第二颜色通道的值，所述第三颜色信号用于表征作用于所述滤光片区域对应像素的光线的第三颜色通道的值；所述处理器还用于处理所述第一颜色信号、所述第二颜色信号和所述第三颜色信号以得到用于表征所述滤光片区域的色彩值的多个第二中间图像，融合所述第一中间图像与所述第二中间图像以得到第一目标图像；
所述滤光片阵列包括多个第一滤光片组及多个第二滤光片组，所述第一滤光片组包括数量相同的多个所述第一颜色滤光片和多个所述第二颜色滤光片，所述第二滤光片组包括数量相同的多个所述第一颜色滤光片和多个所述第三颜色滤光片。
24.根据权利要求23所述的成像装置，其特征在于，每个所述滤光片区域中的所述滤光片单元的数量均为M*M，其中，M为大于或等于2的整数；每个所述滤光片单元中的所述滤光片的数量均为N*N，其中，N为大于或等于2的整数。
25.根据权利要求23或24所述的成像装置，其特征在于，每个所述滤光片单元中的所述第一颜色滤光片的数量、所述第二颜色滤光片的数量和所述第三颜色滤光片的数量具有比值，多个所述滤光片单元的所述比值均相同。
26.根据权利要求23或24所述的成像装置，其特征在于，所述第一颜色滤光片为绿色滤光片，所述第二颜色滤光片为红色滤光片，所述第三颜色滤光片为蓝色滤光片。
27.根据权利要求23或24所述的成像装置，其特征在于，
所有所述第一滤光片组与所有所述第二滤光片组排列形成的子阵列为所述滤光片阵列的一部分；或所有所述滤光片区域排列形成的子阵列为所述滤光片阵列的一部分；
在低亮模式下，所述成像装置用于获取所述第一目标图像；
在纹理清晰模式下，所述第一滤光片组对应的像素产生的电信号合并生成第一像素信号和第三像素信号，所述第一像素信号用于表征作用于所述第一滤光片组对应像素的光线的第一颜色通道的值，所述第三像素信号用于表征作用于所述第一滤光片组对应像素的光线的第二颜色通道的值，所述第二滤光片组对应的像素产生的电信号合并生成第二像素信号和第四像素信号，所述第二像素信号用于表征作用于所述第二滤光片组对应像素的光线的第一颜色通道的值，所述第四像素信号用于表征作用于所述第二滤光片组对应像素的光线的第三颜色通道的值，所述处理器用于根据所述第一像素信号、所述第二像素信号、所述第三像素信号和所述第四像素信号得到第二目标图像。
28.根据权利要求27所述的成像装置，其特征在于，多个所述第一滤光片组设置在第一对角线方向，多个所述第二滤光片组设置在第二对角线方向，所述第一对角线方向与所述第二对角线方向不同。
29.根据权利要求28所述的成像装置，其特征在于，所述第一滤光片组与所述第二滤光片组在所述图像传感器的垂直方向和水平方向相邻布置。
30.根据权利要求28或29所述的成像装置，其特征在于，在每个所述第一滤光片组中，多个所述第一颜色滤光片及多个所述第二颜色滤光片在所述图像传感器的垂直方向和水平方向相邻布置；
在每个所述第二滤光片组中，多个所述第一颜色滤光片及多个所述第三颜色滤光片在所述图像传感器的垂直方向和水平方向相邻布置。
31.根据权利要求28或29所述的成像装置，其特征在于，在每个所述第一滤光片组中，多个所述滤光片逐行排列，且同一行中的多个所述滤光片的颜色相同；或
在每个所述第一滤光片组中，多个所述滤光片逐列排列，且同一列中的多个所述滤光片的颜色相同；
在每个所述第二滤光片组中，多个所述滤光片逐行排列，且同一行中的多个所述滤光片的颜色相同；或
在每个所述第二滤光片组中，多个所述滤光片逐列排列，且同一列中的多个所述滤光片的颜色相同。
32.根据权利要求31所述的成像装置，其特征在于，所述图像传感器还包括微透镜阵列，所述微透镜阵列包括多个微透镜组，一个所述微透镜组对应一个滤光片组，并与该一个所述滤光片组对应的多个所述像素对应。
33.根据权利要求32所述的成像装置，其特征在于，每个所述微透镜组均包括多个微透镜，每个所述微透镜对应一个所述滤光片及一个所述像素。
34.根据权利要求32所述的成像装置，其特征在于，每个所述微透镜组均包括一个微透镜，一个所述微透镜对应一个所述滤光片组，并与该一个所述滤光片组对应的多个所述像素对应。
35.根据权利要求23或24所述的成像装置，其特征在于，每个所述滤光片单元包括两个第一颜色滤光片、一个第二颜色滤光片和一个第三颜色滤光片；每个所述滤光片单元中的所述第二颜色滤光片和所述第三颜色滤光片互不相邻，每个所述滤光片区域中，多个所述滤光片单元的所述滤光片的排列顺序均不相同。
36.根据权利要求35所述的成像装置，其特征在于，多个所述滤光片区域包括多个第一滤光片区域和多个第二滤光片区域，所述第一滤光片区中的所述滤光片单元的排列顺序与所述第二滤光片区中的所述滤光片单元的排列顺序不同。
37.根据权利要求36所述的成像装置，其特征在于，多个所述第一滤光片区域设置在第三对角线方向，多个所述第二滤光片区域设置在第四对角线方向，所述第三对角线方向与所述第四对角线方向不同。
38. 根据权利要求37所述的成像装置，其特征在于，所述第一滤光片区域与所述第二滤光片区域在所述图像传感器的垂直方向和水平方向相邻布置。
39.根据权利要求36所述的成像装置，其特征在于，多个所述第一滤光片区域在所述图像传感器的垂直方向相邻布置，多个所述第二滤光片区域在所述图像传感器的垂直方向相邻布置；或
多个所述第一滤光片区域在所述图像传感器的水平方向相邻布置，多个所述第二滤光片区域在所述图像传感器的水平方向相邻布置。
40.根据权利要求23、24、28、29、32-34、36-39任意一项所述的成像装置，其特征在于，所述处理器用于计算每个所述滤光片区域中所述第一颜色滤光片对应的像素产生的电信号的平均值以作为所述第一颜色信号，计算每个所述滤光片区域中所述第二颜色滤光片对应的像素产生的电信号的平均值以作为所述第二颜色信号，计算每个所述滤光片区域中所述第三颜色滤光片对应的像素产生的电信号的平均值以作为所述第三颜色信号。
41.根据权利要求40所述的成像装置，其特征在于，所述处理器用于对所述第一中间图像进行伽马校正处理。
42.根据权利要求41所述的成像装置，其特征在于，所述处理器用于对所述第一颜色信号、所述第二颜色信号和所述第三颜色信号进行白平衡处理、色彩校正矩阵处理、伽马校正处理，将处理后的所述第一颜色信号、处理后的所述第二颜色信号和处理后的所述第三颜色信号转换至色亮分离空间以得到所述第二中间图像。
43.根据权利要求42所述的成像装置，其特征在于，所述处理器用于对所述第二中间图像进行上采样处理以使得一个所述滤光片区域对应多个色彩值并形成第三中间图像，融合所述第一中间图像和所述第三中间图像以得到所述第一目标图像。
44.根据权利要求43所述的成像装置，其特征在于，所述处理器用于对所述第一中间图像进行高通滤波处理。
45.一种电子设备，其特征在于，包括：
成像装置，所述成像装置包括图像传感器，所述图像传感器包括滤光片阵列和像素阵列；所述滤光片阵列包括多个滤光片区域，每个所述滤光片区域包括多个滤光片单元，每个所述滤光片单元包括至少一个第一颜色滤光片、至少一个第二颜色滤光片和至少一个第三颜色滤光片；所述像素阵列包括多个像素，每个所述像素对应所述滤光片阵列的一个滤光片，所述像素用于接收穿过对应的所述滤光片的光线以生成电信号；每个所述滤光片单元对应的像素产生的电信号合并输出以作为合并亮度值并形成第一中间图像，所述合并亮度值用于表征作用于所述滤光片单元对应像素的光线的亮度；
处理器，所述处理器用于根据每个所述滤光片区域对应的像素产生的电信号生成第一颜色信号、第二颜色信号和第三颜色信号，所述第一颜色信号用于表征作用于所述滤光片区域对应像素的光线的第一颜色通道的值，所述第二颜色信号用于表征作用于所述滤光片区域对应像素的光线的第二颜色通道的值，所述第三颜色信号用于表征作用于所述滤光片区域对应像素的光线的第三颜色通道的值；所述处理器还用于处理所述第一颜色信号、所述第二颜色信号和所述第三颜色信号以得到用于表征所述滤光片区域的色彩值的多个第二中间图像，融合所述第一中间图像与所述第二中间图像以得到第一目标图像；
所述滤光片阵列包括多个第一滤光片组及多个第二滤光片组，所述第一滤光片组包括数量相同的多个所述第一颜色滤光片和多个所述第二颜色滤光片，所述第二滤光片组包括数量相同的多个所述第一颜色滤光片和多个所述第三颜色滤光片。
46.一种图像处理系统，其特征在于，包括：
电子设备，所述电子设备包括成像装置，所述成像装置包括图像传感器，所述图像传感器包括滤光片阵列和像素阵列；所述滤光片阵列包括多个滤光片区域，每个所述滤光片区域包括多个滤光片单元，每个所述滤光片单元包括至少一个第一颜色滤光片、至少一个第二颜色滤光片和至少一个第三颜色滤光片；所述像素阵列包括多个像素，每个所述像素对应所述滤光片阵列的一个滤光片，所述像素用于接收穿过对应的所述滤光片的光线以生成电信号；每个所述滤光片单元对应的像素产生的电信号合并输出以作为合并亮度值并形成第一中间图像，所述合并亮度值用于表征作用于所述滤光片单元对应像素的光线的亮度；
处理器，所述处理器用于根据每个所述滤光片区域对应的像素产生的电信号生成第一颜色信号、第二颜色信号和第三颜色信号，所述第一颜色信号用于表征作用于所述滤光片区域对应像素的光线的第一颜色通道的值，所述第二颜色信号用于表征作用于所述滤光片区域对应像素的光线的第二颜色通道的值，所述第三颜色信号用于表征作用于所述滤光片区域对应像素的光线的第三颜色通道的值；所述处理器还用于处理所述第一颜色信号、所述第二颜色信号和所述第三颜色信号以得到用于表征所述滤光片区域的色彩值的多个第二中间图像，融合所述第一中间图像与所述第二中间图像以得到第一目标图像；
所述滤光片阵列包括多个第一滤光片组及多个第二滤光片组，所述第一滤光片组包括数量相同的多个所述第一颜色滤光片和多个所述第二颜色滤光片，所述第二滤光片组包括数量相同的多个所述第一颜色滤光片和多个所述第三颜色滤光片。
47.根据权利要求46所述的图像处理系统，其特征在于，所述处理器位于负责云计算的服务器或负责边缘计算的服务器中。
48.一种信号处理方法，用于图像传感器，其特征在于，所述图像传感器包括滤光片阵列和像素阵列；所述滤光片阵列包括多个滤光片区域，每个所述滤光片区域包括多个滤光片单元，每个所述滤光片单元包括至少一个第一颜色滤光片、至少一个第二颜色滤光片和至少一个第三颜色滤光片；所述像素阵列包括多个像素，每个所述像素对应所述滤光片阵列的一个滤光片，所述像素用于接收穿过对应的所述滤光片的光线以生成电信号；所述信号处理方法包括：
将每个所述滤光片单元对应的像素产生的电信号合并输出以作为合并亮度值并形成第一中间图像，所述合并亮度值用于表征作用于所述滤光片单元对应像素的光线的亮度；
根据每个所述滤光片区域对应的像素产生的电信号生成第一颜色信号、第二颜色信号和第三颜色信号，所述第一颜色信号用于表征作用于所述滤光片区域对应像素的光线的第一颜色通道的值，所述第二颜色信号用于表征作用于所述滤光片区域对应像素的光线的第二颜色通道的值，所述第三颜色信号用于表征作用于所述滤光片区域对应像素的光线的第三颜色通道的值；
处理所述第一颜色信号、所述第二颜色信号和所述第三颜色信号以得到用于表征所述滤光片区域的色彩值的多个第二中间图像；
融合所述第一中间图像与所述第二中间图像以得到第一目标图像；
每个所述滤光片单元包括两个第一颜色滤光片、一个第二颜色滤光片和一个第三颜色滤光片；一个所述滤光片单元中的一个所述第一颜色滤光片、一个所述第二颜色滤光片和另外一个所述滤光片单元中的一个所述第一颜色滤光片、一个所述第二颜色滤光片组合形成第一滤光片组，一个所述滤光片单元中的一个所述第一颜色滤光片、一个所述第三颜色滤光片和另外一个所述滤光片单元中的一个所述第一颜色滤光片、一个所述第三颜色滤光片组合形成第二滤光片组，所述滤光片阵列包括多个所述第一滤光片组和多个所述第二滤光片组。
49.根据权利要求48所述的信号处理方法，其特征在于，所述信号处理方法包括：
在低亮模式下，获取所述第一目标图像；
在纹理清晰模式下，将所述第一滤光片组对应的像素产生的电信号合并生成第一像素信号和第三像素信号，所述第一像素信号用于表征作用于所述第一滤光片组对应像素的光线的第一颜色通道的值，所述第三像素信号用于表征作用于所述第一滤光片组对应像素的光线的第二颜色通道的值，将所述第二滤光片组对应的像素产生的电信号合并生成第二像素信号和第四像素信号，所述第二像素信号用于表征作用于所述第二滤光片组对应像素的光线的第一颜色通道的值，所述第四像素信号用于表征作用于所述第二滤光片组对应像素的光线的第三颜色通道的值，根据所述第一像素信号、所述第二像素信号、所述第三像素信号和所述第四像素信号得到第二目标图像。
50.根据权利要求48或49所述的信号处理方法，其特征在于，所述根据每个所述滤光片区域对应的像素产生的电信号生成第一颜色信号、第二颜色信号和第三颜色信号，包括：
计算每个所述滤光片区域中所述第一颜色滤光片对应的像素产生的电信号的平均值以作为所述第一颜色信号；
计算每个所述滤光片区域中所述第二颜色滤光片对应的像素产生的电信号的平均值以作为所述第二颜色信号；
计算每个所述滤光片区域中所述第三颜色滤光片对应的像素产生的电信号的平均值以作为所述第三颜色信号。
51.根据权利要求50所述的信号处理方法，其特征在于，所述信号处理方法包括：
对所述第一中间图像进行伽马校正处理。
52.根据权利要求51所述的信号处理方法，其特征在于，所述信号处理方法包括：
对所述第一颜色信号、所述第二颜色信号和所述第三颜色信号进行白平衡处理、色彩校正矩阵处理、伽马校正处理；
所述处理所述第一颜色信号、所述第二颜色信号和所述第三颜色信号以得到用于表征所述滤光片区域的色彩值的多个第二中间图像，包括：
将处理后的所述第一颜色信号、处理后的所述第二颜色信号和处理后的所述第三颜色信号转换至色亮分离空间以得到所述第二中间图像。
53.根据权利要求52所述的信号处理方法，其特征在于，所述融合所述第一中间图像与所述第二中间图像以得到第一目标图像，包括：
对所述第二中间图像进行上采样处理以使得一个所述滤光片区域对应多个色彩值并形成第三中间图像；
融合所述第一中间图像和所述第三中间图像以得到所述第一目标图像。
54.根据权利要求53所述的信号处理方法，其特征在于，所述信号处理方法包括：
对所述第一中间图像进行高通滤波处理。
CN202080098201.3A 2020-03-06 2020-03-06 图像传感器、成像装置、电子设备、图像处理系统及信号处理方法 Active CN115280766B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/078212 WO2021174529A1 (zh) 2020-03-06 2020-03-06 图像传感器、成像装置、电子设备、图像处理系统及信号处理方法

Publications (2)

Publication Number Publication Date
CN115280766A CN115280766A (zh) 2022-11-01
CN115280766B true CN115280766B (zh) 2024-05-03

Family

ID=77613790

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080098201.3A Active CN115280766B (zh) 2020-03-06 2020-03-06 图像传感器、成像装置、电子设备、图像处理系统及信号处理方法

Country Status (4)

Country Link
US (1) US20230007191A1 (zh)
EP (1) EP4117282A4 (zh)
CN (1) CN115280766B (zh)
WO (1) WO2021174529A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114125318A (zh) * 2021-11-12 2022-03-01 Oppo广东移动通信有限公司 图像传感器、摄像模组、电子设备、图像生成方法和装置
CN114125237A (zh) * 2021-11-30 2022-03-01 维沃移动通信有限公司 图像传感器、摄像模组、电子设备、图像获取方法及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012023670A (ja) * 2010-07-16 2012-02-02 Japan Radio Co Ltd Ｏｆｄｍ伝送方式における受信機
CN105306786A (zh) * 2014-06-30 2016-02-03 半导体元件工业有限责任公司 用于具有相位检测像素的图像传感器的图像处理方法
CN105430360A (zh) * 2015-12-18 2016-03-23 广东欧珀移动通信有限公司 成像方法、图像传感器、成像装置及电子装置
CN106456272A (zh) * 2014-03-17 2017-02-22 直观外科手术操作公司 包括非白光总体照明器的外科手术系统
KR20170055112A (ko) * 2015-11-11 2017-05-19 엠텍비젼 주식회사 영상처리장치

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6809765B1 (en) * 1999-10-05 2004-10-26 Sony Corporation Demosaicing for digital imaging device using perceptually uniform color space
KR100827242B1 (ko) * 2006-06-26 2008-05-07 삼성전기주식회사 이미지 복원 방법 및 장치
US7745779B2 (en) * 2008-02-08 2010-06-29 Aptina Imaging Corporation Color pixel arrays having common color filters for multiple adjacent pixels for use in CMOS imagers
JP5591261B2 (ja) * 2009-12-04 2014-09-17 キヤノン株式会社 画像処理装置
JP2012023137A (ja) * 2010-07-13 2012-02-02 Panasonic Corp 固体撮像装置およびその製造方法
JP2012023620A (ja) * 2010-07-15 2012-02-02 Panasonic Corp 撮像装置及び信号処理方法
JP5696513B2 (ja) * 2011-02-08 2015-04-08 ソニー株式会社 固体撮像装置とその製造方法、及び電子機器
EP2762943B1 (en) * 2011-09-29 2017-01-11 Fujifilm Corporation Solid state image capture element, image capture device, and focus control method
CN102510450A (zh) * 2011-10-17 2012-06-20 北京瑞澜联合通信技术有限公司 图像传感器、摄像装置及图像数据生成方法
WO2013147199A1 (ja) * 2012-03-30 2013-10-03 株式会社ニコン 撮像素子、撮影方法、および撮像装置
WO2013147198A1 (ja) * 2012-03-30 2013-10-03 株式会社ニコン 撮像装置および撮像素子
KR102469426B1 (ko) * 2015-10-27 2022-11-22 삼성전자주식회사 이미지 처리 장치 및 이의 동작 방법
CN105430359B (zh) * 2015-12-18 2018-07-10 广东欧珀移动通信有限公司 成像方法、图像传感器、成像装置及电子装置
JP7182907B2 (ja) * 2017-06-15 2022-12-05 ブラックマジック デザイン ピーティーワイ リミテッド カメラの画像データ処理方法およびカメラ

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012023670A (ja) * 2010-07-16 2012-02-02 Japan Radio Co Ltd Ｏｆｄｍ伝送方式における受信機
CN106456272A (zh) * 2014-03-17 2017-02-22 直观外科手术操作公司 包括非白光总体照明器的外科手术系统
CN105306786A (zh) * 2014-06-30 2016-02-03 半导体元件工业有限责任公司 用于具有相位检测像素的图像传感器的图像处理方法
KR20170055112A (ko) * 2015-11-11 2017-05-19 엠텍비젼 주식회사 영상처리장치
CN105430360A (zh) * 2015-12-18 2016-03-23 广东欧珀移动通信有限公司 成像方法、图像传感器、成像装置及电子装置

Also Published As

Publication number Publication date
CN115280766A (zh) 2022-11-01
WO2021174529A1 (zh) 2021-09-10
EP4117282A1 (en) 2023-01-11
US20230007191A1 (en) 2023-01-05
EP4117282A4 (en) 2023-04-05

Similar Documents

Publication Publication Date Title
CN112261391B (zh) 图像处理方法、摄像头组件及移动终端
US6982756B2 (en) Digital camera, image signal processing method and recording medium for the same
CN213279832U (zh) 图像传感器、相机和终端
CN111405204B (zh) 图像获取方法、成像装置、电子设备及可读存储介质
WO2021208593A1 (zh) 高动态范围图像处理系统及方法、电子设备和存储介质
US8593509B2 (en) Three-dimensional imaging device and viewpoint image restoration method
CN113170061B (zh) 图像传感器、成像装置、电子设备、图像处理系统及信号处理方法
US9369693B2 (en) Stereoscopic imaging device and shading correction method
US20230007191A1 (en) Image sensor, imaging apparatus, electronic device, image processing system, and signal processing method
US10200593B2 (en) Image capturing apparatus and control method thereof
CN113840067B (zh) 图像传感器、图像生成方法、装置和电子设备
US20230254553A1 (en) Image obtaining method and apparatus, terminal, and computer-readable storage medium
US20220150450A1 (en) Image capturing method, camera assembly, and mobile terminal
CN113132692B (zh) 图像传感器、成像装置、电子设备、图像处理系统及信号处理方法
CN113141444B (zh) 图像传感器、成像装置、电子设备、图像处理系统及信号处理方法
JP7144604B2 (ja) 画像センサ、カメラモジュール、モバイル端末及び画像収集方法
WO2020203799A1 (ja) 撮像素子、及び、撮像装置
KR20230107126A (ko) 화상처리장치, 화상처리방법 및 기억매체
CN116017181A (zh) 一种可提高分辨率的线阵图像传感器的像素排列方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant