CN113170061B - 图像传感器、成像装置、电子设备、图像处理系统及信号处理方法 - Google Patents

图像传感器、成像装置、电子设备、图像处理系统及信号处理方法 Download PDF

Info

Publication number
CN113170061B
CN113170061B CN201980077996.7A CN201980077996A CN113170061B CN 113170061 B CN113170061 B CN 113170061B CN 201980077996 A CN201980077996 A CN 201980077996A CN 113170061 B CN113170061 B CN 113170061B
Authority
CN
China
Prior art keywords
color
pixel
filter
signal
filters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980077996.7A
Other languages
English (en)
Other versions
CN113170061A (zh
Inventor
沼田肇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Publication of CN113170061A publication Critical patent/CN113170061A/zh
Application granted granted Critical
Publication of CN113170061B publication Critical patent/CN113170061B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

一种图像传感器(10)、成像装置、电子设备、图像处理系统及信号处理方法。图像传感器(10)包滤光片阵列(11)。滤光片阵列(11)包括多个滤光片组(113)。每个滤光片组(113)均包括第一颜色滤光片(A)。每个滤光片组(113)对应的像素(120)产生的电信号均可以合并生成具有第一颜色通道的值的像素信号。

Description

图像传感器、成像装置、电子设备、图像处理系统及信号处理 方法
优先权信息
本申请请求2019年3月7日向中国国家知识产权局提交的专利申请号为PCT/CN2019/077338的专利申请的优先权和权益,并且通过参照将其全文并入此处。
技术领域
本申请涉及影像技术领域,特别涉及一种图像传感器、成像装置、电子设备、图像处理系统及信号处理方法。
背景技术
手机等电子设备中往往装配有摄像头,以实现拍照功能。摄像头中设置有图像传感器。为了实现彩色图像的采集,图像传感器中通常会设置以拜耳(Bayer)阵列形式排布的滤光片阵列,以使得图像传感器中的多个像素能够接收穿过对应的滤光片的光线,从而生成具有不同色彩通道的像素信号。
发明内容
本申请实施方式提供一种图像传感器、成像装置、电子设备、图像处理系统及信号处理方法。
本申请实施方式的图像传感器包括滤光片阵列及像素阵列。所述滤光片阵列包括多个第一滤光片组和多个第二滤光片组。所述第一滤光片组包括数量相同的多个第一颜色滤光片和多个第二颜色滤光片,所述第二滤光片组包括数量相同的多个所述第一颜色滤光片和多个第三颜色滤光片。所述像素阵列包括多个像素,每个所述像素对应所述滤光片阵列的一个滤光片,所述像素用于接收穿过对应的所述滤光片的光线以生成电信号。所述图像传感器用于将所述第一滤光片组对应的像素产生的电信号合并生成第一像素信号和第三像素信号。所述第一像素信号用于表征作用于所述第一滤光片组对应像素的光线的第一颜色通道的值,所述第三像素信号用于表征作用于所述第一滤光片组对应像素的光线的第二颜色通道的值。所述图像传感器用于将所述第二滤光片组对应的像素产生的电信号合并生成第二像素信号和第四像素信号。所述第二像素信号用于表征作用于所述第二滤光片组对应像素的光线的第一颜色通道的值,所述第四像素信号用于表征作用于所述第二滤光片组对应像素的光线的第三颜色通道的值。
本申请实施方式的图像传感器包括滤光片阵列及像素阵列。所述滤光片阵列包括多个滤光片组,每个所述滤光片组均包括多个第一颜色滤光片。多个所述滤光片组包括两类,第一类所述滤光片组还包括多个第二颜色滤光片,第二类所述滤光片组还包括多个第三颜色滤光片。所述像素阵列包括多个像素,每个所述像素对应所述滤光片阵列的一个滤光片,所述像素用于接收穿过对应的所述滤光片的光线以生成电信号。其中,所述图像传感器工作在合并模式下时,每个第一类所述滤光片组对应的所述像素作为一个第一类合并像素,每个第二类所述滤光片组对应的所述像素作为一个第二类合并像素。所述图像传感器用于将所述第一类合并像素中的像素产生的电信号合并生成第一像素信号,所述第一像素信号用于表征作用于所述第一类合并像素中的像素的光线的第一颜色通道的值。所述图像传感器用于将所述第二类合并像素中的像素产生的电信号合并生成第二像素信号,所述第二像素信号用于表征作用于所述第二类合并像素中的像素的光线的第一颜色通道的值。
本申请实施方式的图像传感器包括滤光片阵列及控制电路。所述滤光片阵列设置在像素阵列上。所述滤光片阵列包括多个第一滤光片组和多个第二滤光片组。所述第一滤光片组包括数量相同的多个第一颜色滤光片和多个第二颜色滤光片,所述第二滤光片组包括数量相同的多个所述第一颜色滤光片和多个第三颜色滤光片。所述控制电路设置在具有所述像素阵列的衬底上。所述控制电路用于将所述第一滤光片组对应的像素产生的电信号合并生成第一像素信号和第三像素信号。所述第一像素信号用于表征作用于所述第一滤光片组对应像素的光线的第一颜色通道的值,所述第三像素信号用于表征作用于所述第一滤光片组对应像素的光线的第二颜色通道的值。所述控制电路用于将所述第二滤光片组对应的像素产生的电信号合并生成第二像素信号和第四像素信号。所述第二像素信号用于表征作用于所述第二滤光片组对应像素的光线的第一颜色通道的值,所述第四像素信号用于表征作用于所述第二滤光片组对应像素的光线的第三颜色通道的值。
本申请实施方式的图像传感器包括滤光片阵列及像素阵列。所述滤光片阵列包括多个第一颜色滤光片、多个第二颜色滤光片、及多个第三颜色滤光片。滤光片以两个所述第一颜色滤光片、一个所述第二颜色滤光片、一个所述第三颜色滤光片为一个单位,且每个所述单位中的两个所述第一颜色滤光片不相邻,一个所述第二颜色滤光片与一个所述第三颜色滤光片不相邻。在第一方向和第二方向上,多个所述单位均呈周期性排列,其中,所述第一方向与所述第二方向垂直。所述像素阵列包括多个像素,每个所述像素对应所述滤光片阵列的一个所述滤光片,所述像素用于接收穿过对应的所述滤光片的光线以生成电信号。所述图像传感器用于将位于同一区域的多个所述第一颜色滤光片对应像素和多个所述第二颜色滤光片对应像素产生的电信号合并生成第一像素信号和第三像素信号。所述第一像素信号用于表征作用于所述第一颜色滤光片对应像素的光线的第一颜色通道的值,所述第三像素信号用于表征作用于所述第二颜色滤光片对应像素的光线的第二颜色通道的值。所述图像传感器用于将位于同一区域的多个所述第一颜色滤光片对应像素和多个所述第三颜色滤光片对应像素产生的电信号合并生成第二像素信号和第四像素信号。所述第二像素信号用于表征作用于所述第一颜色滤光片对应像素的光线的第一颜色通道的值,所述第四像素信号用于表征作用于所述第三颜色滤光片对应像素的光线的第三颜色通道的值。
本申请实施方式的成像装置包括上述任意一项实施方式所述的图像传感器。
本申请实施方式的电子设备包括成像装置。所述成像装置包括上述任意一项实施方式所述的图像传感器。
本申请实施方式的图像处理系统包括电子设备。所述电子设备包括成像装置,所述成像装置包括上述任意一项实施方式所述的图像传感器。
本申请实施方式的信号处理方法用于图像传感器。所述图像传感器包括滤光片阵列及像素阵列。所述滤光片阵列包括多个第一滤光片组和多个第二滤光片组。所述第一滤光片组包括数量相同的多个第一颜色滤光片和多个第二颜色滤光片。所述第二滤光片组包括数量相同的多个所述第一颜色滤光片和多个第三颜色滤光片。所述像素阵列包括多个像素,每个所述像素对应所述滤光片阵列的一个滤光片,所述像素用于接收穿过对应的所述滤光片的光线以生成电信号。所述信号处理方法包括:将所述第一滤光片组对应的像素产生的电信号合并生成第一像素信号和第三像素信号,所述第一像素信号用于表征作用于所述第一滤光片组对应像素的光线的第一颜色通道的值,所述第三像素信号用于表征作用于所述第一滤光片组对应像素的光线的第二颜色通道的值;及将所述第二滤光片组对应的像素产生的电信号合并生成第二像素信号和第四像素信号,所述第二像素信号用于表征作用于所述第二滤光片组对应像素的光线的第一颜色通道的值,所述第四像素信号用于表征作用于所述第二滤光片组对应像素的光线的第三颜色通道的值。
本申请实施方式的信号处理方法用于图像传感器。所述图像传感器包括滤光片阵列及像素阵列。所述滤光片阵列包括多个滤光片组。每个所述滤光片组均包括多个第一颜色滤光片。多个所述滤光片组包括两类,第一类所述滤光片组还包括多个第二颜色滤光片,第二类所述滤光片组还包括多个第三颜色滤光片。所述像素阵列包括多个像素,每个所述像素对应所述滤光片阵列的一个滤光片,所述像素用于接收穿过对应的所述滤光片的光线以生成电信号。所述信号处理方法包括:在所述图像传感器工作在合并模式下时,每个第一类所述滤光片组对应的所述像素作为一个第一类合并像素,每个第二类所述滤光片组对应的所述像素作为一个第二类合并像素,将所述第一类合并像素中的像素产生的电信号合并生成第一像素信号,所述第一像素信号用于表征作用于所述第一类合并像素中的像素的光线的第一颜色通道的值,所述第二类合并像素中的像素产生的电信号合并生成第二像素信号,所述第二像素信号用于表征作用于所述第二类合并像素中的像素的光线的第一颜色通道的值。
本申请实施方式的信号处理方法用于图像传感器。所述图像传感器包括滤光片阵列,所述滤光片阵列设置在像素阵列上。所述滤光片阵列包括多个第一滤光片组和多个第二滤光片组。所述第一滤光片组包括数量相同的多个第一颜色滤光片和多个第二颜色滤光片,所述第二滤光片组包括数量相同的多个所述第一颜色滤光片和多个第三颜色滤光片。所述信号处理方法包括:将所述第一滤光片组对应的像素产生的电信号合并生成第一像素信号和第三像素信号,所述第一像素信号用于表征作用于所述第一滤光片组对应像素的光线的第一颜色通道的值,所述第三像素信号用于表征作用于所述第一滤光片组对应像素的光线的第二颜色通道的值;及将所述第二滤光片组对应的像素产生的电信号合并生成第二像素信号和第四像素信号,所述第二像素信号用于表征作用于所述第二滤光片组对应像素的光线的第一颜色通道的值,所述第四像素信号用于表征作用于所述第二滤光片组对应像素的光线的第三颜色通道的值。
本申请实施方式的信号处理方法用于图像传感器。所述图像传感器包括滤光片阵列及像素阵列。所述滤光片阵列包括多个第一颜色滤光片、多个第二颜色滤光片、及多个第三颜色滤光片。滤光片以两个所述第一颜色滤光片、一个所述第二颜色滤光片、一个所述第三颜色滤光片为一个单位,且每个所述单位中的两个所述第一颜色滤光片不相邻,一个所述第二颜色滤光片与一个所述第三颜色滤光片不相邻。在第一方向和第二方向上,多个所述单位均呈周期性排列,其中,所述第一方向与所述第二方向垂直。所述像素阵列包括多个像素,每个所述像素对应所述滤光片阵列的一个所述滤光片,所述像素用于接收穿过对应的所述滤光片的光线以生成电信号。所述信号处理方法包括:将位于同一区域的多个所述第一颜色滤光片对应像素和多个所述第二颜色滤光片对应像素产生的电信号合并生成第一像素信号和第三像素信号,所述第一像素信号用于表征作用于所述第一颜色滤光片对应像素的光线的第一颜色通道的值,所述第三像素信号用于表征作用于所述第二颜色滤光片对应像素的光线的第二颜色通道的值;及将位于同一区域的多个所述第一颜色滤光片对应像素和多个所述第三颜色滤光片对应像素产生的电信号合并生成第二像素信号和第四像素信号,所述第二像素信号用于表征作用于所述第一颜色滤光片对应像素的光线的第一颜色通道的值,所述第四像素信号用于表征作用于所述第三颜色滤光片对应像素的光线的第三颜色通道的值。
本申请实施方式的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实践了解到。
附图说明
本申请的上述和/或附加的方面和优点可以从结合下面附图对实施方式的描述中将变得明显和容易理解,其中:
图1和图2是本申请某些实施方式的图像传感器的部分结构示意图;
图3至图6是图1或图2所示图像传感器中部分滤光片的排布示意图;
图7是本申请某些实施方式的信号处理方法示意图;
图8和图9是本申请某些实施方式的图像传感器的部分结构示意图;
图10至图13是图8或图9所示图像传感器中部分滤光片的排布示意图;
图14是本申请某些实施方式的信号处理方法示意图;
图15是本申请某些实施方式的图像传感器的示意图;
图16和图17是本申请某些实施方式的图像传感器的部分结构示意图;
图18至图21是图15、图16或图17所示图像传感器中部分滤光片的排布示意图;
图22是本申请某些实施方式的信号处理方法示意图;
图23和图24是本申请某些实施方式的图像传感器的部分结构示意图;
图25至图28是图23或图24所示图像传感器中部分滤光片的排布示意图;
图29是本申请某些实施方式的信号处理方法示意图;
图30至图32是本申请某些实施方式的图像传感器的工作原理示意图;
图33是现有技术中包括以拜耳阵列形式排布的滤光片阵列的图像传感器的工作原理示意图;
图34是本申请某些实施方式的图像传感器的工作原理示意图;
图35是本申请某些实施方式的成像装置的示意图;
图36是本申请某些实施方式的电子设备的示意图;
图37是本申请某些实施方式的图像处理系统的示意图;
图38是本申请某些实施方式的计算机设备中的图像处理电路的示意图。
具体实施方式
下面详细描述本申请的实施方式,实施方式的示例在附图中示出,其中,相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的,仅用于解释本申请,而不能理解为对本申请的限制。
请参阅图1至图3,本申请提供一种图像传感器10。图像传感器10包括滤光片阵列11和像素阵列12。滤光片阵列11包括多个第一滤光片组111和多个第二滤光片组112。第一滤光片组111包括数量相同的多个第一颜色滤光片A和多个第二颜色滤光片B。第二滤光片组112包括数量相同的多个第一颜色滤光片A和多个第三颜色滤光片C。像素阵列12包括多个像素120,每个像素120对应滤光片阵列11的一个滤光片110,像素120用于接收穿过对应的滤光片110的光线以生成电信号。图像传感器10用于将第一滤光片组111对应的像素120产生的电信号合并生成第一像素信号和第三像素信号,第一像素信号用于表征作用于第一滤光片组111对应像素120的光线的第一颜色通道的值,第三像素信号用于表征作用于第一滤光片组111对应像素120的光线的第二颜色通道的值。图像传感器10用于将第二滤光片组112对应的像素120产生的电信号合并生成第二像素信号和第四像素信号,第二像素信号用于表征作用于第二滤光片组112对应像素120的光线的第一颜色通道的值,第四像素信号用于表征作用于第二滤光片组112对应像素120的光线的第三颜色通道的值。
下面结合附图对本申请的图像传感器10作进一步说明。
请参阅图1和图2,本申请实施方式的图像传感器10包括微透镜阵列13、滤光片阵列11、及像素阵列12。沿图像传感器10的收光方向,微透镜阵列13、滤光片阵列11、及像素阵列12依次设置。
滤光片阵列11包括多个第一滤光片组111和多个第二滤光片组112。第一滤光片组111包括数量相同的多个第一颜色滤光片A和多个第二颜色滤光片B。第二滤光片组112包括数量相同的多个第一颜色滤光片A和多个第三颜色滤光片C。
像素阵列12包括多个像素120,每个像素120对应滤光片阵列11的一个滤光片110,像素120用于接收穿过对应的滤光片110的光线以生成电信号。
微透镜阵列13包括多个微透镜组131。微透镜阵列13中的一个微透镜组131对应一个滤光片组113(第一滤光片组111或第二滤光片组112),并与该一个滤光片组113对应的多个像素120对应。如图1所示,每个微透镜组131均包括多个微透镜130,每个微透镜130对应一个滤光片110及一个像素120。如图2所示,每个微透镜组131均包括一个微透镜130,每个微透镜130对应一个滤光片组113,并与该一个滤光片组113对应的多个像素120对应。
图3至图6是本申请多个实施例的滤光片阵列11中部分滤光片110的排布示意图。图3至图6所示的滤光片阵列11中,每个滤光片阵列11均包括多个第一滤光片组111和多个第二滤光片组112。每个第一滤光片组111包括数量相同的多个第一颜色滤光片A和多个第二颜色滤光片B。每个第二滤光片组112包括数量相同的多个第一颜色滤光片A和多个第三颜色滤光片C。
其中,第一颜色滤光片A、第二颜色滤光片B、第三颜色滤光片C的颜色组成方式可以有多种,例如第一颜色滤光片A可以为绿色滤光片G,第二颜色滤光片B可以为红色滤光片R,第三颜色滤光片C可以为蓝色滤光片Bu;再例如,第一颜色滤光片A可以为黄色滤光片Y,第二颜色滤光片B可以为红色滤光片R,第三颜色滤光片C可以为蓝色滤光片Bu。第一颜色滤光片A、第二颜色滤光片B、第三颜色滤光片C的颜色组成方式不限于上述两个示例所示的组成方式。
其中,多个第一滤光片组111可以设置在第一对角线方向D1,多个第二滤光片组112可以设置在第二对角线方向D2,第一对角线方向D1与第二对角线方向D2不同。在一个例子中,当多个第一滤光片组111设置在第一对角线方向D1,多个第二滤光片组112设置在第二对角线方向D2时,第一滤光片组111与第二滤光片组112可以在图像传感器10的垂直方向和水平方向相邻布置。
其中,第一滤光片组111中的滤光片110的数量均为N*N,第二滤光片组112中的滤光片110的数量均为N*N,其中,N为大于或等于2的整数。示例地,N的取值可以为2、3、4、5、6、7、8、9、10、15、20等等,在此不作限制。
其中,每个第一滤光片组111中的多个滤光片110的排布方式可以是:(1)请参阅图3,多个第一颜色滤光片A及多个第二颜色滤光片B在图像传感器10(图1所示)的垂直方向和水平方向相邻布置;(2)请参阅图4,多个滤光片110逐行排列,且同一行中的多个滤光片110的颜色相同;(3)请参阅图5,多个滤光片110逐列排列,且同一列中的多个滤光片110的颜色相同。当然,每个第一滤光片组111中多个滤光片110的排布方式并不限于此。
其中,每个第二滤光片组112中的多个滤光片110的排布方式可以是:(1)请参阅图3,多个第一颜色滤光片A及多个第三颜色滤光片C在图像传感器10(图1所示)的垂直方向和水平方向相邻布置;(2)请参阅图4,多个滤光片110逐行排列,且同一行中的多个滤光片110的颜色相同;(3)请参阅图5,多个滤光片110逐列排列,且同一列中的多个滤光片110的颜色相同。当然,每个第二滤光片组112中多个滤光片110的排布方式并不限于此。
图3是本申请一个实施例的滤光片阵列11中部分滤光片110的排布示意图。请参阅图3,部分滤光片110的排布方式为:
Figure GPA0000305367020000071
其中,A为第一颜色滤光片,B为第二颜色滤光片,C为第三颜色滤光片。每个第一滤光片组111中的滤光片110的数量均为2*2,每个第二滤光片组112中的滤光片110的数量均为2*2。
如图3所示,多个第一滤光片组111设置在第一对角线方向D1(例如图3中滤光片阵列11的左上角与右下角连接的方向),多个第二滤光片组112设置在第二对角线方向D2(例如图3中滤光片阵列11的左下角与右上角连接的方向),第一对角线方向D1与第二对角线方向D2不同,例如,第一对角线方向D1与第二对角线方向D2垂直。
需要说明的是,第一对角线方向D1和第二对角线方向D2并不局限于对角线,还包括平行于对角线的方向。这里的“方向”并非单一指向,可以理解为指示排布的“直线”的概念,可以有直线两端的双向指向。此外,在其他实施例中,第一对角线方向D1也可以是滤光片阵列11的左下角与右上角连接的方向,第二对角线方向D2也可以是滤光片阵列11的左上角与右下角连接的方向,此时,第一滤光片组111及第二滤光片组112的位置对应对角线方向的变换做变换。
如图3所示,第一滤光片组111与第二滤光片组112在图像传感器10(图1所示)的垂直方向V上相邻布置,且在水平方向H上也相邻布置。也即,多个滤光片组113在垂直方向V上按照第一滤光片组111、第二滤光片组112的顺序呈周期性排列,多个滤光片组113在水平方向H上按照第一滤光片组111、第二滤光片组112的顺序呈周期性排列。
需要说明的是,第一滤光片组111与第二滤光片组112在垂直方向V上相邻布置,且在水平方向H上也相邻布置并不限于图3的方式,还可以是:多个滤光片组113在垂直方向V上按照第一滤光片组111及第二滤光片组112的顺序或第二滤光片组112及第一滤光片组111的顺序呈周期性排列(从左至右,从上至下来看,下同),多个滤光片组113在水平方向H上按照第一滤光片组111及第二滤光片组112的顺序或第二滤光片组112及第一滤光片组111的顺序呈周期性排列(从左至右,从上至下来看,下同)。
如图3所示,在第一滤光片组111中,多个第一颜色滤光片A及多个第二颜色滤光片B在垂直方向V和水平方向H上相邻布置。也即,在垂直方向V上,第一颜色滤光片A和第二颜色滤光片B交替排列,且在水平方向H上,第一颜色滤光片A和第二颜色滤光片B交替排列。在第二滤光片组112中,多个第一颜色滤光片A及多个第三颜色滤光片C在垂直方向V和水平方向H上相邻布置。也即,在垂直方向V上,第一颜色滤光片A和第三颜色滤光片C交替排列,且在水平方向H上,第一颜色滤光片A和第三颜色滤光片C交替排列。
在某些实施方式中,滤光片阵列11中部分滤光片110的排布方式还可以为:
Figure GPA0000305367020000072
其中,A为第一颜色滤光片,B为第二颜色滤光片,C为第三颜色滤光片。每个第一滤光片组111中的滤光片110的数量均为3*3,每个第二滤光片组112中的滤光片110的数量均为3*3。
在此排布方式下,多个第一滤光片组111设置在第一对角线方向D1(例如滤光片阵列11的左上角与右下角连接的方向),多个第二滤光片组112设置在第二对角线方向D2(例如滤光片阵列11的左下角与右上角连接的方向),第一对角线方向D1与第二对角线方向D2不同,例如,第一对角线方向D1与第二对角线方向D2垂直。
在此排布方式下,第一滤光片组111与第二滤光片组112在图像传感器10(图1所示)的垂直方向V上相邻布置,且在水平方向H上也相邻布置。也即,多个滤光片组113在垂直方向V上按照第一滤光片组111及第二滤光片组112的顺序或第二滤光片组112及第一滤光片组111的顺序呈周期性排列,多个滤光片组113在水平方向H上按照第一滤光片组111及第二滤光片组112的顺序或第二滤光片组112及第一滤光片组111的顺序呈周期性排列。
在此排布方式下,在第一滤光片组111中,多个第一颜色滤光片A及多个第二颜色滤光片B在垂直方向V和水平方向H上相邻布置。也即,在垂直方向V上,第一颜色滤光片A和第二颜色滤光片B交替排列,且在水平方向H上,第一颜色滤光片A和第二颜色滤光片B交替排列。在第二滤光片组112中,多个第一颜色滤光片A及多个第三颜色滤光片C在垂直方向V和水平方向H上相邻布置。也即,在垂直方向V上,第一颜色滤光片A和第三颜色滤光片C交替排列,且在水平方向H上,第一颜色滤光片A和第三颜色滤光片C交替排列。
在某些实施方式中,滤光片阵列11中部分滤光片110的排布方式还可以为:
Figure GPA0000305367020000081
其中,A为第一颜色滤光片,B为第二颜色滤光片,C为第三颜色滤光片。每个第一滤光片组111中的滤光片110的数量均为4*4,每个第二滤光片组112中的滤光片110的数量均为4*4。
在此排布方式下,多个第一滤光片组111设置在第一对角线方向D1(例如滤光片阵列11的左上角与右下角连接的方向),多个第二滤光片组112设置在第二对角线方向D2(例如滤光片阵列11的左下角与右上角连接的方向),第一对角线方向D1与第二对角线方向D2不同,例如,第一对角线方向D1与第二对角线方向D2垂直。
在此排布方式下,第一滤光片组111与第二滤光片组112在图像传感器10(图1所示)的垂直方向V上相邻布置,且在水平方向H上也相邻布置。也即,多个滤光片组113在垂直方向V上按照第一滤光片组111及第二滤光片组112的顺序或第二滤光片组112及第一滤光片组111的顺序呈周期性排列,多个滤光片组113在水平方向H上按照第一滤光片组111及第二滤光片组112的顺序或第二滤光片组112及第一滤光片组111的顺序呈周期性排列。
在此排布方式下,在第一滤光片组111中,多个第一颜色滤光片A及多个第二颜色滤光片B在垂直方向V和水平方向H上相邻布置。也即,在垂直方向V上,第一颜色滤光片A和第二颜色滤光片B交替排列,且在水平方向H上,第一颜色滤光片A和第二颜色滤光片B交替排列。在第二滤光片组112中,多个第一颜色滤光片A及多个第三颜色滤光片C在垂直方向V和水平方向H上相邻布置。也即,在垂直方向V上,第一颜色滤光片A和第三颜色滤光片C交替排列,且在水平方向H上,第一颜色滤光片A和第三颜色滤光片C交替排列。
图4是本申请又一个实施例的滤光片阵列11中部分滤光片110的排布示意图。请参阅图4,部分滤光片110的排布方式为:
Figure GPA0000305367020000082
其中,A为第一颜色滤光片,B为第二颜色滤光片,C为第三颜色滤光片。每个第一滤光片组111中的滤光片110的数量均为2*2,每个第二滤光片组112中的滤光片110的数量均为2*2。
如图4所示,多个第一滤光片组111设置在第一对角线方向D1(例如图4中滤光片阵列11的左上角与右下角连接的方向),多个第二滤光片组112设置在第二对角线方向D2(例如图4中滤光片阵列11的左下角与右上角连接的方向),第一对角线方向D1与第二对角线方向D2不同,例如,第一对角线方向D1与第二对角线方向D2垂直。
如图4所示,第一滤光片组111与第二滤光片组112在图像传感器10(图1所示)的垂直方向V上相邻布置,且在水平方向H上也相邻布置。也即,多个滤光片组113在垂直方向V上按照第一滤光片组111及第二滤光片组112的顺序或第二滤光片组112及第一滤光片组111的顺序呈周期性排列,多个滤光片组113在水平方向H上按照第一滤光片组111及第二滤光片组112的顺序或第二滤光片组112及第一滤光片组111的顺序呈周期性排列。
如图4所示,在第一滤光片组111中,多个滤光片110逐行排列,且同一行中的多个滤光片110的颜色相同,例如,第一行的多个滤光片110均为第一颜色滤光片A,第二行的多个滤光片110均为第二颜色滤光片B。在第二滤光片组112中,多个滤光片110逐行排列,且同一行中的多个滤光片110的颜色相同,例如,第一行的多个滤光片110均为第一颜色滤光片A,第二行的多个滤光片110均为第三颜色滤光片C。
在某些实施方式中,滤光片阵列11中部分滤光片110的排布方式还可以为:
Figure GPA0000305367020000091
其中,A为第一颜色滤光片,B为第二颜色滤光片,C为第三颜色滤光片。每个第一滤光片组111中的滤光片110的数量均为3*3,每个第二滤光片组112中的滤光片110的数量均为3*3。
在此排布方式下,多个第一滤光片组111设置在第一对角线方向D1(例如滤光片阵列11的左上角与右下角连接的方向),多个第二滤光片组112设置在第二对角线方向D2(例如滤光片阵列11的左下角与右上角连接的方向),第一对角线方向D1与第二对角线方向D2不同,例如,第一对角线方向D1与第二对角线方向D2垂直。
在此排布方式下,第一滤光片组111与第二滤光片组112在图像传感器10(图1所示)的垂直方向V上相邻布置,且在水平方向H上也相邻布置。也即,多个滤光片组113在垂直方向V上按照第一滤光片组111及第二滤光片组112的顺序或第二滤光片组112及第一滤光片组111的顺序呈周期性排列,多个滤光片组113在水平方向H上按照第一滤光片组111及第二滤光片组112的顺序或第二滤光片组112及第一滤光片组111的顺序呈周期性排列。
在此排布方式下,在第一滤光片组111中,多个滤光片110逐行排列,且同一行中的多个滤光片110的颜色相同,例如,第一行的多个滤光片110均为第一颜色滤光片A,第二行的多个滤光片110均为第二颜色滤光片B,第三行的多个滤光片110均为第一颜色滤光片A。在第二滤光片组112中,多个滤光片110逐行排列,且同一行中的多个滤光片110的颜色相同,例如,第一行的多个滤光片110均为第一颜色滤光片A,第二行的多个滤光片110均为第三颜色滤光片C,第三行的多个滤光片110均为第一颜色滤光片A。
在某些实施方式中,滤光片阵列11中部分滤光片110的的排布方式还可以为:
Figure GPA0000305367020000092
其中,A为第一颜色滤光片,B为第二颜色滤光片,C为第三颜色滤光片。每个第一滤光片组111中的滤光片110的数量均为4*4,每个第二滤光片组112中的滤光片110的数量均为4*4。
在此排布方式下,多个第一滤光片组111设置在第一对角线方向D1(例如滤光片阵列11的左上角与右下角连接的方向),多个第二滤光片组112设置在第二对角线方向D2(例如滤光片阵列11的左下角与右上角连接的方向),第一对角线方向D1与第二对角线方向D2不同,例如,第一对角线方向D1与第二对角线方向D2垂直。
在此排布方式下,第一滤光片组111与第二滤光片组112在图像传感器10(图1所示)的垂直方向V上相邻布置,且在水平方向H上也相邻布置。也即,多个滤光片组113在垂直方向V上按照第一滤光片组111及第二滤光片组112的顺序或第二滤光片组112及第一滤光片组111的顺序呈周期性排列,多个滤光片组113在水平方向H上按照第一滤光片组111及第二滤光片组112的顺序或第二滤光片组112及第一滤光片组111的顺序呈周期性排列。
在此排布方式下,在第一滤光片组111中,多个滤光片110逐行排列,且同一行中的多个滤光片110的颜色相同,例如,第一行的多个滤光片110均为第一颜色滤光片A,第二行的多个滤光片110均为第二颜色滤光片B,第三行的多个滤光片110均为第一颜色滤光片A,第四行的多个滤光片110均为第二颜色滤光片B。在第二滤光片组112中,多个滤光片110逐行排列,且同一行中的多个滤光片110的颜色相同,例如,第一行的多个滤光片110均为第一颜色滤光片A,第二行的多个滤光片110均为第三颜色滤光片C,第三行的多个滤光片110均为第一颜色滤光片A,第四行的多个滤光片110均为第三颜色滤光片C。
图5是本申请又一个实施例的滤光片阵列11中部分滤光片110的排布示意图。请参阅图5,部分滤光片110的排布方式为:
Figure GPA0000305367020000101
其中,A为第一颜色滤光片,B为第二颜色滤光片,C为第三颜色滤光片。每个第一滤光片组111中的滤光片110的数量均为2*2,每个第二滤光片组112中的滤光片110的数量均为2*2。
如图5所示,多个第一滤光片组111设置在第一对角线方向D1(例如图5中滤光片阵列11的左上角与右下角连接的方向),多个第二滤光片组112设置在第二对角线方向D2(例如图5中滤光片阵列11的左下角与右上角连接的方向),第一对角线方向D1与第二对角线方向D2不同,例如,第一对角线方向D1与第二对角线方向D2垂直。
如图5所示,第一滤光片组111与第二滤光片组112在图像传感器10(图1所示)的垂直方向V上相邻布置,且在水平方向H上也相邻布置。也即,多个滤光片组113在垂直方向V上按照第一滤光片组111及第二滤光片组112的顺序或第二滤光片组112及第一滤光片组111的顺序呈周期性排列,多个滤光片组113在水平方向H上按照第一滤光片组111及第二滤光片组112的顺序或第二滤光片组112及第一滤光片组111的顺序呈周期性排列。
如图5所示,在第一滤光片组111中,多个滤光片110逐列排列,且同一列中的多个滤光片110的颜色相同,例如,第一列的多个滤光片110均为第一颜色滤光片A,第二列的多个滤光片110均为第二颜色滤光片B。在第二滤光片组112中,多个滤光片110逐列排列,且同一列中的多个滤光片110的颜色相同,例如,第一列的多个滤光片110均为第一颜色滤光片A,第二列的多个滤光片110均为第三颜色滤光片C。
在某些实施方式中,滤光片阵列11中部分滤光片110的排布方式还可以为:
Figure GPA0000305367020000102
其中,A为第一颜色滤光片,B为第二颜色滤光片,C为第三颜色滤光片。每个第一滤光片组111中的滤光片110的数量均为3*3,每个第二滤光片组112中的滤光片110的数量均为3*3。
在此排布方式下,多个第一滤光片组111设置在第一对角线方向D1(例如中滤光片阵列11的左上角与右下角连接的方向),多个第二滤光片组112设置在第二对角线方向D2(例如滤光片阵列11的左下角与右上角连接的方向),第一对角线方向D1与第二对角线方向D2不同,例如,第一对角线方向D1与第二对角线方向D2垂直。
在此排布方式下,第一滤光片组111与第二滤光片组112在图像传感器10(图1所示)的垂直方向V上相邻布置,且在水平方向H上也相邻布置。也即,多个滤光片组113在垂直方向V上按照第一滤光片组111及第二滤光片组112的顺序或第二滤光片组112及第一滤光片组111的顺序呈周期性排列,多个滤光片组113在水平方向H上按照第一滤光片组111及第二滤光片组112的顺序或第二滤光片组112及第一滤光片组111的顺序呈周期性排列。
在此排布方式下,在第一滤光片组111中,多个滤光片110逐列排列,且同一列中的多个滤光片110的颜色相同,例如,第一列的多个滤光片110均为第一颜色滤光片A,第二列的多个滤光片110均为第二颜色滤光片B,第三列的多个滤光片110均为第一颜色滤光片A。在第二滤光片组112中,多个滤光片110逐列排列,且同一列中的多个滤光片110的颜色相同,例如,第一列的多个滤光片110均为第一颜色滤光片A,第二列的多个滤光片110均为第三颜色滤光片C,第三列的多个滤光片110均为第一颜色滤光片A。
在某些实施方式中,滤光片阵列11中部分滤光片110的排布方式还可以为:
Figure GPA0000305367020000111
其中,A为第一颜色滤光片,B为第二颜色滤光片,C为第三颜色滤光片。每个第一滤光片组111中的滤光片110的数量均为4*4,每个第二滤光片组112中的滤光片110的数量均为4*4。
在此排布方式下,多个第一滤光片组111设置在第一对角线方向D1(例如滤光片阵列11的左上角与右下角连接的方向),多个第二滤光片组112设置在第二对角线方向D2(例如滤光片阵列11的左下角与右上角连接的方向),第一对角线方向D1与第二对角线方向D2不同,例如,第一对角线方向D1与第二对角线方向D2垂直。
在此排布方式下,第一滤光片组111与第二滤光片组112在图像传感器10(图1所示)的垂直方向V上相邻布置,且在水平方向H上也相邻布置。也即,多个滤光片组113在垂直方向V上按照第一滤光片组111及第二滤光片组112的顺序或第二滤光片组112及第一滤光片组111的顺序呈周期性排列,多个滤光片组113在水平方向H上按照第一滤光片组111及第二滤光片组112的顺序或第二滤光片组112及第一滤光片组111的顺序呈周期性排列。
在此排布方式下,在第一滤光片组111中,多个滤光片110逐列排列,且同一列中的多个滤光片110的颜色相同,例如,第一列的多个滤光片110均为第一颜色滤光片A,第二列的多个滤光片110均为第二颜色滤光片B,第三列的多个滤光片110均为第一颜色滤光片A,第四列的多个滤光片110均为第二颜色滤光片B。在第二滤光片组112中,多个滤光片110逐列排列,且同一列中的多个滤光片110的颜色相同,例如,第一列的多个滤光片110均为第一颜色滤光片A,第二列的多个滤光片110均为第三颜色滤光片C,第三列的多个滤光片110均为第一颜色滤光片A,第四列的多个滤光片110均为第三颜色滤光片C。
图6是本申请又一个实施例的滤光片阵列11中部分滤光片110的排布示意图。请参阅图6,部分滤光片110的排布方式为:
Figure GPA0000305367020000112
Figure GPA0000305367020000121
其中,A为第一颜色滤光片,B为第二颜色滤光片,C为第三颜色滤光片。每个第一滤光片组111中的滤光片110的数量均为2*2,每个第二滤光片组112中的滤光片110的数量均为2*2。
如图6所示,多个第一滤光片组111设置在第一对角线方向D1(例如图6中滤光片阵列11的左上角与右下角连接的方向),多个第二滤光片组112设置在第二对角线方向D2(例如图6中滤光片阵列11的左下角与右上角连接的方向),第一对角线方向D1与第二对角线方向D2不同,例如,第一对角线方向D1与第二对角线方向D2垂直。
如图6所示,第一滤光片组111与第二滤光片组112在图像传感器10(图1所示)的垂直方向V上相邻布置,且在水平方向H上也相邻布置。也即,多个滤光片组113在垂直方向V上按照第一滤光片组111及第二滤光片组112的顺序或第二滤光片组112及第一滤光片组111的顺序呈周期性排列,多个滤光片组113在水平方向H上按照第一滤光片组111及第二滤光片组112的顺序或第二滤光片组112及第一滤光片组111的顺序呈周期性排列。
如图6所示,在第一滤光片组111中,多个滤光片110逐列排列,且同一列中的多个滤光片110的颜色相同,例如,第一列的多个滤光片110均为第一颜色滤光片A,第二列的多个滤光片110均为第二颜色滤光片B。在第二滤光片组112中,多个滤光片110逐行排列,且同一行中的多个滤光片110的颜色相同,例如,第一行的多个滤光片110均为第一颜色滤光片A,第二行的多个滤光片110均为第三颜色滤光片C。
在某些实施方式中,滤光片阵列11中部分滤光片110的排布方式还可以为:
Figure GPA0000305367020000122
其中,A为第一颜色滤光片,B为第二颜色滤光片,C为第三颜色滤光片。每个第一滤光片组111中的滤光片110的数量均为3*3,每个第二滤光片组112中的滤光片110的数量均为3*3。
在此排布方式下,多个第一滤光片组111设置在第一对角线方向D1(例如中滤光片阵列11的左上角与右下角连接的方向),多个第二滤光片组112设置在第二对角线方向D2(例如中滤光片阵列11的左下角与右上角连接的方向),第一对角线方向D1与第二对角线方向D2不同,例如,第一对角线方向D1与第二对角线方向D2垂直。
在此排布方式下,第一滤光片组111与第二滤光片组112在图像传感器10(图1所示)的垂直方向V上相邻布置,且在水平方向H上也相邻布置。也即,多个滤光片组113在垂直方向V上按照第一滤光片组111及第二滤光片组112的顺序或第二滤光片组112及第一滤光片组111的顺序呈周期性排列,多个滤光片组113在水平方向H上按照第一滤光片组111及第二滤光片组112的顺序或第二滤光片组112及第一滤光片组111的顺序呈周期性排列。
在此排布方式下,在第一滤光片组111中,多个滤光片110逐行排列,且同一行中的多个滤光片110的颜色相同,例如,第一行的多个滤光片110均为第一颜色滤光片A,第二行的多个滤光片110均为第二颜色滤光片B,第三行的多个滤光片110均为第一颜色滤光片A。在第二滤光片组112中,多个滤光片110逐列排列,且同一列中的多个滤光片110的颜色相同,例如,第一列的多个滤光片110均为第一颜色滤光片A,第二列的多个滤光片110均为第三颜色滤光片C,第三列的多个滤光片110均为第一颜色滤光片A。
在某些实施方式中,滤光片阵列11中部分滤光片110的排布方式还可以为:
Figure GPA0000305367020000123
/>
Figure GPA0000305367020000131
其中,A为第一颜色滤光片,B为第二颜色滤光片,C为第三颜色滤光片。每个第一滤光片组111中的滤光片110的数量均为4*4,每个第二滤光片组112中的滤光片110的数量均为4*4。
在此排布方式下,多个第一滤光片组111设置在第一对角线方向D1(例如滤光片阵列11的左上角与右下角连接的方向),多个第二滤光片组112设置在第二对角线方向D2(例如滤光片阵列11的左下角与右上角连接的方向),第一对角线方向D1与第二对角线方向D2不同,例如,第一对角线方向D1与第二对角线方向D2垂直。
在此排布方式下,第一滤光片组111与第二滤光片组112在图像传感器10(图1所示)的垂直方向V上相邻布置,且在水平方向H上也相邻布置。也即,多个滤光片组113在垂直方向V上按照第一滤光片组111及第二滤光片组112的顺序或第二滤光片组112及第一滤光片组111的顺序呈周期性排列,多个滤光片组113在水平方向H上按照第一滤光片组111及第二滤光片组112的顺序或第二滤光片组112及第一滤光片组111的顺序呈周期性排列。
在此排布方式下,在第一滤光片组111中,多个滤光片110逐列排列,且同一列中的多个滤光片110的颜色相同,例如,第一列的多个滤光片110均为第一颜色滤光片A,第二列的多个滤光片110均为第二颜色滤光片B,第三列的多个滤光片110均为第一颜色滤光片A,第四列的多个滤光片110均为第二颜色滤光片B。在第二滤光片组112中,多个滤光片110逐行排列,且同一行中的多个滤光片110的颜色相同,例如,第一行的多个滤光片110均为第一颜色滤光片A,第二行的多个滤光片110均为第三颜色滤光片C,第三行的多个滤光片110均为第一颜色滤光片A,第四行的多个滤光片110均为第三颜色滤光片C。
请结合图1至图6,本申请实施方式的图像传感器10中,每一个第一滤光片组111对应的多个像素120产生的电信号均可以合并生成第一像素信号和第三像素信号。每一个第二滤光片组112对应的多个像素120产生的电信号均可以合并生成第二像素信号和第四像素信号。
以图3所示的每个滤光片组113均包括2*2个滤光片110为例,此时每个滤光片组113对应四个像素120。请结合图1、图3和图30,第一滤光片组111对应的四个像素120中,两个像素120能够接收穿过第一颜色滤光片A的光线以生成两个电信号,另外两个像素120能够接收穿过第二颜色滤光片B的光线以生成两个电信号。图像传感器10将接收穿过第一颜色滤光片A的光线的两个像素120生成的电信号合并以得到第一像素信号,并将接收穿过第二颜色滤光片B的光线的两个像素120生成的电信号合并以得到第三像素信号。其中,第一像素信号用于表征作用于第一滤光片组111对应像素120的光线的第一颜色通道的值,第三像素信号用于表征作用于第一滤光片组111对应像素120的光线的第二颜色通道的值。第二滤光片组112对应的四个像素120中,两个像素120能够接收穿过第一颜色滤光片A的光线以生成两个电信号,另外两个像素120能够接收穿过第三颜色滤光片C的光线以生成两个电信号。图像传感器10将接收穿过第一颜色滤光片A的光线的两个像素120生成的电信号合并以得到第二像素信号,将接收穿过第三颜色滤光片C的光线的两个像素120生成的电信号合并以得到第四像素信号。其中,第二像素信号用于表征作用于第二滤光片组112对应像素120的光线的第一颜色通道的值,第四像素信号用于表征作用于第二滤光片组112对应像素120的光线的第三颜色通道的值。
由此,每个第一滤光片组111对应的四个像素120可以组成一个第一合并像素,每个第一合并像素均可以生成第一像素信号及第三像素信号。每个第二滤光片组112对应的四个像素120可以组成一个第二合并像素,每个第二合并像素均可以生成第二像素信号及第四像素信号。由于每个合并像素均可以输出具有第一颜色通道的值的像素信号(第一像素信号或第二像素信号),仅部分合并像素可以输出具有第二颜色通道的值的第三像素信号,仅部分合并像素可以输出具有第三颜色通道的值的第四像素信号。因此,不能输出第三像素信号的合并像素需要进行插值处理,以计算获得该合并像素的第二颜色通道的值;不能输出第四像素信号的合并像素也需要进行插值处理,以计算获得该合并像素的第三颜色通道的值。如此,每个合并像素均能够获得第一颜色通道、第二颜色通道以及第三颜色通道的值,通过色彩空间计算即可生成彩色图像。
请参阅图33,现有的呈拜耳阵列排布的滤光片阵列中,每个滤光片对应的像素仅能生成具有一个颜色通道的值的像素信号。例如,左起第一行第一列的像素信号对应的像素仅具有第二颜色通道的值,该像素的第一颜色通道的值及第三颜色通道的值均需要通过插值得到;左起第一行第二列的像素信号对应的像素仅具有第一颜色通道的值,该像素的第二颜色通道的值及第三颜色通道的值均需要通过插值得到;左起第二行第二列的像素信号对应的像素仅具有第三颜色通道的值,该像素的第一颜色通道的值及第二颜色通道的值均需要通过插值得到。如此,一个像素信号对应的像素的其余多个颜色通道的值均需要经过插值处理来获取。然而,通过插值方式获取的像素信号的准确度不够高,会导致最终生成的彩色图像的色彩还原度不准确。此外,现有的呈拜耳阵列排布的滤光片阵列中,插值生成具有第一颜色通道的值的像素信号及插值生成具有第二颜色通道的值的像素信号时,大部分插值生成的像素信号仅能利用两个像素信号计算得到。示例地,在图33的仅包含具有第二颜色通道的值的像素信号的图像信号中,左起第二行第三列的像素信号对应的像素不具有第二颜色通道的值,该像素的第二颜色通道的值需要通过与该像素相邻的具有第二颜色通道的值的像素的像素信号得到,即根据第一行第三列的具有第二颜色通道的值的像素信号及第三行第三列的具有第二颜色通道的值的像素信号得到;再例如,在图33的仅包含具有第三颜色通道的值的像素信号的图像信号中,左起第三行第二列的像素信号不具有第三颜色通道的值,该像素信号对应的像素的第三颜色通道的值需要通过与该像素相邻的具有第三颜色通道的值的像素的像素信号得到,即根据第二行第二列的具有第三颜色通道的值的像素信号及第四行第二列的具有第三颜色通道的值的像素信号得到。如此,用于插值生成像素信号的可以利用的像素信号的个数较少,插值后的像素信号的准确度不够高。
请结合图1、图3、图30至图32,本申请实施方式的图像传感器10中,与由多个像素120组成的像素阵列12的分辨率相比,由多个合并像素对应的像素信号组成的图像的分辨率有所降低,但是由于每个合并像素均具备具有第一颜色通道的值的像素信号,因此,第一颜色通道的值不需要进行插值处理,最终生成的彩色图像的色彩还原度会更加准确,并且由于像素阵列12的每个合并像素都直接获得了对应的第一颜色通道的像素信号,在后续的信号处理过程中可以获得更多的信息。
此外,请结合图1、图3、图30及图31,本申请实施方式的图像传感器10中,对于不能输出第三像素信号的合并像素进行插值处理时,大部分合并像素的第二颜色通道的值均能通过四个具有第二颜色通道的值的第三像素信号计算得到。例如,在图31所示的由多个第三像素信号形成的第二图像信号M2中,左起第二行第三列的第三像素信号可以根据左起第一行第三列的第三像素信号、左起第二行第二列的第三像素信号、左起第二行第四列的第三像素信号、左起第三行第三列的第三像素信号计算得到。在本申请实施方式的图像传感器10中,对于不能输出第四像素信号的合并像素进行插值处理时,大部分合并像素的第三颜色通道的值均能通过四个具有第三颜色通道的值的第四像素信号计算得到。例如,在图31所示的由多个第四像素信号形成的第三图像信号M3中,左起第三行第三列的第四像素信号可以根据左起第二行第三列的第四像素信号、左起第三行第二列的第四像素信号、左起第三行第四列的第四像素信号、左起第四行第三列的第四像素信号计算得到。由此,用于插值生成像素信号的可以利用的像素信号的个数较多,插值后的像素信号的准确度较高。
综上,本申请实施方式的图像传感器10中,每个第一滤光片组111和每个第二滤光片组112中均具有第一颜色滤光片A,使得第一滤光片组111对应的像素120及第二滤光片组112对应的像素120均能生成具有第一颜色通道的值的像素信号。由此,在彩色图像的生成过程中,第一颜色通道的值不需要进行插值处理,彩色图像的色彩还原度更加准确。并且,对第二颜色通道的值(或第三颜色通道的值)进行插值处理时,大部分待插值生成的第二颜色通道的值(或待插值生成的第三颜色通道的值)均能够借用相邻的四个具有第二颜色通道的值(或相邻的四个具有第三颜色通道的值)的像素信号计算得到,插值生成的具有第二颜色通道的值(或第三颜色通道的值)的像素信号的准确度较高,有利于进一步提升彩色图像的色彩还原的准确性。
由于现有的处理图像传感器输出的像素信号的处理器只能处理以拜耳阵列形式排布的图像对应的多个像素信号,而本申请的图像传感器10(图1所示)输出的多个像素信号形成的图像信号对应的图像并不是以拜耳阵列形式排布的图像。因此,为使得本申请的图像传感器10输出的多个像素信号能够被处理器处理,在某些实施方式中,图像传感器10还可以用于处理第一像素信号、第二像素信号、第三像素信号、及第四像素信号以输出图像信号。图像信号包括多个图像信号单元U,每个图像信号单元U均包括四个像素信号。其中,两个像素信号具有第一颜色通道的值,另一个像素信号具有第二颜色通道的值,剩余一个像素信号具有第三颜色通道的值。四个像素信号对应的颜色呈拜耳阵列排布。
具体地,请结合图1、图30和图34,图像传感器10输出多个第一像素信号、多个第二像素信号、多个第三像素信号、及多个第四像素信号。多个第一像素信号及多个第二像素信号形成第一图像信号M1,多个第三像素信号形成第二图像信号M2,多个第四像素信号形成第三图像信号M3。图像传感器10根据多个第三像素信号对第二图像信号M2进行插值处理,以使得插值后的第二图像信号M2’中的每一个像素信号均具有第二颜色通道的值。图像传感器10根据多个第四像素信号对第三图像信号M3做插值处理,以使得插值后的第三图像信号M3’中的每一个像素信号均具有第三颜色通道的值。随后,图像传感器10从插值后的第二图像信号M2’中选出多个具有第二颜色通道的值的像素信号,从第一图像信号M1中选出多个具有第一颜色通道的值的像素信号,从第三图像信号M3’中选出多个具有第三颜色通道的值的像素信号。由此,多个具有第一颜色通道的值的像素信号、多个具有第二颜色通道的值的像素信号、多个具有第三颜色通道的值的像素信号形成一图像信号,该图像信号包括多个图像信号单元U。每个图像信号单元U均包括四个像素信号,其中两个像素信号具有第一颜色通道的值,一个像素信号具有第二颜色通道的值,剩余一个像素信号具有第三颜色通道的值。如此,每个图像信号单元U中的四个像素信号对应的颜色通道均呈拜耳阵列排布。图像信号输出至处理器后,处理器可以直接对图像信号进行处理。
请参阅图1、图3和图35,本申请还提供一种成像装置。成像装置包括图1至图6任意一个实施方式所述的图像传感器10。
在某些实施方式中,成像装置还包括处理器。处理器可以用于处理第一像素信号、第二像素信号、用于表征作用于第二颜色滤光片B对应像素120的光线的第二颜色通道的值的第三像素信号、及用于表征作用于第三颜色滤光片C对应像素120的光线的第三颜色通道的值的第四像素信号以生成彩色图像。具体地,请结合图31,多个第一像素信号及多个第二像素信号形成第一图像信号M1,多个第三像素信号形成第二图像信号M2,多个第四像素信号形成第三图像信号M3。处理器可以根据多个第三像素信号对第二图像信号M2做插值处理,以使插值后的第二图像信号M2’中的每一个像素信号均具有第二颜色通道的值。示例地,以第二图像信号M2中左起第一行第二列的像素信号为例,该像素信号不具有第二颜色通道的值,该像素信号可以通过左起第一行第一列的具有第二颜色通道的值的像素信号、左起第一行第三列的具有第二颜色通道的值的像素信号、及左起第二行第二列的具有第二颜色通道的值的像素信号计算得到,例如,可以对这三个像素信号取均值并将均值作为左起第一行第二列的像素信号。再例如,以第二图像信号M2中左起第二行第三列的像素信号为例,该像素信号不具有第二颜色通道的值,该像素信号可以根据左起第一行第三列的具有第二颜色通道的值的像素信号、左起第二行第二列的具有第二颜色通道的值的像素信号、左起第二行第四列的具有第二颜色通道的值的像素信号、左起第三行第三列的具有第二颜色通道的值的像素信号计算得到,例如,可以对四个像素信号取均值并将均值作为左起第二行第三列的像素信号。处理器还可以根据多个第四像素信号对第三图像信号M3做插值处理,以使插值后的第三图像信号M3’中的每一个像素信号均具有第三颜色通道的值。示例地,以第三图像信号M3中左起第一行第一列的像素信号为例,该像素信号不具有第三颜色通道的值,该像素信号可以通过左起第二行第二列的具有第三颜色通道的值的像素信号及左起第二行第一列的具有第三颜色通道的值的像素信号计算得到,例如,可以对这两个像素信号取均值并将均值作为左起第一行第一列的像素信号。再例如,以第三图像信号M3中左起第二行第二列的像素信号为例,该像素信号不具有第三颜色通道的值,该像素信号可以根据左起第一行第二列的具有第三颜色通道的值的像素信号、左起第二行第一列的具有第三颜色通道的值的像素信号、左起第二行第三列的具有第三颜色通道的值的像素信号、左起第三行第二列的具有第三颜色通道的值的像素信号计算得到,例如,可以对四个像素信号取均值并将均值作为左起第二行第二列的像素信号。由此,第一图像信号M1中的每个像素信号均具有第一颜色通道的值,插值后的第二图像信号M2’中的每个像素均具有第二颜色通道的值,插值后的第三图像信号M3’中的每个像素均具有第三颜色通道的值。处理器可以处理第一图像信号M1、插值后的第二图像信号M2’、插值后的第三图像信号M3’以生成彩色图像。彩色图像中每一个图像像素均具有第一颜色通道的值、第二颜色通道的值、及第三颜色通道的值。
在某些实施方式中,请结合图34和图35,当处理器接收到的是包括多个图像信号单元U的图像信号时,处理器可以根据图像信号中的多个像素信号进行插值处理,以输出三个图像信号,其中一个图像信号中每个像素信号均具有第一颜色通道的值,另一个图像信号中的每个像素信号均具有第二颜色通道的值,剩余一个图像信号中的每个像素信号均具有第三颜色通道的值。处理器可以处理三个图像信号以生成彩色图像。彩色图像中的每一个图像像素均具有第一颜色通道的值、第二颜色通道的值、及第三颜色通道的值。
在某些实施方式中,当成像装置处于静态模式(即拍摄静态图像的模式)时,图像传感器10(图1所示)可以直接输出图31所示的图像信号(M1、M2、及M3),处理器处理该图像信号以生成彩色图像。如此,在彩色图像的生成过程中,第一颜色通道的值不需要进行插值处理,彩色图像的色彩还原度更加准确,图像细节表达更佳。当成像装置处于预览模式或录像模式时,图像传感器10可以直接输出图34所示的包括多个图像信号单元U的图像信号,处理器处理该图像信号以生成彩色图像。如此,在彩色图像的生成过程中,呈拜耳阵列排布的图像对应的图像信号是在图像传感器10这一硬件中处理得到的,无需在处理器中利用软件处理图像信号以得到呈拜耳阵列排布的图像对应的图像信号,可以减少彩色图像的生成时间,提升彩色图像的获取速度。
请参阅图1、图3和图36,本申请还提供一种电子设备。电子设备可以是手机、平板电脑、笔记本电脑、智能手表、智能手环、智能头盔、智能眼镜、无人设备(例如无人机、无人车、无人船)等,在此不作限制。电子设备包括成像装置。成像装置包括图1至图6任意一个实施方式所述的图像传感器10。电子设备还包括处理器。电子设备的处理器可以执行与图35所示成像装置中的处理器所能执行的功能相同的功能,在此不做赘述。
请参阅图1、图3和图37,本申请还提供一种图像处理系统。图像处理系统包括电子设备。电子设备包括成像装置。成像装置包括图1至图6任意一个实施方式所述的图像传感器10。图像处理系统还包括处理器。图像处理系统的处理器可以执行与图35所示成像装置中的处理器所能执行的功能相同的功能,在此不做赘述。
其中,处理器可以位于负责云计算的服务器中,也可以位于负责边缘计算的服务器中。如此,图像传感器10(图1所示)输出的像素信号的后续处理可以卸载到服务器中执行,可以节约成像装置或电子设备的功耗。
请参阅图1、图3和图7,本申请还提供一种信号处理方法。信号处理方法可以用于图1至图7任意一个实施方式所述的图像传感器10。信号处理方法包括:
011:将第一滤光片组111对应的像素120产生的电信号合并生成第一像素信号和第三像素信号,第一像素信号用于表征作用于第一滤光片组111对应像素120的光线的第一颜色通道的值,第三像素信号用于表征作用于第一滤光片组111对应像素120的光线的第二颜色通道的值;及
012:将第二滤光片组112对应的像素产生的电信号合并生成第二像素信号和第四像素信号,第二像素信号用于表征作用于第二滤光片组111对应像素120的光线的第一颜色通道的值,第四像素信号用于表征作用于第二滤光片组112对应像素120的光线的第三颜色通道的值。
在某些实施方式中,信号处理方法还包括:处理第一像素信号、第二像素信号、第三像素信号、及第四像素信号以生成彩色图像。具体地,多个第一像素信号及多个第二像素信号可以形成第一图像信号,多个第三像素信号可以形成第二图像信号,多个第四像素信号可以形成第三图像信号。处理第一像素信号、第二像素信号、第三像素信号、及第四像素信号以生成彩色图像的步骤包括:根据多个第三像素信号对第二图像信号做插值处理,以使插值处理后的第二图像信号中的每一个像素信号均具有第二颜色通道的值;根据多个第四像素信号对第三图像信号做插值处理,以使插值处理后的第三图像信号中的每一个像素信号均具有第三颜色通道的值;处理第一图像信号、插值处理后的第二图像信号、插值处理后的第三图像信号以生成彩色图像。
在某些实施方式中,信号处理方法还包括:处理第一像素信号、第二像素信号、第三像素信号、及第四像素信号以输出图像信号。图像信号包括多个图像信号单元,每个图像信号单元均包括四个像素信号,其中两个像素信号具有第一颜色通道的值,另一个像素信号具有第二颜色通道的值,剩余一个像素信号具有第三颜色通道的值,四个像素信号对应的颜色通道呈拜耳阵列排布。
在某些实施方式中,信号处理方法还包括:在静态模式时,执行处理第一像素信号、第二像素信号、第三像素信号、及第四像素信号以生成彩色图像的步骤;在预览模式或录像模式时,执行处理第一像素信号、第二像素信号、第三像素信号、及第四像素信号以输出包括多个图像信号单元的图像信号的步骤。
综上,本申请实施方式的成像装置、电子设备、图像处理系统、及信号处理方法中,图像传感器10内的每个第一滤光片组111和每个第二滤光片组112中均具有第一颜色滤光片A,使得第一滤光片组111对应的像素及第二滤光片组112对应的像素均能生成具有第一颜色通道的值的像素信号。由此,在彩色图像的生成过程中,第一颜色通道的值不需要进行插值处理,彩色图像的色彩还原度更加准确。
请参阅图8至图10,本申请还提供一种图像传感器20。图像传感器20包括滤光片阵列21和像素阵列22。滤光片阵列21包括多个滤光片组213。每个滤光片组213均包括多个第一颜色滤光片A。多个滤光片组213包括两类,第一类滤光片组211还包括多个第二颜色滤光片B,第二类滤光片组212还包括多个第三颜色滤光片C。像素阵列22包括多个像素220,每个像素220对应滤光片阵列21的一个滤光片210。像素220用于接收穿过对应的滤光片210的光线以生成电信号。图像传感器20工作在合并模式下时,每个第一类滤光片组211对应的像素220作为一个第一类合并像素,每个第二类滤光片组212对应的像素220作为一个第二类合并像素。图像传感器20用于将第一类合并像素中的像素220产生的电信号合并生成第一像素信号,第一像素信号用于表征作用于第一类合并像素中的像素220的光线的第一颜色通道的值。图像传感器20用于将第二类合并像素中的像素220产生的电信号合并生成第二像素信号,第二像素信号用于表征作用于第二类合并像素中的像素220的光线的第一颜色通道的值。
下面结合附图对本申请的图像传感器20作进一步说明。
请参阅图8至图10,本申请实施方式的图像传感器20包括微透镜阵列23、滤光片阵列21、及像素阵列22。沿图像传感器20的收光方向,微透镜阵列23、滤光片阵列21、及像素阵列22依次设置。
滤光片阵列21包括多个滤光片组213。每个滤光片组213均包括多个第一颜色滤光片A。多个滤光片组213包括两类。第一类滤光片组211还包括数量多个第二颜色滤光片B。第二类滤光片组212还包括多个第三颜色滤光片C。第一类滤光片组211中的第一颜色滤光片A的数量与第二颜色滤光片B的数量相同。第二类滤光片组212中的第一颜色滤光片A的数量与第三颜色滤光片C的数量相同。
像素阵列22包括多个像素220,每个像素220对应滤光片阵列21的一个滤光片210,像素220用于接收穿过对应的滤光片210的光线以生成电信号。
微透镜阵列23包括多个微透镜组231。微透镜阵列23中的一个微透镜组231对应一个滤光片组213(第一类滤光片组211或第二类滤光片组212),并与该一个滤光片组213对应的多个像素220对应。如图8所示,每个微透镜组231均包括多个微透镜230,每个微透镜230对应一个滤光片210及一个像素220。如图9所示,每个微透镜组231均包括一个微透镜230,每个微透镜230对应一个滤光片组213,并与该一个滤光片组213对应的多个像素220对应。
图10至图13是本申请多个实施例的滤光片阵列21中部分滤光片210的排布示意图。图10至图13所示的滤光片阵列21中,每个滤光片阵列21均包括多个滤光片组213。多个滤光片组213包括两类。第一类滤光片组211包括数量相同的多个第一颜色滤光片A和多个第二颜色滤光片B。第二类滤光片组212包括数量相同的多个第一颜色滤光片A和多个第三颜色滤光片C。
其中,第一颜色滤光片A、第二颜色滤光片B、第三颜色滤光片C的颜色组成方式可以有多种,例如第一颜色滤光片A可以为绿色滤光片G,第二颜色滤光片B可以为红色滤光片R,第三颜色滤光片C可以为蓝色滤光片Bu;再例如,第一颜色滤光片A可以为黄色滤光片Y,第二颜色滤光片B可以为红色滤光片R,第三颜色滤光片C可以为蓝色滤光片Bu。第一颜色滤光片A、第二颜色滤光片B、第三颜色滤光片C的颜色组成方式不限于上述两个示例所示的组成方式。
其中,第一类滤光片组211可以设置在第一对角线方向D1,第二类滤光片组212可以设置在第二对角线方向D2,第一对角线方向D1与第二对角线方向D2不同。在一个例子中,当第一类滤光片组211设置在第一对角线方向D1,第二类滤光片组212设置在第二对角线方向D2时,第一类滤光片组211与第二类滤光片组212可以在图像传感器20的垂直方向和水平方向相邻布置。
其中,每个滤光片组213中的滤光片210的数量均为N*N,其中,N为大于或等于2的整数。示例地,N的取值可以为2、3、4、5、6、7、8、9、10、15、20等等,在此不作限制。
其中,每个第一类滤光片组211中的多个滤光片210的排布方式可以是:(1)请参阅图10,多个第一颜色滤光片A及多个第二颜色滤光片B在图像传感器20(图8所示)的垂直方向和水平方向相邻布置;(2)请参阅图11,多个滤光片210逐行排列,且同一行中的多个滤光片210的颜色相同;(3)请参阅图12,多个滤光片210逐列排列,且同一列中的多个滤光片210的颜色相同。当然,每个第一类滤光片组211中的多个滤光片210的排布方式并不限于此。
其中,每个第二类滤光片组211中的多个滤光片210的排布方式可以是:(1)请参阅图10,多个第一颜色滤光片A及多个第三颜色滤光片C在图像传感器20(图8所示)的垂直方向和水平方向相邻布置;(2)请参阅图11,多个滤光片210逐行排列,且同一行中的多个滤光片210的颜色相同;(3)请参阅图12,多个滤光片210逐列排列,且同一列中的多个滤光片210的颜色相同。当然,每个第二类滤光片组211中的多个滤光片210的排布方式并不限于此。
图10是本申请一个实施例的滤光片阵列21中部分滤光片210的排布示意图。请参阅图10,部分滤光片210的排布方式为:
Figure GPA0000305367020000181
其中,A为第一颜色滤光片,B为第二颜色滤光片,C为第三颜色滤光片。每个滤光片组213中的滤光片210的数量均为2*2。
如图10所示,第一类滤光片组211设置在第一对角线方向D1(例如图10中滤光片阵列21的左上角与右下角连接的方向),第二类滤光片组212设置在第二对角线方向D2(例如图10中滤光片阵列21的左下角与右上角连接的方向),第一对角线方向D1与第二对角线方向D2不同,例如,第一对角线方向D1与第二对角线方向D2垂直。
需要说明的是,第一对角线方向D1和第二对角线方向D2并不局限于对角线,还包括平行于对角线的方向。这里的“方向”并非单一指向,可以理解为指示排布的“直线”的概念,可以有直线两端的双向指向。此外,在其他实施例中,第一对角线方向D1也可以是滤光片阵列21的左下角与右上角连接的方向,第二对角线方向D2也可以是滤光片阵列21的左上角与右下角连接的方向,此时,第一类滤光片组211及第二类滤光片组212的位置对应对角线方向的变换做变换。
如图10所示,第一类滤光片组211与第二类滤光片组212在图像传感器20(图8所示)的垂直方向V上相邻布置,且在水平方向H上也相邻布置。也即,多个滤光片组213在垂直方向V上按照第一类滤光片组211及第二类滤光片组212的顺序或第二类滤光片组212及第一类滤光片组211的顺序呈周期性排列(从左至右,从上至下来看,下同),多个滤光片组213在水平方向H上按照第一类滤光片组211及第二类滤光片组212的顺序或第二类滤光片组112及第一类滤光片组111的顺序呈周期性排列(从左至右,从上至下来看,下同)。
需要说明的是,第一类滤光片组211与第二类滤光片组212在垂直方向V上相邻布置,且在水平方向H上也相邻布置并不限于图10的方式,其还可以是:多个滤光片组213在垂直方向V上按照第二类滤光片组212、第一类滤光片组211的顺序呈周期性排列,多个滤光片组213在水平方向H上按照第二类滤光片组213、第一类滤光片组211的顺序呈周期性排列。
如图10所示,在第一类滤光片组211中,每个滤光片组213中的多个第一颜色滤光片A及多个第二颜色滤光片B在垂直方向V和水平方向H上相邻布置。也即,在垂直方向V上,第一颜色滤光片A和第二颜色滤光片B交替排列,且在水平方向H上,第一颜色滤光片A和第二颜色滤光片B交替排列。在第二类滤光片组212中,每个滤光片组213中的多个第一颜色滤光片A及多个第三颜色滤光片C在垂直方向V和水平方向H上相邻布置。也即,在垂直方向V上,第一颜色滤光片A和第三颜色滤光片C交替排列,且在水平方向H上,第一颜色滤光片A和第三颜色滤光片C交替排列。
在某些实施方式中,滤光片阵列21中部分滤光片210的排布方式还可以为:
Figure GPA0000305367020000182
其中,A为第一颜色滤光片,B为第二颜色滤光片,C为第三颜色滤光片。每个滤光片组213中的滤光片210的数量均为3*3。
在此排布方式下,第一类滤光片组211设置在第一对角线方向D1(例如滤光片阵列21的左上角与右下角连接的方向),第二类滤光片组212设置在第二对角线方向D2(例如滤光片阵列21的左下角与右上角连接的方向),第一对角线方向D1与第二对角线方向D2不同,例如,第一对角线方向D1与第二对角线方向D2垂直。
在此排布方式下,第一类滤光片组211与第二类滤光片组212在图像传感器20(图8所示)的垂直方向V上相邻布置,且在水平方向H上也相邻布置。也即,多个滤光片组213在垂直方向V上按照第一类滤光片组211及第二类滤光片组212的顺序或第二类滤光片组212及第一类滤光片组211的顺序呈周期性排列,多个滤光片组213在水平方向H上按照第一类滤光片组211及第二类滤光片组212的顺序或第二类滤光片组212及第一类滤光片组211的顺序呈周期性排列。
在此排布方式下,在第一类滤光片组211中,每个滤光片组213中的多个第一颜色滤光片A及多个第二颜色滤光片B在垂直方向V和水平方向H上相邻布置。也即,在垂直方向V上,第一颜色滤光片A和第二颜色滤光片B交替排列,且在水平方向H上,第一颜色滤光片A和第二颜色滤光片B交替排列。在第二类滤光片组212中,每个滤光片组213中的多个第一颜色滤光片A及多个第三颜色滤光片C在垂直方向V和水平方向H上相邻布置。也即,在垂直方向V上,第一颜色滤光片A和第三颜色滤光片C交替排列,且在水平方向H上,第一颜色滤光片A和第三颜色滤光片C交替排列。
在某些实施方式中,滤光片阵列21中部分滤光片210的排布方式还可以为:
Figure GPA0000305367020000191
其中,A为第一颜色滤光片,B为第二颜色滤光片,C为第三颜色滤光片。每个滤光片组213中的滤光片210的数量均为4*4。
在此排布方式下,第一类滤光片组211设置在第一对角线方向D1(例如滤光片阵列21的左上角与右下角连接的方向),第二类滤光片组212设置在第二对角线方向D2(例如滤光片阵列21的左下角与右上角连接的方向),第一对角线方向D1与第二对角线方向D2不同,例如,第一对角线方向D1与第二对角线方向D2垂直。
在此排布方式下,第一类滤光片组211与第二类滤光片组212在图像传感器20(图8所示)的垂直方向V上相邻布置,且在水平方向H上也相邻布置。多个滤光片组213在垂直方向V上按照第一类滤光片组211及第二类滤光片组212的顺序或第二类滤光片组212及第一类滤光片组211的顺序呈周期性排列,多个滤光片组213在水平方向H上按照第一类滤光片组211及第二类滤光片组212的顺序或第二类滤光片组212及第一类滤光片组211的顺序呈周期性排列。
在此排布方式下,在第一类滤光片组211中,每个滤光片组213中的多个第一颜色滤光片A及多个第二颜色滤光片B在垂直方向V和水平方向H上相邻布置。也即,在垂直方向V上,第一颜色滤光片A和第二颜色滤光片B交替排列,且在水平方向H上,第一颜色滤光片A和第二颜色滤光片B交替排列。在第二类滤光片组212中,每个滤光片组213中的多个第一颜色滤光片A及多个第三颜色滤光片C在垂直方向V和水平方向H上相邻布置。也即,在垂直方向V上,第一颜色滤光片A和第三颜色滤光片C交替排列,且在水平方向H上,第一颜色滤光片A和第三颜色滤光片C交替排列。
图11是本申请又一个实施例的滤光片阵列21中部分滤光片210的排布示意图。请参阅图11,部分滤光片210的排布方式为:
Figure GPA0000305367020000192
Figure GPA0000305367020000201
其中,A为第一颜色滤光片,B为第二颜色滤光片,C为第三颜色滤光片。每个滤光片组213中的滤光片210的数量均为2*2。
如图11所示,第一类滤光片组211设置在第一对角线方向D1(例如图11中滤光片阵列21的左上角与右下角连接的方向),第二类滤光片组212设置在第二对角线方向D2(例如图11中滤光片阵列21的左下角与右上角连接的方向),第一对角线方向D1与第二对角线方向D2不同,例如,第一对角线方向D1与第二对角线方向D2垂直。
如图11所示,第一类滤光片组211与第二类滤光片组212在图像传感器20(图8所示)的垂直方向V上相邻布置,且在水平方向H上也相邻布置。也即,多个滤光片组213在垂直方向V上按照第一类滤光片组211及第二类滤光片组212的顺序或第二类滤光片组212及第一类滤光片组211的顺序呈周期性排列,多个滤光片组213在水平方向H上按照第一类滤光片组211及第二类滤光片组212的顺序或第二类滤光片组212及第一类滤光片组211的顺序呈周期性排列。
如图11所示,在每个第一类滤光片组211中,多个滤光片210逐行排列,且同一行中的多个滤光片210的颜色相同,例如,第一行的多个滤光片210均为第一颜色滤光片A,第二行的多个滤光片210均为第二颜色滤光片B。在每个第二类滤光片组212中,多个滤光片210逐行排列,且同一行中的多个滤光片210的颜色相同,例如,第一行的多个滤光片210均为第一颜色滤光片A,第二行的多个滤光片210均为第三颜色滤光片C。
在某些实施方式中,滤光片阵列21中部分滤光片210的排布方式还可以为:
Figure GPA0000305367020000202
其中,A为第一颜色滤光片,B为第二颜色滤光片,C为第三颜色滤光片。每个滤光片组213中的滤光片210的数量均为3*3。
在此排布方式下,第一类滤光片组211设置在第一对角线方向D1(例如滤光片阵列21的左上角与右下角连接的方向),第二类滤光片组212设置在第二对角线方向D2(例如滤光片阵列21的左下角与右上角连接的方向),第一对角线方向D1与第二对角线方向D2不同,例如,第一对角线方向D1与第二对角线方向D2垂直。
在此排布方式下,第一类滤光片组211与第二类滤光片组212在图像传感器20(图8所示)的垂直方向V上相邻布置,且在水平方向H上也相邻布置。也即,多个滤光片组213在垂直方向V上按照第一类滤光片组211及第二类滤光片组212的顺序呈周期性排列或第二类滤光片组212及第一类滤光片组211的顺序,多个滤光片组213在水平方向H上按照第一类滤光片组211及第二类滤光片组212的顺序或第二类滤光片组212及第一类滤光片组211的顺序呈周期性排列。
在此排布方式下,在每个第一类滤光片组211中,多个滤光片210逐行排列,且同一行中的多个滤光片210的颜色相同,例如,第一行的多个滤光片210均为第一颜色滤光片A,第二行的多个滤光片210均为第二颜色滤光片B,第三行的多个滤光片210均为第一颜色滤光片A。在每个第二类滤光片组212中,多个滤光片210逐行排列,且同一行中的多个滤光片210的颜色相同,例如,第一行的多个滤光片210均为第一颜色滤光片A,第二行的多个滤光片210均为第三颜色滤光片C,第三行的多个滤光片210均为第一颜色滤光片A。
在某些实施方式中,滤光片阵列21中部分滤光片210的排布方式还可以为:
Figure GPA0000305367020000203
Figure GPA0000305367020000211
其中,A为第一颜色滤光片,B为第二颜色滤光片,C为第三颜色滤光片。每个滤光片组213中的滤光片210的数量均为4*4。
在此排布方式下,第一类滤光片组211设置在第一对角线方向D1(例如滤光片阵列21的左上角与右下角连接的方向),第二类滤光片组212设置在第二对角线方向D2(例如滤光片阵列21的左下角与右上角连接的方向),第一对角线方向D1与第二对角线方向D2不同,例如,第一对角线方向D1与第二对角线方向D2垂直。
在此排布方式下,第一类滤光片组211与第二类滤光片组212在图像传感器20(图8所示)的垂直方向V上相邻布置,且在水平方向H上也相邻布置。也即,多个滤光片组213在垂直方向V上按照第一类滤光片组211及第二类滤光片组212的顺序呈周期性排列或第二类滤光片组212及第一类滤光片组211的顺序,多个滤光片组213在水平方向H上按照第一类滤光片组211及第二类滤光片组212的顺序或第二类滤光片组212及第一类滤光片组211的顺序呈周期性排列。
在此排布方式下,在每个第一类滤光片组211中,多个滤光片210逐行排列,且同一行中的多个滤光片210的颜色相同,例如,第一行的多个滤光片210均为第一颜色滤光片A,第二行的多个滤光片210均为第二颜色滤光片B,第三行的多个滤光片210均为第一颜色滤光片A,第四行的多个滤光片210均为第二颜色滤光片B。在每个第二类滤光片组212中,多个滤光片210逐行排列,且同一行中的多个滤光片210的颜色相同,例如,第一行的多个滤光片210均为第一颜色滤光片A,第二行的多个滤光片210均为第三颜色滤光片C,第三行的多个滤光片210均为第一颜色滤光片A,第四行的多个滤光片210均为第三颜色滤光片C。
图12是本申请又一个实施例的滤光片阵列21中部分滤光片210的排布示意图。请参阅图12,部分滤光片210的排布方式为:
Figure GPA0000305367020000212
其中,A为第一颜色滤光片,B为第二颜色滤光片,C为第三颜色滤光片。每个滤光片组213中的滤光片210的数量均为2*2。
如图12所示,第一类滤光片组211设置在第一对角线方向D1(例如图12中滤光片阵列21的左上角与右下角连接的方向),第二类滤光片组212设置在第二对角线方向D2(例如图12中滤光片阵列21的左下角与右上角连接的方向),第一对角线方向D1与第二对角线方向D2不同,例如,第一对角线方向D1与第二对角线方向D2垂直。
如图12所示,第一类滤光片组211与第二类滤光片组212在图像传感器20(图8所示)的垂直方向V上相邻布置,且在水平方向H上也相邻布置。也即,多个滤光片组213在垂直方向V上按照第一类滤光片组211及第二类滤光片组212的顺序或第二类滤光片组212及第一类滤光片组211的顺序呈周期性排列,多个滤光片组213在水平方向H上按照第一类滤光片组211及第二类滤光片组212的顺序或第二类滤光片组212及第一类滤光片组211的顺序呈周期性排列。
如图12所示,在每个第一类滤光片组211中,多个滤光片210逐列排列,且同一列中的多个滤光片210的颜色相同,例如,第一列的多个滤光片210均为第一颜色滤光片A,第二列的多个滤光片210均为第二颜色滤光片B。在每个第二类滤光片组212中,多个滤光片210逐列排列,且同一列中的多个滤光片210的颜色相同,例如,第一列的多个滤光片210均为第一颜色滤光片A,第二列的多个滤光片210均为第三颜色滤光片C。
在某些实施方式中,滤光片阵列21中部分滤光片210的排布方式还可以为:
Figure GPA0000305367020000213
Figure GPA0000305367020000221
其中,A为第一颜色滤光片,B为第二颜色滤光片,C为第三颜色滤光片。每个滤光片组213中的滤光片210的数量均为3*3。
在此排布方式下,第一类滤光片组211设置在第一对角线方向D1(例如滤光片阵列21的左上角与右下角连接的方向),第二类滤光片组212设置在第二对角线方向D2(例如滤光片阵列21的左下角与右上角连接的方向),第一对角线方向D1与第二对角线方向D2不同,例如,第一对角线方向D1与第二对角线方向D2垂直。
在此排布方式下,第一类滤光片组211与第二类滤光片组212在图像传感器20(图8所示)的垂直方向V上相邻布置,且在水平方向H上也相邻布置。也即,多个滤光片组213在垂直方向V上按照第一类滤光片组211及第二类滤光片组212的顺序或第二类滤光片组212及第一类滤光片组211的顺序呈周期性排列,多个滤光片组213在水平方向H上按照第一类滤光片组211及第二类滤光片组212的顺序或第二类滤光片组212及第一类滤光片组211的顺序呈周期性排列。
在此排布方式下,在每个第一类滤光片组211中,多个滤光片210逐列排列,且同一列中的多个滤光片210的颜色相同,例如,第一列的多个滤光片210均为第一颜色滤光片A,第二列的多个滤光片210均为第二颜色滤光片B,第三列的多个滤光片210均为第一颜色滤光片A。在每个第二类滤光片组212中,多个滤光片210逐列排列,且同一列中的多个滤光片210的颜色相同,例如,第一列的多个滤光片210均为第一颜色滤光片A,第二列的多个滤光片210均为第三颜色滤光片C,第三列的多个滤光片210均为第一颜色滤光片A。
在某些实施方式中,滤光片阵列21中部分滤光片210的排布方式还可以为:
Figure GPA0000305367020000222
其中,A为第一颜色滤光片,B为第二颜色滤光片,C为第三颜色滤光片。每个滤光片组213中的滤光片210的数量均为4*4。
在此排布方式下,第一类滤光片组211设置在第一对角线方向D1(例如滤光片阵列21的左上角与右下角连接的方向),第二类滤光片组212设置在第二对角线方向D2(例如滤光片阵列21的左下角与右上角连接的方向),第一对角线方向D1与第二对角线方向D2不同,例如,第一对角线方向D1与第二对角线方向D2垂直。
在此排布方式下,第一类滤光片组211与第二类滤光片组212在图像传感器20(图8所示)的垂直方向V上相邻布置,且在水平方向H上也相邻布置。也即,多个滤光片组213在垂直方向V上按照第一类滤光片组211及第二类滤光片组212的顺序或第二类滤光片组212及第一类滤光片组211的顺序呈周期性排列,多个滤光片组213在水平方向H上按照第一类滤光片组211及第二类滤光片组212的顺序或第二类滤光片组212及第一类滤光片组211的顺序呈周期性排列。
在此排布方式下,在每个第一类滤光片组211中,多个滤光片210逐列排列,且同一列中的多个滤光片210的颜色相同,例如,第一列的多个滤光片210均为第一颜色滤光片A,第二列的多个滤光片210均为第二颜色滤光片B,第三列的多个滤光片210均为第一颜色滤光片A,第四列的多个滤光片210均为第二颜色滤光片B。在每个第二类滤光片组212中,多个滤光片210逐列排列,且同一列中的多个滤光片210的颜色相同,例如,第一列的多个滤光片210均为第一颜色滤光片A,第二列的多个滤光片210均为第三颜色滤光片C,第三列的多个滤光片210均为第一颜色滤光片A,第四列的多个滤光片210均为第三颜色滤光片C。
图13是本申请又一个实施例的滤光片阵列21中部分滤光片210的排布示意图。请参阅图13,部分滤光片210的排布方式为:
Figure GPA0000305367020000231
其中,A为第一颜色滤光片,B为第二颜色滤光片,C为第三颜色滤光片。每个滤光片组213中的滤光片210的数量均为2*2。
如图13所示,第一类滤光片组211设置在第一对角线方向D1(例如图13中滤光片阵列21的左上角与右下角连接的方向),第二类滤光片组212设置在第二对角线方向D2(例如图13中滤光片阵列21的左下角与右上角连接的方向),第一对角线方向D1与第二对角线方向D2不同,例如,第一对角线方向D1与第二对角线方向D2垂直。
如图13所示,第一类滤光片组211与第二类滤光片组212在图像传感器20(图8所示)的垂直方向V上相邻布置,且在水平方向H上也相邻布置。也即,多个滤光片组213在垂直方向V上按照第一类滤光片组211及第二类滤光片组212的顺序或第二类滤光片组212及第一类滤光片组211的顺序呈周期性排列,多个滤光片组213在水平方向H上按照第一类滤光片组211及第二类滤光片组212的顺序或第二类滤光片组212及第一类滤光片组211的顺序呈周期性排列。
如图13所示,在每个第一类滤光片组211中,多个滤光片210逐列排列,且同一列中的多个滤光片210的颜色相同,例如,第一列的多个滤光片210均为第一颜色滤光片A,第二列的多个滤光片210均为第二颜色滤光片B。在每个第二类滤光片组212中,多个滤光片210逐行排列,且同一行中的多个滤光片210的颜色相同,例如,第一行的多个滤光片210均为第一颜色滤光片A,第二行的多个滤光片210均为第三颜色滤光片C。
在某些实施方式中,滤光片阵列21中部分滤光片210的排布方式还可以为:
Figure GPA0000305367020000232
其中,A为第一颜色滤光片,B为第二颜色滤光片,C为第三颜色滤光片。每个滤光片组213中的滤光片210的数量均为3*3。
在此排布方式下,第一类滤光片组211设置在第一对角线方向D1(例如滤光片阵列21的左上角与右下角连接的方向),第二类滤光片组212设置在第二对角线方向D2(例如滤光片阵列21的左下角与右上角连接的方向),第一对角线方向D1与第二对角线方向D2不同,例如,第一对角线方向D1与第二对角线方向D2垂直。
在此排布方式下,第一滤光片组211与第二滤光片组212在图像传感器20(图8所示)的垂直方向V上相邻布置,且在水平方向H上也相邻布置。也即,多个滤光片组213在垂直方向V上按照第一类滤光片组211及第二类滤光片组212的顺序或第二类滤光片组212及第一类滤光片组211的顺序呈周期性排列,多个滤光片组213在水平方向H上按照第一类滤光片组211及第二类滤光片组212的顺序或第二类滤光片组212及第一类滤光片组211的顺序呈周期性排列。
在此排布方式下,在每个第一类滤光片组211中,多个滤光片210逐行排列,且同一行中的多个滤光片210的颜色相同,例如,第一行的多个滤光片210均为第一颜色滤光片A,第二行的多个滤光片210均为第二颜色滤光片B,第三行的多个滤光片210均为第一颜色滤光片A。在每个第二类滤光片组212中,多个滤光片210逐列排列,且同一列中的多个滤光片210的颜色相同,例如,第一列的多个滤光片210均为第一颜色滤光片A,第二列的多个滤光片210均为第三颜色滤光片C,第三列的多个滤光片210均为第一颜色滤光片A。
在某些实施方式中,滤光片阵列21中部分滤光片210的排布方式还可以为:
Figure GPA0000305367020000241
其中,A为第一颜色滤光片,B为第二颜色滤光片,C为第三颜色滤光片。每个滤光片组213中的滤光片210的数量均为4*4。
在此排布方式下,多个第一滤光片组211设置在第一对角线方向D1(例如滤光片阵列21的左上角与右下角连接的方向),多个第二滤光片组212设置在第二对角线方向D2(例如滤光片阵列21的左下角与右上角连接的方向),第一对角线方向D1与第二对角线方向D2不同,例如,第一对角线方向D1与第二对角线方向D2垂直。
在此排布方式下,第一滤光片组211与第二滤光片组212在图像传感器20(图8所示)的垂直方向V上相邻布置,且在水平方向H上也相邻布置。也即,多个滤光片组213在垂直方向V上按照第一类滤光片组211及第二类滤光片组212的顺序或第二类滤光片组212及第一类滤光片组211的顺序呈周期性排列,多个滤光片组213在水平方向H上按照第一类滤光片组211及第二类滤光片组212的顺序或第二类滤光片组212及第一类滤光片组211的顺序呈周期性排列。
在此排布方式下,在每个第一类滤光片组211中,多个滤光片210逐列排列,且同一列中的多个滤光片210的颜色相同,例如,第一列的多个滤光片210均为第一颜色滤光片A,第二列的多个滤光片210均为第二颜色滤光片B,第三列的多个滤光片210均为第一颜色滤光片A,第四列的多个滤光片210均为第二颜色滤光片B。在每个第二类滤光片组212中,多个滤光片210逐行排列,且同一行中的多个滤光片210的颜色相同,例如,第一行的多个滤光片210均为第一颜色滤光片A,第二行的多个滤光片210均为第三颜色滤光片C,第三行的多个滤光片210均为第一颜色滤光片A,第四行的多个滤光片210均为第三颜色滤光片C。
请结合图8至图13,本申请实施方式的图像传感器20中,当图像传感器20工作在合并模式下时,每一个第一类滤光片组211对应的多个像素220均可以作为一个第一类合并像素,每一个第二类滤光片组212对应的多个像素220均可以作为一个第二类合并像素。图像传感器20可以将每一个第一类合并像素中像素220产生的电信号合并生成第一像素信号和第三像素信号。图像传感器20可以将每一个第二类合并像素中像素220产生的电信号合并生成第二像素信号和第四像素信号。
以图10所示的每个滤光片组213均包括2*2个滤光片210为例,此时每个滤光片组213对应四个像素220,该四个像素220可以作为一个合并像素。具体地,每个第一类滤光片组211对应四个像素220,该四个像素220可以作为一个第一类合并像素。每个第二类滤光片组212对应四个像素220,该四个像素220可以作为一个第二类合并像素。请结合图8、图10和图30,每个第一类滤光片组211对应的四个像素220中,两个像素220能够接收穿过第一颜色滤光片A的光线以生成两个电信号,另外两个像素220能够接收穿过第二颜色滤光片B的光线以生成两个电信号。图像传感器20将接收穿过第一颜色滤光片A的光线的两个像素220生成的电信号合并以得到第一像素信号,并将接收穿过第二颜色滤光片B的光线的两个像素220生成的电信号合并以得到第三像素信号。其中,第一像素信号用于表征作用于第一类合并像素中的像素220的光线的第一颜色通道的值,第三像素信号用于表征作用于第一类合并像素中的像素220的光线的第二颜色通道的值。每个第二类滤光片组212对应的四个像素220中,两个像素220能够接收穿过第一颜色滤光片A的光线以生成两个电信号,另外两个像素220能够接收穿过第三颜色滤光片C的光线以生成两个电信号。图像传感器20将接收穿过第一颜色滤光片A的光线的两个像素220生成的电信号合并以得到第二像素信号,将接收穿过第三颜色滤光片C的光线的两个像素220生成的电信号合并以得到第四像素信号。其中,第二像素信号用于表征作用于第二类合并像素中的像素220的光线的第一颜色通道的值,第四像素信号用于表征作用于第二类合并像素中的像素220的光线的第三颜色通道的值。
由此,每个第一类滤光片组211对应的四个像素220可以作为一个第一类合并像素,每个第一类合并像素均可以生成第一像素信号及第三像素信号。每个第二类滤光片组212对应的四个像素220可以组成一个第二类合并像素,每个第二类合并像素均可以生成第二像素信号及第四像素信号。由于每个合并像素均可以输出具有第一颜色通道的值的像素信号(第一像素信号或第二像素信号),仅部分合并像素可以输出具有第二颜色通道的值的第三像素信号,仅部分合并像素可以输出具有第三颜色通道的值的第四像素信号。因此,不能输出第三像素信号的合并像素需要进行插值处理,以计算获得该合并像素的第二颜色通道的值;不能输出第四像素信号的合并像素也需要进行插值处理,以计算获得该合并像素的第三颜色通道的值。如此,每个合并像素均能够获得第一颜色通道、第二颜色通道以及第三颜色通道的值,通过色彩空间计算即可生成彩色图像。
请参阅图33,现有的呈拜耳阵列排布的滤光片阵列中,每个滤光片对应的像素仅能生成具有一个颜色通道的值的像素信号。例如,左起第一行第一列的像素信号对应的像素仅具有第二颜色通道的值,该像素的第一颜色通道的值及第三颜色通道的值均需要通过插值得到;左起第一行第二列的像素信号对应的像素仅具有第一颜色通道的值,该像素的第二颜色通道的值及第三颜色通道的值均需要通过插值得到;左起第二行第二列的像素信号对应的像素仅具有第三颜色通道的值,该像素的第一颜色通道的值及第二颜色通道的值均需要通过插值得到。如此,一个像素信号对应的像素的其余多个颜色通道的值均需要经过插值处理来获取。然而,通过插值方式获取的像素信号的准确度不够高,会导致最终生成的彩色图像的色彩还原度不准确。此外,现有的呈拜耳阵列排布的滤光片阵列中,插值生成具有第一颜色通道的值的像素信号及插值生成具有第二颜色通道的值的像素信号时,大部分插值生成的像素信号仅能利用两个像素信号计算得到。示例地,在图33的仅包含具有第二颜色通道的值的像素信号的图像信号中,左起第二行第三列的像素信号对应的像素不具有第二颜色通道的值,该像素的第二颜色通道的值需要通过与该像素相邻的具有第二颜色通道的值的像素的像素信号得到,即根据第一行第三列的具有第二颜色通道的值的像素信号及第三行第三列的具有第二颜色通道的值的像素信号得到;再例如,在图33的仅包含具有第三颜色通道的值的像素信号的图像信号中,左起第三行第二列的像素信号不具有第三颜色通道的值,该像素信号对应的像素的第三颜色通道的值需要通过与该像素相邻的具有第三颜色通道的值的像素的像素信号得到,即根据第二行第二列的具有第三颜色通道的值的像素信号及第四行第二列的具有第三颜色通道的值的像素信号得到。如此,用于插值生成像素信号的可以利用的像素信号的个数较少,插值后的像素信号的准确度不够高。
请结合图8、图10、图30至图32,本申请实施方式的图像传感器20中,与由多个像素220组成的像素阵列22的分辨率相比,由多个合并像素对应的像素信号组成的图像的分辨率有所降低,但是由于每个合并像素均具备具有第一颜色通道的值的像素信号,因此,第一颜色通道的值不需要进行插值处理,最终生成的彩色图像的色彩还原度会更加准确,并且由于像素阵列22的每个合并像素都直接获得了对应的第一颜色通道的像素信号,在后续的信号处理过程中可以获得更多的信息。
此外,请结合图8、图10、图30及图31,本申请实施方式的图像传感器20中,对于不能输出第三像素信号的合并像素进行插值处理时,大部分合并像素的第二颜色通道的值均能通过四个具有第二颜色通道的值的第三像素信号计算得到。例如,在图31所示的由多个第三像素信号形成的第二图像信号M2中,左起第二行第三列的第三像素信号可以根据左起第一行第三列的第三像素信号、左起第二行第二列的第三像素信号、左起第二行第四列的第三像素信号、左起第三行第三列的第三像素信号计算得到。在本申请实施方式的图像传感器20中,对于不能输出第四像素信号的合并像素进行插值处理时,大部分合并像素的第三颜色通道的值均能通过四个具有第三颜色通道的值的第四像素信号计算得到。例如,在图31所示的由多个第四像素信号形成的第三图像信号M3中,左起第三行第三列的第四像素信号可以根据左起第二行第三列的第四像素信号、左起第三行第二列的第四像素信号、左起第三行第四列的第四像素信号、左起第四行第三列的第四像素信号计算得到。由此,用于插值生成像素信号的可以利用的像素信号的个数较多,插值后的像素信号的准确度较高。并且,对第二颜色通道的值(或第三颜色通道的值)进行插值处理时,大部分待插值生成的第二颜色通道的值(或待插值生成的第三颜色通道的值)均能够借用相邻的四个具有第二颜色通道的值(或相邻的四个具有第三颜色通道的值)的像素信号计算得到,插值生成的具有第二颜色通道的值(或第三颜色通道的值)的像素信号的准确度较高,有利于进一步提升彩色图像的色彩还原的准确性。
综上,本申请实施方式的图像传感器20中,每个滤光片组213中均具有第一颜色滤光片A,使得每个滤光片组213对应的像素220均能生成具有第一颜色通道的值的像素信号。由此,在彩色图像的生成过程中,第一颜色通道的值不需要进行插值处理,彩色图像的色彩还原度更加准确。并且,对第二颜色通道的值(或第三颜色通道的值)进行插值处理时,大部分待插值生成的第二颜色通道的值(或待插值生成的第三颜色通道的值)均能够借用相邻的四个具有第二颜色通道的值(或相邻的四个具有第三颜色通道的值)的像素信号计算得到,插值生成的具有第二颜色通道的值(或第三颜色通道的值)的像素信号的准确度较高,有利于进一步提升彩色图像的色彩还原的准确性。
由于现有的处理图像传感器输出的像素信号的处理器只能处理以拜耳阵列形式排布的图像对应的多个像素信号,而本申请的图像传感器10(图8所示)输出的多个像素信号形成的图像信号对应的图像并不是以拜耳阵列形式排布的图像。因此,为使得本申请的图像传感器10输出的多个像素信号能够被处理器处理,在某些实施方式中,图像传感器10还可以用于处理第一像素信号、第二像素信号、第三像素信号(用于表征作用于第二颜色滤光片B对应像素220的光线的第二颜色通道的值)、及第四像素信号(用于表征作用于第三颜色滤光片C对应像素220的光线的第三颜色通道的值)以输出图像信号。图像信号包括多个图像信号单元U,每个图像信号单元U均包括四个像素信号。其中,两个像素信号具有第一颜色通道的值,另一个像素信号具有第二颜色通道的值,剩余一个像素信号具有第三颜色通道的值。四个像素信号对应的颜色呈拜耳阵列排布。
具体地,请结合图8、图30和图34,图像传感器10输出多个第一像素信号、多个第二像素信号、多个第三像素信号、及多个第四像素信号。多个第一像素信号及多个第二像素信号形成第一图像信号M1,多个第三像素信号形成第二图像信号M2,多个第四像素信号形成第三图像信号M3。图像传感器20根据多个第三像素信号对第二图像信号M2进行插值处理,以使得插值后的第二图像信号M2’中的每一个像素信号均具有第二颜色通道的值。图像传感器10根据多个第四像素信号对第三图像信号M3做插值处理,以使得插值后的第三图像信号M3’中的每一个像素信号均具有第三颜色通道的值。随后,图像传感器20从插值后的第二图像信号M2’中选出多个具有第二颜色通道的值的像素信号,从第一图像信号M1中选出多个具有第一颜色通道的值的像素信号,从第三图像信号M3’中选出多个具有第三颜色通道的值的像素信号。由此,多个具有第一颜色通道的值的像素信号、多个具有第二颜色通道的值的像素信号、多个具有第三颜色通道的值的像素信号形成一图像信号,该图像信号包括多个图像信号单元U。每个图像信号单元U均包括四个像素信号,其中两个像素信号具有第一颜色通道的值,一个像素信号具有第二颜色通道的值,剩余一个像素信号具有第三颜色通道的值。如此,每个图像信号单元U中的四个像素信号对应的颜色通道均呈拜耳阵列排布。图像信号输出至处理器后,处理器可以直接对图像信号进行处理。
请参阅图8、图10和图35,本申请还提供一种成像装置。成像装置包括图8至图13任意一个实施方式所述的图像传感器20。
在某些实施方式中,成像装置还包括处理器。处理器可以用于在图像传感器20工作在合并模式下时,处理第一像素信号、第二像素信号、用于表征作用于第二颜色滤光片B对应像素220的光线的第二颜色通道的值的第三像素信号、及用于表征作用于第三颜色滤光片C对应像素220的光线的第三颜色通道的值的第四像素信号以生成彩色图像。具体地,请结合图31,多个第一像素信号及多个第二像素信号形成第一图像信号M1,多个第三像素信号形成第二图像信号M2,多个第四像素信号形成第三图像信号M3。处理器可以根据多个第三像素信号对第二图像信号M2做插值处理,以使插值后的第二图像信号M2’中的每一个像素信号均具有第二颜色通道的值。示例地,以第二图像信号M2中左起第一行第二列的像素信号为例,该像素信号不具有第二颜色通道的值,该像素信号可以通过左起第一行第一列的具有第二颜色通道的值的像素信号、左起第一行第三列的具有第二颜色通道的值的像素信号、及左起第二行第二列的具有第二颜色通道的值的像素信号计算得到,例如,可以对这三个像素信号取均值并将均值作为左起第一行第二列的像素信号。再例如,以第二图像信号M2中左起第二行第三列的像素信号为例,该像素信号不具有第二颜色通道的值,该像素信号可以根据左起第一行第三列的具有第二颜色通道的值的像素信号、左起第二行第二列的具有第二颜色通道的值的像素信号、左起第二行第四列的具有第二颜色通道的值的像素信号、左起第三行第三列的具有第二颜色通道的值的像素信号计算得到,例如,可以对四个像素信号取均值并将均值作为左起第二行第三列的像素信号。处理器还可以根据多个第四像素信号对第三图像信号M3做插值处理,以使插值后的第三图像信号M3’中的每一个像素信号均具有第三颜色通道的值。示例地,以第三图像信号M3中左起第一行第一列的像素信号为例,该像素信号不具有第三颜色通道的值,该像素信号可以通过左起第二行第二列的具有第三颜色通道的值的像素信号及左起第二行第一列的具有第三颜色通道的值的像素信号计算得到,例如,可以对这两个像素信号取均值并将均值作为左起第一行第一列的像素信号。再例如,以第三图像信号M3中左起第二行第二列的像素信号为例,该像素信号不具有第三颜色通道的值,该像素信号可以根据左起第一行第二列的具有第三颜色通道的值的像素信号、左起第二行第一列的具有第三颜色通道的值的像素信号、左起第二行第三列的具有第三颜色通道的值的像素信号、左起第三行第二列的具有第三颜色通道的值的像素信号计算得到,例如,可以对四个像素信号取均值并将均值作为左起第二行第二列的像素信号。由此,第一图像信号M1中的每个像素信号均具有第一颜色通道的值,插值后的第二图像信号M2’中的每个像素均具有第二颜色通道的值,插值后的第三图像信号M3’中的每个像素均具有第三颜色通道的值。处理器可以处理第一图像信号M1、插值后的第二图像信号M2’、插值后的第三图像信号M3’以生成彩色图像。彩色图像中每一个图像像素均具有第一颜色通道的值、第二颜色通道的值、及第三颜色通道的值。
在某些实施方式中,请结合图34和图35,当处理器接收到的是包括多个图像信号单元U的图像信号时,处理器可以根据图像信号中的多个像素信号进行插值处理,以输出三个图像信号,其中一个图像信号中每个像素信号均具有第一颜色通道的值,另一个图像信号中的每个像素信号均具有第二颜色通道的值,剩余一个图像信号中的每个像素信号均具有第三颜色通道的值。处理器可以处理三个图像信号以生成彩色图像。彩色图像中的每一个图像像素均具有第一颜色通道的值、第二颜色通道的值、及第三颜色通道的值。
在某些实施方式中,当成像装置处于静态模式(即拍摄静态图像的模式)时,图像传感器20(图8所示)可以直接输出图31所示的图像信号(M1、M2、及M3),处理器处理该图像信号以生成彩色图像。如此,在彩色图像的生成过程中,第一颜色通道的值不需要进行插值处理,彩色图像的色彩还原度更加准确,图像细节表达更佳。当成像装置处于预览模式或录像模式时,图像传感器20可以直接输出图34所示的包括多个图像信号单元U的图像信号,处理器处理该图像信号以生成彩色图像。如此,在彩色图像的生成过程中,呈拜耳阵列排布的图像对应的图像信号是在图像传感器20这一硬件中处理得到的,无需在处理器中利用软件处理图像信号以得到呈拜耳阵列排布的图像对应的图像信号,可以减少彩色图像的生成时间,提升彩色图像的获取速度。
请参阅图8、图10和图36,本申请还提供一种电子设备。电子设备可以是手机、平板电脑、笔记本电脑、智能手表、智能手环、智能头盔、智能眼镜、无人设备(例如无人机、无人车、无人船)等,在此不作限制。电子设备包括成像装置。成像装置包括图8至图13任意一个实施方式所述的图像传感器20。电子设备还包括处理器。电子设备的处理器可以执行与图35所示成像装置中的处理器所能执行的功能相同的功能,在此不做赘述。
请参阅图8、图10和图35,本申请还提供一种图像处理系统。图像处理系统包括电子设备。电子设备包括成像装置。成像装置包括图8至图13任意一个实施方式的图像传感器20。图像处理系统还包括处理器。图像处理系统的处理器可以执行与图35所示成像装置中的处理器所能执行的功能相同的功能,在此不做赘述。
其中,处理器可以位于负责云计算的服务器中,也可以位于负责边缘计算的服务器中。如此,图像传感器20输出的像素信号的后续处理可以卸载到服务器中执行,可以节约成像装置或电子设备的功耗。
请参阅图8、图10和图14,本申请还提供一种信号处理方法。信号处理方法可以用于图8至图13任意一个实施方式所述的图像传感器20。信号处理方法包括:
021:在图像传感器20工作在合并模式下时,每个第一类滤光片阵列210对应的像素220作为一个第一类合并像素,每个第二类滤光片阵列220对应的像素220作为一个第二类合并像素,将第一类合并像素中的像素220产生的电信号合并生成第一像素信号,第一像素信号用于表征作用于第一类合并像素中的像素220的光线的第一颜色通道的值;及
022:将第二类合并像素中的像素220产生的电信号合并生成第二像素信号,第二像素信号用于表征作用于第二类合并像素中的像素220的光线的第一颜色通道的值。
在某些实施方式中,信号处理方法还包括:处理第一像素信号、第二像素信号、用于表征作用于第二颜色滤光片对应像素的光线的第二颜色通道的值的第三像素信号、及用于表征作用于第三颜色滤光片对应像素的光线的第三颜色通道的值的第四像素信号以生成彩色图像。具体地,多个第一像素信号及多个第二像素信号可以形成第一图像信号,多个第三像素信号可以形成第二图像信号,多个第四像素信号可以形成第三图像信号。处理第一像素信号、第二像素信号、第三像素信号、及第四像素信号以生成彩色图像的步骤包括:根据多个第三像素信号对第二图像信号做插值处理,以使插值处理后的第二图像信号中的每一个像素信号均具有第二颜色通道的值;根据多个第四像素信号对第三图像信号做插值处理,以使插值处理后的第三图像信号中的每一个像素信号均具有第三颜色通道的值;处理第一图像信号、插值处理后的第二图像信号、插值处理后的第三图像信号以生成彩色图像。
在某些实施方式中,信号处理方法还包括:处理第一像素信号、第二像素信号、用于表征作用于第二颜色滤光片对应像素的光线的第二颜色通道的值的第三像素信号、及用于表征作用于第三颜色滤光片对应像素的光线的第三颜色通道的值的第四像素信号以输出图像信号。图像信号包括多个图像信号单元,每个图像信号单元均包括四个像素信号,其中两个像素信号具有第一颜色通道的值,另一个像素信号具有第二颜色通道的值,剩余一个像素信号具有第三颜色通道的值,四个像素信号对应的颜色通道呈拜耳阵列排布。
在某些实施方式中,信号处理方法还包括:在静态模式时,执行处理第一像素信号、第二像素信号、第三像素信号、及第四像素信号以生成彩色图像的步骤;在预览模式或录像模式时,执行处理第一像素信号、第二像素信号、第三像素信号、及第四像素信号以输出包括多个图像信号单元的图像信号的步骤。
综上,本申请实施方式的成像装置、电子设备、图像处理系统、及信号处理方法中,图像传感器20内的每个滤光片组213中均具有第一颜色滤光片A,使得每个滤光片组213对应的像素220均能生成具有第一颜色通道的值的像素信号。由此,在彩色图像的生成过程中,第一颜色通道的值不需要进行插值处理,彩色图像的色彩还原度更加准确。
请参阅图15至图18,本申请提供一种图像传感器30。图像传感器30包括滤光片阵列31和控制电路34。滤光片阵列31设置在像素阵列32上。滤光片阵列31包括多个第一滤光片组311和多个第二滤光片组312。第一滤光片组311包括数量相同的多个第一颜色滤光片A和多个第二颜色滤光片B。第二滤光片组312包括数量相同的多个第一颜色滤光片A和多个第三颜色滤光片C。控制电路34设置在具有像素阵列32的衬底35上。控制电路34用于将第一滤光片组311对应的像素320产生的电信号合并生成第一像素信号和第三像素信号,第一像素信号用于表征作用于第一滤光片组311对应像素320的光线的第一颜色通道的值,第三像素信号用于表征作用于第一滤光片组311对应像素320的光线的第二颜色通道的值。控制电路34用于将第二滤光片组312对应的像素320产生的电信号合并生成第二像素信号和第四像素信号,第二像素信号用于表征作用于第二滤光片组312对应像素320的光线的第一颜色通道的值,第四像素信号用于表征作用于第二滤光片组312对应像素320的光线的第三颜色通道的值。
下面结合附图对本申请的图像传感器30作进一步说明。
请参阅图15至图18,本申请实施方式的图像传感器30包括微透镜阵列33、滤光片阵列31、像素阵列32、控制电路34、及衬底35。沿图像传感器30的收光方向,微透镜阵列33、滤光片阵列31、及像素阵列32依次设置。
滤光片阵列31包括多个第一滤光片组311和多个第二滤光片组312。第一滤光片组311包括数量相同的多个第一颜色滤光片A和多个第二颜色滤光片B。第二滤光片组312包括数量相同的多个第一颜色滤光片A和多个第三颜色滤光片C。
像素阵列32设置在衬底35上。像素阵列32包括多个像素320,每个像素320对应滤光片阵列31的一个滤光片310,像素320用于接收穿过对应的滤光片310的光线以生成电信号。
微透镜阵列33包括多个微透镜组331。微透镜阵列33中的一个微透镜组331对应一个滤光片组313(第一滤光片组311或第二滤光片组312),并与该一个滤光片组313对应的多个像素320对应。如图16所示,每个微透镜组331均包括多个微透镜330,每个微透镜330对应一个滤光片310及一个像素320。如图17所示,每个微透镜组331均包括一个微透镜330,每个微透镜330对应一个滤光片组313,并与该一个滤光片组313对应的多个像素320对应。
控制电路34也设置在衬底35上。控制电路35与像素阵列31电连接。
图18至图21是本申请多个实施例的滤光片阵列31中部分滤光片310的排布示意图。图18至图21所示的滤光片阵列31中,每个滤光片阵列31均包括多个第一滤光片组311和多个第二滤光片组312。每个第一滤光片组311包括数量相同的多个第一颜色滤光片A和多个第二颜色滤光片B。每个第二滤光片组312包括数量相同的多个第一颜色滤光片A和多个第三颜色滤光片C。
其中,第一颜色滤光片A、第二颜色滤光片B、第三颜色滤光片C的颜色组成方式可以有多种,例如第一颜色滤光片A可以为绿色滤光片G,第二颜色滤光片B可以为红色滤光片R,第三颜色滤光片C可以为蓝色滤光片Bu;再例如,第一颜色滤光片A可以为黄色滤光片Y,第二颜色滤光片B可以为红色滤光片R,第三颜色滤光片C可以为蓝色滤光片Bu。第一颜色滤光片A、第二颜色滤光片B、第三颜色滤光片C的颜色组成方式不限于上述两个示例所示的组成方式。
其中,多个第一滤光片组311可以设置在第一对角线方向D1,多个第二滤光片组312可以设置在第二对角线方向D2,第一对角线方向D1与第二对角线方向D2不同。在一个例子中,当多个第一滤光片组311设置在第一对角线方向D1,多个第二滤光片组312设置在第二对角线方向D2时,第一滤光片组311与第二滤光片组312可以在图像传感器30的垂直方向和水平方向相邻布置。
其中,第一滤光片组311中的滤光片310的数量均为N*N,第二滤光片组312中的滤光片310的数量均为N*N,其中,N为大于或等于2的整数。示例地,N的取值可以为2、3、4、5、6、7、8、9、10、15、20等等,在此不作限制。
其中,每个第一滤光片组311中的多个滤光片310的排布方式可以是:(1)请参阅图18,多个第一颜色滤光片A及多个第二颜色滤光片B在图像传感器30(图16所示)的垂直方向和/或水平方向相邻布置;(2)请参阅图19,多个滤光片310逐行排列,且同一行中的多个滤光片310的颜色相同;(3)请参阅图20,多个滤光片310逐列排列,且同一列中的多个滤光片110的颜色相同。当然,每个第一滤光片组311中多个滤光片310的排布方式并不限于此。
其中,每个第二滤光片组312中的多个滤光片310的排布方式可以是:(1)请参阅图18,多个第一颜色滤光片A及多个第三颜色滤光片C在图像传感器30(图16所示)的垂直方向和/或水平方向相邻布置;(2)请参阅图19,多个滤光片310逐行排列,且同一行中的多个滤光片310的颜色相同;(3))请参阅图20,多个滤光片310逐列排列,且同一列中的多个滤光片110的颜色相同。当然,每个第二滤光片组312中多个滤光片310的排布方式并不限于此。
图18是本申请一个实施例的滤光片阵列31中部分滤光片310的排布示意图。请参阅图18,部分滤光片310的排布方式为:
Figure GPA0000305367020000291
其中,A为第一颜色滤光片,B为第二颜色滤光片,C为第三颜色滤光片。每个第一滤光片组311中的滤光片310的数量均为2*2,每个第二滤光片组312中的滤光片310的数量均为2*2。
如图18所示,多个第一滤光片组311设置在第一对角线方向D1(例如图18中滤光片阵列31的左上角与右下角连接的方向),多个第二滤光片组312设置在第二对角线方向D2(例如图18中滤光片阵列31的左下角与右上角连接的方向),第一对角线方向D1与第二对角线方向D2不同,例如,第一对角线方向D1与第二对角线方向D2垂直。
需要说明的是,第一对角线方向D1和第二对角线方向D2并不局限于对角线,还包括平行于对角线的方向。这里的“方向”并非单一指向,可以理解为指示排布的“直线”的概念,可以有直线两端的双向指向。此外,在其他实施例中,第一对角线方向D1也可以是滤光片阵列31的左下角与右上角连接的方向,第二对角线方向D2也可以是滤光片阵列31的左上角与右下角连接的方向,此时,第一滤光片组311及第二滤光片组312的位置对应对角线方向的变换做变换。
如图18所示,第一滤光片组311与第二滤光片组312在图像传感器30(图16所示)的垂直方向V上相邻布置,且在水平方向H上也相邻布置。也即,多个滤光片组在垂直方向V上按照第一滤光片组311、第二滤光片组312的顺序呈周期性排列,多个滤光片组在水平方向H上按照第一滤光片组311、第二滤光片组312的顺序呈周期性排列。
需要说明的是,第一滤光片组311与第二滤光片组312在的垂直方向V上相邻布置,且在水平方向H上也相邻布置并不限于图18的方式,其还可以是:多个滤光片组313在垂直方向V上按照第二滤光片组312及第一滤光片组311的顺序或第二滤光片组312及第一滤光片组311的顺序呈周期性排列(从左至右,从上至下来看,下同),多个滤光片组313在水平方向H上按照第二滤光片组312及第二滤光片组312的顺序或第二滤光片组312及第一滤光片组311的顺序呈周期性排列(从左至右,从上至下来看,下同)。
如图18所示,在第一滤光片组311中,在垂直方向V上,第一颜色滤光片A和第二颜色滤光片B交替排列,且在水平方向H上,第一颜色滤光片A和第二颜色滤光片B交替排列。在第二滤光片组312中,多个第一颜色滤光片A及多个第三颜色滤光片C在垂直方向V和水平方向H上相邻布置。也即,在垂直方向V上,第一颜色滤光片A和第三颜色滤光片C交替排列,且在水平方向H上,第一颜色滤光片A和第三颜色滤光片C交替排列。
在某些实施方式中,滤光片阵列31中部分滤光片310的排布方式还可以为:
Figure GPA0000305367020000301
其中,A为第一颜色滤光片,B为第二颜色滤光片,C为第三颜色滤光片。每个第一滤光片组311中的滤光片310的数量均为3*3,每个第二滤光片组312中的滤光片310的数量均为3*3。
在此排布方式下,多个第一滤光片组311设置在第一对角线方向D1(例如滤光片阵列31的左上角与右下角连接的方向),多个第二滤光片组312设置在第二对角线方向D2(例如滤光片阵列31的左下角与右上角连接的方向),第一对角线方向D1与第二对角线方向D2不同,例如,第一对角线方向D1与第二对角线方向D2垂直。
在此排布方式下,第一滤光片组311与第二滤光片组312在图像传感器30(图16所示)的垂直方向V上相邻布置,且在水平方向H上也相邻布置。也即,多个滤光片组313在垂直方向V上按照第一滤光片组311及第二滤光片组312的顺序呈周期性排列或第二滤光片组312及第一滤光片组311的顺序,多个滤光片组313在水平方向H上按照第一滤光片组311及第二滤光片组312的顺序或第二滤光片组312及第一滤光片组311的顺序呈周期性排列。
在此排布方式下,在第一滤光片组311中,多个第一颜色滤光片A及多个第二颜色滤光片B在垂直方向V和水平方向H上相邻布置。也即,在垂直方向V上,第一颜色滤光片A和第二颜色滤光片B交替排列,且在水平方向H上,第一颜色滤光片A和第二颜色滤光片B交替排列。在第二滤光片组312中,多个第一颜色滤光片A及多个第三颜色滤光片C在垂直方向V和水平方向H上相邻布置。也即,也即,在垂直方向V上,第一颜色滤光片A和第三颜色滤光片C交替排列,且在水平方向H上,第一颜色滤光片A和第三颜色滤光片C交替排列。
在某些实施方式中,滤光片阵列31中部分滤光片310的排布方式还可以为:
Figure GPA0000305367020000302
其中,A为第一颜色滤光片,B为第二颜色滤光片,C为第三颜色滤光片。每个第一滤光片组311中的滤光片310的数量均为4*4,每个第二滤光片组312中的滤光片310的数量均为4*4。
在此排布方式下,多个第一滤光片组311设置在第一对角线方向D1(例如滤光片阵列31的左上角与右下角连接的方向),多个第二滤光片组312设置在第二对角线方向D2(例如滤光片阵列31的左下角与右上角连接的方向),第一对角线方向D1与第二对角线方向D2不同,例如,第一对角线方向D1与第二对角线方向D2垂直。
在此排布方式下,第一滤光片组311与第二滤光片组312在图像传感器30(图16所示)的垂直方向V上相邻布置,且在水平方向H上也相邻布置。也即,多个滤光片组313在垂直方向V上按照第一滤光片组311及第二滤光片组312的顺序或第二滤光片组312及第一滤光片组311的顺序呈周期性排列,多个滤光片组313在水平方向H上按照第一滤光片组311及第二滤光片组312的顺序或第二滤光片组312及第一滤光片组311的顺序呈周期性排列。
在此排布方式下,在第一滤光片组311中,多个第一颜色滤光片A及多个第二颜色滤光片B在垂直方向V和水平方向H上相邻布置。也即,也即,在垂直方向V上,第一颜色滤光片A和第二颜色滤光片B交替排列,且在水平方向H上,第一颜色滤光片A和第二颜色滤光片B交替排列。在第二滤光片组312中,多个第一颜色滤光片A及多个第三颜色滤光片C在垂直方向V和水平方向H上相邻布置。也即,在垂直方向V上,第一颜色滤光片A和第三颜色滤光片C交替排列,且在水平方向H上,第一颜色滤光片A和第三颜色滤光片C交替排列。
图19是本申请又一个实施例的滤光片阵列31中部分滤光片310的排布示意图。请参阅图19,部分滤光片310的排布方式为:
Figure GPA0000305367020000311
其中,A为第一颜色滤光片,B为第二颜色滤光片,C为第三颜色滤光片。每个第一滤光片组311中的滤光片310的数量均为2*2,每个第二滤光片组312中的滤光片310的数量均为2*2。
如图19所示,多个第一滤光片组311设置在第一对角线方向D1(例如图19中滤光片阵列31的左上角与右下角连接的方向),多个第二滤光片组312设置在第二对角线方向D2(例如图19中滤光片阵列31的左下角与右上角连接的方向),第一对角线方向D1与第二对角线方向D2不同,例如,第一对角线方向D1与第二对角线方向D2垂直。
如图19所示,第一滤光片组311与第二滤光片组312在图像传感器30(图16所示)的垂直方向V上相邻布置,且在水平方向H上也相邻布置。也即,多个滤光片组313在垂直方向V上按照第一滤光片组311及第二滤光片组312的顺序或第二滤光片组312及第一滤光片组311的顺序呈周期性排列,多个滤光片组313在水平方向H上按照第一滤光片组311及第二滤光片组312的顺序或第二滤光片组312及第一滤光片组311的顺序呈周期性排列。
如图19所示,在第一滤光片组311中,多个滤光片310逐行排列,且同一行中的多个滤光片310的颜色相同,例如,第一行的多个滤光片310均为第一颜色滤光片A,第二行的多个滤光片310均为第二颜色滤光片B。在第二滤光片组312中,多个滤光片310逐行排列,且同一行中的多个滤光片310的颜色相同,例如,第一行的多个滤光片310均为第一颜色滤光片A,第二行的多个滤光片310均为第三颜色滤光片C。
在某些实施方式中,滤光片阵列31中部分滤光片310的排布方式还可以为:
Figure GPA0000305367020000312
其中,A为第一颜色滤光片,B为第二颜色滤光片,C为第三颜色滤光片。每个第一滤光片组311中的滤光片310的数量均为3*3,每个第二滤光片组312中的滤光片310的数量均为3*3。
在此排布方式下,多个第一滤光片组311设置在第一对角线方向D1(例如滤光片阵列31的左上角与右下角连接的方向),多个第二滤光片组312设置在第二对角线方向D2(例如滤光片阵列31的左下角与右上角连接的方向),第一对角线方向D1与第二对角线方向D2不同,例如,第一对角线方向D1与第二对角线方向D2垂直。
在此排布方式下,第一滤光片组311与第二滤光片组312在图像传感器30(图16所示)的垂直方向V上相邻布置,且在水平方向H上也相邻布置。也即,多个滤光片组313在垂直方向V上按照第一滤光片组311及第二滤光片组312的顺序呈周期性排列或第二滤光片组312及第一滤光片组311的顺序,多个滤光片组313在水平方向H上按照第一滤光片组311及第二滤光片组312的顺序或第二滤光片组312及第一滤光片组311的顺序呈周期性排列。
在此排布方式下,在第一滤光片组311中,多个滤光片310逐行排列,且同一行中的多个滤光片310的颜色相同,例如,第一行的多个滤光片310均为第一颜色滤光片A,第二行的多个滤光片310均为第二颜色滤光片B,第三行的多个滤光片310均为第一颜色滤光片A。在第二滤光片组312中,多个滤光片310逐行排列,且同一行中的多个滤光片310的颜色相同,例如,第一行的多个滤光片310均为第一颜色滤光片A,第二行的多个滤光片310均为第三颜色滤光片C,第三行的多个滤光片310均为第一颜色滤光片A。
在某些实施方式中,滤光片阵列31中部分滤光片310的排布方式还可以为:
Figure GPA0000305367020000321
其中,A为第一颜色滤光片,B为第二颜色滤光片,C为第三颜色滤光片。每个第一滤光片组311中的滤光片310的数量均为4*4,每个第二滤光片组312中的滤光片310的数量均为4*4。
在此排布方式下,多个第一滤光片组311设置在第一对角线方向D1(例如滤光片阵列31的左上角与右下角连接的方向),多个第二滤光片组312设置在第二对角线方向D2(例如滤光片阵列31的左下角与右上角连接的方向),第一对角线方向D1与第二对角线方向D2不同,例如,第一对角线方向D1与第二对角线方向D2垂直。
在此排布方式下,第一滤光片组311与第二滤光片组312在图像传感器30(图16所示)的垂直方向V上相邻布置,且在水平方向H上也相邻布置。也即,多个滤光片组313在垂直方向V上按照第一滤光片组311及第二滤光片组312的顺序或第二滤光片组312及第一滤光片组311的顺序呈周期性排列,多个滤光片组313在水平方向H上按照第一滤光片组311及第二滤光片组312的顺序或第二滤光片组312及第一滤光片组311的顺序呈周期性排列。
在此排布方式下,在第一滤光片组311中,多个滤光片310逐行排列,且同一行中的多个滤光片310的颜色相同,例如,第一行的多个滤光片310均为第一颜色滤光片A,第二行的多个滤光片310均为第二颜色滤光片B,第三行的多个滤光片310均为第一颜色滤光片A,第四行的多个滤光片310均为第二颜色滤光片B。在第二滤光片组312中,多个滤光片310逐行排列,且同一行中的多个滤光片310的颜色相同,例如,第一行的多个滤光片310均为第一颜色滤光片A,第二行的多个滤光片310均为第三颜色滤光片C,第三行的多个滤光片310均为第一颜色滤光片A,第四行的多个滤光片310均为第三颜色滤光片C。
图20是本申请又一个实施例的滤光片阵列31中部分滤光片310的排布示意图。请参阅图20,部分滤光片310的排布方式为:
Figure GPA0000305367020000322
其中,A为第一颜色滤光片,B为第二颜色滤光片,C为第三颜色滤光片。每个第一滤光片组311中的滤光片310的数量均为2*2,每个第二滤光片组312中的滤光片310的数量均为2*2。
如图20所示,多个第一滤光片组311设置在第一对角线方向D1(例如图20中滤光片阵列31的左上角与右下角连接的方向),多个第二滤光片组312设置在第二对角线方向D2(例如图20中滤光片阵列31的左下角与右上角连接的方向),第一对角线方向D1与第二对角线方向D2不同,例如,第一对角线方向D1与第二对角线方向D2垂直。
如图20所示,第一滤光片组311与第二滤光片组312在图像传感器30(图16所示)的垂直方向V上相邻布置,且在水平方向H上也相邻布置。也即,多个滤光片组313在垂直方向V上按照第一滤光片组311及第二滤光片组312的顺序或第二滤光片组312及第一滤光片组311的顺序呈周期性排列,多个滤光片组313在水平方向H上按照第一滤光片组311及第二滤光片组312的顺序或第二滤光片组312及第一滤光片组311的顺序呈周期性排列。
如图20所示,在第一滤光片组311中,多个滤光片310逐列排列,且同一列中的多个滤光片310的颜色相同,例如,第一列的多个滤光片310均为第一颜色滤光片A,第二列的多个滤光片310均为第二颜色滤光片B。在第二滤光片组312中,多个滤光片310逐列排列,且同一列中的多个滤光片310的颜色相同,例如,第一列的多个滤光片310均为第一颜色滤光片A,第二列的多个滤光片310均为第三颜色滤光片C。
在某些实施方式中,滤光片阵列31中部分滤光片310的排布方式还可以为:
Figure GPA0000305367020000331
其中,A为第一颜色滤光片,B为第二颜色滤光片,C为第三颜色滤光片。每个第一滤光片组311中的滤光片310的数量均为3*3,每个第二滤光片组312中的滤光片310的数量均为3*3。
在此排布方式下,多个第一滤光片组311设置在第一对角线方向D1(例如滤光片阵列31的左上角与右下角连接的方向),多个第二滤光片组312设置在第二对角线方向D2(例如滤光片阵列31的左下角与右上角连接的方向),第一对角线方向D1与第二对角线方向D2不同,例如,第一对角线方向D1与第二对角线方向D2垂直。
在此排布方式下,第一滤光片组311与第二滤光片组312在图像传感器30(图16所示)的垂直方向V上相邻布置,且在水平方向H上也相邻布置。也即,多个滤光片组313在垂直方向V上按照第一滤光片组311及第二滤光片组312的顺序或第二滤光片组312及第一滤光片组311的顺序呈周期性排列,多个滤光片组313在水平方向H上按照第一滤光片组311及第二滤光片组312的顺序或第二滤光片组312及第一滤光片组311的顺序呈周期性排列。
在此排布方式下,在第一滤光片组311中,多个滤光片310逐列排列,且同一列中的多个滤光片310的颜色相同,例如,第一列的多个滤光片310均为第一颜色滤光片A,第二列的多个滤光片310均为第二颜色滤光片B,第三列的多个滤光片310均为第一颜色滤光片A。在第二滤光片组312中,多个滤光片310逐列排列,且同一列中的多个滤光片310的颜色相同,例如,第一列的多个滤光片310均为第一颜色滤光片A,第二列的多个滤光片310均为第三颜色滤光片C,第三列的多个滤光片310均为第一颜色滤光片A。
在某些实施方式中,滤光片阵列31中部分滤光片310的排布方式还可以为:
Figure GPA0000305367020000332
Figure GPA0000305367020000341
其中,A为第一颜色滤光片,B为第二颜色滤光片,C为第三颜色滤光片。每个第一滤光片组311中的滤光片310的数量均为4*4,每个第二滤光片组312中的滤光片310的数量均为4*4。
在此排布方式下,多个第一滤光片组311设置在第一对角线方向D1(例如滤光片阵列31的左上角与右下角连接的方向),多个第二滤光片组312设置在第二对角线方向D2(例如滤光片阵列31的左下角与右上角连接的方向),第一对角线方向D1与第二对角线方向D2不同,例如,第一对角线方向D1与第二对角线方向D2垂直。
在此排布方式下,第一滤光片组311与第二滤光片组312在图像传感器30(图16所示)的垂直方向V上相邻布置,且在水平方向H上也相邻布置。也即,多个滤光片组313在垂直方向V上按照第一滤光片组311及第二滤光片组312的顺序或第二滤光片组312及第一滤光片组311的顺序呈周期性排列,多个滤光片组313在水平方向H上按照第一滤光片组311及第二滤光片组312的顺序或第二滤光片组312及第一滤光片组311的顺序呈周期性排列。
在此排布方式下,在第一滤光片组311中,多个滤光片310逐列排列,且同一列中的多个滤光片310的颜色相同,例如,第一列的多个滤光片310均为第一颜色滤光片A,第二列的多个滤光片310均为第二颜色滤光片B,第三列的多个滤光片310均为第一颜色滤光片A,第四列的多个滤光片310均为第二颜色滤光片B。在第二滤光片组312中,多个滤光片310逐列排列,且同一列中的多个滤光片310的颜色相同,例如,第一列的多个滤光片310均为第一颜色滤光片A,第二列的多个滤光片310均为第三颜色滤光片C,第三列的多个滤光片310均为第一颜色滤光片A,第四列的多个滤光片310均为第三颜色滤光片C。
图21是本申请又一个实施例的滤光片阵列31中部分滤光片310的排布示意图。请参阅图21,部分滤光片310的排布方式为:
Figure GPA0000305367020000342
其中,A为第一颜色滤光片,B为第二颜色滤光片,C为第三颜色滤光片。每个第一滤光片组311中的滤光片310的数量均为2*2,每个第二滤光片组312中的滤光片310的数量均为2*2。
如图21所示,多个第一滤光片组311设置在第一对角线方向D1(例如图21中滤光片阵列31的左上角与右下角连接的方向),多个第二滤光片组312设置在第二对角线方向D2(例如图21中滤光片阵列31的左下角与右上角连接的方向),第一对角线方向D1与第二对角线方向D2不同,例如,第一对角线方向D1与第二对角线方向D2垂直。
如图21所示,第一滤光片组311与第二滤光片组312在图像传感器30(图16所示)的垂直方向V上相邻布置,且在水平方向H上也相邻布置。也即,多个滤光片组313在垂直方向V上按照第一滤光片组311及第二滤光片组312的顺序或第二滤光片组312及第一滤光片组311的顺序呈周期性排列,多个滤光片组313在水平方向H上按照第一滤光片组311及第二滤光片组312的顺序或第二滤光片组312及第一滤光片组311的顺序呈周期性排列。
如图21所示,在第一滤光片组311中,多个滤光片310逐列排列,且同一列中的多个滤光片310的颜色相同,例如,第一列的多个滤光片310均为第一颜色滤光片A,第二列的多个滤光片310均为第二颜色滤光片B。在第二滤光片组312中,多个滤光片310逐行排列,且同一行中的多个滤光片310的颜色相同,例如,第一行的多个滤光片310均为第一颜色滤光片A,第二行的多个滤光片310均为第三颜色滤光片C。
在某些实施方式中,滤光片阵列31中部分滤光片310的排布方式还可以为:
Figure GPA0000305367020000343
Figure GPA0000305367020000351
其中,A为第一颜色滤光片,B为第二颜色滤光片,C为第三颜色滤光片。每个第一滤光片组311中的滤光片310的数量均为3*3,每个第二滤光片组312中的滤光片310的数量均为3*3。
在此排布方式下,多个第一滤光片组311设置在第一对角线方向D1(例如滤光片阵列31的左上角与右下角连接的方向),多个第二滤光片组312设置在第二对角线方向D2(例如滤光片阵列31的左下角与右上角连接的方向),第一对角线方向D1与第二对角线方向D2不同,例如,第一对角线方向D1与第二对角线方向D2垂直。
在此排布方式下,第一滤光片组311与第二滤光片组312在图像传感器30(图16所示)的垂直方向V上相邻布置,且在水平方向H上也相邻布置。也即,多个滤光片组313在垂直方向V上按照第一滤光片组311及第二滤光片组312的顺序或第二滤光片组312及第一滤光片组311的顺序呈周期性排列,多个滤光片组313在水平方向H上按照第一滤光片组311及第二滤光片组312的顺序或第二滤光片组312及第一滤光片组311的顺序呈周期性排列。
在此排布方式下,在第一滤光片组311中,多个滤光片310逐行排列,且同一行中的多个滤光片310的颜色相同,例如,第一行的多个滤光片310均为第一颜色滤光片A,第二行的多个滤光片310均为第二颜色滤光片B,第三行的多个滤光片310均为第一颜色滤光片A。在第二滤光片组312中,多个滤光片310逐列排列,且同一列中的多个滤光片310的颜色相同,例如,第一列的多个滤光片310均为第一颜色滤光片A,第二列的多个滤光片310均为第三颜色滤光片C,第三列的多个滤光片310均为第一颜色滤光片A。
在某些实施方式中,滤光片阵列31中部分滤光片310的排布方式还可以为:
Figure GPA0000305367020000352
其中,A为第一颜色滤光片,B为第二颜色滤光片,C为第三颜色滤光片。每个第一滤光片组311中的滤光片310的数量均为4*4,每个第二滤光片组312中的滤光片310的数量均为4*4。
在此排布方式下,多个第一滤光片组311设置在第一对角线方向D1(例如滤光片阵列31的左上角与右下角连接的方向),多个第二滤光片组312设置在第二对角线方向D2(例如滤光片阵列31的左下角与右上角连接的方向),第一对角线方向D1与第二对角线方向D2不同,例如,第一对角线方向D1与第二对角线方向D2垂直。
在此排布方式下,第一滤光片组311与第二滤光片组312在图像传感器30(图16所示)的垂直方向V上相邻布置,且在水平方向H上也相邻布置。也即,多个滤光片组313在垂直方向V上按照第一滤光片组311及第二滤光片组312的顺序或第二滤光片组312及第一滤光片组311的顺序呈周期性排列,多个滤光片组313在水平方向H上按照第一滤光片组311及第二滤光片组312的顺序或第二滤光片组312及第一滤光片组311的顺序呈周期性排列。
在此排布方式下,在第一滤光片组311中,多个滤光片310逐列排列,且同一列中的多个滤光片310的颜色相同,例如,第一列的多个滤光片310均为第一颜色滤光片A,第二列的多个滤光片310均为第二颜色滤光片B,第三列的多个滤光片310均为第一颜色滤光片A,第四列的多个滤光片310均为第二颜色滤光片B。在第二滤光片组312中,多个滤光片310逐行排列,且同一行中的多个滤光片310的颜色相同,例如,第一行的多个滤光片310均为第一颜色滤光片A,第二行的多个滤光片310均为第三颜色滤光片C,第三行的多个滤光片310均为第一颜色滤光片A,第四行的多个滤光片310均为第三颜色滤光片C。
请结合图15至图21,本申请实施方式的图像传感器30中,每一个第一滤光片组311对应的多个像素320产生的电信号均可以合并生成第一像素信号和第三像素信号。每一个第二滤光片组312对应的多个像素320产生的电信号均可以合并生成第二像素信号和第四像素信号。
以图18所示的每个滤光片组313均包括2*2个滤光片310为例,此时每个滤光片组313对应四个像素320。请结合图15、图18和图30,第一滤光片组311对应的四个像素320中,两个像素320能够接收穿过第一颜色滤光片A的光线以生成两个电信号,另外两个像素320能够接收穿过第二颜色滤光片B的光线以生成两个电信号。控制电路34控制接收穿过第一颜色滤光片A的光线的两个像素320生成的电信号合并以得到第一像素信号,并控制接收穿过第二颜色滤光片B的光线的两个像素320生成的电信号合并以得到第三像素信号。其中,第一像素信号用于表征作用于第一滤光片组311对应像素320的光线的第一颜色通道的值,第三像素信号用于表征作用于第一滤光片组311对应像素320的光线的第二颜色通道的值。第二滤光片组312对应的四个像素320中,两个像素320能够接收穿过第一颜色滤光片A的光线以生成两个电信号,另外两个像素320能够接收穿过第三颜色滤光片C的光线以生成两个电信号。控制电路34控制接收穿过第一颜色滤光片A的光线的两个像素320生成的电信号合并以得到第二像素信号,控制接收穿过第三颜色滤光片C的光线的两个像素320生成的电信号合并以得到第四像素信号。其中,第二像素信号用于表征作用于第二滤光片组312对应像素320的光线的第一颜色通道的值,第四像素信号用于表征作用于第二滤光片组312对应像素320的光线的第三颜色通道的值。
由此,每个第一滤光片组311对应的四个像素320可以组成一个第一合并像素,每个第一合并像素均可以生成第一像素信号及第三像素信号。每个第二滤光片组312对应的四个像素320可以组成一个第二合并像素,每个第二合并像素均可以生成第二像素信号及第四像素信号。由于每个合并像素均可以输出具有第一颜色通道的值的像素信号(第一像素信号或第二像素信号),仅部分合并像素可以输出具有第二颜色通道的值的第三像素信号,仅部分合并像素可以输出具有第三颜色通道的值的第四像素信号。因此,不能输出第三像素信号的合并像素需要进行插值处理,以计算获得该合并像素的第二颜色通道的值;不能输出第四像素信号的合并像素也需要进行插值处理,以计算获得该合并像素的第三颜色通道的值。如此,每个合并像素均能够获得第一颜色通道、第二颜色通道以及第三颜色通道的值,通过色彩空间计算即可生成彩色图像。
请参阅图33,现有的呈拜耳阵列排布的滤光片阵列中,每个滤光片对应的像素仅能生成具有一个颜色通道的值的像素信号。例如,左起第一行第一列的像素信号对应的像素仅具有第二颜色通道的值,该像素的第一颜色通道的值及第三颜色通道的值均需要通过插值得到;左起第一行第二列的像素信号对应的像素仅具有第一颜色通道的值,该像素的第二颜色通道的值及第三颜色通道的值均需要通过插值得到;左起第二行第二列的像素信号对应的像素仅具有第三颜色通道的值,该像素的第一颜色通道的值及第二颜色通道的值均需要通过插值得到。如此,一个像素信号对应的像素的多个颜色通道的值均需要经过插值处理来获取。然而,通过插值方式获取的像素信号的准确度不够高,会导致最终生成的彩色图像的色彩还原度不准确。此外,现有的呈拜耳阵列排布的滤光片阵列中,插值生成具有第一颜色通道的值的像素信号及插值生成具有第二颜色通道的值的像素信号时,大部分插值生成的像素信号仅能利用两个像素信号计算得到。示例地,在图33的仅包含具有第二颜色通道的值的像素信号的图像信号中,左起第二行第三列的像素信号对应的像素不具有第二颜色通道的值,该像素的第二颜色通道的值需要通过与该像素相邻的具有第二颜色通道的值的像素的像素信号得到,即根据第一行第三列的具有第二颜色通道的值的像素信号及第三行第三列的具有第二颜色通道的值的像素信号得到;再例如,在图33的仅包含具有第三颜色通道的值的像素信号的图像信号中,左起第三行第二列的像素信号不具有第三颜色通道的值,该像素信号对应的像素的第三颜色通道的值需要通过与该像素相邻的具有第三颜色通道的值的像素的像素信号得到,即根据第二行第二列的具有第三颜色通道的值的像素信号及第四行第二列的具有第三颜色通道的值的像素信号得到。如此,用于插值生成像素信号的可以利用的像素信号的个数较少,插值后的像素信号的准确度不够高。
请结合图16、图18、图30至图32,本申请实施方式的图像传感器30中,与由多个像素320组成的像素阵列32的分辨率相比,由多个合并像素对应的像素信号组成的图像的分辨率有所降低,但是由于每个合并像素均具备具有第一颜色通道的值的像素信号,因此,第一颜色通道的值不需要进行插值处理,最终生成的彩色图像的色彩还原度会更加准确,并且由于像素阵列32的每个合并像素都直接获得了对应的第一颜色通道的像素信号,在后续的信号处理过程中可以获得更多的信息。
此外,请结合图16、图18、图30及图31,本申请实施方式的图像传感器30中,对于不能输出第三像素信号的合并像素进行插值处理时,大部分合并像素的第二颜色通道的值均能通过四个具有第二颜色通道的值的第三像素信号计算得到。例如,在图31所示的由多个第三像素信号形成的第二图像信号M2中,左起第二行第三列的第三像素信号可以根据左起第一行第三列的第三像素信号、左起第二行第二列的第三像素信号、左起第二行第四列的第三像素信号、左起第三行第三列的第三像素信号计算得到。在本申请实施方式的图像传感器30中,对于不能输出第四像素信号的合并像素进行插值处理时,大部分合并像素的第三颜色通道的值均能通过四个具有第三颜色通道的值的第四像素信号计算得到。例如,在图31所示的由多个第四像素信号形成的第三图像信号M3中,左起第三行第三列的第四像素信号可以根据左起第二行第三列的第四像素信号、左起第三行第二列的第四像素信号、左起第三行第四列的第四像素信号、左起第四行第三列的第四像素信号计算得到。由此,用于插值生成像素信号的可以利用的像素信号的个数较多,插值后的像素信号的准确度较高。
综上,本申请实施方式的图像传感器30中,每个第一滤光片组311和每个第二滤光片组312中均具有第一颜色滤光片A,使得第一滤光片组311对应的像素320及第二滤光片组312对应的像素320均能生成具有第一颜色通道的值的像素信号。由此,在彩色图像的生成过程中,第一颜色通道的值不需要进行插值处理,彩色图像的色彩还原度更加准确。并且,对第二颜色通道的值(或第三颜色通道的值)进行插值处理时,大部分待插值生成的第二颜色通道的值(或待插值生成的第三颜色通道的值)均能够借用相邻的四个具有第二颜色通道的值(或相邻的四个具有第三颜色通道的值)的像素信号计算得到,插值生成的具有第二颜色通道的值(或第三颜色通道的值)的像素信号的准确度较高,有利于进一步提升彩色图像的色彩还原的准确性。
由于现有的处理图像传感器输出的像素信号的处理器只能处理以拜耳阵列形式排布的图像对应的多个像素信号,而本申请的图像传感器30(图16所示)输出的多个像素信号形成的图像信号对应的图像并不是以拜耳阵列形式排布的图像。因此,为使得本申请的图像传感器30输出的多个像素信号能够被处理器处理,在某些实施方式中,图像传感器30还可以用于处理第一像素信号、第二像素信号、第三像素信号、及第四像素信号以输出图像信号。图像信号包括多个图像信号单元U,每个图像信号单元U均包括四个像素信号。其中,两个像素信号具有第一颜色通道的值,另一个像素信号具有第二颜色通道的值,剩余一个像素信号具有第三颜色通道的值。四个像素信号对应的颜色呈拜耳阵列排布。
具体地,请结合图16、图30和图34,图像传感器30输出多个第一像素信号、多个第二像素信号、多个第三像素信号、及多个第四像素信号。多个第一像素信号及多个第二像素信号形成第一图像信号M1,多个第三像素信号形成第二图像信号M2,多个第四像素信号形成第三图像信号M3。图像传感器30根据多个第三像素信号对第二图像信号M2进行插值处理,以使得插值后的第二图像信号M2’中的每一个像素信号均具有第二颜色通道的值。图像传感器30根据多个第四像素信号对第三图像信号M3做插值处理,以使得插值后的第三图像信号M3’中的每一个像素信号均具有第三颜色通道的值。随后,图像传感器30从插值后的第二图像信号M2’中选出多个具有第二颜色通道的值的像素信号,从第一图像信号M1中选出多个具有第一颜色通道的值的像素信号,从第三图像信号M3’中选出多个具有第三颜色通道的值的像素信号。由此,多个具有第一颜色通道的值的像素信号、多个具有第二颜色通道的值的像素信号、多个具有第三颜色通道的值的像素信号形成一图像信号,该图像信号包括多个图像信号单元U。每个图像信号单元U均包括四个像素信号,其中两个像素信号具有第一颜色通道的值,一个像素信号具有第二颜色通道的值,剩余一个像素信号具有第三颜色通道的值。如此,每个图像信号单元U中的四个像素信号对应的颜色通道均呈拜耳阵列排布。图像信号输出至处理器后,处理器可以直接对图像信号进行处理。
请参阅图16、图18和图35,本申请还提供一种成像装置。成像装置包括图15至图21任意一个实施方式的图像传感器30。
在某些实施方式中,成像装置还包括处理器。处理器可以用于处理第一像素信号、第二像素信号、用于表征作用于第二颜色滤光片B对应像素320的光线的第二颜色通道的值的第三像素信号、及用于表征作用于第三颜色滤光片C对应像素320的光线的第三颜色通道的值的第四像素信号以生成彩色图像。具体地,请结合图31,多个第一像素信号及多个第二像素信号形成第一图像信号M1,多个第三像素信号形成第二图像信号M2,多个第四像素信号形成第三图像信号M3。处理器可以根据多个第三像素信号对第二图像信号M2做插值处理,以使插值后的第二图像信号M2’中的每一个像素信号均具有第二颜色通道的值。示例地,以第二图像信号M2中左起第一行第二列的像素信号为例,该像素信号不具有第二颜色通道的值,该像素信号可以通过左起第一行第一列的具有第二颜色通道的值的像素信号、左起第一行第三列的具有第二颜色通道的值的像素信号、及左起第二行第二列的具有第二颜色通道的值的像素信号计算得到,例如,可以对这三个像素信号取均值并将均值作为左起第一行第二列的像素信号。再例如,以第二图像信号M2中左起第二行第三列的像素信号为例,该像素信号不具有第二颜色通道的值,该像素信号可以根据左起第一行第三列的具有第二颜色通道的值的像素信号、左起第二行第二列的具有第二颜色通道的值的像素信号、左起第二行第四列的具有第二颜色通道的值的像素信号、左起第三行第三列的具有第二颜色通道的值的像素信号计算得到,例如,可以对四个像素信号取均值并将均值作为左起第二行第三列的像素信号。处理器还可以根据多个第四像素信号对第三图像信号M3做插值处理,以使插值后的第三图像信号M3’中的每一个像素信号均具有第三颜色通道的值。示例地,以第三图像信号M3中左起第一行第一列的像素信号为例,该像素信号不具有第三颜色通道的值,该像素信号可以通过左起第二行第二列的具有第三颜色通道的值的像素信号及左起第二行第一列的具有第三颜色通道的值的像素信号计算得到,例如,可以对这两个像素信号取均值并将均值作为左起第一行第一列的像素信号。再例如,以第三图像信号M3中左起第二行第二列的像素信号为例,该像素信号不具有第三颜色通道的值,该像素信号可以根据左起第一行第二列的具有第三颜色通道的值的像素信号、左起第二行第一列的具有第三颜色通道的值的像素信号、左起第二行第三列的具有第三颜色通道的值的像素信号、左起第三行第二列的具有第三颜色通道的值的像素信号计算得到,例如,可以对四个像素信号取均值并将均值作为左起第二行第二列的像素信号。由此,第一图像信号M1中的每个像素信号均具有第一颜色通道的值,插值后的第二图像信号M2’中的每个像素均具有第二颜色通道的值,插值后的第三图像信号M3’中的每个像素均具有第三颜色通道的值。处理器可以处理第一图像信号M1、插值后的第二图像信号M2’、插值后的第三图像信号M3’以生成彩色图像。彩色图像中每一个图像像素均具有第一颜色通道的值、第二颜色通道的值、及第三颜色通道的值。
在某些实施方式中,请结合图34和图35,当处理器接收到的是包括多个图像信号单元U的图像信号时,处理器可以根据图像信号中的多个像素信号进行插值处理,以输出三个图像信号,其中一个图像信号中每个像素信号均具有第一颜色通道的值,另一个图像信号中的每个像素信号均具有第二颜色通道的值,剩余一个图像信号中的每个像素信号均具有第三颜色通道的值。处理器可以处理三个图像信号以生成彩色图像。彩色图像中的每一个图像像素均具有第一颜色通道的值、第二颜色通道的值、及第三颜色通道的值。
在某些实施方式中,当成像装置处于静态模式(即拍摄静态图像的模式)时,图像传感器30(图15所示)可以直接输出图31所示的图像信号(M1、M2、及M3),处理器处理该图像信号以生成彩色图像。如此,在彩色图像的生成过程中,第一颜色通道的值不需要进行插值处理,彩色图像的色彩还原度更加准确,图像细节表达更佳。当成像装置处于预览模式或录像模式时,图像传感器30可以直接输出图34所示的包括多个图像信号单元U的图像信号,处理器处理该图像信号以生成彩色图像。如此,在彩色图像的生成过程中,呈拜耳阵列排布的图像对应的图像信号是在图像传感器30这一硬件中处理得到的,无需在处理器中利用软件处理图像信号以得到呈拜耳阵列排布的图像对应的图像信号,可以减少彩色图像的生成时间,提升彩色图像的获取速度。
请参阅图16、图18和图36,本申请还提供一种电子设备。电子设备可以是手机、平板电脑、笔记本电脑、智能手表、智能手环、智能头盔、智能眼镜、无人设备(例如无人机、无人车、无人船)等,在此不作限制。电子设备包括成像装置。成像装置包括图15至图21任意一项实施方式的图像传感器30。电子设备还包括处理器。电子设备的处理器可以执行与图35所示成像装置中的处理器所能执行的功能相同的功能,在此不做赘述。
请参阅图16、图18和图34,本申请还提供一种图像处理系统。图像处理系统包括电子设备。电子设备包括成像装置。成像装置包括图15至图21任意一个实施方式的图像传感器30。图像处理系统还包括处理器。图像处理系统的处理器可以执行与图35所示成像装置中的处理器所能执行的功能相同的功能,在此不做赘述。
其中,处理器可以位于负责云计算的服务器中,也可以位于负责边缘计算的服务器中。如此,图像传感器30(图16所示)输出的像素信号的后续处理可以卸载到服务器中执行,可以节约成像装置或电子设备的功耗。
请参阅图16、图18和图22,本申请还提供一种信号处理方法。信号处理方法可以用于图15至图21任意一个实施方式所述的图像传感器30。信号处理方法包括:
031:将第一滤光片组311对应的像素320产生的电信号合并生成第一像素信号和第三像素信号,第一像素信号用于表征作用于第一滤光片组311对应像素320的光线的第一颜色通道的值,第三像素信号用于表征作用于第一滤光片组311对应像素320的光线的第二颜色通道的值;及
032:将第二滤光片组312对应的像素产生的电信号合并生成第二像素信号和第四像素信号,第二像素信号用于表征作用于第二滤光片组312对应像素320的光线的第一颜色通道的值,第四像素信号用于表征作用于第二滤光片组312对应像素320的光线的第三颜色通道的值。
在某些实施方式中,信号处理方法还包括:处理第一像素信号、第二像素信号、第三像素信号、及第四像素信号以生成彩色图像。具体地,多个第一像素信号及多个第二像素信号可以形成第一图像信号,多个第三像素信号可以形成第二图像信号,多个第四像素信号可以形成第三图像信号。处理第一像素信号、第二像素信号、第三像素信号、及第四像素信号以生成彩色图像的步骤包括:根据多个第三像素信号对第二图像信号做插值处理,以使插值处理后的第二图像信号中的每一个像素信号均具有第二颜色通道的值;根据多个第四像素信号对第三图像信号做插值处理,以使插值处理后的第三图像信号中的每一个像素信号均具有第三颜色通道的值;处理第一图像信号、插值处理后的第二图像信号、插值处理后的第三图像信号以生成彩色图像。
在某些实施方式中,信号处理方法还包括:处理第一像素信号、第二像素信号、第三像素信号、及第四像素信号以输出图像信号。图像信号包括多个图像信号单元,每个图像信号单元均包括四个像素信号,其中两个像素信号具有第一颜色通道的值,另一个像素信号具有第二颜色通道的值,剩余一个像素信号具有第三颜色通道的值,四个像素信号对应的颜色通道呈拜耳阵列排布。
在某些实施方式中,信号处理方法还包括:在静态模式时,执行处理第一像素信号、第二像素信号、第三像素信号、及第四像素信号以生成彩色图像的步骤;在预览模式或录像模式时,执行处理第一像素信号、第二像素信号、第三像素信号、及第四像素信号以输出包括多个图像信号单元的图像信号的步骤。
综上,本申请实施方式的成像装置、电子设备、图像处理系统、及信号处理方法中,图像传感器30内的每个第一滤光片组311和每个第二滤光片组312中均具有第一颜色滤光片A,使得第一滤光片组311对应的像素及第二滤光片组312对应的像素均能生成具有第一颜色通道的值的像素信号。由此,在彩色图像的生成过程中,第一颜色通道的值不需要进行插值处理,彩色图像的色彩还原度更加准确。
请参阅图23至图25,本申请还提供一种图像传感器40。图像传感器40包括滤光片阵列41及像素阵列42。滤光片阵列41包括多个第一颜色滤光片A、多个第二颜色滤光片B、及多个第三颜色滤光片C。滤光片410以两个第一颜色滤光片A、一个第二颜色滤光片B、一个第三颜色滤光片C为一个单位,且每个单位中的两个第一颜色滤光片A不相邻,一个第二颜色滤光片B与一个第三颜色滤光片C不相邻。在第一方向和第二方向上,多个单位均呈周期性排列,其中,第一方向与第二方向垂直。像素阵列42包括多个像素420。每个像素420对应滤光片阵列41的一个滤光片410,像素420用于接收穿过对应的滤光片410的光线以生成电信号。图像传感器40用于将位于同一区域的多个第一颜色滤光片A对应像素420和多个第二颜色滤光片B对应像素420产生的电信号合并生成第一像素信号和第三像素信号,第一像素信号用于表征作用于第一颜色滤光片A对应像素420的光线的第一颜色通道的值,第三像素信号用于表征作用于第二颜色滤光片B对应像素420的光线的第二颜色通道的值。图像传感器40用于将位于同一区域的多个第一颜色滤光片A对应像素420和多个第三颜色滤光片C对应像素420产生的电信号合并生成第二像素信号和第四像素信号,第二像素信号用于表征作用于第一颜色滤光片A对应像素420的光线的第一颜色通道的值,第四像素信号用于表征作用于第三颜色滤光片C对应像素420的光线的第三颜色通道的值。
下面结合附图对本申请的图像传感器40作进一步说明。
请参阅图23至图25,本申请实施方式的图像传感器40包括微透镜阵列43、滤光片阵列41、及像素阵列42。沿图像传感器40的收光方向,微透镜阵列43、滤光片阵列41、及像素阵列42依次设置。
滤光片阵列41包括多个第一颜色滤光片A、多个第二颜色滤光片B、及多个第三颜色滤光片C。滤光片410以两个第一颜色滤光片A、一个第二颜色滤光片B、一个第三颜色滤光片C为一个单位,且每个单位中的两个第一颜色滤光片A不相邻,一个第二颜色滤光片B与一个第三颜色滤光片C不相邻。在第一方向和第二方向上,多个单位均呈周期性排列,其中,第一方向与第二方向垂直。
像素阵列42包括多个像素420。每个像素420对应滤光片阵列41的一个滤光片410,像素420用于接收穿过对应的滤光片410的光线以生成电信号。
微透镜阵列43包括多个微透镜组431。位于同一区域的第一颜色滤光片A及第二颜色滤光片B作为一个第一滤光片组411。位于同一区域的第一颜色滤光片A及第三颜色滤光片C作为一个第二滤光片组412。微透镜阵列43中的一个微透镜组431对应一个滤光片组(第一滤光片组411或第二滤光片组412),并与该一个滤光片组对应的多个像素420对应。如图23所示,每个微透镜组431均包括多个微透镜430,每个微透镜430对应一个滤光片410及一个像素420。如图24所示,每个微透镜组431均包括一个微透镜430,每个微透镜430对应一个滤光片组,并与该一个滤光片组对应的多个像素420对应。
图25至图28是本申请一个实施例的滤光片阵列41中部分滤光片410的排布示意图。图25至图28所示的滤光片阵列41中,每个滤光片阵列41均包括多个第一颜色滤光片A、第二颜色滤光片B、及第三颜色滤光片C。滤光片410以两个第一颜色滤光片A、一个第二颜色滤光片B、一个第三颜色滤光片C为一个单位,且每个单位中的两个第一颜色滤光片A不相邻,一个第二颜色滤光片B与一个第三颜色滤光片C不相邻。在第一方向和第二方向上,多个单位均呈周期性排列,其中,第一方向与第二方向垂直。
其中,第一颜色滤光片A、第二颜色滤光片B、第三颜色滤光片C的颜色组成方式可以有多种,例如第一颜色滤光片A可以为绿色滤光片G,第二颜色滤光片B可以为红色滤光片R,第三颜色滤光片C可以为蓝色滤光片Bu;再例如,第一颜色滤光片A可以为黄色滤光片Y,第二颜色滤光片B可以为红色滤光片R,第三颜色滤光片C可以为蓝色滤光片Bu。第一颜色滤光片A、第二颜色滤光片B、第三颜色滤光片C的颜色组成方式不限于上述两个示例所示的组成方式。
图25是本申请一个实施例的滤光片阵列41中部分滤光片410的排布示意图。请参阅图25,部分滤光片410的排布方式为:
Figure GPA0000305367020000401
/>
其中,A为第一颜色滤光片,B为第二颜色滤光片,C为第三颜色滤光片。
如图25所示,滤光片410以两个第一颜色滤光片A、一个第二颜色滤光片B、一个第三颜色滤光片C为一个单位在图像传感器40(图23所示)的水平方向H及垂直方向V上呈周期排列。其中,每个单位中的两个第一颜色滤光片A不相邻,一个第二颜色滤光片B与一个第三颜色滤光片C不相邻。一个单位内的多个滤光片410的排列顺序可以为多种。以图25为例,对于左起第一行滤光片410,滤光片410以第一颜色滤光片A、第二颜色滤光片B、第一颜色滤光片A、第三颜色滤光片C的顺序为单位呈周期排列;对于左起第二行滤光片410,滤光片410以第二颜色滤光片B、第一颜色滤光片A、第三颜色滤光片C、第一颜色滤光片A的顺序为单位呈周期排列;对于左起第三行滤光片410,滤光片410以第一颜色滤光片A、第三颜色滤光片C、第一颜色滤光片A、第二颜色滤光片B的顺序为单位呈周期排列;对于左起第四行滤光片410,滤光片410以第三颜色滤光片C、第一颜色滤光片A、第二颜色滤光片B、第一颜色滤光片A的顺序为单位呈周期排列。以图25为例,对于左起第一列滤光片410,滤光片410以第一颜色滤光片A、第二颜色滤光片B、第一颜色滤光片A、第三颜色滤光片C的顺序为单位呈周期排列;对于左起第二列滤光片410,滤光片410以第二颜色滤光片B、第一颜色滤光片A、第三颜色滤光片C、第一颜色滤光片A的顺序为单位呈周期排列;对于左起第三列滤光片410,滤光片410以第一颜色滤光片A、第三颜色滤光片C、第一颜色滤光片A、第二颜色滤光片B的顺序为单位呈周期排列;对于左起第四列滤光片410,滤光片410以第三颜色滤光片C、第一颜色滤光片A、第二颜色滤光片B、第一颜色滤光片A的顺序为单位呈周期排列。
如图25所示,位于左起第一行第一列的滤光片410、左起第一行第二列的滤光片410、左起第二行第一列的滤光片410、左起第二行第二列的滤光片410位于同一区域,这四个滤光片410可以组成一个第一滤光片组411。类似地,位于左起第一行第五列的滤光片410、左起第一行第六列的滤光片410、左起第二行第五列的滤光片410、左起第二行第五列的滤光片410位于同一区域,这四个滤光片410可以组成一个第一滤光片组411。如图25所示,位于左起第一行第三列的滤光片410、左起第一行第四列的滤光片410、左起第二行第三列的滤光片410、左起第二行第四列的滤光片410位于同一区域,这四个滤光片410可以组成一个第二滤光片组412。类似地,位于左起第一行第七列的滤光片410、左起第一行第八列的滤光片410、左起第二行第七列的滤光片410、左起第二行第八列的滤光片410位于同一区域,这四个滤光片410可以组成一个第二滤光片组412。由此,滤光片阵列41包括多个第一滤光片组411及多个第二滤光片组412。其中,每个第一滤光片组411均包括数量相同的多个第一颜色滤光片A及多个第二颜色滤光片B。每个第二滤光片组412均包括数量相同的多个第一颜色滤光片A及多个第三颜色滤光片C。
图26是本申请一个又实施例的滤光片阵列41中部分滤光片410的排布示意图。请参阅图26,部分滤光片410的排布方式为:
Figure GPA0000305367020000411
其中,A为第一颜色滤光片,B为第二颜色滤光片,C为第三颜色滤光片。
如图26所示,滤光片410以两个第一颜色滤光片A、一个第二颜色滤光片B、一个第三颜色滤光片C为一个单位在图像传感器40(图23所示)的水平方向H及垂直方向V上呈周期排列。其中,每个单位中的两个第一颜色滤光片A不相邻,一个第二颜色滤光片B与一个第三颜色滤光片C不相邻。一个单位内的多个滤光片410的排列顺序可以为多种。以图26为例,对于左起第一行滤光片410,滤光片410以第二颜色滤光片B、第一颜色滤光片A、第三颜色滤光片C、第一颜色滤光片A的顺序为单位呈周期排列;对于左起第二行滤光片410,滤光片410以第一颜色滤光片A、第二颜色滤光片B、第一颜色滤光片A、第三颜色滤光片C的顺序为单位呈周期排列;对于左起第三行滤光片410,滤光片410以第三颜色滤光片C、第一颜色滤光片A、第二颜色滤光片B、第一颜色滤光片A的顺序为单位呈周期排列;对于左起第四行滤光片410,滤光片410以第一颜色滤光片A、第三颜色滤光片C、第一颜色滤光片A、第二颜色滤光片B的顺序为单位呈周期排列。以图26为例,对于左起第一列滤光片410,滤光片410以第二颜色滤光片B、第一颜色滤光片A、第三颜色滤光片C、第一颜色滤光片A的顺序为单位呈周期排列;对于左起第二列滤光片410,滤光片410以第一颜色滤光片A、第二颜色滤光片B、第一颜色滤光片A、第三颜色滤光片C的顺序为单位呈周期排列;对于左起第三列滤光片410,滤光片410以第三颜色滤光片C、第一颜色滤光片A、第二颜色滤光片B、第一颜色滤光片A的顺序为单位呈周期排列;对于左起第四列滤光片410,滤光片410以第一颜色滤光片A、第三颜色滤光片C、第一颜色滤光片A、第二颜色滤光片B的顺序为单位呈周期排列。
如图26所示,位于左起第一行第一列的滤光片410、左起第一行第二列的滤光片410、左起第二行第一列的滤光片410、左起第二行第二列的滤光片410位于同一区域,这四个滤光片410可以组成一个第一滤光片组411。类似地,位于左起第一行第五列的滤光片410、左起第一行第六列的滤光片410、左起第二行第五列的滤光片410、左起第二行第五列的滤光片410位于同一区域,这四个滤光片410可以组成一个第一滤光片组411。如图26所示,位于左起第一行第三列的滤光片410、左起第一行第四列的滤光片410、左起第二行第三列的滤光片410、左起第二行第四列的滤光片410位于同一区域,这四个滤光片410可以组成一个第二滤光片组412。类似地,位于左起第一行第七列的滤光片410、左起第一行第八列的滤光片410、左起第二行第七列的滤光片410、左起第二行第八列的滤光片410位于同一区域,这四个滤光片410可以组成一个第二滤光片组412。由此,滤光片阵列41包括多个第一滤光片组411及多个第二滤光片组412。其中,每个第一滤光片组411均包括数量相同的多个第一颜色滤光片A及多个第二颜色滤光片B。每个第二滤光片组412均包括数量相同的多个第一颜色滤光片A及多个第三颜色滤光片C。
图27是本申请一个实施例的滤光片阵列41中部分滤光片410的排布示意图。请参阅图27,部分滤光片410的排布方式为:
Figure GPA0000305367020000421
其中,A为第一颜色滤光片,B为第二颜色滤光片,C为第三颜色滤光片。
如图27所示,滤光片410以两个第一颜色滤光片A、一个第二颜色滤光片B、一个第三颜色滤光片C为一个单位在图像传感器40(图23所示)的水平方向H及垂直方向V上呈周期排列。其中,每个单位中的两个第一颜色滤光片A不相邻,一个第二颜色滤光片B与一个第三颜色滤光片C不相邻。一个单位内的多个滤光片410的排列顺序可以为多种。以图27为例,对于左起第一行滤光片410,滤光片410以第一颜色滤光片A、第三颜色滤光片C、第一颜色滤光片A、第二颜色滤光片B的顺序为单位呈周期排列;对于左起第二行滤光片410,滤光片410以第三颜色滤光片C、第一颜色滤光片A、第二颜色滤光片B、第一颜色滤光片A的顺序为单位呈周期排列;对于左起第三行滤光片410,滤光片410以第一颜色滤光片A、第二颜色滤光片B、第一颜色滤光片A、第三颜色滤光片C的顺序为单位呈周期排列;对于左起第四行滤光片410,滤光片410以第二颜色滤光片B、第一颜色滤光片A、第三颜色滤光片C、第一颜色滤光片A的顺序为单位呈周期排列。以图27为例,对于左起第一列滤光片410,滤光片410以第一颜色滤光片A、第三颜色滤光片C、第一颜色滤光片A、第二颜色滤光片B的顺序为单位呈周期排列;对于左起第二列滤光片410,滤光片410以第三颜色滤光片C、第一颜色滤光片A、第二颜色滤光片B、第一颜色滤光片A的顺序为单位呈周期排列;对于左起第三列滤光片410,滤光片410以第一颜色滤光片A、第二颜色滤光片B、第一颜色滤光片A、第三颜色滤光片C的顺序为单位呈周期排列;对于左起第四列滤光片410,滤光片410以第二颜色滤光片B、第一颜色滤光片A、第三颜色滤光片C、第一颜色滤光片A的顺序为单位呈周期排列。
如图27所示,位于左起第一行第一列的滤光片410、左起第一行第二列的滤光片410、左起第二行第一列的滤光片410、左起第二行第二列的滤光片410位于同一区域,这四个滤光片410可以组成一个第二滤光片组412。类似地,位于左起第一行第五列的滤光片410、左起第一行第六列的滤光片410、左起第二行第五列的滤光片410、左起第二行第五列的滤光片410位于同一区域,这四个滤光片410可以组成一个第二滤光片组412。如图27所示,位于左起第一行第三列的滤光片410、左起第一行第四列的滤光片410、左起第二行第三列的滤光片410、左起第二行第四列的滤光片410位于同一区域,这四个滤光片410可以组成一个第一滤光片组411。类似地,位于左起第一行第七列的滤光片410、左起第一行第八列的滤光片410、左起第二行第七列的滤光片410、左起第二行第八列的滤光片410位于同一区域,这四个滤光片410可以组成一个第一滤光片组411。由此,滤光片阵列41包括多个第一滤光片组411及多个第二滤光片组412。其中,每个第一滤光片组411均包括数量相同的多个第一颜色滤光片A及多个第二颜色滤光片B。每个第二滤光片组412均包括数量相同的多个第一颜色滤光片A及多个第三颜色滤光片C。
图28是本申请一个又实施例的滤光片阵列41中部分滤光片410的排布示意图。请参阅图28,部分滤光片410的排布方式为:
Figure GPA0000305367020000422
Figure GPA0000305367020000431
其中,A为第一颜色滤光片,B为第二颜色滤光片,C为第三颜色滤光片。
如图28所示,滤光片410以两个第一颜色滤光片A、一个第二颜色滤光片B、一个第三颜色滤光片C为一个单位在图像传感器40(图23所示)的水平方向H及垂直方向V上呈周期排列。其中,每个单位中的两个第一颜色滤光片A不相邻,一个第二颜色滤光片B与一个第三颜色滤光片C不相邻。一个单位内的多个滤光片410的排列顺序可以为多种。以图28为例,对于左起第一行滤光片410,滤光片410以第三颜色滤光片C、第一颜色滤光片A、第二颜色滤光片B、第一颜色滤光片A的顺序为单位呈周期排列;对于左起第二行滤光片410,滤光片410以第一颜色滤光片A、第三颜色滤光片C、第一颜色滤光片A、第二颜色滤光片B的顺序为单位呈周期排列;对于左起第三行滤光片410,滤光片410以第二颜色滤光片B、第一颜色滤光片A、第三颜色滤光片C、第一颜色滤光片A的顺序为单位呈周期排列;对于左起第四行滤光片410,滤光片410以第一颜色滤光片A、第二颜色滤光片B、第一颜色滤光片A、第三颜色滤光片C的顺序为单位呈周期排列。以图28为例,对于左起第一列滤光片410,滤光片410以第三颜色滤光片C、第一颜色滤光片A、第二颜色滤光片B、第一颜色滤光片A的顺序为单位呈周期排列;对于左起第二列滤光片410,滤光片410以第一颜色滤光片A、第三颜色滤光片C、第一颜色滤光片A、第二颜色滤光片B的顺序为单位呈周期排列;对于左起第三列滤光片410,滤光片410以第二颜色滤光片B、第一颜色滤光片A、第三颜色滤光片C、第一颜色滤光片A的顺序为单位呈周期排列;对于左起第四列滤光片410,滤光片410以第一颜色滤光片A、第二颜色滤光片B、第一颜色滤光片A、第三颜色滤光片C的顺序为单位呈周期排列。
如图28所示,位于左起第一行第一列的滤光片410、左起第一行第二列的滤光片410、左起第二行第一列的滤光片410、左起第二行第二列的滤光片410位于同一区域,这四个滤光片410可以组成一个第二滤光片组412。类似地,位于左起第一行第五列的滤光片410、左起第一行第六列的滤光片410、左起第二行第五列的滤光片410、左起第二行第五列的滤光片410位于同一区域,这四个滤光片410可以组成一个第二滤光片组412。如图28所示,位于左起第一行第三列的滤光片410、左起第一行第四列的滤光片410、左起第二行第三列的滤光片410、左起第二行第四列的滤光片410位于同一区域,这四个滤光片410可以组成一个第一滤光片组411。类似地,位于左起第一行第七列的滤光片410、左起第一行第八列的滤光片410、左起第二行第七列的滤光片410、左起第二行第八列的滤光片410位于同一区域,这四个滤光片410可以组成一个第一滤光片组411。由此,滤光片阵列41包括多个第一滤光片组411及多个第二滤光片组412。其中,每个第一滤光片组411均包括数量相同的多个第一颜色滤光片A及多个第二颜色滤光片B。每个第二滤光片组412均包括数量相同的多个第一颜色滤光片A及多个第三颜色滤光片C。
请结合图23至图28,本申请实施方式的图像传感器40中,位于同一区域的多个第一颜色滤光片A对应像素420及多个第二颜色滤光片B对应像素420产生的电信号可以合并生成第一像素信号和第三像素信号。位于同一区域的多个第一颜色滤光片A对应像素420及多个第三颜色滤光片C对应像素420产生的电信号可以合并生成第二像素信号和第三像素信号。
以图25所示滤光片阵列41为例,滤光片阵列41包括多个第一滤光片组411及多个第二滤光片组412,每个滤光片组均包括2*2个滤光片410,此时每个滤光片组对应四个像素420。请结合图23、图25和图30,第一滤光片组411对应的四个像素420中,两个像素420能够接收穿过第一颜色滤光片A的光线以生成两个电信号,另外两个像素420能够接收穿过第二颜色滤光片B的光线以生成两个电信号。图像传感器40将接收穿过第一颜色滤光片A的光线的两个像素420生成的电信号合并以得到第一像素信号,并将接收穿过第二颜色滤光片B的光线的两个像素420生成的电信号合并以得到第三像素信号。其中,第一像素信号用于表征作用于第一滤光片组411中第一颜色滤光片A对应像素420的光线的第一颜色通道的值,第三像素信号用于表征作用于第一滤光片组411中第二颜色滤光片B对应像素420的光线的第二颜色通道的值。第二滤光片组412对应的四个像素420中,两个像素420能够接收穿过第一颜色滤光片A的光线以生成两个电信号,另外两个像素420能够接收穿过第三颜色滤光片C的光线以生成两个电信号。图像传感器40将接收穿过第一颜色滤光片A的光线的两个像素420生成的电信号合并以得到第二像素信号,将接收穿过第三颜色滤光片C的光线的两个像素420生成的电信号合并以得到第四像素信号。其中,第二像素信号用于表征作用于第二滤光片组412中第一颜色滤光片A对应像素420的光线的第一颜色通道的值,第四像素信号用于表征作用于第二滤光片组412第三颜色滤光片C对应像素420的光线的第三颜色通道的值。
由此,每个第一滤光片组411对应的四个像素420可以组成一个第一合并像素,每个第一合并像素均可以生成第一像素信号及第三像素信号。每个第二滤光片组412对应的四个像素420可以组成一个第二合并像素,每个第二合并像素均可以生成第二像素信号及第四像素信号。由于每个合并像素均可以输出具有第一颜色通道的值的像素信号(第一像素信号或第二像素信号),仅部分合并像素可以输出具有第二颜色通道的值的第三像素信号,仅部分合并像素可以输出具有第三颜色通道的值的第四像素信号。因此,不能输出第三像素信号的合并像素需要进行插值处理,以计算获得该合并像素的第二颜色通道的值;不能输出第四像素信号的合并像素也需要进行插值处理,以计算获得该合并像素的第三颜色通道的值。如此,每个合并像素均能够获得第一颜色通道、第二颜色通道以及第三颜色通道的值,通过色彩空间计算即可生成彩色图像。
请参阅图33,现有的呈拜耳阵列排布的滤光片阵列中,每个滤光片对应的像素仅能生成具有一个颜色通道的值的像素信号。例如,左起第一行第一列的像素信号对应的像素仅具有第二颜色通道的值,该像素的第一颜色通道的值及第三颜色通道的值均需要通过插值得到;左起第一行第二列的像素信号对应的像素仅具有第一颜色通道的值,该像素的第二颜色通道的值及第三颜色通道的值均需要通过插值得到;左起第二行第二列的像素信号对应的像素仅具有第三颜色通道的值,该像素的第一颜色通道的值及第二颜色通道的值均需要通过插值得到。如此,一个像素信号对应的像素的其余多个颜色通道的值均需要经过插值处理来获取。然而,通过插值方式获取的像素信号的准确度不够高,会导致最终生成的彩色图像的色彩还原度不准确。此外,现有的呈拜耳阵列排布的滤光片阵列中,插值生成具有第一颜色通道的值的像素信号及插值生成具有第二颜色通道的值的像素信号时,大部分插值生成的像素信号仅能利用两个像素信号计算得到。示例地,在图33的仅包含具有第二颜色通道的值的像素信号的图像信号中,左起第二行第三列的像素信号对应的像素不具有第二颜色通道的值,该像素的第二颜色通道的值需要通过与该像素相邻的具有第二颜色通道的值的像素的像素信号得到,即根据第一行第三列的具有第二颜色通道的值的像素信号及第三行第三列的具有第二颜色通道的值的像素信号得到;再例如,在图33的仅包含具有第三颜色通道的值的像素信号的图像信号中,左起第三行第二列的像素信号不具有第三颜色通道的值,该像素信号对应的像素的第三颜色通道的值需要通过与该像素相邻的具有第三颜色通道的值的像素的像素信号得到,即根据第二行第二列的具有第三颜色通道的值的像素信号及第四行第二列的具有第三颜色通道的值的像素信号得到。如此,用于插值生成像素信号的可以利用的像素信号的个数较少,插值后的像素信号的准确度不够高。
请结合图23、图25、图30至图32,本申请实施方式的图像传感器40中,与由多个像素420组成的像素阵列42的分辨率相比,由多个合并像素对应的像素信号组成的图像的分辨率有所降低,但是由于每个合并像素均具备具有第一颜色通道的值的像素信号,因此,第一颜色通道的值不需要进行插值处理,最终生成的彩色图像的色彩还原度会更加准确,并且由于像素阵列42的每个合并像素都直接获得了对应的第一颜色通道的像素信号,在后续的信号处理过程中可以获得更多的信息。
此外,请结合图23、图25、图30及图31,本申请实施方式的图像传感器40中,对于不能输出第三像素信号的合并像素进行插值处理时,大部分合并像素的第二颜色通道的值均能通过四个具有第二颜色通道的值的第三像素信号计算得到。例如,在图31所示的由多个第三像素信号形成的第二图像信号M2中,左起第二行第三列的第三像素信号可以根据左起第一行第三列的第三像素信号、左起第二行第二列的第三像素信号、左起第二行第四列的第三像素信号、左起第三行第三列的第三像素信号计算得到。在本申请实施方式的图像传感器40中,对于不能输出第四像素信号的合并像素进行插值处理时,大部分合并像素的第三颜色通道的值均能通过四个具有第三颜色通道的值的第四像素信号计算得到。例如,在图31所示的由多个第四像素信号形成的第三图像信号M3中,左起第三行第三列的第四像素信号可以根据左起第二行第三列的第四像素信号、左起第三行第二列的第四像素信号、左起第三行第四列的第四像素信号、左起第四行第三列的第四像素信号计算得到。由此,用于插值生成像素信号的可以利用的像素信号的个数较多,插值后的像素信号的准确度较高。
综上,本申请实施方式的图像传感器40中,位于同一区域第一颜色滤光片A对应像素420和第二颜色滤光片B对应像素420产生的电信号可以合并生成具有第一颜色通道的值的第一像素信号,位于同一区域第一颜色滤光片A对应像素420和第三颜色滤光片C对应像素420产生的电信号可以合并生成具有第一颜色通道的值的第二像素信号。由此,在彩色图像的生成过程中,第一颜色通道的值不需要进行插值处理,彩色图像的色彩还原度更加准确。并且,对第二颜色通道的值(或第三颜色通道的值)进行插值处理时,大部分待插值生成的第二颜色通道的值(或待插值生成的第三颜色通道的值)均能够借用相邻的四个具有第二颜色通道的值(或相邻的四个具有第三颜色通道的值)的像素信号计算得到,插值生成的具有第二颜色通道的值(或第三颜色通道的值)的像素信号的准确度较高,有利于进一步提升彩色图像的色彩还原的准确性。
由于现有的处理图像传感器输出的像素信号的处理器只能处理以拜耳阵列形式排布的图像对应的多个像素信号,而本申请的图像传感器40(图23所示)输出的多个像素信号形成的图像信号对应的图像并不是以拜耳阵列形式排布的图像。因此,为使得本申请的图像传感器40输出的多个像素信号能够被处理器处理,在某些实施方式中,图像传感器40还可以用于处理第一像素信号、第二像素信号、第三像素信号、及第四像素信号以输出图像信号。图像信号包括多个图像信号单元U,每个图像信号单元U均包括四个像素信号。其中,两个像素信号具有第一颜色通道的值,另一个像素信号具有第二颜色通道的值,剩余一个像素信号具有第三颜色通道的值。四个像素信号对应的颜色呈拜耳阵列排布。
具体地,请结合图23、图30和图34,图像传感器40输出多个第一像素信号、多个第二像素信号、多个第三像素信号、及多个第四像素信号。多个第一像素信号及多个第二像素信号形成第一图像信号M1,多个第三像素信号形成第二图像信号M2,多个第四像素信号形成第三图像信号M3。图像传感器40根据多个第三像素信号对第二图像信号M2进行插值处理,以使得插值后的第二图像信号M2’中的每一个像素信号均具有第二颜色通道的值。图像传感器40根据多个第四像素信号对第三图像信号M3做插值处理,以使得插值后的第三图像信号M3’中的每一个像素信号均具有第三颜色通道的值。随后,图像传感器40从插值后的第二图像信号M2’中选出多个具有第二颜色通道的值的像素信号,从第一图像信号M1中选出多个具有第一颜色通道的值的像素信号,从第三图像信号M3’中选出多个具有第三颜色通道的值的像素信号。由此,多个具有第一颜色通道的值的像素信号、多个具有第二颜色通道的值的像素信号、多个具有第三颜色通道的值的像素信号形成一图像信号,该图像信号包括多个图像信号单元U。每个图像信号单元U均包括四个像素信号,其中两个像素信号具有第一颜色通道的值,一个像素信号具有第二颜色通道的值,剩余一个像素信号具有第三颜色通道的值。如此,每个图像信号单元U中的四个像素信号对应的颜色通道均呈拜耳阵列排布。图像信号输出至处理器后,处理器可以直接对图像信号进行处理。
请参阅图23、图25和图35,本申请还提供一种成像装置。成像装置包括图23至图28任意一个实施方式的图像传感器40。
在某些实施方式中,成像装置还包括处理器。处理器可以用于处理第一像素信号、第二像素信号、用于表征作用于第二颜色滤光片B对应像素420的光线的第二颜色通道的值的第三像素信号、及用于表征作用于第三颜色滤光片C对应像素420的光线的第三颜色通道的值的第四像素信号以生成彩色图像。具体地,请结合图31,多个第一像素信号及多个第二像素信号形成第一图像信号M1,多个第三像素信号形成第二图像信号M2,多个第四像素信号形成第三图像信号M3。处理器可以根据多个第三像素信号对第二图像信号M2做插值处理,以使插值后的第二图像信号M2’中的每一个像素信号均具有第二颜色通道的值。示例地,以第二图像信号M2中左起第一行第二列的像素信号为例,该像素信号不具有第二颜色通道的值,该像素信号可以通过左起第一行第一列的具有第二颜色通道的值的像素信号、左起第一行第三列的具有第二颜色通道的值的像素信号、及左起第二行第二列的具有第二颜色通道的值的像素信号计算得到,例如,可以对这三个像素信号取均值并将均值作为左起第一行第二列的像素信号。再例如,以第二图像信号M2中左起第二行第三列的像素信号为例,该像素信号不具有第二颜色通道的值,该像素信号可以根据左起第一行第三列的具有第二颜色通道的值的像素信号、左起第二行第二列的具有第二颜色通道的值的像素信号、左起第二行第四列的具有第二颜色通道的值的像素信号、左起第三行第三列的具有第二颜色通道的值的像素信号计算得到,例如,可以对四个像素信号取均值并将均值作为左起第二行第三列的像素信号。处理器还可以根据多个第四像素信号对第三图像信号M3做插值处理,以使插值后的第三图像信号M3’中的每一个像素信号均具有第三颜色通道的值。示例地,以第三图像信号M3中左起第一行第一列的像素信号为例,该像素信号不具有第三颜色通道的值,该像素信号可以通过左起第二行第二列的具有第三颜色通道的值的像素信号及左起第二行第一列的具有第三颜色通道的值的像素信号计算得到,例如,可以对这两个像素信号取均值并将均值作为左起第一行第一列的像素信号。再例如,以第三图像信号M3中左起第二行第二列的像素信号为例,该像素信号不具有第三颜色通道的值,该像素信号可以根据左起第一行第二列的具有第三颜色通道的值的像素信号、左起第二行第一列的具有第三颜色通道的值的像素信号、左起第二行第三列的具有第三颜色通道的值的像素信号、左起第三行第二列的具有第三颜色通道的值的像素信号计算得到,例如,可以对四个像素信号取均值并将均值作为左起第二行第二列的像素信号。由此,第一图像信号M1中的每个像素信号均具有第一颜色通道的值,插值后的第二图像信号M2’中的每个像素均具有第二颜色通道的值,插值后的第三图像信号M3’中的每个像素均具有第三颜色通道的值。处理器可以处理第一图像信号M1、插值后的第二图像信号M2’、插值后的第三图像信号M3’以生成彩色图像。彩色图像中每一个图像像素均具有第一颜色通道的值、第二颜色通道的值、及第三颜色通道的值。
在某些实施方式中,请结合图34和图35,当处理器接收到的是包括多个图像信号单元U的图像信号时,处理器可以根据图像信号中的多个像素信号进行插值处理,以输出三个图像信号,其中一个图像信号中每个像素信号均具有第一颜色通道的值,另一个图像信号中的每个像素信号均具有第二颜色通道的值,剩余一个图像信号中的每个像素信号均具有第三颜色通道的值。处理器可以处理三个图像信号以生成彩色图像。彩色图像中的每一个图像像素均具有第一颜色通道的值、第二颜色通道的值、及第三颜色通道的值。
在某些实施方式中,当成像装置处于静态模式(即拍摄静态图像的模式)时,图像传感器40(图23所示)可以直接输出图31所示的图像信号(M1、M2、及M3),处理器处理该图像信号以生成彩色图像。如此,在彩色图像的生成过程中,第一颜色通道的值不需要进行插值处理,彩色图像的色彩还原度更加准确,图像细节表达更佳。当成像装置处于预览模式或录像模式时,图像传感器40可以直接输出图34所示的包括多个图像信号单元U的图像信号,处理器处理该图像信号以生成彩色图像。如此,在彩色图像的生成过程中,呈拜耳阵列排布的图像对应的图像信号是在图像传感器40这一硬件中处理得到的,无需在处理器中利用软件处理图像信号以得到呈拜耳阵列排布的图像对应的图像信号,可以减少彩色图像的生成时间,提升彩色图像的获取速度。
请参阅图23、图25和图36,本申请还提供一种电子设备。电子设备可以是手机、平板电脑、笔记本电脑、智能手表、智能手环、智能头盔、智能眼镜、无人设备(例如无人机、无人车、无人船)等,在此不作限制。电子设备包括成像装置。成像装置包括图23至图28任意一项实施方式的图像传感器40。电子设备还包括处理器。电子设备的处理器可以执行与图35所示成像装置中的处理器所能执行的功能相同的功能,在此不做赘述。
请参阅图23、图25和图37,本申请还提供一种图像处理系统。图像处理系统包括电子设备。电子设备包括成像装置。成像装置包括图23至图28任意一项实施方式的图像传感器40。图像处理系统还包括处理器。图像处理系统的处理器可以执行与图35所示成像装置中的处理器所能执行的功能相同的功能,在此不做赘述。
其中,处理器可以位于负责云计算的服务器中,也可以位于负责边缘计算的服务器中。如此,图像传感器40(图23所示)输出的像素信号的后续处理可以卸载到服务器中执行,可以节约成像装置或电子设备的功耗。
请参阅图23、图25和图29,本申请还提供一种信号处理方法。信号处理方法可以用于图23至图28任意一个实施方式所述的图像传感器40。信号处理方法包括:
041:将位于同一区域的多个第一颜色滤光片A对应像素420和多个第二颜色滤光片B对应像素420产生的电信号合并生成第一像素信号和第三像素信号,第一像素信号用于表征作用于第一颜色滤光片A对应像素420的光线的第一颜色通道的值,第三像素信号用于表征作用于第二颜色滤光片B对应像素420的光线的第二颜色通道的值;及
042:将位于同一区域的多个第一颜色滤光片A对应像素420和多个第三颜色滤光片C对应像素420产生的电信号合并生成第二像素信号和第四像素信号,第二像素信号用于表征作用于第一颜色滤光片A对应像素420的光线的第一颜色通道的值,第四像素信号用于表征作用于第三颜色滤光片C对应像素420的光线的第三颜色通道的值。
在某些实施方式中,信号处理方法还包括:处理第一像素信号、第二像素信号、第三像素信号、及第四像素信号以生成彩色图像。具体地,多个第一像素信号及多个第二像素信号可以形成第一图像信号,多个第三像素信号可以形成第二图像信号,多个第四像素信号可以形成第三图像信号。处理第一像素信号、第二像素信号、第三像素信号、及第四像素信号以生成彩色图像的步骤包括:根据多个第三像素信号对第二图像信号做插值处理,以使插值处理后的第二图像信号中的每一个像素信号均具有第二颜色通道的值;根据多个第四像素信号对第三图像信号做插值处理,以使插值处理后的第三图像信号中的每一个像素信号均具有第三颜色通道的值;处理第一图像信号、插值处理后的第二图像信号、插值处理后的第三图像信号以生成彩色图像。
在某些实施方式中,信号处理方法还包括:处理第一像素信号、第二像素信号、第三像素信号、及第四像素信号以输出图像信号。图像信号包括多个图像信号单元,每个图像信号单元均包括四个像素信号,其中两个像素信号具有第一颜色通道的值,另一个像素信号具有第二颜色通道的值,剩余一个像素信号具有第三颜色通道的值,四个像素信号对应的颜色通道呈拜耳阵列排布。
在某些实施方式中,信号处理方法还包括:在静态模式时,执行处理第一像素信号、第二像素信号、第三像素信号、及第四像素信号以生成彩色图像的步骤;在预览模式或录像模式时,执行处理第一像素信号、第二像素信号、第三像素信号、及第四像素信号以输出包括多个图像信号单元的图像信号的步骤。
综上,本申请实施方式的成像装置、电子设备、图像处理系统、及信号处理方法中,图像传感器40内位于同一区域第一颜色滤光片A对应像素420和第二颜色滤光片B对应像素420产生的电信号可以合并生成具有第一颜色通道的值的第一像素信号,位于同一区域第一颜色滤光片A对应像素420和第三颜色滤光片C对应像素420产生的电信号可以合并生成具有第一颜色通道的值的第二像素信号。由此,在彩色图像的生成过程中,第一颜色通道的值不需要进行插值处理,彩色图像的色彩还原度更加准确。
本申请实施方式还提供一种计算机设备。计算机设备可以是上述任意一项实施方式所述的电子设备(图36所示)。例如,计算机设备可以是包括图像传感器10(图1所示)的电子设备,也可以是包括图像传感器20(图8所示)的电子设备,还可以是包括图像传感器30(图所示)的电子设备,还可以是包括图像传感器40(图23所示)的电子设备。
上述计算机设备中包括图像处理电路,图像处理电路可以利用硬件和/或软件组件实现,可包括定义ISP(Image Signal Processing,图像信号处理)管线的各种处理单元。图36为一个实施例中图像处理电路的示意图。如图38所示,为便于说明,仅示出与本申请实施例相关的图像处理技术的各个方面。
如图38所示,图像处理电路包括ISP处理器940和控制逻辑器950。其中,ISP处理器940可以应用在多种电子设备中,以作为电子设备中的处理器。其中,多种电子设备中的一种可以电子设备是包括图像传感器10(图1所示)的电子设备,多种电子设备中的另一种电子设备可以是包括图像传感器20(图8所示)的电子设备,多种电子设备中的再一种电子设备可以是包括图像传感器30(图16所示)的电子设备,多种电子设备中的又一种电子设备可以是包括图像传感器40(图23所示)的电子设备。
成像装置910捕捉的图像数据首先由ISP处理器940处理,ISP处理器940对图像数据进行分析以捕捉可用于确定和/或成像装置910的一个或多个控制参数的图像统计信息。成像装置910可包括具有一个或多个透镜912和图像传感器914的照相机。其中,图像传感器914可以是图像传感器10(图1所示),也可以是图像传感器20(图8所示),还可以是图像传感器30(图16所示),还可以是图像传感器40(图23所示)。图像传感器914可包括滤光片阵列,图像传感器914可获取由图像传感器914的每个像素捕捉的光强度和波长信息,并提供可由ISP处理器940处理的一组原始图像数据,例如多个第一像素信号、多个第二像素信号、多个第三像素信号、及多个第四像素信号组成的原始图像数据。传感器920(如陀螺仪)可基于传感器920接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器940。传感器920接口可以利用SMIA(Standard Mobile Imaging Architecture,标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。
此外,图像传感器914也可将原始图像数据发送给传感器920,传感器920可基于传感器920接口类型把原始图像数据提供给ISP处理器940,或者传感器920将原始图像数据存储到图像存储器930中。
ISP处理器940按多种格式逐个像素地处理原始图像数据。例如,每个图像像素可具有8、10、12或14比特的位深度,ISP处理器940可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中,图像处理操作可按相同或不同的位深度精度进行。
ISP处理器940还可从图像存储器930接收图像数据。例如,传感器920接口将原始图像数据发送给图像存储器930,图像存储器930中的原始图像数据再提供给ISP处理器940以供处理。图像存储器930可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器,并可包括DMA(Direct Memory Access,直接直接存储器存取)特征。
当接收到来自图像传感器914接口或来自传感器920接口或来自图像存储器930的原始图像数据时,ISP处理器940可进行一个或多个图像处理操作,例如时域滤波;再例如,处理第一像素信号、第二像素信号、第三像素信号、第四像素信号获取彩色图像等。处理后的图像数据(例如彩色图像)可发送给图像存储器930,以便在被显示之前进行另外的处理。ISP处理器940从图像存储器930接收处理数据,并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器940处理后的图像数据可输出给显示器970,以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit,图形处理器)进一步处理。此外,ISP处理器940的输出还可发送给图像存储器930,且显示器970可从图像存储器930读取图像数据。在一个实施例中,图像存储器930可被配置为实现一个或多个帧缓冲器。此外,ISP处理器940的输出可发送给编码器/解码器960,以便编码/解码图像数据。编码的图像数据可被保存,并在显示于显示器970设备上之前解压缩。编码器/解码器960可由CPU或GPU或协处理器实现。示例地,当计算机设备处于预览模式或录像模式下时,ISP处理器940可以处理包括多个图像信号单元U(图34所示)的图像信号以生成彩色图像这一图像数据。ISP处理器940可以将彩色图像发送给编码器/解码器960以编码彩色图像。编码的彩色图像可以被保存到图像存储器930中,还可以在显示器970上显示。
ISP处理器940确定的统计数据可发送给控制逻辑器950单元。例如,统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜912阴影校正等图像传感器914统计信息。控制逻辑器950可包括执行一个或多个例程(如固件)的处理器和/或微控制器,一个或多个例程可根据接收的统计数据,确定成像装置910的控制参数及ISP处理器940的控制参数。例如,成像装置910的控制参数可包括传感器920控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、透镜912控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如,在RGB处理期间)的增益水平和色彩校正矩阵,以及透镜912阴影校正参数。
在本说明书的描述中,参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个所述特征。在本申请的描述中,“多个”的含义是至少两个,例如两个,三个,除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本申请的实施例所属技术领域的技术人员所理解。
尽管上面已经示出和描述了本申请的实施方式,可以理解的是,上述实施方式是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型。

Claims (46)

1.一种图像传感器,其特征在于,包括:
滤光片阵列,所述滤光片阵列包括多个第一滤光片组和多个第二滤光片组,所述第一滤光片组包括数量相同的多个第一颜色滤光片和多个第二颜色滤光片,所述第二滤光片组包括数量相同的多个所述第一颜色滤光片和多个第三颜色滤光片;及
像素阵列,所述像素阵列包括多个像素,每个所述像素对应所述滤光片阵列的一个滤光片,所述像素用于接收穿过对应的所述滤光片的光线以生成电信号;
所述图像传感器用于将所述第一滤光片组对应的像素产生的电信号合并生成第一像素信号和第三像素信号,所述第一像素信号用于表征作用于所述第一滤光片组对应像素的光线的第一颜色通道的值,所述第三像素信号用于表征作用于所述第一滤光片组对应像素的光线的第二颜色通道的值,所述图像传感器用于将所述第二滤光片组对应的像素产生的电信号合并生成第二像素信号和第四像素信号,所述第二像素信号用于表征作用于所述第二滤光片组对应像素的光线的第一颜色通道的值,所述第四像素信号用于表征作用于所述第二滤光片组对应像素的光线的第三颜色通道的值;
所述图像传感器还用于处理所述第一像素信号、所述第二像素信号、所述第三像素信号、及所述第四像素信号以输出图像信号,所述图像信号包括多个图像信号单元,每个所述图像信号单元均包括四个像素信号,其中两个所述像素信号具有第一颜色通道的值,另一个所述像素信号具有第二颜色通道的值,剩余一个所述像素信号具有第三颜色通道的值,四个所述像素信号对应的颜色通道呈拜耳阵列排布。
2.根据权利要求1所述的图像传感器,其特征在于,每个所述第一滤光片组中的所述滤光片的数量均为N*N,每个所述第二滤光片组中的所述滤光片的数量均为N*N,其中,N为大于或等于2的整数。
3.根据权利要求1所述的图像传感器,其特征在于,所述第一颜色滤光片为绿色滤光片或黄色滤光片。
4.根据权利要求3所述的图像传感器,其特征在于,所述第二颜色滤光片为红色滤光片,所述第三颜色滤光片为蓝色滤光片。
5.根据权利要求1所述的图像传感器,其特征在于,多个所述第一滤光片组设置在第一对角线方向,多个所述第二滤光片组设置在第二对角线方向,所述第一对角线方向与所述第二对角线方向不同。
6.根据权利要求5所述的图像传感器,其特征在于,所述第一滤光片组与所述第二滤光片组在所述图像传感器的垂直方向和水平方向相邻布置。
7.根据权利要求1-6任意一项所述的图像传感器,其特征在于,在每个所述第一滤光片组中,多个所述第一颜色滤光片及多个所述第二颜色滤光片在所述图像传感器的垂直方向和水平方向相邻布置;
在每个所述第二滤光片组中,多个所述第一颜色滤光片及多个所述第三颜色滤光片在所述图像传感器的垂直方向和水平方向相邻布置。
8.根据权利要求1-6任意一项所述的图像传感器,其特征在于,在每个所述第一滤光片组中,多个所述滤光片逐行排列,且同一行中的多个所述滤光片的颜色相同;或
在每个所述第一滤光片组中,多个所述滤光片逐列排列,且同一列中的多个所述滤光片的颜色相同;
在每个所述第二滤光片组中,多个所述滤光片逐行排列,且同一行中的多个所述滤光片的颜色相同;或
在每个所述第二滤光片组中,多个所述滤光片逐列排列,且同一列中的多个所述滤光片的颜色相同。
9.根据权利要求1-6任意一项所述的图像传感器,其特征在于,所述图像传感器还包括微透镜阵列,所述微透镜阵列包括多个微透镜组,一个所述微透镜组对应一个滤光片组,并与该一个所述滤光片组对应的多个所述像素对应。
10.根据权利要求9所述的图像传感器,其特征在于,每个所述微透镜组均包括多个微透镜,每个所述微透镜对应一个所述滤光片及一个所述像素。
11.根据权利要求9所述的图像传感器,其特征在于,每个所述微透镜组均包括一个微透镜,一个所述微透镜对应一个所述滤光片组,并与该一个所述滤光片组对应的多个所述像素对应。
12.一种图像传感器,其特征在于,包括:
滤光片阵列,所述滤光片阵列包括多个滤光片组,每个所述滤光片组均包括多个第一颜色滤光片,多个所述滤光片组包括两类,第一类所述滤光片组还包括多个第二颜色滤光片,第二类所述滤光片组还包括多个第三颜色滤光片;及
像素阵列,所述像素阵列包括多个像素,每个所述像素对应所述滤光片阵列的一个滤光片,所述像素用于接收穿过对应的所述滤光片的光线以生成电信号;
其中,所述图像传感器工作在合并模式下时,每个第一类所述滤光片组对应的所述像素作为一个第一类合并像素,每个第二类所述滤光片组对应的所述像素作为一个第二类合并像素,所述图像传感器用于将所述第一类合并像素中的像素产生的电信号合并生成第一像素信号,所述第一像素信号用于表征作用于所述第一类合并像素中的像素的光线的第一颜色通道的值,所述图像传感器用于将所述第二类合并像素中的像素产生的电信号合并生成第二像素信号,所述第二像素信号用于表征作用于所述第二类合并像素中的像素的光线的第一颜色通道的值;
所述图像传感器还用于处理所述第一像素信号、所述第二像素信号、用于表征作用于所述第二颜色滤光片对应像素的光线的第二颜色通道的值的第三像素信号、及用于表征作用于所述第三颜色滤光片对应像素的光线的第三颜色通道的值的第四像素信号以输出图像信号;所述图像信号包括多个图像信号单元,每个所述图像信号单元均包括四个像素信号,其中两个所述像素信号具有第一颜色通道的值,另一个所述像素信号具有第二颜色通道的值,剩余一个所述像素信号具有第三颜色通道的值,四个所述像素信号对应的颜色通道呈拜耳阵列排布。
13.根据权利要求12所述的图像传感器,其特征在于,每个所述滤光片组中的所述滤光片的数量均为N*N,其中,N为大于或等于2的整数。
14.根据权利要求12所述的图像传感器,其特征在于,所述第一颜色滤光片为绿色滤光片或黄色滤光片。
15.根据权利要求14所述的图像传感器,其特征在于,所述第二颜色滤光片为红色滤光片,所述第三颜色滤光片为蓝色滤光片。
16.根据权利要求12所述的图像传感器,其特征在于,第一类所述滤光片组设置在第一对角线方向,第二类所述滤光片组设置在第二对角线方向,所述第一对角线方向与所述第二对角线方向不同。
17.根据权利要求16所述的图像传感器,其特征在于,第一类所述滤光片组与第二类所述滤光片组在所述图像传感器的垂直方向和水平方向相邻布置。
18.根据权利要求12-17任意一项所述的图像传感器,其特征在于,在每个第一类所述滤光片组中,多个所述第一颜色滤光片及多个所述第二颜色滤光片在所述图像传感器的垂直方向和水平方向相邻布置;
在每个第二类所述滤光片组中,多个所述第一颜色滤光片及多个所述第三颜色滤光片在所述图像传感器的垂直方向和水平方向相邻布置。
19.根据权利要求12-17任意一项所述的图像传感器,其特征在于,在每个第一类所述滤光片组中,多个所述滤光片逐行排列,且同一行中的多个所述滤光片的颜色相同;或
在每个第一类所述滤光片组中,多个所述滤光片逐列排列,且同一列中的多个所述滤光片的颜色相同;
在每个第二类所述滤光片组中,多个所述滤光片逐行排列,且同一行中的多个所述滤光片的颜色相同;或
在每个第二类所述滤光片组中,多个所述滤光片逐列排列,且同一列中的多个所述滤光片的颜色相同。
20.根据权利要求12-17任意一项所述的图像传感器,其特征在于,所述图像传感器还包括微透镜阵列,所述微透镜阵列包括多个微透镜组,一个所述微透镜组对应一个所述滤光片组,并与该一个所述滤光片组对应的多个所述像素对应。
21.根据权利要求20所述的图像传感器,其特征在于,每个所述微透镜组均包括多个微透镜,每个所述微透镜对应一个所述滤光片及一个所述像素。
22.根据权利要求20所述的图像传感器,其特征在于,每个所述微透镜组均包括一个微透镜,一个所述微透镜对应一个所述滤光片组,并与该一个所述滤光片组对应的多个所述像素对应。
23.一种图像传感器,其特征在于,包括:
滤光片阵列,所述滤光片阵列设置在像素阵列上,所述滤光片阵列包括多个第一滤光片组和多个第二滤光片组,所述第一滤光片组包括数量相同的多个第一颜色滤光片和多个第二颜色滤光片,所述第二滤光片组包括数量相同的多个所述第一颜色滤光片和多个第三颜色滤光片;及
控制电路,所述控制电路设置在具有所述像素阵列的衬底上,所述控制电路用于将所述第一滤光片组对应的像素产生的电信号合并生成第一像素信号和第三像素信号,所述第一像素信号用于表征作用于所述第一滤光片组对应像素的光线的第一颜色通道的值,所述第三像素信号用于表征作用于所述第一滤光片组对应像素的光线的第二颜色通道的值,所述控制电路用于将所述第二滤光片组对应的像素产生的电信号合并生成第二像素信号和第四像素信号,所述第二像素信号用于表征作用于所述第二滤光片组对应像素的光线的第一颜色通道的值,所述第四像素信号用于表征作用于所述第二滤光片组对应像素的光线的第三颜色通道的值;
所述控制电路还用于处理所述第一像素信号、所述第二像素信号、所述第三像素信号、及所述第四像素信号以输出图像信号,所述图像信号包括多个图像信号单元,每个所述图像信号单元均包括四个像素信号,其中两个所述像素信号具有第一颜色通道的值,另一个所述像素信号具有第二颜色通道的值,剩余一个所述像素信号具有第三颜色通道的值,四个所述像素信号对应的颜色通道呈拜耳阵列排布。
24.一种图像传感器,其特征在于,包括:
滤光片阵列,所述滤光片阵列包括多个第一颜色滤光片、多个第二颜色滤光片、及多个第三颜色滤光片,滤光片以两个所述第一颜色滤光片、一个所述第二颜色滤光片、一个所述第三颜色滤光片为一个单位,且每个所述单位中的两个所述第一颜色滤光片不相邻,一个所述第二颜色滤光片与一个所述第三颜色滤光片不相邻,在第一方向和第二方向上,多个所述单位均呈周期性排列,其中,所述第一方向与所述第二方向垂直;及
像素阵列,所述像素阵列包括多个像素,每个所述像素对应所述滤光片阵列的一个所述滤光片,所述像素用于接收穿过对应的所述滤光片的光线以生成电信号;
所述图像传感器用于将位于同一区域的多个所述第一颜色滤光片对应像素和多个所述第二颜色滤光片对应像素产生的电信号合并生成第一像素信号和第三像素信号,所述第一像素信号用于表征作用于所述第一颜色滤光片对应像素的光线的第一颜色通道的值,所述第三像素信号用于表征作用于所述第二颜色滤光片对应像素的光线的第二颜色通道的值,所述图像传感器用于将位于同一区域的多个所述第一颜色滤光片对应像素和多个所述第三颜色滤光片对应像素产生的电信号合并生成第二像素信号和第四像素信号,所述第二像素信号用于表征作用于所述第一颜色滤光片对应像素的光线的第一颜色通道的值,所述第四像素信号用于表征作用于所述第三颜色滤光片对应像素的光线的第三颜色通道的值;
所述图像传感器还用于处理所述第一像素信号、所述第二像素信号、所述第三像素信号、及所述第四像素信号以输出图像信号,所述图像信号包括多个图像信号单元,每个所述图像信号单元均包括四个像素信号,其中两个所述像素信号具有第一颜色通道的值,另一个所述像素信号具有第二颜色通道的值,剩余一个所述像素信号具有第三颜色通道的值,四个所述像素信号对应的颜色通道呈拜耳阵列排布。
25.一种成像装置,其特征在于,包括权利要求1-24任意一项所述的图像传感器;所述成像装置还包括处理器,所述处理器用于处理所述第一像素信号、所述第二像素信号、所述第三像素信号、及所述第四像素信号以输出图像信号,所述图像信号包括多个图像信号单元,每个所述图像信号单元均包括四个像素信号,其中两个所述像素信号具有第一颜色通道的值,另一个所述像素信号具有第二颜色通道的值,剩余一个所述像素信号具有第三颜色通道的值,四个所述像素信号对应的颜色通道呈拜耳阵列排布。
26.根据权利要求25所述的成像装置,其特征在于,所述处理器用于处理所述第一像素信号、所述第二像素信号、用于表征作用于所述第二颜色滤光片对应像素的光线的第二颜色通道的值的第三像素信号、及用于表征作用于所述第三颜色滤光片对应像素的光线的第三颜色通道的值的第四像素信号以生成彩色图像。
27.根据权利要求26所述的成像装置,其特征在于,多个所述第一像素信号及多个所述第二像素信号形成第一图像信号,多个所述第三像素信号形成第二图像信号,多个所述第四像素信号形成第三图像信号;所述处理器还用于:
根据多个所述第三像素信号对所述第二图像信号做插值处理,以使插值处理后的所述第二图像信号中的每一个像素信号均具有第二颜色通道的值;
根据多个所述第四像素信号对所述第三图像信号做插值处理,以使插值处理后的所述第三图像信号中的每一个像素信号均具有第三颜色通道的值;及
处理所述第一图像信号、插值处理后的所述第二图像信号、插值处理后的所述第三图像信号以生成所述彩色图像。
28.一种电子设备,其特征在于,包括成像装置,所述成像装置包括权利要求1-24任意一项所述的图像传感器;所述电子设备还包括处理器,所述处理器用于处理所述第一像素信号、所述第二像素信号、所述第三像素信号、及所述第四像素信号以输出图像信号,所述图像信号包括多个图像信号单元,每个所述图像信号单元均包括四个像素信号,其中两个所述像素信号具有第一颜色通道的值,另一个所述像素信号具有第二颜色通道的值,剩余一个所述像素信号具有第三颜色通道的值,四个所述像素信号对应的颜色通道呈拜耳阵列排布。
29.根据权利要求28所述的电子设备,其特征在于,所述电子设备还包括处理器,所述处理器用于处理所述第一像素信号、所述第二像素信号、用于表征作用于所述第二颜色滤光片对应像素的光线的第二颜色通道的值的第三像素信号、及用于表征作用于所述第三颜色滤光片对应像素的光线的第三颜色通道的值的第四像素信号以生成彩色图像。
30.根据权利要求29所述的电子设备,其特征在于,多个所述第一像素信号及多个所述第二像素信号形成第一图像信号,多个所述第三像素信号形成第二图像信号,多个所述第四像素信号形成第三图像信号;所述处理器还用于:
根据多个所述第三像素信号对所述第二图像信号做插值处理,以使插值处理后的所述第二图像信号中的每一个像素信号均具有第二颜色通道的值;
根据多个所述第四像素信号对所述第三图像信号做插值处理,以使插值处理后的所述第三图像信号中的每一个像素信号均具有第三颜色通道的值;及
处理所述第一图像信号、插值处理后的所述第二图像信号、插值处理后的所述第三图像信号以生成所述彩色图像。
31.一种图像处理系统,其特征在于,包括电子设备,所述电子设备包括成像装置,所述成像装置包括权利要求1-24任意一项所述的图像传感器,所述图像处理系统还包括处理器,所述处理器用于处理所述第一像素信号、所述第二像素信号、所述第三像素信号、及所述第四像素信号以输出图像信号,所述图像信号包括多个图像信号单元,每个所述图像信号单元均包括四个像素信号,其中两个所述像素信号具有第一颜色通道的值,另一个所述像素信号具有第二颜色通道的值,剩余一个所述像素信号具有第三颜色通道的值,四个所述像素信号对应的颜色通道呈拜耳阵列排布。
32.根据权利要求31所述的图像处理系统,其特征在于,所述图像处理系统还包括处理器,所述处理器用于处理所述第一像素信号、所述第二像素信号、用于表征作用于所述第二颜色滤光片对应像素的光线的第二颜色通道的值的第三像素信号、及用于表征作用于所述第三颜色滤光片对应像素的光线的第三颜色通道的值的第四像素信号以生成彩色图像。
33.根据权利要求32所述的图像处理系统,其特征在于,多个所述第一像素信号及多个所述第二像素信号形成第一图像信号,多个所述第三像素信号形成第二图像信号,多个所述第四像素信号形成第三图像信号;所述处理器还用于:
根据多个所述第三像素信号对所述第二图像信号做插值处理,以使插值处理后的所述第二图像信号中的每一个像素信号均具有第二颜色通道的值;
根据多个所述第四像素信号对所述第三图像信号做插值处理,以使插值处理后的所述第三图像信号中的每一个像素信号均具有第三颜色通道的值;
处理所述第一图像信号、插值处理后的所述第二图像信号、插值处理后的所述第三图像信号以生成所述彩色图像。
34.根据权利要求31所述的图像处理系统,其特征在于,所述处理器位于负责云计算的服务器或负责边缘计算的服务器中。
35.一种信号处理方法,用于图像传感器,其特征在于,所述图像传感器包括滤光片阵列及像素阵列,所述滤光片阵列包括多个第一滤光片组和多个第二滤光片组,所述第一滤光片组包括数量相同的多个第一颜色滤光片和多个第二颜色滤光片,所述第二滤光片组包括数量相同的多个所述第一颜色滤光片和多个第三颜色滤光片;所述像素阵列包括多个像素,每个所述像素对应所述滤光片阵列的一个滤光片,所述像素用于接收穿过对应的所述滤光片的光线以生成电信号;所述信号处理方法包括:
将所述第一滤光片组对应的像素产生的电信号合并生成第一像素信号和第三像素信号,所述第一像素信号用于表征作用于所述第一滤光片组对应像素的光线的第一颜色通道的值,所述第三像素信号用于表征作用于所述第一滤光片组对应像素的光线的第二颜色通道的值;及
将所述第二滤光片组对应的像素产生的电信号合并生成第二像素信号和第四像素信号,所述第二像素信号用于表征作用于所述第二滤光片组对应像素的光线的第一颜色通道的值,所述第四像素信号用于表征作用于所述第二滤光片组对应像素的光线的第三颜色通道的值;
所述信号处理方法还包括:
处理所述第一像素信号、所述第二像素信号、所述第三像素信号、及所述第四像素信号以输出图像信号,所述图像信号包括多个图像信号单元,每个所述图像信号单元均包括四个像素信号,其中两个所述像素信号具有第一颜色通道的值,另一个所述像素信号具有第二颜色通道的值,剩余一个所述像素信号具有第三颜色通道的值,四个所述像素信号对应的颜色通道呈拜耳阵列排布。
36.根据权利要求35所述的信号处理方法,其特征在于,所述信号处理方法还包括:
处理所述第一像素信号、所述第二像素信号、所述第三像素信号、及所述第四像素信号以生成彩色图像。
37.根据权利要求36所述的信号处理方法,其特征在于,多个所述第一像素信号及多个所述第二像素信号形成第一图像信号,多个所述第三像素信号形成第二图像信号,多个所述第四像素信号形成第三图像信号;所述处理所述第一像素信号、所述第二像素信号、所述第三像素信号、及所述第四像素信号以生成彩色图像,包括:
根据多个所述第三像素信号对所述第二图像信号做插值处理,以使插值处理后的所述第二图像信号中的每一个像素信号均具有第二颜色通道的值;
根据多个所述第四像素信号对所述第三图像信号做插值处理,以使插值处理后的所述第三图像信号中的每一个像素信号均具有第三颜色通道的值;及
处理所述第一图像信号、插值处理后的所述第二图像信号、插值处理后的所述第三图像信号以生成所述彩色图像。
38.一种信号处理方法,用于图像传感器,其特征在于,所述图像传感器包括滤光片阵列及像素阵列;所述滤光片阵列包括多个滤光片组,每个所述滤光片组均包括多个第一颜色滤光片,多个所述滤光片组包括两类,第一类所述滤光片组还包括多个第二颜色滤光片,第二类所述滤光片组还包括多个第三颜色滤光片;所述像素阵列包括多个像素,每个所述像素对应所述滤光片阵列的一个滤光片,所述像素用于接收穿过对应的所述滤光片的光线以生成电信号;所述信号处理方法包括:
在所述图像传感器工作在合并模式下时,每个第一类所述滤光片组对应的所述像素作为一个第一类合并像素,每个第二类所述滤光片组对应的所述像素作为一个第二类合并像素,将所述第一类合并像素中的像素产生的电信号合并生成第一像素信号,所述第一像素信号用于表征作用于所述第一类合并像素中的像素的光线的第一颜色通道的值,所述第二类合并像素中的像素产生的电信号合并生成第二像素信号,所述第二像素信号用于表征作用于所述第二类合并像素中的像素的光线的第一颜色通道的值;
所述信号处理方法还包括:
处理所述第一像素信号、所述第二像素信号、用于表征作用于所述第二颜色滤光片对应像素的光线的第二颜色通道的值的第三像素信号、及用于表征作用于所述第三颜色滤光片对应像素的光线的第三颜色通道的值的第四像素信号以输出图像信号,所述图像信号包括多个图像信号单元,每个所述图像信号单元均包括四个像素信号,其中两个所述像素信号具有第一颜色通道的值,另一个所述像素信号具有第二颜色通道的值,剩余一个所述像素信号具有第三颜色通道的值,四个所述像素信号对应的颜色通道呈拜耳阵列排布。
39.根据权利要求38所述的信号处理方法,其特征在于,所述信号处理方法还包括:
处理所述第一像素信号、所述第二像素信号、用于表征作用于所述第二颜色滤光片对应像素的光线的第二颜色通道的值的第三像素信号、及用于表征作用于所述第三颜色滤光片对应像素的光线的第三颜色通道的值的第四像素信号以生成彩色图像。
40.根据权利要求39所述的信号处理方法,其特征在于,多个所述第一像素信号及多个所述第二像素信号形成第一图像信号,多个所述第三像素信号形成第二图像信号,多个所述第四像素信号形成第三图像信号;所述处理所述第一像素信号、所述第二像素信号、用于表征作用于所述第二颜色滤光片对应像素的光线的第二颜色通道的值的第三像素信号、及用于表征作用于所述第三颜色滤光片对应像素的光线的第三颜色通道的值的第四像素信号以生成彩色图像,包括:
根据多个所述第三像素信号对所述第二图像信号做插值处理,以使插值处理后的所述第二图像信号中的每一个像素信号均具有第二颜色通道的值;
根据多个所述第四像素信号对所述第三图像信号做插值处理,以使插值处理后的所述第三图像信号中的每一个像素信号均具有第三颜色通道的值;及
处理所述第一图像信号、插值处理后的所述第二图像信号、插值处理后的所述第三图像信号以生成所述彩色图像。
41.一种信号处理方法,用于图像传感器,其特征在于,所述图像传感器包括滤光片阵列,所述滤光片阵列设置在像素阵列上,所述滤光片阵列包括多个第一滤光片组和多个第二滤光片组,所述第一滤光片组包括数量相同的多个第一颜色滤光片和多个第二颜色滤光片,所述第二滤光片组包括数量相同的多个所述第一颜色滤光片和多个第三颜色滤光片;所述信号处理方法包括:
将所述第一滤光片组对应的像素产生的电信号合并生成第一像素信号和第三像素信号,所述第一像素信号用于表征作用于所述第一滤光片组对应像素的光线的第一颜色通道的值,所述第三像素信号用于表征作用于所述第一滤光片组对应像素的光线的第二颜色通道的值;及
将所述第二滤光片组对应的像素产生的电信号合并生成第二像素信号和第四像素信号,所述第二像素信号用于表征作用于所述第二滤光片组对应像素的光线的第一颜色通道的值,所述第四像素信号用于表征作用于所述第二滤光片组对应像素的光线的第三颜色通道的值;
所述信号处理方法还包括:
处理所述第一像素信号、所述第二像素信号、所述第三像素信号、及所述第四像素信号以输出图像信号,所述图像信号包括多个图像信号单元,每个所述图像信号单元均包括四个像素信号,其中两个所述像素信号具有第一颜色通道的值,另一个所述像素信号具有第二颜色通道的值,剩余一个所述像素信号具有第三颜色通道的值,四个所述像素信号对应的颜色通道呈拜耳阵列排布。
42.根据权利要求41所述的信号处理方法,其特征在于,所述信号处理方法还包括:
处理所述第一像素信号、所述第二像素信号、所述第三像素信号、及所述第四像素信号以生成彩色图像。
43.根据权利要求42所述的信号处理方法,其特征在于,多个所述第一像素信号及多个所述第二像素信号形成第一图像信号,多个所述第三像素信号形成第二图像信号,多个所述第四像素信号形成第三图像信号;所述处理所述第一像素信号、所述第二像素信号、所述第三像素信号、及所述第四像素信号以生成彩色图像,包括:
根据多个所述第三像素信号对所述第二图像信号做插值处理,以使插值处理后的所述第二图像信号中的每一个像素信号均具有第二颜色通道的值;
根据多个所述第四像素信号对所述第三图像信号做插值处理,以使插值处理后的所述第三图像信号中的每一个像素信号均具有第三颜色通道的值;及
处理所述第一图像信号、插值处理后的所述第二图像信号、插值处理后的所述第三图像信号以生成所述彩色图像。
44.一种信号处理方法,用于图像传感器,其特征在于,所述图像传感器包括滤光片阵列及像素阵列;所述滤光片阵列包括多个第一颜色滤光片、多个第二颜色滤光片、及多个第三颜色滤光片,滤光片以两个所述第一颜色滤光片、一个所述第二颜色滤光片、一个所述第三颜色滤光片为一个单位,且每个所述单位中的两个所述第一颜色滤光片不相邻,一个所述第二颜色滤光片与一个所述第三颜色滤光片不相邻,在第一方向和第二方向上,多个所述单位均呈周期性排列,其中,所述第一方向与所述第二方向垂直;所述像素阵列包括多个像素,每个所述像素对应所述滤光片阵列的一个所述滤光片,所述像素用于接收穿过对应的所述滤光片的光线以生成电信号;所述信号处理方法包括:
将位于同一区域的多个所述第一颜色滤光片对应像素和多个所述第二颜色滤光片对应像素产生的电信号合并生成第一像素信号和第三像素信号,所述第一像素信号用于表征作用于所述第一颜色滤光片对应像素的光线的第一颜色通道的值,所述第三像素信号用于表征作用于所述第二颜色滤光片对应像素的光线的第二颜色通道的值;及
将位于同一区域的多个所述第一颜色滤光片对应像素和多个所述第三颜色滤光片对应像素产生的电信号合并生成第二像素信号和第四像素信号,所述第二像素信号用于表征作用于所述第一颜色滤光片对应像素的光线的第一颜色通道的值,所述第四像素信号用于表征作用于所述第三颜色滤光片对应像素的光线的第三颜色通道的值;
所述信号处理方法还包括:
处理所述第一像素信号、所述第二像素信号、所述第三像素信号、及所述第四像素信号以输出图像信号,所述图像信号包括多个图像信号单元,每个所述图像信号单元均包括四个像素信号,其中两个所述像素信号具有第一颜色通道的值,另一个所述像素信号具有第二颜色通道的值,剩余一个所述像素信号具有第三颜色通道的值,四个所述像素信号对应的颜色通道呈拜耳阵列排布。
45.根据权利要求44所述的信号处理方法,其特征在于,所述信号处理方法还包括:
处理所述第一像素信号、所述第二像素信号、所述第三像素信号、及所述第四像素信号以生成彩色图像。
46.根据权利要求45所述的信号处理方法,其特征在于,多个所述第一像素信号及多个所述第二像素信号形成第一图像信号,多个所述第三像素信号形成第二图像信号,多个所述第四像素信号形成第三图像信号;所述处理所述第一像素信号、所述第二像素信号、所述第三像素信号、及所述第四像素信号以生成彩色图像,包括:
根据多个所述第三像素信号对所述第二图像信号做插值处理,以使插值处理后的所述第二图像信号中的每一个像素信号均具有第二颜色通道的值;
根据多个所述第四像素信号对所述第三图像信号做插值处理,以使插值处理后的所述第三图像信号中的每一个像素信号均具有第三颜色通道的值;及
处理所述第一图像信号、插值处理后的所述第二图像信号、插值处理后的所述第三图像信号以生成所述彩色图像。
CN201980077996.7A 2019-03-07 2019-11-26 图像传感器、成像装置、电子设备、图像处理系统及信号处理方法 Active CN113170061B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CNPCT/CN2019/077338 2019-03-07
PCT/CN2019/077338 WO2020177123A1 (en) 2019-03-07 2019-03-07 Color imaging system
PCT/CN2019/121074 WO2020177407A1 (zh) 2019-03-07 2019-11-26 图像传感器、成像装置、电子设备、图像处理系统及信号处理方法

Publications (2)

Publication Number Publication Date
CN113170061A CN113170061A (zh) 2021-07-23
CN113170061B true CN113170061B (zh) 2023-07-04

Family

ID=70828353

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201980077996.7A Active CN113170061B (zh) 2019-03-07 2019-11-26 图像传感器、成像装置、电子设备、图像处理系统及信号处理方法
CN202010043131.3A Active CN111669483B (zh) 2019-03-07 2020-01-15 图像传感器、成像装置、电子设备、图像处理系统及信号处理方法
CN202010060363.XA Active CN111225135B (zh) 2019-03-07 2020-01-19 图像传感器、成像装置、电子设备、图像处理系统及信号处理方法

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN202010043131.3A Active CN111669483B (zh) 2019-03-07 2020-01-15 图像传感器、成像装置、电子设备、图像处理系统及信号处理方法
CN202010060363.XA Active CN111225135B (zh) 2019-03-07 2020-01-19 图像传感器、成像装置、电子设备、图像处理系统及信号处理方法

Country Status (4)

Country Link
US (1) US11659294B2 (zh)
EP (1) EP3902242B1 (zh)
CN (3) CN113170061B (zh)
WO (2) WO2020177123A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220043571A (ko) * 2020-09-29 2022-04-05 에스케이하이닉스 주식회사 이미지 센싱 장치 및 그의 동작 방법
CN112822366B (zh) * 2020-12-31 2022-07-01 维沃移动通信有限公司 电子设备及其摄像模组
CN113573030B (zh) * 2021-07-01 2023-11-10 Oppo广东移动通信有限公司 图像生成方法、装置、电子设备和计算机可读存储介质
CN113840067B (zh) * 2021-09-10 2023-08-18 Oppo广东移动通信有限公司 图像传感器、图像生成方法、装置和电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102859995A (zh) * 2010-04-20 2013-01-02 富士胶片株式会社 成像装置和驱动固态成像器件的方法
CN103209309A (zh) * 2012-01-12 2013-07-17 索尼公司 图像传感器、成像装置、电子设备和成像方法
CN105611258A (zh) * 2015-12-18 2016-05-25 广东欧珀移动通信有限公司 图像传感器的成像方法、成像装置和电子装置
CN205647747U (zh) * 2015-05-29 2016-10-12 半导体元件工业有限责任公司 图像传感器和图像传感器系统

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7623168B2 (en) * 2000-07-13 2009-11-24 Eastman Kodak Company Method and apparatus to extend the effective dynamic range of an image sensing device
CN101001387B (zh) * 2006-01-11 2010-05-12 华晶科技股份有限公司 利用多数决判断影像局部信息变化最少方向的方法
KR20080106585A (ko) * 2006-03-27 2008-12-08 엔엑스피 비 브이 컬러 비디오 신호 생성 방법 및 장치
CN100589581C (zh) * 2006-12-12 2010-02-10 北京中星微电子有限公司 一种色彩滤波阵列插值方法和装置
JP2009004605A (ja) * 2007-06-22 2009-01-08 Fujifilm Corp 撮像素子及び撮像装置
US8170331B2 (en) * 2008-04-02 2012-05-01 Himax Imaging, Inc. Apparatus and method for pattern interpolation
JP5247397B2 (ja) * 2008-12-05 2013-07-24 キヤノン株式会社 撮像装置及び撮像方法
US8068153B2 (en) * 2009-03-27 2011-11-29 Omnivision Technologies, Inc. Producing full-color image using CFA image
JP5359465B2 (ja) * 2009-03-31 2013-12-04 ソニー株式会社 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
US8189080B2 (en) * 2009-04-03 2012-05-29 Sony Corporation Orientation-based approach for forming a demosaiced image, and for color correcting and zooming the demosaiced image
JP2011030213A (ja) * 2009-07-01 2011-02-10 Hoya Corp 撮像素子
US8638342B2 (en) * 2009-10-20 2014-01-28 Apple Inc. System and method for demosaicing image data using weighted gradients
WO2011063347A2 (en) * 2009-11-20 2011-05-26 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
JP5044673B2 (ja) * 2010-03-25 2012-10-10 株式会社東芝 固体撮像装置および画像記録装置
CN102870405B (zh) 2011-03-09 2015-06-17 富士胶片株式会社 彩色成像元件
WO2013001868A1 (ja) 2011-06-30 2013-01-03 富士フイルム株式会社 撮像装置、撮像方法、及び撮像プログラム
JP2013066157A (ja) * 2011-08-31 2013-04-11 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US9277205B2 (en) * 2012-05-14 2016-03-01 Intuitive Surgical Operations, Inc. Single-chip sensor multi-function imaging
JP6003316B2 (ja) 2012-07-12 2016-10-05 ソニー株式会社 固体撮像装置、電子機器
EP2728545B1 (en) * 2012-08-07 2018-07-11 Spreadtrum Communications (Shanghai) Co., Ltd. Image processing method and device based on bayer format
CN102938843B (zh) * 2012-11-22 2014-12-03 华为技术有限公司 图像处理方法、装置以及成像设备
KR102178335B1 (ko) * 2014-01-02 2020-11-12 삼성전자주식회사 이미지 센서의 비닝 방법 및 이미지 센서
JP6305169B2 (ja) * 2014-04-07 2018-04-04 キヤノン株式会社 固体撮像素子、撮像装置及びその制御方法、プログラム、記憶媒体
US9438866B2 (en) * 2014-04-23 2016-09-06 Omnivision Technologies, Inc. Image sensor with scaled filter array and in-pixel binning
US9888198B2 (en) * 2014-06-03 2018-02-06 Semiconductor Components Industries, Llc Imaging systems having image sensor pixel arrays with sub-pixel resolution capabilities
JP6080190B2 (ja) * 2014-09-15 2017-02-15 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd デモザイク化の方法
US9793306B2 (en) * 2015-04-08 2017-10-17 Semiconductor Components Industries, Llc Imaging systems with stacked photodiodes and chroma-luma de-noising
CN105430361B (zh) * 2015-12-18 2018-03-20 广东欧珀移动通信有限公司 成像方法、图像传感器、成像装置及电子装置
US10764515B2 (en) * 2016-07-05 2020-09-01 Futurewei Technologies, Inc. Image sensor method and apparatus equipped with multiple contiguous infrared filter elements
CN106303474A (zh) * 2016-09-29 2017-01-04 杭州雄迈集成电路技术有限公司 一种基于g模式色彩滤波阵列的去马赛克方法及装置
CN108419022A (zh) * 2018-03-06 2018-08-17 广东欧珀移动通信有限公司 控制方法、控制装置、计算机可读存储介质和计算机设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102859995A (zh) * 2010-04-20 2013-01-02 富士胶片株式会社 成像装置和驱动固态成像器件的方法
CN103209309A (zh) * 2012-01-12 2013-07-17 索尼公司 图像传感器、成像装置、电子设备和成像方法
CN205647747U (zh) * 2015-05-29 2016-10-12 半导体元件工业有限责任公司 图像传感器和图像传感器系统
CN105611258A (zh) * 2015-12-18 2016-05-25 广东欧珀移动通信有限公司 图像传感器的成像方法、成像装置和电子装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
线性渐变滤光片型多光谱成像光谱仪设计;王颖等;《激光与光电子学进展》(第01期);全文 *

Also Published As

Publication number Publication date
EP3902242A4 (en) 2022-03-23
CN111669483A (zh) 2020-09-15
WO2020177407A1 (zh) 2020-09-10
US20210392279A1 (en) 2021-12-16
CN111669483B (zh) 2022-01-28
EP3902242B1 (en) 2024-02-07
CN113170061A (zh) 2021-07-23
CN111225135A (zh) 2020-06-02
US11659294B2 (en) 2023-05-23
WO2020177123A1 (en) 2020-09-10
EP3902242A1 (en) 2021-10-27
CN111225135B (zh) 2021-07-16

Similar Documents

Publication Publication Date Title
CN113170061B (zh) 图像传感器、成像装置、电子设备、图像处理系统及信号处理方法
US6982756B2 (en) Digital camera, image signal processing method and recording medium for the same
CN213279832U (zh) 图像传感器、相机和终端
US9055181B2 (en) Solid-state imaging device, image processing apparatus, and a camera module having an image synthesizer configured to synthesize color information
US20090219419A1 (en) Peripheral Light Amount Correction Apparatus, Peripheral Light Amount Correction Method, Electronic Information Device, Control Program and Readable Recording Medium
CN112118378A (zh) 图像获取方法及装置、终端和计算机可读存储介质
US9369693B2 (en) Stereoscopic imaging device and shading correction method
CN111711755B (zh) 图像处理方法及装置、终端和计算机可读存储介质
US20230007191A1 (en) Image sensor, imaging apparatus, electronic device, image processing system, and signal processing method
US20170310878A1 (en) Image capturing apparatus and control method thereof
CN113840067B (zh) 图像传感器、图像生成方法、装置和电子设备
WO2023098284A1 (zh) 图像传感器、摄像模组、电子设备、图像生成方法和装置
WO2023082766A1 (zh) 图像传感器、摄像模组、电子设备、图像生成方法和装置
WO2023124607A1 (zh) 图像生成方法、装置、电子设备和计算机可读存储介质
WO2023098282A1 (zh) 图像传感器、摄像模组、电子设备、图像生成方法和装置
CN110930440B (zh) 图像对齐方法、装置、存储介质及电子设备
US20230254553A1 (en) Image obtaining method and apparatus, terminal, and computer-readable storage medium
CN112866554B (zh) 对焦方法和装置、电子设备、计算机可读存储介质
CN114554046A (zh) 图像传感器、摄像模组、电子设备、图像生成方法和装置
CN113132692B (zh) 图像传感器、成像装置、电子设备、图像处理系统及信号处理方法
CN113141444B (zh) 图像传感器、成像装置、电子设备、图像处理系统及信号处理方法
US20230222765A1 (en) Image processing device, image processing method, and storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant