CN114040084A - 图像传感器、摄像模组、电子设备、图像生成方法和装置 - Google Patents

图像传感器、摄像模组、电子设备、图像生成方法和装置 Download PDF

Info

Publication number
CN114040084A
CN114040084A CN202111456002.8A CN202111456002A CN114040084A CN 114040084 A CN114040084 A CN 114040084A CN 202111456002 A CN202111456002 A CN 202111456002A CN 114040084 A CN114040084 A CN 114040084A
Authority
CN
China
Prior art keywords
color
panchromatic
filter
image
filters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111456002.8A
Other languages
English (en)
Inventor
李小涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202111456002.8A priority Critical patent/CN114040084A/zh
Publication of CN114040084A publication Critical patent/CN114040084A/zh
Priority to PCT/CN2022/124016 priority patent/WO2023098282A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本申请涉及一种图像传感器、摄像模组、电子设备、图像生成方法、装置、计算机可读存储介质和计算机程序产品。图像传感器包括滤光片阵列和像素阵列,滤光片阵列包括最小重复单元,最小重复单元至少包括第一滤光片组和第二滤光片组;每个滤光片组均包括全色滤光片和彩色滤光片;第一滤光片组中彩色滤光片包括第一颜色滤光片和第三颜色滤光片,第二滤光片组中彩色滤光片包括第二颜色滤光片;最小重复单元中全色滤光片和彩色滤光片在最小重复单元的每一行和每一列上交替排布,全色滤光片透过的进光量大于彩色滤光片透过的进光量;每个滤光片包括N行N列个与滤光片同种颜色的子滤光片,N为正整数。采用该图像传感器能够提高图像的清晰度。

Description

图像传感器、摄像模组、电子设备、图像生成方法和装置
技术领域
本申请涉及计算机技术领域,特别是涉及一种图像传感器、摄像模组、电子设备、图像生成方法、装置、计算机可读存储介质和计算机程序产品。
背景技术
随着计算机技术的发展,手机等电子设备中大部分都配置有摄像头,以通过摄像头实现拍照功能。摄像头中设置有图像传感器,通过图像传感器采集彩色图像。为了实现彩色图像的采集,图像传感器中通常会设置以拜耳(Bayer)阵列形式排布的滤光片阵列,以使得图像传感器中的多个像素能够接收穿过对应的滤光片的光线,从而生成具有不同色彩通道的像素信号,进而生成图像。
然而,传统的图像传感器所生成的图像清晰度较低。
发明内容
本申请实施例提供了一种图像传感器、摄像模组、电子设备、图像生成方法、装置、计算机可读存储介质和计算机程序产品,可以提高成像的清晰度。
一种图像传感器,所述图像传感器包括滤光片阵列和像素阵列,所述滤光片阵列包括最小重复单元,所述最小重复单元至少包括第一滤光片组和第二滤光片组;所述第一滤光片组和所述第二滤光片组均包括全色滤光片和彩色滤光片;所述第一滤光片组中的彩色滤光片包括第一颜色滤光片和第三颜色滤光片,所述第二滤光片组中的彩色滤光片包括第二颜色滤光片;所述最小重复单元中全色滤光片和彩色滤光片在所述最小重复单元的每一行和每一列上交替排布,所述全色滤光片透过的进光量大于所述彩色滤光片透过的进光量;每个所述全色滤光片包括N行N列个全色子滤光片,每个所述彩色滤光片包括N行N列个彩色子滤光片,所述N行N列个彩色子滤光片与所述彩色滤光片的颜色相同,所述N为正整数;所述像素阵列中各个像素与所述滤光片阵列的子滤光片对应设置,所述像素阵列被配置成用于接收穿过所述滤光片阵列的光线以生成电信号。
一种摄像模组,所述摄像模组包括镜头和上述的图像传感器;所述图像传感器用于接收穿过所述镜头的光线,所述像素根据所述光线生成电信号。
一种电子设备,包括:
上述的摄像模组;及
壳体,所述摄像模组设置在所述壳体上。
上述图像传感器、摄像模组和电子设备,图像传感器包括滤光片阵列和像素阵列,滤光片阵列包括最小重复单元,最小重复单元至少包括第一滤光片组和第二滤光片组;第一滤光片组和第二滤光片组均包括全色滤光片和彩色滤光片;第一滤光片组中的彩色滤光片包括第一颜色滤光片和第三颜色滤光片,第二滤光片组中的彩色滤光片包括第二颜色滤光片,全色滤光片透过的进光量大于彩色滤光片透过的进光量,可在拍摄时通过全色滤光片获得更多的光量,从而无需调节拍摄参数,在不影响拍摄的稳定性的情况下,提高暗光下的成像的清晰度。暗光下成像时,可兼顾稳定性和清晰度,暗光下成像的稳定性和清晰度均较高。
最小重复单元中全色滤光片和彩色滤光片在每一行和每一列上交替排布,每个全色滤光片包括N行N列个全色子滤光片,每个彩色滤光片包括N行N列个彩色子滤光片,N行N列个彩色子滤光片与彩色滤光片的颜色相同,N为正整数,而像素阵列中各个像素与滤光片阵列的子滤光片对应设置,也即像素阵列中每一行和每一列上均包括每种颜色的彩色像素,可以提高成像的每一行每一列的彩色分辨率,使得成像的颜色更加丰富。
在该滤光片阵列中,全色滤光片和各种颜色的彩色滤光片分散排列,使得成像中全色像素值和各种颜色的彩色像素值也分散排列,可以提高彩色分辨率能力和亮度变化分辨能力。同时,各种颜色的彩色滤光片混合排列,使得成像中各种颜色的彩色像素值也混合排列,可以降低伪色的风险。
一种图像生成方法,应用于图像传感器,所述图像传感器包括滤光片阵列和像素阵列,所述滤光片阵列包括最小重复单元,所述最小重复单元至少包括第一滤光片组和第二滤光片组;所述第一滤光片组和第二滤光片组均包括全色滤光片和彩色滤光片;所述第一滤光片组中的彩色滤光片包括第一颜色滤光片和第三颜色滤光片,所述第二滤光片组中的彩色滤光片包括第二颜色滤光片;所述最小重复单元中全色滤光片和彩色滤光片在所述最小重复单元的每一行和每一列上交替排布,所述全色滤光片透过的进光量大于所述彩色滤光片透过的进光量;每个所述全色滤光片包括N行N列个全色子滤光片,每个所述彩色滤光片包括N行N列个彩色子滤光片,所述N行N列个彩色子滤光片与所述彩色滤光片的颜色相同,所述N为大于或等于2的正整数;所述像素阵列中各个像素与所述滤光片阵列的子滤光片对应设置,所述像素阵列被配置成用于接收穿过所述滤光片阵列的光线以生成电信号;
所述方法包括:
在全分辨率模式下,将所述全色滤光片中每个全色子滤光片对应的全色像素读出全分辨率全色像素值,以及将所述彩色滤光片中每个彩色子滤光片对应的彩色像素读出全分辨率彩色像素值;
基于各个所述全分辨率全色像素值和各个所述全分辨率彩色像素值,生成全分辨率目标图像。
一种图像生成装置,应用于图像传感器,所述图像传感器包括滤光片阵列和像素阵列,所述滤光片阵列包括最小重复单元,所述最小重复单元至少包括第一滤光片组和第二滤光片组;所述第一滤光片组和第二滤光片组包括全色滤光片和彩色滤光片;所述第一滤光片组中的彩色滤光片包括第一颜色滤光片和第三颜色滤光片,所述第二滤光片组中的彩色滤光片包括第二颜色滤光片;所述最小重复单元中全色滤光片和彩色滤光片在所述最小重复单元的每一行和每一列上交替排布,所述全色滤光片透过的进光量大于所述彩色滤光片透过的进光量;每个所述全色滤光片包括N行N列个全色子滤光片,每个所述彩色滤光片包括N行N列个彩色子滤光片,所述N行N列个彩色子滤光片与所述彩色滤光片的颜色相同,所述N为大于或等于2的正整数;所述像素阵列中各个像素与所述滤光片阵列的子滤光片对应设置,所述像素阵列被配置成用于接收穿过所述滤光片阵列的光线以生成电信号;
所述装置包括:
读出模块,用于在全分辨率模式下,将所述全色滤光片中每个全色子滤光片对应的全色像素读出全分辨率全色像素值,以及将所述彩色滤光片中每个彩色子滤光片对应的彩色像素读出全分辨率彩色像素值;
图像生成模块,用于基于各个所述全分辨率全色像素和各个所述全分辨率彩色像素,生成全分辨率目标图像。
一种电子设备,包括存储器及处理器,所述存储器中储存有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如上述的图像生成方法的步骤。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上述的方法的步骤。
一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现如上述的方法的步骤。
上述图像生成方法、装置、电子设备、计算机可读存储介质和计算机程序产品,在全分辨率模式下,将全色滤光片中每个全色子滤光片对应的全色像素读出全分辨率全色像素值,以及将彩色滤光片中每个彩色子滤光片对应的彩色像素读出全分辨率彩色像素值;而全色滤光片透过的进光量大于彩色滤光片透过的进光量,能够将全色通道信息融合到图像中,提高整体的进光量,从而基于各个全分辨率全色像素值和各个全分辨率彩色像素值,能够生成信息更多、细节解析更清晰的全分辨率目标图像。
在该滤光片阵列中,全色滤光片和各种颜色的彩色滤光片分散排列,使得成像中全分辨率全色像素值和各种颜色的全分辨率彩色像素值也分散排列,可以提高彩色分辨率能力和亮度变化分辨能力。同时,各种颜色的彩色滤光片混合排列,使得成像中各种颜色的全分辨率彩色像素值也混合排列,可以降低伪色的风险。
并且,全色滤光片与彩色滤光片在每一行和每一列上交替排布,每个全色滤光片包括N行N列个全色子滤光片,每个彩色滤光片包括N行N列个彩色子滤光片,N行N列个彩色子滤光片与彩色滤光片的颜色相同,N为正整数;而像素阵列中各个像素与滤光片阵列的子滤光片对应设置,可以提高生成的全分辨率目标图像的每一行每一列的彩色分辨率,使得全分辨率目标图像的颜色更加丰富。
一种图像生成方法,应用于图像传感器,所述图像传感器包括滤光片阵列和像素阵列,所述滤光片阵列包括最小重复单元,所述最小重复单元至少包括第一滤光片组和第二滤光片组;所述第一滤光片组和第二滤光片组包括全色滤光片和彩色滤光片;所述第一滤光片组中的彩色滤光片包括第一颜色滤光片和第三颜色滤光片,所述第二滤光片组中的彩色滤光片包括第二颜色滤光片;所述最小重复单元中全色滤光片和彩色滤光片在所述最小重复单元的每一行和每一列上交替排布,所述全色滤光片透过的进光量大于所述彩色滤光片透过的进光量;所述像素阵列中各个像素与所述滤光片阵列的滤光片对应设置,所述像素阵列被配置成用于接收穿过所述滤光片阵列的光线以生成电信号;
所述方法包括:
在全分辨率模式下,将每个所述全色滤光片对应的全色像素读出全分辨率全色像素值,以及将每个所述彩色滤光片对应的彩色像素读出全分辨率彩色像素值;
基于各个所述全分辨率全色像素值和各个所述全分辨率彩色像素值,生成全分辨率目标图像。
一种图像生成装置,应用于图像传感器,所述图像传感器包括滤光片阵列和像素阵列,所述滤光片阵列包括最小重复单元,所述最小重复单元至少包括第一滤光片组和第二滤光片组;所述第一滤光片组和第二滤光片组均包括全色滤光片和彩色滤光片;所述第一滤光片组中的彩色滤光片均包括第一颜色滤光片和第三颜色滤光片,所述第二滤光片组中的彩色滤光片包括第二颜色滤光片;所述最小重复单元中全色滤光片和彩色滤光片在所述最小重复单元的每一行和每一列上交替排布,所述全色滤光片透过的进光量大于所述彩色滤光片透过的进光量;所述像素阵列中各个像素与所述滤光片阵列的滤光片对应设置,所述像素阵列被配置成用于接收穿过所述滤光片阵列的光线以生成电信号;
所述装置包括:
读出模块,用于在全分辨率模式下,将每个所述全色滤光片对应的全色像素读出全分辨率全色像素值,以及将每个所述彩色滤光片对应的彩色像素读出全分辨率彩色像素值;
图像生成模块,用于基于各个所述全分辨率全色像素值和各个所述全分辨率彩色像素值,生成全分辨率目标图像。
一种电子设备,包括存储器及处理器,所述存储器中储存有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如上述的图像生成方法的步骤。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上述的方法的步骤。
一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现如上述的方法的步骤。
上述图像生成方法、装置、电子设备、计算机可读存储介质和计算机程序产品,在全分辨率模式下,将每个全色滤光片对应的全色像素读出全分辨率全色像素值,以及将每个彩色滤光片对应的彩色像素读出全分辨率彩色像素值;而全色滤光片透过的进光量大于彩色滤光片透过的进光量,能够将全色通道信息融合到图像中,提高整体的进光量,从而基于各个全分辨率全色像素值和各个全分辨率彩色像素值,能够生成信息更多、细节解析更清晰的全分辨率目标图像。
在该滤光片阵列中,全色滤光片和各种颜色的彩色滤光片分散排列,使得成像中全分辨率全色像素值和各种颜色的全分辨率彩色像素值也分散排列,可以提高彩色分辨率能力和亮度变化分辨能力。同时,各种颜色的彩色滤光片混合排列,使得成像中各种颜色的全分辨率彩色像素值也混合排列,可以降低伪色的风险。
并且,全色滤光片与彩色滤光片在每一行和每一列上交替排布,而像素阵列中各个像素与滤光片阵列的滤光片对应设置,可以提高生成的全分辨率目标图像的每一行每一列的彩色分辨率,使得全分辨率目标图像的颜色更加丰富。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为一个实施例中电子设备的结构示意图;
图2为一个实施例中图像传感器的分解示意图;
图3为一个实施例中像素阵列和读出电路的连接示意图;
图4为一个实施例中2个第一滤光片组和2个第二滤光片组的排布方式;
图5为一个实施例中N为1的滤光片阵列中最小重复单元的排布方式示意图;
图6为另一个实施例中N为1的滤光片阵列中最小重复单元的排布方式示意图;
图7为另一个实施例中N为1的滤光片阵列中最小重复单元的排布方式示意图;
图8为另一个实施例中N为1的滤光片阵列中最小重复单元的排布方式示意图;
图9为一个实施例中N为2的滤光片阵列中最小重复单元的排布方式示意图;
图10为另一个实施例中N为2的滤光片阵列中最小重复单元的排布方式示意图;
图11为另一个实施例中N为2的滤光片阵列中最小重复单元的排布方式示意图;
图12为另一个实施例中N为2的滤光片阵列中最小重复单元的排布方式示意图;
图13为一个实施例中图像生成方法的流程示意图;
图14为一个实施例中图像生成方法的流程示意图;
图15为一个实施例中第一目标图像的示意图;
图16为一个实施例中生成第二目标图像的流程示意图;
图17为一个实施例中第一彩色图像和第一全色图像的示意图;
图18为一个实施例中第二目标图像的示意图;
图19为另一个实施例中第二目标图像的示意图;
图20为另一个实施例中第二目标图像的示意图;
图21为另一个实施例中第二目标图像的示意图;
图22为一个实施例中生成第三目标图像的流程示意图;
图23为一个实施例中第二全色图像、双颜色的第二彩色图像和单颜色的第二彩色图像的示意图;
图24为一个实施例中第三目标图像的示意图;
图25为另一个实施例中第三目标图像的示意图;
图26为另一个实施例中图像生成方法的流程示意图;
图27为一个实施例中图像生成装置的结构框图;
图28为一个实施例中电子设备的内部结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
可以理解,本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件,但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说,在不脱离本申请的范围的情况下,可以将第一目标图像称为第二目标图像,且类似地,可将第二目标图像称为第一目标图像。第一目标图像和第二目标图像两者都是目标图像,但其不是同一目标图像。
在一个实施例中,电子设备100包括手机、平板电脑、笔记本电脑、柜员机、闸机、智能手表、头显设备等,可以理解,电子设备100还可以是其他任意图像处理功能的装置。电子设备100包括摄像模组20、处理器30和壳体40。摄像模组20和处理器30均设置在壳体40内,壳体40还可用于安装电子设备100的供电装置、通信装置等功能模块,以使壳体40为功能模块提供防尘、防摔、防水等保护。
摄像模组20可以是前置摄像模组、后置摄像模组、侧置摄像模组、屏下摄像模组等,在此不做限制。摄像模组20包括镜头及图像传感器21,摄像模组20在拍摄图像时,光线穿过镜头并到达图像传感器21,图像传感器21用于将照射到图像传感器21上的光信号转化为电信号。
在一个实施例中,如图2所示,图像传感器21包括微透镜阵列22、滤光片阵列23、像素阵列24。
微透镜阵列22包括多个微透镜221,微透镜221、滤光片阵列23中的子滤光片和像素阵列24中的像素一一对应设置,微透镜221用于将入射的光线进行聚集,聚集之后的光线会穿过对应的子滤光片,然后投射至像素上,被对应的像素接收,像素再将接收的光线转化成电信号。
在一个实施例中,滤光片阵列23包括多个最小重复单元230。最小重复单元230至少包括第一滤光片组231和第二滤光片组232,第一滤光片组231和第二滤光片组232均包括全色滤光片233和彩色滤光片234;第一滤光片组231中的彩色滤光片234包括第一颜色滤光片和第三颜色滤光片,第二滤光片组232中的彩色滤光片234包括第二颜色滤光片;全色滤光片233与彩色滤光片234在每一行和每一列上交替排布,全色滤光片233透过的进光量大于彩色滤光片234透过的进光量;每个全色滤光片233包括N行N列个全色子滤光片,每个彩色滤光片234包括N行N列个彩色子滤光片,N行N列个彩色子滤光片与彩色滤光片的颜色相同,N为正整数。
进一步地,最小重复单元230的每一行和每一列上均包括每种颜色的彩色滤光片234,即将各个颜色的彩色滤光片分散排列,可以提高了彩色分辨能力和亮度变化分辨能力,各个颜色的彩色滤光片混合排列,也降低了伪色的风险。可以理解的是,全色滤光片233与彩色滤光片234在每一行和每一列上交替排布,也即全色滤光片233在最小重复单元、第一滤光片组或第二滤光片组中占50%的数量,可以提高了成像中每个局部区域的进光量。
在图2中,最小重复单元230包括2个第一滤光片组231和2个第二滤光片组232,2个第一滤光片组231在最小重复单元230的对角线上排布,2个第二滤光片组232在最小重复单元230的反对角线上排布。2个第一滤光片组231和2个第二滤光片组232呈矩阵排布。
其中,对角线可以是左上角和右下角的连线,也可以是右上角和左下角的连线。对角线和反对角线相互垂直。也就是说,若对角线是左上角和右下角的连线,则反对角线是右上角和左下角的连线;若对角线是右上角和左下角的连线,则反对角线是左上角和右下角的连线。
每个滤光片组的彩色滤光片234排布在对应滤光片组的对角线及平行于对角线的方向上。对应滤光片组即彩色滤光片234所在的滤光片组。
第二滤光片组232中的彩色滤光片包括第二颜色滤光片,而第二滤光片组232中的第二颜色滤光片排布在第二滤光片组232的对角线及平行于对角线的方向上,可以提高第二颜色滤光片在对角线上的分布均衡性。
2个第一滤光片组231的任意1个第一滤光片组中,第一颜色滤光片或第三颜色滤光片设置在第一滤光片组231的对角线上。
在一种实施方式中,如图4所示,2个第一滤光片组231中的第一颜色滤光片均设置在第一滤光片组231的对角线上,第三颜色滤光片均设置在平行于第一滤光片组231的对角线的方向上。
在另一种实施方式中,如图2所示,2个第一滤光片组的其中一个第一滤光片组中的第一颜色滤光片设置在第一滤光片组的对角线上,第三颜色滤光片设置在平行于第一滤光片组的对角线的方向上,另一个第一滤光片组中的第三颜色滤光片设置在第一滤光片组的对角线上,第一颜色滤光片设置在平行于第一滤光片组的对角线的方向上。
该滤光片阵列,可以使得在对角线也即斜45度的第一颜色滤光片或第三颜色滤光片分布更加均衡。例如,设想一些列方向的彩色变化条纹,每条彩色线占一个像素宽度,由于这个图像传感器中滤光片排列在每一列上面都可以得到对应的彩色像素存在,那么就可以估计出这个列方向上所有像素的彩色像素值。
2个第一滤光片组231的任意1个第一滤光片组中,第一颜色滤光片或第三颜色滤光片设置在对角线上,即将第一颜色滤光片和第三颜色滤光片相互穿插,增加第一颜色滤光片和第三颜色滤光片在对角线上的排布均衡性。
在一个实施例中,每个滤光片组包括多个子单元,每个子单元包括彩色滤光片234和全色滤光片233,子单元中的彩色滤光片234排布在子单元的对角线,子单元中的全色滤光片233排布在子单元的反对角线。
彩色滤光片234包括第一颜色滤光片、第二颜色滤光片和第三颜色滤光片。第一颜色滤光片、第二颜色滤光片和第三颜色滤光片是三种不同彩色的滤光片。第一颜色滤光片、第二颜色滤光片和第三颜色滤光片的颜色均可以根据需要进行设置。例如,第一颜色滤光片可以为红色滤光片,第二颜色滤光片可以为绿色滤光片,第三颜色滤光片可以为蓝色滤光片。
彩色滤光片234的透过的光线的波段的宽度小于全色滤光片233透过的光线的波段的宽度,例如,彩色滤光片234的透过的光线的波段可对应红光的波段、绿光的波段、或蓝光的波段,全色滤光片透过的光线的波段为所有可见光的波段,也即是说,彩色滤光片234仅允许特定颜色光线透光,而全色滤光片233可通过所有颜色的光线。当然,彩色滤光片234的透过的光线的波段还可对应其他色光的波段,如品红色光、紫色光、青色光、黄色光等,在此不作限制。
像素阵列24包括多个像素,像素阵列24的像素与滤光片阵列23的子滤光片对应设置。像素阵列24被配置成用于接收穿过滤光片阵列23的光线以生成电信号。
其中,像素阵列24被配置成用于接收穿过滤光片阵列23的光线以生成电信号,是指像素阵列24用于对穿过滤光片阵列23的被摄对象的给定集合的场景的光线进行光电转换,以生成电信号。被摄对象的给定集合的场景的光线用于生成图像数据。例如,被摄对象是建筑物,被摄对象的给定集合的场景是指该建筑物所处的场景,该场景中还可以包含其他对象。
在一个实施例中,像素阵列24包括多个最小重复单元240,最小重复单元240还包括多个全色像素241和多个不同颜色的彩色像素242,全色像素241与彩色像素242在每一行和每一列上交替排布,每一行和每一列上均包括每种颜色的彩色像素;每个全色像素242对应全色滤光片233中的一个子滤光片,全色像素242接收穿过对应的子滤光片的光线以生成电信号。每个彩色像素242对应彩色滤光片234的一个子滤光片,彩色像素242接收穿过对应的子滤光片的光线以生成电信号。
如图3所示,读出电路25与像素阵列24电连接,用于控制像素阵列24的曝光以及像素的像素值的读取和输出。读出电路25包括垂直驱动单元251、控制单元252、列处理单元253和水平驱动单元254。垂直驱动单元251包括移位寄存器和地址译码器。垂直驱动单元251包括读出扫描和复位扫描功能。控制单元252根据操作模式配置时序信号,利用多种时序信号来控制垂直驱动单元251、列处理单元253和水平驱动单元254协同工作。列处理单元253可以具有用于将模拟像素信号转换为数字格式的模数(A/D)转换功能。水平驱动单元254包括移位寄存器和地址译码器。水平驱动单元254顺序逐列扫描像素阵列24。
上述图像传感器,图像传感器包括滤光片阵列23和像素阵列24,滤光片阵列23包括最小重复单元230,最小重复单元230至少包括第一滤光片组231和第二滤光片组232;第一滤光片组231和第二滤光片组232均包括全色滤光片233和彩色滤光片234;第一滤光片组231中的彩色滤光片234包括第一颜色滤光片和第三颜色滤光片,第二滤光片组232中的彩色滤光片234包括第二颜色滤光片,全色滤光片233透过的进光量大于彩色滤光片234透过的进光量,可在拍摄时通过全色滤光片233获得更多的光量,从而无需调节拍摄参数,在不影响拍摄的稳定性的情况下,提高暗光下的成像的清晰度。暗光下成像时,可兼顾稳定性和清晰度,暗光下成像的稳定性和清晰度均较高。
最小重复单元230中全色滤光片233和彩色滤光片234在每一行和每一列上交替排布,每个全色滤光片233包括N行N列个全色子滤光片,每个彩色滤光片234包括N行N列个彩色子滤光片,N行N列个彩色子滤光片与彩色滤光片的颜色相同,N为正整数,而像素阵列24中各个像素与滤光片阵列23的子滤光片对应设置,也即像素阵列24中每一行和每一列上均包括每种颜色的彩色像素,可以提高成像的每一行每一列的彩色分辨率,使得成像的颜色更加丰富。
在该滤光片阵列23中,全色滤光片233和各种颜色的彩色滤光片234分散排列,使得成像中全色像素值和各种颜色的彩色像素值也分散排列,可以提高彩色分辨率能力和亮度变化分辨能力。同时,各种颜色的彩色滤光片234混合排列,使得成像中各种颜色的彩色像素值也混合排列,可以降低伪色的风险。
当N为1时,每个全色滤光片233包括1行1列个全色子滤光片,每个彩色滤光片234包括1行1列个彩色子滤光片,也就是说,每个全色子滤光片为全色滤光片233,每个彩色子滤光片为彩色滤光片234。
在一个实施例中,如图5所示,若N为1,最小重复单元230包括8行8列64个滤光片,排布方式为:
Figure BDA0003386670440000061
其中,w表示全色滤光片234,a、b和c均表示彩色滤光片235。
在另一个实施例中,如图6所示,若N为1,最小重复单元230包括8行8列64个滤光片,排布方式为:
Figure BDA0003386670440000071
其中,w表示全色滤光片234,a、b和c均表示彩色滤光片235。
在另一个实施例中,如图7所示,若N为1,最小重复单元230包括8行8列64个滤光片,排布方式为:
Figure BDA0003386670440000072
其中,w表示全色滤光片234,a、b和c均表示彩色滤光片235。
在另一个实施例中,如图8所示,若N为1,最小重复单元230包括8行8列64个滤光片,排布方式为:
Figure BDA0003386670440000073
其中,w表示全色滤光片234,a、b和c均表示彩色滤光片235。
其中,w可以是白色滤光片,a为红色滤光片,b为绿色滤光片,c为蓝色滤光片,或者例如a为品红色滤光片,b为青色滤光片,c为黄色滤光片等,在此不做限制。
在一个实施例中,如图9所示,若N为2,最小重复单元230包括16行16列256个子滤光片,排布方式为:
Figure BDA0003386670440000074
Figure BDA0003386670440000081
其中,w表示全色子滤光片,a、b和c均表示彩色子滤光片。
在另一个实施例中,如图10所示,若N为2,最小重复单元230包括16行16列256个子滤光片,排布方式为:
Figure BDA0003386670440000082
其中,w表示全色子滤光片,a、b和c均表示彩色子滤光片。
在另一个实施例中,如图11所示,若N为2,最小重复单元230包括16行16列256个子滤光片,排布方式为:
Figure BDA0003386670440000083
其中,w表示全色子滤光片,a、b和c均表示彩色子滤光片。
在另一个实施例中,如图12所示,若N为2,最小重复单元230包括16行16列256个子滤光片,排布方式为:
Figure BDA0003386670440000091
其中,w表示全色子滤光片,a、b和c均表示彩色子滤光片。
需要说明的是,N还可以为3、4或5等其他正整数,排布方式与N为1或2类似,在此不做赘述。
其中,w可以是白色子滤光片,a为红色子滤光片,b为绿色子滤光片,c为蓝色子滤光片,或者例如a为品红色子滤光片,b为青色子滤光片,c为黄色子滤光片等,在此不做限制。
在一个实施例中,还提供了一种摄像模组,摄像模组包括镜头和上述的图像传感器;图像传感器用于接收穿过镜头的光线,像素根据光线生成电信号。
在一个实施例中,还提供了一种电子设备,包括上述的摄像模组;及壳体,摄像模组设置在壳体上。
在一个实施中,提供了一种图像生成方法,应用于图像传感器,图像传感器包括滤光片阵列和像素阵列,滤光片阵列包括最小重复单元,最小重复单元至少包括第一滤光片组和第二滤光片组;第一滤光片组和第二滤光片组均包括全色滤光片和彩色滤光片;第一滤光片组中的彩色滤光片包括第一颜色滤光片和第三颜色滤光片,第二滤光片组中的彩色滤光片包括第二颜色滤光片;最小重复单元中全色滤光片和彩色滤光片在最小重复单元的每一行和每一列上交替排布,全色滤光片透过的进光量大于彩色滤光片透过的进光量;每个全色滤光片包括N行N列个全色子滤光片,每个彩色滤光片包括N行N列个彩色子滤光片,N行N列个彩色子滤光片与彩色滤光片的颜色相同,N为大于或等于2的正整数;像素阵列中各个像素与滤光片阵列的子滤光片对应设置,像素阵列被配置成用于接收穿过滤光片阵列的光线以生成电信号;
如图13所示,该图像生成方法包括:
步骤1302,在全分辨率模式下,将全色滤光片中每个全色子滤光片对应的全色像素读出全分辨率全色像素值,以及将彩色滤光片中每个彩色子滤光片对应的彩色像素读出全分辨率彩色像素值。
全分辨率模式是将每个子滤光片读出为一个像素的模式。
彩色滤光片234具有比全色滤光片233的更窄的光谱响应,则全色滤光片233透过的进光量大于彩色滤光片234透过的进光量,即彩色滤光片234透过的光线的波段宽度小于全色滤光片233透过的光线的波段宽度,全色滤光片233透过更多的光线,通过全色滤光片233得到相应的全色像素241具有更高的信噪比,该全色像素241包含有更多的信息,可以解析出更多的纹理细节。其中,信噪比是指正常信号与噪声信号之间的比值。像素的信噪比越高,则该像素包含的正常信号的比例越高,从该像素中解析到的信息也越多。
彩色像素242可以是G(Green,绿色)像素、R(Red,红色)像素和B(Blue,蓝色)像素等,但不限于此。
在接收到拍摄指令的情况下,检测用户是否选择所需使用的分辨率模式,当检测到用户选择使用全分辨率模式的情况下,或者,在用户未选择所需使用的分辨率模式,未使用预览拍摄、且当前环境非夜景模式的情况下,使用全分辨率模式响应该拍摄指令。
在全分辨率模式下,全色滤光片233中的全色子滤光片透过的光线投射至对应的全色像素241上,全色像素241接收穿过全色子滤光片的光线以生成电信号。彩色滤光片234中的彩色子滤光片透过的光线投射至对应的彩色像素242上,彩色像素242穿过对应的彩色子滤光片的光线以生成电信号。
每个全色滤光片233包括N行N列个全色子滤光片,则每个全色滤光片233对应N行N列个全色像素241。每个彩色滤光片234包括N行N列个同个颜色的彩色子滤光片,则每个彩色滤光片234对应N行N列个彩色像素242。N为大于或等于2的正整数。
在其他实施例中,N也可以为1,即每个全色滤光片233对应1个全色像素241,每个彩色滤光片234对应1个彩色像素242。
步骤1304,基于各个全分辨率全色像素值和各个全分辨率彩色像素值,生成全分辨率目标图像。
电子设备可根据预设像素读取方式,从各个全分辨率全色像素值和各个全分辨率彩色像素值中读取像素值以生成全分辨率目标图像。预设像素读取方式是预先设置的像素读取方式。
上述图像生成方法、装置、电子设备、计算机可读存储介质和计算机程序产品,在全分辨率模式下,将全色滤光片中每个全色子滤光片对应的全色像素读出全分辨率全色像素值,以及将彩色滤光片中每个彩色子滤光片对应的彩色像素读出全分辨率彩色像素值;而全色滤光片透过的进光量大于彩色滤光片透过的进光量,能够将全色通道信息融合到图像中,提高整体的进光量,从而基于各个全分辨率全色像素值和各个全分辨率彩色像素值,能够生成信息更多、细节解析更清晰的全分辨率目标图像。
在该滤光片阵列中,全色滤光片和各种颜色的彩色滤光片分散排列,使得成像中全分辨率全色像素值和各种颜色的全分辨率彩色像素值也分散排列,可以提高彩色分辨率能力和亮度变化分辨能力。同时,各种颜色的彩色滤光片混合排列,使得成像中各种颜色的全分辨率彩色像素值也混合排列,可以降低伪色的风险。
并且,全色滤光片与彩色滤光片在每一行和每一列上交替排布,每个全色滤光片包括N行N列个全色子滤光片,每个彩色滤光片包括N行N列个彩色子滤光片,N行N列个彩色子滤光片与彩色滤光片的颜色相同,N为正整数;而像素阵列中各个像素与滤光片阵列的子滤光片对应设置,可以提高生成的全分辨率目标图像的每一行每一列的彩色分辨率,使得全分辨率目标图像的颜色更加丰富。
在一个实施例中,如图14所示,上述方法还包括:
步骤1402,在第一分辨率模式下,将每个所述全色滤光片中各个全色子滤光片对应的全色像素合并读出第一全色像素值,以及将每个所述彩色滤光片中各个彩色子滤光片对应的彩色像素合并读出第一彩色像素值;所述第一分辨率模式对应的分辨率小于所述全分辨率模式对应的分辨率。
第一分辨率模式是指分辨率、功耗、信噪比和帧率均比较均衡的一级像素合并读出模式。第一分辨率模式具体可以是图像、视频拍摄的默认模式。
在接收到拍摄指令的情况下,检测用户是否选择所需使用的分辨率模式,当检测到用户选择使用第一分辨率模式的情况下,或者,在用户未选择所需使用的分辨率模式,未使用预览拍摄、且当前环境非夜景模式的情况下,使用第一分辨率模式响应该拍摄指令。
在第一分辨率模式下,全色滤光片233中的全色子滤光片透过的光线投射至对应的全色像素241上,全色像素241接收穿过全色子滤光片的光线以生成电信号。彩色滤光片234中的彩色子滤光片透过的光线投射至对应的彩色像素242上,彩色像素242穿过对应的彩色子滤光片的光线以生成电信号。
合并读出是指将多个像素的像素值求和,或者计算出多个像素的像素值的均值。
在一种实施方式中,对于每个全色滤光片233,对各个全色子滤光片对应的全色像素241求平均值,将该平均值读出为第一全色像素值。在另一种实施方式中,对于每个全色滤光片233,对各个全色子滤光片对应的全色像素241进行相加,将相加得到的和读出为第一全色像素值。在其他实施例方式中,电子设备还可以采用其他方式将全色子滤光片对应的全色像素241合并读出第一全色像素值,在此不做限定。
在一种实施方式中,对于每个彩色滤光片234,对各个彩色子滤光片对应的彩色像素242求平均值,将该平均值读出为第一彩色像素值。在另一种实施方式中,对于每个彩色滤光片234,对各个彩色子滤光片对应的彩色像素进行相加,将相加得到的和读出为第一彩色像素值。在其他实施例方式中,电子设备还可以采用其他方式将彩色子滤光片对应的彩色像素242合并读出第一彩色像素值,在此不做限定。
需要说明的是,对于各个全色滤光片233,合并读出第一全色像素值的方式可以相同,也可以不同。对于各个彩色滤光片234,合并读出第一彩色像素值的方式可以相同,也可以不同。而对于全色滤光片233和彩色滤光片234,合并读出第一全色像素值和第一彩色像素值的方式可以相同,也可以不同。
步骤1404,基于各个所述第一全色像素值和各个所述第一彩色像素值,生成第一目标图像。
电子设备可根据预设像素读取方式,从各个第一全色像素值和各个第一彩色像素值中读取像素值以生成第一目标图像。预设像素读取方式是预先设置的像素读取方式。以滤光片阵列23的最小重复单元为图9的排布方式为例,则生成的第一目标图像如图15所示。
在本实施例中,在第一分辨率模式下,将每个全色滤光片233中各个全色子滤光片对应的全色像素241合并读出第一全色像素值,以及将每个彩色滤光片234中各个彩色子滤光片对应的彩色像素242合并读出第一彩色像素值,而全色滤光片233透过的进光量大于彩色滤光片234透过的进光量,能够将全色通道信息融合到图像中,提高整体的进光量,从而基于各个第一全色像素值和各个第一彩色像素值,能够生成信息更多、细节解析更清晰的第一目标图像。
并且,全色滤光片233与彩色滤光片234在每一行和每一列上交替排布,每个全色滤光片233包括N行N列个全色子滤光片,每个彩色滤光片234包括N行N列个彩色子滤光片,N行N列个彩色子滤光片与彩色滤光片的颜色相同,N为正整数;而像素阵列24中各个像素与滤光片阵列23的子滤光片对应设置,也即像素阵列24中每一行和每一列上均包括每种颜色的彩色像素,可以提高生成的第一目标图像的每一行每一列的彩色分辨率,使得第一目标图像的颜色更加丰富。
在一个实施例中,每个滤光片组包括多个子单元,每个子单元包括全色滤光片和彩色滤光片,子单元中的彩色滤光片排布在子单元的对角线,子单元中的全色滤光片排布在子单元的反对角线。
子单元包括2行2列个滤光片,子单元中的彩色滤光片排布在子单元的对角线上,子单元中的全色滤光片排布在子单元的反对角线上。也就是说,2行2列个滤光片呈矩阵排列。
如图16所示,生成第一目标图像之后,还包括:
步骤1602,在第二分辨率模式下,将第一目标图像中对应在每个子单元中的多个第一全色像素值合并读出第二全色像素值,并基于各个第二全色像素值生成第一全色图像;第二分辨率模式对应的分辨率小于第一分辨率模式对应的分辨率。
第二分辨率模式是指对分辨率要求比第一分辨率模式要求低的场景下所使用的模式,是低分辨率、低功耗、高信噪比、高帧率的二级像素合并读出模式。该第二分辨率模式对应的分辨率、功耗小于第一分辨率模式对应的分辨率、功耗。该第二分辨率模式对应的信噪比、帧率大于第一分辨率模式对应的信噪比、帧率。
第二分辨率模式具体可以是图像拍摄时的预览模式、视频拍摄时的预览模式,或者在夜景下进行图像拍摄、视频拍摄的夜景模式等分辨率要求较低的场景,但不限于此。视频拍摄的预览模式例如1080p视频预览、应用视频预览等。
在接收到拍摄指令的情况下,确定该拍摄指令是否为预览拍摄。在该拍摄指令为预览拍摄的情况下,触发第二分辨率模式。或者,电子设备检测当前环境是否为夜景,在当前环境为夜景的情况下,触发第二分辨率模式。或者,在用户选择第二分辨率模式的情况下,触发第二分辨率模式对应的读出模式。
具体地,电子设备将第一目标图像中对应在每个子单元中的多个第一全色像素值合并读出第二全色像素值,并根据预设像素读取方式,从各个第二全色像素值读取像素值以生成第一全色图像。
可以理解的是,第一目标图像中各个像素值是在第一分辨率模式下,将滤光片阵列中每个滤光片中的子滤光片对应的像素合并得到的,则第一目标图像中每个像素值对应滤光片阵列中每个滤光片,也对应每个滤光片中的多个子滤光片。
在第二分辨率模式下,电子设备确定每个子单元于第一目标图像中的多个像素值,从多个像素值中获取多个第一全色像素合并读出第二全色像素值,以及从多个像素值中获取多个相同颜色的第一彩色像素值合并读出第二彩色像素值。
可以理解的是,合并读出可以包括求均值、求和或加权平均等其中一种方式,在此不做限定。
步骤1604,将第一目标图像中对应在每个子单元中的多个相同颜色的第一彩色像素值合并读出第二彩色像素值,并基于各个第二彩色像素值生成第一彩色图像。
具体地,在第二分辨率模式下,电子设备将第一目标图像中对应在每个子单元中的多个相同颜色的第一彩色像素值合并读出第二彩色像素值,并根据预设像素读取方式,从各个第二彩色像素值读取像素值以生成第一彩色图像。
可以理解的是,合并读出可以包括求均值、求和或加权平均等其中一种方式,在此不做限定。
以图15为第一目标图像为例,则生成的第一彩色图像如图17中的1702所示,生成的第一全色图像如1704所示。
步骤1606,基于第一全色图像和第一彩色图像,生成第二目标图像。
当需要将第一全色图像和第一彩色图像进行打包传输时,电子设备可以基于第一全色图像和第一彩色图像,生成第二目标图像,将第二目标图像进行传输。
具体地,电子设备将第一全色图像中每一行第二全色像素值与第一彩色图像中每一行第二彩色像素值相间排布,生成第二目标图像;或者将第一全色图像中每一列第二全色像素值与第一彩色图像中每一列第二彩色像素值相间排布,生成第二目标图像。
图18和图19为第一全色图像中每一行第二全色像素值与第一彩色图像中每一行第二彩色像素值相间排布得到的第二目标图像的示意图。图20和图21为第一全色图像中每一列第二全色像素值与第一彩色图像中每一列第二彩色像素值相间排布得到的第二目标图像。
在另一实施例中,电子设备还可以将第一全色图像和第一彩色图像中同一位置的像素值进行合并,得到对应位置的合并像素值,基于各合并像素值构成第二目标图像。其中,合并可以采用求均值、加权求平均或相加求和等其中一种方式。
在其他实施例中,电子设备还可以采用其他方式生成第二目标图像,在此不做限定。
在本实施例中,在第二分辨率模式下,将第一目标图像中对应在每个子单元中的多个第一全色像素值合并读出第二全色像素值,以及将第一目标图像中对应在每个子单元中的多个相同颜色的第一彩色像素值合并读出第二彩色像素值,能够将各个不同的彩色像素242进行混合排列,使得所生成的第二目标图像中的各个第二彩色像素如RGB像素分布更均匀,图像质量更高。并且,所得到第二目标图像的分辨率和图像尺寸进一步减小,且全色像素241具有更高的信噪比,图像的帧率高,从而达到了二级像素合并输出的功耗更低、信噪比更佳的图像处理效果。并且,在第二分辨率模式下,具有全排列的全色像素,无需做插值,提高了整体的解析力。同时,在全尺寸情形下,各个颜色的彩色像素如第一颜色的像素和第三颜色的像素在对角方向或反对角方向更加分散均衡。
在一个实施例中,每个滤光片组包括多个子单元,每个子单元包括全色滤光片和彩色滤光片,子单元中的彩色滤光片排布在子单元的对角线,子单元中的全色滤光片排布在子单元的反对角线;上述方法还包括:在第二分辨率模式下,将每个子单元中多个全色滤光片的各个全色子滤光片对应的全色像素合并读出第四全色像素值,并基于各个第四全色像素值生成第三全色图像;将每个子单元中多个相同颜色的彩色滤光片的各个彩色子滤光片对应的彩色像素合并读出第四彩色像素值,并基于各个第四彩色像素值生成第三彩色图像;基于第三全色图像和第三彩色图像,生成第四目标图像。
其中,合并读出的方式可以是求平均、加权平均或相加等其中一种。
当需要将第三全色图像和第三彩色图像进行打包传输时,电子设备可以基于第三全色图像和第三彩色图像,生成第四目标图像,再将第四目标图像进行传输。
在一个实施例中,基于第三全色图像和第三彩色图像,生成第四目标图像,包括:将第三全色图像中每一行第四全色像素值与第三彩色图像中每一行第四彩色像素值相间排布,生成第四目标图像;或者将第三全色图像中每一列第四全色像素值与第三彩色图像中每一列第四彩色像素值相间排布,生成第四目标图像。
在另一实施例中,电子设备还可以将第三全色图像和第三彩色图像中同一位置的像素值进行合并,得到对应位置的合并像素值,基于各合并像素值构成第四目标图像。其中,合并读出可以采用求均值、加权求平均或相加求和等其中一种方式。
在其他实施例中,电子设备还可以采用其他方式生成第四目标图像,在此不做限定。
在本实施例中,在第二分辨率模式下,将每个子单元中多个全色滤光片的各个全色子滤光片对应的全色像素合并读出第四全色像素值,以及将每个子单元中多个相同颜色的彩色滤光片的各个彩色子滤光片对应的彩色像素合并读出第四彩色像素值,可以更快速生成第三全色图像和第三彩色图像,从而更快速生成第四目标图像。
并且,上述实施例能够将各个不同的彩色像素进行混合排列,使得所生成的第四目标图像中的各个第四彩色像素值如RGB像素分布更均匀,图像质量更高。并且,所得到第四目标图像的分辨率和图像尺寸进一步减小,且全色像素241具有更高的信噪比,图像的帧率高,从而达到了二级像素合并输出的功耗更低、信噪比更佳的图像处理效果。
在一个实施例中,如图22所示,上述方法还包括:
步骤2202,在第三分辨率模式下,将第一全色图像中对应在同一滤光片组中的多个第二全色像素值合并读出第三全色像素值,并基于各个第三全色像素值生成第二全色图像;第三分辨率模式对应的分辨率小于第二分辨率模式对应的分辨率。
第三分辨率模式是指对分辨率要求比第二分辨率模式要求低的场景下所使用的模式,是低分辨率、低功耗、高信噪比、高帧率的三级像素合并读出模式。该第三分辨率模式对应的分辨率、功耗小于第二分辨率模式对应的分辨率、功耗。该第三分辨率模式对应的信噪比、帧率大于第二分辨率模式对应的信噪比、帧率。
第三分辨率模式具体可以是图像拍摄时的预览模式、视频拍摄时的预览模式,或者在夜景下进行图像拍摄、视频拍摄的夜景模式等分辨率要求较低的场景,但不限于此。视频拍摄的预览模式例如720p视频预览、应用视频预览等。
电子设备从滤光片阵列中确定每个滤光片组,获取每个滤光片组所得到的第一全色图像中的多个第二全色像素值,将多个第二全色像素值合并读出第三全色像素值。电子设备根据预设像素读取方式,从各个第三全色像素值中读取像素值以第二全色图像。
步骤2204,将第一彩色图像中对应在同一滤光片组中的多个同种颜色的第二彩色像素值合并读出第一颜色的第三彩色像素值、第二颜色的第三彩色像素值和第三颜色的第三彩色像素值,并基于第一颜色的第三彩色像素值、第二颜色的第三彩色像素值和第三颜色的第三彩色像素值,生成双颜色的第二彩色图像和单颜色的第二彩色图像;双颜色的第二彩色图像包括第二颜色的第三彩色像素值,以及第一颜色的第三彩色像素值和第三颜色的第三彩色像素值的其中一种,单颜色的第二彩色图像包括第一颜色的第三彩色像素值和第三颜色的第三彩色像素值的另外一种。
第一颜色的第三彩色像素值是第一颜色滤光片对应的像素读出的像素值,第二颜色的第三彩色像素值是第二颜色滤光片对应的像素读出的像素值,第三颜色的第三彩色像素值是第三颜色滤光片对应的像素读出的像素值。
电子设备从滤光片阵列中确定每个滤光片组,获取每个滤光片组所得到的第一彩色图像中的多个同种颜色的第二彩色像素值,同种颜色的第二彩色像素值包括第一颜色的第二彩色像素值、第二颜色的第二彩色像素值和第三颜色的第二彩色像素值,将多个第一颜色的第二彩色像素值合并读出第一颜色的第三全色像素值,将多个第二颜色的第二彩色像素值合并读出第二颜色的第三全色像素值,将多个第三颜色的第二彩色像素值合并读出第三颜色的第三全色像素值。
双颜色的第二彩色图像指的是包括两种颜色的像素值的图像,并且双颜色的第二彩色图像包括第二颜色的第三彩色像素值。单颜色的第二彩色图像包括一种颜色的像素值的图像。
在一种实施方式中,电子设备将第一颜色的第三彩色像素值和第二颜色的第三彩色像素值,构成双颜色的第二彩色图像,将第三颜色的第三彩色像素值构成单颜色的第二彩色图像。
在另一种实施方式中,电子设备将第三颜色的第三彩色像素值和第二颜色的第三彩色像素值,构成双颜色的第二彩色图像,将第一颜色的第三彩色像素值构成单颜色的第二彩色图像。
以图17的第一彩色图像和第一全色图像为例,在第三分辨率模式下,电子设备将第一全色图像1704中对应在同一滤光片组中的多个第二全色像素值合并读出第三全色像素值,并基于各个第三全色像素值生成图23中的第二全色图像2302;第三分辨率模式对应的分辨率小于第二分辨率模式对应的分辨率;将第一彩色图像1702中对应在同一滤光片组中的多个同种颜色的第二彩色像素值合并读出第一颜色的第三彩色像素值、第二颜色的第三彩色像素值和第三颜色的第三彩色像素值,并基于第一颜色的第三彩色像素值、第二颜色的第三彩色像素值和第三颜色的第三彩色像素值,生成图23中的双颜色的第二彩色图像2304和单颜色的第二彩色图像2306。需要说明的是,在图23中单颜色的第二彩色图像2306仅包括第三颜色的第三彩色像素值,该第三颜色的第三彩色像素值与双颜色的第二彩色图像2304中的第一颜色的第三彩色像素值相对应,而在单颜色的第二彩色图像2306中,与双颜色的第二彩色图像2304的第二颜色的第三彩色像素值相对应的位置为空像素。空像素即无任何信息的像素。
步骤2206,基于第二全色图像、双颜色的第二彩色图像和单颜色的第二彩色图像,生成第三目标图像。
当需要将第二全色图像、双颜色的第二彩色图像和单颜色的第二彩色图像进行打包传输时,电子设备可以基于第二全色图像、双颜色的第二彩色图像和单颜色的第二彩色图像,生成第三目标图像,再将第三目标图像进行传输。
具体地,电子设备将具有同一坐标的第二全色图像中第三全色像素值、双颜色的第二彩色图像中第三彩色像素值和单颜色的第二彩色图像中第三彩色像素值在行方向上相间排布,生成第三目标图像;或者将具有同一坐标的第二全色图像中第三全色像素值、双颜色的第二彩色图像中第三彩色像素值和单颜色的第二彩色图像中第三彩色像素值在列方向相间排布,生成第三目标图像。
以图23中的第二全色图像2302、双颜色的第二彩色图像2304和单颜色的第二彩色图像2306为例,图24是一种实施方式中同一坐标的第二全色图像中第三全色像素值、双颜色的第二彩色图像中第三彩色像素值和单颜色的第二彩色图像中第三彩色像素值在行方向上相间排布所生成的第三目标图像;图25是另一种实施方式中同一坐标的第二全色图像中第三全色像素值、双颜色的第二彩色图像中第三彩色像素值和单颜色的第二彩色图像中第三彩色像素值在行方向上相间排布所生成的第三目标图像。
需要说明的是,同一坐标的第二全色图像中第三全色像素值、双颜色的第二彩色图像中第三彩色像素值和单颜色的第二彩色图像中第三彩色像素值在排列时并不限定顺序。
在其他实施例中,电子设备还可以采用其他方式生成第三目标图像,在此不做限定。
在本实施例中,在第三分辨率模式下,将第一全色图像中对应在同一滤光片组中的多个第二全色像素值合并读出第三全色像素值,将第一彩色图像中对应在同一滤光片组中的多个同种颜色的第二彩色像素值合并读出第一颜色的第三彩色像素值、第二颜色的第三彩色像素值和第三颜色的第三彩色像素值,能够将各个不同的彩色像素进行混合排列,使得所生成的第三目标图像中的第三彩色像素如RGB像素分布更均匀,图像质量更高。并且,所得到第三目标图像的分辨率和图像尺寸进一步减小,且全色像素具有更高的信噪比,图像的帧率高,从而达到了三级像素合并输出的功耗更低、信噪比更佳的图像处理效果。并且,在第三分辨率模式下,第三目标图像中包括有全排列的全色像素,可以提高整体的解析力。同时,在第三分辨率模式下,也无需跨越周期做同个颜色的像素的合并,无需做插值,提高了整体的解析力。在全尺寸情形下,各个颜色的彩色像素如第一颜色的像素值和第三颜色的像素值在对角线或反对角线更加分散均衡。其中,全排列指的是每一坐标均有该像素,不需要做插值估计。
在一个实施例中,每个滤光片组的彩色滤光片排布在对应滤光片组的对角线及平行于对角线的方向上,每个滤光片组的全色滤光片排布在对应滤光片组的反对角线及平行于反对角线的方向上;上述方法还包括:在第三分辨率模式下,将每个滤光片组中的多个全色滤光片的各个全色子滤光片对应的全色像素合并读出第五全色像素值,并基于各个第五全色像素值生成第四全色图像;将每个滤光片组中多个同种颜色的彩色滤光片的各个彩色子滤光片对应的彩色像素合并读出第一颜色的第五彩色像素值、第二颜色的第五彩色像素值和第三颜色的第五彩色像素值,并基于第一颜色的第五彩色像素值、第二颜色的第五彩色像素值和第三颜色的第五彩色像素值,生成双颜色的第四彩色图像和单颜色的第四彩色图像;双颜色的第四彩色图像包括第二颜色的第五彩色像素值,以及第一颜色的第五彩色像素值和第三颜色的第五彩色像素值的其中一种,单颜色的第四彩色图像包括第一颜色的第五彩色像素值和第三颜色的第五彩色像素值的另外一种;基于第四全色图像、双颜色的第四彩色图像和单颜色的第四彩色图像,生成第五目标图像。
其中,合并读出的方式可以是求平均、加权平均或相加等其中一种。
当需要将第四全色图像、双颜色的第四彩色图像和单颜色的第四彩色图像进行打包传输时,电子设备可以基于第四全色图像、双颜色的第四彩色图像和单颜色的第四彩色图像,生成第五目标图像,再将第五目标图像进行传输。
其中,基于第四全色图像、双颜色的第四彩色图像和单颜色的第四彩色图像,生成第五目标图像,包括:将具有同一坐标的第四全色图像中第五全色像素值、双颜色的第四彩色图像中第五彩色像素值和单颜色的第四彩色图像中第五彩色像素值在行方向上相间排布,生成第五目标图像;或者将具有同一坐标的第四全色图像中第五全色像素值、双颜色的第四彩色图像中第五彩色像素值和单颜色的第四彩色图像中第五彩色像素值在列方向相间排布,生成第五目标图像。
在其他实施例中,电子设备还可以采用其他方式生成第五目标图像,在此不做限定。
在本实施例中,在第三分辨率模式下,将每个滤光片组中的多个全色滤光片的各个全色子滤光片对应的全色像素合并读出第五全色像素值,从而可以更快速生成第四全色图像;将每个滤光片组中多个同种颜色的彩色滤光片的各个彩色子滤光片对应的彩色像素合并读出第一颜色的第五彩色像素值、第二颜色的第五彩色像素值和第三颜色的第五彩色像素值,从而可以更快速生成双颜色的第四彩色图像和单颜色的第四彩色图像。
并且,上述实施例能够将各个不同的彩色像素进行混合排列,使得所生成的第五目标图像中的各个第五彩色像素值如RGB像素分布更均匀,图像质量更高。并且,所得到第五目标图像的分辨率和图像尺寸进一步减小,且全色像素241具有更高的信噪比,图像的帧率高,从而达到了三级像素合并输出的功耗更低、信噪比更佳的图像处理效果。
在一个实施例中,还提供了另一种图像生成方法,应用于图像传感器,图像传感器包括滤光片阵列和像素阵列,滤光片阵列包括最小重复单元,最小重复单元至少包括第一滤光片组和第二滤光片组;第一滤光片组和第二滤光片组包括全色滤光片和彩色滤光片;第一滤光片组中的彩色滤光片包括第一颜色滤光片和第三颜色滤光片,第二滤光片组中的彩色滤光片包括第二颜色滤光片;最小重复单元中全色滤光片和彩色滤光片在最小重复单元的每一行和每一列上交替排布,全色滤光片透过的进光量大于彩色滤光片透过的进光量;像素阵列中各个像素与滤光片阵列的滤光片对应设置,像素阵列被配置成用于接收穿过滤光片阵列的光线以生成电信号;
如图26所示,该图像生成方法包括:
步骤2602,在全分辨率模式下,将每个全色滤光片对应的全色像素读出全分辨率全色像素值,以及将每个彩色滤光片对应的彩色像素读出全分辨率彩色像素值。
步骤2604,基于各个全分辨率全色像素值和各个全分辨率彩色像素值,生成全分辨率目标图像。
本实施例中生成全分辨率目标图像的原理,与图13的实施例中生成全分辨率目标图像的原理类似,在此不做赘述。
在一个实施例中,每个滤光片组包括多个子单元,每个子单元包括全色滤光片和彩色滤光片,子单元中的彩色滤光片排布在子单元的对角线,子单元中的全色滤光片排布在子单元的反对角线;上述方法还包括:在第一分辨率模式下,将每个子单元中多个全色滤光片对应的全色像素合并读出第六全色像素值,并基于各个第六全色像素值生成第五全色图像;第一分辨率模式对应的分辨率小于全分辨率模式对应的分辨率;将每个子单元中多个相同颜色的彩色滤光片的各个彩色子滤光片对应的彩色像素合并读出第六彩色像素值,并基于各个第六彩色像素值生成第五彩色图像;基于第五全色图像和第五彩色图像,生成第六目标图像。
当需要将第五全色图像和第五彩色图像进行打包传输时,电子设备可以基于第五全色图像和第五彩色图像,生成第六目标图像,再将第六目标图像进行传输。
其中,基于第五全色图像和第五彩色图像,生成第六目标图像,包括:将第五全色图像中每一行第六全色像素值与第五彩色图像中每一行第六彩色像素值相间排布,生成第六目标图像;或者将第五全色图像中每一列第六全色像素值与第五彩色图像中每一列第六彩色像素值相间排布,生成第六目标图像。
在一个实施例中,上述方法还包括:在第二分辨率模式下,将第五全色图像中对应在同一滤光片组中的多个第六全色像素值合并读出第七全色像素值,并基于各个第七全色像素值生成第六全色图像;第二分辨率模式对应的分辨率小于第一分辨率模式对应的分辨率;将第五彩色图像中对应在同一滤光片组中的多个同种颜色的第六彩色像素值合并读出第一颜色的第七彩色像素值、第二颜色的第七彩色像素值和第三颜色的第七彩色像素值,并基于第一颜色的第七彩色像素值、第二颜色的第七彩色像素值和第三颜色的第七彩色像素值,生成双颜色的第六彩色图像和单颜色的第六彩色图像;双颜色的第六彩色图像包括第二颜色的第七彩色像素值,以及第一颜色的第七彩色像素值和第三颜色的第七彩色像素值的其中一种,单颜色的第六彩色图像包括第一颜色的第七彩色像素值和第三颜色的第七彩色像素值的另外一种;基于第六全色图像、双颜色的第六彩色图像和单颜色的第六彩色图像,生成第七目标图像。
当需要将第六全色图像、双颜色的第六彩色图像和单颜色的第六彩色图像进行打包传输时,电子设备可以基于第六全色图像、双颜色的第六彩色图像和单颜色的第六彩色图像,生成第七目标图像,再将第七目标图像进行传输。
其中,基于第六全色图像、双颜色的第六彩色图像和单颜色的第六彩色图像,生成第七目标图像,包括:将具有同一坐标的第六全色图像中第七全色像素值、双颜色的第六彩色图像中第七彩色像素值和单颜色的第六彩色图像中第七彩色像素值在行方向上相间排布,生成第七目标图像;或者将具有同一坐标的第六全色图像中第七全色像素值、双颜色的第六彩色图像中第七彩色像素值和单颜色的第六彩色图像中第七彩色像素值在列方向相间排布,生成第七目标图像。
在一个实施例中,每个滤光片组的彩色滤光片排布在对应滤光片组的对角线及平行于对角线的方向上,每个滤光片组的全色滤光片排布在对应滤光片组的反对角线及平行于反对角线的方向上;上述方法还包括:在第二分辨率模式下,将每个滤光片组中的多个全色滤光片对应的全色像素合并读出第八全色像素值,并基于各个第八全色像素值生成第七全色图像;将每个滤光片组中多个同种颜色的彩色滤光片对应的彩色像素合并读出第一颜色的第八彩色像素值、第二颜色的第八彩色像素值和第三颜色的第八彩色像素值,并基于第一颜色的第八彩色像素值、第二颜色的第八彩色像素值和第三颜色的第八彩色像素值,生成双颜色的第七彩色图像和单颜色的第七彩色图像;双颜色的第七彩色图像包括第二颜色的第八彩色像素值,以及第一颜色的第八彩色像素值和第三颜色的第八彩色像素值的其中一种,单颜色的第七彩色图像包括第一颜色的第八彩色像素值和第三颜色的第八彩色像素值的另外一种;基于第七全色图像、双颜色的第七彩色图像和单颜色的第七彩色图像,生成第八目标图像。
当需要将第七全色图像、双颜色的第七彩色图像和单颜色的第七彩色图像进行打包传输时,电子设备可以基于第七全色图像、双颜色的第七彩色图像和单颜色的第七彩色图像,生成第八目标图像,再将第八目标图像进行传输。
其中,基于第七全色图像、双颜色的第七彩色图像和单颜色的第七彩色图像,生成第八目标图像,包括:将具有同一坐标的第七全色图像中第八全色像素值、双颜色的第七彩色图像中第八彩色像素值和单颜色的第七彩色图像中第八彩色像素值在行方向上相间排布,生成第八目标图像;或者将具有同一坐标的第七全色图像中第八全色像素值、双颜色的第七彩色图像中第八彩色像素值和单颜色的第七彩色图像中第八彩色像素值在列方向相间排布,生成第八目标图像。
需要说明的是,上述生成第六目标图像、第七目标图像、第八目标图像的原理和上述生成第二目标图像、第三目标图像、第五目标图像的原理类似,在此不做赘述。
应该理解的是,虽然图13、图14、图16、图22和图26的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图13、图14、图16、图22和图26中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
图27为一个实施例的图像生成装置的结构框图。如图27所示,提供了一种图像生成装置,应用于图像传感器,图像传感器包括滤光片阵列和像素阵列,滤光片阵列包括最小重复单元,最小重复单元至少包括第一滤光片组和第二滤光片组;第一滤光片组和第二滤光片组包括全色滤光片和彩色滤光片;第一滤光片组中的彩色滤光片包括第一颜色滤光片和第三颜色滤光片,第二滤光片组中的彩色滤光片包括第二颜色滤光片;最小重复单元中全色滤光片和彩色滤光片在最小重复单元的每一行和每一列上交替排布,全色滤光片透过的进光量大于彩色滤光片透过的进光量;每个全色滤光片包括N行N列个全色子滤光片,每个彩色滤光片包括N行N列个彩色子滤光片,N行N列个彩色子滤光片与彩色滤光片的颜色相同,N为大于或等于2的正整数;像素阵列中各个像素与滤光片阵列的子滤光片对应设置,像素阵列被配置成用于接收穿过滤光片阵列的光线以生成电信号;该图像生成装置包括:读出模块2702和图像生成模块2704,其中:
读出模块2702,用于在全分辨率模式下,将全色滤光片中每个全色子滤光片对应的全色像素读出全分辨率全色像素值,以及将彩色滤光片中每个彩色子滤光片对应的彩色像素读出全分辨率彩色像素值。
图像生成模块2704,用于基于各个全分辨率全色像素值和各个全分辨率彩色像素值,生成全分辨率目标图像。
上述图像生成装置,在全分辨率模式下,将全色滤光片中每个全色子滤光片对应的全色像素读出全分辨率全色像素值,以及将彩色滤光片中每个彩色子滤光片对应的彩色像素读出全分辨率彩色像素值;而全色滤光片透过的进光量大于彩色滤光片透过的进光量,能够将全色通道信息融合到图像中,提高整体的进光量,从而基于各个全分辨率全色像素值和各个全分辨率彩色像素值,能够生成信息更多、细节解析更清晰的全分辨率目标图像。
在该滤光片阵列中,全色滤光片和各种颜色的彩色滤光片分散排列,使得成像中全分辨率全色像素值和各种颜色的全分辨率彩色像素值也分散排列,可以提高彩色分辨率能力和亮度变化分辨能力。同时,各种颜色的彩色滤光片混合排列,使得成像中各种颜色的全分辨率彩色像素值也混合排列,可以降低伪色的风险。
并且,全色滤光片与彩色滤光片在每一行和每一列上交替排布,每个全色滤光片包括N行N列个全色子滤光片,每个彩色滤光片包括N行N列个彩色子滤光片,N行N列个彩色子滤光片与彩色滤光片的颜色相同,N为正整数;而像素阵列中各个像素与滤光片阵列的子滤光片对应设置,可以提高生成的全分辨率目标图像的每一行每一列的彩色分辨率,使得全分辨率目标图像的颜色更加丰富。
在一个实施例中,上述读出模块2702还用于在第一分辨率模式下,将每个全色滤光片中各个全色子滤光片对应的全色像素合并读出第一全色像素值,以及将每个彩色滤光片中各个彩色子滤光片对应的彩色像素合并读出第一彩色像素值;第一分辨率模式对应的分辨率小于全分辨率模式对应的分辨率;上述图像生成模块2704还用于基于各个第一全色像素值和各个第一彩色像素值,生成第一目标图像。
在一个实施例中,每个滤光片组包括多个子单元,每个子单元包括全色滤光片和彩色滤光片,子单元中的彩色滤光片排布在子单元的对角线,子单元中的全色滤光片排布在子单元的反对角线;上述读出模块2702还用于在第二分辨率模式下,将第一目标图像中对应在每个子单元中的多个第一全色像素值合并读出第二全色像素值,上述图像生成模块2704还用于基于各个第二全色像素值生成第一全色图像;第二分辨率模式对应的分辨率小于第一分辨率模式对应的分辨率;上述读出模块2702还用于将第一目标图像中对应在每个子单元中的多个相同颜色的第一彩色像素值合并读出第二彩色像素值,上述图像生成模块2704还用于基于各个第二彩色像素值生成第一彩色图像;上述图像生成模块2704还用于基于第一全色图像和第一彩色图像,生成第二目标图像。
在一个实施例中,上述图像生成模块2704还用于将第一全色图像中每一行第二全色像素值与第一彩色图像中每一行第二彩色像素值相间排布,生成第二目标图像;或者将第一全色图像中每一列第二全色像素值与第一彩色图像中每一列第二彩色像素值相间排布,生成第二目标图像。
在一个实施例中,上述读出模块2702还用于在第三分辨率模式下,将第一全色图像中对应在同一滤光片组中的多个第二全色像素值合并读出第三全色像素值,上述图像生成模块2704还用于基于各个第三全色像素值生成第二全色图像;第三分辨率模式对应的分辨率小于第二分辨率模式对应的分辨率;上述读出模块2702还用于将第一彩色图像中对应在同一滤光片组中的多个同种颜色的第二彩色像素值合并读出第一颜色的第三彩色像素值、第二颜色的第三彩色像素值和第三颜色的第三彩色像素值,上述图像生成模块2704还用于基于第一颜色的第三彩色像素值、第二颜色的第三彩色像素值和第三颜色的第三彩色像素值,生成双颜色的第二彩色图像和单颜色的第二彩色图像;双颜色的第二彩色图像包括第二颜色的第三彩色像素值,以及第一颜色的第三彩色像素值和第三颜色的第三彩色像素值的其中一种,单颜色的第二彩色图像包括第一颜色的第三彩色像素值和第三颜色的第三彩色像素值的另外一种;上述图像生成模块2704还用于基于第二全色图像、双颜色的第二彩色图像和单颜色的第二彩色图像,生成第三目标图像。
在一个实施例中,上述图像生成模块2704还用于将具有同一坐标的第二全色图像中第三全色像素值、双颜色的第二彩色图像中第三彩色像素值和单颜色的第二彩色图像中第三彩色像素值在行方向上相间排布,生成第三目标图像;或者将具有同一坐标的第二全色图像中第三全色像素值、双颜色的第二彩色图像中第三彩色像素值和单颜色的第二彩色图像中第三彩色像素值在列方向相间排布,生成第三目标图像。
在一个实施例中,每个滤光片组包括多个子单元,每个子单元包括全色滤光片和彩色滤光片,子单元中的彩色滤光片排布在子单元的对角线,子单元中的全色滤光片排布在子单元的反对角线;上述读出模块2702还用于在第二分辨率模式下,将每个子单元中多个全色滤光片的各个全色子滤光片对应的全色像素合并读出第四全色像素值,上述图像生成模块2704还用于基于各个第四全色像素值生成第三全色图像;上述读出模块2702还用于将每个子单元中多个相同颜色的彩色滤光片的各个彩色子滤光片对应的彩色像素合并读出第四彩色像素值,上述图像生成模块2704还用于基于各个第四彩色像素值生成第三彩色图像;上述图像生成模块2704还用于基于第三全色图像和第三彩色图像,生成第四目标图像。
在一个实施例中,上述图像生成模块2704还用于将第三全色图像中每一行第四全色像素值与第三彩色图像中每一行第四彩色像素值相间排布,生成第四目标图像;或者将第三全色图像中每一列第四全色像素值与第三彩色图像中每一列第四彩色像素值相间排布,生成第四目标图像。
在一个实施例中,每个滤光片组的彩色滤光片排布在对应滤光片组的对角线及平行于对角线的方向上,每个滤光片组的全色滤光片排布在对应滤光片组的反对角线及平行于反对角线的方向上;上述读出模块2702还用于在第三分辨率模式下,将每个滤光片组中的多个全色滤光片的各个全色子滤光片对应的全色像素合并读出第五全色像素值,上述图像生成模块2704还用于基于各个第五全色像素值生成第四全色图像;上述读出模块2702还用于将每个滤光片组中多个同种颜色的彩色滤光片的各个彩色子滤光片对应的彩色像素合并读出第一颜色的第五彩色像素值、第二颜色的第五彩色像素值和第三颜色的第五彩色像素值,上述图像生成模块2704还用于基于第一颜色的第五彩色像素值、第二颜色的第五彩色像素值和第三颜色的第五彩色像素值,生成双颜色的第四彩色图像和单颜色的第四彩色图像;双颜色的第四彩色图像包括第二颜色的第五彩色像素值,以及第一颜色的第五彩色像素值和第三颜色的第五彩色像素值的其中一种,单颜色的第四彩色图像包括第一颜色的第五彩色像素值和第三颜色的第五彩色像素值的另外一种;上述图像生成模块2704还用于基于第四全色图像、双颜色的第四彩色图像和单颜色的第四彩色图像,生成第五目标图像。
在一个实施例中,上述图像生成模块2704还用于将具有同一坐标的第四全色图像中第五全色像素值、双颜色的第四彩色图像中第五彩色像素值和单颜色的第四彩色图像中第五彩色像素值在行方向上相间排布,生成第五目标图像;或者将具有同一坐标的第四全色图像中第五全色像素值、双颜色的第四彩色图像中第五彩色像素值和单颜色的第四彩色图像中第五彩色像素值在列方向相间排布,生成第三目标图像。
在一个实施例中,还提供了另一种图像生成装置,应用于图像传感器,图像传感器包括滤光片阵列和像素阵列,滤光片阵列包括最小重复单元,最小重复单元至少包括第一滤光片组和第二滤光片组;第一滤光片组和第二滤光片组包括全色滤光片和彩色滤光片;第一滤光片组中的彩色滤光片包括第一颜色滤光片和第三颜色滤光片,第二滤光片组中的彩色滤光片包括第二颜色滤光片;最小重复单元中全色滤光片和彩色滤光片在最小重复单元的每一行和每一列上交替排布,全色滤光片透过的进光量大于彩色滤光片透过的进光量;像素阵列中各个像素与滤光片阵列的滤光片对应设置,像素阵列被配置成用于接收穿过滤光片阵列的光线以生成电信号;该图像生成装置包括:读出模块和图像生成模块,其中:
读出模块,用于在全分辨率模式下,将每个全色滤光片对应的全色像素读出全分辨率全色像素值,以及将每个彩色滤光片对应的彩色像素读出全分辨率彩色像素值。
图像生成模块,用于基于各个全分辨率全色像素值和各个全分辨率彩色像素值,生成全分辨率目标图像。
上述图像生成装置,在全分辨率模式下,将每个全色滤光片对应的全色像素读出全分辨率全色像素值,以及将每个彩色滤光片对应的彩色像素读出全分辨率彩色像素值;而全色滤光片透过的进光量大于彩色滤光片透过的进光量,能够将全色通道信息融合到图像中,提高整体的进光量,从而基于各个全分辨率全色像素值和各个全分辨率彩色像素值,能够生成信息更多、细节解析更清晰的全分辨率目标图像。
在该滤光片阵列中,全色滤光片和各种颜色的彩色滤光片分散排列,使得成像中全分辨率全色像素值和各种颜色的全分辨率彩色像素值也分散排列,可以提高彩色分辨率能力和亮度变化分辨能力。同时,各种颜色的彩色滤光片混合排列,使得成像中各种颜色的全分辨率彩色像素值也混合排列,可以降低伪色的风险。
并且,全色滤光片与彩色滤光片在每一行和每一列上交替排布,而像素阵列中各个像素与滤光片阵列的滤光片对应设置,可以提高生成的全分辨率目标图像的每一行每一列的彩色分辨率,使得全分辨率目标图像的颜色更加丰富。
在一个实施例中,每个滤光片组包括多个子单元,每个子单元包括全色滤光片和彩色滤光片,子单元中的彩色滤光片排布在子单元的对角线,子单元中的全色滤光片排布在子单元的反对角线;上述读出模块还用于在第一分辨率模式下,将每个子单元中多个全色滤光片对应的全色像素合并读出第六全色像素值,上述图像生成模块还用于基于各个第六全色像素值生成第五全色图像;第一分辨率模式对应的分辨率小于全分辨率模式对应的分辨率;上述读出模块还用于将每个子单元中多个相同颜色的彩色滤光片的各个彩色子滤光片对应的彩色像素合并读出第六彩色像素值,上述图像生成模块还用于基于各个第六彩色像素值生成第五彩色图像;上述图像生成模块还用于基于第五全色图像和第五彩色图像,生成第六目标图像。
在一个实施例中,上述图像生成模块还用于将第五全色图像中每一行第六全色像素值与第五彩色图像中每一行第六彩色像素值相间排布,生成第六目标图像;或者将第五全色图像中每一列第六全色像素值与第五彩色图像中每一列第六彩色像素值相间排布,生成第六目标图像。
在一个实施例中,上述读出模块还用于在第二分辨率模式下,将第五全色图像中对应在同一滤光片组中的多个第六全色像素值合并读出第七全色像素值,上述图像生成模块还用于基于各个第七全色像素值生成第六全色图像;第二分辨率模式对应的分辨率小于第一分辨率模式对应的分辨率;上述读出模块还用于将第五彩色图像中对应在同一滤光片组中的多个同种颜色的第六彩色像素值合并读出第一颜色的第七彩色像素值、第二颜色的第七彩色像素值和第三颜色的第七彩色像素值,上述图像生成模块还用于基于第一颜色的第七彩色像素值、第二颜色的第七彩色像素值和第三颜色的第七彩色像素值,生成双颜色的第六彩色图像和单颜色的第六彩色图像;双颜色的第六彩色图像包括第二颜色的第七彩色像素值,以及第一颜色的第七彩色像素值和第三颜色的第七彩色像素值的其中一种,单颜色的第六彩色图像包括第一颜色的第七彩色像素值和第三颜色的第七彩色像素值的另外一种;上述图像生成模块还用于基于第六全色图像、双颜色的第六彩色图像和单颜色的第六彩色图像,生成第七目标图像。
在一个实施例中,上述图像生成模块还用于将具有同一坐标的第六全色图像中第七全色像素值、双颜色的第六彩色图像中第七彩色像素值和单颜色的第六彩色图像中第七彩色像素值在行方向上相间排布,生成第七目标图像;或者将具有同一坐标的第六全色图像中第七全色像素值、双颜色的第六彩色图像中第七彩色像素值和单颜色的第六彩色图像中第七彩色像素值在列方向相间排布,生成第七目标图像。
在一个实施例中,每个滤光片组的彩色滤光片排布在对应滤光片组的对角线及平行于对角线的方向上,每个滤光片组的全色滤光片排布在对应滤光片组的反对角线及平行于反对角线的方向上;上述读出模块还用于在第二分辨率模式下,将每个滤光片组中的多个全色滤光片对应的全色像素合并读出第八全色像素值,上述图像生成模块还用于基于各个第八全色像素值生成第七全色图像;上述读出模块还用于将每个滤光片组中多个同种颜色的彩色滤光片对应的彩色像素合并读出第一颜色的第八彩色像素值、第二颜色的第八彩色像素值和第三颜色的第八彩色像素值,上述图像生成模块还用于基于第一颜色的第八彩色像素值、第二颜色的第八彩色像素值和第三颜色的第八彩色像素值,生成双颜色的第七彩色图像和单颜色的第七彩色图像;双颜色的第七彩色图像包括第二颜色的第八彩色像素值,以及第一颜色的第八彩色像素值和第三颜色的第八彩色像素值的其中一种,单颜色的第七彩色图像包括第一颜色的第八彩色像素值和第三颜色的第八彩色像素值的另外一种;上述图像生成模块还用于基于第七全色图像、双颜色的第七彩色图像和单颜色的第七彩色图像,生成第八目标图像。
在一个实施例中,上述图像生成模块还用于将具有同一坐标的第七全色图像中第八全色像素值、双颜色的第七彩色图像中第八彩色像素值和单颜色的第七彩色图像中第八彩色像素值在行方向上相间排布,生成第八目标图像;或者将具有同一坐标的第七全色图像中第八全色像素值、双颜色的第七彩色图像中第八彩色像素值和单颜色的第七彩色图像中第八彩色像素值在列方向相间排布,生成第八目标图像。
上述图像生成装置中各个模块的划分仅仅用于举例说明,在其他实施例中,可将图像生成装置按照需要划分为不同的模块,以完成上述图像生成装置的全部或部分功能。
关于图像生成装置的具体限定可以参见上文中对于图像生成方法的限定,在此不再赘述。上述图像生成装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
图28为一个实施例中电子设备的内部结构示意图。该电子设备可以是手机、平板电脑、笔记本电脑、台式电脑、PDA(Personal Digital Assistant,个人数字助理)、POS(Point of Sales,销售终端)、车载电脑、穿戴式设备等任意终端设备。该电子设备包括通过系统总线连接的处理器和存储器。其中,该处理器可以包括一个或多个处理单元。处理器可为CPU(Central Processing Unit,中央处理单元)或DSP(Digital Signal Processing,数字信号处理器)等。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行,以用于实现以下各个实施例所提供的一种图像生成方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。
本申请实施例中提供的图像生成装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在电子设备的存储器上。该计算机程序被处理器执行时,实现本申请实施例中所描述方法的步骤。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质,当所述计算机可执行指令被一个或多个处理器执行时,使得所述处理器执行图像生成方法的步骤。
本申请实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行图像生成方法。
本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括ROM(Read-Only Memory,只读存储器)、PROM(Programmable Read-only Memory,可编程只读存储器)、EPROM(Erasable ProgrammableRead-Only Memory,可擦除可编程只读存储器)、EEPROM(Electrically ErasableProgrammable Read-only Memory,电可擦除可编程只读存储器)或闪存。易失性存储器可包括RAM(Random Access Memory,随机存取存储器),它用作外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如SRAM(Static Random Access Memory,静态随机存取存储器)、DRAM(Dynamic Random Access Memory,动态随机存取存储器)、SDRAM(Synchronous Dynamic Random Access Memory,同步动态随机存取存储器)、双数据率DDRSDRAM(Double Data Rate Synchronous Dynamic Random Access memory,双数据率同步动态随机存取存储器)、ESDRAM(Enhanced Synchronous Dynamic Random Access memory,增强型同步动态随机存取存储器)、SLDRAM(Sync Link Dynamic Random Access Memory,同步链路动态随机存取存储器)、RDRAM(Rambus Dynamic Random Access Memory,总线式动态随机存储器)、DRDRAM(Direct Rambus Dynamic Random Access Memory,接口动态随机存储器)。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (34)

1.一种图像传感器,其特征在于,所述图像传感器包括滤光片阵列和像素阵列,所述滤光片阵列包括最小重复单元,所述最小重复单元至少包括第一滤光片组和第二滤光片组;所述第一滤光片组和所述第二滤光片组均包括全色滤光片和彩色滤光片;所述第一滤光片组中的彩色滤光片包括第一颜色滤光片和第三颜色滤光片,所述第二滤光片组中的彩色滤光片包括第二颜色滤光片;所述最小重复单元中全色滤光片和彩色滤光片在所述最小重复单元的每一行和每一列上交替排布,所述全色滤光片透过的进光量大于所述彩色滤光片透过的进光量;每个所述全色滤光片包括N行N列个全色子滤光片,每个所述彩色滤光片包括N行N列个彩色子滤光片,所述N行N列个彩色子滤光片与所述彩色滤光片的颜色相同,所述N为正整数;所述像素阵列中各个像素与所述滤光片阵列的子滤光片对应设置,所述像素阵列被配置成用于接收穿过所述滤光片阵列的光线以生成电信号。
2.根据权利要求1所述的图像传感器,其特征在于,所述每一行和所述每一列上均包括每种颜色的彩色滤光片。
3.根据权利要求1所述的图像传感器,其特征在于,所述最小重复单元包括2个第一滤光片组和2个第二滤光片组,所述2个第一滤光片组在所述最小重复单元的对角线上排布,所述2个第二滤光片组排布在所述最小重复单元的反对角线上排布。
4.根据权利要求3所述的图像传感器,其特征在于,所述每个滤光片组的彩色滤光片排布在对应滤光片组的对角线及平行于所述对角线的方向上。
5.根据权利要求4所述的图像传感器,其特征在于,所述2个第一滤光片组的任意1个第一滤光片组中,第一颜色滤光片或第三颜色滤光片设置在所述第一滤光片组的对角线上。
6.根据权利要求5所述的图像传感器,其特征在于,2个所述第一滤光片组中的第一颜色滤光片均设置在所述第一滤光片组的对角线上,第三颜色滤光片均设置在平行于所述第一滤光片组的对角线的方向上。
7.根据权利要求5所述的图像传感器,其特征在于,2个所述第一滤光片组的其中一个第一滤光片组中的所述第一颜色滤光片设置在所述第一滤光片组的对角线上,所述第三颜色滤光片设置在平行于所述第一滤光片组的对角线的方向上,另一个第一滤光片组中的所述第三颜色滤光片设置在所述第一滤光片组的对角线上,所述第一颜色滤光片设置在平行于所述第一滤光片组的对角线的方向上。
8.根据权利要求1至7中任意一项所述的图像传感器,其特征在于,每个滤光片组包括多个子单元,每个子单元包括全色滤光片和彩色滤光片,所述子单元中的所述彩色滤光片排布在所述子单元的对角线,所述子单元中的所述全色滤光片排布在所述子单元的反对角线。
9.根据权利要求1所述的图像传感器,其特征在于,所述N为1,所述最小重复单元包括8行8列64个滤光片,排布方式为:
Figure FDA0003386670430000011
或者
Figure FDA0003386670430000012
Figure FDA0003386670430000021
或者
Figure FDA0003386670430000022
或者
Figure FDA0003386670430000023
其中,w表示全色滤光片,a、b和c均表示彩色滤光片。
10.根据权利要求1所述的图像传感器,其特征在于,所述N为2,所述最小重复单元包括16行16列256个子滤光片,排布方式为:
Figure FDA0003386670430000024
或者
Figure FDA0003386670430000025
Figure FDA0003386670430000031
或者
Figure FDA0003386670430000032
或者
Figure FDA0003386670430000033
其中,w表示全色子滤光片,a、b和c均表示彩色子滤光片。
11.一种摄像模组,其特征在于,所述摄像模组包括镜头和权利要求1-10中任一项所述的图像传感器;所述图像传感器用于接收穿过所述镜头的光线,所述像素根据所述光线生成电信号。
12.一种电子设备,其特征在于,包括:
权利要求11所述的摄像模组;及
壳体,所述摄像模组设置在所述壳体上。
13.一种图像生成方法,应用于图像传感器,其特征在于,所述图像传感器包括滤光片阵列和像素阵列,所述滤光片阵列包括最小重复单元,所述最小重复单元至少包括第一滤光片组和第二滤光片组;所述第一滤光片组和第二滤光片组均包括全色滤光片和彩色滤光片;所述第一滤光片组中的彩色滤光片包括第一颜色滤光片和第三颜色滤光片,所述第二滤光片组中的彩色滤光片包括第二颜色滤光片;所述最小重复单元中全色滤光片和彩色滤光片在所述最小重复单元的每一行和每一列上交替排布,所述全色滤光片透过的进光量大于所述彩色滤光片透过的进光量;每个所述全色滤光片包括N行N列个全色子滤光片,每个所述彩色滤光片包括N行N列个彩色子滤光片,所述N行N列个彩色子滤光片与所述彩色滤光片的颜色相同,所述N为大于或等于2的正整数;所述像素阵列中各个像素与所述滤光片阵列的子滤光片对应设置,所述像素阵列被配置成用于接收穿过所述滤光片阵列的光线以生成电信号;
所述方法包括:
在全分辨率模式下,将所述全色滤光片中每个全色子滤光片对应的全色像素读出全分辨率全色像素值,以及将所述彩色滤光片中每个彩色子滤光片对应的彩色像素读出全分辨率彩色像素值;
基于各个所述全分辨率全色像素值和各个所述全分辨率彩色像素值,生成全分辨率目标图像。
14.根据权利要求13所述的方法,其特征在于,所述方法还包括:
在第一分辨率模式下,将每个所述全色滤光片中各个全色子滤光片对应的全色像素合并读出第一全色像素值,以及将每个所述彩色滤光片中各个彩色子滤光片对应的彩色像素合并读出第一彩色像素值;所述第一分辨率模式对应的分辨率小于所述全分辨率模式对应的分辨率;
基于各个所述第一全色像素值和各个所述第一彩色像素值,生成第一目标图像。
15.根据权利要求14所述的方法,其特征在于,每个滤光片组包括多个子单元,每个子单元包括全色滤光片和彩色滤光片,所述子单元中的所述彩色滤光片排布在所述子单元的对角线,所述子单元中的所述全色滤光片排布在所述子单元的反对角线;
所述生成第一目标图像之后,还包括:
在第二分辨率模式下,将所述第一目标图像中对应在每个子单元中的多个第一全色像素值合并读出第二全色像素值,并基于各个所述第二全色像素值生成第一全色图像;所述第二分辨率模式对应的分辨率小于所述第一分辨率模式对应的分辨率;
将所述第一目标图像中对应在每个子单元中的多个相同颜色的第一彩色像素值合并读出第二彩色像素值,并基于各个所述第二彩色像素值生成第一彩色图像;
基于所述第一全色图像和所述第一彩色图像,生成第二目标图像。
16.根据权利要求15所述的方法,其特征在于,所述基于所述第一全色图像和所述第一彩色图像,生成第二目标图像,包括:
将所述第一全色图像中每一行第二全色像素值与所述第一彩色图像中每一行第二彩色像素值相间排布,生成第二目标图像;或者
将所述第一全色图像中每一列第二全色像素值与所述第一彩色图像中每一列第二彩色像素值相间排布,生成第二目标图像。
17.根据权利要求15所述的方法,其特征在于,所述方法还包括:
在第三分辨率模式下,将所述第一全色图像中对应在同一滤光片组中的多个第二全色像素值合并读出第三全色像素值,并基于各个第三全色像素值生成第二全色图像;所述第三分辨率模式对应的分辨率小于所述第二分辨率模式对应的分辨率;
将所述第一彩色图像中对应在同一滤光片组中的多个同种颜色的第二彩色像素值合并读出第一颜色的第三彩色像素值、第二颜色的第三彩色像素值和第三颜色的第三彩色像素值,并基于所述第一颜色的第三彩色像素值、第二颜色的第三彩色像素值和第三颜色的第三彩色像素值,生成双颜色的第二彩色图像和单颜色的第二彩色图像;所述双颜色的第二彩色图像包括第二颜色的第三彩色像素值,以及第一颜色的第三彩色像素值和第三颜色的第三彩色像素值的其中一种,所述单颜色的第二彩色图像包括第一颜色的第三彩色像素值和第三颜色的第三彩色像素值的另外一种;
基于所述第二全色图像、双颜色的第二彩色图像和单颜色的第二彩色图像,生成第三目标图像。
18.根据权利要求17所述的方法,其特征在于,所述基于所述第二全色图像、双颜色的第二彩色图像和单颜色的第二彩色图像,生成第三目标图像,包括:
将具有同一坐标的所述第二全色图像中第三全色像素值、所述双颜色的第二彩色图像中第三彩色像素值和所述单颜色的第二彩色图像中第三彩色像素值在行方向上相间排布,生成第三目标图像;或者
将具有同一坐标的所述第二全色图像中第三全色像素值、所述双颜色的第二彩色图像中第三彩色像素值和所述单颜色的第二彩色图像中第三彩色像素值在列方向相间排布,生成第三目标图像。
19.根据权利要求13所述的方法,其特征在于,每个滤光片组包括多个子单元,每个子单元包括全色滤光片和彩色滤光片,所述子单元中的所述彩色滤光片排布在所述子单元的对角线,所述子单元中的所述全色滤光片排布在所述子单元的反对角线;
所述方法还包括:
在第二分辨率模式下,将每个子单元中多个全色滤光片的各个全色子滤光片对应的全色像素合并读出第四全色像素值,并基于各个所述第四全色像素值生成第三全色图像;
将每个子单元中多个相同颜色的彩色滤光片的各个彩色子滤光片对应的彩色像素合并读出第四彩色像素值,并基于各个所述第四彩色像素值生成第三彩色图像;
基于所述第三全色图像和所述第三彩色图像,生成第四目标图像。
20.根据权利要求19所述的方法,其特征在于,所述基于所述第三全色图像和所述第三彩色图像,生成第四目标图像,包括:
将所述第三全色图像中每一行第四全色像素值与所述第三彩色图像中每一行第四彩色像素值相间排布,生成第四目标图像;或者
将所述第三全色图像中每一列第四全色像素值与所述第三彩色图像中每一列第四彩色像素值相间排布,生成第四目标图像。
21.根据权利要求13所述的方法,其特征在于,每个滤光片组的彩色滤光片排布在对应滤光片组的对角线及平行于所述对角线的方向上,每个滤光片组的全色滤光片排布在对应滤光片组的反对角线及平行于所述反对角线的方向上;
所述方法还包括:
在第三分辨率模式下,将每个滤光片组中的多个全色滤光片的各个全色子滤光片对应的全色像素合并读出第五全色像素值,并基于各个第五全色像素值生成第四全色图像;
将每个滤光片组中多个同种颜色的彩色滤光片的各个彩色子滤光片对应的彩色像素合并读出第一颜色的第五彩色像素值、第二颜色的第五彩色像素值和第三颜色的第五彩色像素值,并基于第一颜色的第五彩色像素值、第二颜色的第五彩色像素值和第三颜色的第五彩色像素值,生成双颜色的第四彩色图像和单颜色的第四彩色图像;所述双颜色的第四彩色图像包括第二颜色的第五彩色像素值,以及第一颜色的第五彩色像素值和第三颜色的第五彩色像素值的其中一种,所述单颜色的第四彩色图像包括第一颜色的第五彩色像素值和第三颜色的第五彩色像素值的另外一种;
基于所述第四全色图像、所述双颜色的第四彩色图像和单颜色的第四彩色图像,生成第五目标图像。
22.根据权利要求21所述的方法,其特征在于,所述基于所述第四全色图像、所述双颜色的第四彩色图像和单颜色的第四彩色图像,生成第五目标图像,包括:
将具有同一坐标的所述第四全色图像中第五全色像素值、所述双颜色的第四彩色图像中第五彩色像素值和所述单颜色的第四彩色图像中第五彩色像素值在行方向上相间排布,生成第五目标图像;或者
将具有同一坐标的所述第四全色图像中第五全色像素值、所述双颜色的第四彩色图像中第五彩色像素值和所述单颜色的第四彩色图像中第五彩色像素值在列方向相间排布,生成第五目标图像。
23.一种图像生成方法,应用于图像传感器,其特征在于,所述图像传感器包括滤光片阵列和像素阵列,所述滤光片阵列包括最小重复单元,所述最小重复单元至少包括第一滤光片组和第二滤光片组;所述第一滤光片组和第二滤光片组包括全色滤光片和彩色滤光片;所述第一滤光片组中的彩色滤光片包括第一颜色滤光片和第三颜色滤光片,所述第二滤光片组中的彩色滤光片包括第二颜色滤光片;所述最小重复单元中全色滤光片和彩色滤光片在所述最小重复单元的每一行和每一列上交替排布,所述全色滤光片透过的进光量大于所述彩色滤光片透过的进光量;所述像素阵列中各个像素与所述滤光片阵列的滤光片对应设置,所述像素阵列被配置成用于接收穿过所述滤光片阵列的光线以生成电信号;
所述方法包括:
在全分辨率模式下,将每个所述全色滤光片对应的全色像素读出全分辨率全色像素值,以及将每个所述彩色滤光片对应的彩色像素读出全分辨率彩色像素值;
基于各个所述全分辨率全色像素值和各个所述全分辨率彩色像素值,生成全分辨率目标图像。
24.根据权利要求23所述的方法,其特征在于,每个滤光片组包括多个子单元,每个子单元包括全色滤光片和彩色滤光片,所述子单元中的所述彩色滤光片排布在所述子单元的对角线,所述子单元中的所述全色滤光片排布在所述子单元的反对角线;
所述方法还包括:
在第一分辨率模式下,将每个子单元中多个全色滤光片对应的全色像素合并读出第六全色像素值,并基于各个所述第六全色像素值生成第五全色图像;所述第一分辨率模式对应的分辨率小于所述全分辨率模式对应的分辨率;
将每个子单元中多个相同颜色的彩色滤光片的各个彩色子滤光片对应的彩色像素合并读出第六彩色像素值,并基于各个所述第六彩色像素值生成第五彩色图像;
基于所述第五全色图像和所述第五彩色图像,生成第六目标图像。
25.根据权利要求24所述的方法,其特征在于,所述基于所述第五全色图像和所述第五彩色图像,生成第六目标图像,包括:
将所述第五全色图像中每一行第六全色像素值与所述第五彩色图像中每一行第六彩色像素值相间排布,生成第六目标图像;或者
将所述第五全色图像中每一列第六全色像素值与所述第五彩色图像中每一列第六彩色像素值相间排布,生成第六目标图像。
26.根据权利要求24所述的方法,其特征在于,所述方法还包括:
在第二分辨率模式下,将所述第五全色图像中对应在同一滤光片组中的多个第六全色像素值合并读出第七全色像素值,并基于各个第七全色像素值生成第六全色图像;所述第二分辨率模式对应的分辨率小于所述第一分辨率模式对应的分辨率;
将所述第五彩色图像中对应在同一滤光片组中的多个同种颜色的第六彩色像素值合并读出第一颜色的第七彩色像素值、第二颜色的第七彩色像素值和第三颜色的第七彩色像素值,并基于所述第一颜色的第七彩色像素值、第二颜色的第七彩色像素值和第三颜色的第七彩色像素值,生成双颜色的第六彩色图像和单颜色的第六彩色图像;所述双颜色的第六彩色图像包括第二颜色的第七彩色像素值,以及第一颜色的第七彩色像素值和第三颜色的第七彩色像素值的其中一种,所述单颜色的第六彩色图像包括第一颜色的第七彩色像素值和第三颜色的第七彩色像素值的另外一种;
基于所述第六全色图像、双颜色的第六彩色图像和单颜色的第六彩色图像,生成第七目标图像。
27.根据权利要求26所述的方法,其特征在于,所述基于所述第六全色图像、双颜色的第六彩色图像和单颜色的第六彩色图像,生成第七目标图像,包括:
将具有同一坐标的所述第六全色图像中第七全色像素值、所述双颜色的第六彩色图像中第七彩色像素值和所述单颜色的第六彩色图像中第七彩色像素值在行方向上相间排布,生成第七目标图像;或者
将具有同一坐标的所述第六全色图像中第七全色像素值、所述双颜色的第六彩色图像中第七彩色像素值和所述单颜色的第六彩色图像中第七彩色像素值在列方向相间排布,生成第七目标图像。
28.根据权利要求23所述的方法,其特征在于,每个滤光片组的彩色滤光片排布在对应滤光片组的对角线及平行于所述对角线的方向上,每个滤光片组的全色滤光片排布在对应滤光片组的反对角线及平行于所述反对角线的方向上;
所述方法还包括:
在第二分辨率模式下,将每个滤光片组中的多个全色滤光片对应的全色像素合并读出第八全色像素值,并基于各个第八全色像素值生成第七全色图像;
将每个滤光片组中多个同种颜色的彩色滤光片对应的彩色像素合并读出第一颜色的第八彩色像素值、第二颜色的第八彩色像素值和第三颜色的第八彩色像素值,并基于第一颜色的第八彩色像素值、第二颜色的第八彩色像素值和第三颜色的第八彩色像素值,生成双颜色的第七彩色图像和单颜色的第七彩色图像;所述双颜色的第七彩色图像包括第二颜色的第八彩色像素值,以及第一颜色的第八彩色像素值和第三颜色的第八彩色像素值的其中一种,所述单颜色的第七彩色图像包括第一颜色的第八彩色像素值和第三颜色的第八彩色像素值的另外一种;
基于所述第七全色图像、所述双颜色的第七彩色图像和单颜色的第七彩色图像,生成第八目标图像。
29.根据权利要求28所述的方法,其特征在于,所述基于所述第七全色图像、所述双颜色的第七彩色图像和单颜色的第七彩色图像,生成第八目标图像,包括:
将具有同一坐标的所述第七全色图像中第八全色像素值、所述双颜色的第七彩色图像中第八彩色像素值和所述单颜色的第七彩色图像中第八彩色像素值在行方向上相间排布,生成第八目标图像;或者
将具有同一坐标的所述第七全色图像中第八全色像素值、所述双颜色的第七彩色图像中第八彩色像素值和所述单颜色的第七彩色图像中第八彩色像素值在列方向相间排布,生成第八目标图像。
30.一种图像生成装置,应用于图像传感器,其特征在于,所述图像传感器包括滤光片阵列和像素阵列,所述滤光片阵列包括最小重复单元,所述最小重复单元至少包括第一滤光片组和第二滤光片组;所述第一滤光片组和第二滤光片组包括全色滤光片和彩色滤光片;所述第一滤光片组中的彩色滤光片包括第一颜色滤光片和第三颜色滤光片,所述第二滤光片组中的彩色滤光片包括第二颜色滤光片;所述最小重复单元中全色滤光片和彩色滤光片在所述最小重复单元的每一行和每一列上交替排布,所述全色滤光片透过的进光量大于所述彩色滤光片透过的进光量;每个所述全色滤光片包括N行N列个全色子滤光片,每个所述彩色滤光片包括N行N列个彩色子滤光片,所述N行N列个彩色子滤光片与所述彩色滤光片的颜色相同,所述N为大于或等于2的正整数;所述像素阵列中各个像素与所述滤光片阵列的子滤光片对应设置,所述像素阵列被配置成用于接收穿过所述滤光片阵列的光线以生成电信号;
所述装置包括:
读出模块,用于在全分辨率模式下,将所述全色滤光片中每个全色子滤光片对应的全色像素读出全分辨率全色像素值,以及将所述彩色滤光片中每个彩色子滤光片对应的彩色像素读出全分辨率彩色像素值;
图像生成模块,用于基于各个所述全分辨率全色像素值和各个所述全分辨率彩色像素值,生成全分辨率目标图像。
31.一种图像生成装置,应用于图像传感器,其特征在于,所述图像传感器包括滤光片阵列和像素阵列,所述滤光片阵列包括最小重复单元,所述最小重复单元至少包括第一滤光片组和第二滤光片组;所述第一滤光片组和第二滤光片组均包括全色滤光片和彩色滤光片;所述第一滤光片组中的彩色滤光片均包括第一颜色滤光片和第三颜色滤光片,所述第二滤光片组中的彩色滤光片包括第二颜色滤光片;所述最小重复单元中全色滤光片和彩色滤光片在所述最小重复单元的每一行和每一列上交替排布,所述全色滤光片透过的进光量大于所述彩色滤光片透过的进光量;所述像素阵列中各个像素与所述滤光片阵列的滤光片对应设置,所述像素阵列被配置成用于接收穿过所述滤光片阵列的光线以生成电信号;
所述装置包括:
读出模块,用于在全分辨率模式下,将每个所述全色滤光片对应的全色像素读出全分辨率全色像素值,以及将每个所述彩色滤光片对应的彩色像素读出全分辨率彩色像素值;
图像生成模块,用于基于各个所述全分辨率全色像素值和各个所述全分辨率彩色像素值,生成全分辨率目标图像。
32.一种电子设备,包括存储器及处理器,所述存储器中储存有计算机程序,其特征在于,所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求13至29中任一项所述的图像生成方法的步骤。
33.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求13至29中任一项所述的方法的步骤。
34.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求13至29中任一项所述的方法的步骤。
CN202111456002.8A 2021-12-01 2021-12-01 图像传感器、摄像模组、电子设备、图像生成方法和装置 Pending CN114040084A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111456002.8A CN114040084A (zh) 2021-12-01 2021-12-01 图像传感器、摄像模组、电子设备、图像生成方法和装置
PCT/CN2022/124016 WO2023098282A1 (zh) 2021-12-01 2022-10-09 图像传感器、摄像模组、电子设备、图像生成方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111456002.8A CN114040084A (zh) 2021-12-01 2021-12-01 图像传感器、摄像模组、电子设备、图像生成方法和装置

Publications (1)

Publication Number Publication Date
CN114040084A true CN114040084A (zh) 2022-02-11

Family

ID=80139579

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111456002.8A Pending CN114040084A (zh) 2021-12-01 2021-12-01 图像传感器、摄像模组、电子设备、图像生成方法和装置

Country Status (2)

Country Link
CN (1) CN114040084A (zh)
WO (1) WO2023098282A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023098230A1 (zh) * 2021-12-01 2023-06-08 Oppo广东移动通信有限公司 图像传感器、摄像模组、电子设备、图像生成方法和装置
WO2023098282A1 (zh) * 2021-12-01 2023-06-08 Oppo广东移动通信有限公司 图像传感器、摄像模组、电子设备、图像生成方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104280803A (zh) * 2013-07-01 2015-01-14 全视科技有限公司 彩色滤光片阵列、彩色滤光片阵列设备及图像传感器
CN213279832U (zh) * 2020-10-09 2021-05-25 Oppo广东移动通信有限公司 图像传感器、相机和终端
CN113676675A (zh) * 2021-08-16 2021-11-19 Oppo广东移动通信有限公司 图像生成方法、装置、电子设备和计算机可读存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009237321A (ja) * 2008-03-27 2009-10-15 Fujifilm Corp 画像露光装置
CN111818314A (zh) * 2020-06-23 2020-10-23 北京迈格威科技有限公司 一种滤波器阵列及图像传感器
CN112118378A (zh) * 2020-10-09 2020-12-22 Oppo广东移动通信有限公司 图像获取方法及装置、终端和计算机可读存储介质
CN114040084A (zh) * 2021-12-01 2022-02-11 Oppo广东移动通信有限公司 图像传感器、摄像模组、电子设备、图像生成方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104280803A (zh) * 2013-07-01 2015-01-14 全视科技有限公司 彩色滤光片阵列、彩色滤光片阵列设备及图像传感器
CN213279832U (zh) * 2020-10-09 2021-05-25 Oppo广东移动通信有限公司 图像传感器、相机和终端
CN113676675A (zh) * 2021-08-16 2021-11-19 Oppo广东移动通信有限公司 图像生成方法、装置、电子设备和计算机可读存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023098230A1 (zh) * 2021-12-01 2023-06-08 Oppo广东移动通信有限公司 图像传感器、摄像模组、电子设备、图像生成方法和装置
WO2023098282A1 (zh) * 2021-12-01 2023-06-08 Oppo广东移动通信有限公司 图像传感器、摄像模组、电子设备、图像生成方法和装置

Also Published As

Publication number Publication date
WO2023098282A1 (zh) 2023-06-08

Similar Documents

Publication Publication Date Title
CN213279832U (zh) 图像传感器、相机和终端
US8355074B2 (en) Exposing pixel groups in producing digital images
CN114125242A (zh) 图像传感器、摄像模组、电子设备、图像生成方法和装置
CN113840067B (zh) 图像传感器、图像生成方法、装置和电子设备
CN113676708B (zh) 图像生成方法、装置、电子设备和计算机可读存储介质
WO2023109264A1 (zh) 图像传感器、摄像模组、电子设备、图像生成方法和装置
WO2023109265A1 (zh) 图像传感器、摄像模组、电子设备、图像生成方法和装置
WO2023098282A1 (zh) 图像传感器、摄像模组、电子设备、图像生成方法和装置
CN112118378A (zh) 图像获取方法及装置、终端和计算机可读存储介质
WO2023124607A1 (zh) 图像生成方法、装置、电子设备和计算机可读存储介质
CN113676675B (zh) 图像生成方法、装置、电子设备和计算机可读存储介质
CN113573030B (zh) 图像生成方法、装置、电子设备和计算机可读存储介质
CN108419022A (zh) 控制方法、控制装置、计算机可读存储介质和计算机设备
CN113170061B (zh) 图像传感器、成像装置、电子设备、图像处理系统及信号处理方法
WO2023082766A1 (zh) 图像传感器、摄像模组、电子设备、图像生成方法和装置
CN113676636B (zh) 高动态范围图像的生成方法、装置、电子设备和存储介质
US20150146037A1 (en) Imaging systems with broadband image pixels for generating monochrome and color images
US20230007191A1 (en) Image sensor, imaging apparatus, electronic device, image processing system, and signal processing method
WO2023098230A1 (zh) 图像传感器、摄像模组、电子设备、图像生成方法和装置
JP2022547221A (ja) 画像キャプチャ方法、カメラアセンブリ及び移動端末
CN113132692B (zh) 图像传感器、成像装置、电子设备、图像处理系统及信号处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination