CN112235485B - 图像传感器、图像处理方法、成像装置、终端及可读存储介质 - Google Patents

图像传感器、图像处理方法、成像装置、终端及可读存储介质 Download PDF

Info

Publication number
CN112235485B
CN112235485B CN202011075124.8A CN202011075124A CN112235485B CN 112235485 B CN112235485 B CN 112235485B CN 202011075124 A CN202011075124 A CN 202011075124A CN 112235485 B CN112235485 B CN 112235485B
Authority
CN
China
Prior art keywords
color
pixels
image
pixel
panchromatic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011075124.8A
Other languages
English (en)
Other versions
CN112235485A (zh
Inventor
杨鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202011075124.8A priority Critical patent/CN112235485B/zh
Publication of CN112235485A publication Critical patent/CN112235485A/zh
Application granted granted Critical
Publication of CN112235485B publication Critical patent/CN112235485B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本申请公开了一种图像传感器、处理方法、成像装置、终端及计算机可读存储介质。图像传感器包括二维像素阵列,二维像素阵列包括多个彩色像素和多个全色像素,其中,彩色像素具有比全色像素更窄的光谱响应;二维像素阵列包括最小重复单元,最小重复单元包括多个子单元,每个子单元呈M*M阵列,其中M≥2,每个子单元均包括至少一个彩色像素和多个全色像素,每个子单元中的彩色像素与全色像素的数量比小于1。本申请的图像传感器、处理方法、成像装置、终端及计算机可读存储介质中,每个子单元中的全色像素W多于同一子单元内的彩色像素,使全色像素W在二维像素阵列具有高占比,能够在亮度较低的环境下输出高信噪比的图像。

Description

图像传感器、图像处理方法、成像装置、终端及可读存储介质
技术领域
本申请涉及影像技术领域,特别涉及一种图像传感器、图像处理方法、成像装置、终端及计算机可读存储介质。
背景技术
手机等电子装置当中往往装配有摄像头,以实现拍照功能。摄像头中设置有图像传感器。为了实现彩色图像的采集,图像传感器中通常会设置有彩色像素和全色像素。目前大多图像传感器中彩色像素和全色像素数量一致,在暗光环境下信噪比较低,导致图像传感器得到的图像效果较差。
发明内容
本申请实施方式提供了一种图像传感器、图像处理方法、成像装置、终端及计算机可读存储介质。
本申请实施方式提供一种图像传感器。图像传感器包括二维像素阵列,所述二维阵列包括多个彩色像素和多个全色像素,其中,所述彩色像素具有比所述全色像素更窄的光谱响应;所述二维像素阵列包括最小重复单元,所述最小重复单元包括多个子单元,每个所述子单元呈M*M阵列,其中M≥2,每个所述子单元均包括至少一个彩色像素和多个全色像素,每个所述子单元中的所述彩色像素与所述全色像素的数量比小于1。
本申请实施方式提供一种图像处理方法。所述图像处理方法用于图像传感器。所述图像传感器包括图像传感器包括二维像素阵列,所述二维阵列包括多个彩色像素和多个全色像素,其中,所述彩色像素具有比所述全色像素更窄的光谱响应;所述二维像素阵列包括最小重复单元,所述最小重复单元包括多个子单元,每个所述子单元呈M*M阵列,其中M≥2,每个所述子单元均包括至少一个彩色像素和多个全色像素,每个所述子单元中的所述彩色像素与所述全色像素的数量比小于1,每个所述子单元中的彩色像素颜色相同。所述图像处理方法包括:控制所述二维像素阵列曝光以获取全色原始图像和彩色原始图像;处理所述彩色原始图像,以将每个所述子单元的所有像素作为与该子单元中单颜色对应的单色大像素,并输出所述单色大像素的像素值以得到彩色中间图像;处理所述全色原始图像,将每个所述子单元的所有像素作为全色大像素,并输出所述全色大像素的像素值以得到全色中间图像,所述全色中间图像具有所述第一分辨率;及处理所述彩色中间图像和所述全色中间图像以获取目标图像。
本申请实施方式提供又一种图像处理方法。所述图像处理方法用于图像传感器。所述图像传感器包括图像传感器包括二维像素阵列,所述二维阵列包括多个彩色像素和多个全色像素,其中,所述彩色像素具有比所述全色像素更窄的光谱响应;所述二维像素阵列包括最小重复单元,所述最小重复单元包括多个子单元,每个所述子单元呈M*M阵列,其中M≥2,每个所述子单元均包括至少一个彩色像素和多个全色像素,每个所述子单元中的所述彩色像素与所述全色像素的数量比小于1。所述图像处理方法包括:控制所述二维像素阵列曝光以获取全色原始图像和彩色原始图像;处理所述彩色原始图像,对所述彩色中间图像中的每个所述彩色像素进行插值处理以获取除该单颜色以外的另外两种颜色的像素值并输出以得到具有第一分辨率的彩色插补图像;处理所述全色原始图像,对所述全色中间图像中的每个所述全色像素进行插值处理以得到具有第一分辨率的全色插补图像;及处理所述彩色插补图像和所述全色插补图像以获取目标图像。
本申请实施方式提供一种成像装置。所述成像装置包括镜头及图像传感器。所述图像传感器能够接收穿过所述镜头的光线。所述图像传感器包括二维像素阵列,所述二维阵列包括多个彩色像素和多个全色像素,其中,所述彩色像素具有比所述全色像素更窄的光谱响应;所述二维像素阵列包括最小重复单元,所述最小重复单元包括多个子单元,每个所述子单元呈M*M阵列,其中M≥2,每个所述子单元均包括至少一个彩色像素和多个全色像素,每个所述子单元中的所述彩色像素与所述全色像素的数量比小于1。
本申请实施方式提供一种终端。所述终端包括壳体和成像装置。所述成像装置与所述壳体结合。所述成像装置包括镜头及图像传感器。所述图像传感器包括二维像素阵列,所述二维阵列包括多个彩色像素和多个全色像素,其中,所述彩色像素具有比所述全色像素更窄的光谱响应;所述二维像素阵列包括最小重复单元,所述最小重复单元包括多个子单元,每个所述子单元呈M*M阵列,其中M≥2,每个所述子单元均包括至少一个彩色像素和多个全色像素,每个所述子单元中的所述彩色像素与所述全色像素的数量比小于1。
本申请实施方式提供一种包含计算机程序的非易失性计算机可读存储介质。所述计算机程序被处理器执行时,使得所述处理器执行处理方法。所述处理方法包括:控制所述二维像素阵列曝光以获取全色原始图像和彩色原始图像;处理所述彩色原始图像,以将每个所述子单元的所有像素作为与该子单元中单颜色对应的单色大像素,并输出所述单色大像素的像素值以得到彩色中间图像;处理所述全色原始图像,将每个所述子单元的所有像素作为全色大像素,并输出所述全色大像素的像素值以得到全色中间图像,所述全色中间图像具有所述第一分辨率;及处理所述彩色中间图像和所述全色中间图像以获取目标图像。所述处理方法还包括:控制所述二维像素阵列曝光以获取全色原始图像和彩色原始图像;处理所述彩色原始图像,对所述彩色中间图像中的每个所述彩色像素进行插值处理以获取除该单颜色以外的另外两种颜色的像素值并输出以得到具有第一分辨率的彩色插补图像;处理所述全色原始图像,对所述全色中间图像中的每个所述全色像素进行插值处理以得到具有第一分辨率的全色插补图像;及处理所述彩色插补图像和所述全色插补图像以获取目标图像。
本申请实施例中的图像传感器、图像处理方法、成像装置、终端及计算机可读存储介质中,每个子单元中的全色像素W多于同一子单元内的彩色像素,使全色像素W在二维像素阵列具有高占比,能够在亮度较低的环境下输出高信噪比的图像。
本申请实施方式的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实践了解到。
附图说明
本申请的上述和/或附加的方面和优点可以从结合下面附图对实施方式的描述中将变得明显和容易理解,其中:
图1是本申请某些实施方式的图像传感器的示意图;
图2是本申请某些实施方式中一种最小重复单元像素排布的示意图;
图3是本申请某些实施方式的像素阵列的部分截面示意图;
图4是本申请某些实施方式的像素电路的示意图;
图5是不同色彩通道曝光饱和时间的示意图;
图6至图19是本申请实施方式中最小重复单元像素排布的示意图;
图20是本申请某些实施方式的图像处理方法的流程示意图;
图21是本申请某些实施方式的成像装置的结构示意图;
图22是本申请某些实施方式中图像处理方法的一个原理示意图;
图23是本申请某些实施方式中图像处理方法的一个原理示意图;
图24至图26本申请某些实施方式的图像处理方法的流程示意图;
图27是本申请某些实施方式中图像处理方法的一个原理示意图;
图28是本申请某些实施方式的图像处理方法的流程示意图;
图29是本申请某些实施方式中图像处理方法的一个原理示意图;
图30是本申请某些实施方式的图像处理方法的流程示意图;
图31及图32是本申请实施方式的图像处理方法的原理示意图;
图33是本申请某些实施方式的图像处理方法的流程示意图;
图34是本申请某些实施方式的终端的示意图;
图35是本申请某些实施方式的非易失性计算机可读存储介质与处理器的交互示意图。
具体实施方式
下面详细描述本申请的实施方式,所述实施方式的示例在附图中示出,其中,相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的,仅用于解释本申请的实施方式,而不能理解为对本申请的实施方式的限制。
请参阅图1及图2,本申请实施方式提供一种图像传感器10。图像传感器10包括像素阵列11。像素阵列11包括以阵列形式二维排列的多个像素1101,即像素阵列11可以是一种二维像素阵列11。二维像素阵列11包括多个彩色像素和多个全色像素W,其中,彩色像素具有比全色像素W更窄的光谱响应。
二维像素阵列11包括最小重复单元,最小重复单元包括多个子单元,每个子单元呈M*M阵列,其中M≥2,每个子单元均包括至少一个彩色像素和多个全色像素W,每个子单元中的彩色像素与全色像素W的数量比小于1。
本申请实施方式的图像传感器10中,二维像素阵列11包括最小重复单元,最小重复单元包括多个子单元,每个子单元呈M*M阵列,其中M≥2,每个子单元均包括至少一个彩色像素和多个全色像素W,每个子单元中的彩色像素与全色像素W的数量比小于1。彩色像素用于提供色彩信息,全色像素W用于提供高信噪比,本申请实施方式的图像传感器10中,每个子单元中的全色像素W多于同一子单元内的彩色像素,使全色像素W在二维像素阵列11具有高占比,能够在亮度较低的环境下输出高信噪比的图像。
接下来首先介绍一下图像传感器10的基本结构。请参阅图1,图1是本申请实施方式中的图像传感器10的示意图。图像传感器10包括像素阵列11。图像传感器10可以采用互补金属氧化物半导体(CMOS,Complementary Metal Oxide Semiconductor)感光元件或者电荷耦合元件(CCD,Charge-coupled Device)感光元件。
像素阵列11包括以阵列形式二维排列的多个像素1101,每个像素1101均包括如图3所示的光电转换元件117。每个像素1101根据入射在其上的光的强度将光转换为电荷。像素阵列11包括彩色像素及全色像素W,彩色像素具有比全色像素更窄的光谱响应。
图像传感器10还包括垂直驱动单元12、控制单元13、列处理单元14和水平驱动单元15。
例如,垂直驱动单元12包括移位寄存器和地址译码器。垂直驱动单元12包括读出扫描和复位扫描功能。读出扫描是指顺序地逐行扫描单位像素,从这些单位像素逐行地读取信号。例如,被选择并被扫描的像素行中的每一像素输出的信号被传输到列处理单元14。复位扫描用于复位电荷,光电转换元件的光电荷被丢弃,从而可以开始新的光电荷的积累。
例如,由列处理单元14执行的信号处理的是相关双采样(CDS)处理。在CDS处理中,取出从所选像素行中的每一像素输出的复位电平和信号电平,并且计算电平差。因而,获得了一行中的像素的信号。列处理单元14可以具有用于将模拟像素信号转换为数字格式的模数(A/D)转换功能。
例如,水平驱动单元15包括移位寄存器和地址译码器。水平驱动单元15顺序逐列扫描像素阵列11。通过水平驱动单元15执行的选择扫描操作,每一像素列被列处理单元14顺序地处理,并且被顺序输出。
例如,控制单元13根据操作模式配置时序信号,利用多种时序信号来控制垂直驱动单元13、列处理单元14和水平驱动单元15协同工作。
请参阅图4,图4是本申请实施方式中一种像素电路110的示意图。下面结合图1及图3对像素电路110的工作原理进行说明。
如图3所示,像素电路110包括光电转换元件117(例如,光电二极管PD)、曝光控制电路116(例如,转移晶体管112)、复位电路(例如,复位晶体管113)、放大电路(例如,放大晶体管114)和选择电路(例如,选择晶体管115)。在本申请的实施例中,转移晶体管112、复位晶体管113、放大晶体管114和选择晶体管115例如是MOS管,但不限于此。
例如,像素电路110包括光电转换元件117(例如,光电二极管PD)、曝光控制电路116(例如,转移晶体管112)、复位电路(例如,复位晶体管113)、放大电路(例如,大晶体管114)和选择电路(例如,选择晶体管115)。在本申请的实施例中,转移晶体管112、复位晶体管113、放大晶体管114和选择晶体管115例如是MOS管,但不限于此。
例如,参见图4,转移晶体管112的栅极TG通过曝光控制线(图中未示出)连接图像传感器10的垂直驱动单元12;复位晶体管113的栅极RG通过复位控制线(图中未示出)连接垂直驱动单元12;选择晶体管115的栅极SEL通过选择线(图中未示出)连接垂直驱动单元12。每个像素电路110中的曝光控制电路116(例如,转移晶体管112)与光电转换元件117电连接,用于转移光电转换元件117经光照后积累的电势。例如,光电转换元件117包括光电二极管PD,光电二极管PD的阳极例如连接到地。光电二极管PD将所接收的光转换为电荷。光电二极管PD的阴极经由曝光控制电路116(例如,转移晶体管112)连接到浮动扩散单元FD。浮动扩散单元FD与放大晶体管114的栅极、复位晶体管113的源极连接。
例如,曝光控制电路116为转移晶体管112,曝光控制电路116的控制端TG为转移晶体管112的栅极。当有效电平(例如,VPIX电平)的脉冲通过曝光控制线传输到转移晶体管12的栅极时,转移晶体管112导通。转移晶体管112将光电二极管PD光电转换的电荷传输到浮动扩散单元FD。
例如,复位晶体管113的漏极连接到像素电源VPIX。复位晶体管113的源极连接到浮动扩散单元FD。在电荷被从光电二极管PD转移到浮动扩散单元FD之前,有效复位电平的脉冲经由复位线传输到复位晶体管113的栅极,复位晶体管113导通。复位晶体管113将浮动扩散单元FD复位到像素电源VPIX。
例如,放大晶体管114的栅极连接到浮动扩散单元FD。放大晶体管114的漏极连接到像素电源VPIX。在浮动扩散单元FD被复位晶体管113复位之后,放大晶体管114经由选择晶体管115通过输出端OUT输出复位电平。在光电二极管PD的电荷被转移晶体管112转移之后,放大晶体管114经由选择晶体管115通过输出端OUT输出信号电平。
例如,选择晶体管115的漏极连接到放大晶体管114的源极。选择晶体管115的源极通过输出端OUT连接到图像传感器10中的列处理单元14。当有效电平的脉冲通过选择线被传输到选择晶体管115的栅极时,选择晶体管115导通。放大晶体管114输出的信号通过选择晶体管115传输到列处理单元14。
需要说明的是,本申请实施例中像素电路110的像素结构并不限于图4所示的结构。例如,像素电路110可以具有三晶体管像素结构,其中放大晶体管114和选择晶体管115的功能由一个晶体管完成。例如,曝光控制电路116也不局限于单个转移晶体管112的方式,其它具有控制端控制导通功能的电子器件或结构均可以作为本申请实施例中的曝光控制电路,单个转移晶体管112的实施方式简单、成本低、易于控制。
在包含多种色彩的像素的图像传感器10中,不同色彩的像素单位时间内接收的曝光量不同。在某些色彩饱和后,某些色彩还未曝光到理想的状态。请参阅图5,图5中以RGBW(红、绿、蓝、全色)为例说明。图5中横轴为曝光时间、纵轴为曝光量,Q为饱和的曝光量,LW为全色像素W的曝光曲线,LG为绿色像素G的曝光曲线,LR为红色像素R的曝光曲线,LB为蓝色像素的曝光曲线。
从图5可以看出,全色像素W的曝光曲线LW的斜率最大,也就是说在单位时间内全色像素W可以获得更多的曝光量,在t1时刻即达到饱和。绿色像素G的曝光曲线LG的斜率次之,绿色像素在t2时刻饱和。红色像素R的曝光曲线LR的斜率再次之,红色像素在t3时刻饱和。蓝色像素B的曝光曲线LB的斜率最小,蓝色像素在t4时刻饱和。由图3可知,全色像素W单位时间内接收的曝光量是大于彩色像素单位时间内接收的曝光量的,也即全色像素W的灵敏度要高于彩色像素的灵敏度。
如果彩色像素在二维阵列11中的占比多于或等于全色像素W在二维阵列11中的占比,那么在亮度较高的环境下,二维阵列11中的彩色像素可以接收到的较多的光线,能够输出信噪比较高的像素信息;但是在亮度较低的环境下,二维阵列11中的彩色像素能够接收到的光线较少,导致输出的像素信息的信噪比较低。如果提高全色像素W在二维阵列11中的占比,使全色像素W在二维阵列11中的占比多于彩色像素在二维阵列11中的占比,那么在亮度较低的环境下,二维阵列11中的全色像素W能够接收到较多的光线,以输出信噪比较高的像素信息。
基于上述原因,本申请实施方式的图像传感器10在像素阵列11中,使每个包括至少一个彩色像素和多个全色像素W的子单元中的彩色像素与全色像素W的数量比小于1,即每个子单元中全色像素W的占比多于彩色像素的占比,从而使全色像素W在二维阵列11中的占比多于彩色像素在二维阵列11中的占比,使图像传感器10可以在环境亮度较低的场景输出信噪比较高的图像。
图6至图19示出了多种图像传感器10(图2所示)中像素排布的示例。参见图2、及图6至图19,图像传感器10包括由多个彩色像素(例如多个第一颜色像素A、多个第二颜色像素B和多个第三颜色像素C)和多个全色像素W组成的二维像素阵列(也即图3所示的像素阵列11)。其中,彩色像素具有比全色像素W更窄的光谱响应。彩色像素的响应光谱例如为全色像素W响应光谱中的部分。
二维像素阵列11包括最小重复单元(图6至图19示出了多种图像传感器10中像素最小重复单元的示例),二维像素阵列11由多个最小重复单元组成,即,多个最小重复单元在行和列上复制并排列以形成二维像素阵列11。每个最小重复单元均包括多个子单元,每个子单元包括至少一个单颜色像素(例如至少一个第一颜色像素A、至少一个第二颜色像素B或至少一个第三颜色像素C)和多个全色像素W。每个最小重复单元均包括多个子单元,每个子单元包括至少一个单颜色像素(例如至少一个第一颜色像素A、至少一个第二颜色像素B或至少一个第三颜色像素C)和多个全色像素W。
例如,请结合图2,图2是本申请实施方式中一种最小重复单元的像素1101排布的示意图。最小重复单元为6行6列36个像素,子单元为3行3列9个像素,排布方式如图2所示。
第1行至第6行及第1列至第6列的像素1101组成一个最小重复单元。其中,第2行第2列、第2行第5列、第5行第2列、及第5行第5列的像素1101均为单颜色像素,该最小重复单元中的其他像素均为全色像素W。第1行第1列、第1行第2列、第1行第3列、第2行第1列、第2行第2列、第2行第3列、第3行第1列、第3行第2列、及第3行第3列的9个像素1101组成一个子单元U1A,其中,第2行第2列的像素1101为单颜色像素,例如为第一颜色像素A。第1行第4列、第1行第5列、第1行第6列、第2行第4列、第2行第5列、第2行第6列、第3行第4列、第3行第5列、及第3行第6列的9个像素1101组成一个子单元U1B,其中,第2行第5列的像素1101为单颜色像素,例如为第二颜色像素B。第4行第1列、第4行第2列、第4行第3列、第5行第1列、第5行第2列、第5行第3列、第6行第1列、第6行第2列、及第6行第3列的9个像素1101组成一个子单元U1B,其中,第5行第2列的像素1101为单颜色像素,例如为第二颜色像素B。第4行第4列、第4行第5列、第4行第6列、第5行第4列、第5行第5列、第5行第6列、第6行第4列、第6行第5列、及第6行第6列的9个像素1101组成一个子单元U1C,其中,第5行第5列的像素1101为单颜色像素,例如为第三颜色像素C。
在某些实施方式中,最小重复单元行和列的像素数量相等。例如最小重复单元包括但不限于,4行4列、6行6列、8行8列、10行10列的最小重复单元。例如,最小重复单元中的子单元行和列的像素数量相等。例如,子单元包括但不限于,2行2列、3行3列、4行4列、5行5列的子单元。这种设置有助于均衡行和列方向图像的分辨率和均衡色彩表现,提高显示效果。
需要说明的是,在本申请中,第一颜色像素A可以为红色像素R;第二颜色像素B可以为绿色像素G;第三颜色像素C可以为蓝色像素Bu;或者,第一颜色像素A可以为红色像素R;第二颜色像素B可以为黄色像素Y;第三颜色像素C可以为蓝色像素Bu;或者,第一颜色像素A可以为品红色像素M;第二颜色像素B可以为青色像素Cy;第三颜色像素C可以为黄色像素Y,在此不作限制。
在某些实施方式中,全色像素W的响应波段为可见光波段(例如,400nm-760nm)。例如,全色像素W上可设置有红外滤光片,以实现红外光的滤除。在一些实施例中,全色像素W的响应波段为可见光波段和近红外波段(例如,400nm-1000nm),与图像传感器10中的光电转换元件(例如光电二极管PD)响应波段相匹配。例如,全色像素W可以不设置滤光片,全色像素W的响应波段由光电二极管的响应波段确定,即两者相匹配。本申请的实施例包括但不局限于上述波段范围。
在某些实施方式中,最小重复单元包括第一子单元、第二子单元及第三子单元,第一子单元中的彩色像素均为第一颜色;和/或第二子单元中的彩色像素均为第二颜色;和/或第三子单元中的彩色像素均为第三颜色;其中,第一颜色、第二颜色及第三颜色互不相同。
例如,请参阅图6,图6是本申请实施方式中一种最小重复单元的像素1101排布的示意图。最小重复单元为4行4列16个像素,子单元为2行2列4个像素,排布方式如图6示。W表示全色像素;A表示彩色像素中的第一颜色像素;B表示彩色像素中的第二颜色像素;C表示彩色像素中的第三颜色像素。
对于图6所示的排布方式:第1行第1列、第1行第2列、第2行第1列、及第2行第2列的4个像素1101组成第一子单元U2A,其中,第2行第2列的像素1101为第一颜色像素A。第1行第3列、第1行第4列、第2行第3列、及第2行第4列的4个像素1101组成第二子单元U2B,其中,第2行第4列的像素1101为第二颜色像素B。第3行第1列、第3行第2列、第4行第1列、及第4行第2列的4个像素1101组成第二子单元U2B,其中,第4行第2列的像素1101为第二颜色像素B。第3行第3列、第3行第4列、第4行第3列、及第4行第4列的4个像素1101组成第三子单元U2C,其中,第4行第4列的像素1101为第三颜色像素C。
例如,请参阅图7,图7是本申请实施方式中一种最小重复单元的像素1101排布的示意图。最小重复单元为6行6列36个像素,子单元为3行3列9个像素,排布方式如图7所示。
在图7所示的排布方式中,子单元的划分与图2所示的排布方式中子单元的划分一致,同样分为U1A、U1B、U1B、及U1C四个子单元。其中,第1行第1列、第2行第2列、及第3行第3列的3个像素1101均为第一颜色像素A;第3行第4列、第2行第5列、及第1行第6列的3个像素1101均为第二颜色像素B;第4行第3列、第5行第2列、及第6行第1列的3个像素1101均为第二颜色像素B;第4行第4列、第5行第5列、及第6行第6列的3个像素1101均为第三颜色像素C。
在本实施例中,子单元为3行3列9个像素,因此在同一个子单元中,彩色像素应小于或等于4个。图7所示的例子仅示意了一个子单元中的3个彩色像素均为同一颜色像素(如第一颜色像素A)的场景。当子单元为3行3列9个像素时,一个子单元中还可以包括1个、2个、或4个同一颜色的彩色像素,在此不一一列举。在一个子单元中,彩色像素的数量越多,则最终输出的图像颜色越准确;全色像素W的数量越多,则最终输出的图像在暗光环境下的信噪比越高。
例如,请参阅图8,图8是本申请实施方式中一种最小重复单元的像素1101排布的示意图。最小重复单元为8行8列64个像素,子单元为4行4列16个像素,排布方式如图8所示。
对于图8所示的排布方式:第1行第1列至第1行第4列、第2行第1列至第2行第4列、第3行第1列至第3行第4列、及第4行第1列至第4行第4列的16个像素1101组成第一子单元U3A,其中,第2行第2列、第2行第3列、第3行第2列、第3行第3列、第3行第4列、第4行第3列、及第4行第4列的7个像素1101均为第一颜色像素A。第1行第5列至第1行第8列、第2行第5列至第2行第8列、第3行第5列至第3行第8列、及第4行第5列至第4行第8列的16个像素1101组成第二子单元U3B,其中,第2行第6列、第2行第7列、第3行第5列、第3行第6列、第3行第7列、第4行第5列、及第4行第6列的7个像素1101均为第二颜色像素B。第5行第1列至第5行第4列、第6行第1列至第6行第4列、第7行第1列至第7行第4列、及第8行第1列至第8行第4列的16个像素1101组成第二子单元U3B,其中,第5行第3列、第5行第4列、第6行第2列、第6行第3列、第6行第4列、第7行第2列、及第7行第3列的7个像素1101均为第二颜色像素B。第5行第5列至第5行第8列、第6行第5列至第6行第8列、第7行第5列至第7行第8列、及第8行第5列至第8行第8列的16个像素1101组成第三子单元U3C,其中,第5行第5列、第5行第6列、第6行第5列、第6行第6列、第6行第7列、第7行第6列、及第7行第7列的7个像素1101均为第三颜色像素C。
在本例中,子单元为4行4列16个像素,因此在同一个子单元中,彩色像素应小于或等于7个。图8所示的例子仅示意了一个子单元中的7个彩色像素均为同一颜色像素(如第一颜色像素A)的场景。当子单元为4行4列16个像素时,一个子单元中还可以包括1个、2个、3个、4个、5个、或6个同一颜色的彩色像素,在此不一一列举。
在图7及图8所示的例子中,仅示意了第一子单元、两个第二子单元、及第三子单元中的彩色像素均为同一颜色的彩色像素的场景。可以理解的是,在图7至图9所示的例子中还可以是:第一子单元中的彩色像素均为第一颜色,第二子单元中的彩色像素不均为第二颜色,第三子单元中的彩色像素不均为第三颜色;还可以是:第一子单元中的彩色像素不均为第一颜色,第二子单元中的彩色像素均为第二颜色,第三子单元中的彩色像素不均为第三颜色;还可以是:第一子单元中的彩色像素不均为第一颜色,第二子单元中的彩色像素不均为第二颜色,第三子单元中的彩色像素均为第三颜色;还可以是:第一子单元中的彩色像素均为第一颜色,第二子单元中的彩色像素均为第二颜色,第三子单元中的彩色像素不均为第三颜色;还可以是:第一子单元中的彩色像素不均为第一颜色,第二子单元中的彩色像素均为第二颜色,第三子单元中的彩色像素均为第三颜色;在此不做限定。
在某些实施方式中,最小重复单元包括第一子单元、第二子单元及第三子单元,第一子单元中的彩色像素包括至少两种颜色的像素;和/或第二子单元中的彩色像素包括至少两种颜色的像素;和/或第三子单元中的彩色像素包括至少两种颜色的像素。其中,第一颜色、第二颜色及第三颜色互不相同。
例如,请参阅图9,图9是本申请实施方式中一种最小重复单元的像素1101排布的示意图。最小重复单元为6行6列36个像素,子单元为3行3列9个像素,排布方式如图9所示。
在图9所示的排布方式中,子单元的划分与图2所示的排布方式中子单元的划分一致,同样分为U1A、U1B、U1B、及U1C四个子单元。其中,第1行第1列及第3行第3列的2个像素1101为第一颜色像素A,第2行第2列的像素1101为第三颜色像素C;第3行第4列、第2行第5列、及第1行第6列的3个像素1101均为第二颜色像素B;第4行第3列、第5行第2列、及第6行第1列的3个像素1101均为第二颜色像素B;第4行第4列及第6行第6列的2个像素1101为第三颜色像素C,第5行第5列的像素1101为第一颜色像素A。
在本实施例中,子单元为3行3列9个像素,因此在同一个子单元中,彩色像素应小于或等于4个。图9所示的例子仅示意了一个子单元中包括3个彩色像素的场景。当子单元为3行3列9个像素时,一个子单元中还可以包括1个、2个、或4个彩色像素,在此不一一列举。
在图9所示的例子中,仅示意了第一子单元及第三子单元中的包括至少两种颜色的像素的场景。可以理解的是,在图9所示的例子中还可以是:仅第一子单元包括至少两种颜色的像素;还可以是:仅第二子单元中包括至少两种颜色的像素;还可以是:仅第三子单元中包括至少两种颜色的像素;还可以是:第一子单元和第二子单元中包括至少两种颜色的像素;还可以是:第二子单元和第三子单元中包括至少两种颜色的像素;在此不做限定。
在某些实施方式中,在同一个最小重复单元中,每个子单元中的彩色像素的位置与其他子单元中的彩色像素的位置均对应。
例如,请参阅图6,图6所示的一个最小重复单元中,每个子单元中的彩色像素均位于该2行2列子单元的最下一行及最右一列。每个子单元中的彩色像素可以是第一颜色像素;或第二颜色像素;或第三颜色像素,在此不一一列举。
例如,请参阅图10,图10是本申请实施方式中一种最小重复单元的像素1101排布的示意图。最小重复单元为6行6列36个像素,子单元为3行3列9个像素,排布方式如图10所示。
在图10所示的排布方式中,子单元的划分与图2所示的排布方式中子单元的划分一致,同样分为U1A、U1B、U1B、及U1C四个子单元。其中,第1行第1列像素1101为彩色像素(如第一颜色像素A);第1行第4列的像素1101为彩色像素(如第二颜色像素B);第4行第1列的像素1101为彩色像素(如第二颜色像素B);第4行第4列的像素1101为彩色像素(如第三颜色像素C)。
图10所示的一个最小重复单元中,每个子单元中的彩色像素均位于该3行3列子单元的最上一行及最左一列。每个子单元中的彩色像素可以是第一颜色像素;或第二颜色像素;或第三颜色像素,在此不一一列举。每个子单元中还可以包括2个、3个、或4个彩色像素,只需保证每个子单元中的彩色像素的位置与其他子单元中的彩色像素的位置均对应即可。
例如,请参阅图11,图11是本申请实施方式中一种最小重复单元的像素1101排布的示意图。最小重复单元为8行8列64个像素,子单元为4行4列16个像素,排布方式如图11所示。
在图11所示的排布方式中,子单元的划分与图8所示的排布方式中子单元的划分一致,同样分为U3A、U3B、U3B、及U3C四个子单元。其中,第2行第2列的像素1101为彩色像素(如第一颜色像素A);第2行第7列的像素1101为彩色像素(如第二颜色像素B);第7行第2列的像素1101为彩色像素(如第二颜色像素B);第7行第7列的像素1101为彩色像素(如第三颜色像素C)。
图11所示的一个最小重复单元中,每个子单元中的彩色像素位于对角线D1或对角线D2上,一个最小重复单元中的彩色像素位置关于对角线D1对称,且关于对角线D2对称,使每个子单元中的彩色像素的位置与其他子单元中的彩色像素的位置具有对应关系。每个子单元中的彩色像素可以是第一颜色像素;或第二颜色像素;或第三颜色像素,在此不一一列举。每个子单元中还可以包括2个、3个、4个、5个、6个、或7个彩色像素,只需保证每个子单元中的彩色像素的位置与其他子单元中的彩色像素的位置均对应即可。例如请结合图8,图8所示的一个最小重复单元中,每个子单元中包括7个彩色像素,最小重复单元中的彩色像素位置关于对角线D1对称,且关于对角线D2对称,使每个子单元中的彩色像素的位置与其他子单元中的彩色像素的位置具有对应关系。
在某些实施方式中,在同一个最小重复单元中,每个子单元中的彩色像素的位置与至少一个其他子单元中的彩色像素的位置不对应。
例如,请参阅图12,图12是本申请实施方式中一种最小重复单元的像素1101排布的示意图。最小重复单元为4行4列16个像素,子单元为2行2列4个像素,排布方式如图12所示。
在图12所示的排布方式中,子单元的划分与图6所示的排布方式中子单元的划分一致,同样分为U2A、U2B、U2B、及U2C四个子单元。其中,第1行第1列的像素1101为彩色像素(如第一颜色像素A);第2行第4列的像素1101为彩色像素(如第二颜色像素B);第4行第2列的像素1101为彩色像素(如第二颜色像素B);第3行第3列的像素1101为彩色像素(如第三颜色像素C)。
图12所示的一个最小重复单元的4个子单元中,两个子单元U2B中的彩色像素均位于该2行2列子单元的最下一行及最右一列,呈对应关系,子单元U2A中的彩色像素位置与子单元U2B中的彩色像素的位置不对应,子单元U2C中的彩色像素位置与子单元U2B中的彩色像素的位置也不对应。每个子单元中的彩色像素可以是第一颜色像素;或第二颜色像素;或第三颜色像素,在此不一一列举。
例如,请参阅图13,图13是本申请实施方式中一种最小重复单元的像素1101排布的示意图。最小重复单元为6行6列36个像素,子单元为3行3列9个像素,排布方式如图13所示。
在图13所示的排布方式中,子单元的划分与图2所示的排布方式中子单元的划分一致,同样分为U1A、U1B、U1B、及U1C四个子单元。其中,第1行第1列像素1101为彩色像素(如第一颜色像素A);第2行第5列的像素1101为彩色像素(如第二颜色像素B);第6行第2列的像素1101为彩色像素(如第二颜色像素B);第5行第5列的像素1101为彩色像素(如第三颜色像素C)。
图13所示的一个最小重复单元的4个子单元中,每个子单元中的彩色像素位置与其他子单元中的彩色像素的位置均不对应。每个子单元中的彩色像素可以是第一颜色像素;或第二颜色像素;或第三颜色像素,在此不一一列举。
例如,请参阅图14,图14是本申请实施方式中一种最小重复单元的像素1101排布的示意图。最小重复单元为8行8列64个像素,子单元为4行4列16个像素,排布方式如图14所示。
在图14所示的排布方式中,子单元的划分与图8所示的排布方式中子单元的划分一致,同样分为U3A、U3B、U3B、及U3C四个子单元。其中,第2行第2列、第2行第3列、第3行第2列、第3行第3列、第3行第4列、第4行第3列、及第4行第4列的像素1101为彩色像素(如第一颜色像素A);第1行第6列、第2行第7列、及第3行第8列的像素1101为彩色像素(如第二颜色像素B);第5行第4列、第6行第3列、及第7行第2列的像素1101为彩色像素(如第二颜色像素B);第5行第5列、第5行第6列、第6行第5列、第6行第6列、第6行第7列、第7行第6列、及第7行第7列的像素1101为彩色像素(如第三颜色像素C)。
图14所示的一个最小重复单元的4个子单元中,有2个子单元中的彩色像素位置关于对角线D1和对称,且关于对角线D2对称,呈对应关系,另外2个子单元中的彩色像素位置与其他子单元中的彩色像素的位置不对应。每个子单元中的彩色像素可以是第一颜色像素;或第二颜色像素;或第三颜色像素,在此不一一列举。
对于图12至图14所示的排布方式,一个最小重复单元包括4个子单元,可以是:1个子单元中的彩色像素位置与其他子单元中的彩色像素的位置均不对应,另外3个子单元中的彩色像素位置与其他子单元中的彩色像素的位置对应;还可以是:2个子单元中的彩色像素位置与其他子单元中的彩色像素的位置均不对应,另外2个子单元中的彩色像素位置与其他子单元中的彩色像素的位置对应;还可以是:3个子单元中的彩色像素位置与其他子单元中的彩色像素的位置不对应,另外1个子单元中的彩色像素位置与其他子单元中的彩色像素的位置对应;还可以是:4个子单元中的彩色像素位置均与其他子单元中的彩色像素的位置不对应。
在某些实施方式中,在同一个最小重复单元中,每个子单元中的至少一个彩色像素与其他至少一个子单元中的至少一个彩色像素相邻。
例如,请参阅图15,图15是本申请实施方式中一种最小重复单元像素1101排布的示意图。最小重复单元为4行4列16个像素,子单元为2行2列4个像素,排布方式如图15所示。
在图15所示的排布方式中,子单元的划分与图6所示的排布方式中子单元的划分一致,同样分为U2A、U2B、U2B、及U2C四个子单元。其中,第2行第2列的像素1101为彩色像素(如第一颜色像素A);第2行第3列的像素1101为彩色像素(如第二颜色像素B);第3行第2列的像素1101为彩色像素(如第二颜色像素B);第3行第3列的像素1101为彩色像素(如第三颜色像素C)。
图15所示的一个最小重复单元的4个子单元中,子单元U2C中的彩色像素位置与相邻2个子单元U2B中的彩色像素的位置均相邻。每个子单元中的彩色像素可以是第一颜色像素;或第二颜色像素;或第三颜色像素,在此不一一列举。
例如,请参阅图16,图16是本申请实施方式中一种最小重复单元的像素1101排布的示意图。最小重复单元为6行6列36个像素,子单元为3行3列9个像素,排布方式为如图16所示。
在图16所示的排布方式中,子单元的划分与图2所示的排布方式中子单元的划分一致,同样分为U1A、U1B、U1B、及U1C四个子单元。第3行第3列像素1101为彩色像素(如第一颜色像素A);第3行第4列的像素1101为彩色像素(如第二颜色像素B);第4行第3列的像素1101为彩色像素(如第二颜色像素B);第4行第4列的像素1101为彩色像素(如第三颜色像素C)。
图16所示的一个最小重复单元的4个子单元中,每个子单元中的彩色像素位置与相邻2个子单元中的彩色像素的位置均相邻。每个子单元中的彩色像素可以是第一颜色像素;或第二颜色像素;或第三颜色像素,在此不一一列举。
例如,请参阅图8,图8所示的一个最小重复单元的4个子单元中,每个子单元中有3个彩色像素的位置与相邻2个子单元中的彩色像素的位置相邻。比如图8所示的排布方式中,第3行第4列的像素1101与第3行第5列的像素1101相邻,且第4行第4列的像素1101与第4行第5列的像素1101相邻;同时,第4行第3列的像素1101与第5行第3列的像素1101相邻,且第4行第4列的像素1101与第5行第4列的像素1101相邻。
对于图8、图15、及图16所示的排布方式,在同一个最小重复单元的4个子单元中,每个子单元中的至少一个彩色像素可以与其他一个子单元中的至少一个彩色像素相邻,还可以与其他两个子单元中的至少一个彩色像素相邻。
在某些实施方式中,在同一个最小重复单元中,每个子单元中的彩色像素的数量与其他任一个子单元中的彩色像素的数量相同。
例如,请参阅图6、图12、及图15,最小重复单元为4行4列16个像素,子单元为2行2列4个像素,每个子单元中均只包括1个彩色像素。
例如,请参阅图17,图17是本申请实施方式中一种最小重复单元的像素1101排布的示意图。最小重复单元为6行6列36个像素,子单元为3行3列9个像素,排布方式为如图17所示。
在图17所示的排布方式中,子单元的划分与图2所示的排布方式中子单元的划分一致,同样分为U1A、U1B、U1B、及U1C四个子单元。其中,第2行第2列及第3行第3列像素1101为彩色像素(如第一颜色像素A);第2行第5列及第3行第4列的像素1101为彩色像素(如第二颜色像素B);第5行第3列及第6行第2列的像素1101为彩色像素(如第二颜色像素B);第5行第4列及第6行第5列的像素1101为彩色像素(如第三颜色像素C)。
在图17所示的一个最小重复单元中,每个子单元中彩色像素的数量均为2个。
例如,请参阅图18,图18是本申请实施方式中一种最小重复单元的像素1101排布的示意图。最小重复单元为8行8列64个像素,子单元为4行4列16个像素,排布方式如图18所示。
在图18所示的排布方式中,子单元的划分与图8所示的排布方式中子单元的划分一致,同样分为U3A、U3B、U3B、及U3C四个子单元。其中,第2行第2列、第2行第3列、第3行第2列及第3行第3列的像素1101为彩色像素(如第一颜色像素A);第2行第6列、第2行第7列、第3行第6列、及第3行第7列的像素1101为彩色像素(如第二颜色像素B);第6行第2列、第6行第3列、第7行第2列、及第7行第3列的像素1101为彩色像素(如第二颜色像素B);第6行第6列、第6行第7列、第7行第6列、及第7行第7列的像素1101为彩色像素(如第三颜色像素C)。
在图18所示的一个最小重复单元中,每个子单元中彩色像素的数量均为4个。
在某些实施方式中,最小重复单元包括第一子单元、第二子单元及第三子单元,第一子单元中的彩色像素均为红色,第二子单元中的彩色像素均为里绿色,第三子单元中的彩色像素均为蓝色,每个第二子单元中的彩色像素的数量小于第一子单元中的彩色像素的数量,每个第二子单元中的彩色像素的数量小于第三子单元中的彩色像素的数量。通常对于一个最小重复单元,红色像素和蓝色像素的信号要低于绿色像素的信号,因此为了保证在一个最小重复单元中红色像素和蓝色像素的信噪比,可以增加红色像素和蓝色像素的数量,使一个最小重复单元中各种颜色的彩色信号的总信号数量接近。
例如,请参阅图19,图19是本申请实施方式中一种最小重复单元像素1101排布的示意图。最小重复单元为6行6列36个像素,子单元为3行3列9个像素,排布方式为如图19所示。
在图19所示的排布方式中,子单元的划分与图2所示的排布方式中子单元的划分一致,同样分为U1A、U1B、U1B、及U1C四个子单元。其中,第2行第2列及第3行第3列像素1101为第一颜色像素A;第3行第4列的像素1101第二颜色像素B;第6行第2列的像素1101为第二颜色像素B;第5行第4列及第6行第5列的像素1101为第三颜色像素C。
在图19所示的一个最小重复单元中,第一颜色像素A为红色像素,第二颜色像素B为绿色像素,第三颜色像素C为蓝色像素。其中,子单元U1A或U1C中的彩色像素为红色时或蓝色时,子单元U1A和U1C中彩色像素的总数量为2;U1B单元中的彩色像素为绿色时,U1B单元中彩色像素的数量为1。对于3行3列9个像素的子单元,当U1A或U1C子单元中的彩色像素为红色时或蓝色时,彩色像素的数量还可以是3个或4个,当U1B子单元中的彩色像素为绿色时,彩色像素的数量还可以是1个或2个,只需保证包含的彩色像素为绿色的子单元(U1B子单元)中彩色像素的数量小于包含红色像素的子单元(U1A子单元)中的红色像素的数量或小于包含蓝色像素的子单元(U1C子单元)中蓝色像素的数量即可。
综上,本申请实施方式的图像传感器10中,二维像素阵列11的最小子单元包括至少一个彩色像素和多个全色像素,每个子单元中的彩色像素与全色像素的数量比小于1,即每个子单元中的全色像素W多于同一子单元内的彩色像素,使全色像素W在二维像素阵列11具有高占比,能够在亮度较低的环境下输出高信噪比的图像。
对于每个子单元中彩色像素颜色相同的图像传感器10,本申请还提供一种图像处理方法,如图20所示,图像处理方法包括:
01:控制二维像素阵列曝光以获取全色原始图像和彩色原始图像;
02:处理彩色原始图像以将每个子单元的所有像素1101作为与该子单元中单颜色对应的单色大像素,并输出单色大像素的像素值以得到彩色中间图像;
03:处理全色原始图像,将每个子单元的所有像素1101作为全色大像素,并输出全色大像素的像素值以得到全色中间图像,全色中间图像具有第一分辨率;及
04:处理彩色中间图像和全色中间图像以获取目标图像。
请参阅图21,并结合图1及图2,本申请的图像采集方法可以由成像装置100实现。成像装置100包括图像传感器10、镜头20、及处理器30。其中,步骤01可以由图像传感器10实现。步骤02、步骤03及步骤04可以由处理器30实现。也即是说,图像传感器10可以曝光以获取全色原始图像和彩色原始图像。处理器30可以用于处理彩色原始图像,以将每个子单元的所有像素作为与该子单元中单颜色对应的单色大像素,并输出单色大像素的像素值以得到彩色中间图像;处理全色原始图像,将每个子单元的所有像素1101作为全色大像素,并输出全色大像素的像素值以得到全色中间图像;及处理彩色中间图像和全色中间图像以获取目标图像。
具体地,请结合图1和图22,在用户请求拍照时,图像传感器10中的垂直驱动单元12会控制二维像素阵列中的多个全色像素和多个彩色像素均曝光,列处理单元14会读出每一个全色像素的像素值以及每一个彩色像素的像素值。图像传感器10不执行将全色像素的像素值拟合到彩色像素的像素值中的操作,而是直接根据多个全色像素的像素值输出一张全色原始图像,并直接根据多个彩色像素的像素值输出一张彩色原始图像。
如图22所示,全色原始图像包括多个全色像素W及多个空像素N(NULL),其中,空像素既不为全色像素,也不为彩色像素,全色原始图像中空像素N所处位置可视为该位置没有像素,或者可以将空像素的像素值视为零。比较二维像素阵列与全色原始图像可知,对于二维像素阵列中的每一个子单元,该子单元包括8个全色像素W和1个彩色像素(彩色像素A、彩色像素B、或彩色像素C)。全色原始图像中也具有与二维像素阵列中的每一个子单元对应的子单元,全色原始图像的子单元包括8个全色像素W和1个空像素N,1个空像素N所处位置对应二维像素阵列的子单元中的1个彩色像素所处的位置。
同样地,彩色原始图像包括多个彩色像素及多个空像素N,其中,空像素既不为全色像素,也不为彩色像素,彩色原始图像中空像素N所处位置可视为该位置没有像素,或者可以将空像素的像素值视为零。比较二维像素阵列与彩色原始图像可知,对于二维像素阵列中的每一个子单元,该子单元包括8个全色像素W和1个彩色像素。彩色原始图像中也具有与二维像素阵列中的每一个子单元对应的子单元,彩色原始图像的子单元包括1个彩色像素和8个空像素N,8个空像素N所处位置对应二维像素阵列子单元中的8个全色像素W所处的位置。
处理器30接收到图像传感器10输出的全色原始图像和彩色原始图像后,可以对全色原始图像作进一步处理得到全色中间图像,并对彩色原始图像作进一步处理得到彩色中间图像。示例地,彩色原始图像可通过图23所示的方式变换为彩色中间图像。如图23所示,彩色原始图像包括多个子单元,每个子单元都包括多个空像素N和1个单颜色的彩色像素(也称单颜色像素)。具体地,某些子单元包括8个空像素N和1个单颜色像素A,某些子单元包括8个空像素N和1个单颜色像素B,某些子单元包括8个空像素N及1个单颜色像素C。处理器30可以将包括空像素N和单颜色像素A的子单元中的所有像素作为与该子单元中的单颜色A对应的单色大像素A,将包括空像素N和单颜色像素B的子单元中的所有像素作为与该子单元中的单颜色B对应的单色大像素B,将包括空像素N和单颜色像素C的子单元中的所有像素作为与该子单元中的单颜色C对应的单色大像素C。由此,处理器30即可根据多个单色大像素A、多个单色大像素B、及多个单色大像素C形成一张彩色中间图像。如果包括多个空像素N的彩色原始图像视为一张具有第二分辨率的图像,则按照图23所示方式获取的彩色中间图像则为一张具有第一分辨率的图像,其中,第一分辨率小于第二分辨率。
请参阅图24,在某些实施方式中,步骤01:控制二维像素阵列曝光以获取全色原始图像和彩色原始图像,包括:
011:输出所有全色像素的像素值以获取全色原始图像;及
013:输出所有彩色像素的像素值以获取彩色原始图像。
请参阅图21,步骤011和步骤013均可以由图像传感器10实现。也即是说,图像传感器10可以输出所有全色像素的像素值以获取全色原始图像;及输出所有彩色像素的像素值以获取彩色原始图像。
全色像素和彩色像素可以同时曝光,其中,全色像素的曝光时间可以小于或等于彩色像素的曝光时间。全色像素和彩色像素曝均光完毕后,图像传感器10输出所有全色像素的像素值以获取全色原始图像,并输出所有彩色像素的像素值以获取彩色原始图像。其中,全色原始图像可以先于彩色原始图像输出,或者;彩色原始图像可以先于全色原始图像输出;或者,全色原始图像和彩色原始图像可以同时输出。二者的输出顺序在此不作限定。全色像素和彩色像素同时曝光可以减小全色原始图像及彩色原始图像的获取时间,加快全色原始图像及彩色原始图像获取进程。全色像素和彩色像素同时曝光的方式在快拍、连拍等对出图速度要求较高的模式下具有极大优势。
请参阅图25,在某些实施方式中,步骤02:处理彩色原始图像,以将每个子单元的所有像素1101作为与该子单元中单颜色对应的单色大像素,并输出单色大像素的像素值以得到彩色中间图像,包括:
021:合并每个子单元中的所有像素1101的像素值以得到单色大像素的像素值;及
022:根据多个单色大像素的像素值形成彩色中间图像,彩色中间图像具有第一分辨率。
请参阅图21,在某些实施方式中,步骤021及步骤022均可以由处理器30实现。也即是说,处理器30可以用于合并每个子单元中的所有像素的像素值以得到单色大像素的像素值、以及根据多个单色大像素的像素值形成彩色中间图像。其中,彩色中间图像具有第一分辨率。
具体地,如图23所示,对于单色大像素A,处理器30可以将包括空像素N和单颜色像素A的子单元中的所有像素的像素值相加,并将相加的结果作为对应该子单元的单色大像素A的像素值,其中,空像素N的像素值可以视为零,下同;处理器30可以将包括空像素N和单颜色像素B的子单元中的所有像素的像素值相加,并将相加的结果作为对应该子单元的单色大像素B的像素值;处理器30可以将包括空像素N和单颜色像素C的子单元中的所有像素的像素值相加,并将相加的结果作为对应该子单元的单色大像素C的像素值。由此,处理器30即可获得多个单个大像素A的像素值、多个单色大像素B的像素值、以及多个单色大像素C的像素值。处理器30再根据多个单色大象素A的像素值、多个单色大像素B的像素值、以及多个单色大像素C的像素值形成一张彩色中间图像。如图23所示,当单颜色A为红色R,单颜色B为绿色G,单颜色C为蓝色Bu时,彩色中间图像即为拜耳阵列排布的图像。当然,处理器30获取彩色中间图像的方式并不限于此。
请参阅图26,在某些实施方式中,步骤03:处理全色原始图像,将每个子单元的所有像素1101作为全色大像素,并输出全色大像素的像素值以得到全色中间图像,全色中间图像具有第一分辨率,包括:
031:合并每个子单元中的所有像素1101的像素值以得到单色大像素的像素值;及
032:根据多个单色大像素的像素值形成全色中间图像,全色中间图像具有第一分辨率。
请参阅图21,在某些实施方式中,步骤031及步骤032均可以由处理器30实现。也即是说,处理器30可以用于合并每个子单元中的所有像素的像素值以得到单色大像素的像素值、以及根据多个单色大像素的像素值形成全色中间图像。其中,全色中间图像具有第一分辨率。
具体地,请参阅图27,对于单色大像素W,处理器30可以将包括空像素N和单颜色像素W的子单元中的所有像素的像素值相加,并将相加的结果作为对应该子单元的单色大像素A的像素值,其中,空像素N的像素值可以视为零。由此,处理器30即可获得多个单个大像素W的像素值。处理器30再根据多个单色大象素W的像素值形成一张全色中间图像。
作为一个示例,处理器30可以通过以下方式将全色原始图像中每个子单元的所有像素作为与该子单元对应的全色大像素W:处理器30首先合并每个子单元中的所有像素的像素值以得到全色大像素W的像素值,再根据多个全色大像素W的像素值形成全色中间图像。具体地,对于每个全色大像素,处理器30可以将包括空像素N和全色像素W的子单元中的所有像素值相加,并将相加的结果作为对应该子单元的全色大像素W的像素值,其中,空像素N的像素值可以视为零。由此,处理器30即可获得多个全色大像素W的像素值。
请参阅图28,在某些实施方式中,步骤04:处理彩色中间图像和全色中间图像以获取目标图像,包括:
041:分离彩色中间图像的色彩及亮度以得到具有第一分辨率的色亮分离图像;
042:融合全色中间图像的亮度及色亮分离图像的亮度以得到具有第一分辨率的亮度修正彩色图像;及
043:对亮度修正彩色图像中的每个单色大像素进行插值处理以获取除该单颜色以外的另外两种颜色的像素值并输出以得到具有第一分辨率的目标图像。
请参阅图21,步骤041、步骤042及步骤043均可以由处理器30实现。也即是说,处理器30可以用于分离彩色中间图像的色彩及亮度以得到具有第一分辨率的色亮分离图像;融合全色中间图像的亮度及色亮分离图像的亮度以得到具有第一分辨率的亮度修正彩色图像;及对亮度修正彩色图像中的每个单色大像素进行插值处理以获取除该单颜色以外的另外两种颜色的像素值并输出以得到具有第一分辨率的目标图像。
示例地,如图29所示,处理器30首先分离彩色中间图像的色彩及亮度以获取色亮分离图像,图29中色亮分离图像中的L表示亮度,CLR表示色彩。具体地,假设单颜色像素A为红色像素R,单颜色像素B为绿色像素G,单颜色像素C为蓝色像素Bu,则:(1)处理器30可以将RGB空间的彩色原始图像转换为YCrCb空间的色亮分离图像,此时YCrCb中的Y即为色亮分离图像中的亮度L,YCrCb中的Cr和Cb即为色亮分离图像中的色彩CLR;(2)处理器30也可以将RGB的彩色原始图像转换为Lab空间的色亮分离图像,此时Lab中的L即为色亮分离图像中的亮度L,Lab中的a和b即为色亮分离图像中的色彩CLR。需要说明的是,图29所示色亮分离图像中L+CLR并不表示每个像素的像素值由L和CLR相加而成,仅表示每个像素的像素值是由L和CLR组成。
随后,处理器30融合色亮分离图像的亮度以及全色中间图像的亮度。示例地,全色中间图像中每个全色像素W的像素值即为每个全色像素的亮度值,处理器30可以将色亮分离图像中每个像素的L与全色中间图像中对应位置的全色像素的W相加,即可得到亮度修正后的像素值。处理器30根据多个亮度修正后的像素值形成一张亮度修正后的色亮分离图像,再利用色彩空间转换将亮度修正后的色亮分离图像转换为亮度修正彩色图像。
在单色大像素A为红色像素R,单色大像素B为绿色像素G,单色大像素C为蓝色像素Bu时,亮度修正彩色图像为拜耳阵列排布的图像,处理器30需要对亮度修正彩色图像做插值处理,以使得每个修正了亮度后的单色大像素的像素值都同时具有R、G、B三个分量。处理器30可以对亮度修正彩色图像做插值处理以得到目标图像,示例地,可采用线性插值方式来获取目标图像。
具体地,请结合图29,假设单色大像素A为红色像素R,单色大像素B为绿色像素G,单色大像素C为蓝色像素Bu,则彩色中间图像为拜耳阵列排布的图像,处理器30需要对彩色中间图像执行去马赛克(即插值处理),以使得每个单色大像素的像素值都同时具有R、G、B三个分量。示例地,可以采用线性插值的方式来计算每个单色大像素的除单色大像素的单颜色以外的另外两种颜色的像素值。以单色大像素C2,2(“C2,2”表示从左上方算起第二行第二列的像素C)为例,单色大像素C2,2仅具有颜色C的分量的像素值P(C2,2),还需要计算出单色大像素C位置处颜色A的像素值P(A2,2)和颜色B的像素值P(B2,2),则P(A2,2)=α1·P(A3,1)+α2·P(A3,3)+α3·P(A1,3)+α4·P(A1,1),P(B2,2)=β1·P(B1,2)+β2·P(B2,1)+β3·P(B2,3)+β4·P(B3,2),其中,α1~α4与β1~β4均为插值系数,且α1+α2+α3+α4=1,β1+β2+β3+β4=1。上述P(A2,2)及P(B2,2)的计算方式仅为示例,P(A2,2)及P(B2,2)还可以通过除线性插值方式以外的其他插值方式计算得到,在此不作限制。处理器30计算出每个单色大像素的三个分量的像素值后,即可根据三个像素值计算出对应该单色大像素的最终的像素值,即A+B+C,需要说明的是,此处的A+B+C并不表示直接将三个像素相加得到单色大像素最终的像素值,仅表示单色大像素包括A、B、C三个色彩分量。处理器30可以根据多个单色大像素的最终的像素值形成一张第一目标图像。
本申请还提供又一种图像处理方法,以适用于上述任一实施方式的图像处理器10。请参阅图30,图像处理方法包括:
05:控制二维像素阵列曝光以获取全色原始图像和彩色原始图像;
06:处理彩色原始图像,对彩色中间图像中的每个彩色像素进行插值处理以获取除该单颜色以外的另外两种颜色的像素值并输出以得到具有第一分辨率的彩色插补图像;
07:处理全色原始图像,对全色中间图像中的每个全色像素进行插值处理以得到具有第一分辨率的全色插补图像;及
08:处理彩色插补图像和全色插补图像以获取目标图像。
请参阅图21,并结合图1及图2,本申请提供一种成像装置100。本申请的图像采集方法可以由成像装置100实现。成像装置100包括图像传感器10、镜头20、及处理器30。其中,步骤05可以由图像传感器10实现。步骤06、步骤07及步骤08可以由处理器30实现。也即是说,图像传感器10可以曝光以获取全色原始图像和彩色原始图像。处理器30可以用于处理彩色原始图像,对彩色中间图像中的每个彩色像素进行插值处理以获取除该单颜色以外的另外两种颜色的像素值并输出以得到具有第一分辨率的彩色插补图像;处理全色原始图像,对全色中间图像中的每个全色像素进行插值处理以得到具有第一分辨率的全色插补图像;及处理彩色插补图像和全色插补图像以获取目标图像。
请参阅图31及图32,并结合图20,其中,步骤05与步骤01完全一致,在此不做赘述。步骤06、步骤07及步骤08,与步骤02、步骤03及步骤04的区别在于:步骤02、步骤03及步骤04通过处理彩色原始图像获取具有大像素的彩色中间图像,处理全色原始图像获取具有大像素的全色中间图像,再处理彩色中间图像和全色中间图像获取目标图像;而步骤06、步骤07及步骤08通过插值处理彩色原始图像获取彩色插补图像,插值处理全色原始图像获取全色插补图像,再处理彩色插补图像和全色插补图像获取目标图像。通过插值处理彩色原始图像获取彩色插补图像的方法及插值处理全色原始图像获取全色插补图像的方法与前述步骤043中通过插值处理获取目标图像的过程类似,在此不做赘述。步骤05至步骤07中不涉及到将一个子单元中的所有像素合成一个单色大像素的过程,因此可以适用于一个子单元中包含至少两种颜色的彩色像素的图像传感器10。
请参阅图31,在某些实施方式中,步骤05:控制二维像素阵列曝光以获取全色原始图像和彩色原始图像,包括:
051:输出所有全色像素的像素值以获取全色原始图像;及
053:输出所有彩色像素的像素值以获取彩色原始图像。
请参阅图21,步骤051和步骤053均可以由图像传感器10实现。也即是说,图像传感器10可以输出所有全色像素的像素值以获取全色原始图像;及输出所有彩色像素的像素值以获取彩色原始图像。
其中,步骤051与步骤011一致,步骤053与步骤013一致,在此不做赘述。
请参阅图33,在某些实施方式中,步骤08:处理彩色插补图像和全色插补图像以获取目标图像,包括:
081:分离彩色插补图像的色彩及亮度以得到具有第一分辨率的色亮分离图像;
082:融合全色插补图像的亮度及色亮分离图像的亮度以得到具有第一分辨率的亮度修正彩色图像;及
083:对亮度修正彩色图像中的每个单色像素进行插值处理以获取除该单颜色以外的另外两种颜色的像素值并输出以得到具有第一分辨率的目标图像。
请参阅图21,步骤081、步骤082及步骤083均可以由处理器30实现。也即是说,处理器30可以用于分离彩色插补图像的色彩及亮度以得到具有第一分辨率的色亮分离图像;融合全色插补图像的亮度及色亮分离图像的亮度以得到具有第一分辨率的亮度修正彩色图像;及对亮度修正彩色图像中的每个单色像素进行插值处理以获取除该单颜色以外的另外两种颜色的像素值并输出以得到具有第一分辨率的目标图像。
其中,步骤081、步骤082、及步骤083的方法与步骤041、步骤042及步骤043的方法类似,步骤083与步骤043一致,步骤081及步骤082与步骤041及步骤042的区别仅在于:步骤041中是分离彩色中间图像的色彩及亮度以得到具有第一分辨率的色亮分离图像,而步骤081中是分离彩色插补图像的色彩及亮度以得到具有第一分辨率的色亮分离图像,仅由彩色中间图像变为彩色插补图像;步骤042中是融合全色中间图像的亮度及色亮分离图像的亮度以得到具有第一分辨率的亮度修正彩色图像,而步骤082中是融合全色插补图像的亮度及色亮分离图像的亮度以得到具有第一分辨率的亮度修正彩色图像,仅由全色中间图像变为全色插补图像。获取色亮分离图像的的方法与前述步骤041中的色亮分离过程类似,在此不做赘述。
请参阅图34,本申请还提供一种终端1000。终端1000可以是手机、平板电脑、笔记本电脑、智能穿戴设备(如智能手表、智能手环、智能眼镜、智能头盔等)、头显设备、虚拟现实设备等等,在此不做限制。终端1000包括壳体200和成像装置100。壳体200和成像装置100结合。需要说明的是,处理器30也可以设置在终端1000上。
本申请实施例中的终端1000中,成像装置100中具有高占比的全色像素W,能够在亮度较低的环境下输出高信噪比的图像。具体地,成像装置100包括图像传感器10,图像传感器10设置有像素阵列,如二维像素阵列。二维像素阵列的最小子单元包括至少一个彩色像素和多个全色像素,每个子单元中的彩色像素与全色像素的数量比小于1,即每个子单元中的全色像素W多于同一子单元内的彩色像素,使全色像素W在二维像素阵列11具有高占比,能够在亮度较低的环境下输出高信噪比的图像。
请参阅图35,本申请还提供一种包含计算机程序的非易失性计算机可读存储介质600,其上存储有计算机程序610。该计算机程序被处理器300执行时,使得处理器300执行步骤01/02/03/04/011/013/031/032/041/042/043/05/06/07/08/051/053/081/082、及083中任意一个实施方式的处理方法。
例如,请参阅图21及图35,计算机程序被处理器300执行时,使得处理器300执行以下步骤:
01:控制二维像素阵列曝光以获取全色原始图像和彩色原始图像;
02:处理彩色原始图像,以将每个子单元的所有像素1101作为与该子单元中单颜色对应的单色大像素,并输出单色大像素的像素值以得到彩色中间图像;
03:处理全色原始图像,将每个子单元的所有像素1101作为全色大像素,并输出全色大像素的像素值以得到全色中间图像,全色中间图像具有第一分辨率;及
04:处理彩色中间图像和全色中间图像以获取目标图像。
计算机可读存储介质600可设置在终端1000内,也可设置在云端服务器内,此时,终端1000能够与云端服务器进行通讯来获取到相应的计算机程序310。
可以理解,计算机程序310包括计算机程序代码。计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读存储介质可以包括:能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、以及软件分发介质等。
处理器300可以是指驱动板。驱动板可以是中央处理单元(Central ProcessingUnit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。需要说明的是,处理器300可以与设置在成像装置100中的处理器30为同一处理器,处理器30也可以与设置在成像装置100中的处理器30不是同一处理器,在此不作限制。
在本说明书的描述中,参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本申请的实施例所属技术领域的技术人员所理解。
尽管上面已经示出和描述了本申请的实施方式,可以理解的是,上述实施方式是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型。

Claims (18)

1.一种图像传感器,包括:
二维像素阵列,包括多个彩色像素和多个全色像素,其中,所述彩色像素具有比所述全色像素更窄的光谱响应;
所述二维像素阵列包括最小重复单元,所述最小重复单元包括第一子单元、两个第二子单元及第三子单元,每个所述子单元均呈M*M阵列,其中M=3,每个所述子单元均包括至少一个彩色像素和多个全色像素,每个所述子单元中的所述彩色像素与所述全色像素的数量比小于1,所述第一子单元中的所述彩色像素均为第一颜色,所述第二子单元中的所述彩色像素均为第二颜色,所述第三子单元中的所述彩色像素均为第三颜色,所述第一颜色、所述第二颜色及所述第三颜色互不相同,每个所述第二子单元中的彩色像素的数量为所述第一子单元中的彩色像素的数量的二分之一,每个所述第二子单元中的彩色像素的数量为所述第三子单元中的彩色像素的数量的二分之一,在所述图像传感器输出目标图像时,所述二维像素阵列曝光以获取全色原始图像和彩色原始图像,处理所述彩色原始图像,以将每个所述子单元的所有像素作为与该子单元中单颜色对应的单色大像素,并输出所述单色大像素的像素值以得到彩色中间图像;处理所述全色原始图像,将每个所述子单元的所有像素作为全色大像素,并输出所述全色大像素的像素值以得到全色中间图像,所述全色中间图像具有第一分辨率;及处理所述彩色中间图像和所述全色中间图像以获取目标图像。
2. 根据权利要求1所述的图像传感器,其特征在于,
所述第一颜色包括红色、绿色、蓝色、品红色、青色、或黄色中任意一种;和/或
所述第二颜色包括红色、绿色、蓝色、品红色、青色、或黄色中任意一种;和/或
所述第三颜色包括红色、绿色、蓝色、品红色、青色、或黄色中任意一种。
3.根据权利要求1所述的图像传感器,其特征在于,在同一个所述最小重复单元中,每个所述子单元中的所述彩色像素的位置与其他所述子单元中的所述彩色像素的位置均对应。
4.根据权利要求1所述的图像传感器,其特征在于,在同一个所述最小重复单元中,每个所述子单元中的所述彩色像素的位置与至少一个其他所述子单元中的所述彩色像素的位置不对应。
5.根据权利要求1所述的图像传感器,其特征在于,在同一个所述最小重复单元中,每个所述子单元中的至少一个所述彩色像素与其他至少一个所述子单元中的至少一个所述彩色像素相邻。
6.根据权利要求1所述的图像传感器,其特征在于,所述第一子单元中的彩色像素均为红色,所述第二子单元中的彩色像素均为里绿色,所述第三子单元中的彩色像素均为蓝色。
7.根据权利要求1所述的图像传感器,其特征在于,所述最小重复单元为6行6列36个像素。
8.一种图像处理方法,用于图像传感器,所述图像传感器包括二维像素阵列,所述二维像素阵列包括多个彩色像素和多个全色像素,所述彩色像素具有比所述全色像素更窄的光谱响应;所述二维像素阵列包括最小重复单元,所述最小重复单元包括第一子单元、两个第二子单元及第三子单元,每个所述子单元均呈M*M阵列,其中M=3,每个所述子单元均包括至少一个彩色像素和多个全色像素,同一个所述子单元中的所述彩色像素的颜色相同每个所述子单元中的所述彩色像素与所述全色像素的数量比小于1,所述第一子单元中的所述彩色像素均为第一颜色,所述第二子单元中的所述彩色像素均为第二颜色,所述第三子单元中的所述彩色像素均为第三颜色,所述第一颜色、所述第二颜色及所述第三颜色互不相同,每个所述第二子单元中的彩色像素的数量为所述第一子单元中的彩色像素的数量的二分之一,每个所述第二子单元中的彩色像素的数量为所述第三子单元中的彩色像素的数量的二分之一;所述图像处理方法包括:
控制所述二维像素阵列曝光以获取全色原始图像和彩色原始图像;
处理所述彩色原始图像,以将每个所述子单元的所有像素作为与该子单元中单颜色对应的单色大像素,并输出所述单色大像素的像素值以得到彩色中间图像;
处理所述全色原始图像,将每个所述子单元的所有像素作为全色大像素,并输出所述全色大像素的像素值以得到全色中间图像,所述全色中间图像具有第一分辨率;及
处理所述彩色中间图像和所述全色中间图像以获取目标图像。
9. 根据权利要求8所述的图像处理方法,其特征在于,所述控制所述二维像素阵列曝光以获取全色原始图像和彩色原始图像,包括:
输出所有所述全色像素的像素值以获取所述全色原始图像;及
输出所有所述彩色像素的像素值以获取所述彩色原始图像。
10. 根据权利要求9所述的图像处理方法,其特征在于,所述处理所述彩色原始图像,以将每个所述子单元的所有像素作为与该子单元中单颜色对应的单色大像素,并输出所述单色大像素的像素值以得到彩色中间图像,包括:
合并每个所述子单元中的所有所述像素的像素值以得到所述单色大像素的像素值;及
根据多个所述单色大像素的像素值形成所述彩色中间图像,所述彩色中间图像具有第一分辨率。
11. 根据权利要求8所述的图像处理方法,其特征在于,所述处理所述彩色原始图像,以将每个所述子单元的所有像素作为与该子单元中单颜色对应的单色大像素,并输出所述单色大像素的像素值以得到彩色中间图像,包括:
合并每个所述子单元中的所有所述像素的像素值以得到所述单色大像素的像素值;及
根据多个所述单色大像素的像素值形成所述彩色中间图像,所述彩色中间图像具有第一分辨率。
12.根据权利要求8所述的图像处理方法,其特征在于,所述处理所述彩色中间图像和所述全色中间图像以获取目标图像,包括:
分离所述彩色中间图像的色彩及亮度以得到具有所述第一分辨率的色亮分离图像;
融合所述全色中间图像的亮度及所述色亮分离图像的亮度以得到具有所述第一分辨率的亮度修正彩色图像;及
对所述亮度修正彩色图像中的每个所述单色大像素进行插值处理以获取除该单颜色以外的另外两种颜色的像素值并输出以得到具有所述第一分辨率的目标图像。
13.一种图像处理方法,用于图像传感器,所述图像传感器包括二维像素阵列,所述二维像素阵列包括多个彩色像素和多个全色像素,所述彩色像素具有比所述全色像素更窄的光谱响应;所述二维像素阵列包括最小重复单元,所述最小重复单元包括第一子单元、两个第二子单元及第三子单元,每个所述子单元均呈M*M阵列,其中M=3,每个所述子单元均包括至少一个彩色像素和多个全色像素,同一个所述子单元中的所述彩色像素的颜色相同,每个所述子单元中的所述彩色像素与所述全色像素的数量比小于1,所述第一子单元中的所述彩色像素均为第一颜色,所述第二子单元中的所述彩色像素均为第二颜色,所述第三子单元中的所述彩色像素均为第三颜色,所述第一颜色、所述第二颜色及所述第三颜色互不相同,每个所述第二子单元中的彩色像素的数量为所述第一子单元中的彩色像素的数量的二分之一,每个所述第二子单元中的彩色像素的数量为所述第三子单元中的彩色像素的数量的二分之一;所述图像处理方法包括:
控制所述二维像素阵列曝光以获取全色原始图像和彩色原始图像;
处理所述彩色原始图像,对所述彩色中间图像中的每个所述彩色像素进行插值处理以获取除该单颜色以外的另外两种颜色的像素值并输出以得到具有第一分辨率的彩色插补图像;
处理所述全色原始图像,对所述全色中间图像中的每个所述全色像素进行插值处理以得到具有第一分辨率的全色插补图像;及
处理所述彩色插补图像和所述全色插补图像以获取目标图像。
14. 根据权利要求13所述的图像处理方法,其特征在于,所述控制所述二维像素阵列曝光以获取全色原始图像和彩色原始图像,包括:
输出所有所述全色像素的像素值以获取所述全色原始图像;及
输出所有所述彩色像素的像素值以获取所述彩色原始图像。
15.根据权利要求14所述的图像处理方法,其特征在于,所述处理所述彩色插补图像和所述全色插补图像以获取目标图像,包括:
分离所述彩色插补图像的色彩及亮度以得到具有第一分辨率的色亮分离图像;
融合所述全色插补图像的亮度及所述色亮分离图像的亮度以得到具有所述第一分辨率的亮度修正彩色图像;及
对所述亮度修正彩色图像中的每个所述单色像素进行插值处理以获取除该单颜色以外的另外两种颜色的像素值并输出以得到具有所述第一分辨率的目标图像。
16. 一种成像装置,其特征在于,包括:
镜头;及
权利要求1-6任意一项所述的图像传感器,所述图像传感器能够接收穿过所述镜头的光线。
17. 一种终端,其特征在于,包括:
壳体;及
权利要求16所述的成像装置,所述成像装置与所述壳体结合。
18.一种包含计算机程序的非易失性计算机可读存储介质,其特征在于,所述计算机程序被处理器执行时,使得所述处理器执行权利要求8至13任意一项所述的处理方法。
CN202011075124.8A 2020-10-09 2020-10-09 图像传感器、图像处理方法、成像装置、终端及可读存储介质 Active CN112235485B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011075124.8A CN112235485B (zh) 2020-10-09 2020-10-09 图像传感器、图像处理方法、成像装置、终端及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011075124.8A CN112235485B (zh) 2020-10-09 2020-10-09 图像传感器、图像处理方法、成像装置、终端及可读存储介质

Publications (2)

Publication Number Publication Date
CN112235485A CN112235485A (zh) 2021-01-15
CN112235485B true CN112235485B (zh) 2023-04-07

Family

ID=74120501

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011075124.8A Active CN112235485B (zh) 2020-10-09 2020-10-09 图像传感器、图像处理方法、成像装置、终端及可读存储介质

Country Status (1)

Country Link
CN (1) CN112235485B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102461175A (zh) * 2009-06-09 2012-05-16 全视科技有限公司 用于四通道彩色滤光片阵列的内插
CN110649056A (zh) * 2019-09-30 2020-01-03 Oppo广东移动通信有限公司 图像传感器、摄像头组件及移动终端
CN111405204A (zh) * 2020-03-11 2020-07-10 Oppo广东移动通信有限公司 图像获取方法、成像装置、电子设备及可读存储介质
CN111464733A (zh) * 2020-05-22 2020-07-28 Oppo广东移动通信有限公司 控制方法、摄像头组件和移动终端
CN111711755A (zh) * 2020-06-28 2020-09-25 Oppo广东移动通信有限公司 图像处理方法及装置、终端和计算机可读存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8274715B2 (en) * 2005-07-28 2012-09-25 Omnivision Technologies, Inc. Processing color and panchromatic pixels
US7688368B2 (en) * 2006-01-27 2010-03-30 Eastman Kodak Company Image sensor with improved light sensitivity
US8203633B2 (en) * 2009-05-27 2012-06-19 Omnivision Technologies, Inc. Four-channel color filter array pattern
CN110784634B (zh) * 2019-11-15 2021-10-29 Oppo广东移动通信有限公司 图像传感器、控制方法、摄像头组件及移动终端
CN111314592B (zh) * 2020-03-17 2021-08-27 Oppo广东移动通信有限公司 图像处理方法、摄像头组件及移动终端

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102461175A (zh) * 2009-06-09 2012-05-16 全视科技有限公司 用于四通道彩色滤光片阵列的内插
CN110649056A (zh) * 2019-09-30 2020-01-03 Oppo广东移动通信有限公司 图像传感器、摄像头组件及移动终端
CN111405204A (zh) * 2020-03-11 2020-07-10 Oppo广东移动通信有限公司 图像获取方法、成像装置、电子设备及可读存储介质
CN111464733A (zh) * 2020-05-22 2020-07-28 Oppo广东移动通信有限公司 控制方法、摄像头组件和移动终端
CN111711755A (zh) * 2020-06-28 2020-09-25 Oppo广东移动通信有限公司 图像处理方法及装置、终端和计算机可读存储介质

Also Published As

Publication number Publication date
CN112235485A (zh) 2021-01-15

Similar Documents

Publication Publication Date Title
CN110649056B (zh) 图像传感器、摄像头组件及移动终端
CN111405204B (zh) 图像获取方法、成像装置、电子设备及可读存储介质
CN111314592B (zh) 图像处理方法、摄像头组件及移动终端
CN110740272B (zh) 图像采集方法、摄像头组件及移动终端
CN111491111B (zh) 高动态范围图像处理系统及方法、电子设备和可读存储介质
CN111479071B (zh) 高动态范围图像处理系统及方法、电子设备和可读存储介质
CN111757006B (zh) 图像获取方法、摄像头组件及移动终端
CN111385543B (zh) 图像传感器、摄像头组件、移动终端及图像获取方法
CN110649057B (zh) 图像传感器、摄像头组件及移动终端
CN110784634B (zh) 图像传感器、控制方法、摄像头组件及移动终端
CN111899178B (zh) 图像处理方法、图像处理系统、电子设备及可读存储介质
CN111050041A (zh) 图像传感器、控制方法、摄像头组件及移动终端
CN111741221B (zh) 图像获取方法、摄像头组件及移动终端
CN114041208A (zh) 图像传感器、摄像头组件及移动终端
CN112738493B (zh) 图像处理方法、图像处理装置、电子设备及可读存储介质
CN111970460B (zh) 高动态范围图像处理系统及方法、电子设备和可读存储介质
CN114008782A (zh) 图像传感器、摄像头组件及移动终端
US20220150450A1 (en) Image capturing method, camera assembly, and mobile terminal
CN111031297B (zh) 图像传感器、控制方法、摄像头组件和移动终端
CN112235485B (zh) 图像传感器、图像处理方法、成像装置、终端及可读存储介质
CN111970461B (zh) 高动态范围图像处理系统及方法、电子设备和可读存储介质
CN111970459B (zh) 高动态范围图像处理系统及方法、电子设备和可读存储介质
CN114008781A (zh) 图像传感器、摄像头组件及移动终端
US20220279108A1 (en) Image sensor and mobile terminal
CN112702543B (zh) 图像处理方法、图像处理系统、电子设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant