CN110740272A - 图像采集方法、摄像头组件及移动终端 - Google Patents

图像采集方法、摄像头组件及移动终端 Download PDF

Info

Publication number
CN110740272A
CN110740272A CN201911051373.0A CN201911051373A CN110740272A CN 110740272 A CN110740272 A CN 110740272A CN 201911051373 A CN201911051373 A CN 201911051373A CN 110740272 A CN110740272 A CN 110740272A
Authority
CN
China
Prior art keywords
pixels
color
panchromatic
image
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911051373.0A
Other languages
English (en)
Other versions
CN110740272B (zh
Inventor
张海裕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201911051373.0A priority Critical patent/CN110740272B/zh
Publication of CN110740272A publication Critical patent/CN110740272A/zh
Application granted granted Critical
Publication of CN110740272B publication Critical patent/CN110740272B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本申请公开了一种图像采集方法、摄像头组件及移动终端。图像采集方法包括：控制全色像素以第一曝光时间多次曝光并输出多帧全色原始图像；控制彩色像素以第二曝光时间曝光并输出至少一帧彩色原始图像，第一曝光时间小于第二曝光时间，且第二曝光时间位于预定曝光时间范围内；融合至少一帧彩色原始图像和多帧全色原始图像以得到目标图像。本申请利用不同色彩的像素具有不同的灵敏度的特性，控制灵敏度较高的像素以较短的第一曝光时间多次曝光，灵敏度较低的像素以大于第一曝光时间且位于预定曝光时间范围内的第二曝光时间曝光，并对两种像素获取的两类图像进行融合处理，得到与长曝光图像中运动物体的模糊效果近似且背景清晰的目标图像。

Description

图像采集方法、摄像头组件及移动终端
技术领域
本申请涉及影像技术领域，特别涉及一种图像采集方法、摄像头组件及移动终端。
背景技术
长曝光时间的静止图像(长曝光图像)已长久地被用于例如在表现运动、平滑运动时创建艺术效果，并且被用于隔离运动的主体及非运动的主体(在运动图像中通常称为背景)。为拍摄运动图像，通常采用长曝光的方式。然而，对于用户而言，在没有三脚架的辅助的情况下，拍摄的运动图像容易出现因抖动导致的背景模糊问题，导致运动图像的品质不高。
发明内容
本申请提供一种图像采集方法、摄像头组件及移动终端。
本申请一个方面提供一种用于图像传感器的图像采集方法。图像传感器包括全色像素及彩色像素，所述彩色像素具有比所述全色像素更窄的光谱响应。图像采集方法包括：控制所述全色像素以第一曝光时间多次曝光并输出多帧全色原始图像；控制所述彩色像素以第二曝光时间曝光并输出至少一帧彩色原始图像，所述第一曝光时间小于所述第二曝光时间，且所述第二曝光时间位于预定曝光时间范围内；融合至少一帧所述彩色原始图像和多帧所述全色原始图像以得到目标图像。
在另一个方面，本申请还提供一种摄像头组件。摄像头组件包括图像传感器及处理芯片。所述图像传感器包括全色像素及彩色像素，所述彩色像素具有比所述全色像素更窄的光谱响应，所述图像传感器中的所述全色像素以第一曝光时间多次曝光并输出多帧全色原始图像，所述彩色像素以第二曝光时间曝光并输出至少一帧彩色原始图像，所述第一曝光时间小于所述第二曝光时间，且所述第二曝光时间位于预定曝光时间范围内；所述处理芯片用于融合至少一帧所述彩色原始图像和多帧所述全色原始图像以得到目标图像。
在又一个方面，本申请还提供一种移动终端。移动终端包括壳体及摄像头组件，所述摄像头组件与所述壳体结合。摄像头组件包括图像传感器及处理芯片。所述图像传感器包括全色像素及彩色像素，所述彩色像素具有比所述全色像素更窄的光谱响应，所述图像传感器中的所述全色像素以第一曝光时间多次曝光并输出多帧全色原始图像，所述彩色像素以第二曝光时间曝光并输出至少一帧彩色原始图像，所述第一曝光时间小于所述第二曝光时间，且所述第二曝光时间位于预定曝光时间范围内；所述处理芯片用于融合至少一帧所述彩色原始图像和多帧所述全色原始图像以得到目标图像。
本申请实施方式的图像采集方法、摄像头组件及移动终端，利用不同色彩的像素具有不同的灵敏度的特性，控制灵敏度较高的像素以较短的第一曝光时间多次曝光，灵敏度较低的像素以大于第一曝光时间且位于预定曝光时间范围内的第二曝光时间曝光，并对两种像素获取的两类图像进行融合处理，得到与长曝光图像中运动物体的模糊效果近似且背景清晰的目标图像。
本申请实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请的上述和/或附加的方面和优点可以从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：
图1是不同色彩通道饱和时间示意图；
图2是是本申请实施方式中图像传感器的示意图；
图3是本申请实施方式中一种像素电路的示意图；
图4是本申请实施方式中像素阵列及曝光控制线连接方式的示意图；
图5是本申请实施方式中像素阵列及选择线连接方式的示意图；
图6是本申请实施方式中一种最小重复单元像素排布的示意图；
图7是本申请实施方式中又一种最小重复单元像素排布的示意图；
图8是本申请实施方式中又一种最小重复单元像素排布的示意图；
图9是本申请实施方式中又一种最小重复单元像素排布的示意图；
图10是本申请实施方式中又一种最小重复单元像素排布的示意图；
图11是本申请实施方式中又一种最小重复单元像素排布的示意图；
图12是本申请实施方式中又一种最小重复单元像素排布的示意图；
图13是本申请实施方式中又一种最小重复单元像素排布的示意图；
图14是本申请实施方式中又一种最小重复单元像素排布的示意图；
图15是本申请实施方式中又一种最小重复单元像素排布的示意图；
图16是本申请实施方式中又一种最小重复单元像素排布的示意图；
图17是本申请实施方式中又一种最小重复单元像素排布的示意图；
图18是本申请实施方式中又一种最小重复单元像素排布的示意图；
图19是本申请实施方式中又一种最小重复单元像素排布的示意图；
图20是本申请实施方式中又一种最小重复单元像素排布的示意图；
图21是本申请实施方式中又一种最小重复单元像素排布的示意图；
图22是本申请某些实施方式的摄像头组件的示意图；
图23是本申请实施方式的图像采集方法的流程示意图；
图24A是本申请实施方式中一种像素曝光过程的示意图；
图24B是本申请实施方式中又一种像素曝光过程的示意图；
图25A是本申请实施方式中又一种像素曝光过程的示意图；
图25B是本申请实施方式中又一种像素曝光过程的示意图；
图26A是本申请实施方式中又一种像素曝光过程的示意图；
图26B是本申请实施方式中又一种像素曝光过程的示意图；
图27A是本申请实施方式中又一种像素曝光过程的示意图；
图27B是本申请实施方式中又一种像素曝光过程的示意图；
图28A是本申请实施方式中又一种像素曝光过程的示意图；
图28B是本申请实施方式中又一种像素曝光过程的示意图；
图29A是本申请实施方式中又一种像素曝光过程的示意图；
图29B是本申请实施方式中又一种像素曝光过程的示意图；
图30是本申请实施方式中又一种像素曝光过程的示意图；
图31是本申请某些实施方式的图像采集方法的流程示意图；
图32是本申请某些实施方式的图像采集方法的流程示意图；
图33是本申请某些实施方式的图像采集方法的流程示意图；
图34是本申请实施方式的图像采集方法的一个原理图；
图35是本申请实施方式的图像采集方法的又一个原理图；
图36是本申请实施方式的图像采集方法的又一个原理图；
图37是本申请某些实施方式的图像采集方法的流程示意图；
图38是本申请实施方式的图像采集方法的又一个原理图；
图39是本申请实施方式的图像采集方法的又一个原理图；
图40是本申请某些实施方式的图像采集方法的流程示意图；
图41是本申请实施方式的图像采集方法的又一个原理图；
图42是本申请实施方式的图像采集方法的又一个原理图；
图43是本申请某些实施方式的移动终端的示意图。
具体实施方式
下面详细描述本申请的实施方式，所述实施方式的示例在附图中示出，其中，相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本申请的实施方式，而不能理解为对本申请的实施方式的限制。
相关技术中，可以通过增长光圈打开的时间的方式来拍摄长曝光图像。但此种拍摄方式中，如果没有三脚架的辅助，则拍摄长曝光图像容易出现因抖动导致的背景模糊等问题，长曝光图像的拍摄质量较低。而携带三脚架十分麻烦，并且在一些拍摄环境狭小的地方三脚架不易放置。
另外，在包含多种色彩的像素的图像传感器中，不同色彩的像素单位时间接收的曝光量不同(即灵敏度不同，单位时间内接收的曝光量更多的像素的灵敏度更高)，在某些色彩饱和后，某些色彩还未曝光到理想的状态。
图1中以RGBW(红、绿、蓝、全色)为例说明。参见图1，图1中横轴为曝光时间、纵轴为曝光量，Q为饱和的曝光量，LW为全色像素W的曝光曲线，LG为绿色像素G的曝光曲线，LR为红色像素R的曝光曲线，LB为蓝色像素的曝光曲线。
从图1中可以看出，全色像素W的曝光曲线LW的斜率最大，也就是说在单位时间内全色像素W可以获得更多的曝光量，在t1时刻即达到饱和。绿色像素G的曝光曲线LG的斜率次之，绿色像素在t2时刻饱和。红色像素R的曝光曲线LR的斜率再次之，红色像素在t3时刻饱和。蓝色像素B的曝光曲线LB的斜率最小，蓝色像素在t4时刻饱和。在t1时刻，全色像素W已经饱和，而R、G、B三种像素曝光还未达到理想状态。
基于现有长曝光图像的拍摄方式的存在的问题，本申请提供了一种图像采集方法、摄像头组件40(图22所示)及移动终端60(图43所示)，利用不同色彩的像素具有不同的灵敏度的特性，控制灵敏度较高的像素以较短的第一曝光时间多次曝光，灵敏度较低的像素以大于第一曝光时间且位于预定曝光时间范围内的第二曝光时间曝光，并对两种像素获取的两类图像进行融合处理，得到与长曝光图像中运动物体的模糊效果近似且背景清晰的目标图像。
接下来首先介绍一下摄像头组件40(图22所示)中的图像传感器10的基本结构。请参阅图2，图2是本申请实施方式中的图像传感器10的示意图。图像传感器10包括像素阵列11、垂直驱动单元12、控制单元13、列处理单元14和水平驱动单元15。
例如，图像传感器10可以采用互补金属氧化物半导体(CMOS，ComplementaryMetal Oxide Semiconductor)感光元件或者电荷耦合元件(CCD，Charge-coupled Device)感光元件。
例如，像素阵列11包括以阵列形式二维排列的多个像素(图2中未示出)，每个像素均包括光电转换元件117(图3所示)。每个像素根据入射在其上的光的强度将光转换为电荷。
例如，垂直驱动单元12包括移位寄存器和地址译码器。垂直驱动单元12包括读出扫描和复位扫描功能。读出扫描是指扫描各行及各列的像素，从这些像素读取信号。例如，被选择并被扫描的像素行中的像素输出的信号被传输到列处理单元14。复位扫描用于复位电荷，光电转换元件117的光电荷被丢弃，从而可以开始新的光电荷的积累。
例如，由列处理单元14执行的信号处理是相关双采样(CDS)处理。在CDS处理中，取出从所选像素行中的每一像素输出的复位电平和信号电平，并且计算电平差。因而，获得了一行中的像素的信号。列处理单元14可以具有用于将模拟像素信号转换为数字格式的模数(A/D)转换功能。
例如，水平驱动单元15包括移位寄存器和地址译码器。水平驱动单元15按预定规则扫描像素阵列11。通过水平驱动单元15执行的选择扫描操作，每一像素列被列处理单元14处理，并且被输出。
例如，控制单元13根据操作模式配置时序信号，利用多种时序信号来控制垂直驱动单元13、列处理单元14和水平驱动单元15协同工作。
图3是本申请实施方式中一种像素电路110的示意图。图3中像素电路110应用在图2的每个像素中。下面结合图2和图3对像素电路110的工作原理进行说明。
如图3所示，像素电路110包括光电转换元件117(例如，光电二极管PD)、曝光控制电路116(例如，转移晶体管112)、复位电路(例如，复位晶体管113)、放大电路(例如，放大晶体管114)和选择电路(例如，选择晶体管115)。在本申请的实施例中，转移晶体管112、复位晶体管113、放大晶体管114和选择晶体管115例如是MOS管，但不限于此。
例如，参见图2和图3，转移晶体管112的栅极TG通过曝光控制线(图4所示)连接垂直驱动单元12；复位晶体管113的栅极RG通过复位控制线(图中未示出)连接垂直驱动单元12；选择晶体管115的栅极SEL通过选择线(图5所示)连接垂直驱动单元12。每个像素电路110中的曝光控制电路116(例如，转移晶体管112)与光电转换元件117电连接，用于转移光电转换元件117经光照后积累的电势。例如，光电转换元件117包括光电二极管PD，光电二极管PD的阳极例如连接到地。光电二极管PD将所接收的光转换为电荷。光电二极管PD的阴极经由曝光控制电路116(例如，转移晶体管112)连接到浮动扩散单元FD。浮动扩散单元FD与放大晶体管114的栅极、复位晶体管113的源极连接。
例如，曝光控制电路116为转移晶体管112，曝光控制电路116的控制端TG为转移晶体管112的栅极。当有效电平(例如，VPIX电平)的脉冲通过曝光控制线传输到转移晶体管112的栅极时，转移晶体管112导通。转移晶体管112将光电二极管PD光电转换的电荷传输到浮动扩散单元FD。
例如，复位晶体管113的漏极连接到像素电源VPIX。复位晶体管113的源极连接到浮动扩散单元FD。在电荷被从光电二极管PD转移到浮动扩散单元FD之前，有效复位电平的脉冲经由复位控制线传输到复位晶体管113的栅极，复位晶体管113导通。复位晶体管113将浮动扩散单元FD复位到像素电源VPIX。
例如，放大晶体管114的栅极连接到浮动扩散单元FD。放大晶体管114的漏极连接到像素电源VPIX。在浮动扩散单元FD被复位晶体管113复位之后，放大晶体管114经由选择晶体管115通过输出端OUT输出复位电平。在光电二极管PD的电荷被转移晶体管112转移之后，放大晶体管114经由选择晶体管115通过输出端OUT输出信号电平。
例如，选择晶体管115的漏极连接到放大晶体管114的源极。选择晶体管115的源极通过输出端OUT连接到图2中的列处理单元14。当有效电平的脉冲通过选择线被传输到选择晶体管115的栅极时，选择晶体管115导通。放大晶体管114输出的信号通过选择晶体管115传输到列处理单元14。
需要说明的是，本申请实施例中像素电路110的像素结构并不限于图3所示的结构。例如，像素电路110可以具有三晶体管像素结构，其中放大晶体管114和选择晶体管115的功能由一个晶体管完成。例如，曝光控制电路116也不局限于单个转移晶体管112的方式，其它具有控制端控制导通功能的电子器件或结构均可以作为本申请实施例中的曝光控制电路，单个转移晶体管112的实施方式简单、成本低、易于控制。
图4是本申请一个实施例的像素阵列11及曝光控制线连接方式的示意图。像素阵列11为二维像素阵列。二维像素阵列包括多个全色像素和多个彩色像素，其中，彩色像素具有比全色像素更窄的光谱响应。像素阵列11中的像素排布为如下方式：
需要说明的是，为了方便图示说明，图4中仅示出了像素阵列11中的部分像素，周边其它像素及连线以省略号“……”代替。
如图4所示，像素1101、1103、1106、1108、1111、1113、1116、及1118为全色像素W，像素1102、1105为第一颜色像素A(例如红色像素R)，像素1104、1107、1112、1115为第二颜色像素B(例如绿色像素G)，像素1114、1117为第三颜色像素C(例如蓝色像素Bu)。从图4中可以看出，全色像素W(像素1101、1103、1106和1108)中曝光控制电路的控制端TG与一条第一曝光控制线TX1连接，全色像素W(1111、1113、1116、和1118)中曝光控制电路的控制端TG与另一条第一曝光控制线TX1连接；第一颜色像素A(像素1102和1105)中曝光控制电路的控制端TG、第二颜色像素B(像素1104、1107)中曝光控制电路的控制端TG与一条第二曝光控制线TX2连接，第二颜色像素B(像素1112、1115)中曝光控制电路的控制端TG、第三颜色像素C(像素1114、1117)中曝光控制电路的控制端TG与另一条第二曝光控制线TX2连接。每条第一曝光控制线TX1可通过第一曝光控制信号控制全色像素的曝光时长；每条第二曝光控制线TX2可通过第二曝光控制信号控制彩色像素(例如第一颜色像素A和第二颜色像素B、第二颜色像素B和第三颜色像素C)的曝光时长。由此可实现全色像素和彩色像素曝光时长的独立控制。例如，可以实现在全色像素一次曝光结束时，彩色像素继续曝光，以达到理想的成像效果。
请参考图2和图4，第一曝光控制线TX1和第二曝光控制线TX2与图2中的垂直驱动单元12连接，将垂直驱动单元12中相应的曝光控制信号传输到像素阵列11中像素的曝光控制电路的控制端TG。
可以理解的是，由于像素阵列11中有多个像素行组，垂直驱动单元12连接多条第一曝光控制线TX1和多条第二曝光控制线TX2。多条第一曝光控制线TX1和多条第二曝光控制线TX2对应于相应的像素行组。
例如，第一条第一曝光控制线TX1对应第一行和第二行中的全色像素；第二条第一曝光控制线TX1对应第三行和第四行中的全色像素，以此类推，第三条第一曝光控制线TX1对应第五行和第六行中的全色像素；第四条第一曝光控制线TX1对应第七行和第八行中的全色像素，再往下的第一曝光控制线TX1与再往下行的全色像素的对应关系不再赘述。不同第一曝光控制线TX1传输的信号时序也会有所不同，该信号时序由垂直驱动单元12配置。
例如，第一条第二曝光控制线TX2对应第一行和第二行中的彩色像素；第二条第二曝光控制线TX2对应第三行和第四行中的彩色像素，以此类推，第三条第二曝光控制线TX2对应第五行和第六行中的彩色像素；第四条第二曝光控制线TX2对应第七行和第八行中的彩色像素，再往下的第二曝光控制线TX2与再往下行的彩色像素的对应关系不再赘述。不同第二曝光控制线TX2传输的信号时序也会有所不同，该信号时序也由垂直驱动单元12配置。
图5是本申请一个实施例的像素阵列11及选择线连接方式的示意图。图5的像素阵列11的排布与图4的像素阵列11的排布类似，在此不再赘述。从图5中可以看出，全色像素W(像素1101、1103、1106和1108)中选择电路的选择端SEL与一条第一选择线SEL1连接，全色像素W(1111、1113、1116、和1118)中选择电路的选择端SEL与另一条第一选择线SEL1连接；第一颜色像素A(像素1102和1105)中选择电路的选择端SEL、第二颜色像素B(像素1104、1107)中选择电路的选择端SEL与一条第二选择线SEL2连接，第二颜色像素B(像素1112、1115)中选择电路的选择端SEL、第三颜色像素C(像素1114、1117)中选择电路的选择端SEL与另一条第二选择线SEL2连接。每条第一选择线SEL1可通过第一选择信号控制全色像素的输出端输出信号电平；每条第二选择线SEL2可控制彩色像素(例如第一颜色像素A和第二颜色像素B、第二颜色像素B和第三颜色像素C)的输出端输出信号电平。由此可实现全色像素和彩色像素输出信号电平的独立控制，使得全色像素输出全色原始图像，彩色像素输出彩色原始图像。
图6至图21示出了多种图像传感器10(图2所示)中像素排布的示例。参见图2、及图6至图21，图像传感器10包括由多个彩色像素(例如多个第一颜色像素A、多个第二颜色像素B和多个第三颜色像素C)和多个全色像素W组成的二维像素阵列(也即图4所示的像素阵列11)。其中，彩色像素具有比全色像素更窄的光谱响应。彩色像素的响应光谱例如为全色像素W响应光谱中的部分。二维像素阵列包括最小重复单元(图6至图21示出了多种图像传感器10中像素最小重复单元的示例)，二维像素阵列由多个最小重复单元组成，最小重复单元在行和列上复制并排列。在最小重复单元中，全色像素W设置在第一对角线方向D1，彩色像素设置在第二对角线方向D2，第一对角线方向D1与第二对角线方向D2不同。第一对角线方向D1相邻的至少两个全色像素的第一曝光时间由第一曝光信号控制，第二对角线方向D2相邻的至少两个彩色像素的第二曝光时间由第二曝光信号控制，从而实现全色像素曝光时间和彩色像素曝光时间的独立控制。第一对角线方向D1相邻的至少两个全色像素的输出由第一选择信号控制，第二对角线方向D2相邻的至少两个彩色像素的输出由第二选择信号控制，从而实现全色像素输出信号电平和彩色像素输出信号电平的独立控制。每个最小重复单元均包括多个子单元，每个子单元包括多个单颜色像素(例如多个第一颜色像素A、多个第二颜色像素B或多个第三颜色像素C)和多个全色像素W。例如，请结合图3和图4，像素1101-1108及像素1111-1118组成一个最小重复单元，其中，像素1101、1103、1106、1108、1111、1113、1116、1118为全色像素，像素1102、1104、1105、1107、1112、1114、1115、1117为彩色像素。像素1101、1102、1105、1106组成一个子单元，其中，像素1101、1106为全色像素，像素1102、1105为单颜色像素(例如为第一颜色像素A)；像素1103、1104、1107、1108组成一个子单元，其中，像素1103、1108为全色像素，像素1104、1107为单颜色像素(例如为第二颜色像素B)；像素1111、1112、1115、1116组成一个子单元，其中，像素1111、1116为全色像素，像素1112、1115为单颜色像素(例如为第二颜色像素B)；像素1113、1114、1117、1118组成一个子单元，其中，像素1113、1118为全色像素，像素1114、1117为单颜色像素(例如为第三颜色像素C)。
例如，最小重复单元行和列的像素数量相等。例如最小重复单元包括但不限于，4行4列、6行6列、8行8列、10行10列的最小重复单元。例如，最小重复单元中的子单元行和列的像素数量相等。例如，子单元包括但不限于，2行2列、3行3列、4行4列、5行5列的子单元。这种设置有助于均衡行和列方向图像的分辨率和均衡色彩表现，提高显示效果。
例如，图6是本申请实施方式中一种最小重复单元1181像素排布的示意图；最小重复单元为4行4列16个像素，子单元为2行2列4个像素，排布方式为：
Figure BDA0002255405020000061
W表示全色像素；A表示多个彩色像素中的第一颜色像素；B表示多个彩色像素中的第二颜色像素；C表示多个彩色像素中的第三颜色像素。
例如，如图6所示，全色像素W设置在第一对角线方向D1(即图6中左上角和右下角连接的方向)，彩色像素设置在第二对角线方向D2(例如图6中左下角和右上角连接的方向)，第一对角线方向D1与第二对角线方向D2不同。例如，第一对角线和第二对角线垂直。第一对角线方向D1相邻的至少两个全色像素W(例如，从左上方起第一行第一列和第二行第二列的两个全色像素)的第一曝光时间由第一曝光信号控制，第二对角线方向D2相邻的至少两个彩色像素(例如，从左上方起第四行第一列和第三行第二列的两个彩色像素B)的第二曝光时间由第二曝光信号控制。第一对角线方向D1相邻的至少两个全色像素W的输出由第一选择信号控制，第二对角线方向D2相邻的至少两个彩色像素的输出由第二选择信号控制。
需要说明的是，第一对角线方向D1和第二对角线方向D2并不局限于对角线，还包括平行于对角线的方向，例如图4中，全色像素1101、1106、1113、及1118设置在第一对角线方向D1，全色像素1103及1108也设置在第一对角线方向D1，全色像素1111及1116也设置在第一对角线方向D1；第二颜色像素1104、1107、1112、及1115设置在第二对角线方向D2，第一颜色像素1102及1105也设置在第二对角线方向D2，第三颜色像素1114及1117也设置在第二对角线方向D2，下文图7至图21中对第一对角线方向D1及第二对角线方向D2的解释与此处相同。这里的“方向”并非单一指向，可以理解为指示排布的“直线”的概念，可以有直线两端的双向指向。
需要理解的是，此处以及下文中的术语“上”、“下”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。
例如，如图6所示，第一行和第二行的全色像素由呈“W”型的第一曝光控制线TX1连接在一起，以实现全色像素曝光时间的单独控制。第一行和第二行的彩色像素(A和B)由呈“W”型的第二曝光控制线TX2连接在一起，以实现彩色像素曝光时间的单独控制。第三行和第四行的全色像素由呈“W”型的第一曝光控制线TX1连接在一起，以实现全色像素曝光时间的单独控制。第三行和第四行的彩色像素(B和C)由呈“W”型的第二曝光控制线TX2连接在一起，以实现彩色像素曝光时间的单独控制。例如，第一曝光信号经由第一曝光控制线TX1传输，第二曝光信号经由第二曝光控制线TX2传输。例如，第一曝光控制线TX1呈“W”型，与相邻两行的全色像素中曝光控制电路的控制端电连接；第二曝光控制线TX2呈“W”型，与相邻两行的彩色像素中曝光控制电路的控制端电连接。具体连接方式可参见前述图3和图4相关部分关于连接和像素电路的描述。
需要说明的是，第一曝光控制线TX1和第二曝光控制线TX2呈“W”型并不是指物理上走线必须严格按照“W”型设置，只需连接方式对应于全色像素和彩色像素的排布即可。例如，“W”型曝光控制线的设置对应“W”型的像素排布方式，这种设置方式走线简单，像素排布的解像力、色彩都有较好的效果，以低成本实现全色像素曝光时间和彩色像素曝光时间的独立控制。
同样地，如图6所示，第一行和第二行的全色像素由呈“W”型的第一选择线SEL1连接在一起，以实现全色像素的输出的单独控制。第一行和第二行的彩色像素(A和B)由呈“W”型的第二选择线SEL2连接在一起，以实现彩色像素的输出的单独控制。第三行和第四行的全色像素由呈“W”型的第一选择线SEL1连接在一起，以实现全色像素的输出的单独控制。第三行和第四行的彩色像素(B和C)由呈“W”型的第二选择线SEL2连接在一起，以实现彩色像素的输出的单独控制。例如，第一选择信号经由第一选择线SEL1传输，第二曝光信号经由第二选择线SEL2传输。例如，第一选择线SEL1呈“W”型，与相邻两行的全色像素中选择电路的选择端电连接；第二选择线SEL2呈“W”型，与相邻两行的彩色像素中选择电路的选择端电连接。具体连接方式可参见前述图3和图5相关部分关于连接和像素电路的描述。
需要说明的是，第一选择线SEL1和第二选择线SEL2呈“W”型并不是指物理上走线必须严格按照“W”型设置，只需连接方式对应于全色像素和彩色像素的排布即可。例如，“W”型选择线的设置对应“W”型的像素排布方式，这种设置方式走线简单，像素排布的解像力、色彩都有较好的效果，以低成本实现全色像素的输出和彩色像素的输出的独立控制。
例如，图7是本申请实施方式中又一种最小重复单元1182像素排布的示意图。最小重复单元为4行4列16个像素，子单元为2行2列4个像素，排布方式为：
W表示全色像素；A表示多个彩色像素中的第一颜色像素；B表示多个彩色像素中的第二颜色像素；C表示多个彩色像素中的第三颜色像素。
例如，如图7所示，全色像素W设置在第一对角线方向D1(即图7中右上角和左下角连接的方向)，彩色像素设置在第二对角线方向D2(例如图7中左上角和右下角连接的方向)。例如，第一对角线和第二对角线垂直。第一对角线方向D1相邻的至少两个全色像素W(例如，从左上方起第一行第二列和第二行第一列的两个全色像素)的第一曝光时间由第一曝光信号控制，第二对角线方向相邻的至少两个彩色像素(例如，从左上方起第一行第一列和第二行第二列的两个彩色像素A)的第二曝光时间由第二曝光信号控制。第一对角线方向D1相邻的至少两个全色像素W的输出由第一选择信号控制，第二对角线方向D2相邻的至少两个彩色像素的输出由第二选择信号控制。
例如，如图7所示，第一行和第二行的全色像素由呈“W”型的第一曝光控制线TX1连接在一起，以实现全色像素曝光时间的单独控制。第一行和第二行的彩色像素(A和B)由呈“W”型的第二曝光控制线TX2连接在一起，以实现彩色像素曝光时间的单独控制。第三行和第四行的全色像素由呈“W”型的第一曝光控制线TX1连接在一起，以实现全色像素曝光时间的单独控制。第三行和第四行的彩色像素(B和C)由呈“W”型的第二曝光控制线TX2连接在一起，以实现彩色像素曝光时间的单独控制。
同样地，如图7所示，第一行和第二行的全色像素由呈“W”型的第一选择线SEL1连接在一起，以实现全色像素的输出的单独控制。第一行和第二行的彩色像素(A和B)由呈“W”型的第二选择线SEL2连接在一起，以实现彩色像素的输出的单独控制。第三行和第四行的全色像素由呈“W”型的第一选择线SEL1连接在一起，以实现全色像素的输出的单独控制。第三行和第四行的彩色像素(B和C)由呈“W”型的第二选择线SEL2连接在一起，以实现彩色像素的输出的单独控制。
例如，图8是本申请实施方式中又一种最小重复单元1183像素排布的示意图。图9是本申请实施方式中又一种最小重复单元1184像素排布的示意图。在图8和图9的实施例中，分别对应图6和图7的排布方式，第一颜色像素A为红色像素R；第二颜色像素B为绿色像素G；第三颜色像素C为蓝色像素Bu。
需要说明的是，在一些实施例中，全色像素W的响应波段为可见光波段(例如，400nm-760nm)。例如，全色像素W上设置有红外滤光片，以实现红外光的滤除。在一些实施例中，全色像素W的响应波段为可见光波段和近红外波段(例如，400nm-1000nm)，与图像传感器10中的光电转换元件117(例如光电二极管PD)响应波段相匹配。例如，全色像素W可以不设置滤光片，全色像素W的响应波段由光电二极管的响应波段确定，即两者相匹配。本申请的实施例包括但不局限于上述波段范围。
例如，图10是本申请实施方式中又一种最小重复单元1185像素排布的示意图。图11是本申请实施方式中又一种最小重复单元1186像素排布的示意图。在图10和图11的实施例中，分别对应图6和图7的排布方式，第一颜色像素A为红色像素R；第二颜色像素B为黄色像素Y；第三颜色像素C为蓝色像素Bu。
例如，图12是本申请实施方式中又一种最小重复单元1187像素排布的示意图。图13是本申请实施方式中又一种最小重复单元1188像素排布的示意图。在图12和图13的实施例中，分别对应图6和图7的排布方式，第一颜色像素A为品红色像素M；第二颜色像素B为青色像素Cy；第三颜色像素C为黄色像素Y。
例如，图14是本申请实施方式中又一种最小重复单元1191像素排布的示意图。最小重复单元为6行6列36个像素，子单元为3行3列9个像素，排布方式为：
Figure BDA0002255405020000081
W表示全色像素；A表示多个彩色像素中的第一颜色像素；B表示多个彩色像素中的第二颜色像素；C表示多个彩色像素中的第三颜色像素。
例如，如图14所示，第一行和第二行的全色像素由呈“W”型的第一曝光控制线TX1连接在一起，以实现全色像素曝光时间的单独控制。第一行和第二行的彩色像素(A和B)由呈“W”型的第二曝光控制线TX2连接在一起，以实现彩色像素曝光时间的单独控制。第三行和第四行的全色像素由呈“W”型的第一曝光控制线TX1连接在一起，以实现全色像素曝光时间的单独控制。第三行和第四行的彩色像素(A、B和C)由呈“W”型的第二曝光控制线TX2连接在一起，以实现彩色像素曝光时间的单独控制。第五行和第六行的全色像素由呈“W”型的第一曝光控制线TX1连接在一起，以实现全色像素曝光时间的单独控制。第五行和第六行的彩色像素(B和C)由呈“W”型的第二曝光控制线TX2连接在一起，以实现彩色像素曝光时间的单独控制。
同样地，如图14所示，第一行和第二行的全色像素由呈“W”型的第一选择线SEL1连接在一起，以实现全色像素输出的单独控制。第一行和第二行的彩色像素(A和B)由呈“W”型的第二选择线SEL2连接在一起，以实现彩色像素输出的单独控制。第三行和第四行的全色像素由呈“W”型的第一选择线SEL1连接在一起，以实现全色像素输出的单独控制。第三行和第四行的彩色像素(A、B和C)由呈“W”型的第二选择线SEL2连接在一起，以实现彩色像素输出的单独控制。第五行和第六行的全色像素由呈“W”型的第一选择线SEL1连接在一起，以实现全色像素输出的单独控制。第五行和第六行的彩色像素(B和C)由呈“W”型的第二选择线SEL2连接在一起，以实现彩色像素输出的单独控制。
例如，图15是本申请实施方式中又一种最小重复单元1192像素排布的示意图。最小重复单元为6行6列36个像素，子单元为3行3列9个像素，排布方式为：
Figure BDA0002255405020000082
W表示全色像素；A表示多个彩色像素中的第一颜色像素；B表示多个彩色像素中的第二颜色像素；C表示多个彩色像素中的第三颜色像素。
例如，如图15所示，第一行和第二行的全色像素由呈“W”型的第一曝光控制线TX1连接在一起，以实现全色像素曝光时间的单独控制。第一行和第二行的彩色像素(A和B)由呈“W”型的第二曝光控制线TX2连接在一起，以实现彩色像素曝光时间的单独控制。第三行和第四行的全色像素由呈“W”型的第一曝光控制线TX1连接在一起，以实现全色像素曝光时间的单独控制。第三行和第四行的彩色像素(A、B和C)由呈“W”型的第二曝光控制线TX2连接在一起，以实现彩色像素曝光时间的单独控制。第五行和第六行的全色像素由呈“W”型的第一曝光控制线TX1连接在一起，以实现全色像素曝光时间的单独控制。第五行和第六行的彩色像素(B和C)由呈“W”型的第二曝光控制线TX2连接在一起，以实现彩色像素曝光时间的单独控制。
同样地，如15所示，第一行和第二行的全色像素由呈“W”型的第一选择线SEL1连接在一起，以实现全色像素输出的单独控制。第一行和第二行的彩色像素(A和B)由呈“W”型的第二选择线SEL2连接在一起，以实现彩色像素输出的单独控制。第三行和第四行的全色像素由呈“W”型的第一选择线SEL1连接在一起，以实现全色像素输出的单独控制。第三行和第四行的彩色像素(A、B和C)由呈“W”型的第二选择线SEL2连接在一起，以实现彩色像素输出的单独控制。第五行和第六行的全色像素由呈“W”型的第一选择线SEL1连接在一起，以实现全色像素输出的单独控制。第五行和第六行的彩色像素(B和C)由呈“W”型的第二选择线SEL2连接在一起，以实现彩色像素输出的单独控制。
例如，图16是本申请实施方式中又一种最小重复单元1193像素排布的示意图。图17是本申请实施方式中又一种最小重复单元1194像素排布的示意图。在图16和图17的实施例中，分别对应图14和图15的排布方式，第一颜色像素A为红色像素R；第二颜色像素B为绿色像素G；第三颜色像素C为蓝色像素Bu。
例如，在其它实施方式中，第一颜色像素A为红色像素R；第二颜色像素B为黄色像素Y；第三颜色像素C为蓝色像素Bu。例如，在其它实施方式中，第一颜色像素A为品红色像素M；第二颜色像素B为青色像素Cy；第三颜色像素C为黄色像素Y。本申请的实施例包括但不局限于此。电路具体连接方式参见上文说明，在此不再赘述。
例如，图18是本申请实施方式中又一种最小重复单元1195像素排布的示意图。最小重复单元为8行8列64个像素，子单元为4行4列16个像素，排布方式为：
Figure BDA0002255405020000091
W表示全色像素；A表示多个彩色像素中的第一颜色像素；B表示多个彩色像素中的第二颜色像素；C表示多个彩色像素中的第三颜色像素。
例如，如图18所示，第一行和第二行的全色像素由呈“W”型的第一曝光控制线TX1连接在一起，以实现全色像素曝光时间的单独控制。第一行和第二行的彩色像素(A和B)由呈“W”型的第二曝光控制线TX2连接在一起，以实现彩色像素曝光时间的单独控制。第三行和第四行的全色像素由呈“W”型的第一曝光控制线TX1连接在一起，以实现全色像素曝光时间的单独控制。第三行和第四行的彩色像素(A和B)由呈“W”型的第二曝光控制线TX2连接在一起，以实现彩色像素曝光时间的单独控制。第五行和第六行的全色像素由呈“W”型的第一曝光控制线TX1连接在一起，以实现全色像素曝光时间的单独控制。第五行和第六行的彩色像素(B和C)由呈“W”型的第二曝光控制线TX2连接在一起，以实现彩色像素曝光时间的单独控制。第七行和第八行的全色像素由呈“W”型的第一曝光控制线TX1连接在一起，以实现全色像素曝光时间的单独控制。第七行和第八行的彩色像素(B和C)由呈“W”型的第二曝光控制线TX2连接在一起，以实现彩色像素曝光时间的单独控制。
同样地，如图18所示，第一行和第二行的全色像素由呈“W”型的第一选择线SEL1连接在一起，以实现全色像素输出的单独控制。第一行和第二行的彩色像素(A和B)由呈“W”型的第二选择线SEL2连接在一起，以实现彩色像素输出的单独控制。第三行和第四行的全色像素由呈“W”型的第一选择线SEL1连接在一起，以实现全色像素输出的单独控制。第三行和第四行的彩色像素(A和B)由呈“W”型的第二选择线SEL2连接在一起，以实现彩色像素输出的单独控制。第五行和第六行的全色像素由呈“W”型的第一选择线SEL1连接在一起，以实现全色像素输出的单独控制。第五行和第六行的彩色像素(B和C)由呈“W”型的第二选择线SEL2连接在一起，以实现彩色像素输出的单独控制。第七行和第八行的全色像素由呈“W”型的第一选择线SEL1连接在一起，以实现全色像素输出的单独控制。第七行和第八行的彩色像素(B和C)由呈“W”型的第二选择线SEL2连接在一起，以实现彩色像素输出的单独控制。
例如，图19是本申请实施方式中又一种最小重复单元1196像素排布的示意图。最小重复单元为8行8列64个像素，子单元为4行4列16个像素，排布方式为：
W表示全色像素；A表示多个彩色像素中的第一颜色像素；B表示多个彩色像素中的第二颜色像素；C表示多个彩色像素中的第三颜色像素。
例如，如图19所示，第一行和第二行的全色像素由呈“W”型的第一曝光控制线TX1连接在一起，以实现全色像素曝光时间的单独控制。第一行和第二行的彩色像素(A和B)由呈“W”型的第二曝光控制线TX2连接在一起，以实现彩色像素曝光时间的单独控制。第三行和第四行的全色像素由呈“W”型的第一曝光控制线TX1连接在一起，以实现全色像素曝光时间的单独控制。第三行和第四行的彩色像素(A和B)由呈“W”型的第二曝光控制线TX2连接在一起，以实现彩色像素曝光时间的单独控制。第五行和第六行的全色像素由呈“W”型的第一曝光控制线TX1连接在一起，以实现全色像素曝光时间的单独控制。第五行和第六行的彩色像素(B和C)由呈“W”型的第二曝光控制线TX2连接在一起，以实现彩色像素曝光时间的单独控制。第七行和第八行的全色像素由呈“W”型的第一曝光控制线TX1连接在一起，以实现全色像素曝光时间的单独控制。第七行和第八行的彩色像素(B和C)由呈“W”型的第二曝光控制线TX2连接在一起，以实现彩色像素曝光时间的单独控制。
同样地，如图19所示，第一行和第二行的全色像素由呈“W”型的第一选择线SEL1连接在一起，以实现全色像素输出的单独控制。第一行和第二行的彩色像素(A和B)由呈“W”型的第二选择线SEL2连接在一起，以实现彩色像素输出的单独控制。第三行和第四行的全色像素由呈“W”型的第一选择线SEL1连接在一起，以实现全色像素输出的单独控制。第三行和第四行的彩色像素(A和B)由呈“W”型的第二选择线SEL2连接在一起，以实现彩色像素输出的单独控制。第五行和第六行的全色像素由呈“W”型的第一选择线SEL1连接在一起，以实现全色像素输出的单独控制。第五行和第六行的彩色像素(B和C)由呈“W”型的第二选择线SEL2连接在一起，以实现彩色像素输出的单独控制。第七行和第八行的全色像素由呈“W”型的第一选择线SEL1连接在一起，以实现全色像素输出的单独控制。第七行和第八行的彩色像素(B和C)由呈“W”型的第二选择线SEL2连接在一起，以实现彩色像素输出的单独控制。
例如，图20是本申请实施方式中又一种最小重复单元1197像素排布的示意图。图21是本申请实施方式中又一种最小重复单元1198像素排布的示意图。在图20和图21的实施例中，分别对应图18和图19的排布方式，第一颜色像素A为红色像素R；第二颜色像素B为绿色像素G；第三颜色像素C为蓝色像素Bu。
例如，在其它实施方式中，第一颜色像素A为红色像素R；第二颜色像素B为黄色像素Y；第三颜色像素C为蓝色像素Bu。例如，第一颜色像素A为品红色像素M；第二颜色像素B为青色像素Cy；第三颜色像素C为黄色像素Y。本申请的实施例包括但不局限于此。电路具体连接方式参见上文说明，在此不再赘述。
从上述实施例中可以看出，如图6至图21所示，图像传感器10(图2所示)包括矩阵排布的多个彩色像素和多个全色像素W，彩色像素和全色像素在行和列的方向上均间隔排布。
例如，在行的方向上依次交替设置全色像素、彩色像素、全色像素、彩色像素……
例如，在列的方向上依次交替设置全色像素、彩色像素、全色像素、彩色像素……
请结合图3及图4，第一曝光控制线TX1与第2n-1行和第2n行的全色像素W中曝光控制电路116的控制端TG(例如，转移晶体管112的栅极)电连接；第二曝光控制线TX2与第2n-1行和第2n行的彩色像素中曝光控制电路116的控制端TG(例如，转移晶体管112的栅极)电连接；n为大于等于1的自然数。
例如，当n＝1时，第一曝光控制线TX1与第1行和第2行的全色像素W中曝光控制电路116的控制端TG电连接；第二曝光控制线TX2与第1行和第2行的彩色像素中曝光控制电路116的控制端TG电连接。当n＝2时，第一曝光控制线TX1与第3行和第4行的全色像素W中曝光控制电路116的控制端TG电连接；第二曝光控制线TX2与第3行和第4行的彩色像素中曝光控制电路116的控制端TG电连接。以此类推，在此不再赘述。
同样地，请结合图5，第一选择线SEL1与第2n-1行和第2n行的全色像素W中选择电路的选择端SEL(例如，选择晶体管115的栅极)电连接；第二选择线SEL2与第2n-1行和第2n行的彩色像素中选择电路的控制端SEL(例如，选择晶体管115的栅极)电连接；n为大于等于1的自然数。
例如，当n＝1时，第一选择线SEL1与第1行和第2行的全色像素W中选择电路的选择端SEL电连接；第二选择线SEL2与第1行和第2行的彩色像素中选择电路的选择端SEL电连接。当n＝2时，第一选择线SEL1与第3行和第4行的全色像素W中选择电路的选择端SEL电连接；第二选择线SEL2与第3行和第4行的彩色像素中选择电路的选择端SEL电连接。以此类推，在此不再赘述。
请参阅图22，本申请提供一种摄像头组件40。摄像头组件40包括上述任意一项实施方式所述的图像传感器10、处理芯片20及镜头30。图像传感器10与处理芯片20电连接。镜头30设置在图像传感器10的光路上。图像传感器10可以接收穿过镜头30的光线以获取原始图像。处理芯片20可以接收图像传感器10输出的原始图像，并对原始图像做后续处理。
本申请还提供一种可以应用于图22的摄像头组件40的图像采集方法。如图23所示，图像采集方法包括：
01：控制全色像素以第一曝光时间多次曝光并输出多帧全色原始图像；
02：控制彩色像素以第二曝光时间曝光并输出至少一帧彩色原始图像，第一曝光时间小于第二曝光时间，且第二曝光时间位于预定曝光时间范围内；及
03：融合至少一帧彩色原始图像和多帧全色原始图像以得到目标图像。
请参阅图22和图23，本申请的图像采集方法可以由摄像头组件40实现。其中，步骤01及步骤02可以由图像传感器10实现。步骤03可以由处理芯片20实现。也即是说，图像传感器10中的全色像素可以以第一曝光时间多次曝光并输出多帧全色原始图像，彩色像素可以以第二曝光时间曝光并输出至少一帧彩色原始图像，其中，第一曝光时间小于第二曝光时间，且第二曝光时间位于预定曝光时间范围内。处理芯片20可以用于融合至少一帧彩色原始图像和多帧全色原始图像以得到目标图像。
其中，预定曝光时间表示的是彩色像素正常曝光一次(一次曝光对应一帧彩色原始图像)所需要的时间。彩色像素的第二曝光时间位于预定曝光时间范围内表示彩色像素以正常的曝光一帧所需的时间进行曝光。预定曝光时间与环境亮度、摄像头组件40的光圈大小等因素有关。环境亮度越大，预定曝光时间越短；光圈越大，预定曝光时间也越短。示例地，预定曝光时间范围可以为1/60秒/帧～1/20秒/帧，则第二曝光时间可以位于1/60秒/帧～1/20秒/帧内，例如，第二曝光时间可以为1/60秒/帧、1/50秒/帧、1/45秒/帧、1/30秒/帧、1/20秒/帧等，实际使用过程中第二曝光时间的具体取值可以根据环境亮度、摄像头组件40的光圈大小等进行调整。
相关技术中，在没有三脚架辅助的情况下拍摄长曝光图像时，拍得的长曝光图像容易出现因抖动导致的背景模糊问题。
在一个例子中，可以控制仅包括彩色像素的图像传感器中所有像素以较短的曝光时间多次曝光以获取多帧彩色图像，再融合多帧彩色图像以得到一帧与长曝光图像效果类似的融合图像。然而，由于彩色像素的灵敏度较低，图像传感器10每次以较短的曝光时间曝光时，每个彩色像素在一个曝光时间内接收的曝光量均比较低。为了获得与长曝光图像效果类似的图像，图像传感器10需要经历较为多次的曝光，才能使得每个彩色像素多次输出的曝光量之和能够达到长曝光图像对曝光量的需求。如此，获取一帧融合图像的时间就比较长，严重影响用户的拍摄体验。而如果减少图像传感器10的曝光次数，则会导致融合图像亮度过低、图像质量不理想的问题。
如前文所分析的，全色像素具有比彩色像素更高的灵敏度。本申请实施方式的图像采集方法及摄像头组件40利用这一特性控制灵敏度较高的全色像素以较短的第一曝光时间多次曝光，灵敏度较低的彩色像素以大于第一曝光时间且位于预定曝光时间范围内的第二曝光时间曝光，并对两种像素获取的两类图像进行融合处理，得到与长曝光图像中运动物体的模糊效果近似，且背景也较为清晰的目标图像。其中，目标图像中与长曝光图像的模糊效果近似的部分(也即运动部分)可以由多帧全色原始图像得到，目标图像中除运动部分以外的较为清晰的背景部分由至少一帧彩色原始图像得到。由于采用了灵敏度较高的全色像素进行多次短曝，每个全色像素仅需要经历较少次数的曝光即可输出较高的曝光量，如此，可以缩短目标图像的获取时间，同时也不会影响目标图像的亮度。并且，彩色像素是以位于预定曝光时间范围内的第二曝光时间曝光的，即彩色像素是以正常的曝光一帧所需的时间来进行曝光的，彩色像素获取的彩色原始图像因为抖动导致模糊的可能性较小，使得目标图像的背景部分可以具有较为理想的清晰度。
在某些实施方式中，全色像素的曝光过程与彩色像素曝光过程在时间上至少部分重叠，具体地，假设在每一帧目标图像的获取过程中，全色像素需要曝n次，彩色像素需要曝光m次，其中，m为大于或等于1的整数，n为大于1的整数，且n大于m。
在一个例子中，在每一帧目标图像的获取过程中，全色像素的曝光过程与彩色像素的曝光过程在时间上全部重叠。具体地，彩色像素首次曝光的曝光起始时刻等于全色像素首次曝光的曝光起始时刻，彩色像素最后一次曝光的曝光截止时刻等于全色像素最后一次曝光的曝光截止时刻。请结合图24A所示示例，彩色像素曝光一次(即m＝1)，全色像素曝光五次(即n＝5)，彩色像素的曝光起始时刻t1等于全色像素第一次曝光的曝光起始时刻t3，彩色像素的曝光截止时刻t2等于全色像素最后一次(也即第五次)曝光的曝光截止时刻t4。请结合图24B所示示例，彩色像素曝光两次(即m＝2)，全色像素曝光八次(即n＝8)，彩色像素第一次曝光的曝光起始时刻t1等于全色像素第一次曝光的曝光起始时刻t3，彩色像素最后一次(也即第二次)曝光的曝光截止时刻t2等于全色像素最后一次(也即第八次)曝光的曝光截止时刻t4。
在又一个例子中，在每一帧目标图像的获取过程中，全色像素的曝光过程与彩色像素的曝光过程在时间上部分重叠。部分重叠的情形包括但不限于以下几种：
(1)彩色像素首次曝光的曝光起始时刻晚于全色像素首次曝光的曝光起始时刻，彩色像素最后一次曝光的曝光截止时刻等于全色像素最后一次曝光的起始时刻。请结合图25A所示示例，彩色像素曝光一次(即m＝1)，全色像素曝光五次(即n＝5)，彩色像素的曝光起始时刻t1晚于全色像素第一次曝光的曝光起始时刻t3，彩色像素的曝光截止时刻t2等于全色像素最后一次(也即第五次)曝光的曝光截止时刻t4。请结合图25B所示示例，彩色像素曝光两次(即m＝2)，全色像素曝光八次(即n＝8)，彩色像素第一次曝光的曝光起始时刻t1晚于全色像素第一次曝光的曝光起始时刻t3，彩色像素最后一次(也即第二次)曝光的曝光截止时刻t2等于全色像素最后一次(也即第八次)曝光的曝光截止时刻t4。
(2)彩色像素首次曝光的曝光起始时刻晚于全色像素首次曝光的曝光起始时刻，彩色像素最后一次曝光的曝光截止时刻晚于全色像素最后一次曝光的起始时刻。请结合图26A所示示例，彩色像素曝光一次(即m＝1)，全色像素曝光五次(即n＝5)，彩色像素曝光起始时刻t1晚于全色像素第一次曝光的曝光起始时刻t3，彩色像素的曝光截止时刻t2早于全色像素最后一次(也即第五次)曝光的曝光截止时刻t4。请结合图26B所示示例，彩色像素曝光两次(即m＝2)，全色像素曝光八次(即n＝8)，彩色像素第一次曝光的曝光起始时刻t1晚于全色像素第一次曝光的曝光起始时刻t3，彩色像素最后一次(也即第二次)曝光的曝光截止时刻t2早于全色像素最后一次(也即第八次)曝光的曝光截止时刻t4。
(3)彩色像素首次曝光的曝光起始时刻晚于全色像素首次曝光的曝光起始时刻，全色像素最后一次曝光的曝光截止时刻晚于彩色像素首次曝光的曝光起始时刻，且早于彩色像素最后一次曝光的曝光截止时刻。请结合图27A所示示例，彩色像素曝光一次(即m＝1)，全色像素曝光五次(即n＝5)，彩色像素的曝光起始时刻t1晚于全色像素第一次曝光的曝光起始时刻t3，全色像素最后一次(即第五次)曝光的曝光截止时刻t4晚于彩色像素首次曝光的曝光起始时刻t1，且早于彩色像素最后一次曝光的曝光截止时刻t2。请结合图27B所示示例，彩色像素曝光两次(即m＝2)，全色像素最后一次(即第八次)曝光的曝光截止时刻t4晚于彩色像素首次曝光的曝光起始时刻t1，且早于彩色像素最后一次(即第二次)曝光的曝光截止时刻t2。
(4)彩色像素首次曝光的曝光起始时刻早于全色像素首次曝光的曝光起始时刻，彩色像素最后一次曝光的曝光截止时刻等于全色像素最后一次曝光的曝光截止时刻。请结合图28A所示示例，彩色像素曝光一次(即m＝1)，全色像素曝光五次(即n＝5)，彩色像素的曝光起始时刻t1早于全色像素第一次曝光的曝光起始时刻t3，彩色像素的曝光截止时刻t2等于全色像素最后一次(也即第五次)曝光的曝光截止时刻t4。请结合图28B所示示例，彩色像素曝光两次(即m＝2)，全色像素曝光八次(即n＝8)，彩色像素第一次曝光的曝光起始时刻t1早于全色像素第一次曝光的曝光起始时刻t3，彩色像素最后一次(也即第二次)曝光的曝光截止时刻t2等于全色像素最后一次(也即第八次)曝光的曝光截止时刻t4。
(5)彩色像素首次曝光的曝光起始时刻早于全色像素首次曝光的曝光起始时刻，彩色像素最后一次曝光的曝光截止时刻晚于全色像素首次曝光的曝光起始时刻，且早于全色像素最后一次曝光的曝光截止时刻。请结合图29A所示示例，彩色像素曝光一次(即m＝1)，全色像素曝光五次(即n＝5)，彩色像素的曝光起始时刻t1早于全色像素第一次曝光的曝光起始时刻t3，彩色像素的曝光截止时刻t2晚于全色像素第一次曝光的曝光起始时刻t3，且早于全色像素最后一次(也即第五次)曝光的曝光截止时刻t4。请结合图29B所示示例，彩色像素曝光两次(即m＝2)，全色像素曝光八次(即n＝8)，彩色像素第一次曝光的曝光起始时刻t1晚于全色像素第一次曝光的曝光起始时刻t3，彩色像素最后一次(也即第二次)曝光的曝光截止时刻t2晚于全色像素第一次曝光的曝光起始时刻t3，且早于全色像素最后一次(也即第八次)曝光的曝光截止时刻t4。
(6)彩色像素首次曝光的曝光起始时刻早于全色像素首次曝光的曝光起始时刻，彩色像素最后一次曝光的曝光截止时刻晚于全色像素最后一次曝光的曝光截止时刻。请结合图30所示示例，彩色像素曝光两次(即m＝2)，全色像素曝光八次(即n＝8)，彩色像素第一次曝光的曝光起始时刻t1早于全色像素第一次曝光的曝光起始时刻t3，彩色像素最后一次(也即第二次)曝光的曝光截止时刻t2晚于全色像素最后一次(也即第八次)曝光的曝光截止时刻t4。
两种像素的曝光过程在时间上至少部分重叠可以使得全色像素和彩色像素获取的是同一场景的在某一小段时间内的图像，此时全色原始图像与彩色原始图像之间的关联度较高，融合后的目标图像的效果与长曝光图像的效果更为近似。
在某些实施方式中，在每一帧目标图像的获取过程中，全色像素多次曝光的总曝光时间大于或等于彩色像素的第一曝光时间。如此，全色像素可以经历足够次数的曝光，目标图像中运动物体的模糊效果与长曝光图像的模糊效果更近似。
在某些实施方式中，全色原始图像的输出方式可以是：全色像素每执行完一次曝光，图像传感器10就即刻输出该次曝光获取的全色原始图像。同样地，彩色原始图像的输出方式可以是：彩色像素每执行完一次曝光，图像传感器10就即刻输出该次曝光获取的全色原始图像。如此，处理芯片20可以及时地接收原始图像，并可以尽快对原始图像进行后续处理，有利于缩短目标图像的获取时间。
请参阅图31至图33，在某些实施方式中，图像采集方法还包括：
04：处理至少一帧彩色原始图像，以将彩色原始图像中每个子单元的所有像素作为与该子单元中单颜色对应的单色大像素，并输出单色大像素的像素值以得到彩色中间图像；
05：处理每一帧全色原始图像，以将每一帧全色原始图像中每个子单元的所有像素作为全色大像素，并输出全色大像素的像素值以得到全色中间图像；
步骤03融合至少一帧彩色原始图像和多帧全色原始图像以得到目标图像，包括：
031：融合至少一帧彩色中间图像和多帧全色中间图像以得到目标图像。
其中，步骤04可以进一步包括：
041：合并至少一帧彩色原始图像中每个子单元的所有像素的像素值以得到单色大像素的像素值；及
042：根据多个单色大像素的像素值形成彩色中间图像；
步骤05可以进一步包括：
051：合并每一帧全色原始图像中每个子单元的所有像素的像素值以得到全色大像素的像素值；及
052：根据多个全色大像素的像素值形成全色中间图像。
请参阅图22、及图31至图33，在某些实施方式中，步骤04、步骤041、步骤042、步骤05、步骤051、步骤052、及步骤031均可以由处理芯片20实现。也即是说，处理芯片20可以用于处理至少一帧彩色原始图像，以将彩色原始图像中每个子单元的所有像素作为与该子单元中单颜色对应的单色大像素，并输出单色大像素的像素值以得到彩色中间图像。处理芯片20还可以用于处理每一帧全色原始图像，以将每一帧全色原始图像中每个子单元的所有像素作为全色大像素，并输出全色大像素的像素值以得到全色中间图像。处理芯片20还可以用于融合至少一帧彩色中间图像和多帧全色中间图像以得到目标图像。在处理芯片执行步骤04时，处理芯片20具体用于合并至少一帧彩色原始图像中每个子单元的所有像素的像素值以得到单色大像素的像素值，并根据多个单色大像素的像素值形成彩色中间图像。在处理芯片20执行步骤05时，处理芯片20具体用于合并每一帧全色原始图像中每个子单元的所有像素的像素值以得到全色大像素的像素值，并根据多个全色大像素的像素值形成全色中间图像。
具体地，请结合图2、图4、图5及图34，在用户请求拍照时，图像传感器10中的垂直驱动单元12会通过第一曝光控制线TX1和第二曝光控制线TX2分别控制二维像素阵列中的多个全色像素和多个彩色像素的曝光，垂直驱动单元12会通过第一选择线SEL1及第二选择线SEL2分别控制全色像素及彩色像素的信号输出至列处理单元14，列处理单元14会读出每一个全色像素的值以及每一个彩色像素的值，以使得图像传感器10可以输出全色原始图像和彩色原始图像。
如图34所示，全色原始图像包括多个全色像素W及多个空像素N(NULL)，其中，空像素既不为全色像素，也不为彩色像素，全色原始图像中空像素N所处位置可视为该位置没有像素，或者可以将空像素的像素值视为零。比较二维像素阵列与全色原始图像可知，对于二维像素阵列中的每一个子单元，该子单元包括两个全色像素W和两个彩色像素(彩色像素A、彩色像素B、或彩色像素C)。全色原始图像中也具有与二维像素阵列中的每一个子单元对应的一个子单元，全色原始图像的子单元包括两个全色像素W和两个空像素N，两个空像素N所处位置对应二维像素阵列子单元中的两个彩色像素所处的位置。
同样地，彩色原始图像包括多个彩色像素及多个空像素N，其中，空像素既不为全色像素，也不为彩色像素，彩色原始图像中空像素N所处位置可视为该位置没有像素，或者可以将空像素的像素值视为零。比较二维像素阵列与彩色原始图像可知，对于二维像素阵列中的每一个子单元，该子单元包括两个全色像素W和两个彩色像素。彩色原始图像中也具有与二维像素阵列中的每一个子单元对应的一个子单元，彩色原始图像的子单元包括两个彩色像素和两个空像素N，两个空像素N所处位置对应二维像素阵列子单元中的两个全色像素W所处的位置。
处理芯片20接收到全色原始图像及彩色原始图像之后，可以对多帧全色原始图像作进一步处理得到多帧全色中间图像，并对至少一帧彩色原始图像作进一步处理得到至少一帧彩色中间图像。
示例地，对于彩色原始图像，处理芯片20将每个子单元的所有像素作为与该子单元中单颜色对应的单色大像素，并输出单色大像素的像素值以得到彩色中间图像。具体地，彩色原始图像可通过图35所示的方式变换为彩色中间图像。如图35所示，彩色原始图像包括多个子单元，每个子单元都包括多个空像素N和多个单颜色的彩色像素(也称单颜色像素)。具体地，某些子单元包括两个空像素N和两个单颜色像素A，某些子单元包括两个空像素N和两个单颜色像素B，某些子单元包括两个空像素N及两个单颜色像素C。处理芯片20可以将包括空像素N和单颜色像素A的子单元中的所有像素作为与该子单元中的单颜色A对应的单色大像素A，将包括空像素N和单颜色像素B的子单元中的所有像素作为与该子单元中的单颜色B对应的单色大像素B，将包括空像素N和单颜色像素C的子单元中的所有像素作为与该子单元中的单颜色C对应的单色大像素C。对于单色大像素A，处理芯片20可以将包括空像素N和单颜色像素A的子单元中的所有像素的像素值相加，并将相加的结果作为对应该子单元的单色大像素A的像素值，其中，空像素N的像素值可以视为零，下同；处理芯片20可以将包括空像素N和单颜色像素B的子单元中的所有像素的像素值相加，并将相加的结果作为对应该子单元的单色大像素B的像素值；处理芯片20可以将包括空像素N和单颜色像素C的子单元中的所有像素的像素值相加，并将相加的结果作为对应该子单元的单色大像素C的像素值。由此，处理芯片20即可获得多个单个大像素A的像素值、多个单色大像素B的像素值、以及多个单色大像素C的像素值。处理芯片20再根据多个单色大象素A的像素值、多个单色大像素B的像素值、以及多个单色大像素C的像素值形成一张分辨率低于二维像素阵列的分辨率的彩色中间图像。如图35所示，当单颜色A为红色R，单颜色B为绿色G，单颜色C为蓝色Bu时，彩色中间图像即为拜耳阵列排布的图像。
同样地，请参阅图36所示，对于全色原始图像，全色原始图像包括多个子单元，每个子单元都包括多个空像素N和多个全色像素。具体地，每个子单元包括两个空像素N和两个全色像素W，处理芯片20可以将包括空像素N和全色像素W的子单元中的所有像素作为与该子单元对应的全色大像素W，处理芯片20可以将包括空像素N和全色像素W的子单元中的所有像素的像素值相加，并将相加的结果作为对应该子单元的全色大像素A的像素值，其中，空像素N的像素值可以视为零。由此，处理芯片20可获得分辨率低于二维像素阵列的分辨率的全色中间图像，并且，全色中间图像的分辨率与彩色中间图像的分辨率相等。
在获取到多帧全色中间图像和至少一帧彩色中间图像后，处理芯片20即可融合多帧全色中间图像及至少一帧彩色中间图像以得到目标图像。
请参阅图37，在某些实施方式中，图像采集方法还包括：
06：插补处理至少一帧彩色原始图像，获取彩色原始图像中每个子单元的所有像素的像素值以得到彩色中间图像，彩色中间图像中每个子单元均呈拜耳阵列排布；
07：插补处理全色原始图像，获取每个子单元中的所有像素的像素值以得到全色中间图像；
步骤03融合至少一帧彩色原始图像和多帧全色原始图像以得到目标图像，包括：
032：融合至少一帧彩色中间图像和多帧全色中间图像以得到目标图像。
请参阅图22及图37，步骤06、步骤07及步骤032均可以由处理芯片20实现。也即是说，处理芯片20还可以用于插补处理至少一帧所述彩色原始图像，获取所述彩色原始图像中每个子单元的所有像素的像素值以得到彩色中间图像，所述彩色中间图像中每个所述子单元均呈拜耳阵列排布。处理芯片20还可以用于插补处理所述全色原始图像，获取每个所述子单元中的所有像素的像素值以得到全色中间图像。处理芯片20还可以用于融合至少一帧彩色中间图像和多帧全色中间图像以得到目标图像。
具体地，对于彩色原始图像，处理芯片20对彩色原始图像中每一个子单元做颜色插补处理，补齐每个子单元中的另外两种颜色的像素值，使得每个子单元均呈拜耳阵列排布。请结合图38所示示例，对于包括空像素N和单颜色像素A的类型的子单元，补齐该类子单元中的颜色B及颜色C的像素值，以使得该类子单元呈ABBC的形式排布；对于包括空像素N和单颜色像素B的类型的子单元，补齐该类子单元中的颜色A及颜色C的像素值，以使得该类子单元呈ABBC的形式排布；对于包括空像素N和单颜色像素C的类型的子单元，补齐该类子单元中的颜色B及颜色A的像素值，以使得该类子单元呈ABBC的形式排布。如此，全色中间图像中的每一个子单元均可以呈拜耳阵列排布。
其中，以左上角的包括空像素N和单颜色像素A的子单元E1为例，补齐子单元E1中剩余两种颜色B和C的像素值的方式可以是：寻找与子单元E1相邻近的一个或多个具有与剩余颜色相同的颜色像素的子单元，并根据该一个或多个子单元中单颜色像素的像素值来估测子单元E1的剩余颜色像素的像素值。例如，根据具有单颜色像素B的子单元E2和E3来估测子单元E1中的单颜色像素B的像素值，根据具有单颜色像素C的子单元E4来估测子单元E1中的单颜色像素C的像素值等。其余子单元的剩余颜色的像素值的方式也可以通过此种方式来补齐，在此不再赘述。由此，即可得到具有多个呈拜耳阵列排布的子单元的全色中间图像，该全色中间图像的分辨率等于二维像素阵列的分辨率。
对于全色中间图像，处理芯片20对全色原始图像中进行插补。具体地，如图39所示，对于每一个子单元，处理芯片20根据该子单元中的两个全色像素W的像素值估测两个空像素N的像素值，以使得每个子单元中的空像素N均具有像素值，从而得到分辨率与二维像素阵列的分辨率相等的全色中间图像。
在获取到多帧全色中间图像和至少一帧彩色中间图像后，处理芯片20即可融合多帧全色中间图像及至少一帧彩色中间图像以得到目标图像。
请参阅图40，在某些实施方式中，步骤融合至少一帧彩色中间图像和多帧全色中间图像以得到目标图像，包括：
033：识别多帧全色中间图像中的运动区域；
034：根据至少一个运动区域识别至少一个彩色中间图像中的静止区域；
035：融合至少一个静止区域及多个运动区域以得到目标图像。
请参阅图22及图40，步骤033、步骤034、及步骤035均可以由处理芯片20实现。也即是说，处理芯片20可以用于识别多帧全色中间图像中的运动区域、根据至少一个运动区域识别至少一个彩色图像中的静止区域、以及融合至少一个静止区域及多个运动区域以得到目标图像。
请结合图41，处理芯片20首先识别多帧全色中间图像中的运动区域R1。示例地，假设全色中间图像有5帧，分别为I11、I12、I13、I14、及I15，彩色中间图像为一帧，即I21。
处理芯片20可以先将相邻的两帧全色中间图像进行相减，例如，将I11与I12进行相减、将I12与I13进行相减、将I13与I14进行相减、将I14与I15进行相减，从而可以确定出每一帧全色中间图像中的运动区域R1。以I11和I12为例，相邻的两帧全色中间图像进行相减可以是：I12中的像素p(x,y)的像素值减去I11中的像素p(x,y)的像素值以得到多个像素差值，将像素差值大于预定差值的像素p(x,y)归并为I12中的处于运动区域R1的像素，由此，即可得到I12的运动区域R1。可以理解，如果像素p(x,y)处于非运动区域(即静止区域R2)，则相邻两帧全色中间图像中两个像素p(x,y)的像素值是大致相等的；如果像素p(x,y)处于运动区域R1，则相邻两帧全色中间图像中两个像素p(x,y)的像素值之间具有一定的差值，如此，即可根据两个像素p(x,y)的像素值之间的差值是否大于预定差值来确定出像素p(x,y)是否处于运动区域R1。I11、I13、I14、及I15中的运动区域R1的识别与I12的运动区域R1的识别方式类似，在此不再赘述。
在识别出多帧全色中间图像中的运动区域R1后，可以选取出任意一帧全色中间图像的运动区域R1，并根据任意一帧全色中间图像的运动区域R1来确定出每一帧彩色中间图像中的静止区域R2。例如，处理芯片20可以先根据全色中间图像I11的运动区域R1来确定出彩色中间图像I21中的运动区域R1，再将彩色中间图像I21的除运动区域R1以外的区域确定为静止区域R2。
随后，处理芯片20可以对至少一个静止区域R2以及多个运动区域R1执行融合处理，以得到目标图像I0。目标图像I0中静止区域R4由彩色中间图像获得，运动区域R3由多帧全色中间图像获得。目标图像中I0的运动区域R3具有与长曝光图像的运动区域类似的模糊效果，静止区域R4的清晰度较高。
在某些实施方式中，彩色中间图像为多帧，则处理芯片20可以在识别彩色中间图像中的静止区域前先融合多帧彩色中间图像以得到一帧彩色融合中间图像。随后，处理芯片20再是根据至少一个运动区域来识别彩色融合中间图像中的静止区域，最后将一个静止区域与多个运动区域融合得到目标图像。如此，目标图像的静止区域是由多帧彩色中间图像融合得到的，静止区域可以具有更高的清晰度。
在某些实施方式中，彩色中间图像为多帧，则处理芯片20可以先根据至少一个运动区域来识别多帧彩色中间图像中的静止区域以得到多个静止区域。随后，处理芯片20再将多个静止区域与多个运动区域融合得到目标图像。如此，目标图像的静止区域是由多帧彩色中间图像中的静止区域融合得到的，目标图像的静止区域可以具有更高的清晰度。
在某些实施方式中，在处理芯片20识别彩色中间图像中的静止区域前，处理芯片20可以先对彩色中间图像执行去马赛克处理以得到全彩图像，全彩图像中每个像素均包括R、G、B三个颜色的分量。随后，处理芯片20再执行识别彩色中间图像中的静止区域、以及融合至少一个静止区域及多个运动区域的操作，从而使得最终获得的目标图像为全彩的目标图像，目标图像的图像质量更好。
由于全色像素相邻两次曝光期间可能存在时间间隙，而物体的运动是连续的，当时间间隙较长时，目标图像中的运动区域的模糊效果可能无法较为趋近于长曝光图像的模糊效果。因此，在某些实施方式中，处理芯片20对目标图像中的运动区域进行运动估计及运动补偿以得到补偿后的运动区域，补偿后的运动区域由全色中间图像中的运动区域及处于时间间隙内的运动区域组成。具体地，请参阅图42。目标图像包括运动区域R3及静止区域R4。处理芯片20对目标图像中的运动区域R3进行运动估计及运动补偿以得到补偿后的运动区域R5，补偿后的运动区域R5由全色中间图像中的运动区域R1及处于时间间隙内的运动区域R6组成。进一步地，处理芯片20还可以对补偿后的运动区域R5做模糊处理以得到最终的运动区域R7。如此，最终的目标图像中运动区域的模糊效果更加趋近于长曝光图像的模糊效果，目标图像的成像质量更佳。
请参阅图43，本申请还提供一种移动终端60。移动终端60可以是手机、平板电脑、笔记本电脑、智能穿戴设备(如智能手表、智能手环、智能眼镜、智能头盔等)、头显设备、虚拟现实设备等等，在此不做限制。
移动终端60包括壳体50和摄像头组件40。壳体50和摄像头组件40结合。示例地，摄像头组件40可以安装在壳体50上。移动终端60中还可以包括处理器(图未示)。摄像头组件40中的处理芯片20与处理器可为同一个处理器，也可为两个独立的处理器，在此不作限制。
在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
尽管上面已经示出和描述了本申请的实施方式，可以理解的是，上述实施方式是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型。

Claims (15)

1.一种图像采集方法，用于图像传感器，其特征在于，所述图像传感器包括全色像素及彩色像素，所述彩色像素具有比所述全色像素更窄的光谱响应；所述图像采集方法包括：
控制所述全色像素以第一曝光时间多次曝光并输出多帧全色原始图像；
控制所述彩色像素以第二曝光时间曝光并输出至少一帧彩色原始图像，所述第一曝光时间小于所述第二曝光时间，且所述第二曝光时间位于预定曝光时间范围内；及
融合至少一帧所述彩色原始图像和多帧所述全色原始图像以得到目标图像。
2.根据权利要求1所述的图像采集方法，其特征在于，所述全色像素的曝光过程与所述彩色像素的曝光过程在时间上至少部分重叠。
3.根据权利要求1所述的图像采集方法，其特征在于，所述图像传感器包括二维像素阵列，所述二维像素阵列包括最小重复单元，每个所述最小重复单元包含多个子单元，每个所述子单元包括多个单颜色像素及多个全色像素；所述图像采集方法还包括：
处理至少一帧所述彩色原始图像，以将所述彩色原始图像中每个子单元的所有像素作为与该子单元中单颜色对应的单色大像素，并输出所述单色大像素的像素值以得到彩色中间图像；
处理每一帧所述全色原始图像，以将每一帧所述全色原始图像中每个子单元的所有像素作为全色大像素，并输出所述全色大像素的像素值以得到全色中间图像；
所述融合至少一帧所述彩色原始图像和多帧所述全色原始图像以得到目标图像，包括：
融合至少一帧所述彩色中间图像和多帧所述全色中间图像以得到所述目标图像。
4.根据权利要求3所述的图像采集方法，其特征在于，所述处理至少一帧所述彩色原始图像，以将所述彩色原始图像中每个子单元的所有像素作为与该子单元中单颜色对应的单色大像素，并输出所述全色大像素的像素值以得到全色中间图像包括：
合并至少一帧所述彩色原始图像中每个所述子单元的所有所述像素的像素值以得到所述单色大像素的像素值；及
根据多个所述单色大像素的像素值形成所述彩色中间图像；
所述处理每一帧所述全色原始图像，以将每一帧所述全色原始图像中每个子单元的所有像素作为全色大像素，并输出所述全色大像素的像素值以得到全色中间图像，包括：
合并每一帧所述全色原始图像中每个所述子单元的所有所述像素的像素值以得到所述全色大像素的像素值；及
根据多个所述全色大像素的像素值形成所述全色中间图像。
5.根据权利要求1所述的图像采集方法，其特征在于，所述图像传感器包括二维像素阵列，所述二维像素阵列包括最小重复单元，每个所述最小重复单元包含多个子单元，每个所述子单元包括多个单颜色像素及多个全色像素；所述图像采集方法还包括：
插补处理至少一帧所述彩色原始图像，获取所述彩色原始图像中每个子单元的所有像素的像素值以得到彩色中间图像，所述彩色中间图像中每个所述子单元均呈拜耳阵列排布；
插补处理所述全色原始图像，获取每个所述子单元中的所有像素的像素值以得到全色中间图像；
所述融合至少一帧所述彩色原始图像和多帧所述全色原始图像以得到目标图像，包括：
融合至少一帧所述彩色中间图像和多帧所述全色中间图像以得到所述目标图像。
6.根据权利要求3或5所述的图像采集方法，其特征在于，所述融合至少一帧所述彩色中间图像和多帧所述全色中间图像以得到所述目标图像，包括：
识别多帧所述全色中间图像中的运动区域；
根据至少一个所述运动区域识别至少一帧所述彩色中间图像中的静止区域；
融合至少一个所述静止区域及多个所述运动区域以得到所述目标图像。
7.一种摄像头组件，其特征在于，包括：
图像传感器，所述图像传感器包括全色像素及彩色像素，所述彩色像素具有比所述全色像素更窄的光谱响应，所述图像传感器中的所述全色像素以第一曝光时间多次曝光并输出多帧全色原始图像，所述彩色像素以第二曝光时间曝光并输出至少一帧彩色原始图像，所述第一曝光时间小于所述第二曝光时间，且所述第二曝光时间位于预定曝光时间范围内；及
处理芯片，所述处理芯片用于融合至少一帧所述彩色原始图像和多帧所述全色原始图像以得到目标图像。
8.根据权利要求7所述的摄像头组件，其特征在于，所述全色像素的曝光过程与所述彩色像素的曝光过程在时间上至少部分重叠。
9.根据权利要求7所述的摄像头组件，其特征在于，所述全色像素和所述彩色像素形成二维像素阵列，所述二维像素阵列包括最小重复单元，在所述最小重复单元中，所述全色像素设置在第一对角线方向，所述彩色像素设置在第二对角线方向，所述第一对角线方向与所述第二对角线方向不同；
所述图像传感器还包括：
第一曝光控制线，与所述第一对角线方向相邻的至少两个所述全色像素中曝光控制电路的控制端电连接；及
第二曝光控制线，与所述第二对角线方向相邻的至少两个所述彩色像素中曝光控制电路的控制端电连接；
其中，所述第一曝光控制线传输用于控制所述全色像素的第一曝光时间的第一曝光控制信号，所述第二曝光控制线传输用于控制所述彩色像素的第二曝光时间的第二曝光控制信号。
10.根据权利要求9所述的摄像头组件，其特征在于，所述图像传感器还包括：
第一选择线，与所述第一对角线方向相邻的至少两个所述全色像素的选择电路的选择端电连接；及
第二选择线，与所述第二对角线方向相邻的至少两个所述彩色像素的选择电路的选择端电连接。
11.根据权利要求7所述的摄像头组件，其特征在于，所述图像传感器包括二维像素阵列，所述二维像素阵列包括最小重复单元，每个所述最小重复单元包含多个子单元，每个所述子单元包括多个单颜色像素及多个全色像素；所述处理芯片还用于：
处理至少一帧所述彩色原始图像，以将所述彩色原始图像中每个子单元的所有像素作为与该子单元中单颜色对应的单色大像素，并输出所述单色大像素的像素值以得到彩色中间图像；
处理每一帧所述全色原始图像，以将每一帧所述全色原始图像中每个子单元的所有像素作为全色大像素，并输出所述全色大像素的像素值以得到全色中间图像；及
融合至少一帧所述彩色中间图像和多帧所述全色中间图像以得到所述目标图像。
12.根据权利要求11所述的摄像头组件，其特征在于，所述处理芯片还用于：
合并至少一帧所述彩色原始图像中每个所述子单元的所有所述像素的像素值以得到所述单色大像素的像素值；
根据多个所述单色大像素的像素值形成所述彩色中间图像；
合并每一帧所述全色原始图像中每个所述子单元的所有所述像素的像素值以得到所述全色大像素的像素值；及
根据多个所述全色大像素的像素值形成所述全色中间图像。
13.根据权利要求7所述的摄像头组件，其特征在于，所述图像传感器包括二维像素阵列，所述二维像素阵列包括最小重复单元，每个所述最小重复单元包含多个子单元，每个所述子单元包括多个单颜色像素及多个全色像素；所述处理芯片还用于：
插补处理至少一帧所述彩色原始图像，获取所述彩色原始图像中每个子单元的所有像素的像素值以得到彩色中间图像，所述彩色中间图像中每个所述子单元均呈拜耳阵列排布；
插补处理所述全色原始图像，获取每个所述子单元中的所有像素的像素值以得到全色中间图像；
融合至少一帧所述彩色中间图像和多帧所述全色中间图像以得到所述目标图像。
14.根据权利要求11或13所述的摄像头组件，其特征在于，所述处理芯片还用于：
识别多帧所述全色中间图像中的运动区域；
根据至少一个所述运动区域识别至少一帧所述彩色中间图像中的静止区域；
融合至少一个所述静止区域及多个所述运动区域以得到所述目标图像。
15.一种移动终端，其特征在于，包括：
壳体；及
权利要求7至14任意一项所述的摄像头组件，所述摄像头组件与所述壳体结合。
CN201911051373.0A 2019-10-31 2019-10-31 图像采集方法、摄像头组件及移动终端 Active CN110740272B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911051373.0A CN110740272B (zh) 2019-10-31 2019-10-31 图像采集方法、摄像头组件及移动终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911051373.0A CN110740272B (zh) 2019-10-31 2019-10-31 图像采集方法、摄像头组件及移动终端

Publications (2)

Publication Number Publication Date
CN110740272A true CN110740272A (zh) 2020-01-31
CN110740272B CN110740272B (zh) 2021-05-14

Family

ID=69271976

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911051373.0A Active CN110740272B (zh) 2019-10-31 2019-10-31 图像采集方法、摄像头组件及移动终端

Country Status (1)

Country Link
CN (1) CN110740272B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111246064A (zh) * 2020-02-19 2020-06-05 Oppo广东移动通信有限公司 图像处理方法、摄像头组件及移动终端
CN111405204A (zh) * 2020-03-11 2020-07-10 Oppo广东移动通信有限公司 图像获取方法、成像装置、电子设备及可读存储介质
CN111447376A (zh) * 2020-05-06 2020-07-24 Oppo广东移动通信有限公司 图像处理方法、摄像头组件、移动终端及计算机可读存储介质
CN111447380A (zh) * 2020-05-22 2020-07-24 Oppo广东移动通信有限公司 控制方法、摄像头组件和移动终端
CN111479071A (zh) * 2020-04-03 2020-07-31 Oppo广东移动通信有限公司 高动态范围图像处理系统及方法、电子设备和可读存储介质
CN111586323A (zh) * 2020-05-07 2020-08-25 Oppo广东移动通信有限公司 图像传感器、控制方法、摄像头组件和移动终端
CN111970461A (zh) * 2020-08-17 2020-11-20 Oppo广东移动通信有限公司 高动态范围图像处理系统及方法、电子设备和可读存储介质
WO2021179805A1 (zh) * 2020-03-13 2021-09-16 Oppo广东移动通信有限公司 图像传感器、摄像头组件、移动终端及图像获取方法
WO2021223364A1 (zh) * 2020-05-08 2021-11-11 Oppo广东移动通信有限公司 高动态范围图像处理系统及方法、电子设备和可读存储介质
CN114697474A (zh) * 2020-12-25 2022-07-01 Oppo广东移动通信有限公司 电子设备的控制方法、电子设备及计算机可读存储介质

Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090251575A1 (en) * 2008-04-01 2009-10-08 Fujifilm Corporation Imaging apparatus and method for driving the imaging apparatus
CN101755463A (zh) * 2007-07-20 2010-06-23 伊斯曼柯达公司 图像传感器的多分量读出
CN102007761A (zh) * 2008-04-29 2011-04-06 柯达公司 用于图像传感器的同心曝光序列
CN102362501A (zh) * 2008-11-07 2012-02-22 美商豪威科技股份有限公司 修改色彩及全色通道彩色滤光器阵列图像
CN102365861A (zh) * 2009-04-01 2012-02-29 美商豪威科技股份有限公司 在产生数字图像时曝光像素组
CN102970487A (zh) * 2011-08-31 2013-03-13 索尼公司 图像处理设备、图像处理方法和程序
CN103517046A (zh) * 2012-06-22 2014-01-15 诺基亚公司 用于捕获视频内容的方法、装置和计算机程序产品
US20140063300A1 (en) * 2012-09-06 2014-03-06 Aptina Imaging Corporation High dynamic range imaging systems having clear filter pixel arrays
CN104038745A (zh) * 2013-03-08 2014-09-10 株式会社东芝 固体摄像装置
US20150146067A1 (en) * 2013-11-25 2015-05-28 Samsung Electronics Co., Ltd. Pixel array and image sensor including same
US20150363944A1 (en) * 2014-06-12 2015-12-17 Samsung Electronics Co., Ltd. Low power supbixel rendering on rgbw display
CN105409205A (zh) * 2013-07-23 2016-03-16 索尼公司 摄像装置、摄像方法及程序
CN105578076A (zh) * 2015-12-18 2016-05-11 广东欧珀移动通信有限公司 成像方法、成像装置及电子装置
CN106341628A (zh) * 2015-07-07 2017-01-18 三星电子株式会社 具有宽动态范围的图像传感器、像素电路和操作方法
JP2017055330A (ja) * 2015-09-11 2017-03-16 株式会社東芝 固体撮像装置およびカメラシステム
JP2017147528A (ja) * 2016-02-16 2017-08-24 株式会社東芝 固体撮像装置およびカメラシステム
CN108353134A (zh) * 2015-10-30 2018-07-31 三星电子株式会社 使用多重曝光传感器的拍摄装置及其拍摄方法
CN108347551A (zh) * 2017-01-25 2018-07-31 芯视达系统公司 高动态范围的图像传感器件
CN108419023A (zh) * 2018-03-26 2018-08-17 华为技术有限公司 一种生成高动态范围图像的方法以及相关设备
CN110213508A (zh) * 2013-08-12 2019-09-06 株式会社尼康 电子设备

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101755463A (zh) * 2007-07-20 2010-06-23 伊斯曼柯达公司 图像传感器的多分量读出
US20090251575A1 (en) * 2008-04-01 2009-10-08 Fujifilm Corporation Imaging apparatus and method for driving the imaging apparatus
CN102007761A (zh) * 2008-04-29 2011-04-06 柯达公司 用于图像传感器的同心曝光序列
CN102362501A (zh) * 2008-11-07 2012-02-22 美商豪威科技股份有限公司 修改色彩及全色通道彩色滤光器阵列图像
CN102365861A (zh) * 2009-04-01 2012-02-29 美商豪威科技股份有限公司 在产生数字图像时曝光像素组
CN102970487A (zh) * 2011-08-31 2013-03-13 索尼公司 图像处理设备、图像处理方法和程序
CN103517046A (zh) * 2012-06-22 2014-01-15 诺基亚公司 用于捕获视频内容的方法、装置和计算机程序产品
US20140063300A1 (en) * 2012-09-06 2014-03-06 Aptina Imaging Corporation High dynamic range imaging systems having clear filter pixel arrays
CN104038745A (zh) * 2013-03-08 2014-09-10 株式会社东芝 固体摄像装置
CN105409205A (zh) * 2013-07-23 2016-03-16 索尼公司 摄像装置、摄像方法及程序
CN110213508A (zh) * 2013-08-12 2019-09-06 株式会社尼康 电子设备
US20150146067A1 (en) * 2013-11-25 2015-05-28 Samsung Electronics Co., Ltd. Pixel array and image sensor including same
US20150363944A1 (en) * 2014-06-12 2015-12-17 Samsung Electronics Co., Ltd. Low power supbixel rendering on rgbw display
CN106341628A (zh) * 2015-07-07 2017-01-18 三星电子株式会社 具有宽动态范围的图像传感器、像素电路和操作方法
JP2017055330A (ja) * 2015-09-11 2017-03-16 株式会社東芝 固体撮像装置およびカメラシステム
CN108353134A (zh) * 2015-10-30 2018-07-31 三星电子株式会社 使用多重曝光传感器的拍摄装置及其拍摄方法
CN105578076A (zh) * 2015-12-18 2016-05-11 广东欧珀移动通信有限公司 成像方法、成像装置及电子装置
JP2017147528A (ja) * 2016-02-16 2017-08-24 株式会社東芝 固体撮像装置およびカメラシステム
CN108347551A (zh) * 2017-01-25 2018-07-31 芯视达系统公司 高动态范围的图像传感器件
CN108419023A (zh) * 2018-03-26 2018-08-17 华为技术有限公司 一种生成高动态范围图像的方法以及相关设备

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111246064B (zh) * 2020-02-19 2021-07-09 Oppo广东移动通信有限公司 图像处理方法、摄像头组件及移动终端
CN111246064A (zh) * 2020-02-19 2020-06-05 Oppo广东移动通信有限公司 图像处理方法、摄像头组件及移动终端
CN111405204A (zh) * 2020-03-11 2020-07-10 Oppo广东移动通信有限公司 图像获取方法、成像装置、电子设备及可读存储介质
CN111405204B (zh) * 2020-03-11 2022-07-26 Oppo广东移动通信有限公司 图像获取方法、成像装置、电子设备及可读存储介质
WO2021179806A1 (zh) * 2020-03-11 2021-09-16 Oppo广东移动通信有限公司 图像获取方法、成像装置、电子设备及可读存储介质
WO2021179805A1 (zh) * 2020-03-13 2021-09-16 Oppo广东移动通信有限公司 图像传感器、摄像头组件、移动终端及图像获取方法
CN111479071A (zh) * 2020-04-03 2020-07-31 Oppo广东移动通信有限公司 高动态范围图像处理系统及方法、电子设备和可读存储介质
CN111479071B (zh) * 2020-04-03 2021-05-07 Oppo广东移动通信有限公司 高动态范围图像处理系统及方法、电子设备和可读存储介质
WO2021196553A1 (zh) * 2020-04-03 2021-10-07 Oppo广东移动通信有限公司 高动态范围图像处理系统及方法、电子设备和可读存储介质
CN111447376A (zh) * 2020-05-06 2020-07-24 Oppo广东移动通信有限公司 图像处理方法、摄像头组件、移动终端及计算机可读存储介质
CN111586323A (zh) * 2020-05-07 2020-08-25 Oppo广东移动通信有限公司 图像传感器、控制方法、摄像头组件和移动终端
WO2021223364A1 (zh) * 2020-05-08 2021-11-11 Oppo广东移动通信有限公司 高动态范围图像处理系统及方法、电子设备和可读存储介质
CN111447380A (zh) * 2020-05-22 2020-07-24 Oppo广东移动通信有限公司 控制方法、摄像头组件和移动终端
CN113973184A (zh) * 2020-05-22 2022-01-25 Oppo广东移动通信有限公司 图像传感器、摄像头组件、移动终端
CN111970461A (zh) * 2020-08-17 2020-11-20 Oppo广东移动通信有限公司 高动态范围图像处理系统及方法、电子设备和可读存储介质
CN111970461B (zh) * 2020-08-17 2022-03-22 Oppo广东移动通信有限公司 高动态范围图像处理系统及方法、电子设备和可读存储介质
CN114697474A (zh) * 2020-12-25 2022-07-01 Oppo广东移动通信有限公司 电子设备的控制方法、电子设备及计算机可读存储介质
CN114697474B (zh) * 2020-12-25 2023-07-21 Oppo广东移动通信有限公司 电子设备的控制方法、电子设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN110740272B (zh) 2021-05-14

Similar Documents

Publication Publication Date Title
CN110740272B (zh) 图像采集方法、摄像头组件及移动终端
CN111405204B (zh) 图像获取方法、成像装置、电子设备及可读存储介质
CN111050041B (zh) 图像传感器、控制方法、摄像头组件及移动终端
CN111314592B (zh) 图像处理方法、摄像头组件及移动终端
CN111246064B (zh) 图像处理方法、摄像头组件及移动终端
CN110971799B (zh) 控制方法、摄像头组件及移动终端
CN111385543B (zh) 图像传感器、摄像头组件、移动终端及图像获取方法
CN110649057B (zh) 图像传感器、摄像头组件及移动终端
CN111447380B (zh) 控制方法、摄像头组件和移动终端
CN110784634B (zh) 图像传感器、控制方法、摄像头组件及移动终端
US20230086743A1 (en) Control method, camera assembly, and mobile terminal
CN113747022B (zh) 图像传感器、摄像头组件和移动终端
CN111741221A (zh) 图像获取方法、摄像头组件及移动终端
CN114041208A (zh) 图像传感器、摄像头组件及移动终端
US20220150450A1 (en) Image capturing method, camera assembly, and mobile terminal
CN114008782A (zh) 图像传感器、摄像头组件及移动终端
CN111835971B (zh) 图像处理方法、图像处理系统、电子设备及可读存储介质
CN111970459B (zh) 高动态范围图像处理系统及方法、电子设备和可读存储介质
CN111031297B (zh) 图像传感器、控制方法、摄像头组件和移动终端
CN111212212A (zh) 摄像头组件、移动终端及控制方法
CN114008781A (zh) 图像传感器、摄像头组件及移动终端
CN112235485B (zh) 图像传感器、图像处理方法、成像装置、终端及可读存储介质
US20220279108A1 (en) Image sensor and mobile terminal
JP7478201B2 (ja) 画像センサ、カメラモジュール、モバイル端末及び画像収集方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant