CN213279832U - 图像传感器、相机和终端 - Google Patents

图像传感器、相机和终端 Download PDF

Info

Publication number
CN213279832U
CN213279832U CN202022245405.5U CN202022245405U CN213279832U CN 213279832 U CN213279832 U CN 213279832U CN 202022245405 U CN202022245405 U CN 202022245405U CN 213279832 U CN213279832 U CN 213279832U
Authority
CN
China
Prior art keywords
filter
sub
image
color
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202022245405.5U
Other languages
English (en)
Inventor
唐城
李龙佳
张弓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202022245405.5U priority Critical patent/CN213279832U/zh
Application granted granted Critical
Publication of CN213279832U publication Critical patent/CN213279832U/zh
Priority to EP21876886.9A priority patent/EP4216534A4/en
Priority to PCT/CN2021/105464 priority patent/WO2022073364A1/zh
Priority to US18/193,134 priority patent/US20230254553A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Color Television Image Signal Generators (AREA)

Abstract

本申请公开一种图像传感器,包括滤光片阵列和像素阵列,滤光片阵列包括最小重复单元,最小重复单元包括多个滤光片组,滤光片组包括彩色滤光片和全色滤光片,彩色滤光片具有比全色滤光片更窄的光谱响应,彩色滤光片和全色滤光片均包括4个子滤光片;像素阵列包括多个像素,每个像素对应滤光片阵列的一个子滤光片,像素用于接收穿过对应的子滤光片的光线以生成电信号。本申请实施方式的图像传感器、相机和终端包括全色滤光片,在拍摄时图像传感器可获取到更多的光量,从而无需调节拍摄参数,暗光下成像时,可兼顾稳定性和质量,暗光下成像的稳定性和质量均较高。

Description

图像传感器、相机和终端
技术领域
本申请涉及图像传感器技术领域,特别涉及一种图像传感器、相机和终端。
背景技术
目前,为了提高暗光下的成像质量,一般通过调节拍摄参数实现,如提高感光度、调节光圈大小、或调节快门时间来实现进光量的增加,然而,提高感光度会导致图像噪点增加,光圈过大会会使得对焦变得困难,导致拍摄图像易出现模糊,且不适合不需要虚化的图像的拍摄,而快门时间过长,在拍摄快速移动的物体时易出现图像模糊等问题,暗光下成像的稳定性和质量难以兼顾。
实用新型内容
本申请的实施例提供了一种图像传感器、相机和终端。
本申请实施方式的图像传感器包括滤光片阵列和像素阵列,所述滤光片阵列包括最小重复单元,所述最小重复单元包括多个滤光片组,所述滤光片组包括彩色滤光片和全色滤光片,所述彩色滤光片具有比所述全色滤光片的更窄的光谱响应,所述彩色滤光片和所述全色滤光片均包括4 个子滤光片;所述像素阵列包括多个像素,每个所述像素对应所述滤光片阵列的一个所述子滤光片,所述像素用于接收穿过对应的所述子滤光片的光线以生成电信号。
本申请实施方式的相机包括镜头和图像传感器。所述图像传感器用于接收穿过所述镜头的光线,所述像素根据所述光线生成电信号。所述图像传感器包括滤光片阵列和像素阵列,所述滤光片阵列包括最小重复单元,所述最小重复单元包括多个滤光片组,所述滤光片组包括彩色滤光片和全色滤光片,所述彩色滤光片具有比所述全色滤光片的更窄的光谱响应,所述彩色滤光片和所述全色滤光片均包括4个子滤光片;所述像素阵列包括多个像素,每个所述像素对应所述滤光片阵列的一个所述子滤光片,所述像素用于接收穿过对应的所述子滤光片的光线以生成电信号。
本申请实施方式的终端包括相机和壳体。所述相机设置在所述壳体上。所述相机包括镜头和图像传感器。所述图像传感器用于接收穿过所述镜头的光线,所述像素根据所述光线生成电信号。所述图像传感器包括滤光片阵列和像素阵列,所述滤光片阵列包括最小重复单元,所述最小重复单元包括多个滤光片组,所述滤光片组包括彩色滤光片和全色滤光片,所述彩色滤光片具有比所述全色滤光片的更窄的光谱响应,所述彩色滤光片和所述全色滤光片均包括4个子滤光片;所述像素阵列包括多个像素,每个所述像素对应所述滤光片阵列的一个所述子滤光片,所述像素用于接收穿过对应的所述子滤光片的光线以生成电信号。
本申请实施方式的图像传感器、相机和终端包括全色滤光片,在拍摄时图像传感器可获取到更多的光量,从而无需调节拍摄参数,在不影响拍摄的稳定性的情况下,提高暗光下的成像质量,暗光下成像时,可兼顾稳定性和质量,暗光下成像的稳定性和质量均较高。且全色滤光片和彩色滤光片均由4个子滤光片组成,在暗光下成像时可将4个子滤光片对应的像素合并输出,得到信噪比较高的图像,而在光线较为充足的场景下,可将每个子滤光片对应的像素单独进行输出,从而得到清晰度和信噪比均较高的图像。
本申请的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实践了解到。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请某些实施方式的图像获取方法的流程示意图。
图2是本申请某些实施方式的图像获取装置的模块示意图。
图3是本申请某些实施方式的终端的结构示意图。
图4是本申请某些实施方式的图像传感器的分解示意图。
图5是本申请某些实施方式的像素阵列和读出电路的连接示意图。
图6是本申请某些实施方式的滤光片阵列的平面示意图。
图7a是本申请某些实施方式的滤光片阵列的最小重复单元的平面示意图。
图7b是本申请某些实施方式的滤光片阵列的最小重复单元的平面示意图。
图7c是本申请某些实施方式的滤光片阵列的最小重复单元的平面示意图。
图7d是本申请某些实施方式的滤光片阵列的最小重复单元的平面示意图。
图8是本申请某些实施方式的像素阵列的平面示意图。
图9是本申请某些实施方式的像素阵列的最小重复单元的平面示意图。
图10是本申请某些实施方式的图像获取方法的流程示意图。
图11是本申请某些实施方式的图像获取方法的流程示意图。
图12是本申请某些实施方式的图像获取方法的流程示意图。
图13是本申请某些实施方式的图像获取方法的流程示意图。
图14是本申请某些实施方式的图像获取方法的原理示意图。
图15是本申请某些实施方式的图像获取方法的原理示意图。
图16是本申请某些实施方式的图像获取方法的原理示意图。
图17是本申请某些实施方式的可读存储介质与处理器的连接示意图。
图18是本申请某些实施方式的图像处理电路的模块示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
请参阅图1,本申请实施方式的图像获取方法应用于图像传感器21,图像传感器21包括滤光片阵列22和像素阵列23,滤光片阵列22包括最小重复单元221,最小重复单元221包括多个滤光片组222,滤光片组222包括彩色滤光片223和全色滤光片224,彩色滤光片223的透过的光线的波段的宽度小于全色滤光片224透过的光线的波段的宽度,彩色滤光片223和全色滤光片224 均包括多个子滤光片225;像素阵列23包括多个像素231,每个像素231对应滤光片阵列22的一个子滤光片225,像素231用于接收穿过对应的子滤光片225的光线以生成电信号;图像获取方法包括以下步骤:
011:通过多种图像输出模式中的至少一种输出图像,多种图像输出模式包括根据每个像素231 读出的第一像素值以获取第一图像的全分辨率输出模式、根据全色滤光片224对应的多个像素231 合并读出的第二像素值和彩色滤光片223对应的多个像素231合并读出的第三像素值以获取第二图像的第一合并输出模式、及根据滤光片组222中的所有全色滤光片224对应的多个像素231合并读出的第四像素值和所有彩色滤光片223对应的多个像素231合并读出的第五像素值以获取第三图像的第二合并输出模式。
请结合图2,本申请实施方式的图像获取装置10应用于图像传感器21,图像获取装置10包括输出模块11。输出模块11用于执行步骤011。即,输出模块11用于通过多种图像输出模式中的至少一种输出图像。
请结合图3至图5,本申请实施方式的终端100包括图像传感器21和处理器30。图像传感器 21包括滤光片阵列22和像素阵列23,处理器30用于执行步骤011。即,处理器30用于通过多种图像输出模式中的至少一种输出图像。
终端100包括手机、平板电脑、笔记本电脑、柜员机、闸机、智能手表、头显设备等,可以理解,终端100还可以是其他任意图像处理功能的装置。下面以终端100为手机进行说明,但终端100不限于手机。终端100包括相机20、处理器30和壳体40。相机20和处理器30均设置在壳体40内,壳体40还可用于安装终端100的供电装置、通信装置等功能模块,以使壳体40为功能模块提供防尘、防摔、防水等保护。
相机20可以是前置相机、后置相机、侧置相机、屏下相机等,在此不做限制。相机20包括镜头及图像传感器21,相机20在拍摄图像时,光线穿过镜头并到达图像传感器21,图像传感器 21用于将照射到图像传感器21上的光信号转化为电信号。
请参阅图4和图5,图像传感器21包括微透镜阵列25、滤光片阵列22、像素阵列23和读出电路24。
微透镜阵列25包括多个微透镜251,微透镜251、子滤光片225和像素231一一对应设置,微透镜251用于将入射的光线进行会聚,会聚的光线穿过对应的子滤光片235后被对应的像素231 接收,像素231根据接收的光线生成电信号。
滤光片阵列22和像素阵列23均可以由多个最小重复单元221排列而成,为方便描述,滤光片阵列22的最小重复单元221下称第一最小重复单元,像素阵列23的最小重复单元232下称第二最小重复单元。
第一最小重复单元包括多个滤光片组222,例如第一最小重复单元包括2个滤光片组222、3 个滤光片组222、4个滤光片组222、5个滤光片组222、6个滤光片组222等,本申请实施方式中,第一最小重复单元包括4个滤光片组222,4个滤光片组222呈矩阵排列。
请参阅图6,每个滤光片组222均包括彩色滤光片223(如图6中存在填充图案的4个子滤光片225组成的矩形部分)和全色滤光片224(如图6中不存在填充图案的4个子滤光片225组成的矩形部分),彩色滤光片223的透过的光线的波段的宽度小于全色滤光片224透过的光线的波段的宽度,例如,彩色滤光片223的透过的光线的波段可对应红光的波段、绿光的波段、或蓝光的波段,全色滤光片224透过的光线的波段为所有可见光的波段,也即是说,彩色滤光片223仅允许特定颜色光线透光,而全色滤光片224可通过所有颜色的光线。当然,彩色滤光片223的透过的光线的波段还可对应其他色光的波段,如品红色光、紫色光、青色光、黄色光等,在此不作限制。
滤光片组222中彩色滤光片223的数量和全色滤光片224的数量之和为4、9、16、25等可排列成矩阵的数量。本实施方式中,滤光片组222中彩色滤光片223的数量和全色滤光片224的数量之和为4。
彩色滤光片223的数量和全色滤光片224的数量的比例可以是1:3、1:1或3:1。例如,彩色滤光片223的数量和全色滤光片224的数量的比例为1:3,则彩色滤光片223的数量为1,全色滤光片224的数量为3,此时全色滤光片224数量较多,在暗光下的成像质量更好;或者,彩色滤光片 223的数量和全色滤光片224的数量的比例为1:1,则彩色滤光片223的数量为2,全色滤光片224 的数量为2,此时既可以获得较好的色彩表现的同时,暗光下的成像质量也较好;或者,彩色滤光片223的数量和全色滤光片224的数量的比例为3:1,则彩色滤光片223的数量为3,全色滤光片 224的数量为1,此时可获得更好的色彩表现,且能提高暗光下的成像质量。本申请实施方式中,如图7a所示,彩色滤光片223的数量为2,全色滤光片224的数量为2,2个彩色滤光片223和2 个全色滤光片224呈矩阵排列,2个彩色滤光片223位于该矩阵对应的矩形的第一对角线D1方向上(具体为第一对角线D1上),2个全色滤光片224位于该矩阵对应的矩形的第二对角线D2方向上(具体为第二对角线D2上),第一对角线D1方向和第二对角线D2方向不同(如第一对角线D1方向和第二对角线D2方向不平行),从而兼顾了色彩表现和暗光成像质量。在其他实施方式中,一个彩色滤光片223和一个全色滤光片224位于第一对角线D1,另一个彩色滤光片223和另一个全色滤光片224位于第二对角线D2。
第一最小重复单元中的滤光片组222的彩色滤光片223的透过的光线的波段对应的颜色包括颜色a、颜色b和/或颜色c,例如第一最小重复单元中的滤光片组222的彩色滤光片223的透过的光线的波段对应的颜色包括颜色a、颜色b和颜色c、或者颜色a、颜色b或颜色c、或者颜色a和颜色b、或者颜色b和颜色c、或者颜色a和颜色c。其中,颜色a为红色,颜色b为绿色,颜色c 为蓝色,或者例如颜色a为品红色,颜色b为青色,颜色c为黄色等,在此不做限制。本申请实施方式中,第一最小重复单元中的滤光片组222的彩色滤光片223的透过的光线的波段对应的颜色包括颜色a、颜色b和颜色c,颜色a、颜色b和颜色c分别为绿色、红色和蓝色,具体的,第一最小重复单元中的4个滤光片组222(如图7所示,分别为第一滤光片组2221、第二滤光片组 2222、第三滤光片组2223和第四滤光片组2224)的彩色滤光片223对应的颜色分别为红色、绿色、蓝色和绿色,以形成类似拜耳阵列的排布,当然,第一滤光片组2221、第二滤光片组2222、第三滤光片组2223和第四滤光片组2224对应的颜色还可以分别是绿色、红色、绿色和蓝色、或者蓝色、绿色、红色和绿色等,在此不做限制。
彩色滤光片223和全色滤光片224均包括多个子滤光片225,例如彩色滤光片223和全色滤光片224包括2个子滤光片225、3个子滤光片225、4个子滤光片225、5个子滤光片225、6个子滤光片225等,本申请实施方式中,为方便矩阵排布,彩色滤光片223包括4个彩色子滤光片,和全色滤光片224包括4个全色子滤光片。同一彩色滤光片223(全色滤光片224)中的子滤光片 225透过的光线的波段相同。
请参阅图7a,在一个例子中,滤光片组222中彩色滤光片223的数量和全色滤光片224的数量之和为4,彩色滤光片223的数量和全色滤光片224的数量的比例为1:1,则第一最小重复单元为8行8列,包含64个子滤光片225,排布方式可以是:
Figure DEST_PATH_GDA0002784944890000041
其中,w表示全色子滤光片,a、b和c表示彩色子滤光片,全色子滤光片指的是可滤除可见光波段之外的所有光线的子滤光片225,彩色子滤光片包括红色子滤光片、绿色子滤光片、蓝色子滤光片、品红色子滤光片、青色子滤光片和黄色子滤光片。红色子滤光片为滤除红光之外的所有光线的子滤光片225,绿色子滤光片为滤除绿光之外的所有光线的子滤光片225,蓝色子滤光片为滤除蓝光之外的所有光线的子滤光片225,品红色子滤光片为滤除品红色光之外的所有光线的子滤光片225,青色色子滤光片为滤除青光之外的所有光线的子滤光片225,黄色子滤光片为滤除黄光之外的所有光线的子滤光片225。
a可以是红色子滤光片、绿色子滤光片、蓝色子滤光片、品红色子滤光片、青色子滤光片或黄色子滤光片,b可以是红色子滤光片、绿色子滤光片、蓝色子滤光片、品红色子滤光片、青色子滤光片或黄色子滤光片,c可以是红色子滤光片、绿色子滤光片、蓝色子滤光片、品红色子滤光片、青色子滤光片或黄色子滤光片。例如,b为红色子滤光片、a为绿色子滤光片、c为蓝色子滤光片;或者,c为红色子滤光片、a为绿色子滤光片、b为蓝色子滤光片;再例如,c为红色子滤光片、a 为绿色子滤光片、b为蓝色子滤光片;或者,a为红色子滤光片、b为蓝色子滤光片、c为绿色子滤光片等,在此不作限制;再例如,b为品红色子滤光片、a为青色子滤光片、b为黄色子滤光片等。在其他实施方式中,彩色滤光片还可包括其他颜色的子滤光片,如橙色子滤光片、紫色子滤光片等,在此不作限制。
请参阅图7b,在另一个例子中,滤光片组222中彩色滤光片223的数量和全色滤光片224的数量之和为4,彩色滤光片223的数量和全色滤光片224的数量的比例为1:1,则第一最小重复单元为8行8列,包含64个子滤光片225,排布方式还可以是:
Figure DEST_PATH_GDA0002784944890000051
请参阅图7c,在再一个例子中,滤光片组222中彩色滤光片223的数量和全色滤光片224的数量之和为9,滤光片组222中彩色滤光片223和全色滤光片224呈矩阵排列,彩色滤光片223的数量和全色滤光片224的数量的比例为4:5,则彩色滤光片223的数量为4,全色滤光片224的数量为5,此时全色滤光片224数量较多,在暗光下的成像质量更好;全色滤光片224位于滤光片组 222对应的矩形的第三对角线D3和第四对角线D4上,第三对角线D3和第四对角线D4为该矩形的对角线,彩色滤光片223位于第三对角线D3方向或第四对角线D4方向上且不位于第三对角线 D3和第四对角线D4上,第三对角线D3方向和第四对角线D4方向不同(如第三对角线D3方向和第四对角线D4方向不平行),具体地,第一最小重复单元为12行12列,包含144个子滤光片 225,排布方式可以是:
Figure DEST_PATH_GDA0002784944890000052
请参阅图7d,在又一个例子中,滤光片组222中彩色滤光片223的数量和全色滤光片224的数量之和为9,滤光片组222中彩色滤光片223和全色滤光片224呈矩阵排列,彩色滤光片223的数量和全色滤光片224的数量的比例为5:4,则彩色滤光片223的数量为5,全色滤光片224的数量为4,此时彩色滤光片223数量较多,此时可获得更好的色彩表现,且能提高暗光下的成像质量;彩色滤光片223位于滤光片组222对应的矩形的第五对角线D5和第六对角线D6上,第五对角线 D5和第四对角线D6为该矩形的对角线,全色滤光片223位于第五对角线D5方向或第六对角线 D6方向上且不位于第五对角线D5和第六对角线D6上,第五对角线D5方向和第六对角线D6方向不同(如第五对角线D5方向和第六对角线D6方向不平行),具体地,第一最小重复单元为12 行12列,包含144个子滤光片225,排布方式还可以是:
Figure DEST_PATH_GDA0002784944890000053
Figure DEST_PATH_GDA0002784944890000061
本实施方式的图像传感器21、相机20和终端100包括全色滤光片224,在拍摄时图像传感器 10可获取到更多的光量,从而无需调节拍摄参数,在不影响拍摄的稳定性的情况下,提高暗光下的成像质量,暗光下成像时,可兼顾稳定性和质量,暗光下成像的稳定性和质量均较高。且全色滤光片224和彩色滤光片223均由4个子滤光片225组成,在暗光下成像时可将4个子滤光片225 对应的像素231合并输出,得到信噪比较高的图像,而在光线较为充足的场景下,可将每个子滤光片225对应的像素231单独进行输出,从而得到清晰度和信噪比均较高的图像。
请结合图4和图8,像素阵列23包括多个像素231,每个像素231对应一个子滤光片225,像素231用于接收穿过对应的子滤光片225的光线以生成电信号,处理器30处理电信号以获取像素 231的像素值。
第二最小重复单元包括多个像素组233,与第二最小重复单元中的滤光片组222对应,第二最小重复单元包括4个像素组233且呈矩阵排列,每个像素组233对应一个滤光片组222,如图9所示,4个像素组233包括第一像素组2331、第二像素组2332、第三像素组2333和第四像素组2334,第一像素组2331、第二像素组2332、第三像素组2333和第四像素组2334分别与第一滤光片组2221、第二滤光片组2222、第三滤光片组2223和第四滤光片组2224对应设置。
像素组233包括彩色像素单元234和全色像素单元235,彩色像素单元234和全色像素单元 235分别与彩色滤光片223和全色滤光片224一一对应设置。本实施方式中,彩色像素单元234和全色像素单元235均为2个,2个彩色像素单元234和2个全色像素单元235呈矩阵排列,2个彩色像素单元234位于该矩阵对应的矩形的一个第七对角线D7上,2个全色像素单元235位于该矩阵对应的矩形的第八对角线D8上。
彩色像素单元234包括彩色像素2341,全色像素单元235包括全色像素2311。彩色像素2341 与彩色滤光片223的子滤光片225(下称彩色子滤光片)一一对应设置,全色像素2311与全色滤光片224的子滤光片225(下称全色子滤光片)一一对应设置,与彩色滤光片223和全色滤光片 224分别包括4个彩色子滤光片和4个全色子滤光片对应,彩色像素单元234和全色像素单元235 也分别包括4个彩色像素2341和4个全色像素2311。彩色像素2341能够接收对应的彩色子滤光片透过的特定颜色(如红色、绿色、或蓝色)的光线以生成电信号,全色像素2311能够接收对应的全色子滤光片透过的所有颜色的光线以生成电信号,处理器30根据电信号即可获取全色像素 2311及彩色像素2341对应的像素值。
彩色像素2341包括的颜色与对应设置的彩色子滤光片透过的光线的波段对应,第二最小重复单元中的彩色像素2341同样包括颜色a、颜色b和颜色c,例如第一最小重复单元中的彩色子滤光片透过的光线的波段包括红光的波段、绿光的波段和蓝光的波段,则彩色像素2341包括红色、绿色和蓝色。与4个滤光片组222对应的颜色对应,4个像素组233(即,第一像素组2331、第二像素组2332、第三像素组2333和第四像素组2334)中的彩色像素单元234的彩色像素2341对应的颜色分别为红色、绿色、蓝色和绿色,即颜色a为绿色、颜色b为红色、颜色c为蓝色。可以理解,彩色像素2341包括的颜色并不是彩色像素2341本身的颜色,而是彩色像素2341对应的彩色子滤光片透过的光线的波段对应的颜色。
第二最小重复单元中的全色像素2311的颜色与对应设置的第一最小重复单元中的全色子滤光片透过的光线的波段对应,例如全色像素2311包括颜色W,全色子滤光片透过的光线的波段为可见光波段,则颜色W为白色。可以理解,全色像素2311包括的颜色并不是全色像素2311本身的颜色,而是全色像素2311对应的全色子滤光片透过的光线的波段对应的颜色。
请参阅图5,读出电路24与像素阵列23电连接,用于控制像素阵列23的曝光以及像素231 的像素值的读取和输出。
读出电路24包括垂直驱动单元241、控制单元242、列处理单元243和水平驱动单元244。
垂直驱动单元241包括移位寄存器和地址译码器。垂直驱动单元241包括读出扫描和复位扫描功能。读出扫描是指顺序地逐行扫描像素231,从这些像素231逐行地读取信号。例如,被选择并被扫描的像素行中的每一像素231输出的信号被传输到列处理单元243。复位扫描用于复位电荷,像素231的光电转换元件的光电荷被丢弃,从而可以开始新的光电荷的积累。
由列处理单元243执行的信号处理是相关双采样(CDS)处理。在CDS处理中,取出从所选像素行中的每一像素231输出的复位电平和信号电平,并且计算电平差。因而,获得了一行中的像素231的信号。列处理单元243可以具有用于将模拟像素信号转换为数字格式的模数(A/D)转换功能。
水平驱动单元244包括移位寄存器和地址译码器。水平驱动单元244顺序逐列扫描像素阵列 11。通过水平驱动单元244执行的选择扫描操作,每一像素列被列处理单元243顺序地处理,并且被顺序输出。
控制单元242根据操作模式配置时序信号,利用多种时序信号来控制垂直驱动单元241、列处理单元243和水平驱动单元244协同工作。
具体地,处理器30可针对当前场景,在多种图像输出模式中选取至少一种来输出图像。例如,用户为了实现最高清晰度的图像的获取,可选取多种图像输出模式中的全分辨率输出模式输出图像。全分辨率输出模式中,每个像素231均输出一个第一像素值,从而生成分辨率大小等于图像传感器21的分辨率的图像,例如图像传感器21的分辨率为4800万像素,则可生成一张4800万像素大小的第一图像;
再例如,当前环境亮度不是很充足,用户为了提高图像的信噪比,可选择多种图像输出模式中的第一合并输出模式输出图像。第一合并输出模式中,全色滤光片224对应的全色像素单元235 内的4个全色像素2311的电信号会被合并读出,以得到一个第二像素值,彩色滤光片223对应的彩色像素单元234内4个彩色像素2341的电信号会被合并读出,以得到一个第三像素值,根据所有的第三像素值和第四像素值可生成一张分辨率大小等于图像传感器21的分辨率的1/4的图像,例如图像传感器21的分辨率为4800万像素,则可生成一张1200万像素大小的第二图像;
再例如,当前环境亮度严重不足时,用户为了最大化的提高图像的信噪比,可选择多种图像输出模式中的第二合并输出模式输出图像。第二合并输出模式中,每个滤光片组222中的所有全色滤光片224对应的全色像素单元235内的8个全色像素2311的电信号会被合并读出,以得到一个第四像素值,每个滤光片组222中的所有彩色滤光片223对应的彩色像素单元234内的8个彩色像素2341的电信号会被合并读出,以得到一个第五像素值,然后所有第四像素值和所有第五像素值分别生成一个中间图像,两个中间图像合成后可生成一张分辨率大小等于图像传感器21的分辨率的1/16的图像,例如图像传感器21的分辨率为4800万像素,则可生成一张300万像素大小的第三图像。
其中,电信号合并读出可以是将多个像素231积累的电信号进行累加以得到一个累加电信号,然后根据该累加电信号确定对应的像素值,或者,电信号合并读出还可以是将每个像素231的像素值读出后将多个像素值进行累加以作为一个像素的像素值。
当然,处理器30可同时选择多种图像输出模式中的多种,以输出第一图像、第二图像和/或第三图像。例如,处理器30同时输出第一图像和第二图像、或第二图像和第三图像、或第一图像和第三图像、或第一图像、第二图像和第三图像。用户可从多种图像输出模式输出的多种图像中选取较为满意的图像。
本申请实施方式的图像获取方法、图像获取装置和终端100通过多种图像输出模式中至少一种输出图像,可针对不同场景使用不同的图像输出模式,对不同场景的适应能力较强,可在清晰度和信噪比之间取得较佳的平衡,提高不同场景下的成像效果。
请再次参阅图1,在某些实施方式中,图像获取方法包括:
012:获取拍摄信息,拍摄信息包括环境亮度和拍摄参数中至少一个;
013:确定与所述拍摄信息适配的所述图像输出模式。
请再次参阅图2,在某些实施方式中,图像处理装置10还包括获取模块12和确定模块13。获取模块12和确定模块13分别用于执行步骤012和步骤013。即,获取模块12用于获取拍摄信息;确定模块13用于确定与所述拍摄信息适配的所述图像输出模式。
请再次参阅图3,在某些实施方式中,处理器30还用于执行步骤012和步骤013。即,处理器你20还用于获取拍摄信息和确定与所述拍摄信息适配的所述图像输出模式。
具体地,处理器30首先获取拍摄信息,拍摄信息包括环境亮度和拍摄参数中至少一个,例如拍摄信息包括环境亮度、或者拍摄信息包括拍摄参数、或者拍摄信息包括环境亮度和拍摄参数,其中,拍摄参数可包括拍摄模式、曝光参数等。本实施方式以拍摄参数包括环境亮度和拍摄参数 (拍摄参数包括拍摄模式)为例进行说明。
处理器30可获取当前拍摄模式和终端100的光传感器50(图3示)采集的环境光强度信号,然后根据光强度信号确定环境亮度;或者处理器30可控制相机20拍摄图像,然后根据拍摄图像的灰度值分布确定环境亮度;或者在拍摄图像时,为了在不同环境亮度下取得较好的拍摄效果,一般会自动调节曝光参数,如调节光圈大小、感光度等,环境亮度和曝光参数存在映射关系,处理器30根据拍摄图像时的曝光参数即可确定环境亮度。
在获取到环境亮度和拍摄参数后,处理器30可确定与环境亮度和/或拍摄参数适配的图像输出模式。例如,处理器30可确定与拍摄模式和环境亮度适配的图像输出模式。
由于拍摄模式一般需要用户主动选择,因此,处理器30可优先根据拍摄模式确定图像输出模式,例如拍摄模式为全分辨率模式时,处理器30确定适配的图像输出模式为全分辨率输出模式;再例如,拍摄模式为高分辨率模式,则处理器30确定适配的图像输出模式为第一合并输出模式;再例如,拍摄模式为低分辨率模式,则处理器30确定适配的图像输出模式为第二合并输出模式。
在未选择拍摄模式时,处理器30可确定与环境亮度适配的图像输出模式。
例如,在环境亮度较高时(如环境亮度高于第一环境亮度阈值),处理器30可确定适配的图像输出模式为全分辨率输出模式;在环境亮度正常时(如环境亮度高于第二环境亮度阈值小于第一环境亮度阈值),处理器30可确定适配的图像输出模式为第一合并输出模式;在环境亮度较低时(如环境亮度小于第二环境亮度阈值),处理器30可确定适配的图像输出模式为第二合并输出模式。从而针对不同环境亮度选择适配的图像输出模式,在清晰度和信噪比之间取得较好的平衡,保证清晰度和信噪比不会过低,从而提高成像质量。
在确定图像输出模式后,处理器30即可控制图像传感器21按适配的图像输出模式输出对应的图像。随着拍摄信息的变化,图像输出模式可实时变化,处理器30实时获取拍摄信息,每隔预定时间确定一次图像输出模式,从而保证图像输出模式与当前拍摄信息的实时适配。且图像传感器21包括全色滤光片224,可提高像素的进光量,提升暗光下的成像效果。
能够根据拍摄信息确定对应的图像输出模式,从而在应对具有不同的环境亮度、拍摄参数等拍摄信息的场景时,选择合适的图像输出模式,在清晰度和信噪比之间取得较佳的平衡,对不同场景的适应能力较强,可提高不同场景下的成像效果。
请参阅图10,在某些实施方式中,步骤013(具体为确定与环境亮度适配的图像输出模式) 包括以下步骤:
0131:在环境亮度大于第一环境亮度阈值时,确定图像输出模式为全分辨率输出模式;
0132:在环境亮度大于第二环境亮度阈值且小于第一环境亮度阈值时,确定图像输出模式为第一合并输出模式;及
0133:在环境亮度小于第二环境亮度阈值时,确定图像输出模式为第二合并输出模式,第一环境亮度阈值大于第二环境亮度阈值。
请再次参阅图2,在某些实施方式中,确定模块13还用于执行步骤0131、步骤0132和步骤 0133。即,确定模块13还用于在环境亮度大于第一环境亮度阈值时,确定图像输出模式为全分辨率输出模式;在环境亮度大于第二环境亮度阈值且小于第一环境亮度阈值时,确定图像输出模式为第一合并输出模式;及在环境亮度小于第二环境亮度阈值时,确定图像输出模式为第二合并输出模式。
请再次参阅图3,在某些实施方式中,处理器30还用于执行步骤0131、步骤0132和步骤0133。即,处理器30还用于在环境亮度大于第一环境亮度阈值时,确定图像输出模式为全分辨率输出模式;在环境亮度大于第二环境亮度阈值且小于第一环境亮度阈值时,确定图像输出模式为第一合并输出模式;及在环境亮度小于第二环境亮度阈值时,确定图像输出模式为第二合并输出模式。
具体的,处理器30获取的拍摄信息可仅包括环境亮度,在确定与拍摄信息适配的图像输出模式时,确定与环境亮度适配的图像输出模式,环境亮度的获取较为简单,可简单快速地确定图像输出模式。
在终端100出厂时,可预设依次减小的第一环境亮度阈值和第二环境亮度阈值,第一环境亮度阈值和第二环境亮度阈值可根据经验值确定,或者通过对终端100进行测试得到,例如将终端 100放置在一环境亮度可调的环境下,通过调节环境亮度,获取与环境亮度对应的图像传感器21 的像素的电信号,例如建立图像传感器21的像素的电信号的平均值与环境亮度的映射关系,在该平均值对应的像素值为200时,认为该平均值对应的环境亮度为第一环境亮度阈值,在该平均值对应的像素值为150时,认为该平均值对应的环境亮度为第二环境亮度阈值。如此,环境亮度阈值根据对终端100的图像传感器21测试得到,环境亮度阈值与终端100更为适配,环境亮度阈值的准确性较高。
在环境亮度大于第一环境亮度阈值时(下称高亮环境),此时环境光充足,每个像素能够得到的光量较多,处理器30可确定适配的图像输出模式为全分辨率输出模式,以得到清晰度和信噪比均较高的第一图像;在环境亮度大于第二环境亮度阈值且小于或等于第一环境亮度阈值时(下称中亮环境),此时环境光仍较多,但相较于高亮环境,每个像素能够得到的光量降低了,处理器30可确定适配的图像输出模式为第一合并输出模式,以得到清晰度略微降低但信噪比提升的第二图像;在环境亮度小于或等于第二环境亮度阈值时(下称低亮环境),此时环境光较少,每个像素能够得到的光量也较少,处理器30可确定适配的图像输出模式为第二合并输出模式,以得到清晰度降低但信噪比显著提升的第三图像。从而针对不同环境亮度选择适配的图像输出模式,在清晰度和信噪比之间取得较好的平衡,保证清晰度和信噪比不会过低,从而提高成像质量。
请参阅图11,在某些实施方式中,拍摄参数包括曝光参数,步骤013(具体为确定与环境亮度和拍摄参数适配的图像输出模式)还包括以下步骤:
0134:根据环境亮度和曝光参数确定进光量;
0135:在进光量大于第一进光量阈值时,确定图像输出模式为全分辨率输出模式;
0136:在环境亮度大于第二进光量阈值且小于第一进光量阈值时,确定图像输出模式为第一合并输出模式;
0137:在环境亮度小于第二进光量阈值时,确定图像输出模式为第二合并输出模式。
请再次参阅图2,在某些实施方式中,确定模块13还用于执行步骤0134、步骤0135、步骤 0136和步骤0137。即,确定模块13还用于根据环境亮度和曝光参数确定进光量;在进光量大于第一进光量阈值时,确定图像输出模式为全分辨率输出模式;在环境亮度大于第二进光量阈值且小于第一进光量阈值时,确定图像输出模式为第一合并输出模式;及在环境亮度小于第二进光量阈值时,确定图像输出模式为第二合并输出模式。
请再次参阅图3,在某些实施方式中,处理器30还用于执行步骤0134、步骤0135、步骤0136 和步骤0137。即,处理器30还用于根据环境亮度和曝光参数确定进光量;在进光量大于第一进光量阈值时,确定图像输出模式为全分辨率输出模式;在环境亮度大于第二进光量阈值且小于第一进光量阈值时,确定图像输出模式为第一合并输出模式;及在环境亮度小于第二进光量阈值时,确定图像输出模式为第二合并输出模式。
具体的,由于相机20在拍摄时可调节曝光参数如光圈大小、快门时间、感光度等,而即使相同的环境亮度下,不同的曝光参数下像素的像素值也是存在明显差异的。例如,在环境亮度不变的情况下,光圈越大,则进光量越大,每个像素能够得到的光量就越多,像素值则越大;再例如,在环境亮度不变的情况下,快门时间越大,进光量也越大,每个像素能够得到的光量就越多,像素值则越大;再例如,在环境亮度不变的情况下,感光度越大,虽然实际进光量并不会发生变化,但是相同的进光量产生的电信号变大了,也可以等同于进光量变大了,像素值也会越大;因此,除了环境亮度外,曝光参数也影响着图像输出模式的选择,例如以曝光参数包括光圈大小为例,高亮环境下光圈大小较小时的进光量可能小于中亮环境下光圈较大时的进光量,因此,处理器30 可先根据环境亮度和曝光参数确定进光量,然后根据进光量来确定图像输出模式。
具体为,在进光量大于第一进光量阈值时,每个像素能够得到的光量较多,处理器30可确定适配的图像输出模式为全分辨率输出模式,以得到清晰度和信噪比均较高的第一图像;在进光量大于第二进光量阈值且小于或等于第一进光量阈值时,每个像素能够得到的光量降低了,处理器 30可确定适配的图像输出模式为第一合并输出模式,以得到清晰度略微降低但信噪比提升的第二图像;在进光量小于或等于第二进光量阈值时,每个像素能够得到的光量也较少,处理器30可确定适配的图像输出模式为第二合并输出模式,以得到清晰度降低但信噪比显著提升的第三图像。从而针对不同环境亮度和曝光参数选择适配的图像输出模式,在清晰度和信噪比之间取得较好的平衡,保证清晰度和信噪比不会过低,从而提高成像质量。
请参阅图12,在某些实施方式中,步骤011包括以下步骤:
0111:通过全分辨率输出模式输出第一图像;和/或
0112:通过第一合并输出模式输出第二图像;和/或
0113:通过第二合并输出模式输出第三图像。
请再次参阅图2,在某些实施方式中,确定模块13还用于执行步骤0111、步骤0112和步骤 0113。即,确定模块13还用于通过全分辨率输出模式输出第一图像;和/或通过第一合并输出模式输出第二图像;和/或通过第二合并输出模式输出第三图像。
请再次参阅图3,在某些实施方式中,处理器30还用于执行步骤0111、步骤0112和步骤0113。即,处理器30用于通过全分辨率输出模式输出第一图像;和/或通过第一合并输出模式输出第二图像;和/或通过第二合并输出模式输出第三图像。
具体的,在图像输出模式为全分辨率输出模式时,处理器30控制图像传感器21按全分辨率输出模式输出第一图像;在图像输出模式为第一合并输出模式时,处理器30控制图像传感器21 按第一合并输出模式输出第二图像;在图像输出模式为第二合并输出模式时,处理器30控制图像传感器21按第二合并输出模式输出第三图像。
处理器30还可控制图像传感器21同时按全分辨率输出模式和第一合并输出模式输出第一图像和第二图像、或者处理器30可控制图像传感器21同时按全分辨率输出模式和第二合并输出模式输出第一图像和第三图像、或者处理器30可控制图像传感器21同时按第一合并输出模式和第二合并输出模式输出第二图像和第三图像、或者处理器30可控制图像传感器21同时按全分辨率输出模式、第一合并输出模式和第二合并输出模式输出第一图像、第二图像和第三图像。
在图像传感器21同时输出第一图像和第二图像、或者第二图像和第三图像、或者第一图像和第三图像、或者第一图像、第二图像和第三图像后,用户可根据自身喜好选择目标图像进行保存。
可以理解,图像传感器21同时输出多张图像可以是:图像传感器21根据不同的图像输出模式快速进行多次输出以得到多张图像;还可以是:图像传感器21输出每个像素的像素值(即,以全分辨率模式输出第一图像),然后处理器30根据每个像素值进行合并处理以分别输出第一图像、第二图像和/或第三图像。
如此,处理器30可通过适配的图像输出模式控制图像传感器21输出对应的图像。
请参阅图13,在某些实施方式中,步骤0111包括以下步骤:
01111:基于预定的第一插值算法,对每个第一像素值进行插值以获取呈拜耳阵列排布的第一图像。
请再次参阅图2,在某些实施方式中,确定模块13还用于执行步骤01111。即,确定模块13 还用于基于预定的第一插值算法,对每个第一像素值进行插值以获取呈拜耳阵列排布的第一图像。
请再次参阅图3,在某些实施方式中,处理器30还用于执行步骤01111。即,处理器30还用于基于预定的第一插值算法,对每个第一像素值进行插值以获取呈拜耳阵列排布的第一图像。
请参阅图14,具体地,在确定图像输出模式为全分辨率输出模式时,图像传感器21获取每个像素的第一像素值以生成原始图像P0,原始图像P0中的像素P01与像素阵列23中的像素231(图 8示)一一对应,然后处理器30基于预设的第一插值算法,对原始图像P0中的每个像素P01的第一像素值进行插值,以使得原始图像P0中的每个第一像素值均被插值为第一图像P1中对应的目标像素P11的像素值,第一图像P1的像素P11和原始图像P0的像素P01一一对应,第一图像P1 中与被插值的像素的位置对应的像素为目标像素。如图14所示,根据要生成的呈拜耳阵列的第一图像P1中每个像素的颜色(颜色a为绿色、颜色b为红色、颜色c为蓝色),将原始图像P0中的像素P01的第一像素值均转换为第一图像P1中目标像素P11的颜色的目标像素值,例如,第一图像P1的左上角的第一个目标像素P11(待插值像素的目标像素)为红色像素,则处理器30根据原始图像P0中,该待插值像素的第一像素值及该待插值像素周围的红色像素P01的第一像素值对该待插值像素进行插值处理(如取均值等),从而将待插值像素的第一像素值转换为目标像素P11 的目标像素值。如此,可将原始图像P0中每个像素P01插值转换成第一图像P1中对应的目标像素P11,以生成呈拜耳阵列排布的第一图像P1。
请再次参阅图13,在某些实施方式中,步骤0112包括:
01121:基于预定的第二插值算法,对每个第二像素值和第三像素值进行插值以获取呈拜耳阵列排布的第二图像。
请再次参阅图2,在某些实施方式中,确定模块13还用于执行步骤0321。即,确定模块13 还用于基于预定的第二插值算法,对每个第二像素值和第三像素值进行插值以获取呈拜耳阵列排布的第二图像。
请再次参阅图3,在某些实施方式中,处理器30还用于执行步骤0321。即,处理器30还用于基于预定的第二插值算法,对每个第二像素值和第三像素值进行插值以获取呈拜耳阵列排布的第二图像。
请参阅图15,具体地,在确定图像输出模式为第一合并输出模式时,图像传感器21将全色滤光片224对应的全色像素单元235内的4个全色像素2351的电信号合并读出,以得到一个第二像素值,彩色滤光片223对应的彩色像素单元内的4个彩色像素2341的电信号合并读出,以得到一个第三像素值,然后图像传感器21根据第二像素值和第三像素值输出原始图像P0’,此时的原始图像P0’的像素数为原始图像P0的1/4。处理器30基于预设的第二插值算法对原始图像P0’中的第二像素值和第三像素值进行插值,以获取呈拜耳阵列排布的第二图像P2,第二图像P2的像素 P21和原始图像P0’的像素P01’一一对应,第二图像P2中与被插值的像素的位置对应的像素为目标像素P21。处理器30可根据要生成的拜耳阵列的第二图像P2中每个像素的颜色(颜色a为绿色、颜色b为红色、颜色c为蓝色),将原始图像P0’中的像素P01’的第二像素值或第三像素值转换为第二图像P2中目标像素P21的颜色的目标像素值,例如,第二图像P2的左上角的第一个像素P21为红色像素(待插值像素的目标像素),则处理器30根据原始图像P0’左上角第一个像素P01’(即,待插值像素)的第二像素值及周围的红色像素P01’的第三像素值对该待插值像素进行插值处理,从而将该待插值像素的第二像素值转换为目标像素P21的目标像素值。如此,可将原始图像P0’中像素P01’插值转换成第二图像P2中对应的目标像素P21,以生成呈拜耳阵列排布的第二图像P2。
请再次参阅图13,在某些实施方式中,步骤0113包括:
01131:基于预定的第三插值算法,对每个第四像素值和第五像素值进行插值以获取呈拜耳阵列排布的第三图像。
请再次参阅图2,在某些实施方式中,确定模块13还用于执行步骤0331。即,确定模块13 还用于基于预定的第三插值算法,对每个第四像素值和第五像素值进行插值以获取呈拜耳阵列排布的第三图像。
请再次参阅图3,在某些实施方式中,处理器30还用于执行步骤0331。即,处理器30还用于基于预定的第三插值算法,对每个第四像素值和第五像素值进行插值以获取呈拜耳阵列排布的第三图像。
具体地,在确定图像输出模式为第二合并输出模式时,图像传感器21将每个滤光片组222中的所有全色滤光片224对应的全色像素单元235内的8个全色像素2351的电信号合并读出,以得到一个第四像素值,将每个滤光片组222中的所有彩色滤光片223对应的彩色像素单元234内的8 个彩色像素2341的电信号合并读出,以得到一个第五像素值,然后图像传感器21根据第四像素值和第五像素值分别输出第一中间图像B1和第二中间图像B2。处理器30基于预设的第三插值算法,对第一中间图像B1和第二中间图像B2进行插值,以获取呈拜耳阵列排布的第三图像P3。例如,可将第一中间图像B1和第二中间图像B2中位置对应的像素的像素值进行加权求和(例如权值均为0.5),以作为第三图像P3中对应位置的目标像素P31的目标像素值,例如,将第一中间图像B1左上角的第一个像素B11的第四像素值x1和第二中间图像B2左上角的第一个像素B21 的第五像素值x2进行加权求和以得到第三图像P3左上角第一个像素P31的目标像素值为 0.5x1+0.5x2,从而根据第一中间图像B1和第二中间图像B2插值得到呈拜尔阵列排布的第三图像 P3。
可以理解的是,上述实施方式中,不同图像之间的对应位置的像素指的是,以图像左上角第一个像素为坐标原点,不同图像中坐标相同的像素即为位置对应的像素。
请结合图1和图17,本申请实施例还提供了一种非易失性计算机可读存储介质200。一个或多个包含计算机程序201的非易失性计算机可读存储介质200中,当计算机程序201被一个或多个处理器300执行时,使得处理器300执行以下步骤:
011:通过多种图像输出模式中的至少一种输出图像。
请结合图10,进一步地,当计算机程序201被一个或多个处理器300执行时,处理器300还可以执行以下步骤:
0131:在环境亮度大于第一环境亮度阈值时,确定图像输出模式为全分辨率输出模式;
0132:在环境亮度大于第二环境亮度阈值且小于第一环境亮度阈值时,确定图像输出模式为第一合并输出模式;及
0133:在环境亮度小于第二环境亮度阈值时,确定图像输出模式为第二合并输出模式,第一环境亮度阈值大于第二环境亮度阈值。
请参阅图18,本申请实施例处理器30可以是图像处理电路80,图像处理电路80可利用硬件和/或软件组件实现,包括定义ISP(Image Signal Processing,图像信号处理)管线的各种处理单元。图18为一个实施例中图像处理电路800的示意图。如图18所示,为便于说明,仅示出与本申请实施例相关的图像处理技术的各个方面。
如图18所示,图像处理电路80包括ISP处理器81和控制逻辑器82。相机83捕捉的图像数据首先由ISP处理器81处理,ISP处理器81对图像数据进行分析以捕捉可用于确定相机83的一个或多个控制参数的图像统计信息。相机83(相机83可以是如图3所示的终端100的相机20) 可包括一个或多个透镜832和图像传感器834(图像传感器834可以是如图3所示的相机20的图像传感器21)。图像传感器834可包括色彩滤镜阵列(色彩滤镜阵列可以是图6所示的滤光片阵列 22),图像传感器834可获取每个成像像素捕捉的光强度和波长信息,并提供可由ISP处理器81 处理的一组原始图像数据。传感器84(如陀螺仪)可基于传感器84接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器81。传感器84接口可以为SMIA(Standard Mobile Imaging Architecture,标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。
此外,图像传感器834也可将原始图像数据发送给传感器84,传感器84可基于传感器84接口类型把原始图像数据提供给ISP处理器81,或者传感器84将原始图像数据存储到图像存储器 85中。
ISP处理器81按多种格式逐个像素地处理原始图像数据。例如,每个图像像素可具有8、10、 12或14比特的位深度,ISP处理器81可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中,图像处理操作可按相同或不同的位深度精度进行。
ISP处理器81还可从图像存储器85接收图像数据。例如,传感器84接口将原始图像数据发送给图像存储器85,图像存储器85中的原始图像数据再提供给ISP处理器81以供处理。图像存储器85可为存储器53、存储器53的一部分、存储设备、或电子设备内的独立的专用存储器,并可包括DMA(Direct Memory Access,直接直接存储器存取)特征。
当接收到来自图像传感器834接口或来自传感器84接口或来自图像存储器85的原始图像数据时,ISP处理器81可进行一个或多个图像处理操作,如插值处理、中值滤波、双边平滑滤波等。处理后的图像数据可发送给图像存储器85,以便在被显示之前进行另外的处理。ISP处理器81从图像存储器85接收处理数据,并对处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器81处理后的图像数据可输出给显示器87(显示器87可以是如图3所示的终端100的显示屏60),以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit,图形处理器)进一步处理。此外,ISP处理器81的输出还可发送给图像存储器85,且显示器87可从图像存储器85读取图像数据。在一个实施例中,图像存储器85可被配置为实现一个或多个帧缓冲器。此外,ISP处理器81的输出可发送给编码器/解码器86,以便编码/解码图像数据。编码的图像数据可被保存,并在显示于显示器87设备上之前解压缩。编码器/解码器86可由CPU或GPU 或协处理器实现。
ISP处理器81确定的统计数据可发送给控制逻辑器82单元。例如,统计数据可包括图像输出模式、自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜832阴影校正等图像传感器834统计信息。控制逻辑器82可包括执行一个或多个例程(如固件)的处理元件和/或微控制器,一个或多个例程可根据接收的统计数据,确定相机83的控制参数及ISP处理器81的控制参数。例如,相机83的控制参数可包括传感器84控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、透镜832控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP 控制参数可包括用于自动白平衡和颜色调整(例如,在RGB处理期间)的增益水平和色彩校正矩阵,以及透镜832阴影校正参数。
请结合图1,以下为运用图像处理电路80(具体为ISP处理器81)实现图像获取方法的步骤:
011:通过多种图像输出模式中的至少一种输出图像。
请结合图10,进一步地,运用图像处理电路80(具体为ISP处理器81)还可以执行以下步骤:
0131:在环境亮度大于第一环境亮度阈值时,确定图像输出模式为全分辨率输出模式;
0132:在环境亮度大于第二环境亮度阈值且小于第一环境亮度阈值时,确定图像输出模式为第一合并输出模式;及
0133:在环境亮度小于第二环境亮度阈值时,确定图像输出模式为第二合并输出模式,第一环境亮度阈值大于第二环境亮度阈值。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)等。
以上实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (14)

1.一种图像传感器,其特征在于,所述图像传感器包括滤光片阵列和像素阵列,所述滤光片阵列包括最小重复单元,所述最小重复单元包括多个滤光片组,所述滤光片组包括彩色滤光片和全色滤光片,所述彩色滤光片具有比所述全色滤光片的更窄的光谱响应,所述彩色滤光片和所述全色滤光片均包括4个子滤光片;所述像素阵列包括多个像素,每个所述像素对应所述滤光片阵列的一个所述子滤光片,所述像素用于接收穿过对应的所述子滤光片的光线以生成电信号。
2.根据权利要求1所述的图像传感器,其特征在于,所述滤光片组为4个,4个所述滤光片组呈矩阵排列。
3.根据权利要求2所述的图像传感器,其特征在于,在每个所述滤光片组中,所述全色滤光片设置在第一对角线方向,所述彩色滤光片设置在第二对角线方向,所述第一对角线方向与所述第二对角线方向不同。
4.根据权利要求3所述的图像传感器,其特征在于,所述最小重复单元为8行8列64个所述子滤光片,排布方式为:
Figure DEST_PATH_FDA0003007509680000011
其中,w表示全色子滤光片,a、b和c均表示彩色子滤光片。
5.根据权利要求3所述的图像传感器,其特征在于,所述最小重复单元为8行8列64个所述子滤光片,排布方式为:
Figure DEST_PATH_FDA0003007509680000012
其中,w表示全色子滤光片,a、b和c均表示彩色子滤光片。
6.根据权利要求2所述的图像传感器,其特征在于,在每个所述滤光片组中,所述全色滤光片设置在第三对角线及第四对角线上,所述彩色滤光片设置在第三对角线方向或第四对角线方向,所述第三对角线方向与所述第四对角线方向不同。
7.根据权利要求6所述的图像传感器,其特征在于,所述最小重复单元为12行12列144个所述子滤光片,排布方式为:
Figure DEST_PATH_FDA0003007509680000013
Figure DEST_PATH_FDA0003007509680000021
其中,w表示全色子滤光片,a、b和c均表示彩色子滤光片。
8.根据权利要求1所述的图像传感器,其特征在于,在每个所述滤光片组中,所述彩色滤光片设置在第五对角线及第六对角线上,所述全色滤光片设置在第五对角线方向或第六对角线方向,所述第五对角线方向与所述第六对角线方向不同。
9.根据权利要求8所述的图像传感器,其特征在于,所述最小重复单元为12行12列144个所述子滤光片,排布方式为:
Figure DEST_PATH_FDA0003007509680000022
其中,w表示全色子滤光片,a、b和c均表示彩色子滤光片。
10.根据权利要求4、5、7和9任一项所述的图像传感器,其特征在于,
所述a为红色子滤光片、绿色子滤光片、蓝色子滤光片、品红色子滤光片、青色子滤光片、或黄色子滤光片中的任意一种;或
所述b为红色子滤光片、绿色子滤光片、蓝色子滤光片、品红色子滤光片、青色子滤光片、或黄色子滤光片中的任意一种;或
所述c为红色子滤光片、绿色子滤光片、蓝色子滤光片、品红色子滤光片、青色子滤光片、或黄色子滤光片中的任意一种;或
所述a为红色子滤光片、绿色子滤光片、蓝色子滤光片、品红色子滤光片、青色子滤光片、或黄色子滤光片中的任意一种;所述b为红色子滤光片、绿色子滤光片、蓝色子滤光片、品红色子滤光片、青色子滤光片、或黄色子滤光片中的任意一种;或
所述a为红色子滤光片、绿色子滤光片、蓝色子滤光片、品红色子滤光片、青色子滤光片、或黄色子滤光片中的任意一种;所述c为红色子滤光片、绿色子滤光片、蓝色子滤光片、品红色子滤光片、青色子滤光片、或黄色子滤光片中的任意一种;或
所述b为红色子滤光片、绿色子滤光片、蓝色子滤光片、品红色子滤光片、青色子滤光片、或黄色子滤光片中的任意一种;所述c为红色子滤光片、绿色子滤光片、蓝色子滤光片、品红色子滤光片、青色子滤光片、或黄色子滤光片中的任意一种;或
所述a为红色子滤光片、绿色子滤光片、蓝色子滤光片、品红色子滤光片、青色子滤光片、或黄色子滤光片中的任意一种;所述b为红色子滤光片、绿色子滤光片、蓝色子滤光片、品红色子滤光片、青色子滤光片、或黄色子滤光片中的任意一种;所述c为红色子滤光片、绿色子滤光片、蓝色子滤光片、品红色子滤光片、青色子滤光片、或黄色子滤光片中的任意一种。
11.根据权利要求10所述的图像传感器,其特征在于,所述b为红色子滤光片、所述a为绿色子滤光片、所述c为蓝色子滤光片;或所述c为红色子滤光片、所述a为绿色子滤光片、所述b为蓝色子滤光片;或所述b为品红色子滤光片、所述a为青色子滤光片、所述c为黄色子滤光片。
12.根据权利要求1所述的图像传感器,其特征在于,所述图像传感器还包括微透镜阵列,所述微透镜阵列包括多个微透镜,所述微透镜、所述子滤光片和所述像素一一对应。
13.一种相机,其特征在于,所述相机包括镜头和权利要求1-11中任一项所述的图像传感器;所述图像传感器用于接收穿过所述镜头的光线,所述像素根据所述光线生成电信号。
14.一种终端,其特征在于,包括:
权利要求12所述的相机;及
壳体,所述相机设置在所述壳体上。
CN202022245405.5U 2020-10-09 2020-10-09 图像传感器、相机和终端 Active CN213279832U (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202022245405.5U CN213279832U (zh) 2020-10-09 2020-10-09 图像传感器、相机和终端
EP21876886.9A EP4216534A4 (en) 2020-10-09 2021-07-09 METHOD AND DEVICE FOR RECEIVING IMAGES, TERMINAL AND COMPUTER-READABLE STORAGE MEDIUM
PCT/CN2021/105464 WO2022073364A1 (zh) 2020-10-09 2021-07-09 图像获取方法及装置、终端和计算机可读存储介质
US18/193,134 US20230254553A1 (en) 2020-10-09 2023-03-30 Image obtaining method and apparatus, terminal, and computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202022245405.5U CN213279832U (zh) 2020-10-09 2020-10-09 图像传感器、相机和终端

Publications (1)

Publication Number Publication Date
CN213279832U true CN213279832U (zh) 2021-05-25

Family

ID=75948101

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202022245405.5U Active CN213279832U (zh) 2020-10-09 2020-10-09 图像传感器、相机和终端

Country Status (1)

Country Link
CN (1) CN213279832U (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113676708A (zh) * 2021-07-01 2021-11-19 Oppo广东移动通信有限公司 图像生成方法、装置、电子设备和计算机可读存储介质
CN113840067A (zh) * 2021-09-10 2021-12-24 Oppo广东移动通信有限公司 图像传感器、图像生成方法、装置和电子设备
CN114040084A (zh) * 2021-12-01 2022-02-11 Oppo广东移动通信有限公司 图像传感器、摄像模组、电子设备、图像生成方法和装置
CN114125318A (zh) * 2021-11-12 2022-03-01 Oppo广东移动通信有限公司 图像传感器、摄像模组、电子设备、图像生成方法和装置
CN114125242A (zh) * 2021-12-01 2022-03-01 Oppo广东移动通信有限公司 图像传感器、摄像模组、电子设备、图像生成方法和装置
CN114157795A (zh) * 2021-12-14 2022-03-08 Oppo广东移动通信有限公司 图像传感器、摄像模组、电子设备、图像生成方法和装置
WO2022073364A1 (zh) * 2020-10-09 2022-04-14 Oppo广东移动通信有限公司 图像获取方法及装置、终端和计算机可读存储介质
CN114363486A (zh) * 2021-12-14 2022-04-15 Oppo广东移动通信有限公司 图像传感器、摄像模组、电子设备、图像生成方法和装置
CN114554046A (zh) * 2021-12-01 2022-05-27 Oppo广东移动通信有限公司 图像传感器、摄像模组、电子设备、图像生成方法和装置
WO2023035902A1 (zh) * 2021-09-09 2023-03-16 Oppo广东移动通信有限公司 图像传感器、摄像头组件和移动终端
WO2023087908A1 (zh) * 2021-11-22 2023-05-25 Oppo广东移动通信有限公司 对焦控制方法、装置、图像传感器、电子设备和计算机可读存储介质
WO2023124611A1 (zh) * 2021-12-27 2023-07-06 Oppo广东移动通信有限公司 对焦控制方法、装置、图像传感器、电子设备和计算机可读存储介质
WO2023226395A1 (zh) * 2022-05-25 2023-11-30 Oppo广东移动通信有限公司 图像传感器、摄像头和电子装置

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022073364A1 (zh) * 2020-10-09 2022-04-14 Oppo广东移动通信有限公司 图像获取方法及装置、终端和计算机可读存储介质
CN113676708A (zh) * 2021-07-01 2021-11-19 Oppo广东移动通信有限公司 图像生成方法、装置、电子设备和计算机可读存储介质
CN113676708B (zh) * 2021-07-01 2023-11-14 Oppo广东移动通信有限公司 图像生成方法、装置、电子设备和计算机可读存储介质
WO2023035902A1 (zh) * 2021-09-09 2023-03-16 Oppo广东移动通信有限公司 图像传感器、摄像头组件和移动终端
CN113840067A (zh) * 2021-09-10 2021-12-24 Oppo广东移动通信有限公司 图像传感器、图像生成方法、装置和电子设备
CN113840067B (zh) * 2021-09-10 2023-08-18 Oppo广东移动通信有限公司 图像传感器、图像生成方法、装置和电子设备
WO2023035900A1 (zh) * 2021-09-10 2023-03-16 Oppo广东移动通信有限公司 图像传感器、图像生成方法、装置和电子设备
CN114125318A (zh) * 2021-11-12 2022-03-01 Oppo广东移动通信有限公司 图像传感器、摄像模组、电子设备、图像生成方法和装置
WO2023087908A1 (zh) * 2021-11-22 2023-05-25 Oppo广东移动通信有限公司 对焦控制方法、装置、图像传感器、电子设备和计算机可读存储介质
CN114125242A (zh) * 2021-12-01 2022-03-01 Oppo广东移动通信有限公司 图像传感器、摄像模组、电子设备、图像生成方法和装置
CN114040084A (zh) * 2021-12-01 2022-02-11 Oppo广东移动通信有限公司 图像传感器、摄像模组、电子设备、图像生成方法和装置
CN114554046A (zh) * 2021-12-01 2022-05-27 Oppo广东移动通信有限公司 图像传感器、摄像模组、电子设备、图像生成方法和装置
WO2023098284A1 (zh) * 2021-12-01 2023-06-08 Oppo广东移动通信有限公司 图像传感器、摄像模组、电子设备、图像生成方法和装置
WO2023098230A1 (zh) * 2021-12-01 2023-06-08 Oppo广东移动通信有限公司 图像传感器、摄像模组、电子设备、图像生成方法和装置
WO2023098282A1 (zh) * 2021-12-01 2023-06-08 Oppo广东移动通信有限公司 图像传感器、摄像模组、电子设备、图像生成方法和装置
CN114157795A (zh) * 2021-12-14 2022-03-08 Oppo广东移动通信有限公司 图像传感器、摄像模组、电子设备、图像生成方法和装置
WO2023109264A1 (zh) * 2021-12-14 2023-06-22 Oppo广东移动通信有限公司 图像传感器、摄像模组、电子设备、图像生成方法和装置
WO2023109265A1 (zh) * 2021-12-14 2023-06-22 Oppo广东移动通信有限公司 图像传感器、摄像模组、电子设备、图像生成方法和装置
CN114363486A (zh) * 2021-12-14 2022-04-15 Oppo广东移动通信有限公司 图像传感器、摄像模组、电子设备、图像生成方法和装置
WO2023124611A1 (zh) * 2021-12-27 2023-07-06 Oppo广东移动通信有限公司 对焦控制方法、装置、图像传感器、电子设备和计算机可读存储介质
WO2023226395A1 (zh) * 2022-05-25 2023-11-30 Oppo广东移动通信有限公司 图像传感器、摄像头和电子装置

Similar Documents

Publication Publication Date Title
CN213279832U (zh) 图像传感器、相机和终端
CN112118378A (zh) 图像获取方法及装置、终端和计算机可读存储介质
CN108322669B (zh) 图像获取方法及装置、成像装置和可读存储介质
CN108712608B (zh) 终端设备拍摄方法和装置
CN108989700B (zh) 成像控制方法、装置、电子设备以及计算机可读存储介质
CN111711755B (zh) 图像处理方法及装置、终端和计算机可读存储介质
CN111432099B (zh) 图像传感器、处理系统及方法、电子设备和存储介质
CN111491110B (zh) 高动态范围图像处理系统及方法、电子设备和存储介质
US6982756B2 (en) Digital camera, image signal processing method and recording medium for the same
US8355074B2 (en) Exposing pixel groups in producing digital images
CN104038702B (zh) 摄像设备及其控制方法
CN107509044B (zh) 图像合成方法、装置、计算机可读存储介质和计算机设备
US20090219419A1 (en) Peripheral Light Amount Correction Apparatus, Peripheral Light Amount Correction Method, Electronic Information Device, Control Program and Readable Recording Medium
US9160937B2 (en) Signal processing apparatus and signal processing method, solid-state imaging apparatus, electronic information device, signal processing program, and computer readable storage medium
CN108683863B (zh) 成像控制方法、装置、电子设备以及可读存储介质
CN108419022A (zh) 控制方法、控制装置、计算机可读存储介质和计算机设备
JP2011010108A (ja) 撮像制御装置、撮像装置及び撮像制御方法
CN110166707A (zh) 图像处理方法、装置、电子设备以及存储介质
CN113170061B (zh) 图像传感器、成像装置、电子设备、图像处理系统及信号处理方法
CN110166706A (zh) 图像处理方法、装置、电子设备以及存储介质
CN113840067B (zh) 图像传感器、图像生成方法、装置和电子设备
CN109005346B (zh) 控制方法、装置、电子设备和计算机可读存储介质
CN107194901B (zh) 图像处理方法、装置、计算机设备和计算机可读存储介质
CN107341782B (zh) 图像处理方法、装置、计算机设备和计算机可读存储介质
US20230254553A1 (en) Image obtaining method and apparatus, terminal, and computer-readable storage medium

Legal Events

Date Code Title Description
GR01 Patent grant
GR01 Patent grant