CN108965703A - 一种图像传感器、移动终端及图像拍摄方法 - Google Patents
一种图像传感器、移动终端及图像拍摄方法 Download PDFInfo
- Publication number
- CN108965703A CN108965703A CN201810797634.2A CN201810797634A CN108965703A CN 108965703 A CN108965703 A CN 108965703A CN 201810797634 A CN201810797634 A CN 201810797634A CN 108965703 A CN108965703 A CN 108965703A
- Authority
- CN
- China
- Prior art keywords
- pixel
- sub
- infrared
- mobile terminal
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Color Television Image Signal Generators (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
本发明提供了一种图像传感器、移动终端及图像拍摄方法,图像传感器包括:像素阵列,像素阵列包括按照预定方式排布的预设数目个像素单元,像素单元包括第一像素和与第一像素位置相邻的第二像素,第一像素包括红色子像素、绿色子像素和蓝色子像素,第二像素包括红色子像素、绿色子像素和红外子像素,且第一像素和第二像素均为全像素双核对焦像素,第一像素和第二像素中的子像素均呈四合一方式排列;红外子像素在第二像素中的位置,与蓝色子像素在第一像素中的位置相同。本发明可以实现快速对焦和背景虚化,提升图像成像效果,实现立体拍照的相关应用功能,在保证拍摄体验的同时,保证移动终端的功能多样化。
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及一种图像传感器、移动终端及图像拍摄方法。
背景技术
目前,智能电子产品已经逐渐成为人们生活中的必需品,拍照功能作为电子产品的一重要配置也在逐渐发展。但随着拍照功能的推广和普及,人们已经不在满足当前的智能电子产品中摄像头仅有的拍照功能,更加期望实现拍照效果多样化、玩法多样化以及功能多样化。
目前市场上,基于CMOS(Complementary Metal Oxide Semiconductor,互补金属氧化物半导体)的图像传感器像素阵列排布中,有一种常用的基于R(红色)G(绿色)B(蓝色)拜耳模式改进的四合一像素阵列排布模式;如图1a和图1b所示,此种排布方式虽然相对拜耳模式可以提升暗态拍照效果,但是缺点是不能检测物体距离,且只能用于接受自然光,用于正常光照时拍照记录图像。
全像素双核对焦2PD技术的像素阵列排布模式如图1c和图1d所示,此种排布方式也只能用于接受自然光,用于拍照记录图像,相对四合一RGB排布技术方案,可以检测物体距离,更加快速的完成对焦动作;但是暗态拍照效果不理想。
其中2PD相位检测技术原理说明如下:由图1c和图1d可见,像素阵列中部分R,G和B子像素被一分为二,根据不同入射方向获取的光能量不一样,从而左边子像素点和右边子像素点即构成一对相位检测对;当左边子像素点和右边子像素点亮度值均达到相对最大峰值时,此刻图像相对最清晰,即为合焦,然后通过算法计算获得物距,从而实现快速对焦。
综上所述,现有的图像传感器的像素阵列排布模式,存在对焦缓慢或不能提升暗态拍摄效果,影响用户拍摄体验的问题。
发明内容
本发明实施例提供一种图像传感器、移动终端及图像拍摄方法,以解决现有技术中的图像传感器的像素阵列排布模式,存在对焦缓慢或不能提升暗态拍摄效果,影响用户拍摄体验的问题。
为了解决上述问题,本发明实施例是这样实现的:
第一方面,本发明实施例提供一种图像传感器,包括:
像素阵列,像素阵列包括按照预定方式排布的预设数目个像素单元,像素单元包括第一像素和与第一像素位置相邻的第二像素,第一像素包括红色子像素、绿色子像素和蓝色子像素,第二像素包括红色子像素、绿色子像素和红外子像素,且第一像素和第二像素均为全像素双核对焦像素,第一像素和第二像素中的子像素均呈四合一方式排列;
红外子像素在第二像素中的位置,与蓝色子像素在第一像素中的位置相同。
第二方面,本发明实施例还提供一种移动终端,包括成像系统以及红外发射模块,成像系统包括上述的图像传感器,还包括:
透镜模组;
用于驱动透镜模组移动的驱动模块;
设置于透镜模组与图像传感器之间的滤波模块;
与图像传感器连接的图像数据处理模块;以及
与图像数据处理模块连接的显示模块。
第三方面,本发明实施例还提供一种图像拍摄方法,应用于移动终端,移动终端包括上述的图像传感器,还包括红外发射模块,该方法包括:
通过红外发射模块发射红外光;
根据待拍摄对象所反射的红外光获取待拍摄对象上各个红外光反射点与移动终端之间的距离;
根据待拍摄对象上各个红外光反射点与移动终端之间的距离,对待拍摄对象进行立体信息获取。
本发明技术方案,通过采用四合一排布的RGB子像素与红外子像素结合的2PD像素阵列形成图像传感器,根据图像传感器执行拍摄,可以在拍摄记录图像的基础上,检测待拍摄对象与移动终端之间的距离,实现快速对焦和背景虚化,同时可提升图像的暗态成像效果,实现立体拍照的相关应用功能,在保证用户拍摄体验的同时,保证移动终端的功能多样化。
附图说明
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1a表示现有技术四合一RGB排布示意图;
图1b表示四合一像素点切面图;
图1c表示2PD的像素阵列排布图;
图1d表示2PD像素切面图;
图2a表示本发明实施例像素单元的示意图之一;
图2b表示本发明实施例像素单元的示意图之二;
图2c表示本发明实施例像素单元的示意图之三;
图2d表示本发明实施例像素单元的示意图之四;
图3a表示本发明实施例像素单元的示意图之五;
图3b表示本发明实施例像素单元的示意图之六;
图4a表示本发明实施例像素单元的示意图之七;
图4b表示本发明实施例像素单元的示意图之八;
图4c表示本发明实施例像素单元的示意图之九;
图5表示本发明实施例像素阵列示意图;
图6表示本发明实施例像素切面图;
图7a表示本发明实施例移动终端示意图;
图7b表示本发明实施例成像系统示意图;
图8表示本发明实施例图像拍摄方法示意图;
图9表示本发明实施例移动终端硬件结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供一种图像传感器,包括:
像素阵列,像素阵列包括按照预定方式排布的预设数目个像素单元,像素单元包括第一像素和与第一像素位置相邻的第二像素,如图2a至图2d、图3a至图3b以及图4a至图4c所示,第一像素包括红色子像素、绿色子像素和蓝色子像素,第二像素包括红色子像素、绿色子像素和红外子像素,且第一像素和第二像素均为全像素双核对焦像素,第一像素和第二像素中的子像素均呈四合一方式排列;红外子像素在第二像素中的位置,与蓝色子像素在第一像素中的位置相同。
本发明实施例提供的图像传感器所包含的像素阵列,包含预设数目个像素单元,其中预设数目个像素单元按照预定方式进行排布。预设数目个像素单元均包括第一像素以及第二像素,其中第一像素与第二像素有所区别,第一像素中包括红色子像素(R)、绿色子像素(G)和蓝色子像素(B),第二像素中包括红色子像素、绿色子像素和红外子像素(IR),通过在第二像素中设置红外子像素,可以在接收红外光的情况下进行图像拍摄,实现暗态成像,保证用户拍摄体验。
其中,本发明实施例中的第一像素以及第二像素均为全像素双核对焦(2PD)像素,通过采用2PD像素可以检测物体距离,更加快速的完成对焦动作,这里的第一像素以及第二像素均为2PD像素,也就是第一像素和第二像素中的子像素均为2PD子像素。同时第一像素与第二像素中的子像素均呈四合一方式排列,这种四合一的排布方式使得一个子像素中包括4个对应的单元,其中4个单元的结构形式为:两个单元位于上层,另外两个单元位于下层,且下层的两个单元与上层的两个单元对应排列。即第一单元与第二单元依次排列且相邻,第三单元位于第一单元下方,第四单元位于第二单元下方。
同时由于子像素为2PD子像素,每一个单元被一分为二。例如红色子像素中包括4个红色单元,绿色子像素中包括4个绿色单元,蓝色子像素中包括4个蓝色单元,每一个单元均被一分为二。其中四合一的排布方式可以提升暗态拍摄效果,保证拍摄的场景不受限制。
第一像素中的红色子像素、绿色子像素和蓝色子像素按照一定的方式进行排列,且第一像素中包含一个红色子像素、一个蓝色子像素以及两个绿色子像素,在这里为了便于区别将两个绿色子像素分别称为第一绿色子像素和第二绿色子像素,其中第一绿色子像素与第二绿色子像素相同。红色子像素与第一绿色子像素相邻,第二绿色子像素位于红色子像素的下方,蓝色子像素位于第一绿色子像素的下方,且第二绿色子像素与蓝色子像素相邻。
第二像素中包括红色子像素、绿色子像素以及红外子像素。即红外子像素在第二像素中的位置与第一像素中蓝色子像素的位置相同。
第二像素中的红色子像素、绿色子像素和红外子像素按照一定的方式进行排列,且第二像素中包含一个红色子像素、一个红外子像素以及两个绿色子像素,在这里为了便于区别将两个绿色子像素分别称为第一绿色子像素和第二绿色子像素,其中第一绿色子像素与第二绿色子像素相同。红色子像素与第一绿色子像素相邻,第二绿色子像素位于红色子像素的下方,红外子像素位于第一绿色子像素的下方,且第二绿色子像素与红外子像素相邻。
本发明实施例,通过在RGB像素阵列排布方式上进行改进,将RGB像素阵列排布方式改为四合一的RGB-IR(红外)的像素阵列排布方式,可以使得移动终端在接收红外光的情况下进行图像拍摄,实现暗态成像,保证用户拍摄体验。
同时本发明实施例的图像传感器可以实现检测待拍摄对象与移动终端之间的距离,实现快速对焦和背景虚化,通过与红外发射模块配合,可提升图像的成像效果,实现立体拍照的相关应用功能,在保证用户拍摄体验的同时,增强移动终端的功能性。
在本发明实施例中,像素单元中包括一个第二像素以及至少一个第一像素。
像素单元中所包含的第二像素的数量为一个,所包含的第一像素的数量大于或者等于一个,即像素单元中所包含的像素数量至少为两个。当像素单元中包括两个像素时,分别包括一个第一像素以及一个第二像素。当像素单元中包括三个像素时,分别包括两个第一像素以及一个第二像素。当像素单元中包括四个像素时,分别包括三个第一像素以及一个第二像素。
下面针对像素单元中所包含的像素类型及数量进行详细介绍。
当像素单元中包括一个第一像素以及一个第二像素时,如图3a至图3b所示,第二像素中包括一个红色子像素、两个绿色子像素以及一个红外子像素,红外子像素在第二像素中的位置与第一像素中蓝色子像素的位置相同。第一像素中包括一个红色子像素、两个绿色子像素以及一个蓝色子像素,此时红外子像素在像素单元中的占比为1/8。这里的子像素均呈四合一方式排列,每一子像素包括四个对应的单元,且每一单元被一分为二。
像素单元中红外子像素的位置(第二像素的位置)不做具体限定,在像素单元中可以是图3a所示的第一像素、第二像素依次排列,也可以是图3b所示的第二像素、第一像素依次排列。根据第一像素和第二像素形成像素单元,根据像素单元形成像素阵列。
当前状态下的像素单元对应的种类为两种,分别为第一像素单元和第二像素单元,其中在图3a所示的第一像素单元中第一像素和第二像素沿第一方向排列,在图3b所示的第二像素单元中第二像素以及第一像素沿第一方向排列。
两个完全相同的第二像素单元沿第一方向设置,两个完全相同的第一像素单元沿第一方向设置,第二像素单元、第一像素单元、第二像素单元以及第一像素单元沿第二方向依次排列,形成图5所示的像素阵列,其中第一方向与第二方向垂直。
当像素单元中包括两个第一像素以及一个第二像素时,如图4a至图4c所示,第二像素中包括两个绿色子像素、一个红色子像素以及一个红外子像素,红外子像素在第二像素中的位置与第一像素中蓝色子像素的位置相同。第一像素中包括一个红色子像素、两个绿色子像素以及一个蓝色子像素,由于存在两个第一像素,此时红外子像素在像素单元中的占比为1/12。这里的子像素均呈四合一方式排列,每一子像素包括四个对应的单元,且每一单元被一分为二。
像素单元中红外子像素的位置(第二像素的位置)不做具体限定,图4a中第二像素、两个第一像素依次排列,第二像素的位置为像素单元的左侧,图4b中第一像素、第二像素以及第一像素依次排列,第二像素的位置为像素单元的中部,图4c中两个第一像素以及一第二像素依次排列,第二像素的位置为像素单元的右侧。可以根据图4a、图4b以及图4c所示的像素单元组合形成像素阵列。
当前状态下图4a所示的像素单元为第三像素单元,图4b所示的像素单元为第四像素单元,图4c所示的像素单元为第五像素单元。
当像素单元中包括三个第一像素以及一个第二像素时,如图2a至图2d所示,第二像素中包括一个红色子像素、两个绿色子像素以及一个红外子像素,红外子像素在第二像素中的位置与第一像素中蓝色子像素的位置相同。第一像素中包括一个红色子像素、两个绿色子像素以及一个蓝色子像素,由于存在三个第一像素,此时红外子像素在像素单元中的占比为1/16。这里的子像素均呈四合一方式排列,每一子像素包括四个对应的单元,且每一单元被一分为二。
像素单元中红外子像素的位置(第二像素的位置)不做限定,图2a中第一像素以及第二像素在上层依次排列,两个第一像素在下层依次排列,第二像素的位置为像素单元的右上方。图2b中第二像素以及第一像素在上层依次排列,两个第一像素在下层依次排列,第二像素的位置为像素单元的左上方。图2c中两个第一像素在上层依次排列,第二像素和一第一像素在下层依次排列,第二像素的位置为像素单元的左下方。图2d中两个第一像素在上层依次排列,另一第一像素和一第二像素在下层依次排列,第二像素的位置为像素单元的右下方。当前状态下的像素单元对应的种类为四种,分别为第六像素单元、第七像素单元、第八像素单元以及第九像素单元,其中图2a所示为第六像素单元,图2b为第七像素单元,图2c为第八像素单元,图2d为第九像素单元。
像素阵列可以是由1/8占比的RGB+IR像素单元、1/12占比的RGB+IR像素单元或1/16占比的RGB+IR像素单元作为一个像素单位阵列,像素单位阵列再进行周期性阵列排布组成。当然像素阵列还可以是其他形式,这里不再列举。
其中红外子像素在第一像素单元中的密度(即占比)为1/4n,且n为大于或者等于2的整数,红外子像素所适用的像素阵列大小不限。上述仅仅为几种对应的红外子像素取点实施方式,还可以是其他的取点方式,本发明实施例中其他的取点方式这里不再一一介绍。红外子像素在像素单元中的取点位置(第二像素的位置)本发明实施例中不做具体限制。
在本发明实施例中,当像素单元中包括一个第二像素以及一个第一像素时,像素阵列可以包括8个像素单元;当像素单元中包括一个第二像素以及两个第一像素时,像素阵列可以包括8个像素单元;当像素单元中包括一个第二像素以及三个第一像素时,像素阵列可以包括12个像素单元。
下面对像素单元组成的像素阵列进行详细介绍。当像素单元中包括一个第二像素以及一个第一像素时,此时由像素单元组成的像素阵列可参见图5,在像素阵列中包括8个像素单元,每一像素单元中第二像素中红外子像素的位置与第一像素中蓝色子像素的位置相同,且红外子像素的位置不做限定。
当像素单元中包括一个第二像素以及两个第一像素时,此时由像素单元组成的像素阵列的排布方式与图5中相同,在像素阵列中包括8个像素单元,两个像素单元沿第一方向排列,四个像素单元沿第二方向排列,且第一方向与第二方向垂直,此时形成2*4的像素阵列排布形式。
当像素单元中包括一个第二像素以及三个第一像素时,在像素阵列中包括12个像素单元,四个像素单元沿第一方向排列,三个像素单元沿第二方向排列,且第一方向与第二方向垂直,此时形成4*3的像素阵列排布形式。每一像素单元中第二像素中红外子像素的位置与第一像素中蓝色子像素的位置相同,且红外子像素的位置不做限定。
上述的像素阵列仅仅为几种代表形式,但并不局限于此,本领域技术人员可根据需求做形式上的改进。
在本发明实施例中,红色子像素包括依次堆叠设置的半导体层、金属层、光电二极管、红色滤光片以及微镜;绿色子像素包括依次堆叠设置的半导体层、金属层、光电二极管、绿色滤光片以及微镜;蓝色子像素包括依次堆叠设置的半导体层、金属层、光电二极管、蓝色滤光片以及微镜;红外子像素包括依次堆叠设置的半导体层、金属层、光电二极管、红外滤光片以及微镜。
红色子像素所包含的半导体层、金属层、光电二极管、红色滤光片以及微镜,由下至上依次排列。相应的绿色子像素所包含的半导体层、金属层、光电二极管、绿色滤光片以及微镜,由下至上依次排列。蓝色子像素所包含的半导体层、金属层、光电二极管、蓝色滤光片以及微镜,由下至上依次排列。红外子像素所包含半导体层、金属层、光电二极管、红外滤光片以及微镜,由下至上依次排列。这里的半导体层可以为硅基板,但并不局限于此。红色、绿色、蓝色以及红外子像素的结构可参见图6所示,图6中虽然只示出了绿色以及红外子像素,但在此基础上可以将获知红色与蓝色子像素的结构。可将绿色滤光片替换为红的或者蓝色滤光片,即可获得红色子像素或蓝色子像素的结构。
红色、绿色以及蓝色子像素用于获取合成图像的像素的色彩信息,其阻挡红外线的进入;例如,仅使波长在380~700nm的可见光进入,可在高照度下直接生成色彩完整逼真的图像。红外波长为750~1100nm,由于红外波段的通过,可提升暗态成像效果,实现红外测距功能。
由以上说明可见,RGB子像素点是对应于每种RGB颜色的波长光的光接收元件,IR子像素点是对应红外光的光接收元件。
在本发明实施例中,图像传感器为互补金属氧化物半导体CMOS图像传感器、电荷耦合元件CCD图像传感器或量子薄膜图像传感器。
本发明四合一的RGB-IR的像素阵列排布方式,适用的图像传感器类型不限,可以是基于CMOS的图像传感器,可以是基于CCD(Charge-coupled Device,电荷耦合元件)的图像传感器,也可以是基于量子薄膜的图像传感器,当然还可以是其他类型的图像传感器。且本发明实施例的图像传感器可适用于任何包含摄像头模组的电子产品中。
本发明实施例,通过采用四合一排布的RGB子像素与红外子像素结合的2PD像素阵列形成图像传感器,根据图像传感器执行拍摄,可以在拍摄记录图像的基础上,检测待拍摄对象与移动终端之间的距离,实现快速对焦和背景虚化,同时可提升图像的暗态成像效果,实现立体拍照的相关应用功能,在保证用户拍摄体验的同时,保证移动终端的功能多样化。
本发明实施例还提供一种移动终端,如图7a和图7b所示,移动终端1包括成像系统2以及红外发射模块3,成像系统2包括上述的图像传感器21,还包括:
透镜模组22;用于驱动透镜模组22移动的驱动模块23;设置于透镜模组22与图像传感器21之间的滤波模块24;与图像传感器21连接的图像数据处理模块25;以及与图像数据处理模块25连接的显示模块26;其中红外发射模块3设置于透镜模组22的周缘。
本发明实施例的移动终端1包括成像系统2,还包括红外发射模块3,其中成像系统2包括上述的图像传感器21,成像系统2还包括用于对光线聚焦的透镜模组22,透镜模组22与驱动模块23连接,驱动模块23用于随着待拍摄对象的远近,从而进行调整透镜模组22的位置。
在透镜模组22与图像传感器21之间设置有滤波模块24,其中在光线通过透镜模组22聚焦,经过滤波模块24后,可以聚焦在图像传感器21的像素阵列上。图像传感器21与图像数据处理模块25连接,图像数据处理模块25与显示模块26连接。在光线聚焦在图像传感器21的像素阵列上之后,图像传感器21进行光电转换后,将数据传输给图像数据处理模块25,图像数据处理模块25对数据进行处理后在显示模块26上以图片的形式呈现。
其中在驱动模块23调整透镜模组22的位置之后,可以利用图像传感器21中的2PD像素获取相位差,从而获取物体与成像面距离,进而实现快速对焦。
另外,本发明中基于2PD图像传感器的四合一的RGB+IR像素阵列排布方式,可以配合红外发射模块3实现立体相关功能,例如:人脸识别解锁,安全支付,立体成像等终端应用,在保证成像的基础上,提升移动终端的功能性。
本发明实施例中的滤波模块24可通过380nm至1100nm的光波长。此时在光线通过透镜模组22聚焦后,可通过滤波模块24进行滤波,其中滤波模块24可用于自然光和红外光的通过,可用于保证成像系统2的成像效果。
其中,移动终端上的红外发射模块3设置于透镜模组22的周缘。红外发射模块3发出红外线,红外线在遇到障碍物后会发生反射;当成像系统2捕捉到反射回来的红外光线后,经过红外子像素进行光电转换,可获取红外线从发射到接收到红外线的时间差,由于光的传播速度固定,从而可以计算出障碍物距离移动终端的距离,最终可获取障碍物上每个极小单位到移动终端的距离,实现立体成像记录功能。当然还可以通过获取红外光相位差的方式,获取障碍物上各个红外光反射点与移动终端之间的距离。
本发明实施例的移动终端,通过采用四合一排布的RGB子像素与红外子像素结合的2PD像素阵列形成图像传感器,根据图像传感器执行拍摄,可以在拍摄记录图像的基础上,检测待拍摄对象与移动终端之间的距离,实现快速对焦和背景虚化,同时可提升图像的暗态成像效果,实现立体拍照的相关应用功能,在保证用户拍摄体验的同时,保证移动终端的功能多样化。
本发明实施例还提供一种图像拍摄方法,应用于移动终端,移动终端包括上述的图像传感器,还包括红外发射模块,如图8所示,该方法包括:
步骤801、通过红外发射模块发射红外光;
移动终端上的红外发射模块可以发出红外线,红外线在遇到待拍摄对象后会发生反射,其反射的红外光会被移动终端的成像系统所接收。其中移动终端的图像传感器形成四合一的RGB-IR的像素阵列,因此可通过红外子像素进行光电转换。
步骤802、根据待拍摄对象所反射的红外光获取待拍摄对象上各个红外光反射点与移动终端之间的距离。
在获取待拍摄对象与移动终端之间的距离时,实际为获取待拍摄对象与成像面之间的距离,获取待拍摄对象上各个红外光反射点与移动终端之间的距离的过程为:通过包含第二像素的像素阵列接收待拍摄对象上各个红外光反射点所反射的红外光;根据发送与接收红外光的时间差以及红外光的传播速度或者通过获取红外光的相位差,获取待拍摄对象上各个红外光反射点与移动终端之间的距离。
当捕捉到反射回来的红外光线后,经过红外子像素进行光电转换,可获取红外线从发射到接收到红外线的时间差,由于光的传播速度固定,从而可以根据时间差与传播速度乘积的1/2计算出障碍物距离移动终端的距离。其中移动终端接收到各个红外光反射点反射红外光的时间有所区别,针对每一个红外光反射点可以对应计算一距离,进而可以获得各个红外光反射点与移动终端之间的距离。还可以通过获取红外光的相位差获取各个红外光反射点与移动终端之间的距离,具体可参见TOF(Time of Flight,飞行时间)技术,在此不再详细阐述。
其中本发明实施例的图像传感器的像素阵列包括按照预定方式排布的预设数目个像素单元,像素单元包括第一像素和第二像素,第一像素包括红色子像素、绿色子像素和蓝色子像素,第二像素包括红色子像素、绿色子像素和红外子像素,且第一像素和第二像素均为全像素双核对焦像素,第一像素和第二像素中的子像素均呈四合一方式排列;红外子像素在第二像素中的位置,与蓝色子像素在第一像素中的位置相同。
步骤803、根据待拍摄对象上各个红外光反射点与移动终端之间的距离,对待拍摄对象进行立体信息获取。
在获取待拍摄对象上各个红外光反射点与移动终端之间的距离时,具体为获取待拍摄对象上每个极小单位到移动终端的距离,然后执行对待拍摄对象拍摄的流程,实现立体成像记录功能。
本发明实施例的图像拍摄方法,通过采用四合一排布的RGB子像素与红外子像素结合的2PD像素阵列形成图像传感器,根据图像传感器执行拍摄,可以在拍摄记录图像的基础上,检测待拍摄对象与移动终端之间的距离,实现快速对焦和背景虚化,同时可提升图像的暗态成像效果,实现立体拍照的相关应用功能,在保证用户拍摄体验的同时,保证移动终端的功能多样化。
图9为实现本发明各个实施例的一种移动终端的硬件结构示意图,该移动终端900包括但不限于:射频单元901、网络模块902、音频输出单元903、输入单元904、传感器905、显示单元906、用户输入单元907、接口单元908、存储器909、处理器910、以及电源911等部件。
移动终端900,还包括成像系统以及红外发射模块,成像系统包括图像传感器,透镜模组;用于驱动透镜模组移动的驱动模块;设置于透镜模组与图像传感器之间的滤波模块;与图像传感器连接的图像数据处理模块;以及与图像数据处理模块连接的显示模块,其中红外发射模块设置于透镜模组的周缘。
其中,滤波模块可通过380nm至1100nm的光波长。
其中,图像传感器包括:像素阵列,像素阵列包括按照预定方式排布的预设数目个像素单元,像素单元包括第一像素和与第一像素位置相邻的第二像素,第一像素包括红色子像素、绿色子像素和蓝色子像素,第二像素包括红色子像素、绿色子像素和红外子像素,且第一像素和第二像素均为全像素双核对焦像素,第一像素和第二像素中的子像素均呈四合一方式排列;
红外子像素在第二像素中的位置,与蓝色子像素在第一像素中的位置相同。
其中,像素单元中包括一个第二像素以及至少一个第一像素。
其中,红色子像素包括依次堆叠设置的半导体层、金属层、光电二极管、红色滤光片以及微镜;绿色子像素包括依次堆叠设置的半导体层、金属层、光电二极管、绿色滤光片以及微镜;蓝色子像素包括依次堆叠设置的半导体层、金属层、光电二极管、蓝色滤光片以及微镜;红外子像素包括依次堆叠设置的半导体层、金属层、光电二极管、红外滤光片以及微镜。
其中,图像传感器为互补金属氧化物半导体CMOS图像传感器、电荷耦合元件CCD图像传感器或量子薄膜图像传感器。
本领域技术人员可以理解,图9中示出的移动终端结构并不构成对移动终端的限定,移动终端可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。在本发明实施例中,移动终端包括但不限于手机、平板电脑、笔记本电脑、掌上电脑、车载终端、可穿戴设备、以及计步器等。
其中,处理器910用于:通过红外发射模块发射红外光;根据待拍摄对象所反射的红外光获取待拍摄对象上各个红外光反射点与移动终端之间的距离;根据待拍摄对象上各个红外光反射点与移动终端之间的距离,对待拍摄对象进行立体信息获取。
其中,根据待拍摄对象所反射的红外光获取待拍摄对象上各个红外光反射点与移动终端之间的距离时,处理器910还用于:通过包含第二像素的像素阵列接收待拍摄对象上各个红外光反射点所反射的红外光;根据发送与接收红外光的时间差以及红外光的传播速度或者通过获取红外光的相位差,获取待拍摄对象上各个红外光反射点与移动终端之间的距离。
这样,通过采用四合一排布的RGB子像素与红外子像素结合的2PD像素阵列形成图像传感器,根据图像传感器执行拍摄,可以在拍摄记录图像的基础上,检测待拍摄对象与移动终端之间的距离,实现快速对焦和背景虚化,同时可提升图像的暗态成像效果,实现立体拍照的相关应用功能,在保证用户拍摄体验的同时,保证移动终端的功能多样化。
应理解的是,本发明实施例中,射频单元901可用于收发信息或通话过程中,信号的接收和发送,具体的,将来自基站的下行数据接收后,给处理器910处理;另外,将上行的数据发送给基站。通常,射频单元901包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外,射频单元901还可以通过无线通信系统与网络和其他设备通信。
移动终端通过网络模块902为用户提供了无线的宽带互联网访问,如帮助用户收发电子邮件、浏览网页和访问流式媒体等。
音频输出单元903可以将射频单元901或网络模块902接收的或者在存储器909中存储的音频数据转换成音频信号并且输出为声音。而且,音频输出单元903还可以提供与移动终端900执行的特定功能相关的音频输出(例如,呼叫信号接收声音、消息接收声音等等)。音频输出单元903包括扬声器、蜂鸣器以及受话器等。
输入单元904用于接收音频或视频信号。输入单元904可以包括图形处理器(Graphics Processing Unit,GPU)9041和麦克风9042,图形处理器9041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元906上,这里的显示单元即为上述的显示模块。经图形处理器9041处理后的图像帧可以存储在存储器909(或其它存储介质)中或者经由射频单元901或网络模块902进行发送。其中图形处理器9041即为上述的图像数据处理模块。麦克风9042可以接收声音,并且能够将这样的声音处理为音频数据。处理后的音频数据可以在电话通话模式的情况下转换为可经由射频单元901发送到移动通信基站的格式输出。
移动终端900还包括至少一种传感器905,比如光传感器、运动传感器以及其他传感器。具体地,光传感器包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板9061的亮度,接近传感器可在移动终端900移动到耳边时,关闭显示面板9061和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别移动终端姿态(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;传感器905还可以包括指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等,在此不再赘述。
显示单元906用于显示由用户输入的信息或提供给用户的信息。显示单元906可包括显示面板9061,可以采用液晶显示器(Liquid Crystal Display,LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板9061。
用户输入单元907可用于接收输入的数字或字符信息,以及产生与移动终端的用户设置以及功能控制有关的键信号输入。具体地,用户输入单元907包括触控面板9071以及其他输入设备9072。触控面板9071,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板9071上或在触控面板9071附近的操作)。触控面板9071可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器910,接收处理器910发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板9071。除了触控面板9071,用户输入单元907还可以包括其他输入设备9072。具体地,其他输入设备9072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。
进一步的,触控面板9071可覆盖在显示面板9061上,当触控面板9071检测到在其上或附近的触摸操作后,传送给处理器910以确定触摸事件的类型,随后处理器910根据触摸事件的类型在显示面板9061上提供相应的视觉输出。虽然在图9中,触控面板9071与显示面板9061是作为两个独立的部件来实现移动终端的输入和输出功能,但是在某些实施例中,可以将触控面板9071与显示面板9061集成而实现移动终端的输入和输出功能,具体此处不做限定。
接口单元908为外部装置与移动终端900连接的接口。例如,外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元908可以用于接收来自外部装置的输入(例如,数据信息、电力等等)并且将接收到的输入传输到移动终端900内的一个或多个元件或者可以用于在移动终端900和外部装置之间传输数据。
存储器909可用于存储软件程序以及各种数据。存储器909可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器909可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器910是移动终端的控制中心,利用各种接口和线路连接整个移动终端的各个部分,通过运行或执行存储在存储器909内的软件程序和/或模块,以及调用存储在存储器909内的数据,执行移动终端的各种功能和处理数据,从而对移动终端进行整体监控。处理器910可包括一个或多个处理单元;优选的,处理器910可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器910中。
移动终端900还可以包括给各个部件供电的电源911(比如电池),优选的,电源911可以通过电源管理系统与处理器910逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
另外,移动终端900包括一些未示出的功能模块,在此不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本发明的保护之内。
Claims (9)
1.一种图像传感器,其特征在于,包括:
像素阵列,所述像素阵列包括按照预定方式排布的预设数目个像素单元,所述像素单元包括第一像素和与所述第一像素位置相邻的第二像素,所述第一像素包括红色子像素、绿色子像素和蓝色子像素,所述第二像素包括所述红色子像素、所述绿色子像素和红外子像素,且所述第一像素和所述第二像素均为全像素双核对焦像素,所述第一像素和所述第二像素中的子像素均呈四合一方式排列;
所述红外子像素在所述第二像素中的位置,与所述蓝色子像素在所述第一像素中的位置相同。
2.根据权利要求1所述的图像传感器,其特征在于,所述像素单元中包括一个所述第二像素以及至少一个所述第一像素。
3.根据权利要求1所述的图像传感器,其特征在于,
所述红色子像素包括依次堆叠设置的半导体层、金属层、光电二极管、红色滤光片以及微镜;
所述绿色子像素包括依次堆叠设置的半导体层、金属层、光电二极管、绿色滤光片以及微镜;
所述蓝色子像素包括依次堆叠设置的半导体层、金属层、光电二极管、蓝色滤光片以及微镜;
所述红外子像素包括依次堆叠设置的半导体层、金属层、光电二极管、红外滤光片以及微镜。
4.根据权利要求1所述的图像传感器,其特征在于,所述图像传感器为互补金属氧化物半导体CMOS图像传感器、电荷耦合元件CCD图像传感器或量子薄膜图像传感器。
5.一种移动终端,其特征在于,包括成像系统以及红外发射模块,所述成像系统包括如权利要求1至4任一项所述的图像传感器,还包括:
透镜模组;
用于驱动所述透镜模组移动的驱动模块;
设置于所述透镜模组与所述图像传感器之间的滤波模块;
与所述图像传感器连接的图像数据处理模块;以及
与所述图像数据处理模块连接的显示模块。
6.根据权利要求5所述的移动终端,其特征在于,所述滤波模块可通过380nm至1100nm的光波长。
7.根据权利要求5所述的移动终端,其特征在于,所述红外发射模块设置于所述透镜模组的周缘。
8.一种图像拍摄方法,应用于移动终端,所述移动终端包括如权利要求1所述的图像传感器,还包括红外发射模块,其特征在于,所述方法包括:
通过所述红外发射模块发射红外光;
根据待拍摄对象所反射的红外光获取所述待拍摄对象上各个红外光反射点与所述移动终端之间的距离;
根据所述待拍摄对象上各个红外光反射点与所述移动终端之间的距离,对所述待拍摄对象进行立体信息获取。
9.根据权利要求8所述的图像拍摄方法,其特征在于,所述根据待拍摄对象所反射的红外光获取所述待拍摄对象上各个红外光反射点与所述移动终端之间的距离的步骤,包括:
通过包含第二像素的像素阵列接收所述待拍摄对象上各个红外光反射点所反射的红外光;
根据发送与接收红外光的时间差以及红外光的传播速度或者通过获取红外光的相位差,获取所述待拍摄对象上各个红外光反射点与所述移动终端之间的距离。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810797634.2A CN108965703A (zh) | 2018-07-19 | 2018-07-19 | 一种图像传感器、移动终端及图像拍摄方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810797634.2A CN108965703A (zh) | 2018-07-19 | 2018-07-19 | 一种图像传感器、移动终端及图像拍摄方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108965703A true CN108965703A (zh) | 2018-12-07 |
Family
ID=64497451
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810797634.2A Pending CN108965703A (zh) | 2018-07-19 | 2018-07-19 | 一种图像传感器、移动终端及图像拍摄方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108965703A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112616009A (zh) * | 2020-12-31 | 2021-04-06 | 维沃移动通信有限公司 | 电子设备及其摄像模组 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150189255A1 (en) * | 2013-12-30 | 2015-07-02 | Industry-Academic Cooperation Foundation, Yonsei University | Stereo camera |
CN105611136A (zh) * | 2016-02-26 | 2016-05-25 | 联想(北京)有限公司 | 一种图像传感器以及电子设备 |
CN105789227A (zh) * | 2014-10-06 | 2016-07-20 | 采钰科技股份有限公司 | 堆叠滤光片及含有堆叠滤光片的图像传感器 |
CN106878690A (zh) * | 2015-12-14 | 2017-06-20 | 比亚迪股份有限公司 | 图像传感器的成像方法、成像装置和电子设备 |
CN107040724A (zh) * | 2017-04-28 | 2017-08-11 | 广东欧珀移动通信有限公司 | 双核对焦图像传感器及其对焦控制方法和成像装置 |
CN207354459U (zh) * | 2017-10-19 | 2018-05-11 | 维沃移动通信有限公司 | 一种摄像头模组和移动终端 |
CN108271012A (zh) * | 2017-12-29 | 2018-07-10 | 维沃移动通信有限公司 | 一种深度信息的获取方法、装置以及移动终端 |
-
2018
- 2018-07-19 CN CN201810797634.2A patent/CN108965703A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150189255A1 (en) * | 2013-12-30 | 2015-07-02 | Industry-Academic Cooperation Foundation, Yonsei University | Stereo camera |
CN105789227A (zh) * | 2014-10-06 | 2016-07-20 | 采钰科技股份有限公司 | 堆叠滤光片及含有堆叠滤光片的图像传感器 |
CN106878690A (zh) * | 2015-12-14 | 2017-06-20 | 比亚迪股份有限公司 | 图像传感器的成像方法、成像装置和电子设备 |
CN105611136A (zh) * | 2016-02-26 | 2016-05-25 | 联想(北京)有限公司 | 一种图像传感器以及电子设备 |
CN107040724A (zh) * | 2017-04-28 | 2017-08-11 | 广东欧珀移动通信有限公司 | 双核对焦图像传感器及其对焦控制方法和成像装置 |
CN207354459U (zh) * | 2017-10-19 | 2018-05-11 | 维沃移动通信有限公司 | 一种摄像头模组和移动终端 |
CN108271012A (zh) * | 2017-12-29 | 2018-07-10 | 维沃移动通信有限公司 | 一种深度信息的获取方法、装置以及移动终端 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112616009A (zh) * | 2020-12-31 | 2021-04-06 | 维沃移动通信有限公司 | 电子设备及其摄像模组 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108600712B (zh) | 一种图像传感器、移动终端及图像拍摄方法 | |
CN108900750A (zh) | 一种图像传感器及移动终端 | |
CN108900751A (zh) | 一种图像传感器、移动终端及拍摄方法 | |
CN108965666B (zh) | 一种移动终端及图像拍摄方法 | |
CN108965665A (zh) | 一种图像传感器及移动终端 | |
CN107846537B (zh) | 一种摄像头组件、图像获取方法及移动终端 | |
WO2020015626A1 (zh) | 移动终端及图像拍摄方法 | |
CN108307109A (zh) | 一种高动态范围图像预览方法及终端设备 | |
CN109348020A (zh) | 一种拍照方法及移动终端 | |
CN107948505A (zh) | 一种全景拍摄方法及移动终端 | |
US11996421B2 (en) | Image sensor, mobile terminal, and image capturing method | |
CN108965703A (zh) | 一种图像传感器、移动终端及图像拍摄方法 | |
CN106973211A (zh) | 摄像模组及移动终端 | |
CN110248050A (zh) | 一种摄像头模组及移动终端 | |
CN115278000A (zh) | 图像传感器、图像生成方法、摄像头模组及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181207 |
|
RJ01 | Rejection of invention patent application after publication |