CN109946709B - 图像传感器、终端的景深测量方法及终端 - Google Patents
图像传感器、终端的景深测量方法及终端 Download PDFInfo
- Publication number
- CN109946709B CN109946709B CN201910191284.XA CN201910191284A CN109946709B CN 109946709 B CN109946709 B CN 109946709B CN 201910191284 A CN201910191284 A CN 201910191284A CN 109946709 B CN109946709 B CN 109946709B
- Authority
- CN
- China
- Prior art keywords
- photosensitive
- unit
- storage unit
- charge storage
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Measurement Of Optical Distance (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明提供了一种图像传感器、终端的景深测量方法及终端,该图像传感器上设置有感光区域,感光区域包括多个感光单元,感光区域上覆盖有滤光片;每个感光单元通过第一开关与第一电荷存储单元相连,每个感光单元通过第二开关与第二电荷存储单元相连,且每个感光单元通过第三开关与第三电荷存储单元相连;滤光片包括多个滤光片单元,一个滤光片单元用于通过一种频率的光线,每相邻第一预设数量的滤光片单元中至少包括两种类型的滤光片单元,其中,相同类型的滤光片单元通过的光线的频率相同。因此,本发明的方案,解决了景深测量误差较大的问题。
Description
技术领域
本发明涉及终端技术领域,尤其涉及一种图像传感器、终端的景深测量方法及终端。
背景技术
随着深度相机在终端上面出现,市面上已经有了不少数量可以实现具有深度信息的人脸解锁,体感识别,景深虚化等设备。因此,深度相机相比普通相机带来了极其丰富的应用。
深度相机目前主要有几种方式:分别是双目,结构光,飞行时间(Time of Flight,简称TOF)。其中,TOF由于其抗干扰能力较强,测量距离远,测量速度快,具有非常明显的优势。
具体地,TOF的基本原理是通过连续发射光脉冲(一般为不可见光)到被测物体上,然后接收从被测物体反射回去的光脉冲,通过探测光脉冲的飞行(往返)时间来计算被测物体离相机的距离。其中,TOF深度相机成像一般是采用红外波段的光线发射器和接收传感器。
其中,不同颜色的物体对光的反射不一样。对于非彩色的物体,光谱的反射率曲线都是比较平缓的曲线,各个颜色波长基本都一致。例如,反射比例高的就是白色,反射比例低的就是黑色,反射比例居中的是灰色。而彩色的物体会吸收某些波长的光,反射某些波长的光。比如蓝色物体是对蓝色波长的光反射较强,而同时对其他颜色波长的光吸收较大。
而对于红外波段的光,物体的颜色越接近黑色,对红外光吸收能力较强,并且红光的对比色(绿色)对红外光也具有较强的吸收能力。总之,物体的颜色越接近红外光的对比色则对红外光的吸收能力越强,越接近红光的颜色则对红外光的反射能力越强。
因此,当红外发射器发射的红外光照射到不同颜色的物体上,会出现局部颜色的反射光微弱或者无法接收到返回的红外光的情况。其中,当光线反射不足时,信噪比变差,会导致测量物体深度误差变大,甚至无法测量物体的深度。另外,在反射不足的情况下,只能通过提升发射器的发射功率,但是这样又会造成局部区域过曝,较难处理。
由此可知,现有技术中在测量景深时,景深测量误差较大。
发明内容
本发明的实施例提供了一种图像传感器、终端的景深测量方法及终端,以解决景深测量误差较大的问题。
第一方面,本发明的实施了提供了一种图像传感器,所述图像传感器上设置有感光区域,所述感光区域包括多个感光单元,所述感光区域上覆盖有滤光片;
每个所述感光单元通过第一开关与第一电荷存储单元相连,每个所述感光单元通过第二开关与第二电荷存储单元相连,且每个所述感光单元通过第三开关与第三电荷存储单元相连;
所述滤光片包括多个滤光片单元,一个所述滤光片单元用于通过一种频率的光线,每相邻第一预设数量的所述滤光片单元中至少包括两种类型的滤光片单元,其中,相同类型的滤光片单元通过的光线的频率相同。
第二方面,本发明的实施了还提供了一种终端的景深测量方法,所述终端包括光线发射器以及上述所述的图像传感器,所述光线发射器和所述图像传感器设置于终端的同一侧面;
所述景深测量方法包括:
在预设时间段内,控制所述光线发射器同时向一被测物体发射至少两种不同频率的光脉冲,并在每次所述光线发射器打开时控制所述第一开关闭合第一预设时间;
在所述预设时间段内,控制所述光线发射器同时向所述被测物体发射至少两种不同频率的光脉冲,并在每次所述光线发射器关闭时控制所述第二开关闭合所述第一预设时间;
在所述预设时间段内,控制所述光线发射器关闭,并控制所述第三开关按照预设周期打开和关闭;
获取所述第一电荷存储单元、所述第二电荷存储单元以及所述第三电荷存储单元内的电荷量;
根据获取的所述第一电荷存储单元、所述第二电荷存储单元以及所述第三电荷存储单元内的电荷量,确定所述被测物体的景深信息;
其中,所述第一预设时间大于或等于所述光脉冲的脉冲宽度的两倍,所述预设周期包括打开时间和关闭时间,所述打开时间等于所述第一预设时间,所述关闭时间等于所述光脉冲的周期与所述第一预设时间之差。
第三方面,本发明的实施例还提供了一种终端,所述终端包括光线发射器以及上述所述的图像传感器,所述光线发射器和所述图像传感器设置于终端的同一侧面;
所述终端还包括:
第一控制模块,用于在预设时间段内,控制所述光线发射器同时向一被测物体发射至少两种不同频率的光脉冲,并在每次所述光线发射器打开时控制所述第一开关闭合第一预设时间;
第二控制模块,用于在所述预设时间段内,控制所述光线发射器同时向所述被测物体发射至少两种不同频率的光脉冲,并在每次所述光线发射器关闭时控制所述第二开关闭合所述第一预设时间;
第三控制模块,用于在所述预设时间段内,控制所述光线发射器关闭,并控制所述第三开关按照预设周期打开和关闭;
第一获取模块,用于获取所述第一电荷存储单元、所述第二电荷存储单元以及所述第三电荷存储单元内的电荷量;
第一景深确定模块,用于根据获取的所述第一电荷存储单元、所述第二电荷存储单元以及所述第三电荷存储单元内的电荷量,确定所述被测物体的景深信息;
其中,所述第一预设时间大于或等于所述光脉冲的脉冲宽度的两倍,所述预设周期包括打开时间和关闭时间,所述打开时间等于所述第一预设时间,所述关闭时间等于所述光脉冲的周期与所述第一预设时间之差。
第四方面,本发明的实施例还提供了一种终端,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序;所述处理器执行所述程序时实现上述所述的终端的景深测量方法。
第五方面,本发明的实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述所述的终端的景深测量方法中的步骤。
第六方面,本发明的实施例还提供了一种图像传感器,所述图像传感器上设置有感光区域,所述感光区域包括多个感光单元,所述感光区域上覆盖有滤光片;
每个所述感光单元通过第四开关与第四电荷存储单元相连,每个所述感光单元通过第五开关与第五电荷存储单元相连,且每个所述感光单元通过第六开关与第六电荷存储单元相连;
其中,所述滤光片用于通过至少两种频率的光线。
第七方面,本发明的实施例还提供了一种终端的景深测量方法,所述终端包括光线发射器以及上述所述的图像传感器,所述光线发射器和所述图像传感器设置于终端的同一侧面;
所述景深测量方法包括:
在预设时间段内,控制所述光线发射器向一被测物体发射第一频率的光脉冲,并在每次所述光线发射器打开时控制所述第四开关闭合第一预设时间;
在所述预设时间段内,控制所述光线发射器向所述被测物体发射所述第一频率的光脉冲,并在每次所述光线发射器关闭时控制所述第五开关闭合所述第一预设时间;
在所述预设时间段内,控制所述光线发射器关闭,并控制所述第六开关按照预设周期打开和关闭;
直到所述光线发射器发射完毕第n频率的光线为止,获得所述第四电荷存储单元、所述第五电荷存储单元以及所述第六电荷存储单元中累积的电荷量;
根据获得的所述第四电荷存储单元、所述第五电荷存储单元以及所述第六电荷存储单元中累积的电荷量,确定所述被测物体的景深信息;
其中,所述第一预设时间大于或等于所述光脉冲的脉冲宽度的两倍,所述预设周期包括打开时间和关闭时间,所述打开时间等于所述第一预设时间,所述关闭时间等于所述光脉冲的周期与所述第一预设时间之差。
第八方面,本发明的实施例还提供了一种终端,所述终端包括光线发射器以及上述所述的图像传感器,所述光线发射器和所述图像传感器设置于终端的同一侧面;
所述终端还包括:
第四控制模块,用于在预设时间段内,控制所述光线发射器向一被测物体发射第一频率的光脉冲,并在每次所述光线发射器打开时控制所述第四开关闭合第一预设时间;
第五控制模块,用于在所述预设时间段内,控制所述光线发射器向所述被测物体发射所述第一频率的光脉冲,并在每次所述光线发射器关闭时控制所述第五开关闭合所述第一预设时间;
第六控制模块,用于在所述预设时间段内,控制所述光线发射器关闭,并控制所述第六开关按照预设周期打开和关闭;
第二获取模块,用于在所述光线发射器发射完毕第n频率的光线时,获得所述第四电荷存储单元、所述第五电荷存储单元以及所述第六电荷存储单元中累积的电荷量;
第二景深确定模块,用于根据获得的所述第四电荷存储单元、所述第五电荷存储单元以及所述第六电荷存储单元中累积的电荷量,确定所述被测物体的景深信息;
其中,所述第一预设时间大于或等于所述光脉冲的脉冲宽度的两倍,所述预设周期包括打开时间和关闭时间,所述打开时间等于所述第一预设时间,所述关闭时间等于所述光脉冲的周期与所述第一预设时间之差。
第九方面,本发明的实施例还提供了一种终端,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序;所述处理器执行所述程序时实现上述所述的终端的景深测量方法。
第十方面,本发明的实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述所述的终端的景深测量方法中的步骤。
本发明实施例的有益效果是:
本发明的实施例,通过在图像传感器的感光区域上设置用于通过至少两种频率的光线的滤光片,使得感光区域中的感光单元可以接收被同一被测物反射后的至少两种不同频率的光线,进而使得对光线反射较弱的颜色在不同频率得到互补,解决了相机传感器发射光线被不同颜色物体吸收而导致景深测量误差较大的问题。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1表示本发明实施例提供的终端的景深测量方法的流程图之一;
图2表示本发明实施例提供的终端的景深测量方法的流程图之二;
图3表示本发明实施例中三次曝光时快门打开与关闭的波形图;
图4表示本发明实施例中滤光片所包括的滤光片单元的排布示意图;
图5表示本发明实施例提供的终端的结构框图之一;
图6表示本发明实施例提供的终端的结构框图之二;
图7表示本发明实施例提供的终端的结构框图之三;
图8表示本发明的实施例提供的一种终端的硬件结构示意图之一;
图9表示本发明的实施例提供的一种终端的硬件结构示意图之二。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的实施例提供了一种图像传感器,所述图像传感器上设置有感光区域,所述感光区域包括多个感光单元,所述感光区域上覆盖有滤光片;
每个所述感光单元通过第一开关与第一电荷存储单元相连,每个所述感光单元通过第二开关与第二电荷存储单元相连,且每个所述感光单元通过第三开关与第三电荷存储单元相连;
所述滤光片包括多个滤光片单元,一个所述滤光片单元用于通过一种频率的光线,每相邻第一预设数量的所述滤光片单元中至少包括两种类型的滤光片单元,其中,相同类型的滤光片单元通过的光线的频率相同,即一种类型的滤光片单元只能通过一种频率的光线。
其中,上述感光区域即为像素单元的分布区域,每个像素单元中包含一个感光单元。
另外,所述滤光片用于通过至少两种不同频率的光线,使得感光区域中的不同感光单元可以分别接收不同频率的光线,进而使得对光线反射较弱的颜色在不同频率得到互补,解决了相机传感器发射光线被不同颜色物体吸收而导致景深测量误差较大的问题。
优选地,每相邻的两个所述滤光片单元通过的光线的频率不同,从而能够保证分辨率不会明显下降。具体地,例如当滤光片用于通过第一频率和第二频率的光线时,所述滤光单元的排布方式,可如图4所示,其中,f1表示第一频率,f2表示第二频率。
优选地,任意两种类型的所述滤光片单元通过的光线的频率的差值大于预设值。其中,两种发射光线的频率差越大,同一颜色对光线的反射率的差异则会越大,从而使得对光线反射较弱的颜色在不同频率得到更好的互补,进一步减小利用该图像传感器进行景深测量时的误差。
本发明的实施例还提供了一种终端的景深测量方法,所述终端包括光线发射器以及上述所述的图像传感器,所述光线发射器和所述图像传感器设置于终端的同一侧面;其中,光线反射器与图像传感器设置于终端的同一侧面,使得光线发射器朝向一被测物发射光线时,图像传感器可以接收到被所述被测物反射后的反射光线,另外,所述光线发射器能够发射至少两种频率的光线。
如图1所示,所述景深测量方法包括:
步骤101:在预设时间段内,控制所述光线发射器同时向一被测物体发射至少两种不同频率的光脉冲,并在每次所述光线发射器打开时控制所述第一开关闭合第一预设时间。
步骤102:在所述预设时间段内,控制所述光线发射器同时向所述被测物体发射至少两种不同频率的光脉冲,并在每次所述光线发射器关闭时控制所述第二开关闭合所述第一预设时间。
步骤103:在所述预设时间段内,控制所述光线发射器关闭,并控制所述第三开关按照预设周期打开和关闭。
由上述可知,利用终端上的上述光线发射器和图像传感器进行景深测量时,主要包括如下三次曝光的过程:
第一次曝光:光线发射器发射至少两种频率的光线,而与感光单元相连接的第一开关在每次光线发射器打开的同时打开,并在第一预设时间后关闭,待反射光进入感光单元时,将接收到的光线转换后的电荷存储在与第一开关相连接的第一电荷存储单元中。即如图3所示,光线发射器按照第一波形打开和关闭,从而发射光脉冲;与感光单元相连接的第一开关按照第二波形打开和关闭,使得感光单元可以接收光线发射器发射的光线被发射后的全部反射光线,以及环境光线。其中,第二波形图中的阴影部分表示第一次曝光结束后,由接收到的反射光转换得到的电荷。t1表示所述第一预设时间,T0表示曝光时间。
第二次曝光:光线发射器发射至少两种频率的光线,而与感光单元相连接的第二开关在每次光线发射器关闭的同时打开,并在第一预设时间后关闭,待反射光进入感光单元时,将接收到的光线转换后的电荷存储在与第二开关相连接的第二电荷存储单元中。即如图3所示,光线发射器按照第一波形打开和关闭,从而发射光脉冲;与感光单元相连接的第二开关按照第三波形打开和关闭,使得感光单元仅仅接收光线发射器关闭后的反射光线,以及环境光线。其中,第三波形图中的阴影部分表示第二次曝光结束后,由接收到的反射光转换得到的电荷。
第三次曝光:光线发射器关闭,而与感光单元相连接的第三开关按照上述预设周期打开和关闭,从而将接收到的光线转换后的电荷存储在与第三开关相连接的第三电荷存储单元中。即如图3所示,与感光单元相连接的第三开关按照第四波形打开和关闭,使得感光单元仅仅接收环境光线。
其中,对于上述第一次曝光、第二次曝光以及第三次曝光的曝光时间均相同。
步骤104:获取所述第一电荷存储单元、所述第二电荷存储单元以及所述第三电荷存储单元内的电荷量。
步骤105:根据获取的所述第一电荷存储单元、所述第二电荷存储单元以及所述第三电荷存储单元内的电荷量,确定所述被测物体的景深信息。
所述第一预设时间大于或等于所述光脉冲的脉冲宽度的两倍,所述预设周期包括打开时间和关闭时间,所述打开时间等于所述第一预设时间,所述关闭时间等于所述光脉冲的周期与所述第一预设时间之差。
其中,经过上述三次曝光,在与感光单元相连接的第一电荷存储单元、第二电荷存储单元以及第三电荷存储单元中,都存储有相应的电荷,则根据这些电荷存储单元中的电荷量,进一步可以计算出被测物体的景深信息。
优选地,所述根据获取的所述第一电荷存储单元、所述第二电荷存储单元以及所述第三电荷存储单元内的电荷量,确定所述被测物体的景深信息的步骤,包括:
将每相邻所述第一预设数量的所述滤光片单元所覆盖的所述感光单元确定为一感光组;
从所述感光组的感光单元中选出用于计算景深信息的目标单元;
获取所述感光组中的所述目标单元相连接的第一电荷存储单元中的电荷量之和,得到第一公共电荷量;
获取所述感光组中的所述目标单元相连接的第二电荷存储单元中的电荷量之和,得到第二公共电荷量;
获取所述感光组中的所述目标单元相连接的第三电荷存储单元中的电荷量之和,得到第三公共电荷量;
根据所述第一公共电荷量、所述第二公共电荷量以及所述第三公共电荷量,确定所述被测物体的景深信息。
例如图4所示,每相邻的四个滤光片单元所覆盖的感光单元则确定为一个感光组,即图4中黑色方框所圈在内的滤光片单元所覆盖的感光单元属于一个感光组。其中,需要注意的是,图4中的黑色方框向右移一个单元,或者向下移一个单元则形成一个新的感光组。因此,在计算景深信息时,图4中的黑色方框每移动一个单元,则形成一个新的感光组,则需要计算该感光组对应的景深。
进一步地,所述从所述感光组的感光单元中选出用于计算景深信息的目标单元的步骤,包括:
将所述感光组中的所述感光单元均确定为用于计算景深信息的目标单元;
或者
判断所述感光组中的每一个所述感光单元属于正常单元或过曝单元或欠曝单元,获得判断结果;
根据所述判断结果,从所述感光组的所述感光单元中选出用于计算景深信息的目标单元。
由上述可知,可以将感光组中所有的感光单元均确定为用于计算景深的目标单元,也可以根据感光组中的感光单元的过曝、欠曝情况,选择用于计算景深的目标单元。其中,在根据感光组中的感光单元的过曝、欠曝情况,选择用于计算景深的目标单元时,可以避免某一感光单元过曝时,电荷存储单元中的电荷溢出导致的景深测量误差,以及某一感光单元欠曝时造成底噪比例较大带来的景深测量误差。
此外,可以根据与感光单元相连接的第一电荷存储单元中的电荷量或者第二电荷存储单元中的电荷量,判断感光单元属于过曝单元、欠曝单元、正常单元中的哪一种单元。
具体地,所述判断所述感光组中的每一个所述感光单元属于正常单元或过曝单元或欠曝单元,获得判断结果的步骤,包括:
当与所述感光单元相连接的所述第一电荷存储单元中的电荷量超过所述第一预设范围的上限值,或者与所述感光单元相连接的所述第二电荷存储单元中的电荷量超过第二预设范围的上限值时,确定所述感光单元属于过曝单元;
当与所述感光单元相连接的所述第一电荷存储单元中的电荷量小于所述第一预设范围的下限值,或者与所述感光单元相连接的所述第二电荷存储单元中的电荷量小于所述第二预设范围的下限值时,确定所述感光单元属于欠曝单元;
当与所述感光单元相连接的所述第一电荷存储单元中的电荷量处于所述第一预设范围之内,或者与所述感光单元相连接的所述第二电荷存储单元中的电荷量处于所述第二预设范围之内时,确定所述感光单元属于正常单元。
优选地,所述根据所述判断结果,从所述感光组的所述感光单元中选出用于计算景深信息的目标单元的步骤,包括:
当所述感光组中存在至少一个正常单元时,将所述感光组中的正常单元确定为用于计算景深信息的目标单元;
当所述感光组中的所述感光单元均属于过曝单元时,将所述感光组中的所述感光单元的过曝程度按照从小到大的顺序进行排列,并将排位前第二预设数量的感光单元确定为用于计算景深信息的目标单元,其中,所述过曝程度为与所述感光单元相连接的所述第一电荷存储单元中的电荷量与所述第一预设范围的上限值之差,或者与所述感光单元相连接的所述第二电荷存储单元中的电荷量与所述第二预设范围的上限值之差;
当所述感光组中的所述感光单元中均属于欠曝单元时,将所述感光组中的所述感光单元均确定为用于计算景深信息的目标单元。
由上述可知,当一感光组中包括至少一个正常单元时,则选取正常单元作为该感光组中用于计算景深的目标单元,即将该感光组中的过曝单元和欠曝单元均除去,从而避免某一感光单元过曝时,电荷存储单元中的电荷溢出导致的景深测量误差,以及某一感光单元欠曝时造成底噪比例较大带来的景深测量误差。
而当一感光组中的感光单元均属于过曝单元时,则从中选取一定数量的过曝程度低的过曝单元作为计算景深的目标单元,从而减小过曝单元相连接的电荷存储单元中的电荷溢出导致的景深测量误差。
当一感光组中的感光单元均属于欠曝单元时,则将该感光组中的全部欠曝单元均确定为用于计算景深的目标单,即将感光组中的过曝单元的数据进行叠加,从而在一定程度上减小感光单元欠曝时造成底噪比例较大带来的景深测量误差。
优选地,所述根据所述第一公共电荷量、所述第二公共电荷量以及所述第三公共电荷量,确定所述被测物体的景深信息的步骤,包括:
根据以下方式计算所述被测物体的景深:
其中,C表示光速,Tp表示在所述预设时间段的时长,S0i表示与第i个感光组对应的第一公共电荷量,S1i表示与第i个感光组对应的第二公共电荷量,BGi表示与第i个感光组对应的第三公共电荷量,di表示与第i个感光组对应的被测物体的像素的景深。
其中,每一个感光组对应计算一个景深值,则所有感光组对应的景深值构成被测物体的景深信息。
由上述可知,利用光线发射器同时发射至少两种频率的光线,并利用图像传感器接收至少两种频率的光线被同一被测物体反射后的反射光线,实现对景深信息的测量。其中,通过不同频率之间的互补,减小了发射光线被不同颜色物体吸收而导致的景深测量误差。
本发明的实施例还提供了一种终端,如图5所示,所述终端500包括光线发射器501以及上述所述的图像传感器502,所述光线发射器501和所述图像传感器502设置于终端的同一侧面;
所述终端500还包括:
第一控制模块503,用于在预设时间段内,控制所述光线发射器同时向一被测物体发射至少两种不同频率的光脉冲,并在每次所述光线发射器打开时控制所述第一开关闭合第一预设时间;
第二控制模块504,用于在所述预设时间段内,控制所述光线发射器同时向所述被测物体发射至少两种不同频率的光脉冲,并在每次所述光线发射器关闭时控制所述第二开关闭合所述第一预设时间;
第三控制模块505,用于在所述预设时间段内,控制所述光线发射器关闭,并控制所述第三开关按照预设周期打开和关闭;
第一获取模块506,用于获取所述第一电荷存储单元、所述第二电荷存储单元以及所述第三电荷存储单元内的电荷量;
第一景深确定模块507,用于根据获取的所述第一电荷存储单元、所述第二电荷存储单元以及所述第三电荷存储单元内的电荷量,确定所述被测物体的景深信息;
其中,所述第一预设时间大于或等于所述光脉冲的脉冲宽度的两倍,所述预设周期包括打开时间和关闭时间,所述打开时间等于所述第一预设时间,所述关闭时间等于所述光脉冲的周期与所述第一预设时间之差。
优选地,如图6所示,所述第一景深确定模块507包括:
感光组划分单元5071,用于将每相邻所述第一预设数量的所述滤光片单元所覆盖的所述感光单元确定为一感光组;
选择单元5072,用于从所述感光组的感光单元中选出用于计算景深信息的目标单元;
第一获取单元5073,用于获取所述感光组中的所述目标单元相连接的第一电荷存储单元中的电荷量之和,得到第一公共电荷量;
第二获取单元5074,用于获取所述感光组中的所述目标单元相连接的第二电荷存储单元中的电荷量之和,得到第二公共电荷量;
第三获取单元5075,用于获取所述感光组中的所述目标单元相连接的第三电荷存储单元中的电荷量之和,得到第三公共电荷量;
景深确定单元5076,用于根据所述第一公共电荷量、所述第二公共电荷量以及所述第三公共电荷量,确定所述被测物体的景深信息。
优选地,如图6所示,所述选择单元5072包括:
第一选择子单元50721,用于将所述感光组中的所述感光单元均确定为用于计算景深信息的目标单元;
或者
判断子单元50722,用于判断所述感光组中的每一个所述感光单元属于正常单元或过曝单元或欠曝单元,获得判断结果;
第二选择子单元50723,用于根据所述判断结果,从所述感光组的所述感光单元中选出用于计算景深信息的目标单元。
优选地,所述判断子单元50722具体用于:
当与所述感光单元相连接的所述第一电荷存储单元中的电荷量超过所述第一预设范围的上限值,或者与所述感光单元相连接的所述第二电荷存储单元中的电荷量超过第二预设范围的上限值时,确定所述感光单元属于过曝单元;
当与所述感光单元相连接的所述第一电荷存储单元中的电荷量小于所述第一预设范围的下限值,或者与所述感光单元相连接的所述第二电荷存储单元中的电荷量小于所述第二预设范围的下限值时,确定所述感光单元属于欠曝单元;
当与所述感光单元相连接的所述第一电荷存储单元中的电荷量处于所述第一预设范围之内,或者与所述感光单元相连接的所述第二电荷存储单元中的电荷量处于所述第二预设范围之内时,确定所述感光单元属于正常单元。
优选地,所述第二选择子单元50723具体用于:
当所述感光组中存在至少一个正常单元时,将所述感光组中的正常单元确定为用于计算景深信息的目标单元;
当所述感光组中的所述感光单元均属于过曝单元时,将所述感光组中的所述感光单元的过曝程度按照从小到大的顺序进行排列,并将排位前第二预设数量的感光单元确定为用于计算景深信息的目标单元,其中,所述过曝程度为与所述感光单元相连接的所述第一电荷存储单元中的电荷量与所述第一预设范围的上限值之差,或者与所述感光单元相连接的所述第二电荷存储单元中的电荷量与所述第二预设范围的上限值之差;
当所述感光组中的所述感光单元中均属于欠曝单元时,将所述感光组中的所述感光单元均确定为用于计算景深信息的目标单元。
优选地,所述景深确定单元5076具体用于:
根据以下方式计算所述被测物体的景深:
其中,C表示光速,Tp表示在所述预设时间段的时长,S0i表示与第i个感光组对应的第一公共电荷量,S1i表示与第i个感光组对应的第二公共电荷量,BGi表示与第i个感光组对应的第三公共电荷量,di表示与第i个感光组对应的被测物体的像素的景深。
本发明的实施例还提供了一种终端,如图8所示,该终端800包括但不限于:射频单元801、网络模块802、音频输出单元803、输入单元804、传感器805、显示单元806、用户输入单元807、接口单元808、存储器809、处理器88、及电源811以及光纤发射器812和图像传感器813等部件。本领域技术人员可以理解,图8中示出的终端结构并不构成对终端的限定,终端可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。在本发明实施例中,终端包括但不限于手机、平板电脑、笔记本电脑、掌上电脑、车载终端、可穿戴设备、以及计步器等。
其中,所述图像传感器813上设置有感光区域,所述感光区域包括多个感光单元,所述感光区域上覆盖有滤光片;
每个所述感光单元通过第一开关与第一电荷存储单元相连,每个所述感光单元通过第二开关与第二电荷存储单元相连,且每个所述感光单元通过第三开关与第三电荷存储单元相连;
所述滤光片包括多个滤光片单元,一个所述滤光片单元用于通过一种频率的光线,每相邻第一预设数量的所述滤光片单元中至少包括两种类型的滤光片单元,其中,相同类型的滤光片单元通过的光线的频率相同。处理器810用于在预设时间段内,控制所述光线发射器同时向一被测物体发射至少两种不同频率的光脉冲,并在每次所述光线发射器打开时控制所述第一开关闭合第一预设时间;在所述预设时间段内,控制所述光线发射器同时向所述被测物体发射至少两种不同频率的光脉冲,并在每次所述光线发射器关闭时控制所述第二开关闭合所述第一预设时间;在所述预设时间段内,控制所述光线发射器关闭,并控制所述第三开关按照预设周期打开和关闭;获取所述第一电荷存储单元、所述第二电荷存储单元以及所述第三电荷存储单元内的电荷量;根据获取的所述第一电荷存储单元、所述第二电荷存储单元以及所述第三电荷存储单元内的电荷量,确定所述被测物体的景深信息;其中,所述第一预设时间大于或等于所述光脉冲的脉冲宽度的两倍,所述预设周期包括打开时间和关闭时间,所述打开时间等于所述第一预设时间,所述关闭时间等于所述光脉冲的周期与所述第一预设时间之差。
因此,本发明实施例的终端800,利用光线发射器812同时发射至少两种频率的光线,并利用图像传感器813接收至少两种频率的光线被同一被测物体反射后的反射光线,实现对景深信息的测量。其中,通过不同频率之间的互补,减小了发射光线被不同颜色物体吸收而导致的景深测量误差。
应理解的是,本发明实施例中,射频单元801可用于收发信息或通话过程中,信号的接收和发送,具体的,将来自基站的下行数据接收后,给处理器810处理;另外,将上行的数据发送给基站。通常,射频单元801包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外,射频单元801还可以通过无线通信系统与网络和其他设备通信。
终端通过网络模块802为用户提供了无线的宽带互联网访问,如帮助用户收发电子邮件、浏览网页和访问流式媒体等。
音频输出单元803可以将射频单元801或网络模块802接收的或者在存储器809中存储的音频数据转换成音频信号并且输出为声音。而且,音频输出单元803还可以提供与终端800执行的特定功能相关的音频输出(例如,呼叫信号接收声音、消息接收声音等等)。音频输出单元803包括扬声器、蜂鸣器以及受话器等。
输入单元804用于接收音频或视频信号。输入单元804可以包括图形处理器(Graphics Processing Unit,GPU)8041和麦克风8042,图形处理器8041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元806上。经图形处理器8041处理后的图像帧可以存储在存储器809(或其它存储介质)中或者经由射频单元801或网络模块802进行发送。麦克风8042可以接收声音,并且能够将这样的声音处理为音频数据。处理后的音频数据可以在电话通话模式的情况下转换为可经由射频单元801发送到移动通信基站的格式输出。
终端800还包括至少一种传感器805,比如光传感器、运动传感器以及其他传感器。具体地,光传感器包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板8061的亮度,接近传感器可在终端800移动到耳边时,关闭显示面板8061和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别终端姿态(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;传感器805还可以包括指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等,在此不再赘述。
显示单元806用于显示由用户输入的信息或提供给用户的信息。显示单元806可包括显示面板8061,可以采用液晶显示器(Liquid Crystal Display,LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板8061。
用户输入单元807可用于接收输入的数字或字符信息,以及产生与终端的用户设置以及功能控制有关的键信号输入。具体地,用户输入单元807包括触控面板8071以及其他输入设备8072。触控面板8071,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板8071上或在触控面板8071附近的操作)。触控面板8071可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器810,接收处理器810发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板8071。除了触控面板8071,用户输入单元807还可以包括其他输入设备8072。具体地,其他输入设备8072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。
进一步的,触控面板8071可覆盖在显示面板8061上,当触控面板8071检测到在其上或附近的触摸操作后,传送给处理器88以确定触摸事件的类型,随后处理器810根据触摸事件的类型在显示面板8061上提供相应的视觉输出。虽然在图8中,触控面板8071与显示面板8061是作为两个独立的部件来实现终端的输入和输出功能,但是在某些实施例中,可以将触控面板8071与显示面板8061集成而实现终端的输入和输出功能,具体此处不做限定。
接口单元808为外部装置与终端800连接的接口。例如,外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元808可以用于接收来自外部装置的输入(例如,数据信息、电力等等)并且将接收到的输入传输到终端800内的一个或多个元件或者可以用于在终端800和外部装置之间传输数据。
存储器809可用于存储软件程序以及各种数据。存储器809可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器909可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器810是终端的控制中心,利用各种接口和线路连接整个终端的各个部分,通过运行或执行存储在存储器809内的软件程序和/或模块,以及调用存储在存储器809内的数据,执行终端的各种功能和处理数据,从而对终端进行整体监控。处理器810可包括一个或多个处理单元;优选的,处理器810可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器810中。
终端800还可以包括给各个部件供电的电源811(比如电池),优选的,电源811可以通过电源管理系统与处理器88逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
另外,终端800包括一些未示出的功能模块,在此不再赘述。
本发明实施例还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述终端的景深测量方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。其中,所述的计算机可读存储介质,如只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random AccessMemory,简称RAM)、磁碟或者光盘等。
本发明的实施例还提供了一种图像传感器,所述图像传感器上设置有感光区域,所述感光区域包括多个感光单元,所述感光区域上覆盖有滤光片;
每个所述感光单元通过第四开关与第四电荷存储单元相连,每个所述感光单元通过第五开关与第五电荷存储单元相连,每个所述感光单元通过第六开关与第六电荷存储单元相连;
所述滤光片用于通过至少两种频率的光线。
其中,上述感光区域即为像素单元的分布区域,每个像素单元中包含一个感光单元。
另外,所述滤光片用于通过至少两种不同频率的光线,使得感光区域中的感光单元均可以接收至少两种频率的光线,进而使得对光线反射较弱的颜色在不同频率得到互补,解决了相机传感器发射光线被不同颜色物体吸收而导致景深测量误差较大的问题。
优选地,所述至少两种频率的光线中任意两种光线的频率之间的差值大于预设值。其中,两种发射光线的频率差越大,同一颜色对光线的反射率的差异则会越大,从而使得对光线反射较弱的颜色在不同频率得到更好的互补,进一步减小利用该图像传感器进行景深测量时的误差。
本发明的实施例还提供了一种终端的景深测量方法,所述终端包括光线发射器以及上述所述的图像传感器,所述光线发射器和所述图像传感器设置于终端的同一侧面;其中,光线反射器与图像传感器设置于终端的同一侧面,使得光线发射器朝向一被测物发射光线时,图像传感器可以接收到被所述被测物反射后的反射光线,另外,所述光线发射器能够发射至少两种频率的光线。
如图2所示,所述景深测量方法包括:
步骤201:在预设时间段内,控制所述光线发射器向一被测物体发射第一频率的光脉冲,并在每次所述光线发射器打开时控制所述第四开关闭合第一预设时间。
步骤201:在所述预设时间段内,控制所述光线发射器向所述被测物体发射所述第一频率的光脉冲,并在每次所述光线发射器关闭时控制所述第五开关闭合所述第一预设时间。
步骤203:在所述预设时间段内,控制所述光线发射器关闭,并控制所述第六开关按照预设周期打开和关闭。
步骤204:直到所述光线发射器发射完毕第n频率的光线为止,获得所述第四电荷存储单元、所述第五电荷存储单元以及所述第六电荷存储单元中累积的电荷量。
步骤205:根据获得的所述第四电荷存储单元、所述第五电荷存储单元以及所述第六电荷存储单元中累积的电荷量,确定所述被测物体的景深信息。
其中,所述第一预设时间大于或等于所述光脉冲的脉冲宽度的两倍,所述预设周期包括打开时间和关闭时间,所述打开时间等于所述第一预设时间,所述关闭时间等于所述光脉冲的周期与所述第一预设时间之差。
由上述可知,对于任意一种频率的光线均包括三次曝光过程。即在本发明的实施例中,针对第一频率的光线,进行三次曝光,从而在感光单元相连接的第四电荷存储单元、第五电荷存储单元和第六电荷存储单元中均存储了相应的电荷;接着,针对第二频率的光线,进行三次曝光,则继续在感光单元相连接的第四电荷存储单元、第五电荷存储单元和第六电荷存储单元中均累积了相应的电荷;直到针对全部频率的光线,均进行了三次曝光为止,利用第四电荷存储单元、第五电荷存储单元以及第六电荷存储单元中最终累积的电荷,计算景深信息。
其中,针对任意一种频率的光线,进行三次曝光的过程具体如下:
第一次曝光:光线发射器发射某一频率的光线,而与感光单元相连接的第四开关在每次光线发射器打开的同时打开,并在第一预设时间后关闭,待反射光进入感光单元时,将接收到的光线转换后的电荷存储在与第四开关相连接的第四电荷存储单元中。即如图3所示,光线发射器按照第一波形打开和关闭,从而发射光脉冲;与感光单元相连接的第四开关按照第二波形打开和关闭,使得感光单元可以接收光线发射器发射的光线被发射后的全部反射光线,以及环境光线。其中,第二波形图中的阴影部分表示第一次曝光结束后,由接收到的反射光转换得到的电荷。其中,t1表示所述第一预设时间,T0表示曝光时间。
第二次曝光:光线发射器发射同样频率的光线,而与感光单元相连接的第五开关在每次光线发射器关闭的同时打开,并在第一预设时间后关闭,待反射光进入感光单元时,将接收到的光线转换后的电荷存储在与第五开关相连接的第五电荷存储单元中。即如图3所示,光线发射器按照第一波形打开和关闭,从而发射光脉冲;与感光单元相连接的第五开关按照第三波形打开和关闭,使得感光单元仅仅接收光线发射器关闭后的反射光线,以及环境光线。其中,第三波形图中的阴影部分表示第二次曝光结束后,由接收到的反射光转换得到的电荷。
第三次曝光:光线发射器关闭,而与感光单元相连接的第六开关按照上述预设周期打开和关闭,从而将接收到的光线转换后的电荷存储在与第六开关相连接的第六电荷存储单元中。即如图3所示,与感光单元相连接的第六开关按照第四波形打开和关闭,使得感光单元仅仅接收环境光线。
其中,对于上述第一次曝光、第二次曝光以及第三次曝光的曝光时间均相同。
优选地,所述根据获得的所述第四电荷存储单元、所述第五电荷存储单元以及所述第六电荷存储单元中累积的电荷量,确定所述被测物体的景深信息的步骤,包括:
根据以下方式计算所述被测物体的景深:
其中,C表示光速,Tp表示在所述预设时间段的时长,S0j表示与第j个所述感光单元相连接的第四电荷存储单元的累积电荷量,S1j表示与第j个所述感光单元相连接的第五电荷存储单元的累积电荷量,BGj表示与第j个所述感光单元相连接的第六电荷存储单元的累积电荷量,dj表示与第j个感光单元对应的被测物体的像素的景深。
其中,每一个感光单元对应计算一个景深值,则所有感光单元对应的景深值构成被测物体的景深信息。
由上述可知,利用光线发射器分别发射至少两种频率的光线,并利用图像传感器接收至少两种频率的光线被同一被测物体反射后的反射光线,实现对景深信息的测量。其中,通过不同频率之间的互补,减小了发射光线被不同颜色物体吸收而导致的景深测量误差。
本发明的实施例还提供了一种终端,如图7所示,所述终端700包括光线发射器701以及上述所述的图像传感器702,所述光线发射器701和所述图像传感器702设置于终端的同一侧面;
所述终端700还包括:
第四控制模块703,用于在预设时间段内,控制所述光线发射器向一被测物体发射第一频率的光脉冲,并在每次所述光线发射器打开时控制所述第四开关闭合第一预设时间;
第五控制模块704,用于在所述预设时间段内,控制所述光线发射器向所述被测物体发射所述第一频率的光脉冲,并在每次所述光线发射器关闭时控制所述第五开关闭合所述第一预设时间;
第六控制模块705,用于在所述预设时间段内,控制所述光线发射器关闭,并控制所述第六开关按照预设周期打开和关闭;
第二获取模块706,用于在所述光线发射器发射完毕第n频率的光线时,获得所述第四电荷存储单元、所述第五电荷存储单元以及所述第六电荷存储单元中累积的电荷量;
第二景深确定模块707,用于根据获得的所述第四电荷存储单元、所述第五电荷存储单元以及所述第六电荷存储单元中累积的电荷量,确定所述被测物体的景深信息;
其中,所述第一预设时间大于或等于所述光脉冲的脉冲宽度的两倍,所述预设周期包括打开时间和关闭时间,所述打开时间等于所述第一预设时间,所述关闭时间等于所述光脉冲的周期与所述第一预设时间之差。
优选地,所述第二景深确定模块707具体用于:
根据以下方式计算所述被测物体的景深:
其中,C表示光速,Tp表示在所述预设时间段的时长,S0j表示与第j个所述感光单元相连接的第四电荷存储单元的累积电荷量,S1j表示与第j个所述感光单元相连接的第五电荷存储单元的累积电荷量,BGj表示与第j个所述感光单元相连接的第六电荷存储单元的累积电荷量,dj表示与第j个感光单元对应的被测物体的像素的景深。
本发明的实施例还提供了一种终端,如图9所示,该终端900包括但不限于:射频单元901、网络模块902、音频输出单元903、输入单元904、传感器905、显示单元906、用户输入单元907、接口单元908、存储器909、处理器910、及电源911以及光纤发射器912和图像传感器913等部件。本领域技术人员可以理解,图9中示出的终端结构并不构成对终端的限定,终端可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。在本发明实施例中,终端包括但不限于手机、平板电脑、笔记本电脑、掌上电脑、车载终端、可穿戴设备、以及计步器等。
其中,所述图像传感器913上设置有感光区域,所述感光区域包括多个感光单元,所述感光区域上覆盖有滤光片;
每个所述感光单元通过第四开关与第四电荷存储单元相连,每个所述感光单元通过第五开关与第五电荷存储单元相连,且每个所述感光单元通过第六开关与第六电荷存储单元相连;
所述滤光片用于通过至少两种频率的光线。
处理器910用于在预设时间段内,控制所述光线发射器向一被测物体发射第一频率的光脉冲,并在每次所述光线发射器打开时控制所述第四开关闭合第一预设时间;在所述预设时间段内,控制所述光线发射器向所述被测物体发射所述第一频率的光脉冲,并在每次所述光线发射器关闭时控制所述第五开关闭合所述第一预设时间;在所述预设时间段内,控制所述光线发射器关闭,并控制所述第六开关按照预设周期打开和关闭;直到所述光线发射器发射完毕第n频率的光线为止,获得所述第四电荷存储单元、所述第五电荷存储单元以及所述第六电荷存储单元中累积的电荷量;根据获得的所述第四电荷存储单元、所述第五电荷存储单元以及所述第六电荷存储单元中累积的电荷量,确定所述被测物体的景深信息;其中,所述第一预设时间大于或等于所述光脉冲的脉冲宽度的两倍,所述预设周期包括打开时间和关闭时间,所述打开时间等于所述第一预设时间,所述关闭时间等于所述光脉冲的周期与所述第一预设时间之差。
因此,本发明实施例的终端900,利用光线发射器912分别发射至少两种频率的光线,并利用图像传感器913接收至少两种频率的光线被同一被测物体反射后的反射光线,实现对景深信息的测量。其中,通过不同频率之间的互补,减小了发射光线被不同颜色物体吸收而导致的景深测量误差。
应理解的是,本发明实施例中,射频单元901可用于收发信息或通话过程中,信号的接收和发送,具体的,将来自基站的下行数据接收后,给处理器910处理;另外,将上行的数据发送给基站。通常,射频单元901包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外,射频单元901还可以通过无线通信系统与网络和其他设备通信。
终端通过网络模块902为用户提供了无线的宽带互联网访问,如帮助用户收发电子邮件、浏览网页和访问流式媒体等。
音频输出单元903可以将射频单元901或网络模块902接收的或者在存储器909中存储的音频数据转换成音频信号并且输出为声音。而且,音频输出单元903还可以提供与终端900执行的特定功能相关的音频输出(例如,呼叫信号接收声音、消息接收声音等等)。音频输出单元903包括扬声器、蜂鸣器以及受话器等。
输入单元904用于接收音频或视频信号。输入单元904可以包括图形处理器(Graphics Processing Unit,GPU)5041和麦克风9042,图形处理器9041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元906上。经图形处理器9041处理后的图像帧可以存储在存储器909(或其它存储介质)中或者经由射频单元901或网络模块902进行发送。麦克风9042可以接收声音,并且能够将这样的声音处理为音频数据。处理后的音频数据可以在电话通话模式的情况下转换为可经由射频单元901发送到移动通信基站的格式输出。
终端900还包括至少一种传感器905,比如光传感器、运动传感器以及其他传感器。具体地,光传感器包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板9061的亮度,接近传感器可在终端900移动到耳边时,关闭显示面板9061和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别终端姿态(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;传感器905还可以包括指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等,在此不再赘述。
显示单元906用于显示由用户输入的信息或提供给用户的信息。显示单元906可包括显示面板9061,可以采用液晶显示器(Liquid Crystal Display,LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板9061。
用户输入单元907可用于接收输入的数字或字符信息,以及产生与终端的用户设置以及功能控制有关的键信号输入。具体地,用户输入单元907包括触控面板9071以及其他输入设备9072。触控面板9071,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板9071上或在触控面板9071附近的操作)。触控面板9071可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器910,接收处理器910发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板9071。除了触控面板9071,用户输入单元907还可以包括其他输入设备9072。具体地,其他输入设备9072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。
进一步的,触控面板9071可覆盖在显示面板9061上,当触控面板9071检测到在其上或附近的触摸操作后,传送给处理器510以确定触摸事件的类型,随后处理器910根据触摸事件的类型在显示面板9061上提供相应的视觉输出。虽然在图9中,触控面板9071与显示面板9061是作为两个独立的部件来实现终端的输入和输出功能,但是在某些实施例中,可以将触控面板9071与显示面板9061集成而实现终端的输入和输出功能,具体此处不做限定。
接口单元908为外部装置与终端900连接的接口。例如,外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元908可以用于接收来自外部装置的输入(例如,数据信息、电力等等)并且将接收到的输入传输到终端900内的一个或多个元件或者可以用于在终端900和外部装置之间传输数据。
存储器909可用于存储软件程序以及各种数据。存储器909可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器909可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器910是终端的控制中心,利用各种接口和线路连接整个终端的各个部分,通过运行或执行存储在存储器909内的软件程序和/或模块,以及调用存储在存储器909内的数据,执行终端的各种功能和处理数据,从而对终端进行整体监控。处理器910可包括一个或多个处理单元;优选的,处理器910可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器910中。
终端900还可以包括给各个部件供电的电源911(比如电池),优选的,电源911可以通过电源管理系统与处理器510逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
另外,终端900包括一些未示出的功能模块,在此不再赘述。
本发明实施例还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述终端的景深测量方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。其中,所述的计算机可读存储介质,如只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random AccessMemory,简称RAM)、磁碟或者光盘等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本发明的保护之内。
Claims (25)
1.一种图像传感器,所述图像传感器上设置有感光区域,所述感光区域包括多个感光单元,其特征在于,所述感光区域上覆盖有滤光片,每个所述感光单元通过第一开关与第一电荷存储单元相连,每个所述感光单元通过第二开关与第二电荷存储单元相连,且每个所述感光单元通过第三开关与第三电荷存储单元相连;
所述滤光片包括多个滤光片单元,一个所述滤光片单元用于通过一种频率的光线,每相邻第一预设数量的所述滤光片单元中至少包括两种类型的滤光片单元,其中,相同类型的滤光片单元通过的光线的频率相同。
2.根据权利要求1所述的图像传感器,其特征在于,每相邻的两个所述滤光片单元通过的光线的频率不同。
3.根据权利要求1所述的图像传感器,其特征在于,任意两种类型的所述滤光片单元通过的光线的频率的差值大于预设值。
4.一种终端的景深测量方法,其特征在于,所述终端包括光线发射器以及如权利要求1至3任一项所述的图像传感器,所述光线发射器和所述图像传感器设置于终端的同一侧面;
所述景深测量方法包括:
在预设时间段内,控制所述光线发射器同时向一被测物体发射至少两种不同频率的光脉冲,并在每次所述光线发射器打开时控制所述第一开关闭合第一预设时间;
在所述预设时间段内,控制所述光线发射器同时向所述被测物体发射至少两种不同频率的光脉冲,并在每次所述光线发射器关闭时控制所述第二开关闭合所述第一预设时间;
在所述预设时间段内,控制所述光线发射器关闭,并控制所述第三开关按照预设周期打开和关闭;
获取所述第一电荷存储单元、所述第二电荷存储单元以及所述第三电荷存储单元内的电荷量;
根据获取的所述第一电荷存储单元、所述第二电荷存储单元以及所述第三电荷存储单元内的电荷量,确定所述被测物体的景深信息;
其中,所述第一预设时间大于或等于所述光脉冲的脉冲宽度的两倍,所述预设周期包括打开时间和关闭时间,所述打开时间等于所述第一预设时间,所述关闭时间等于所述光脉冲的周期与所述第一预设时间之差。
5.根据权利要求4所述的方法,其特征在于,所述根据获取的所述第一电荷存储单元、所述第二电荷存储单元以及所述第三电荷存储单元内的电荷量,确定所述被测物体的景深信息的步骤,包括:
将每相邻所述第一预设数量的所述滤光片单元所覆盖的所述感光单元确定为一感光组;
从所述感光组的感光单元中选出用于计算景深信息的目标单元;
获取所述感光组中的所述目标单元相连接的第一电荷存储单元中的电荷量之和,得到第一公共电荷量;
获取所述感光组中的所述目标单元相连接的第二电荷存储单元中的电荷量之和,得到第二公共电荷量;
获取所述感光组中的所述目标单元相连接的第三电荷存储单元中的电荷量之和,得到第三公共电荷量;
根据所述第一公共电荷量、所述第二公共电荷量以及所述第三公共电荷量,确定所述被测物体的景深信息。
6.根据权利要求5所述的方法,其特征在于,所述从所述感光组的感光单元中选出用于计算景深信息的目标单元的步骤,包括:
将所述感光组中的所述感光单元均确定为用于计算景深信息的目标单元;
或者,
判断所述感光组中的每一个所述感光单元属于正常单元或过曝单元或欠曝单元,获得判断结果;
根据所述判断结果,从所述感光组的所述感光单元中选出用于计算景深信息的目标单元。
7.根据权利要求6所述的方法,其特征在于,所述判断所述感光组中的每一个所述感光单元属于正常单元或过曝单元或欠曝单元,获得判断结果的步骤,包括:
当与所述感光单元相连接的所述第一电荷存储单元中的电荷量超过所述第一预设范围的上限值,或者与所述感光单元相连接的所述第二电荷存储单元中的电荷量超过第二预设范围的上限值时,确定所述感光单元属于过曝单元;
当与所述感光单元相连接的所述第一电荷存储单元中的电荷量小于所述第一预设范围的下限值,或者与所述感光单元相连接的所述第二电荷存储单元中的电荷量小于所述第二预设范围的下限值时,确定所述感光单元属于欠曝单元;
当与所述感光单元相连接的所述第一电荷存储单元中的电荷量处于所述第一预设范围之内,或者与所述感光单元相连接的所述第二电荷存储单元中的电荷量处于所述第二预设范围之内时,确定所述感光单元属于正常单元。
8.根据权利要求6所述的方法,其特征在于,所述根据所述判断结果,从所述感光组的所述感光单元中选出用于计算景深信息的目标单元的步骤,包括:
当所述感光组中存在至少一个正常单元时,将所述感光组中的正常单元确定为用于计算景深信息的目标单元;
当所述感光组中的所述感光单元均属于过曝单元时,将所述感光组中的所述感光单元的过曝程度按照从小到大的顺序进行排列,并将排位前第二预设数量的感光单元确定为用于计算景深信息的目标单元,其中,所述过曝程度为与所述感光单元相连接的所述第一电荷存储单元中的电荷量与所述第一预设范围的上限值之差,或者与所述感光单元相连接的所述第二电荷存储单元中的电荷量与所述第二预设范围的上限值之差;
当所述感光组中的所述感光单元中均属于欠曝单元时,将所述感光组中的所述感光单元均确定为用于计算景深信息的目标单元。
10.一种终端,其特征在于,所述终端包括光线发射器以及如权利要求1至3任一项所述的图像传感器,所述光线发射器和所述图像传感器设置于终端的同一侧面;
所述终端还包括:
第一控制模块,用于在预设时间段内,控制所述光线发射器同时向一被测物体发射至少两种不同频率的光脉冲,并在每次所述光线发射器打开时控制所述第一开关闭合第一预设时间;
第二控制模块,用于在所述预设时间段内,控制所述光线发射器同时向所述被测物体发射至少两种不同频率的光脉冲,并在每次所述光线发射器关闭时控制所述第二开关闭合所述第一预设时间;
第三控制模块,用于在所述预设时间段内,控制所述光线发射器关闭,并控制所述第三开关按照预设周期打开和关闭;
第一获取模块,用于获取所述第一电荷存储单元、所述第二电荷存储单元以及所述第三电荷存储单元内的电荷量;
第一景深确定模块,用于根据获取的所述第一电荷存储单元、所述第二电荷存储单元以及所述第三电荷存储单元内的电荷量,确定所述被测物体的景深信息;
其中,所述第一预设时间大于或等于所述光脉冲的脉冲宽度的两倍,所述预设周期包括打开时间和关闭时间,所述打开时间等于所述第一预设时间,所述关闭时间等于所述光脉冲的周期与所述第一预设时间之差。
11.根据权利要求10所述的终端,其特征在于,所述第一景深确定模块包括:
感光组划分单元,用于将每相邻所述第一预设数量的所述滤光片单元所覆盖的所述感光单元确定为一感光组;
选择单元,用于从所述感光组的感光单元中选出用于计算景深信息的目标单元;
第一获取单元,用于获取所述感光组中的所述目标单元相连接的第一电荷存储单元中的电荷量之和,得到第一公共电荷量;
第二获取单元,用于获取所述感光组中的所述目标单元相连接的第二电荷存储单元中的电荷量之和,得到第二公共电荷量;
第三获取单元,用于获取所述感光组中的所述目标单元相连接的第三电荷存储单元中的电荷量之和,得到第三公共电荷量;
景深确定单元,用于根据所述第一公共电荷量、所述第二公共电荷量以及所述第三公共电荷量,确定所述被测物体的景深信息。
12.根据权利要求11所述的终端,其特征在于,所述选择单元包括:
第一选择子单元,用于将所述感光组中的所述感光单元均确定为用于计算景深信息的目标单元;
或者,
判断子单元,用于判断所述感光组中的每一个所述感光单元属于正常单元或过曝单元或欠曝单元,获得判断结果;
第二选择子单元,用于根据所述判断结果,从所述感光组的所述感光单元中选出用于计算景深信息的目标单元。
13.根据权利要求12所述的终端,其特征在于,所述判断子单元具体用于:
当与所述感光单元相连接的所述第一电荷存储单元中的电荷量超过所述第一预设范围的上限值,或者与所述感光单元相连接的所述第二电荷存储单元中的电荷量超过第二预设范围的上限值时,确定所述感光单元属于过曝单元;
当与所述感光单元相连接的所述第一电荷存储单元中的电荷量小于所述第一预设范围的下限值,或者与所述感光单元相连接的所述第二电荷存储单元中的电荷量小于所述第二预设范围的下限值时,确定所述感光单元属于欠曝单元;
当与所述感光单元相连接的所述第一电荷存储单元中的电荷量处于所述第一预设范围之内,或者与所述感光单元相连接的所述第二电荷存储单元中的电荷量处于所述第二预设范围之内时,确定所述感光单元属于正常单元。
14.根据权利要求12所述的终端,其特征在于,所述第二选择子单元具体用于:
当所述感光组中存在至少一个正常单元时,将所述感光组中的正常单元确定为用于计算景深信息的目标单元;
当所述感光组中的所述感光单元均属于过曝单元时,将所述感光组中的所述感光单元的过曝程度按照从小到大的顺序进行排列,并将排位前第二预设数量的感光单元确定为用于计算景深信息的目标单元,其中,所述过曝程度为与所述感光单元相连接的所述第一电荷存储单元中的电荷量与所述第一预设范围的上限值之差,或者与所述感光单元相连接的所述第二电荷存储单元中的电荷量与所述第二预设范围的上限值之差;
当所述感光组中的所述感光单元中均属于欠曝单元时,将所述感光组中的所述感光单元均确定为用于计算景深信息的目标单元。
16.一种终端,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序;其特征在于,所述处理器执行所述程序时实现如权利要求4-9任一项所述的终端的景深测量方法。
17.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求4-9任一项所述的终端的景深测量方法中的步骤。
18.一种图像传感器,所述图像传感器上设置有感光区域,所述感光区域包括多个感光单元,其特征在于,所述感光区域上覆盖有滤光片,
每个所述感光单元通过第四开关与第四电荷存储单元相连,每个所述感光单元通过第五开关与第五电荷存储单元相连,且每个所述感光单元通过第六开关与第六电荷存储单元相连;
所述滤光片用于通过至少两种频率的光线。
19.根据权利要求18所述的图像传感器,其特征在于,所述至少两种频率的光线中任意两种光线的频率之间的差值大于预设值。
20.一种终端的景深测量方法,其特征在于,所述终端包括光线发射器以及如权利要求18至19任一项所述的图像传感器,所述光线发射器和所述图像传感器设置于终端的同一侧面;
所述景深测量方法包括:
在预设时间段内,控制所述光线发射器向一被测物体发射第一频率的光脉冲,并在每次所述光线发射器打开时控制所述第四开关闭合第一预设时间;
在所述预设时间段内,控制所述光线发射器向所述被测物体发射所述第一频率的光脉冲,并在每次所述光线发射器关闭时控制所述第五开关闭合所述第一预设时间;
在所述预设时间段内,控制所述光线发射器关闭,并控制所述第六开关按照预设周期打开和关闭;
直到所述光线发射器发射完毕第n频率的光线为止,获得所述第四电荷存储单元、所述第五电荷存储单元以及所述第六电荷存储单元中累积的电荷量;
根据获得的所述第四电荷存储单元、所述第五电荷存储单元以及所述第六电荷存储单元中累积的电荷量,确定所述被测物体的景深信息;
其中,所述第一预设时间大于或等于所述光脉冲的脉冲宽度的两倍,所述预设周期包括打开时间和关闭时间,所述打开时间等于所述第一预设时间,所述关闭时间等于所述光脉冲的周期与所述第一预设时间之差。
22.一种终端,其特征在于,所述终端包括光线发射器以及如权利要求18至19任一项所述的图像传感器,所述光线发射器和所述图像传感器设置于终端的同一侧面;
所述终端还包括:
第四控制模块,用于在预设时间段内,控制所述光线发射器向一被测物体发射第一频率的光脉冲,并在每次所述光线发射器打开时控制所述第四开关闭合第一预设时间;
第五控制模块,用于在所述预设时间段内,控制所述光线发射器向所述被测物体发射所述第一频率的光脉冲,并在每次所述光线发射器关闭时控制所述第五开关闭合所述第一预设时间;
第六控制模块,用于在所述预设时间段内,控制所述光线发射器关闭,并控制所述第六开关按照预设周期打开和关闭;
第二获取模块,用于在所述光线发射器发射完毕第n频率的光线时,获得所述第四电荷存储单元、所述第五电荷存储单元以及所述第六电荷存储单元中累积的电荷量;
第二景深确定模块,用于根据获得的所述第四电荷存储单元、所述第五电荷存储单元以及所述第六电荷存储单元中累积的电荷量,确定所述被测物体的景深信息;
其中,所述第一预设时间大于或等于所述光脉冲的脉冲宽度的两倍,所述预设周期包括打开时间和关闭时间,所述打开时间等于所述第一预设时间,所述关闭时间等于所述光脉冲的周期与所述第一预设时间之差。
24.一种终端,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序;其特征在于,所述处理器执行所述程序时实现如权利要求20-21任一项所述的终端的景深测量方法。
25.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求20-21任一项所述的终端的景深测量方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910191284.XA CN109946709B (zh) | 2019-03-13 | 2019-03-13 | 图像传感器、终端的景深测量方法及终端 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910191284.XA CN109946709B (zh) | 2019-03-13 | 2019-03-13 | 图像传感器、终端的景深测量方法及终端 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109946709A CN109946709A (zh) | 2019-06-28 |
CN109946709B true CN109946709B (zh) | 2021-03-26 |
Family
ID=67009822
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910191284.XA Active CN109946709B (zh) | 2019-03-13 | 2019-03-13 | 图像传感器、终端的景深测量方法及终端 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109946709B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111271497B (zh) * | 2020-01-23 | 2022-07-12 | 深圳市大拿科技有限公司 | 一种水龙头控制方法、装置、智能水龙头及存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9214973B1 (en) * | 2012-08-29 | 2015-12-15 | Marvell International Ltd. | Time varying notch filter |
CN109005326A (zh) * | 2018-08-30 | 2018-12-14 | Oppo广东移动通信有限公司 | 光电模组及其控制方法、成像装置、电子设备 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5841710B2 (ja) * | 1973-03-16 | 1983-09-13 | ソニー株式会社 | ジヨウホウシンゴウキロクホウホウ |
CA2076742A1 (en) * | 1991-08-30 | 1993-03-01 | Aiwa Co., Ltd. | Camera apparatus and an aspect conversion circuit used in the apparatus |
CN102510450A (zh) * | 2011-10-17 | 2012-06-20 | 北京瑞澜联合通信技术有限公司 | 图像传感器、摄像装置及图像数据生成方法 |
CN109375231B (zh) * | 2018-09-25 | 2020-09-01 | 维沃移动通信有限公司 | 一种深度信息获取装置、终端设备及深度信息获取方法 |
-
2019
- 2019-03-13 CN CN201910191284.XA patent/CN109946709B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9214973B1 (en) * | 2012-08-29 | 2015-12-15 | Marvell International Ltd. | Time varying notch filter |
CN109005326A (zh) * | 2018-08-30 | 2018-12-14 | Oppo广东移动通信有限公司 | 光电模组及其控制方法、成像装置、电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN109946709A (zh) | 2019-06-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109639970B (zh) | 一种拍摄方法及终端设备 | |
CN108965728B (zh) | 一种亮度调节方法及终端 | |
CN111314610B (zh) | 一种控制方法及电子设备 | |
CN107665697A (zh) | 一种屏幕亮度的调节方法及移动终端 | |
CN110113528B (zh) | 一种参数获取方法及终端设备 | |
CN108307106B (zh) | 一种图像处理方法、装置及移动终端 | |
CN109068116B (zh) | 基于补光的图像处理方法、装置、移动终端和存储介质 | |
CN109241832B (zh) | 一种人脸活体检测的方法及终端设备 | |
CN107884157A (zh) | 一种光学衍射元件的异常检测方法、移动终端 | |
CN107782280A (zh) | 一种检测方法和移动终端 | |
CN111083386B (zh) | 图像处理方法及电子设备 | |
CN111031221B (zh) | 拍摄方法及电子设备 | |
CN110197159B (zh) | 指纹采集方法及终端 | |
CN111050069B (zh) | 一种拍摄方法及电子设备 | |
CN107782250A (zh) | 一种深度信息测量方法、装置和移动终端 | |
CN109946709B (zh) | 图像传感器、终端的景深测量方法及终端 | |
CN111131722A (zh) | 图像处理方法、电子设备及介质 | |
CN109471119A (zh) | 一种控制功耗的方法及终端设备 | |
CN110650296A (zh) | 一种基于拍照的补光方法、装置、移动终端和存储介质 | |
CN110740270B (zh) | 摄像头的调节方法、装置、电子设备及存储介质 | |
CN109104522B (zh) | 一种人脸识别的方法及移动终端 | |
CN109031330B (zh) | 一种测量物体距离的方法及终端设备 | |
CN108520727B (zh) | 屏幕亮度调节方法及移动终端 | |
CN111031242A (zh) | 图像处理方法及装置 | |
CN109670407A (zh) | 一种人脸识别方法及移动终端 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |