CN108965721A - 摄像头模组的控制方法和装置、电子设备 - Google Patents
摄像头模组的控制方法和装置、电子设备 Download PDFInfo
- Publication number
- CN108965721A CN108965721A CN201810962806.7A CN201810962806A CN108965721A CN 108965721 A CN108965721 A CN 108965721A CN 201810962806 A CN201810962806 A CN 201810962806A CN 108965721 A CN108965721 A CN 108965721A
- Authority
- CN
- China
- Prior art keywords
- image
- camera module
- module
- light wave
- tof camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
- H04B10/50—Transmitters
- H04B10/501—Structural aspects
- H04B10/503—Laser transmitters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Electromagnetism (AREA)
- Computer Networks & Wireless Communication (AREA)
- Studio Devices (AREA)
Abstract
本申请涉及一种摄像头模组的控制方法、装置、电子设备、计算机可读存储介质,所述方法包括:当所述TOF摄像模组处于工作状态时,获取所述TOF摄像模组的温度信息;根据所述温度信息和接收的光波判断所述感光接收模块是否存在遮挡;当所述感光接收模块存在遮挡时,控制所述光源发射模块暂停发送光波。上述摄像头模组的控制方法、装置、电子设备、计算机可读存储介质,可以自动控制TOF摄像模组的工作状态。
Description
技术领域
本申请涉及计算机技术领域,特别是涉及一种摄像头模组的控制方法、装置、电子设备、计算机可读存储介质。
背景技术
飞行时间法(Time Of Flight,TOF)是通过给目标物体连续发送脉冲光,然后用传感器接收从物体返回的脉冲光,通过探测光脉冲的飞行(往返)时间来得到目标物距离。TOF摄像模组在拍摄的过程中,首先需要激光发射器发出脉冲光至拍摄物体,经过拍摄物体反射至感光接收模块,进一步,通过计算发射光线和接收光线的时间差或相位差来计算拍摄物体的深度空间信息,并且通过接收的光线的感光作用来得到拍摄物体的成像,结合深度信息得到深度图像信息。
一般,TOF摄像模组都是由用户手动控制开关,若用户手动开启TOF摄像模组,后将TOF摄像模组的感光面正对着桌面放置,由于TOF摄像模组的光源发射模块依然开启,会导致温度过高,而影响TOF摄像模组的获取深度图像信息的准确度。
发明内容
本申请实施例提供一种摄像头模组的控制方法、装置、电子设备、计算机可读存储介质,可以自动控制TOF摄像模组的工作状态。
一种摄像头模组的控制方法,应用于包括TOF摄像头模组的电子设备,其中,所述TOF摄像模组包括用于发射预设波段的光波的光源发射模块以及用于接收被拍物体反射的光波,并生成第一目标图像的感光接收模块;所述方法包括:
当所述TOF摄像模组处于工作状态时,获取所述TOF摄像模组的温度信息;
根据所述温度信息和接收的光波判断所述感光接收模块是否存在遮挡;
当所述感光接收模块存在遮挡时,控制所述光源发射模块暂停发送光波。
一种摄像头模组的控制装置,应用于包括TOF摄像头模组的电子设备,其中,所述TOF摄像模组包括用于发射预设波段的光波的光源发射模块以及用于接收被拍物体反射的光波,并生成第一目标图像的感光接收模块,所述装置包括:
获取模块,当所述TOF摄像模组处于工作状态时,获取所述TOF摄像模组的温度信息;
判断模块,用于根据所述温度信息和接收的光波判断所述感光接收模块是否存在遮挡;
控制模块,用于当所述感光接收模块存在遮挡时,控制所述光源发射模块暂停发送光波。
一种电子设备,包括TOF摄像头模组、存储器及处理器,其中,所述TOF摄像模组包括用于发射预设波段的光波的光源发射模块以及用于接收被拍物体反射的光波,并生成第一目标图像的感光接收模块所述存储器中储存有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如下步骤:
当所述TOF摄像模组处于工作状态时,获取所述TOF摄像模组的温度信息;
根据所述温度信息和接收的光波判断所述感光接收模块是否存在遮挡;
当所述感光接收模块存在遮挡时,控制所述光源发射模块暂停发送光波。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如下步骤:
当所述TOF摄像模组处于工作状态时,获取所述TOF摄像模组的温度信息;
根据所述温度信息和接收的光波判断所述感光接收模块是否存在遮挡;
当所述感光接收模块存在遮挡时,控制所述光源发射模块暂停发送光波。
上述摄像头模组的控制方法、装置、电子设备、计算机可读存储介质,当所述TOF摄像模组处于工作状态时,获取所述TOF摄像模组的温度信息;根据所述温度信息和接收的光波判断所述感光接收模块是否存在遮挡;当所述感光接收模块存在遮挡时,控制所述光源发射模块暂停发送光波,不需要在TOF摄像模组中内置额外的接近传感器,就可以确定感光接收模块是否存在遮挡,当存在遮挡时,控制所述光源发射模块暂停发送光波,节约了成本,同时可以避免因光源发射模块持续不断的发射光波而导致温度过高影响数据采集的准确性,进而可以提高TOF摄像模组的成像效果,以使TOF摄像模组得到的深度图像信息更加准确。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为一个实施例中摄像头模组的控制方法的应用环境图;
图2为一个实施例中TOF计算深度信息的原理图;
图3为一个实施例中摄像头模组的控制方法的流程图;
图4为另一个实施例中摄像头模组的控制方法的流程图;
图5为一个实施例中在预设时间内获取感光接收模块接收的光波的光强信息的流程图;
图6为又一个实施例中摄像头模组的控制方法的流程图;
图7为又一个实施例中摄像头模组的控制方法的流程图;
图8为一个实施例中图像处理流程的示意图;
图9为一个实施例中实现摄像头模组的控制方法的软件框架图;
图10为一个实施例中摄像头模组的控制装置的结构示意图;
图11为一个实施例中图像处理电路的示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
可以理解,本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件,但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说,在不脱离本申请的范围的情况下,可以将第一图像称为第二图像,且类似地,可将第二图像称为第一图像。第一图像和第二图像两者都是图像,但其不是同一图像。
图1为一个实施例中摄像头模组的控制方法的应用环境图。如图1所示,电子设备上可安装TOF(Time of Flight,飞行时间)摄像头模组。其中,所述TOF摄像模组包括用于发射预设波段的光波的光源发射模块101以及用于接收被拍物体反射的光波,并生成第一目标图像的感光接收模块102。
图2为一个实施例中TOF计算深度信息的原理图。如图2所示,光源发射模块101发出经过调制的预设波段的光波,遇到被拍物体后反射,感光接收模块102通过计算预设波段的光波发射和反射时间差或相位差,来计算被拍物体的距离,以产生深度信息。TOF摄像模组实际采集图像时,可以控制不同快门在不同的时间进行开关,然后形成不同的接收信号,从而通过多个快门开关采集不同的图像来计算得到深度图像。在一个实施例中,假设TOF摄像模组是通过四个快门来控制接收激光波信号的,快门1、快门2、快门3、快门4接收到的激光波信号分别为Q1、Q2、Q3、Q4,则计算深度信息的公式如下:
其中,C为光速,f为激光波的发射频率。
进一步的,参考图1,TOF摄像模组通过与电子设备上安装的其他可见光摄像模组104,可将被拍物体的三维轮廓以不同颜色代表不同距离的图形方式呈现出来。
电子设备上还可以安装若干个其他类型的摄像模组,例如可见光摄像模组等,且安装的位置不做限定。例如,可以在电子设备的正面面板上安装一个摄像头模组,在背面面板上安装两个摄像头模组,摄像头模组还可以以内嵌的方式安装于电子设备的内部,然后通过旋转或滑动的方式打开摄像头。具体地,电子设备上可安装前置摄像头和后置摄像头,前置摄像头和后置摄像头可以从不同的视角获取图像,一般前置摄像头可以从电子设备的正面视角获取图像,后置摄像头可以从电子设备的背面视角获取图像。
可以理解的是,上述电子设备可以是手机、电脑、可穿戴设备、体感交互设备、测距设备、立体成像设备中的一种或多种等,在此不做限定。
图3为一个实施例中摄像头模组的控制方法的流程图。如图3所示,该摄像头模组的控制方法包括步骤302至步骤306。其中:
步骤302,当TOF摄像模组处于工作状态时,获取TOF摄像模组的温度信息。
在初始状态时,当检测到图像采集指令时,使TOF摄像模组处于工作状态。工作状态可以理解为TOF摄像模组中的光源发射模块开始发射预设波长的光波,感光接收模块也能够采集并处理经被拍物体反射的光波,该光波可以为脉冲激光。进一步的,光源发射模块发射的脉冲激光可红外光。其中,图像采集指令是指触发图像采集操作的指令。例如,用户可以打开应用程序,通过对应用程序的操作生成图像采集指令。
在一个实施例中,光源发射模块可包括激光发射器和与该激光发射器电连接的供电单元。当电子设备检测到图像采集指令的时候,可以控制供电单元为激光发射器提供电能,激发激光发射器发射预设波段的光波。其中,该激光发射器可以为垂直腔面发射器(Vertical Cavity Surface-Emitting Laser,VCSEL)。
进一步的,激光发射器与供电单元可以间隔设置,以增大光源发射模块总的散热面积,同时,也可以避免激光发射器与供电单元所产生的热量的相互影响,以利于光源发射模块的散热。
当TOF摄像模组处于工作状态时,可以基于TOF摄像模组处中的温度传感器采集TOF摄像模组的温度信息。其中,可以通过TOF摄像模组中新增一个额外的温度传感器,可以基于TOF摄像模组集成的温度传感器来获取TOF摄像模组的温度信息。
在一个实施例中,由于光源发射模块工作时会产生大量的热量,激光发射器需维持在特定的温度范围内才能正常工作,因此,可以将温度传感器设置在光源发射模块附近,以采集光源发射模块的温度信息来作为TOF摄像模组的温度信息。可选的,也可以将温度传感器设置在感光接收模块附近,以采集感光接收模块的温度信息来作为TOF摄像模组的温度信息。
需要说明的是,用于检测TOF摄像模组的温度信息的器件不限于本申请实施例中的温度传感器,还可以包括其他配合的电流元件,比如电感、电容等。
步骤304,根据温度信息和接收的光波判断感光接收模块是否存在遮挡。
光源发射模块发射的光波经被拍物体反射后,由感光接收模块来接收反射回的光波。其中,感光接收模块包括镜头组件和TOF图像传感器。镜头组件用于接收反射的光波,并进行感光作用。TOF图像传感器用于接收镜头组件处理后的光波以形成感光信息,并生成具有深度信息的第一目标图像。TOF图像传感器的每个像素点会接收经镜头组件处理后的光波,同时处理光电效应时所产生的电荷,在同一快门同样采集时间的控制下,不同距离物体反射回来的光子数量不同从而导致激发出不同的电荷数;TOF图像传感器利用AD转换电荷数为二进制数据,通过差分计算出飞行时间,再结合光速计算每个像素点到对应被拍物体的距离,并形成第一目标图像。
在一个实施例中,TOF图像传感器的每个像素点会接收镜头组件处理后的光波,同时计算出每个像素点所接收到的光波的光强信息。根据温度传感器采集的温度信息和TOF图像传感器获取的光强信息就可以根据预设规则来判断当前感光接收模块是否存在遮挡。例如,该预设规则可以为温度信息大于第一预设阈值,且光强信息大于第二阈值等。当温度信息大于第一预设阈值,且光强信息大于第二阈值则可认为当前感光接收模块被遮挡。
需要说明的是,遮挡可以理解为感光接收模块的感光面别其他物体遮挡。例如,安装有该TOF摄像模组的电子设备放置在桌面上,其感光接收模块的感光面与该桌面近距离接触。近距离接触可以理解为光接收模块的感光面与该桌面的距离小于预设阈值;该预设阈值可以为该TOF摄像模组的最小焦距,当然,该预设阈值还可以根据实际需求自定义设置,例如0-1厘米之间。
步骤306,当感光接收模块存在遮挡时,控制光源发射模块暂停发送光波。
根据获取的温度信息和光强信息就可确定当前感光接收模块是否存在遮挡,当感光接收模块存在遮挡时,则控制光源发射模块暂停发送光波。也即,可以通过断开供电单元为激光发射器的供电,使激光发射器处于断电状态,而不能发送预设波段的光波。
本实施例中的摄像头模组的控制方法,当所述TOF摄像模组处于工作状态时,获取所述TOF摄像模组的温度信息;根据所述温度信息和接收的光波判断所述感光接收模块是否存在遮挡;当所述感光接收模块存在遮挡时,控制所述光源发射模块暂停发送光波,不需要在TOF摄像模组中内置额外的接近传感器,就可以确定感光接收模块是否存在遮挡,当存在遮挡时,控制所述光源发射模块暂停发送光波,节约了成本,同时可以避免因光源发射模块持续不断的发射光波而导致温度过高影响数据采集的准确性,进而可以提高TOF摄像模组的成像效果,以使TOF摄像模组得到的深度图像信息更加准确。
图4为另一个实施例中摄像头模组的控制方法的流程图。如图4所示,该摄像头模组的控制方法包括步骤402至步骤410。其中:
步骤402,当TOF摄像模组处于工作状态时,获取TOF摄像模组的温度信息。
步骤404,在预设时间内获取感光接收模块接收的光波的光强信息;
在一个实施例中,感光接收模块中的TOF图像传感器的每个像素点会接收经镜头组件处理后的光波。在预设时间段内,TOF图像传感器的每个像素对接收的光波进行处理,以获取每个像素点接收到的光波的光强进而获取TOF图像传感器接收到的光波的平均光强,并将平均光强作为感光接收模块接收的光波的光强信息。例如,预设时间段可以设定为1秒,也即,感光接收模块可以在1秒时间内,TOF图像传感器接收的光波的平均光强。当然,预设时间段还可以设置为500ms、800ms等小于1秒或2s等大于1秒的时间段。在本申请实施例中,对预设时间段的具体数值不做进一步的限定。
进一步的,平均光强可以理解为整个图像传感器中每个像素点所测得光强的平均值。例如,该图像传感器包括800×600个像素点,则获取每个像素点的单点光强,对每个单点光强进行叠加得到和值,根据和值除以800×600,即可得每个像素点所测得光强的平均值,并将该平均值作为感光接收模块的强度信息。
可选的,平均光强可以理解为图像传感器中至少一个感光区域的每个像素点所测得光强的平均值。例如,该图像传感器包括800×600个像素点,可以将该图像传感器的像素点划分为多个感光区域,每个感光区域包括的像素点数量可以相等,也可以不相等。若将图像传感器划分的感光区域包括第一感光区域、第二感光区域,第一感光区域和第二感光区域的像素点相同,均为60×60个像素点,则可以获取第一感光区域和第二感光区域中每个像素点获取的光波的单点光强,对每个单点光强进行叠加得到和值,根据和值除以60×60×2,即可得每个像素点所测得光强的平均值,并将该平均值作为感光接收模块的强度信息。
步骤406,当温度信息大于第一预设阈值且光强信息大于第二预设阈值时,控制光源发射模块暂停发送光波。
将获取的温度信息与第一预设阈值进行比较,其中,第一预设阈值可以理解为会使TOF摄像模组获取的图像的精度造成影响的一个温度值。例如,该第一预设阈值可以设50℃。当TOF摄像模组的温度高于50℃时,其会严重影响TOF摄像模组的正常工作,而不能准确的获取第一目标图像,同时也可以影响第一目标图像的深度信息。
将获取的光强信息与第二预设阈值进行比较。其中,第二预设阈值可以理解为TOF摄像模组在预设温度情况下,TOF摄像模组与被拍物体距离等于最短拍摄距离时,每个像素点获取的光波的平均光强值。其中,最短拍摄距离可以根据实际需求来设定,可以设为1厘米、2厘米或其他数值。
当获取的温度信息大于第一预设阈值且光强信息大于第二预设阈值时,则可以认为,此时TOF摄像模组存在遮挡,也即,感光接收模块被遮挡,此时,可以控制光源发射模块暂停发送光波,使TOF摄像模组处于休眠状态,以节省功耗。由于激光发射器为发光器件,在发光的过程中伴随产生热量,TOF摄像模组需要将得到的光线信息通过图像传感器处理来得到深度图像信息,激光发射器产生的热量会影响图像传感器的工作,甚至当影响严重时,图像传感器不能正常工作,得到不准确信息。控制光源发射模块暂停发送光波,使TOF摄像模组处于休眠状态,还可以避免因持续发射光波而导致TOF摄像模组持续发热以影响TOF摄像模组的工作性能。
在一个实施例中个,当温度信息小于或等于第一预设阈值时,则执行步骤404,在预设时间内获取感光接收模块接收的光波的光强信息。
步骤408,持续获取所述温度信息。
当获取的温度信息大于第一预设阈值时,执行步骤406,当温度信息大于第一预设阈值且光强信息大于第二预设阈值时,控制光源发射模块暂停发送光波。
步骤410,直到所述温度信息不高于第一预设阈值时,控制所述光源发射模块恢复所述光波的发射,使所述TOF摄像模组处于工作状态。
当TOF摄像模组存在遮挡时,则控制光源发射模块暂停发送光波,也即,使TOF摄像模组处于休眠状态,同时,温度传感器也会持续获取TOF摄像模组的温度信息。并将获取的温度信息与第一预设阈值进行比较,当获取的温度信息小于或等于第一预设阈值时,则控制所述光源发射模块恢复所述光波的发射,使所述TOF摄像模组处于工作状态。也即,当温度信息低于或等于第一预设阈值时,可以理解为TOF摄像模组由遮挡状态变为非遮挡状态,可以继续使TOF摄像模组处于工作状态,不需要用户与电子设备进行交互,以发出图像采集指令,可以将TOF摄像模组由休眠状态自动切换为工作状态,提高了效率和用户体验度。
在一个实施例中,当温度信息不高于第一预设阈值时,可以基于电子设备中内置的加速度传感器、陀螺仪等传感器来获取电子设备的运动信息。例如,当温度信息不高于第一预设阈值时,可以基于陀螺仪在预设时间内获取的加速度信息来判断TOF摄像模组的运动信息,当获取的运动信息符合预设条件时,则可以控制所述光源发射模块恢复所述光波的发射,使所述TOF摄像模组处于工作状态。
当TOF摄像模组处于工作状态时,则可以循环执行步骤402,获取TOF摄像模组的温度信息。
需要说明的是,预设条件可以理解为TOF摄像模组发生的抖动、翻转、抬起等动作,其中抖动、翻转、抬起等动作均可以用陀螺仪在预设时间内获取的加速度的变化信息来表示。
在一个实施例中,当温度信息不高于第一预设阈值时,可以基于电子设备中内置的压力传感器或触摸传感器来检测电子设备是否处于握持状态。其中,压力传感器或触摸传感器可设置在电子设备的壳体表面。其中,压力传感器是电容式传感器中的一种,压力传感器可以感测手指施加在电子设备上的压力大小,通过检测该压力大小得压力变化量。触摸传感器是利用人体的电流感应进行工作的一种传感器,当用户手指触摸该电子设备时,由于人体电场,用户和该电子设备形成以一个耦合电容,对于高频电流来说,电容是直接导体,于是手指从接触点吸走一个很小的电流。这个电流分别从设置在该电子设备的不同位置的电极流出,通过检测上述不同电极流出的电流大小,可得用户手指在电子设备表面的触摸位置。
对压力传感器而言,当检测到的压力变化量大于预设压力值时,则可认为电子设备处于握持状态。对触摸传感器而言,当获取了用户手指在电子设备表面的触摸位置时,则可以可认为电子设备处于握持状态。当温度信息不高于第一预设阈值且电子设备处于握持状态时,控制所述光源发射模块恢复所述光波的发射,使所述TOF摄像模组处于工作状态。
本实施例中,当温度信息不高于第一预设阈值且电子设备的运动信息符合预设条件时,或,当温度信息不高于第一预设阈值且电子设备处于握持状态时,控制所述光源发射模块恢复所述光波的发射,使所述TOF摄像模组处于工作状态,这样可以误操作的情况发生,提高光源发射模块恢复所述光波的发射的准确性。
图5为另一个实施例中在预设时间内获取感光接收模块接收的光波的光强信息的流程图。如图5所示,在预设时间内获取感光接收模块接收的光波的光强信息包括步骤502至步骤504。其中:
步骤502,获取图像传感器中预设感光区域内的特征光波点。
在一个实施例中,可以将图像传感器的像素点划分为多个预设感光区域,每个预设感光区域包括的像素点数量可以相等,也可以不相等。若图像传感器包括800×600个像素点,则预设感光区域包括60×60个像素点或80×60个像素点或其他像素点。将预设感光区域接收到了反射的光波时,各个预设感光区内的每个像素点会获取各个像素点接收的光波点的光强。若在预设感光区域内,当相邻至少三个像素点接收的光波的光强的差值超过预设阈值时,则将相邻至少三个、像素点中最强或最弱的光波点称之为特征光波点。
步骤504,删除特征光波点以获取预设感光区域接收的光波的强度信息。
当预设感光区域内包括多个特征光波点时,则将多个特征光波点从预设感光区域删除,通过预设感光区域剩下的像素点对应的光强来获取感光区域接收的光波的强度信息。例如,若预设感光区域包括60×60个像素点,其中,特征光波点的数量为10个,这从60×60个像素点中删除10个像素点对应的特征光波特征点,即获取3590个像素点接收的光波的光强,根据3590个像素点接收的光波的光强来计算预设感光区域接收的光波的强度信息。
本实施例中,可以通过检测预设感光区域的特征光波点,并将检测出的特征光波点进行删除,可以提高感光接收模块获取的光强信息的准确度。
图6为又一个实施例中摄像头模组的控制方法的流程图。如图6所示,摄像头模组的控制方法包括步骤602至步骤608。
步骤602,当所述TOF摄像模组处于工作状态时,获取所述TOF摄像模组的温度信息。
步骤604,根据所述温度信息和接收的光波判断所述感光接收模块是否存在遮挡。
步骤606,当所述感光接收模块不存在遮挡时,获取TOF摄像模组在曝光时间内根据第一帧率采集的至少两帧第一图像。
当感光接收模块不存在遮挡时,可以使TOF摄像模组的光源接收模块发射预设波段的光波,以使TOF摄像模组恢复至工作状态,能够正常发射、采集反射的光波,并形成具有深度信息的目标图像。TOF摄像模组处于工作状态时,可以获取TOF摄像模组在曝光时间内根据第一帧率采集的至少两帧第一图像。
其中,曝光时间是指控制TOF摄像模组中摄像头快门打开的时间,可以根据曝光时间获取快门打开的时刻以及快门打开的时长。例如,曝光时间为“12:00:00→12:00:30”,那么快门开启的时刻就是“12:00:00”,快门开启的时长就是30秒。第一帧率是指摄像头采集图像的频率,具体可以是摄像头每秒钟采集的图像的张数。例如,第一帧率可以是120帧/秒,那么就是指控制摄像头每秒钟采集120张图像。
需要说明的是,TOF摄像模组采集图像的第一帧率可以是预先设置好的,也可以是实时变化的,在此不做限定。
第一图像是指TOF摄像模组采集的原始图像。TOF摄像模组中的光源发射模块发射预设波段的光波至拍摄物体上,通过感光接收模块中的图像传感器来接收拍摄物体反射的光波,将该光信号转化成电信号,转换成电信号之后形成第一图像。其中,第一图像(原始图像)不能直接被处理器处理,需要进行一定的格式转换后才能由处理器处理。
步骤608,根据至少两帧第一图像生成第一目标图像,第一目标图像用于表示被拍物体的深度信息。
TOF摄像模组采集的第一图像可以为RAW格式的图像,由于获取的第一图像为至少两帧,可以将至少两帧第一图像合成为一张具有Depth(深度)信息的图像,即为第一目标图像。
在一个实施例中,根据至少两帧第一图像生成第一目标图像,包括:
提取每一帧第一图像中的图像数据及元数据;将每一帧第一图像中的图像数据及对应的元数据分别进行数据拼接,生成第一目标图像。
具体地,第一图像包括图像数据及与图像数据对应的元数据,其中,图像数据又可以表示为RAW数据,RAW数据为图像处理领域常用的一种数据格式,其表示为TOF摄像模组采集的原始图像数据,即未经过后续图像处理的最初数据。元数据可以表示为META数据,META数据用于表示当前RAW数据的属性参数,例如,当前图像曝光时间、焦距等参数。
若在曝光时间内TOF摄像模组采集第一图像为四帧,可以根据采集时刻的先后顺序将第一图像通过序列号标记为“01”、“02”、“03”、“04”。每一帧第一图像均可按照TOF图像格式缓存,并提取每一帧第一图像中的图像数据及与图像数据对应的元数据,并将四帧第一图像的图像数据及元数据依次进行数据拼接。例如,可将第一帧、第二帧、第三帧和第四帧的图像数据依次拼接。其中,第一帧的图像数据最后一个比特位后拼接上第二帧的第一个比特位,第二帧的最后一个比特位后拼接上第三帧的第一个比特位,以此类推,直到拼接上最后一帧的图像数据的最后一个比特位。
可选的,四帧图像拼接成一帧图像时,可按照固定的深度图像格式进行数据拼接,也可以按照特定的格式或协议进行数据拼接,例如,还可以采用Raw数据及Meta数据相互交替的形式(即第一帧Raw数据后拼接对应的Meta数据,再拼接第二帧的Raw数据,紧接着拼接第二帧的Raw数据对应的Meta数据,以此类推)进行数据拼接。
进一步的,其中,TOF图像格式中包含净负荷payload的图像数据及非净负荷的附加信息,在对TOF图像格式进行存储的过程中,需过滤掉其中的非净负荷数据。
在一个实施例中根据至少两帧第一图像生成第一目标图像,还可包括:
获取每一帧第一图像对应的标志信息,标志信息用于表示采集第一图像的先后顺序;根据标志信息判断采集的第一图像是否丢失,若否,则将第一图像及对应的标志信息进行打包;根据标志信息将打包后的第一图像进行格式转换,生成第一目标图像。
具体地,TOF摄像模组采集第一图像的同时会对每一帧第一图像形成对应的标志信息,通过该标志信息来表示采集第二图像的先后顺序。该标志信息可以但不限于是第一图像的采集时刻、相位等。根据该采集时刻可以判断采集第二图像的时间先后顺序;该相位可以表示采集的每一帧第一图像的先后顺序。例如,可以根据采集时刻的先后顺序将第二图像通过序列号标记为“01”、“02”、“03”、“04”。根据上述标志信息可以判断采集的第一图像是否有丢失,若丢失,则当前采集的第一图像可以丢弃;若没有丢失,则将第一图像及对应的标志信息进行打包处理。例如,采集得到的第一图像的序列号为“01”、“03”、“04”,则说明中间有一张序列号为“02”的第一图像丢失了。打包后的第一图像是作为一个整体进行传输的,所以在传输过程中不会存在丢失一帧或几帧的情况。只会存在全部第一图像都存在,或全部第一图像都丢弃的情况。将第一图像和标志信息打包之后,可以传送到处理器进行格式转换。
具体的,TOF摄像模组可以通过不同的快门来采集不同的第一图像,第一图像可以为RAW格式的图像,第一目标图像可以为Depth格式的图像,将RAW格式的第一图像进行、格式转换,就可得到Depth格式的第一目标图像。
本实施例中的方法,当TOF摄像模组处于工作状态时,可以基于TOF摄像模组获取至少两帧第一图像,根据至少两帧第一图像生成第一目标图像,第一目标图像用于表示被拍物体的深度信息,解决了现有技术中TOF摄像头容易丢帧的问题,提高了图像处理的稳定性,同时还减少了图像采集时产生的误差,提高了图像处理的准确性。
图7为又一个实施例中摄像头模组的控制方法的流程图。如图7所示,摄像头模组的控制方法包括步骤702至步骤706。
在一个实施例中,摄像头模组的控制方法,还包括:
步骤702,在所述曝光时间内控制可见光摄像模组根据第二帧率采集第二图像;其中,所述第一帧率大于所述第二帧率。
在电子设备中还安装有可见光摄像模组,例如广角摄像头、长焦摄像头、黑白摄像头等。当TOF摄像模组处于工作状态时,也可以控制可见光摄像模组同时处于工作状态。当TOF摄像模组曝光时间内以第一帧率采集第一图像时,可以同时控制可见光摄像模组在相同的曝光时间内以第二帧率采集第二图像。其中,第一帧率大于第二帧率,这样可以保证在相同的曝光时段内,TOF摄像模组可以采集多张第一图像。
在一个实施例中,第二帧率是根据第一帧率计算得到的,首先获取图像数量,根据图像数量和第一帧率可以计算得到第二帧率。其中,第一帧率*第二图像数量=第二帧率*第一图像数量。例如:第一帧率为120帧/秒,图像数量为4帧,那么第二帧率就为120/4=30帧/秒。那么,TOF摄像模组可以以120帧/秒的速度来获取第一图像,可见光摄像模组可以以30帧/秒的速度来获取第二图像。这样在相同的曝光时段内,TOF摄像模组就可以采集四张第二图像,可见光摄像模组采集一张第一图像。
需要说明的是,第一帧率和第二帧率可以是预先设置好的,也可以是实时变化的,在此不做限定。例如,第一帧率是预先设置的,第二帧率是实时变化的,或者第一帧率和第二帧率都是预先设置好的。
步骤704,根据所述第二图像生成第二目标图像。
第二图像是指可见光摄像模组采集的原始图像。可见光摄像模组采集的第二图像,可以生成对应的第二目标图像,第二目标图像可以被处理器处理。例如,获取的第二图像可以是RAW格式的图像,第二图像可以从RAW格式的图像转换成YUV(Luma ChrominanceChroma,明亮度、色度、浓度)格式的图像,格式转换后形成的YUV图像即为生成的第二目标图像,然后将第二目标图像进行处理。
步骤706,根据所述第一目标图像和所述第二目标图像进行处理,所述第一目标图像用于表示所述第二目标图像对应的深度信息。
可以理解的是,TOF摄像模组和可见光摄像模组是针对同一场景进行拍摄的,所以拍摄得到的第一图像和第二图像是对应的,得到的第一目标图像和第二目标图像也是对应的。例如,第一目标图像为Depth图像,第二目标图像是YUV图像,那么第一目标图像就可以表示拍摄场景对应的深度信息,第二目标图像就可以表示拍摄场景的色彩信息。
得到第一目标图像和第二目标图像之后,可以对第一目标图像和第二目标图像进行处理,具体的处理方式不限。例如,可以根据第二目标图像进行人脸识别处理,并根据第一目标图像对第二目标图像中识别到的人脸进行三维建模,得到人脸的三维模型。还可以根据第一目标图像中的深度信息,对第二目标图像中的人脸进行美颜等处理。
如图8所示,TOF摄像模组可以在上述曝光时段内根据第一帧率采集第一图像802,可见光摄像模组可以在曝光时段内根据第二帧率采集第二图像822。然后根据第一图像802计算得到第一目标图像804,并根据第二图像822计算得到第二目标图像824。最后再根据得到的第一目标图像804和第二目标图像824进行处理。
上述实施例提供的方法,可以保证TOF摄像模组和可见光摄像模组在同一曝光时段内获取图像,TOF摄像模组还可以同时获取至少两帧第一图像,并根据至少两帧第一图像生成最后用于处理的第一目标图像,减少图像采集时产生的误差,提高了图像处理的准确性。
应该理解的是,虽然图3-7的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图3-7中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
图9为一个实施例中实现摄像头模组的控制方法的软件框架图。如图9所示,该软件框架中包括应用层90、硬件抽象层(Hardware Abstraction Layer,HAL)92、内核(Kernel)层94和硬件(Hardware)层96。其中,应用层90中包括应用程序902。硬件抽象层92中包括接口922、图像同步模块924、图像算法模块926以及应用算法模块928。内核层94中包括摄像头驱动942、摄像头标定模块944和摄像头同步图模块946。硬件层962中包括TOF摄像模组962、可见光摄像模组964和图像处理器(Image Signal Processor,ISP)966。
在一个实施例中,应用程序90可用于发起图像采集指令,然后将图像采集指令发送到接口922。接口922对图像采集指令解析之后,可以通过摄像头驱动942对摄像头的配置参数,然后将配置参数发送给图像处理器966,并通过图像处理器966控制TOF摄像模组962和可见光摄像模组964打开。TOF摄像模组962和可见光摄像模组964打开之后,可通过摄像头同步模块946控制TOF摄像模组962和可见光摄像模组964同步采集图像。TOF摄像模组962采集的第一图像和可见光摄像模组964采集的第二图像会发送给图像处理器966,然后通过图像处理器966将第一图像和第二图像发送给摄像头标定模块944。摄像头标定模块944会将第一图像和第二图像进行对齐处理,然后将对齐后的第一图像和第二图像发送到硬件抽象层92。硬件抽象层92中的图像同步模块924会根据采集第一图像的第一时刻与采集第二图像的第二时刻,判断第一图像和第二图像是否为同时获取的。若是,才会通过图像算法模块926根据第一图像计算得到第一目标图像,并根据第二图像计算得到第二目标图像。第一目标图像和第二目标图像会通过应用算法模块928进行打包等处理,然后将打包等处理后的第一目标图像和第二目标图像通过接口922发送给应用程序902,应用程序902获取到第一目标图像和第二目标图像后,可以根据第一目标图像和第二目标图像进行三维建模、美颜、增强现实(Augmented Reality,AR)等处理。
图10为一个实施例中摄像头模组的控制装置的结构示意图。摄像头模组的控制装置,应用于包括TOF摄像头模组的电子设备,其中,所述TOF摄像模组包括用于发射预设波段的光波的光源发射模块以及用于接收被拍物体反射的光波,并生成第一目标图像的感光接收模块。如图10所示,该摄像头模组的控制装置100包括信息获取模块1002、遮挡判断模块1004和光源控制模块1006。其中:
信息获取模块1002,当所述TOF摄像模组处于工作状态时,获取所述TOF摄像模组的温度信息;
遮挡判断模块1004,用于根据所述温度信息和接收的光波判断所述感光接收模块是否存在遮挡;
光源控制模块1006,用于当所述感光接收模块存在遮挡时,控制所述光源发射模块暂停发送光波。
上述摄像头模组的控制装置,不需要在TOF摄像模组中内置额外的接近传感器,就可以确定感光接收模块是否存在遮挡,当存在遮挡时,控制所述光源发射模块暂停发送光波,节约了成本,同时可以避免因光源发射模块持续不断的发射光波而导致温度过高影响数据采集的准确性,进而可以提高TOF摄像模组的成像效果,以使TOF摄像模组得到的深度图像信息更加准确。
在一个实施例中,遮挡判断模块1004,包括:
光强获取单元,用于在预设时间内获取所述感光接收模块接收的光波的光强信息;
遮挡判断单元,用于当所述温度信息大于第一预设阈值且所述光强信息大于第二预设阈值时,则所述感光接收模块存在遮挡。
在一个实施例中,所述感光接收模块包括图像传感器;遮挡判断模块1004还用于:获取所述图像传感器中预设感光区域内的特征光波点;删除所述特征光波点以获取所述预设感光区域接收的光波的强度信息。
在一个实施例中,信息获取模块1002还用于在光源控制模块控制所述光源发射模块暂停发送光波后持续获取所述温度信息;直到所述温度信息不高于第一预设阈值时,控制所述光源发射模块恢复所述光波的发射,使所述TOF摄像模组处于工作状态。
在一个实施例中,控制装置还包括:
第一图像获取模块1008,当所述感光接收模块不存在遮挡时,获取所述TOF摄像模组在曝光时间内根据第一帧率采集的至少两帧第一图像;根据至少两帧所述第一图像生成所述第一目标图像,所述第一目标图像用于表示所述被拍物体的深度信息。
在一个实施例中,第一图像获取模块1008还用于提取每一帧所述第一图像中的图像数据及元数据;将所述每一帧第一图像中的所述图像数据及对应的元数据分别进行数据拼接,生成所述第一目标图像。
在一个实施例中,控制装置还包括:
第二图像获取模块1010,用于在所述曝光时间内控制可见光摄像模组根据第二帧率采集第二图像;其中,所述第一帧率小于所述第二帧率;根据所述第二图像生成第二目标图像;根据所述第一目标图像和所述第二目标图像进行处理,所述第一目标图像用于表示所述第二目标图像对应的深度信息。
上述实施例提供的装置,可以保证TOF摄像模组和可见光摄像模组在同一曝光时段内获取图像,TOF摄像模组还可以同时获取至少两帧第一图像,并根据至少两帧第一图像生成最后用于处理的第一目标图像,减少图像采集时产生的误差,提高了图像处理的准确性。
上述摄像头模组的控制装置中各个模块的划分仅用于举例说明,在其他实施例中,可将摄像头模组的控制装置按照需要划分为不同的模块,以完成上述摄像头模组的控制装置的全部或部分功能。
关于摄像头模组的控制装置的具体限定可以参见上文中对于摄像头模组的控制方法的限定,在此不再赘述。上述摄像头模组的控制装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
本申请实施例中提供的摄像头模组的控制装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时,实现本申请实施例中所描述方法的步骤。
本申请实施例中提供的摄像头模组的控制装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时,实现本申请实施例中所描述方法的步骤。
本申请实施例还提供一种电子设备。上述电子设备中包括图像处理电路,图像处理电路可以利用硬件和/或软件组件实现,可包括定义ISP(Image Signal Processing,图像信号处理)管线的各种处理单元。图11为一个实施例中图像处理电路的示意图。如图11所示,为便于说明,仅示出与本申请实施例相关的图像处理技术的各个方面。
如图11所示,图像处理电路包括第一ISP处理器1130、第二ISP处理器1140和控制逻辑器1150。TOF摄像模组1110包括一个或多个第一透镜1112和第一图像传感器1114。第一图像传感器1114可包括色彩滤镜阵列(如Bayer滤镜),第一图像传感器1114可获取用第一图像传感器1114的每个成像像素捕捉的光强度和波长信息,并提供可由第一ISP处理器1130处理的一组图像数据。可见光摄像模组1120包括一个或多个第二透镜1122和第二图像传感器1124。第二图像传感器1124可包括色彩滤镜阵列(如Bayer滤镜),第二图像传感器1124可获取用第二图像传感器1124的每个成像像素捕捉的光强度和波长信息,并提供可由第二ISP处理器1140处理的一组图像数据。
TOF摄像模组1110采集的第一图像传输给第一ISP处理器1130进行处理,第一ISP处理器1130处理第一图像后,可将第一图像的统计数据(如图像的亮度、图像的反差值、图像的颜色等)发送给控制逻辑器1150,控制逻辑器1150可根据统计数据确定TOF摄像模组1110的控制参数,从而TOF摄像模组1110可根据控制参数进行自动对焦、自动曝光等操作。第一图像经过第一ISP处理器1130进行处理后可存储至图像存储器1160中,第一ISP处理器1130也可以读取图像存储器1160中存储的图像以对进行处理。另外,第一图像经过ISP处理器1130进行处理后可直接发送至显示器1170进行显示,显示器1170也可以读取图像存储器1160中的图像以进行显示。
其中,第一ISP处理器1130按多种格式逐个像素地处理图像数据。例如,每个图像像素可具有8、11、12或14比特的位深度,第一ISP处理器1130可对图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中,图像处理操作可按相同或不同的位深度精度进行。
图像存储器1160可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器,并可包括DMA(Direct Memory Access,直接直接存储器存取)特征。
当接收到来自第一图像传感器1114接口时,第一ISP处理器1130可进行一个或多个图像处理操作,如时域滤波。处理后的图像数据可发送给图像存储器1160,以便在被显示之前进行另外的处理。第一ISP处理器1130从图像存储器1160接收处理数据,并对所述处理数据进行RGB和YCbCr颜色空间中的图像数据处理。第一ISP处理器1130处理后的图像数据可输出给显示器1170,以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit,图形处理器)进一步处理。此外,第一ISP处理器1130的输出还可发送给图像存储器1160,且显示器1170可从图像存储器1160读取图像数据。在一个实施例中,图像存储器1160可被配置为实现一个或多个帧缓冲器。
第一ISP处理器1130确定的统计数据可发送给控制逻辑器1150。例如,统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、第一透镜1112阴影校正等第一图像传感器1114统计信息。控制逻辑器1150可包括执行一个或多个例程(如固件)的处理器和/或微控制器,一个或多个例程可根据接收的统计数据,确定TOF摄像模组1110的控制参数及第一ISP处理器1130的控制参数。例如,TOF摄像模组1110的控制参数可包括增益、曝光控制的积分时间、防抖参数、闪光控制参数、第一透镜1112控制参数(例如聚焦或变焦用焦距)、或这些参数的组合等。ISP控制参数可包括用于自动白平衡和颜色调整(例如,在RGB处理期间)的增益水平和色彩校正矩阵,以及第一透镜1112阴影校正参数。
同样地,可见光摄像模组1120采集的第二图像传输给第二ISP处理器1140进行处理,第二ISP处理器1140处理第一图像后,可将第二图像的统计数据(如图像的亮度、图像的反差值、图像的颜色等)发送给控制逻辑器1150,控制逻辑器1150可根据统计数据确定可见光摄像模组1120的控制参数,从而可见光摄像模组1120可根据控制参数进行自动对焦、自动曝光等操作。第二图像经过第二ISP处理器1140进行处理后可存储至图像存储器1160中,第二ISP处理器1140也可以读取图像存储器1160中存储的图像以对进行处理。另外,第二图像经过ISP处理器1140进行处理后可直接发送至显示器1170进行显示,显示器1170也可以读取图像存储器1160中的图像以进行显示。可见光摄像模组1120和第二ISP处理器1140也可以实现如TOF摄像模组1110和第一ISP处理器1130所描述的处理过程。
以下为运用图11中图像处理技术实现摄像头模组的控制方法的步骤。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质,当所述计算机可执行指令被一个或多个处理器执行时,使得所述处理器执行摄像头模组的控制方法的步骤。
一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行摄像头模组的控制方法。
本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM),它用作外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种摄像头模组的控制方法,其特征在于,应用于包括TOF摄像头模组的电子设备,其中,所述TOF摄像模组包括用于发射预设波段的光波的光源发射模块以及用于接收被拍物体反射的光波,并生成第一目标图像的感光接收模块;所述方法包括:
当所述TOF摄像模组处于工作状态时,获取所述TOF摄像模组的温度信息;
根据所述温度信息和接收的光波判断所述感光接收模块是否存在遮挡;
当所述感光接收模块存在遮挡时,控制所述光源发射模块暂停发送光波。
2.根据权利要求1所述的方法,其特征在于,所述根据所述温度信息和接收的光波判断所述感光接收模块是否存在遮挡,包括:
在预设时间内获取所述感光接收模块接收的光波的光强信息;
当所述温度信息大于第一预设阈值且所述光强信息大于第二预设阈值时,则所述感光接收模块存在遮挡。
3.根据权利要求2所述的方法,其特征在于,所述感光接收模块包括图像传感器,所述在预设时间内获取所述感光接收模块接收的光波的光强信息,包括:
获取所述图像传感器中预设感光区域内的特征光波点;
删除所述特征光波点以获取所述预设感光区域接收的光波的强度信息。
4.根据权利要求1所述的方法,其特征在于,所述控制所述光源发射模块暂停发送光波后,还包括:
持续获取所述温度信息;
直到所述温度信息不高于第一预设阈值时,控制所述光源发射模块恢复所述光波的发射,使所述TOF摄像模组处于工作状态。
5.根据权利要求1所述的方法,其特征在于,所述方法,还包括:
当所述感光接收模块不存在遮挡时,获取所述TOF摄像模组在曝光时间内根据第一帧率采集的至少两帧第一图像;
根据至少两帧所述第一图像生成所述第一目标图像,所述第一目标图像用于表示所述被拍物体的深度信息。
6.根据权利要求5所述的方法,其特征在于,所述根据至少两帧所述第一图像生成所述第一目标图像,包括:
提取每一帧所述第一图像中的图像数据及元数据;
将所述每一帧第一图像中的所述图像数据及对应的元数据分别进行数据拼接,生成所述第一目标图像。
7.根据权利要求5或6所述的方法,其特征在于,所述电子设备还包括可见光摄像模组,所述方法还包括:
在所述曝光时间内控制所述可见光摄像模组根据第二帧率采集第二图像;其中,所述第一帧率小于所述第二帧率;
根据所述第二图像生成第二目标图像;
根据所述第一目标图像和所述第二目标图像进行处理,所述第一目标图像用于表示所述第二目标图像对应的深度信息。
8.一种摄像头模组的控制装置,应用于包括TOF摄像头模组的电子设备,其中,所述TOF摄像模组包括用于发射预设波段的光波的光源发射模块以及用于接收被拍物体反射的光波,并生成第一目标图像的感光接收模块,其特征在于,所述装置包括:
信息获取模块,当所述TOF摄像模组处于工作状态时,获取所述TOF摄像模组的温度信息;
遮挡判断模块,用于根据所述温度信息和接收的光波判断所述感光接收模块是否存在遮挡;
光源控制模块,用于当所述感光接收模块存在遮挡时,控制所述光源发射模块暂停发送光波。
9.一种电子设备,包括TOF摄像头模组、存储器及处理器,其中,所述TOF摄像模组包括用于发射预设波段的光波的光源发射模块以及用于接收被拍物体反射的光波,并生成第一目标图像的感光接收模块;所述存储器中储存有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810962806.7A CN108965721B (zh) | 2018-08-22 | 2018-08-22 | 摄像头模组的控制方法和装置、电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810962806.7A CN108965721B (zh) | 2018-08-22 | 2018-08-22 | 摄像头模组的控制方法和装置、电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108965721A true CN108965721A (zh) | 2018-12-07 |
CN108965721B CN108965721B (zh) | 2020-12-22 |
Family
ID=64473851
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810962806.7A Active CN108965721B (zh) | 2018-08-22 | 2018-08-22 | 摄像头模组的控制方法和装置、电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108965721B (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109814710A (zh) * | 2018-12-27 | 2019-05-28 | 青岛小鸟看看科技有限公司 | 数据处理方法、装置及虚拟现实设备 |
CN109903345A (zh) * | 2019-04-09 | 2019-06-18 | 歌尔股份有限公司 | 深度模组标定方法、标定装置及计算机可读存储介质 |
CN110032979A (zh) * | 2019-04-18 | 2019-07-19 | 北京迈格威科技有限公司 | Tof传感器的工作频率的控制方法、装置、设备及介质 |
CN110187328A (zh) * | 2019-06-05 | 2019-08-30 | 歌尔股份有限公司 | 深度模组的校准方法、装置、设备及计算机可读存储介质 |
CN110398748A (zh) * | 2019-07-19 | 2019-11-01 | Oppo广东移动通信有限公司 | 距离测量装置及设备、方法 |
CN110794422A (zh) * | 2019-10-08 | 2020-02-14 | 歌尔股份有限公司 | 一种含有tof成像模组的机器人数据采集系统及方法 |
CN111708585A (zh) * | 2020-06-17 | 2020-09-25 | 无锡睿勤科技有限公司 | 摄像头应用层和驱动层的交互方法、装置及可读存储介质 |
CN111856477A (zh) * | 2020-08-04 | 2020-10-30 | RealMe重庆移动通信有限公司 | 相对状态检测方法、装置、电子设备以及存储介质 |
CN113050359A (zh) * | 2021-03-19 | 2021-06-29 | 维沃移动通信有限公司 | 电子设备、镜头遮挡检测方法及计算机可读存储介质 |
CN113544692A (zh) * | 2019-10-10 | 2021-10-22 | 谷歌有限责任公司 | 用于面部认证的摄像头同步和图像标记 |
CN113596202A (zh) * | 2021-07-06 | 2021-11-02 | 维沃移动通信有限公司 | 光敏传感器的控制方法及电子设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100046802A1 (en) * | 2008-08-19 | 2010-02-25 | Tatsumi Watanabe | Distance estimation apparatus, distance estimation method, storage medium storing program, integrated circuit, and camera |
CN102959941A (zh) * | 2010-07-02 | 2013-03-06 | 索尼电脑娱乐公司 | 信息处理系统、信息处理装置及信息处理方法 |
CN105683807A (zh) * | 2013-10-31 | 2016-06-15 | 微视公司 | 扫描激光接近检测 |
CN106797424A (zh) * | 2014-12-22 | 2017-05-31 | 谷歌公司 | 具有多个输出端口的图像传感器 |
CN207382424U (zh) * | 2017-11-01 | 2018-05-18 | 浙江舜宇智能光学技术有限公司 | Tof摄像模组以及电子设备 |
-
2018
- 2018-08-22 CN CN201810962806.7A patent/CN108965721B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100046802A1 (en) * | 2008-08-19 | 2010-02-25 | Tatsumi Watanabe | Distance estimation apparatus, distance estimation method, storage medium storing program, integrated circuit, and camera |
CN102959941A (zh) * | 2010-07-02 | 2013-03-06 | 索尼电脑娱乐公司 | 信息处理系统、信息处理装置及信息处理方法 |
CN105683807A (zh) * | 2013-10-31 | 2016-06-15 | 微视公司 | 扫描激光接近检测 |
CN106797424A (zh) * | 2014-12-22 | 2017-05-31 | 谷歌公司 | 具有多个输出端口的图像传感器 |
CN207382424U (zh) * | 2017-11-01 | 2018-05-18 | 浙江舜宇智能光学技术有限公司 | Tof摄像模组以及电子设备 |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109814710A (zh) * | 2018-12-27 | 2019-05-28 | 青岛小鸟看看科技有限公司 | 数据处理方法、装置及虚拟现实设备 |
CN109814710B (zh) * | 2018-12-27 | 2022-05-13 | 青岛小鸟看看科技有限公司 | 数据处理方法、装置及虚拟现实设备 |
CN109903345A (zh) * | 2019-04-09 | 2019-06-18 | 歌尔股份有限公司 | 深度模组标定方法、标定装置及计算机可读存储介质 |
CN110032979A (zh) * | 2019-04-18 | 2019-07-19 | 北京迈格威科技有限公司 | Tof传感器的工作频率的控制方法、装置、设备及介质 |
CN110187328A (zh) * | 2019-06-05 | 2019-08-30 | 歌尔股份有限公司 | 深度模组的校准方法、装置、设备及计算机可读存储介质 |
CN110398748A (zh) * | 2019-07-19 | 2019-11-01 | Oppo广东移动通信有限公司 | 距离测量装置及设备、方法 |
CN110794422A (zh) * | 2019-10-08 | 2020-02-14 | 歌尔股份有限公司 | 一种含有tof成像模组的机器人数据采集系统及方法 |
CN113544692A (zh) * | 2019-10-10 | 2021-10-22 | 谷歌有限责任公司 | 用于面部认证的摄像头同步和图像标记 |
CN111708585A (zh) * | 2020-06-17 | 2020-09-25 | 无锡睿勤科技有限公司 | 摄像头应用层和驱动层的交互方法、装置及可读存储介质 |
CN111708585B (zh) * | 2020-06-17 | 2023-06-09 | 无锡睿勤科技有限公司 | 摄像头应用层和驱动层的交互方法、装置及可读存储介质 |
CN111856477A (zh) * | 2020-08-04 | 2020-10-30 | RealMe重庆移动通信有限公司 | 相对状态检测方法、装置、电子设备以及存储介质 |
CN113050359A (zh) * | 2021-03-19 | 2021-06-29 | 维沃移动通信有限公司 | 电子设备、镜头遮挡检测方法及计算机可读存储介质 |
CN113596202A (zh) * | 2021-07-06 | 2021-11-02 | 维沃移动通信有限公司 | 光敏传感器的控制方法及电子设备 |
CN113596202B (zh) * | 2021-07-06 | 2024-05-14 | 维沃移动通信有限公司 | 光敏传感器的控制方法及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN108965721B (zh) | 2020-12-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108965721A (zh) | 摄像头模组的控制方法和装置、电子设备 | |
KR102377728B1 (ko) | 이미지 처리 방법, 컴퓨터 판독 가능 저장 매체, 및 전자 기기 | |
KR102279436B1 (ko) | 이미지 처리 방법, 장치 및 기기 | |
CN108716983B (zh) | 光学元件检测方法和装置、电子设备、存储介质 | |
KR102232517B1 (ko) | 이미지 촬영 방법 및 이미지 촬영 장치 | |
EP3614659B1 (en) | Image processing method, electronic apparatus, and computer-readable storage medium | |
US9300858B2 (en) | Control device and storage medium for controlling capture of images | |
CN109040591A (zh) | 图像处理方法、装置、计算机可读存储介质和电子设备 | |
CN109151303B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
CN109672827A (zh) | 用于组合多个图像的电子装置及其方法 | |
CN110213480A (zh) | 一种对焦方法及电子设备 | |
CN108600740A (zh) | 光学元件检测方法、装置、电子设备和存储介质 | |
CN108924426A (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
CN107621867A (zh) | 熄屏控制方法、装置和终端设备 | |
CN109559353A (zh) | 摄像模组标定方法、装置、电子设备及计算机可读存储介质 | |
WO2023040725A1 (zh) | 白平衡处理方法与电子设备 | |
CN108760245B (zh) | 光学元件检测方法和装置、电子设备、可读存储介质 | |
CN108282616B (zh) | 图像的处理方法、装置、存储介质及电子设备 | |
CN112995529B (zh) | 一种基于光流预测的成像方法和装置 | |
CN109120846B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
CN109166082A (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
JP7321772B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
CN106534704A (zh) | 一种基于红外技术的终端设备的拍摄方法及装置 | |
WO2021154807A1 (en) | Sensor prioritization for composite image capture | |
CN117560480B (zh) | 一种图像深度估计方法及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |