CN109544618A - 一种获取深度信息的方法及电子设备 - Google Patents
一种获取深度信息的方法及电子设备 Download PDFInfo
- Publication number
- CN109544618A CN109544618A CN201811279855.7A CN201811279855A CN109544618A CN 109544618 A CN109544618 A CN 109544618A CN 201811279855 A CN201811279855 A CN 201811279855A CN 109544618 A CN109544618 A CN 109544618A
- Authority
- CN
- China
- Prior art keywords
- camera
- electronic equipment
- image information
- dot matrix
- target object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/514—Depth or shape recovery from specularities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例提供一种获取深度信息的方法及电子设备,应用于图像处理技术领域,可以提高电子设备获取的目标对象的深度信息的准确度。具体方案包括:电子设备包括第一摄像头、第二摄像头和红外投射器;电子设备接收用于触发电子设备获取目标对象的深度信息的第一指令;响应于第一指令,通过红外投射器发射带光斑的红外光,通过第一摄像头采集目标对象的第一图像信息,通过第二摄像头采集目标对象的第二图像信息,第一图像信息和第二图像信息包括目标对象的特征和带光斑的红外光照射在目标对象上形成的纹理特征;根据第一图像信息、第二图像信息、第一长度、以及第一摄像头的镜头焦距和第二摄像头的镜头焦距,计算目标对象的深度信息。
Description
技术领域
本申请实施例涉及图像处理技术领域,尤其涉及一种获取深度信息的方法及电子设备。
背景技术
随着电子技术的发展,电子设备的功能越来越多。例如,电子设备可以包括人脸识别、增强现实(augmented reality,AR)等功能。以人脸识别为例,电子设备在进行人脸识别时,不仅可以采集目标对象(如人脸)的二维图像,还可以获取目标对象的深度信息。
具体的,电子设备可以通过双目摄像头(即两个摄像头,如摄像头1和摄像头2)分别采集目标对象的图像信息;然后,识别出摄像头1采集的图像信息和摄像头2采集的图像信息中相同的特征,并计算摄像头1和摄像头2对相同的特征的视差,然后根据视差、摄像头1和摄像头2的硬件参数,计算该点的深度(即该点到上述两个摄像头连线的垂直距离)。其中,目标对象的多个点的深度可以组成该目标对象的深度信息。目标对象的深度信息可以表征目标对象的三维特征。
由此可见,上述摄像头1和摄像头2采集的图像信息中的特征越多,电子设备100识别到摄像头1采集的图像信息和摄像头2采集的图像信息中相同的特征则越多。电子设备识别到的相同的特征越多,该电子设备则可以计算得到越多点的深度,目标对象的深度信息则越准确。
其中,摄像头采集到的图像信息中包括的特征的多少,至少会受到以下两个参数的影响:(1)目标对象本身的特征是否明显。例如,如果目标对象棱角分明(即目标对象的特征比较明显),那么摄像头采集到目标对象的图像信息则可以包括较多的特征;如果目标对象比较平滑,即目标对象(如白墙)的特征不明显,那么摄像头采集到目标对象的图像信息中包括的特征较少。(2)光线的强弱。例如,光线较强时,摄像头采集到的图像信息中包括较多的特征;光线较差时,摄像头采集到的图像信息中包括特征则较少。
综上所述,双目摄像头采集的图像信息中的特征越多,电子设备计算得到的目标对象的深度信息越准确;而双目摄像头采集的图像信息中的特征的数量会受到多种因素的影响。换言之,深度信息准确度会受到多种因素的影响,电子设备很难获取到准确度较高的深度信息。
发明内容
本申请实施例提供一种获取深度信息的方法及电子设备,可以提高电子设备获取的目标对象的深度信息的准确度。
第一方面,本申请实施例提供一种获取深度信息的方法,可以应用于电子设备,该电子设备包括红外投射器、第一摄像头和第二摄像头。该第一摄像头和第二摄像头之间的距离为第一长度。该方法可以包括:电子设备接收用于触发电子设备获取目标对象的深度信息的第一指令;响应于第一指令,通过红外投射器发射带光斑的红外光,通过第一摄像头采集目标对象的第一图像信息,通过第二摄像头采集目标对象的第二图像信息;根据第一图像信息、第二图像信息、第一长度、以及第一摄像头的镜头焦距和第二摄像头的镜头焦距,计算目标对象的深度信息。
其中,上述第一摄像头采集的图像信息和第二摄像头采集的图像信息中的特征越多越明显,电子设备识别到第一图像信息和第二图像信息中相同的特征则越多。电子设备识别到的相同的特征越多,该电子设备则可以计算得到越多特征所在点的深度。由于该目标对象的深度信息由目标对象的多个点的深度组成;因此,电子设备计算得到的点的深度越多,目标对象的深度信息则越准确。
本身实施例中,上述第一图像信息和第二图像信息包括目标对象的特征和带光斑的红外光照射在目标对象上形成的纹理特征。即上述第一图像信息和第二图像信息中不仅包括目标对象本身的特征,还包括带光斑的红外光照射在目标对象上形成的纹理特征。
其中,增加第一摄像头和第二摄像头采集的目标对象的图像的特征后,电子设备便可以更加准确识别出第一摄像头采集的图像信息和第二摄像头采集的图像信息中相同的特征,进而确定出第一摄像头和第二摄像头对该相同的特征的视差,从而计算出每个点的深度,得到目标对象的深度信息,可以提高电子设备计算目标对象的深度信息的准确度。
结合第一方面,在一种可能的设计方式中,上述第一摄像头与第二摄像头的镜头焦距相同。
结合第一方面,在另一种可能的设计方式中,上述电子设备根据第一图像信息、第二图像信息、第一长度、以及第一摄像头的镜头焦距和第二摄像头的镜头焦距,计算目标对象的深度信息的方法可以包括:电子设备计算第一摄像头与第二摄像头对第一图像信息和第二图像信息中的多个第一特征的视差;该第一特征是第一图像信息和第二图像信息中相同的特征;电子设备针对每个第一特征,根据第一摄像头与第二摄像头对所述第一特征的视差、第一长度和镜头焦距,采用以下公式(2)计算第一特征所在点的深度Z,得到目标对象的深度信息:
其中,f为镜头焦距,d为第一摄像头与第二摄像头对第一特征的视差,T为第一长度。
可以理解,目标对象上的各个特征(如人的鼻尖和眼睛)与摄像头之间的距离可能不同。目标对象上每个特征与摄像头之间的距离称为该特征(或者该特征所在点)的深度。目标对象上的各个点的深度组成该目标对象的深度信息。目标对象的深度信息可以表征目标对象的三维特征。
结合第一方面,在另一种可能的设计方式中,上述多个第一特征是第一图像信息和第二图像信息中相同的特征中的部分特征。电子设备100可以按照预设的特征频率,从第一图像信息中选择出多个第一特征,然后查找第二图像信息中与该多个第一特征相同的特征;最后,针对每一个第一特征,计算其深度,得到目标对象的深度信息。或者,电子设备也可以随机或间隔从第一图像信息中选择出部分第一特征。
其中,上述特征频率可以为相同的两个第一特征在预设面积中出现的数量。上述特征频率反应在图像上可以为电子设备选择的相邻的两个第一特征之间的距离(称为特征距离)。电子设备可以按照预设的特征频率,从第一图像信息中选择出多个第一特征的方法可以包括:电子设备从第一图像信息中的所有特征中,每间隔一个特征距离选择出一个第一特征。也就是说,电子设备不需要计算第一图像信息和第二图像信息中相同的特征中每一个特征所在点的深度,而是每间隔一个特征距离选择一个特征,计算选择出的特征所在点的深度。
结合第一方面,在另一种可能的设计方式中,上述带光斑的红外光包括多个光斑,多个光斑包括多个散斑点阵组。其中,一个散斑点阵组中包括一个或多个散斑点阵;散斑点阵包括多个散斑。
结合第一方面,在另一种可能的设计方式中,上述多个散斑点阵组中的至少两个散斑点阵组不同。其中,多个散斑点阵组中的至少两个散斑点阵组不同,可以降低多个光斑中散斑点阵组的重复性,有利于电子设备识别出不同的特征。
结合第一方面,在另一种可能的设计方式中,上述第一散斑点阵组为多个散斑点阵组中的任意一个,第一散斑点阵组中包括的多个散斑点阵中的至少两个散斑点阵不同。其中,多个散斑点阵中的至少两个散斑点阵不同,可以降低多个光斑中散斑点阵的重复性,有利于电子设备识别出不同的特征。
结合第一方面,在另一种可能的设计方式中,上述第一散斑点阵为多个散斑点阵中的任意一个。第一散斑点阵中的多个散斑中每个散斑的形状相同。其中,如果多个散斑中每个散斑的形状相同,那么电子设备可以根据散斑在散斑点阵中的位置识别出不同的散斑。
第一散斑点阵中的多个散斑中至少两个散斑的形状不同。其中,多个散斑中至少两个散斑的形状不同,可以降低散斑点阵中多个散斑的重复性,有利于电子设备识别出不同的特征。
结合第一方面,在另一种可能的设计方式中,上述电子设备按照预设的特征频率从第一图像信息和所述第二图像信息中选择多个第一特征。特征频率大于或者等于多个光斑中散斑点阵的重复频率。其中,特征频率通过电子设备从预设面积的图像中选择的相同的第一特征的数量来表征,重复频率通过预设面积中出现同一个散斑点阵的数量来表征。
其中,电子设备在选择上述第一特征时所采用的特征距离可以小于或者等于上述多个光斑中散斑点阵的重复周期。即上述特征频率大于或者等于上述多个光斑中散斑点阵的重复频率。这样,可以尽量保证电子设备从第一图像信息中选择出的相邻的两个第一特征对应不同的散斑点阵中的散斑,有利于电子设备可以区分出该相邻的两个第一特征,可以降低特征匹配错误的可能性,提升电子设备计算得到的深度信息的准确度。
结合第一方面,在另一种可能的设计方式中,上述第一摄像头和第二摄像头的每个透镜的双面均包括增透膜,第一摄像头和第二摄像头的滤光片包括截止镀层。其中,增透膜用于增加红外光的透过率;截止镀层用于滤去红外光和可见光之外的其他光线,并增加红外光的透过率。
其中,普通的红绿蓝(red green blue,RGB)摄像头只可以感知可见光,不能感知红外光。为了降低电子设备的硬件成本,可以在RGB摄像头的每个透镜的双面镀增透膜,在RGB摄像头的滤光片(双面或者单面)上镀截止镀层,得到每个透镜的双面均包括增透膜且滤光片包括截止镀层的双通摄像头(即上述第一摄像头和第二摄像头)。
结合第一方面,在另一种可能的设计方式中,上述红外光为890纳米(nm)~990nm的红外光。例如,上述红外光具体可以为940nm的红外光。相应的,上述增透膜可以为890nm~990nm的红外光的增透膜,如940nm的红外光的增透膜。
结合第一方面,在另一种可能的设计方式中,上述第一长度在20毫米~30毫米之间。
结合第一方面,在另一种可能的设计方式中,上述电子设备还包括第三摄像头,第三摄像头是RGB摄像头。第三摄像头用于采集可见光下的图像信息;第三摄像头采集的图像信息用于显示在电子设备的显示屏上。
第二方面,本申请实施例提供一种电子设备,该电子设备包括:一个或多个处理器、存储器、红外投射器、第一摄像头和第二摄像头,第一摄像头和第二摄像头之间的距离为第一长度,存储器、红外投射器、第一摄像头和第二摄像头与处理器耦合,存储器用于存储信息。上述处理器,用于接收第一指令,第一指令用于触发电子设备获取目标对象的深度信息。处理器,还用于响应于第一指令,通过红外投射器发射带光斑的红外光,通过第一摄像头采集目标对象的第一图像信息,通过第二摄像头采集目标对象的第二图像信息,第一图像信息和第二图像信息包括目标对象的特征和带光斑的红外光照射在目标对象上形成的纹理特征。处理器,还用于根据第一摄像头采集的第一图像信息、第二摄像头采集的第二图像信息、第一长度、以及第一摄像头的镜头焦距和第二摄像头的镜头焦距,计算目标对象的深度信息。
结合第二方面,在一种可能的设计方式中,上述第一摄像头与第二摄像头的镜头焦距相同。
结合第二方面,在另一种可能的设计方式中,上述处理器,用于根据第一图像信息、第二图像信息、第一长度、以及第一摄像头的镜头焦距和第二摄像头的镜头焦距,计算目标对象的深度信息,包括:处理器,用于:计算第一摄像头与第二摄像头对第一图像信息和第二图像信息中的多个第一特征的视差;第一特征是第一图像信息和第二图像信息中相同的特征;针对每个第一特征,根据第一摄像头与第二摄像头对第一特征的视差、第一长度和镜头焦距,采用上述公式(2)计算第一特征所在点的深度Z,得到目标对象的深度信息。其中,f为镜头焦距,d为第一摄像头与第二摄像头对第一特征的视差,T为第一长度。
结合第二方面,在一种可能的设计方式中,上述处理器,还用于在计算第一摄像头与第二摄像头对第一图像信息和第二图像信息中的多个第一特征的视差之前,从第一图像信息和第二图像信息中选择出多个第一特征。其中,多个第一特征是第一图像信息和第二图像信息中相同的特征中的部分特征。
结合第二方面,在一种可能的设计方式中,上述上述带光斑的红外光包括多个光斑,多个光斑包括多个散斑点阵组。其中,一个散斑点阵组中包括一个或多个散斑点阵;每个散斑点阵包括多个散斑。
需要注意的是,第二方面及其可能的设计方式中的散斑点阵组、散斑点阵、散斑点阵中的多个散斑,以及红外投射器发射的红外光的波长可以参考第一方面的可能的设计方式中的相关描述,这里不予赘述。
结合第二方面,在一种可能的设计方式中,上述处理器,用于按照预设的特征频率从第一图像信息和第二图像信息中选择多个第一特征。特征频率大于或者等于多个光斑中散斑点阵的重复频率。其中,特征频率通过处理器从预设面积的图像中选择的相同的第一特征的数量来表征,重复频率通过预设面积中出现同一个散斑点阵的数量来表征。
结合第二方面,在一种可能的设计方式中,上述第一摄像头和第二摄像头的每个透镜的双面均包括增透膜,第一摄像头和第二摄像头的滤光片包括截止镀层;其中,增透膜用于增加红外光的透过率;截止镀层用于滤去红外光和可见光之外的其他光线,并增加红外光的透过率。
结合第二方面,在一种可能的设计方式中,上述电子设备还包括第三摄像头和显示屏。第三摄像头是RGB摄像头;第三摄像头用于采集可见光下的图像信息;第三摄像头采集的图像信息用于显示在显示屏上。
第三方面,本申请实施例提供一种双通摄像头(即上述第一摄像头或者第二摄像头),该双通摄像头用于接收可见光和红外光。该双通摄像头的每个透镜的双面均包括增透膜,该双通摄像头的滤光片包括截止镀层。其中,增透膜用于增加红外光的透过率;截止镀层用于滤去红外光和可见光之外的其他光线,并增加红外光的透过率。
结合第三方面,在一种可能的设计方式中,上述双通摄像头包括:RGB摄像头、镀在RGB摄像头的每个透镜的双面的增透膜,镀在RGB摄像头的滤光片(双面或者单面)上的镀截止镀层。
第四方面,本申请实施例提供一种计算机存储介质,包括计算机指令,当所述计算机指令在电子设备上运行时,使得所述电子设备执行如第一方面及其可能的设计方式所述的获取深度信息的方法。
第五方面,本申请实施例提供一种计算机程序产品,当所述计算机程序产品在计算机上运行时,使得所述计算机执行如第一方面及其可能的设计方式所述的获取深度信息的方法。
可以理解,上述提供的第二方面及其可能的设计方法所述的电子设备、第三方面所述的计算机存储介质,以及第四方面所述的计算机程序产品均用于执行上文所提供的对应的方法,因此,其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果,此处不再赘述。
附图说明
图1A为本申请实施例提供的一种电子设备的局部示意图;
图1B为本申请实施例提供的一种计算深度信息的原理示意图一;
图1C为本申请实施例提供的一种双目摄像头采集的两个图像信息中相同的特征的实例示意图;
图1D为本申请实施例提供的一种电子设备的硬件结构示意图;
图2为本申请实施例提供的一种获取深度信息的方法流程图一;
图3为本申请实施例提供的一种图形用户界面实例示意图一;
图4为本申请实施例提供的一种散斑点阵的实例示意图;
图5为本申请实施例提供的一种散斑点阵组的实例示意图一;
图6A为本申请实施例提供的一种散斑点阵组的实例示意图二;
图6B为本申请实施例提供的一种散斑点阵组的实例示意图三;
图6C为本申请实施例提供的一种散斑点阵组的实例示意图四;
图7A为本申请实施例提供的一种散斑点阵组的实例示意图五;
图7B为本申请实施例提供的一种散斑点阵组的实例示意图六;
图7C为本申请实施例提供的一种散斑点阵组的实例示意图七;
图8为本申请实施例提供的一种摄像头模组的结构示意图;
图9为本申请实施例提供的一种获取深度信息的方法流程图二;
图10A为本申请实施例提供的一种计算深度信息的原理示意图二;
图10B为本申请实施例提供的一种计算视差的原理示意图;
图10C为本申请实施例提供的一种视差与深度的关系示意图;
图11为本申请实施例提供的一种目标对象与带光斑的红外光的实例示意图;
图12为本申请实施例提供的一种特征频率的实例示意图;
图13为本申请实施例提供的一种人脸深度信息实例示意图;
图14为本申请实施例提供的一种图形用户界面实例示意图;
图15为本申请实施例提供的一种电子设备的结构组成示意图。
具体实施方式
本申请实施例提供一种获取深度信息的方法,可以应用于电子设备获取目标对象的图像信息的过程中。该图像信息可以包括目标对象的二维图像和目标对象的深度信息。
一般而言,目标对象(如人脸)是具备三维立体形态的物体。电子设备的摄像头拍摄该目标对象时,该目标对象上的各个特征(如人的鼻尖和眼睛)与摄像头之间的距离可能不同。目标对象上每个特征与摄像头之间的距离称为该特征(或者该特征所在点)的深度。目标对象上的各个点的深度组成该目标对象的深度信息。目标对象的深度信息可以表征目标对象的三维特征。
其中,对于双目摄像头(即两个摄像头,如第一摄像头和第二摄像头)而言,上述目标对象上的各个特征与摄像头之间的距离(即点的深度)可以为:该目标对象上的各个特征所在点与两个摄像头连线的垂直距离。例如,如图1B所示,假设P为目标对象上的一个特征,特征P的深度为P到OLOR的垂直距离Z。其中,OL为第一摄像头的位置,OR为第二摄像头的位置。
本申请实施例提供的电子设备可以包括红外投射器和两个双通摄像头(如第一摄像头和第二摄像头)。其中,两个双通摄像头之间的距离为第一长度。一般而言,两个摄像头的中心之间的距离称为两个摄像头之间的距离。
请参考图1A,其示出本申请实施例提供的电子设备100的局部示意图。如图1A所示,电子设备100可以包括红外投射器101、第一摄像头102和第二摄像头103。第一摄像头102和第二摄像头103的之间的距离为第一长度T。
其中,红外投射器101用于发射带光斑的红外光。双通摄像头是指该摄像头不仅可以接收可见光,还可以接收红外光。例如,双通摄像头可以接收可见光以及940nm的红外光。940nm是红外光的波长。当然,上述两个双通摄像头可以替换为两个全通摄像头。全通摄像头是指该摄像头可以接收包括可见光、红外光以及其它波长的光在内的多种光线。相比而言,普通的RGB摄像头可以接收可见光,但是不能接收红外光。
在本申请实施例中,第一摄像头102可以为左侧的双通摄像头,第二摄像头103可以为右侧的双通摄像头;或者,第一摄像头102可以为右侧的双通摄像头,第二摄像头103可以为左侧的双通摄像头。图1A中以第一摄像头102为左侧的双通摄像头,第二摄像头103为右侧的双通摄像头为例,对电子设备100的局部结构进行举例说明。
需要注意的是,本申请实施例中的第一摄像头102和第二摄像头103可以接收同类型的红外光。该同类型的红外光是指波长相同的红外光。换言之,第一摄像头102和第二摄像头103接收红外光的能力相同。例如,第一摄像头102和第二摄像头103可以接收940nm的红外光。并且,本申请实施例中,红外投射器101发射的红外光与第一摄像头102和第二摄像头103可以接收的红外光也是同类型的红外光。
电子设备100可以根据双目摄像头对同一特征的视差,结合双目摄像头的硬件参数,采用三角定位原理计算目标对象上每一个特征的深度,得到目标对象的深度信息。
本申请实施例这里对电子设备100根据视差计算深度信息的方法进行举例说明:
如图1B所示,OL为第一摄像头102的位置,OR为第二摄像头103的位置,OL与OR之间的距离为第一长度T,即OLOR=T。第一摄像头102和第二摄像头103的镜头焦距均为f。
特征P为目标对象的一个特征。特征P所在点与第一摄像头102和第二摄像头103连线的垂直距离为Z。即P的深度信息为Z。第一摄像头102采集到目标对象的图像1,特征P在图像1的PL点。第二摄像头103采集到目标对象的图像2,特征P在图像2的PR点。其中,图像1中的PL点与图像2中的PR点所对应的特征都是目标对象的特征P。
如图1B所示,ALCL=ARCR=x,ALBL=BLCL=ARBR=BRCR=x/2。其中,特征PL与AL之间的距离为xL,即特征PL距离图像1的最左端的距离为xL,即ALPL=xL。特征PR与AR之间的距离为xR,即特征PR距离图像2的最左端的距离为xR,即ARPR=xR。ALPL与ARPR的差值为第一摄像头102与第二摄像头103对特征P的视差,即特征P的视差d=xL-xR。
由于,PLPR平行于OLOR;因此,按照三角形原理可以得出以下公式(1):
其中,PLPR=OLOR-BLPL-PRBR。OLOR=T,BLPL=ALPL-ALBL=xL-x/2,PRBR=x/2-xR。PLPR=T-(xL-x/2)-(x/2-xR)=T-(xL-xR)=T-d。
将PLPR=T-d,OLOR=T代入公式(1)可以得到:
由可知:特征P的深度Z可以通过两个摄像头之间的距离T、两个摄像头的镜头焦距f,以及视差d计算得到。
由上述描述可知:上述第一摄像头102采集的图像信息(即第一图像信息,如上述图像1)和第二摄像头103采集的图像信息(即第二图像信息,如上述图像2)中的特征越多越明显,电子设备100识别到第一图像信息和第二图像信息中相同的特征则越多。电子设备100识别到的相同的特征越多,该电子设备100则可以计算得到越多特征所在点的深度。由于该目标对象的深度信息由目标对象的多个点的深度组成;因此,电子设备100计算得到的点的深度越多,目标对象的深度信息则越准确。
其中,所述的两个图像信息中相同的特征指的是:两个图像信息中对应同一个特征的信息。例如:第一图像信息中AL点对应对象的A部位,第二图像信息中的AR点也对应对象的A部位,则AL点和AR点是这两个图像信息中相同的特征。例如,第一图像信息包括图1C所示的建筑物的图像1,第二图像信息包括图1C所示的建筑物的图像2。图像1中的AL点对应建筑物的A部位,图像2中的AR点也对应建筑物的A部位。BL点对应建筑物的B部位,BR点也对应建筑物的B部位。双目摄像头对上述建筑物的A部位的视差为xL1-xR1。双目摄像头对上述建筑物的B部位的视差为xL2-xR2。
综上所述,当第一图像信息和第二图像信息中的特征越多时,越容易从这两个图像信息中获取较多的相同特征,从而使得电子设备100得到的目标对象的深度信息越准确。
本申请实施例中,红外投射器101向目标对象发射带光斑的红外光后,第一摄像头102和第二摄像头103采集的目标对象的图像信息中则不仅可以包括目标对象的特征,还包括带光斑的红外光照射在目标对象上形成的纹理特征。即可以增加第一摄像头102和第二摄像头103采集的目标对象的图像的特征。增加第一摄像头102和第二摄像头103采集的目标对象的图像的特征后,电子设备100便可以更加准确识别出第一摄像头102采集的图像信息和第二摄像头103采集的图像信息中相同的特征,进而确定出第一摄像头102和第二摄像头103对该相同的特征的视差,从而计算出每个点的深度,得到目标对象的深度信息,可以提高电子设备100计算目标对象的深度信息的准确度。
本申请实施例中的双通摄像头可以通过改进RGB摄像头得到,可以降低电子设备100的硬件成本。具体的,可以在RGB摄像头的每个透镜的双面镀增透膜,以提高透镜对红外光的感知能力,使得透镜可以尽可能的接收红外光;在RGB摄像头的滤光片上镀截止镀层,以滤去红外光和可见光之外的其他光线,并增加红外光的透过率。包括上述增透膜和截止镀层的RGB摄像头不仅可以接收可见光,还可以接收红外光。按照上述方式改进后的RGB摄像头可以作为双通摄像头被使用。
需要注意的是,在一些实施例中,图1A所示的电子设备100的局部示意图可以为电子设备100的正面的局部示意图。也就是说,上述红外投射器101、第一摄像头102、第二摄像头103设置在电子设备100的正面。
上述电子设备100中除上述第一摄像头102和第二摄像头103之外,还可以包括一个或多个其他摄像头。该一个或多个其他摄像头可以包括第三摄像头104,该第三摄像头为RGB摄像头。该第三摄像头用于采用目标对象的二维图像。电子设备100可以在显示屏上显示第三摄像头采集的二维图像。上述第三摄像头104与第一摄像头102、第二摄像头103以及红外投射器设置在电子设备100的同一面上。即第三摄像头104也可以设置在电子设备100的正面。第三摄像头104是电子设备100的前置摄像头。
在另一些实施例中,图1A所示的电子设备100的局部示意图可以为电子设备100的背面的局部示意图。也就是说,上述红外投射器101、第一摄像头102、第二摄像头103和RGB摄像头104设置在电子设备100的背面。上述RGB摄像头104为电子设备100的后置摄像头。
其中,上述电子设备100的正面是指电子设备100显示图形用户界面(如电子设备100的主界面,即桌面)的一面,即显示面板所在的面通常称为正面;而电子设备100的背面则是与正面的朝向相反的一面。通常的,电子设备的正面指的是:在被用户正常使用状态下,朝向用户的一面;而背离用户的一面称为背面。
当然,上述一个或多个其他摄像头还可以包括其他的RGB摄像头或者黑白摄像头等。该其他的RGB摄像头或者黑白摄像头等可以为电子设备100的前置摄像头或者后置摄像头,本申请实施例对此不做限制。
示例性的,本申请实施例电子设备可以为包括上述红外投射器、RGB摄像头(即第三摄像头)和两个双通摄像头(即第一摄像头和第二摄像头)的便携式计算机(如手机)、笔记本电脑、可穿戴电子设备(如智能手表)、平板电脑、增强现实(augmented reality,AR)\虚拟现实(virtual reality,VR)设备或车载设备等,以下实施例对该电子设备的具体形式不做特殊限制。
请参考图1D,其示出本申请实施例提供的一种电子设备100的结构示意图。该电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。
其中,电子设备100还可以包括红外投射器196(如图1A所示的红外投射器101)。该红外投射器196用于发射带光斑的红外光。例如,红外投射器196可以发射波长为940nm的红外光,该红外光带光斑。光斑的形状和排布可以参考本申请实施例后续相关描述,此处不予赘述。
摄像头193可以包括两个双通摄像头(如图1A所示的第一摄像头102和第二摄像头103)193B和193C、1~N个其他摄像头193A。该1~N个其他摄像头193A可以包括图1A所示的第三摄像头104,即RGB摄像头,还可以包括其它摄像头,例如黑白摄像头。其中,双通摄像头193B和193C可以接收可见光和红外光。RGB摄像头用于采集RGB图像,如人脸图像(即人脸二维图像)。
其中,传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等多个传感器。
可以理解的是,本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
其中,控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
I2C接口是一种双向同步串行总线,包括一根串行数据线(serial data line,SDL)和一根串行时钟线(derail clock line,SCL)。在一些实施例中,处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器180K,充电器,闪光灯,摄像头193等。例如:处理器110可以通过I2C接口耦合触摸传感器180K,使处理器110与触摸传感器180K通过I2C总线接口通信,实现电子设备100的触摸功能。
I2S接口可以用于音频通信。在一些实施例中,处理器110可以包含多组I2S总线。处理器110可以通过I2S总线与音频模块170耦合,实现处理器110与音频模块170之间的通信。在一些实施例中,音频模块170可以通过I2S接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。
PCM接口也可以用于音频通信,将模拟信号抽样,量化和编码。在一些实施例中,音频模块170与无线通信模块160可以通过PCM总线接口耦合。在一些实施例中,音频模块170也可以通过PCM接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。所述I2S接口和所述PCM接口都可以用于音频通信。
UART接口是一种通用串行数据总线,用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中,UART接口通常被用于连接处理器110与无线通信模块160。例如:处理器110通过UART接口与无线通信模块160中的蓝牙模块通信,实现蓝牙功能。在一些实施例中,音频模块170可以通过UART接口向无线通信模块160传递音频信号,实现通过蓝牙耳机播放音乐的功能。
MIPI接口可以被用于连接处理器110与显示屏194,摄像头193等外围器件。MIPI接口包括摄像头串行接口(camera serial interface,CSI),显示屏串行接口(displayserial interface,DSI)等。在一些实施例中,处理器110和摄像头193通过CSI接口通信,实现电子设备100的拍摄功能。处理器110和显示屏194通过DSI接口通信,实现电子设备100的显示功能。
GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号,也可被配置为数据信号。在一些实施例中,GPIO接口可以用于连接处理器110与摄像头193,显示屏194,无线通信模块160,音频模块170,传感器模块180等。GPIO接口还可以被配置为I2C接口,I2S接口,UART接口,MIPI接口等。
USB接口130是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB Type C接口等。USB接口130可以用于连接充电器为电子设备100充电,也可以用于电子设备100与外围设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。该接口还可以用于连接其他电子设备,例如AR设备等。
可以理解的是,本发明实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备100的结构限定。在本申请另一些实施例中,电子设备100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备供电。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,外部存储器,显示屏194,摄像头193,和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块141也可以设置于处理器110中。在另一些实施例中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。
电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A,受话器170B等)输出声音信号,或通过显示屏194显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块150或其他功能模块设置在同一个器件中。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks,WLAN)(如Wi-Fi网络),蓝牙(blue tooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),NFC,红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一些实施例中,电子设备100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications,GSM),通用分组无线服务(general packet radio service,GPRS),码分多址接入(codedivision multiple access,CDMA),宽带码分多址(wideband code division multipleaccess,WCDMA),时分码分多址(time-division code division multiple access,TD-SCDMA),长期演进(long term evolution,LTE),BT,GNSS,WLAN,NFC,FM,和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system,GPS),全球导航卫星系统(global navigation satellite system,GLONASS),北斗卫星导航系统(beidounavigation satellite system,BDS),准天顶卫星系统(quasi-zenith satellitesystem,QZSS)和/或星基增强系统(satellite based augmentation systems,SBAS)。
电子设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备100可以包括1个或N个显示屏194,N为大于1的正整数。
电子设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP主要用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备100可以包括1个或N个摄像头193,N为大于1的正整数。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。
电子设备100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。
扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170A收听音乐,或收听免提通话。
受话器170B,也称“听筒”,用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时,可以通过将受话器170B靠近人耳接听语音。
麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风170C发声,将声音信号输入到麦克风170C。电子设备100可以设置至少一个麦克风170C。在另一些实施例中,电子设备100可以设置两个麦克风170C,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,电子设备100还可以设置三个,四个或更多麦克风170C,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。
耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130,也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform,OMTP)标准接口,美国蜂窝电信工业协会(cellular telecommunications industry association of the USA,CTIA)标准接口。
压力传感器180A用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A,电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194,电子设备100根据压力传感器180A检测所述触摸操作强度。电子设备100也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。例如:当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时,执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时,执行新建短消息的指令。
陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中,可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。示例性的,当按下快门,陀螺仪传感器180B检测电子设备100抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消电子设备100的抖动,实现防抖。陀螺仪传感器180B还可以用于导航,体感游戏场景。
气压传感器180C用于测量气压。在一些实施例中,电子设备100通过气压传感器180C测得的气压值计算海拔高度,辅助定位和导航。
磁传感器180D包括霍尔传感器。电子设备100可以利用磁传感器180D检测翻盖皮套的开合。在一些实施例中,当电子设备100是翻盖机时,电子设备100可以根据磁传感器180D检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态,设置翻盖自动解锁等特性。
加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态,应用于横竖屏切换,计步器等应用。
距离传感器180F,用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中,拍摄场景,电子设备100可以利用距离传感器180F测距以实现快速对焦。
接近光传感器180G可以包括例如发光二极管(LED)和光检测器,例如光电二极管。发光二极管可以是红外发光二极管。电子设备100通过发光二极管向外发射红外光。电子设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时,可以确定电子设备100附近有物体。当检测到不充分的反射光时,电子设备100可以确定电子设备100附近没有物体。电子设备100可以利用接近光传感器180G检测用户手持电子设备100贴近耳朵通话,以便自动熄灭屏幕达到省电的目的。接近光传感器180G也可用于皮套模式,口袋模式自动解锁与锁屏。
环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合,检测电子设备100是否在口袋里,以防误触。
指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁,访问应用锁,指纹拍照,指纹接听来电等。
温度传感器180J用于检测温度。在一些实施例中,电子设备100利用温度传感器180J检测的温度,执行温度处理策略。例如,当温度传感器180J上报的温度超过阈值,电子设备100执行降低位于温度传感器180J附近的处理器的性能,以便降低功耗实施热保护。在另一些实施例中,当温度低于另一阈值时,电子设备100对电池142加热,以避免低温导致电子设备100异常关机。在其他一些实施例中,当温度低于又一阈值时,电子设备100对电池142的输出电压执行升压,以避免低温导致的异常关机。
触摸传感器180K,也称“触控面板”。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于电子设备100的表面,与显示屏194所处的位置不同。
骨传导传感器180M可以获取振动信号。在一些实施例中,骨传导传感器180M可以获取人体声部振动骨块的振动信号。骨传导传感器180M也可以接触人体脉搏,接收血压跳动信号。在一些实施例中,骨传导传感器180M也可以设置于耳机中,结合成骨传导耳机。音频模块170可以基于所述骨传导传感器180M获取的声部振动骨块的振动信号,解析出语音信号,实现语音功能。应用处理器可以基于所述骨传导传感器180M获取的血压跳动信号解析心率信息,实现心率检测功能。
按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入,产生与电子设备100的用户设置以及功能控制有关的键信号输入。
马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用(例如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作,马达191也可对应不同的振动反馈效果。不同的应用场景(例如:时间提醒,接收信息,闹钟,游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195,或从SIM卡接口195拔出,实现和电子设备100的接触和分离。电子设备100可以支持1个或N个SIM卡接口,N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡,Micro SIM卡,SIM卡等。同一个SIM卡接口195可以同时插入多张卡。所述多张卡的类型可以相同,也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。电子设备100通过SIM卡和网络交互,实现通话以及数据通信等功能。在一些实施例中,电子设备100采用eSIM,即:嵌入式SIM卡。eSIM卡可以嵌在电子设备100中,不能和电子设备100分离。
本申请实施例提供一种获取深度信息的方法,该方法可以应用于电子设备100。该电子设备100包括红外投射器101、第一摄像头102和第二摄像头103。例如,如图1A所示,第一摄像头102和第二摄像头103的镜头焦距均为f,第一摄像头102和第二摄像头103之间的距离(即第一长度)为T。如图2所示,该获取深度信息的方法可以包括S201-S203:
S201、电子设备100接收第一指令。该第一指令触发电子设备100获取目标对象的深度信息。
其中,电子设备100可以接收用户的第一操作,该第一操作用于触发电子设备100执行第一事件。由于电子设备100执行该第一事件要使用目标对象的深度信息;因此,响应于上述第一操作,电子设备100可以获取到第一指令,该第一指令可以触发电子设备100获取目标对象的深度信息。
示例性的,本申请实施例的方法可以应用于人脸解锁场景、人脸支付场景、AR场景、3D建模场景或者大光圈场景等多个场景中。
在人脸解锁场景中,假设电子设备100已经开机,且电子设备100黑屏。上述第一操作可以是用户对电子设备100中相关物理按键的点击操作(如单击操作)。例如,上述相关物理按键可以为锁屏键或者Home键等。如果电子设备100接收到用户对上述物理按键的第一操作,那么则表示用户可能有解锁电子设备100的意愿。
或者,电子设备100可以包括一个或多个用于检测电子设备100被用户手持的状态的传感器。假设电子设备100已经开机,电子设备100黑屏或者电子设备100显示锁屏界面。上述电子设备100接收到第一操作具体可以为:传感器检测到电子设备100当前被用户手持的状态发生了符合预设条件的变化。其中,当电子设备100被用户手持的状态发生了符合预设条件的变化(例如,电子设备100被用户拿起,并且用户手持电子设备100使得电子设备100的显示屏与水平面之间的夹角在一定范围内)时,则表示用户可能有解锁电子设备100的意愿。
也就是说,该第一操作可以用于触发电子设备100解锁(即执行第一事件)。电子设备100解锁前要进行用户身份校验。其中,人脸识别是用户身份校验的一种方式。电子设备100要进行人脸识别,则可以获取目标对象的深度信息。
其中,本申请实施例中的一个或多个传感器可以通过检测电子设备100被旋转、电子设备100相对于用户向前运动、电子设备100相对于地平线向上运动,来判断电子设备100被用户手持的状态是否发生符合预设条件的变化。具体的,电子设备100可以检测该电子设备100的运动参数;然后根据该运动参数判断该电子设备100是否被旋转、是否相对于用户发生向前运动、是否相对于地平线发生向上运动;最后,根据判断结果确定该电子设备100被用户手持的状态是否发生符合预设条件的变化。
举例来说,本实施例中,“电子设备100当前被用户手持的状态发生了符合预设条件的变化”具体可以包括:上述传感器检测到电子设备100被旋转、且由下向上移动后,该电子设备100的显示屏与水平面之间的夹角在预设范围内。
需要说明的是,由于不同用户的拍摄习惯不同,因此电子设备100中可以统计大多数或者所有用户使用电子设备100采集人脸图像的过程中,传感器采集的状态变化参数,并将这些状态变化参数的变化确定为符合预设条件的变化。如此,电子设备100可以响应于该电子设备100中的传感器采集到的状态变化参数的变化符合预设条件的变化,确定用户想要解锁该电子设备100的可能性较高,则可以执行S202。
示例性的,在人脸支付场景中,上述第一操作可以是用户在支付界面中的支付按钮的点击操作(如单击操作)。例如,图3中的(a)所示的支付界面301中包括支付按钮“立即付款”302,第一操作可以是用户对按钮“立即付款”302的单击操作。或者,上述第一操作可以是用户在支付界面输入的预设手势,如S形手势。响应于该第一操作,电子设备100可以支付订单(即执行第一事件)。但是,电子设备100支付订单前要进行用户身份校验。其中,人脸识别是用户身份校验的一种方式。电子设备100要进行人脸识别,则可以获取目标对象的深度信息。响应于用户对按钮“立即付款”302的单击操作,电子设备100可以显示图3中的(b)所示的人脸识别界面303。
S202、响应于上述第一指令,电子设备100通过红外投射器101发射带光斑的红外光,通过第一摄像头102采集目标对象的第一图像信息,通过第二摄像头103采集目标对象的第二图像信息。
其中,响应于上述第一指令,电子设备100可以开启红外投射器101,并开启第一摄像头102和第二摄像头103。电子设备100开启红外投射器101后,红外投射器101便可以发射带光斑的红外光。电子设备100开启并初始化第一摄像头102和第二摄像头103之后,第一摄像头102和第二摄像头103便可以采集目标对象的图像信息。
本申请实施例中,红外投射器101向目标对象发射带光斑的红外光,带光斑的红外光照射到目标对象上,可以增加目标对象的特征(即纹理特征),提高第一摄像头102和第二摄像头103对目标对象上各个特征的识别率。
本申请实施例这里介绍红外投射器101发射的带光斑的红外光,以及红外投射器101发射带光斑的红外光的原理。
一般而言,红外光对人眼不可见。但是,部分红外光(如850nm的红外光)存在明显的红光特性,人眼还是可以看到少量的红光。如果红外投射器101向目标对象发射这类红外光,那么用户则可以看到照射在目标对象上的红外光,影响用户视觉体验。
为了避免红外投射器101向目标对象发射红外光影响用户视觉体验,红外投射器101发射的红外光可以为对人眼完全不可见的红外光。例如,红外投射器101发射的红外光可以为890nm~990nm的红外光,具体例如为940nm的红外光。
其中,部分摄像头(如卷帘快门(rolling shutter)摄像头)的曝光是逐行进行的;因此,如果上述第一摄像头102和第二摄像头103的曝光是逐行进行的,那么在第一摄像头102和第二摄像头103的整个曝光周期内,上述红外投射器101都要开启以发射上述带光斑的红外光;否则可能会出现在曝光过程中,第一摄像头102和第二摄像头103采集的图像信息中部分图像上没有光斑的问题。如此,则要求红外投射器101的工作功率不能过于高,以防止由于红外投射器101的工作功率过高而导致红外投射器101发热温度较高,影响红外投射器101发射红外光的效率(即影响红外光的亮度),从而影响带光斑的红外光照射到对象上形成的纹理特征的效果。
当然,红外投射器101的工作功率也不能过于低。如果红外投射器101的工作功率过低,也会影响红外投射器101发射红外光的效率,从而影响带光斑的红外光照射到对象上形成的纹理特征的效果。
综上所述,为了保证红外光照射到对象上形成的纹理特征的效果,红外投射器101的功率不宜过高或者过低。为了稳定红外投射器101的功率,红外投射器101的工作电流可以在100mA~200mA之间。例如,红外投射器101的工作电流可以为150mA。
一般而言,红外投射器可以包括三部分:(1)红外光源;(2)准直镜;(3)衍射光学器件(diffractive optical elements,DOE)。
其中,红外光源可以为激光光源。例如,激光光源可以为垂直腔面发射激光器(vertical cavity surface emitting laser,VCSEL)。VCSEL可以发射上述红外光。
准直镜可以为1P的透镜或者2P的透镜。其中,准直镜为1P的透镜是指准直镜由1片透镜组成。2P的透镜是指准直镜由2片透镜组成。准直镜用于将非平行光线转换为近似平行的光源。这种转化可以降低红外投射器发射的红外光的纹理的噪声水平,即可以减少非纹理部分的光线。换言之,这种转化可以使红外投射器发射的红外光中的亮点更亮,暗点更暗。
其中,白天可见光比较强时,第一摄像头102和第二摄像头103采集的图像信息中,带光斑的红外光照射在目标对象上形成的纹理特征几乎看不到。这种情况下,电子设备100在识别两个图像信息中相同的特征时,可以根据目标对象本身的特征来判断。因此,准直镜对光线的转换得到的亮点对深度的计算没有影响。
本申请实施例中可以减少红外投射器101中的准直镜。即本申请实施例中的红外投射器101可以不包括准直镜,仅包括红外光源和DOE。准直镜的作用是让VCSEL发出的光线通过准直镜之后,光线接近平行光;这样,在有准直镜的情况下,光线通过DOE之后,会造成光斑直径小,对比度高(即光斑区域的亮度高,而非光斑区域的亮度低)。由此,在可见光的强度很低时或者纯黑时(例如晚上),投射器照射的目标对象,在没有斑点或光斑的区域,目标对象发黑或者看不见;因为有准直镜的投射器的光斑光线更汇聚,所以没有光斑的地方理论上是没有光的,或者只有微弱的环境光。若在红外投射器中去掉准直镜,则由于光线入射DOE之前不是平行光,所以光斑的对比度低,非光斑区域仍然有部分的光线存在。没有准直镜的投射器,对投射器设计上来说是噪声,但是在本申请实施例中确可以提高测量深度信息的准确性。没有准直镜的投射器,可以在微弱可见光或者纯黑的情况下,在有光斑照射的目标对象的区域,目标对象可以被光斑照亮;在没有光斑照亮的区域,由于存在这种噪声,目标对象也会被相对较弱一点的光线照射,此时目标对象整体都是可见的。从而可以使得目标对象的特征更明显,便于提高深度信息测量的准确性。
DOE用于利用傅里叶光学原理,将平行光转化成需要的光线输出形式,该输出形式可以为点,线,也可以是面。本申请实施例中,可以通过设置DOE控制红外投射器发射带光斑的红外光。其中,光斑的形状、数量和排布均可以通过设置DOE实现。
具体的,红外投射器101发射的红外光可以包括多个光斑。该多个光斑可以包括多个散斑点阵组。一个散斑点阵组中包括一个或多个散斑点阵。散斑点阵是多个散斑组成。请参考图4,其示出本申请实施例提供的多个散斑点阵的实例示意图。例如,图4所示的散斑点阵401是由多个圆形散斑组成的散斑点阵。
在一些实施例中,一个散斑点阵中的多个散斑的形状可以相同。例如,图4所示的散斑点阵401、散斑点阵402、散斑点阵403、散斑点阵404和散斑点阵408中的散斑都是圆形的。图4所示的散斑点阵405中的散斑都是矩形的。
在另一些实施例中,一个散斑点阵中的多个散斑中至少两个散斑的形状不同。例如,图4所示的散斑点阵406中包括圆形的散斑和矩形的散斑。图4所示的散斑点阵407中包括多个形状不同的散斑。
需要注意的是,不同的散斑点阵的形状可以不同。例如,图4所示的散斑点阵401是矩形的散斑点阵、散斑点阵402是三角形的散斑点阵、散斑点阵403是一种八边形的散斑点阵,散斑点阵404是另一种八边形的散斑点阵。由于散斑点阵401、散斑点阵402、散斑点阵403和散斑点阵404的形状不同,因此散斑点阵401、散斑点阵402、散斑点阵403和散斑点阵404是不同的散斑点阵。
不同的散斑点阵中,散斑数量、散斑的形状、点阵的形状中的至少一项不同。例如,虽然图4所示的散斑点阵401和散斑点阵408的形状相同;但是,散斑点阵401和散斑点阵408中包括的散斑的数量不同(散斑点阵401比散斑点阵408中多一个散斑)。因此,散斑点阵401和散斑点阵408是不同的散斑点阵。例如,虽然图4所示的散斑点阵401和散斑点阵405的形状相同,且散斑点阵401和散斑点阵405中包括的散斑的数量相同;但是,散斑点阵401中的散斑的形状(圆形)与散斑点阵405中的散斑的形状(矩形)不同。因此,散斑点阵401和散斑点阵405是不同的散斑点阵。又例如:虽然图4所示的散斑点阵402和散斑点阵404中包括的散斑的形状相同,且这两个散斑点阵包括的散斑的数量也相同;但是,散斑点阵402的形状(三角形)与散斑点阵404的形状(八边形)不同。因此,散斑点阵402和散斑点阵404是不同的散斑点阵。
其中,图4仅以举例方式给出部分散斑点阵的实例示意图。红外光中的多个光斑中的散斑点阵包括但不限于图4所示的散斑点阵。
在一些实施例中,上述多个光斑中包括多个相同的散斑点阵组。每个散斑点阵组中包括一个散斑点阵。例如,假设红外投射器101发射的红外光中带图5所示的多个光斑501。其中,图5所示的501即为多个光斑。该多个光斑501中包括多个相同的散斑点阵组502。该散斑点阵组502中包括一个散斑点阵401。又例如,假设红外投射器101发射的红外光中带图5所示的多个光斑503。该多个光斑503中包括多个相同的散斑点阵组504。该散斑点阵组504中包括一个散斑点阵407。
在另一些实施例中,上述多个光斑中包括多个相同的散斑点阵组。每个散斑点阵组中包括多个散斑点阵。该多个散斑点阵中的至少两个散斑点阵不同。
例如,假设红外投射器101发射的红外光中带图6A所示的多个光斑601。该多个光斑601中包括多个相同的散斑点阵组602。该散斑点阵组602中包括散斑点阵402和散斑点阵404。散斑点阵402和散斑点阵404不同。
又例如,假设红外投射器101发射的红外光中带图6B所示的多个光斑603。该多个光斑603中包括多个相同的散斑点阵组604。该散斑点阵组604中包括两个散斑点阵401和两个散斑点阵403。散斑点阵401和散斑点阵403不同。
又例如,假设红外投射器101发射的红外光中带图6C所示的多个光斑605。该多个光斑605中包括多个相同的散斑点阵组606。该散斑点阵组606中包括散斑点阵404、散斑点阵408、散斑点阵406和散斑点阵407。散斑点阵404、散斑点阵408、散斑点阵406,以及散斑点阵407两两不相同。
在另一些实施例中,上述多个光斑中包括多个散斑点阵组。该多个散斑点阵组中包括至少两个不同的散斑点阵组。例如,假设红外投射器101发射的红外光中带图7A所示的多个光斑701。该多个光斑701中包括多个不同的散斑点阵组,如散斑点阵组602、散斑点阵组604和散斑点阵组606。
在另一些实施例中,上述多个光斑中包括多个形状不同的散斑。该多个形状不同的散斑随机排布。例如,如图7B所示,多个光斑702中包括多个形状不同的散斑。
需要注意的是,图5、图6A、图6B、图6C或者图7A仅以举例方式给出红外光中的多个光斑的实例示意图。红外光中的多个光斑中的散斑点阵的数量不限于图5、图6A、图6B、图6C或者图7A所示的散斑点阵的数量。
一般而言,红外发射器101发射的红外光中带的散斑的数量在3千个左右。当然,如果红外发射器101发射的红外光中带的散斑的数量越大,该红外光照射在目标对象上为目标对象增加的特征则越多,则越有利于电子设备100计算目标对象的深度信息。例如,当红外发射器101发射的红外光中带的散斑的数量在7千左右时,电子设备100计算的目标对象的深度信息相比于散斑的数量在3千左右时电子设备100计算的目标对象的深度信息更加准确。
可以理解,当红外发射器101发射的红外光中的散斑点阵组周期性重复时,红外光照射在目标对象上形成的纹理特征也是重复的。本申请实施例中,散斑点阵的重复频率可以通过预设面积中出现同一个散斑点阵的数量来表征。预设面积中出现同一个散斑点阵组的数量越多,散斑点阵的重复频率则越高,散斑点阵的重复周期则会比较小。如此,容易造成电子设备100识别第一摄像头102采集的图像信息和第二摄像头103采集的图像信息中相同的特征时的特征匹配错误。其中,本申请实施例中的特征匹配是指:将第一摄像头102采集的图像信息和第二摄像头103采集的图像信息中相同的特征识别出来。预设面积中出现同一个散斑点阵组的数量越少,散斑点阵的重复频率则越低,散斑点阵的重复周期则会比较大。
其中,散斑点阵的重复周期反应在图像上则是相同的两个散斑点阵之间的最短距离。示例性的,两个散斑点阵之间的距离可以为这两个散斑点阵的中心点之间的距离。例如,如图7C所示,多个光斑703中包括多个重复的散斑点阵组,如散斑点阵组704、散斑点阵组705和散斑点阵组706。其中,散斑点阵组704、散斑点阵组705和散斑点阵组706相同。点K1是散斑点阵组704中的散斑点阵707的中心点。点K2是散斑点阵组705中的散斑点阵708的中心点。点K3是散斑点阵组706中的散斑点阵709的中心点。图7C所示的散斑点阵的重复周期可以用点K1与点K2之间的距离和点K1与点K3之间的距离中最短的距离来表征。由于点K1与点K2之间的距离短于点K1与点K3之间的距离;因此,图7C所示的散斑点阵的重复周期可以由点K1与点K2之间的距离来表征。
本申请实施例中,散斑点阵的重复频率越小,则红外光照射在目标对象上形成的纹理特征的重复性则越低,电子设备100计算得到的目标对象的深度信息越准确。
其中,电子设备100是根据三角定位原理,采用公式实现目标对象的深度信息的计算的。即目标对象的深度信息是根据第一摄像头102和第二摄像头103之间的距离(即第一长度T)、第一摄像头102和第二摄像头103的镜头焦距f,以及视差d计算得到的。
为了保证红外投射器101发射的带光斑的红外光可以照射在目标对象上,并且,照射了带光斑的红外光的目标对象可以被第一摄像头102和第二摄像头103拍摄到;本申请实施例中,红外投射器101的视场角(field of view,FOV)的覆盖范围、第一摄像头102的FOV的覆盖范围,以及第二摄像头103的FOV的覆盖范围三者部分重叠或全部重叠。FOV的大小可以表征光学仪器(如摄像头)的视野范围。
其中,红外投射器101、第一摄像头102,以及第二摄像头103,这三者的FOV的覆盖范围的重叠区域越大,第一摄像头102和第二摄像头103采集的上述纹理特征则越多。为了使得红外投射器101、第一摄像头102,以及第二摄像头103的FOV的覆盖范围的重叠区域较大,如图1A所示,上述红外投射器101可以设置在第一摄像头102和第二摄像头103之间。
可以理解,第一摄像头102和第二摄像头103之间的距离(即第一长度)也会影响上述重叠区域的大小。例如,第一长度较大,第一摄像头102和第二摄像头103的FOV的覆盖范围的重叠区域则越小。但是,第一长度如果过于小,第一摄像头102和第二摄像头103对目标对象上各个特征的视差也会很小,接近于零。因此,上述第一长度不能过大或者过小。第一长度过大或者过小,都会影响电子设备100计算得到的深度信息的准确度。
通过实验得出:当第一长度T为20mm~30mm的任一长度时,电子设备100计算得到的深度信息的准确度较高。因此,本申请实施例中,第一长度T可以为20mm~30mm的任一长度。例如,第一长度T可以为29.5mm。需要说明的是,如何设置两个摄像头之间的距离可能会受摄像头参数的影响,由此上述第一长度T为20mm~30mm仅作为一个举例。
上述红外投射器101发射带光斑的红外光后,如果要求第一摄像头102和第二摄像头103可以采集到包括光斑的图像信息,那么则要求第一摄像头102和第二摄像头103可以接收红外光。例如,第一摄像头102和第二摄像头103可以用于接收890nm~990nm的红外光,如940nm的红外光。
由上述描述可知:本申请实施例中要求第一摄像头102和第二摄像头103可以感知红外光(即接收红外光)。但是,普通的RGB摄像头只能感知可见光,无法感知红外光;而在电子设备100中配置具备感知红外光功能的红外摄像头的成本较高,且红外摄像头的使用会增大电子设备100的功耗。
为了降低电子设备100的硬件成本,降低电子设备100的功耗,本申请实施例可以对普通的RGB摄像头进行改进,得到可以感知红外光的第一摄像头102和第二摄像头103。
请参考图8中的(a),其示出本申请实施例提供的一种普通的RGB摄像头模组的结构示意图。其中,如图8中的(a)所示,本申请实施例这里以rolling shutter摄像头为例,对本申请实施例中改进普通的RGB摄像头得到第一摄像头102和第二摄像头103的方式进行说明:
如图8中的(a)所示,RGB摄像头模组800可以包括3P镜头、滤光片(也称滤镜)804和传感器(sensor)805。其中,3P镜头是指RGB摄像头中包括3片透镜:透镜801、透镜802和透镜803。传感器805可以为2M的传感器。2M是指RGB摄像头成像的最高分辨率可以达到200万像素。
为了使得图8中的(a)所示RGB摄像头模组800既可以感知可见光,又可以感知红外光,可以对图8中的(a)所示的RGB摄像头模组800做出如下改进:对图8中的(a)所示的RGB摄像头模组800的每个透镜(如透镜801、透镜802和透镜803)的双面上镀增透膜,得到图8中的(b)所示的透镜801、透镜802和透镜803;在滤光片804上镀截止镀层,得到图8中的(b)所示的滤光片804。本申请实施例中,对RGB摄像头模组800中的传感器805可以不作改进。本申请实施例中,可以在滤光片804的双面镀截止镀层;或者,可以在滤光片804的单面镀截止镀层。
需要注意的是,为了使得第一摄像头102和第二摄像头103可以感知红外投射器101发射的红外光,该第一摄像头102和第二摄像头103要具备感知红外投射器101发射的红外光的能力。因此,上述增透膜可以为上述红外投射器101发射的红外光的波长对应的增透膜。例如,该增透膜可以为890nm~990nm的红外光的增透膜,如940nm的红外光的增透膜。
为每个透镜(如透镜801、透镜802和透镜803)的两个面镀上述增透膜,可以提高透镜801、透镜802和透镜803对红外投射器101发射的红外光的感知能力,使得透镜801、透镜802和透镜803可以尽可能的接收红外投射器101发射的红外光。
上述截止镀层可以用于滤去红外投射器101发射的红外光和可见光之外的其他光线,并增加上述红外光的透过率。
例如,上述截止镀层可以用于滤去波长为850nm的红外光。可以理解,由于波长为850nm的红外光存在明显的红光特性,可能会出现严重的红曝现象;因此,通过上述截止镀层滤去波长为850nm的红外光,可以减少出现红曝现象的可能性。其中,红曝现象是指一种滤光不干净的问题。例如,有时可能会希望只使用红外光(即红外线)照明,则可以在光源加上滤镜过滤红外线之外的其他光线。此时,可能会因为滤光不干净而导致少量红外光还是可以被人眼看到,这种现象称为红曝现象。
本申请实施例中改进的普通RGB摄像头包括但不限于上述rolling shutter摄像头。改进rolling shutter摄像头得到上述第一摄像头的原因在于:rolling shutter摄像头的曝光是逐行进行的,成本较低。本申请实施例中,改进rolling shutter摄像头得到上述第一摄像头102和第二摄像头103,可以进一步降低成本。
S203、电子设备100根据第一图像信息和第二图像信息、第一长度和镜头焦距,计算目标对象的深度信息。
其中,由上述公式可知:目标对象的每一个特征所在点的深度Z与第一摄像头102与第二摄像头103对该点的视差d成反比;每一个特征所在点的深度Z与镜头焦距f成正比;每一个特征所在点的深度Z与第一长度T成正比。
第一长度T和镜头焦距f是第一摄像头102和第二摄像头103的硬件参数。第一长度T和镜头焦距f是固定不变的。那么,目标对象的每一个点的深度Z的大小则取决于第一摄像头102与第二摄像头103对该点的视差d的大小。
例如,如图10A中的(a)所示,假设第一摄像头102是左侧的双通摄像头,第二摄像头13是右侧的双通摄像头。笑脸、三角形、圆柱体和月牙分别代表目标对象上的不同特征,笑脸、三角形、圆柱体和月牙所在位置与摄像头之间的距离逐渐变远。如图10A中的(b)所示,OL为第一摄像头102的位置,OR为第二摄像头103的位置,OL与OR之间的距离为T(即第一长度)。
如图10A中的(b)所示,第一摄像头102采集到图像A,第二摄像头103采集到图像B。月牙在以Ol(图像A的左上角)为原点的坐标系(简称坐标系L)的x轴的坐标为xL1,圆柱体在坐标系L的x轴的坐标为xL2,三角形在坐标系L的x轴的坐标为xL3,笑脸在坐标系L的x轴的坐标为xL4。月牙在以Or(图像B的左上角)为原点的坐标系(简称坐标系R)的x轴的坐标为xR1,圆柱体在坐标系R的x轴的坐标为xR2,三角形在坐标系R的x轴的坐标为xR3,笑脸在坐标系R的x轴的坐标为xR4。
其中,第一摄像头102和第二摄像头103对月牙的视差为d1,d1=xL1-xR1。第一摄像头102和第二摄像头103对圆柱体的视差为d2,d2=xL2-xR2。第一摄像头102和第二摄像头103对三角形的视差为d3,d3=xL3-xR3。第一摄像头102和第二摄像头103对笑脸的视差为d4,d4=xL4-xR4。
本申请实施例这里以图10A中的(b)所示的笑脸为例,对第一摄像头102和第二摄像头103对笑脸的视差d4(d4=xL4-xR4)进行说明:
如图10B所示,第一摄像头102采集的笑脸在图像A的坐标系中的坐标为(xL4,y),第二摄像头103采集的笑脸在图像B的坐标系中的坐标为(xR4,y)。其中,如图10B所示,坐标(xL4,y)与坐标(xR4,y)在x轴上相差d4,d4=xL4-xR4,即第一摄像头102和第二摄像头103对笑脸的视差d4=xL4-xR4。
其中,d1<d2<d3<d4。由于目标对象的每一个特征(即特征所在点)的深度Z与第一摄像头102与第二摄像头103对该点的视差d成反比;因此,可以得出如图10C所示的视差d与深度z的关系示意图。如图10C所示,随着视差d的逐渐增大,深度z逐渐变小。
综上所述,电子设备100可以先计算出第一摄像头102与第二摄像头103对目标对象上一个特征的视差d,然后根据该特征的视差d、第一长度T和镜头焦距f,计算该特征所在点的深度Z;然后由多个点的深度得到目标对象的深度信息。具体的,如图9所示,图2所示的S203可以包括S203a-S203b:
S203a、电子设备100计算第一摄像头102与第二摄像头103对第一图像信息和第二图像信息中的多个第一特征的视差。第一特征是第一图像信息和第二图像信息中相同的特征。
其中,红外发射器101发射的带光斑的红外光照射在目标对象上可以增加目标对象的纹理特征。例如,假设目标对象为图11中的(a)所示的人脸1101,红外发射器101发射图11中的(b)所示的红外光1102中包括图7C所示的光斑。红外发射器101发射的红外光1102照射在人脸1101上之后,可以得到图11中的(c)所示的照射有光斑的人脸1103。相比于人脸1101,照射有光斑的人脸1103上的特征纹理较多。
不同的是,第一摄像头102采集的人脸1103的图像信息(即第一图像信息)和第二摄像头103采集的人脸1103的图像信息(即第二图像信息)中相同特征所在点在坐标系的x轴的位置不同,即第一摄像头102和第二摄像头103有视差。
电子设备100可以识别第一摄像头102采集的第一图像信息和第二摄像头103采集的第二图像信息,确定出第一图像信息和第二图像信息中相同的特征。其中,第一图像信息和第二图像信息中相同的特征可以包括:目标对象本身的特征和带光斑的红外光照射在目标对象上形成的纹理特征。也就是说,本申请实施例中,电子设备100在识别第一图像信息和第二图像信息中相同的特征时,不仅可以识别第一图像信息和第二图像信息中目标对象本身相同的特征,还可以识别第一图像信息和第二图像信息中带光斑的红外光照射在目标对象上形成的纹理特征中相同的特征。即,在识别两个图像信息中相同的特征时,可以根据目标对象本身的特征或纹理特征来判断,也可以结合这两者一起判断。例如:若单独根据目标对象本身的特征或者单独根据纹理特征就能够判断,则无需两者结合。或者,当根据目标对象本身的特征无法或者不容易判断是否为相同特征时,可以根据纹理特征结合目标对象本身的特征一起来判断是否为相同特征。
例如,白天可见光比较强时,第一摄像头102和第二摄像头103采集的图像信息中,带光斑的红外光照射在目标对象上形成的纹理特征几乎看不到。但是,因为可见光比较强,那么可见光照射在目标对象上使得该目标对象本身的特征比较明显。在这种情况下,电子设备100在识别两个图像信息中相同的特征时,可以根据目标对象本身的特征来判断。
需要注意的是,虽然上述散斑点阵中散斑的形状可以相同(如散斑点阵包括多个圆点),但是每个散斑在散斑点阵中的位置不同。因此,电子设备100可以根据散斑点阵和散斑在散斑点阵中的位置识别出第一图像信息和第二图像信息中相同形状的散斑所代表的相同特征。
在一些实施例中,上述多个第一特征包括第一图像信息和第二图像信息中所有相同的特征。电子设备100可以识别出第一图像信息和第二图像信息中所有相同的特征,然后针对每一个特征,执行S203b计算其深度,得到目标对象的深度信息。
在另一些实施例中,上述多个第一特征是第一图像信息和第二图像信息中相同的特征中的部分特征。在该实施例中,电子设备100可以按照预设的特征频率,从第一图像信息中选择出多个第一特征,然后查找第二图像信息中与该多个第一特征相同的特征;最后,针对每一个第一特征,执行S203b计算其深度,得到目标对象的深度信息。或者,电子设备100也可以随机或间隔从第一图像信息中选择出部分第一特征。
其中,上述特征频率可以为相同的两个第一特征在预设面积中出现的数量。上述特征频率反应在图像上可以为电子设备100选择的相邻的两个第一特征之间的距离(称为特征距离)。电子设备100可以按照预设的特征频率,从第一图像信息中选择出多个第一特征的方法可以包括:电子设备100从第一图像信息中的所有特征中,每间隔一个特征距离选择出一个第一特征。
换言之,电子设备100不需要计算第一图像信息和第二图像信息中相同的特征中每一个特征所在点的深度,而是每间隔一个特征距离选择一个特征,计算选择出的特征所在点的深度。
示例性的,本申请实施例这里以第一图像信息和第二图像信息中带光斑的红外光照射在目标对象上形成的纹理特征为例,对上述周期特征进行说明。
如图12所示,上述特征距离可以为散斑1201与散斑1202之间的距离,或者散斑1202与散斑1204之间的距离,或者散斑1204与散斑1203之间的距离,或者散斑1201与散斑1203之间的距离。如图12所示,本申请实施例采用将散斑标黑的方式,示出带光斑的红外光照射在目标对象上形成的纹理特征中的部分第一特征。即图12所示的标黑的散斑为部分第一特征。
其中,一些散斑点阵中的散斑的形状可以相同(如散斑点阵包括多个圆点)。虽然电子设备100可以根据散斑在散斑点阵中的位置区分出不同的散斑;但是,电子设备100根据散斑在散斑点阵中的位置区分出不同的散斑需要较长时间,并且会浪费电子设备100的功耗。电子设备100在选择上述第一特征时所采用的特征距离可以小于或者等于上述多个光斑中散斑点阵的重复周期。即上述特征频率大于或者等于上述多个光斑中散斑点阵的重复频率。这样,可以尽量保证电子设备100从第一图像信息中选择出的相邻的两个第一特征对应不同的散斑点阵中的散斑,有利于电子设备100可以区分出该相邻的两个第一特征,可以降低特征匹配错误的可能性,提升电子设备100计算得到的深度信息的准确度。
S203b、电子设备100针对每个第一特征,根据第一摄像头102与第二摄像头103对第一特征的视差d、第一长度T和镜头焦距f,采用公式(2)计算第一特征所在点的深度,得到目标对象的深度信息。
其中,上述公式(2)为
示例性的,假设目标对象为图13所示的人脸1301。电子设备100可以计算得到图13所示多个点的深度,得到目标对象1301的深度信息1302。
本申请实施例提供一种获取深度信息的方法,电子设备100可以通过红外投射器101发射带光斑的红外光。这样,第一摄像头102和第二摄像头103采集的目标对象的图像则不仅可以包括目标对象的特征,还包括带光斑的红外光照射在目标对象上形成的纹理特征。即可以增加第一摄像头102和第二摄像头103采集的目标对象的图像的特征。增加第一摄像头102和第二摄像头103采集的目标对象的图像的特征后,电子设备100便可以更加准确识别出第一摄像头102采集的图像信息和第二摄像头103采集的图像信息中相同的特征,进而确定出第一摄像头102和第二摄像头103对该相同的特征的视差,从而计算出每个特征所在点的深度,得到目标对象的深度信息,可以提高电子设备100计算目标对象的深度信息的准确度。
在一些实施例中,电子设备100包括上述第一摄像头102和第二摄像头103。该第一摄像头102和第二摄像头103可以感知可见光。第一摄像头102或者第二摄像头103可以作为主摄像头。电子设备100可以在该电子设备100的显示屏上显示该主摄像头采集的可见光下的图像信息。进一步的,第一摄像头102和第二摄像头103还可以感知红外光,以配合红外投射器101实现电子设备100对目标对象的深度信息的计算。
但是,由于第一摄像头102和第二摄像头103可以感知红外光;因此,电子设备100采集的目标对象的图像信息可以会出现偏红的现象。那么,电子设备100的显示屏显示的主摄像头(第一摄像头102或者第二摄像头103)采集的图像信息可能会出现偏红的现象,影响用户的视觉体验。
为了避免电子设备100的显示屏显示的图像信息会出现偏红的现象的问题,在另一些实施例中,电子设备100不仅可以包括上述第一摄像头102和第二摄像头103,还可以包括第三摄像头104。该第三摄像头104是RGB摄像头(即普通的RGB摄像头)。该第三摄像头104用于采集可见光下的图像信息。该第三摄像头104可以设置在第一摄像头102和第二摄像头103之间,也可以设置在其它位置。
在该实施例中,虽然第一摄像头102和第二摄像头103不仅可以感知可见光,还可以感知红外光;即第一摄像头102和第二摄像头103不仅可以采集红外光下的图像信息,还可以用于采集可见光下的图像信息;但是,第一摄像头102和第二摄像头103采集的图像信息,只用于计算目标对象的深度信息。上述第三摄像头104用于采集可见光下的图像信息。该第三摄像头104采集的图像信息用于显示在电子设备100的显示屏上。如此,则可以避免电子设备100的显示屏显示的图像信息会出现偏红的现象的问题,可以保证影响用户拍摄图像的视觉体验。
需要说明的是,前述各实施例中以第一摄像头的镜头焦距和第二摄像头的镜头焦距相同为例进行说明。而在其它实施方式中,第一摄像头的镜头焦距和第二摄像头的镜头焦距也可以不同。当这两个摄像头的镜头焦距不同时,修改前述计算深度Z的公式来计算计算深度。具体的计算公式可以采用现有技术中的公式。
示例性的,在人脸解锁场景或者人脸支付场景等场景中,上述第三摄像头104采集的图像信息可以在电子设备100录入用于进行人脸识别的人脸二维图像时,显示在电子设备100的显示屏上。上述第一摄像头102和第二摄像头103采集的图像信息,用于在电子设备100进行人脸识别时,计算目标对象的深度信息。即电子设备100的人脸识别过程可以包括:二维人脸信息的识别和人脸深度的认证。二维人脸信息的识别是指:电子设备100判断电子设备100采集的目标对象的二维图像是否与电子设备100中保存的人脸二维图像匹配。人脸深度的认证是指:电子设备100判断该目标对象的深度信息是否具备真实人脸的深度特征;如果目标对象的深度信息具备真实人脸的深度特征,则表示该目标对象是真实人脸;如果目标对象的深度信息不具备真实人脸的深度特征,则表示该目标对象不是真实人脸。例如,该目标对象可能是包括与电子设备中预先保存的人脸二维图像匹配的二维图像的一张照片。如果目标对象的深度信息不具备真实人脸的深度特征,那么即使目标对象的二维图像与电子设备100中保存的人脸二维图像匹配,该目标对象的人脸识别也不会通过。即使用上述照片在电子设备中进行的人脸识别不会通过,从而可以避免电子设备100的信息被泄露或者可以避免给用户带来财产损失,可以保护电子设备100的信息安全,提升电子设备100的安全性能。
在AR场景和3D建模场景中,电子设备100可以将根据上述第一摄像头102和第二摄像头103采集的图像信息计算得到的目标对象的深度信息,以及第三摄像头104采集的目标对象的图像信息结合起来,构建目标对象的真实人脸模型,提升AR场景和3D建模场景的真实性。
在大光圈场景中,电子设备100可以执行上述方法,计算得到电子设备100采集到的图像中每个点的深度,然后对深度大于预设值的点进行虚化处理,突出显示深度小于预设值的点,以实现大光圈的效果。
示例性的,当电子设备100采集包括人脸的图像时,该人脸上的各个点的深度相比于背景(背景在人脸后,距离摄像头较远)上各个点的深度较小。因此,在大光圈场景中,可以突出显示人脸图像,虚化背景图像。
示例性的,在大光圈场景中,上述第一操作可以包括用户对“照相机”应用的开启操作和用户对“照相机”应用中的“大光圈”模式的选择操作。如果电子设备100接收到上述第一操作,那么则表示电子设备100要使用大光圈场景拍摄图像(即执行第一事件)。响应于该第一事件,电子设备100可以执行上述获取深度信息的方法,获取目标对象的深度信息,然后根据目标对象的深度信息实现大光圈的效果。其中,第三摄像头104采集的图像显示在电子设备100的显示屏上,电子设备100可以根据获取的深度信息,对显示的拍照预览画面和最终拍照得到的图像都进行大光圈的处理,即预览画面和拍照得到的图像中都可以突出近的某个目标对象,而虚化其它对象。
例如,用户对“照相机”应用的开启操作可以为用户对“照相机”应用图标的单击操作。电子设备100响应于用户对“照相机”应用的开启操作,可以显示图14所示的拍摄界面1401。该拍摄界面1401中包括取景框1402、摄像头转化键1404、拍摄键1403、相册键1405。其中,取景框1402中用于显示电子设备100的后置摄像头或者前置摄像头捕获的预览图像;摄像头转化键1404用于触发电子设备100转化使用前置摄像头和后置摄像头来捕获图像;拍摄键1403用于控制电子设备100保存取景框1402中显示的后置摄像头或者前置摄像头捕获的预览图像;相册键1405用于查看电子设备100中保存的图像。其中,当电子设备100的默认摄像头为后置摄像头时,取景框1402中可以显示如图14所示的后置摄像头捕获的预览图像。该预览图像是第三摄像头104采集的。
上述拍摄界面1401还可以包括电子设备100的拍摄模式的选项。电子设备100的拍摄模式可以包括:后置摄像头拍照模式、自拍模式、视频模式、大光圈模式和全景模式等。例如,如图14所示,拍摄界面1401还可以包括“大光圈”选项1406、“照片”选项和“视频”选项等。当然,本申请实施例中的拍摄模式包括但不限于后置摄像头拍照模式、自拍模式、全景模式、大光圈模式和视频模式,其他的拍摄模式,本申请实施例这里不予赘述。
上述用户对“照相机”应用中的“大光圈”模式的选择操作可以为用户对图14所示的“大光圈”选项1406的点击操作(如单击操作、双击操作或者长按操作等)。或者,上述用户对“照相机”应用中的“大光圈”模式的选择操作可以为用户在图14所示的拍摄界面1401输入的预设手势(如L形手势),该预设手势用于触发电子设备100采用大光圈模式拍摄图像。
在大光圈场景中,本申请实施例的方法还可以包括:响应于上述第一事件,电子设备100通过第三摄像头104采集目标对象的二维图像;电子设备100在显示屏显示第三摄像头104采集的二维图像(称为目标对象的RGB图像);电子设备100识别出第三摄像头104采集的二维图像中的人脸图像(称为人脸的RGB图像)。在电子设备100计算出目标对象的深度信息(即S203)之后,本申请实施例的方法还可以包括:电子设备100从目标对象的深度信息(称为目标对象的深度图)中识别出人脸的深度信息(称为人脸的深度图);电子设备100根据人脸的RGB图像和人脸的深度图,将目标对象的RGB图像和目标对象的深度图进行映射,找到目标对象的RGB图像中与深度图当中人脸深度图像对应的坐标区域,即找到RGB图像中的人脸区域的坐标区域,然后将目标对象的RGB图中除了这部分坐标区域以外的其他部分进行虚化。这样,便可以达到背景虚化的效果。
可以理解的是,上述电子设备为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,本申请实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请实施例的范围。
本申请实施例可以根据上述方法示例对上述电子设备进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。需要说明的是,本申请实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
在采用集成的单元的情况下,图15示出了上述实施例中所涉及的电子设备1500的一种可能的结构示意图。该电子设备1500可以包括:处理模块1501、显示模块1502、红外发射模块1503、双通采集模块1504、双通采集模块1505和RGB采集模块1506。可选的,该电子设备1500还可以包括通信模块,该通信模块包括蓝牙模块和Wi-Fi模块等。
其中,处理模块1501用于对电子设备1500的动作进行控制管理。RGB采集模块1506用于采集可见光下目标对象的图像。显示模块1502用于显示处理模块1501生成的图像和RGB采集模块1504采集的图像。红外发射模块1503用于发射带光斑的红外光。双通采集模块1504和双通采集模块1505用于采集可见光下目标对象的图像和红外光下目标对象的图像。通信模块用于支持电子设备1500与其他设备的通信。处理模块1501还用于根据双通采集模块1504采集的图像计算目标对象的深度信息。
具体的,上述处理模块1501可以用于支持电子设备1500执行上述方法实施例中的S201,S203,S203a,S203b,和/或用于本文所描述的技术的其它过程。上述显示模块1502可以用于支持电子设备1500执行上述方法实施例中的“显示RGB采集模块1506采集的图像”的操作,和/或用于本文所描述的技术的其它过程。红外发射模块1503可以用于支持电子设备1500执行上述方法实施例中的S202中“发射带光斑的红外光”的操作,和/或用于本文所描述的技术的其它过程。双通采集模块1504可以用于支持电子设备1500执行上述方法实施例中的S202中“采集第一图像信息”的操作,和/或用于本文所描述的技术的其它过程。双通采集模块1505可以用于支持电子设备1500执行上述方法实施例中的S202中“采集第二图像信息”的操作,和/或用于本文所描述的技术的其它过程。RGB采集模块1506可以用于支持电子设备1500采集可见光下的图像信息,和/或用于本文所描述的技术的其它过程。
当然,上述电子设备1500中的单元模块包括但不限于上述处理模块1501、显示模块1502、红外发射模块1503、双通采集模块1504和RGB采集模块1506等。例如,电子设备1500中还可以包括存储模块。存储模块用于保存电子设备1500的程序代码和数据。
其中,处理模块1501可以是处理器或控制器,例如可以是中央处理器(CentralProcessing Unit,CPU),数字信号处理器(Digital Signal Processor,DSP),专用集成电路(Application-Specific Integrated Circuit,ASIC),现场可编程门阵列(FieldProgrammable Gate Array,FPGA)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。处理器可以包括应用处理器和基带处理器。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框,模块和电路。所述处理器也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,DSP和微处理器的组合等等。存储模块可以是存储器。
例如,处理模块1501为一个或多个处理器(如图1D所示的处理器110),通信模块包括无线通信模块(如图1D所示的无线通信模块160,该无线通信模块160包括BT(即蓝牙模块)、WLAN(如Wi-Fi模块))。无线通信模块可以称为通信接口。存储模块可以为存储器(如图1D所示的内部存储器121)。显示模块1502可以为显示屏(如图1D所示的显示屏194)。上述红外发射模块1503可以为红外投射器(如图1D所示的红外投射器196,即上述实施例中的红外投射器101)。两个双通采集模块1504可以为两个双通摄像头(如图1D所示的双通摄像头193B(即上述实施例中的第一摄像头102)和双通摄像头193C(即上述实施例中的第二摄像头103))。上述RGB采集模块1506可以为图1D所示的1-N个其他摄像头193A中的一个EGB摄像头,即上述实施例中的第三摄像头104。两个双通采集模块1504和RGB采集模块1506设置在电子设备100的同一面,如正面或者背面。本申请实施例所提供的电子设备1500可以为图1D所示的电子设备100。其中,上述一个或多个处理器、存储器、红外投射器、第一摄像头、第二摄像头、显示屏和第三摄像头等可以连接在一起,例如通过总线连接。
本申请实施例还提供一种计算机存储介质,该计算机存储介质中存储有计算机程序代码,当上述处理器执行该计算机程序代码时,电子设备1500执行图2或图9中任一附图中的相关方法步骤实现上述实施例中的方法。
本申请实施例还提供了一种计算机程序产品,当该计算机程序产品在计算机上运行时,使得计算机执行图2或图9中任一附图中的相关方法步骤实现上述实施例中的方法。
其中,本申请实施例提供的电子设备1500、计算机存储介质或者计算机程序产品均用于执行上文所提供的对应的方法,因此,其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果,此处不再赘述。
通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以使用硬件的形式实现,也可以使用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何在本申请揭露的技术范围内的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
Claims (30)
1.一种获取深度信息的方法,其特征在于,应用于电子设备,所述电子设备包括红外投射器、第一摄像头和第二摄像头;所述第一摄像头和所述第二摄像头之间的距离为第一长度;所述方法包括:
所述电子设备接收第一指令,所述第一指令用于触发所述电子设备获取目标对象的深度信息;
响应于所述第一指令,所述电子设备通过所述红外投射器发射带光斑的红外光,通过所述第一摄像头采集所述目标对象的第一图像信息,通过所述第二摄像头采集所述目标对象的第二图像信息,所述第一图像信息和所述第二图像信息包括所述目标对象的特征和所述带光斑的红外光照射在所述目标对象上形成的纹理特征;
所述电子设备根据所述第一图像信息、所述第二图像信息、所述第一长度、以及所述第一摄像头的镜头焦距和所述第二摄像头的镜头焦距,计算所述目标对象的深度信息。
2.根据权利要求1所述的方法,其特征在于,所述第一摄像头与所述第二摄像头的镜头焦距相同。
3.根据权利要求2所述的方法,其特征在于,所述电子设备根据所述第一图像信息、所述第二图像信息、所述第一长度、以及所述第一摄像头的镜头焦距和所述第二摄像头的镜头焦距,计算所述目标对象的深度信息,包括:
所述电子设备计算所述第一摄像头与所述第二摄像头对所述第一图像信息和所述第二图像信息中的多个第一特征的视差;所述第一特征是所述第一图像信息和所述第二图像信息中相同的特征;
所述电子设备针对每个第一特征,根据所述第一摄像头与所述第二摄像头对所述第一特征的视差、所述第一长度和所述镜头焦距,采用以下公式计算所述第一特征所在点的深度Z,得到所述目标对象的深度信息:
其中,f为所述镜头焦距,d为所述第一摄像头与所述第二摄像头对所述第一特征的视差,T为所述第一长度。
4.根据权利要求3所述的方法,其特征在于,在所述电子设备计算所述第一摄像头与所述第二摄像头对所述第一图像信息和所述第二图像信息中的多个第一特征的视差之前,所述方法还包括:
所述电子设备从所述第一图像信息和所述第二图像信息中选择出多个所述第一特征;
其中,多个所述第一特征是所述第一图像信息和所述第二图像信息中相同的特征中的部分特征。
5.根据权利要求1-4中任意一项所述的方法,其特征在于,所述带光斑的红外光包括多个光斑,所述多个光斑包括多个散斑点阵组;
其中,一个散斑点阵组中包括一个或多个散斑点阵;所述散斑点阵包括多个散斑。
6.根据权利要求5所述的方法,其特征在于,所述多个散斑点阵组中的至少两个散斑点阵组不同。
7.根据权利要求5或6所述的方法,其特征在于,第一散斑点阵组为所述多个散斑点阵组中的任意一个,所述第一散斑点阵组中包括的多个散斑点阵中的至少两个散斑点阵不同。
8.根据权利要求5-7中任意一项所述的方法,其特征在于,第一散斑点阵为所述多个散斑点阵中的任意一个,
所述第一散斑点阵中的多个散斑中每个散斑的形状相同;或者,所述第一散斑点阵中的多个散斑中至少两个散斑的形状不同。
9.根据权利要求4-8中任意一项所述的方法,其特征在于,所述电子设备按照预设的特征频率从所述第一图像信息和所述第二图像信息中选择多个所述第一特征;
所述特征频率大于或者等于所述多个光斑中散斑点阵的重复频率;
其中,所述特征频率通过所述电子设备从预设面积的图像中选择的相同的第一特征的数量来表征,所述重复频率通过所述预设面积中出现同一个散斑点阵的数量来表征。
10.根据权利要求1-9中任意一项所述的方法,其特征在于,所述第一摄像头和所述第二摄像头的每个透镜的双面均包括增透膜,所述第一摄像头和所述第二摄像头的滤光片包括截止镀层;
其中,所述增透膜用于增加红外光的透过率;所述截止镀层用于滤去红外光和可见光之外的其他光线,并增加红外光的透过率。
11.根据权利要求1-10中任意一项所述的方法,其特征在于,所述红外投射器发射的红外光为890纳米~990纳米的红外光。
12.根据权利要求1-11中任意一项所述的方法,其特征在于,所述红外投射器发射的红外光为940纳米的红外光。
13.根据权利要求1-12中任意一项所述的方法,其特征在于,所述第一长度在20毫米~30毫米之间。
14.根据权利要求1-13中任意一项所述的方法,其特征在于,所述电子设备还包括第三摄像头,所述第三摄像头是RGB摄像头;所述第三摄像头用于采集可见光下的图像信息;所述第三摄像头采集的图像信息用于显示在所述电子设备的显示屏上。
15.一种电子设备,其特征在于,所述电子设备包括:一个或多个处理器、存储器、红外投射器、第一摄像头和第二摄像头,所述第一摄像头和所述第二摄像头之间的距离为第一长度,所述存储器、所述红外投射器、所述第一摄像头和所述第二摄像头与所述处理器耦合,所述存储器用于存储信息;
所述处理器,用于接收第一指令,所述第一指令用于触发所述电子设备获取目标对象的深度信息;
所述处理器,还用于响应于所述第一指令,通过所述红外投射器发射带光斑的红外光,通过所述第一摄像头采集所述目标对象的第一图像信息,通过所述第二摄像头采集所述目标对象的第二图像信息,所述第一图像信息和所述第二图像信息包括所述目标对象的特征和所述带光斑的红外光照射在所述目标对象上形成的纹理特征;
所述处理器,还用于根据所述第一摄像头采集的所述第一图像信息、所述第二摄像头采集的所述第二图像信息、所述第一长度、以及所述第一摄像头的镜头焦距和所述第二摄像头的镜头焦距,计算所述目标对象的深度信息。
16.根据权利要求15所述的电子设备,其特征在于,所述第一摄像头与所述第二摄像头的镜头焦距相同。
17.根据权利要求16所述的电子设备,其特征在于,所述处理器,用于根据所述第一图像信息、所述第二图像信息、所述第一长度、以及所述第一摄像头的镜头焦距和所述第二摄像头的镜头焦距,计算所述目标对象的深度信息,包括:
所述处理器,用于:
计算所述第一摄像头与所述第二摄像头对所述第一图像信息和所述第二图像信息中的多个第一特征的视差;所述第一特征是所述第一图像信息和所述第二图像信息中相同的特征;
针对每个第一特征,根据所述第一摄像头与所述第二摄像头对所述第一特征的视差、所述第一长度和所述镜头焦距,采用以下公式计算所述第一特征所在点的深度Z,得到所述目标对象的深度信息:
其中,f为所述镜头焦距,d为所述第一摄像头与所述第二摄像头对所述第一特征的视差,T为所述第一长度。
18.根据权利要求17所述的电子设备,其特征在于,所述处理器,还用于在计算所述第一摄像头与所述第二摄像头对所述第一图像信息和所述第二图像信息中的多个第一特征的视差之前,从所述第一图像信息和所述第二图像信息中选择出多个所述第一特征;
其中,多个所述第一特征是所述第一图像信息和所述第二图像信息中相同的特征中的部分特征。
19.根据权利要求15-18中任意一项所述的电子设备,其特征在于,所述带光斑的红外光包括多个光斑,所述多个光斑包括多个散斑点阵组;
其中,一个散斑点阵组中包括一个或多个散斑点阵;所述散斑点阵包括多个散斑。
20.根据权利要求19所述的电子设备,其特征在于,所述多个散斑点阵组中的至少两个散斑点阵组不同。
21.根据权利要求19或20所述的电子设备,其特征在于,第一散斑点阵组为所述多个散斑点阵组中的任意一个,所述第一散斑点阵组中包括的多个散斑点阵中的至少两个散斑点阵不同。
22.根据权利要求19-21中任意一项所述的电子设备,其特征在于,第一散斑点阵为所述多个散斑点阵中的任意一个,
所述第一散斑点阵中的多个散斑中每个散斑的形状相同;或者,所述第一散斑点阵中的多个散斑中至少两个散斑的形状不同。
23.根据权利要求19-22中任意一项所述的电子设备,其特征在于,所述处理器,用于按照预设的特征频率从所述第一图像信息和所述第二图像信息中选择多个所述第一特征;
所述特征频率大于或者等于所述多个光斑中散斑点阵的重复频率;
其中,所述特征频率通过所述处理器从预设面积的图像中选择的相同的第一特征的数量来表征,所述重复频率通过所述预设面积中出现同一个散斑点阵的数量来表征。
24.根据权利要求15-23中任意一项所述的电子设备,其特征在于,所述第一摄像头和所述第二摄像头的每个透镜的双面均包括增透膜,所述第一摄像头和所述第二摄像头的滤光片包括截止镀层;
其中,所述增透膜用于增加红外光的透过率;所述截止镀层用于滤去红外光和可见光之外的其他光线,并增加红外光的透过率。
25.根据权利要求15-24中任意一项所述的电子设备,所述红外投射器发射的红外光为890纳米~990纳米的红外光。
26.根据权利要求15-25中任意一项所述的电子设备,其特征在于,所述红外投射器发射的红外光为940纳米的红外光。
27.根据权利要求15-26中任意一项所述的电子设备,其特征在于,所述第一长度在20毫米~30毫米之间。
28.根据权利要求15-27中任意一项所述的电子设备,其特征在于,所述电子设备还包括第三摄像头和显示屏;
所述第三摄像头是红绿蓝RGB摄像头;所述第三摄像头用于采集可见光下的图像信息;所述第三摄像头采集的图像信息用于显示在所述显示屏上。
29.一种计算机存储介质,其特征在于,包括计算机指令,当所述计算机指令在电子设备上运行时,使得所述电子设备执行如权利要求1-14中任一项所述的获取深度信息的方法。
30.一种计算机程序产品,其特征在于,当所述计算机程序产品在计算机上运行时,使得所述计算机执行如权利要求1-14中任一项所述的获取深度信息的方法。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811279855.7A CN109544618B (zh) | 2018-10-30 | 2018-10-30 | 一种获取深度信息的方法及电子设备 |
EP19878166.8A EP3869462A4 (en) | 2018-10-30 | 2019-10-21 | PROCESS FOR OBTAINING DEPTH INFORMATION AND ELECTRONIC DEVICE |
US17/290,660 US20220020165A1 (en) | 2018-10-30 | 2019-10-21 | Method for Obtaining Depth Information and Electronic Device |
DE202019006001.4U DE202019006001U1 (de) | 2018-10-30 | 2019-10-21 | Elektronische Vorrichtung zur Gewinnung von Tiefeninformation |
JP2021524333A JP2022506753A (ja) | 2018-10-30 | 2019-10-21 | 深度情報の取得方法および電子デバイス |
PCT/CN2019/112254 WO2020088290A1 (zh) | 2018-10-30 | 2019-10-21 | 一种获取深度信息的方法及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811279855.7A CN109544618B (zh) | 2018-10-30 | 2018-10-30 | 一种获取深度信息的方法及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109544618A true CN109544618A (zh) | 2019-03-29 |
CN109544618B CN109544618B (zh) | 2022-10-25 |
Family
ID=65846096
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811279855.7A Active CN109544618B (zh) | 2018-10-30 | 2018-10-30 | 一种获取深度信息的方法及电子设备 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20220020165A1 (zh) |
EP (1) | EP3869462A4 (zh) |
JP (1) | JP2022506753A (zh) |
CN (1) | CN109544618B (zh) |
DE (1) | DE202019006001U1 (zh) |
WO (1) | WO2020088290A1 (zh) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110009673A (zh) * | 2019-04-01 | 2019-07-12 | 四川深瑞视科技有限公司 | 深度信息检测方法、装置及电子设备 |
CN110163097A (zh) * | 2019-04-16 | 2019-08-23 | 深圳壹账通智能科技有限公司 | 三维头像真伪性的鉴别方法、装置、电子设备及存储介质 |
CN110308817A (zh) * | 2019-06-10 | 2019-10-08 | 青岛小鸟看看科技有限公司 | 一种触控动作识别方法及触控投影系统 |
CN110864440A (zh) * | 2019-11-20 | 2020-03-06 | 珠海格力电器股份有限公司 | 一种送风方法及送风装置、空调 |
WO2020088296A1 (zh) * | 2018-10-30 | 2020-05-07 | 华为技术有限公司 | 一种人脸识别方法及电子设备 |
WO2020088290A1 (zh) * | 2018-10-30 | 2020-05-07 | 华为技术有限公司 | 一种获取深度信息的方法及电子设备 |
CN111626928A (zh) * | 2020-04-28 | 2020-09-04 | Oppo广东移动通信有限公司 | 深度图像生成方法及装置、存储介质和电子设备 |
CN111751830A (zh) * | 2020-07-08 | 2020-10-09 | 北京工业大学 | 一种基于vcsel混合激光的空间微弱目标红外探测系统 |
CN112225022A (zh) * | 2020-09-28 | 2021-01-15 | 海拓信息技术(佛山)有限公司 | 一种实体按键的控制方法和装置 |
CN112529766A (zh) * | 2020-11-26 | 2021-03-19 | 维沃移动通信有限公司 | 图像的处理方法、装置及电子设备 |
CN112540494A (zh) * | 2019-09-06 | 2021-03-23 | 浙江舜宇光学有限公司 | 成像装置和成像方法 |
CN114073063A (zh) * | 2020-05-27 | 2022-02-18 | 北京小米移动软件有限公司南京分公司 | 图像处理方法及装置、相机组件、电子设备、存储介质 |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112669362B (zh) * | 2021-01-12 | 2024-03-29 | 四川深瑞视科技有限公司 | 基于散斑的深度信息获取方法、装置及系统 |
US11778157B2 (en) * | 2021-03-25 | 2023-10-03 | Eys3D Microelectronics, Co. | Image capture device and depth information calculation method thereof |
CN117544851A (zh) * | 2021-07-31 | 2024-02-09 | 华为技术有限公司 | 拍摄方法及相关装置 |
CN116843731A (zh) * | 2022-03-23 | 2023-10-03 | 腾讯科技(深圳)有限公司 | 对象识别方法以及相关设备 |
CN115068109B (zh) * | 2022-06-13 | 2023-07-28 | 元化智能科技(深圳)有限公司 | 面向医疗手术导航的红外标靶识别方法和装置 |
CN116067305A (zh) * | 2023-02-09 | 2023-05-05 | 深圳市安思疆科技有限公司 | 一种结构光测量系统和测量方法 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102789114A (zh) * | 2011-05-18 | 2012-11-21 | 中国科学院微电子研究所 | 一种可见-红外双通摄像机 |
CN203055077U (zh) * | 2013-01-11 | 2013-07-10 | 天广消防股份有限公司 | 一种视频火灾探测器 |
CN104634276A (zh) * | 2015-02-12 | 2015-05-20 | 北京唯创视界科技有限公司 | 三维测量系统、拍摄设备和方法、深度计算方法和设备 |
CN204613977U (zh) * | 2015-05-12 | 2015-09-02 | 郑州畅想高科股份有限公司 | 一种机车乘务员防作弊饮酒检测装置 |
CN105049829A (zh) * | 2015-07-10 | 2015-11-11 | 北京唯创视界科技有限公司 | 滤光片、图像传感器、成像装置以及三维成像系统 |
CN106292144A (zh) * | 2015-06-23 | 2017-01-04 | 手持产品公司 | 光学图案投影仪 |
CN206541078U (zh) * | 2016-12-14 | 2017-10-03 | 浙江舜宇智能光学技术有限公司 | 发散光式散斑投射器和三维重建系统 |
CN206559462U (zh) * | 2016-10-28 | 2017-10-13 | 无锡豪帮高科股份有限公司 | 一种基于分区双通滤光片的虹膜识别及拍照二合一摄像模组 |
CN108052878A (zh) * | 2017-11-29 | 2018-05-18 | 上海图漾信息科技有限公司 | 人脸识别设备和方法 |
CN108107662A (zh) * | 2018-01-06 | 2018-06-01 | 广东欧珀移动通信有限公司 | 激光发射器、光电设备和深度相机 |
CN207530934U (zh) * | 2017-12-19 | 2018-06-22 | 北京中科虹霸科技有限公司 | 一种具有红外成像功能的双摄像头模组 |
CN108701232A (zh) * | 2018-05-09 | 2018-10-23 | 深圳阜时科技有限公司 | 目标的三维映射的方法及装置、身份识别装置与电子设备 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001264033A (ja) * | 2000-03-17 | 2001-09-26 | Sony Corp | 三次元形状計測装置とその方法、三次元モデリング装置とその方法、およびプログラム提供媒体 |
WO2011013079A1 (en) * | 2009-07-30 | 2011-02-03 | Primesense Ltd. | Depth mapping based on pattern matching and stereoscopic information |
US9638511B2 (en) * | 2014-08-08 | 2017-05-02 | The Board Of Trustees Of The University Of Illinois | Smart phone attachment for 3-D optical coherence tomography imaging |
CN104918035A (zh) * | 2015-05-29 | 2015-09-16 | 深圳奥比中光科技有限公司 | 一种获取目标三维图像的方法及系统 |
EP3570066A4 (en) * | 2017-01-13 | 2019-12-25 | Sony Corporation | SIGNAL PROCESSING DEVICE, SIGNAL PROCESSING METHOD, AND PROGRAM |
CN118447070A (zh) * | 2017-08-21 | 2024-08-06 | 上海图漾信息科技有限公司 | 深度数据检测系统 |
CN108271012A (zh) * | 2017-12-29 | 2018-07-10 | 维沃移动通信有限公司 | 一种深度信息的获取方法、装置以及移动终端 |
CN108388071B (zh) * | 2018-02-07 | 2024-03-08 | 奥比中光科技集团股份有限公司 | 深度相机及其投影模组 |
CN108195305B (zh) * | 2018-02-09 | 2020-03-31 | 京东方科技集团股份有限公司 | 一种双目检测系统及其深度检测方法 |
CN108234984A (zh) * | 2018-03-15 | 2018-06-29 | 百度在线网络技术(北京)有限公司 | 双目深度相机系统和深度图像生成方法 |
CN109190484A (zh) * | 2018-08-06 | 2019-01-11 | 北京旷视科技有限公司 | 图像处理方法、装置和图像处理设备 |
CN109635539B (zh) * | 2018-10-30 | 2022-10-14 | 荣耀终端有限公司 | 一种人脸识别方法及电子设备 |
CN109544618B (zh) * | 2018-10-30 | 2022-10-25 | 荣耀终端有限公司 | 一种获取深度信息的方法及电子设备 |
-
2018
- 2018-10-30 CN CN201811279855.7A patent/CN109544618B/zh active Active
-
2019
- 2019-10-21 US US17/290,660 patent/US20220020165A1/en active Pending
- 2019-10-21 WO PCT/CN2019/112254 patent/WO2020088290A1/zh unknown
- 2019-10-21 DE DE202019006001.4U patent/DE202019006001U1/de active Active
- 2019-10-21 JP JP2021524333A patent/JP2022506753A/ja active Pending
- 2019-10-21 EP EP19878166.8A patent/EP3869462A4/en not_active Ceased
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102789114A (zh) * | 2011-05-18 | 2012-11-21 | 中国科学院微电子研究所 | 一种可见-红外双通摄像机 |
CN203055077U (zh) * | 2013-01-11 | 2013-07-10 | 天广消防股份有限公司 | 一种视频火灾探测器 |
CN104634276A (zh) * | 2015-02-12 | 2015-05-20 | 北京唯创视界科技有限公司 | 三维测量系统、拍摄设备和方法、深度计算方法和设备 |
CN204613977U (zh) * | 2015-05-12 | 2015-09-02 | 郑州畅想高科股份有限公司 | 一种机车乘务员防作弊饮酒检测装置 |
CN106292144A (zh) * | 2015-06-23 | 2017-01-04 | 手持产品公司 | 光学图案投影仪 |
CN105049829A (zh) * | 2015-07-10 | 2015-11-11 | 北京唯创视界科技有限公司 | 滤光片、图像传感器、成像装置以及三维成像系统 |
CN206559462U (zh) * | 2016-10-28 | 2017-10-13 | 无锡豪帮高科股份有限公司 | 一种基于分区双通滤光片的虹膜识别及拍照二合一摄像模组 |
CN206541078U (zh) * | 2016-12-14 | 2017-10-03 | 浙江舜宇智能光学技术有限公司 | 发散光式散斑投射器和三维重建系统 |
CN108052878A (zh) * | 2017-11-29 | 2018-05-18 | 上海图漾信息科技有限公司 | 人脸识别设备和方法 |
CN207530934U (zh) * | 2017-12-19 | 2018-06-22 | 北京中科虹霸科技有限公司 | 一种具有红外成像功能的双摄像头模组 |
CN108107662A (zh) * | 2018-01-06 | 2018-06-01 | 广东欧珀移动通信有限公司 | 激光发射器、光电设备和深度相机 |
CN108701232A (zh) * | 2018-05-09 | 2018-10-23 | 深圳阜时科技有限公司 | 目标的三维映射的方法及装置、身份识别装置与电子设备 |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020088296A1 (zh) * | 2018-10-30 | 2020-05-07 | 华为技术有限公司 | 一种人脸识别方法及电子设备 |
WO2020088290A1 (zh) * | 2018-10-30 | 2020-05-07 | 华为技术有限公司 | 一种获取深度信息的方法及电子设备 |
CN110009673A (zh) * | 2019-04-01 | 2019-07-12 | 四川深瑞视科技有限公司 | 深度信息检测方法、装置及电子设备 |
CN110163097A (zh) * | 2019-04-16 | 2019-08-23 | 深圳壹账通智能科技有限公司 | 三维头像真伪性的鉴别方法、装置、电子设备及存储介质 |
CN110308817A (zh) * | 2019-06-10 | 2019-10-08 | 青岛小鸟看看科技有限公司 | 一种触控动作识别方法及触控投影系统 |
CN110308817B (zh) * | 2019-06-10 | 2023-04-07 | 青岛小鸟看看科技有限公司 | 一种触控动作识别方法及触控投影系统 |
CN112540494A (zh) * | 2019-09-06 | 2021-03-23 | 浙江舜宇光学有限公司 | 成像装置和成像方法 |
CN112540494B (zh) * | 2019-09-06 | 2022-05-03 | 浙江舜宇光学有限公司 | 成像装置和成像方法 |
CN110864440B (zh) * | 2019-11-20 | 2020-10-30 | 珠海格力电器股份有限公司 | 一种送风方法及送风装置、空调 |
CN110864440A (zh) * | 2019-11-20 | 2020-03-06 | 珠海格力电器股份有限公司 | 一种送风方法及送风装置、空调 |
CN111626928A (zh) * | 2020-04-28 | 2020-09-04 | Oppo广东移动通信有限公司 | 深度图像生成方法及装置、存储介质和电子设备 |
CN111626928B (zh) * | 2020-04-28 | 2023-08-25 | Oppo广东移动通信有限公司 | 深度图像生成方法及装置、存储介质和电子设备 |
CN114073063A (zh) * | 2020-05-27 | 2022-02-18 | 北京小米移动软件有限公司南京分公司 | 图像处理方法及装置、相机组件、电子设备、存储介质 |
CN114073063B (zh) * | 2020-05-27 | 2024-02-13 | 北京小米移动软件有限公司南京分公司 | 图像处理方法及装置、相机组件、电子设备、存储介质 |
CN111751830A (zh) * | 2020-07-08 | 2020-10-09 | 北京工业大学 | 一种基于vcsel混合激光的空间微弱目标红外探测系统 |
CN111751830B (zh) * | 2020-07-08 | 2021-02-19 | 北京工业大学 | 一种基于vcsel混合激光的空间微弱目标红外探测系统 |
CN112225022A (zh) * | 2020-09-28 | 2021-01-15 | 海拓信息技术(佛山)有限公司 | 一种实体按键的控制方法和装置 |
CN112529766A (zh) * | 2020-11-26 | 2021-03-19 | 维沃移动通信有限公司 | 图像的处理方法、装置及电子设备 |
CN112529766B (zh) * | 2020-11-26 | 2023-10-03 | 维沃移动通信有限公司 | 图像的处理方法、装置及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN109544618B (zh) | 2022-10-25 |
US20220020165A1 (en) | 2022-01-20 |
EP3869462A1 (en) | 2021-08-25 |
EP3869462A4 (en) | 2021-12-15 |
WO2020088290A1 (zh) | 2020-05-07 |
DE202019006001U1 (de) | 2024-01-16 |
JP2022506753A (ja) | 2022-01-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109544618A (zh) | 一种获取深度信息的方法及电子设备 | |
CN109635539B (zh) | 一种人脸识别方法及电子设备 | |
CN110035141B (zh) | 一种拍摄方法及设备 | |
CN110445978A (zh) | 一种拍摄方法及设备 | |
CN110506416A (zh) | 一种终端切换摄像头的方法及终端 | |
CN110072070A (zh) | 一种多路录像方法及设备 | |
CN110119295A (zh) | 一种显示控制方法及相关装置 | |
CN110347269A (zh) | 一种空鼠模式实现方法及相关设备 | |
CN110456938A (zh) | 一种曲面屏的防误触方法及电子设备 | |
CN110138999B (zh) | 一种用于移动终端的证件扫描方法及装置 | |
CN113542580B (zh) | 去除眼镜光斑的方法、装置及电子设备 | |
CN111368765A (zh) | 车辆位置的确定方法、装置、电子设备和车载设备 | |
CN113572957B (zh) | 一种拍摄对焦方法及相关设备 | |
CN111399742A (zh) | 界面切换方法、装置和电子设备 | |
CN112584037B (zh) | 保存图像的方法及电子设备 | |
CN114111704A (zh) | 测量距离的方法、装置、电子设备及可读存储介质 | |
CN113572956A (zh) | 一种对焦的方法及相关设备 | |
CN110248037A (zh) | 一种身份证件扫描方法及装置 | |
CN112087649A (zh) | 一种设备搜寻方法以及电子设备 | |
CN113542613A (zh) | 一种用于拍照的装置及方法 | |
CN114863494A (zh) | 屏幕亮度的调整方法、装置和终端设备 | |
CN114880251A (zh) | 存储单元的访问方法、访问装置和终端设备 | |
CN114222020B (zh) | 位置关系识别方法、设备及可读存储介质 | |
CN113518189B (zh) | 拍摄方法、系统、电子设备及存储介质 | |
CN115032640B (zh) | 手势识别方法和终端设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20210421 Address after: Unit 3401, unit a, building 6, Shenye Zhongcheng, No. 8089, Hongli West Road, Donghai community, Xiangmihu street, Futian District, Shenzhen, Guangdong 518040 Applicant after: Honor Device Co.,Ltd. Address before: 518129 Bantian HUAWEI headquarters office building, Longgang District, Guangdong, Shenzhen Applicant before: HUAWEI TECHNOLOGIES Co.,Ltd. |
|
TA01 | Transfer of patent application right | ||
GR01 | Patent grant | ||
GR01 | Patent grant |