CN108594451B - 控制方法、控制装置、深度相机和电子装置 - Google Patents

控制方法、控制装置、深度相机和电子装置 Download PDF

Info

Publication number
CN108594451B
CN108594451B CN201810202149.6A CN201810202149A CN108594451B CN 108594451 B CN108594451 B CN 108594451B CN 201810202149 A CN201810202149 A CN 201810202149A CN 108594451 B CN108594451 B CN 108594451B
Authority
CN
China
Prior art keywords
image
light emitting
distance
laser
target number
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810202149.6A
Other languages
English (en)
Other versions
CN108594451A (zh
Inventor
张学勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201810202149.6A priority Critical patent/CN108594451B/zh
Publication of CN108594451A publication Critical patent/CN108594451A/zh
Priority to EP19742274.4A priority patent/EP3567427B1/en
Priority to PCT/CN2019/075390 priority patent/WO2019174436A1/zh
Priority to TW108108334A priority patent/TWI684026B/zh
Priority to US16/451,737 priority patent/US11441895B2/en
Application granted granted Critical
Publication of CN108594451B publication Critical patent/CN108594451B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • G02B27/4205Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive optical element [DOE] contributing to image formation, e.g. whereby modulation transfer function MTF or optical aberrations are relevant

Abstract

本发明公开了一种激光投射模组的控制方法、控制装置、深度相机和电子装置。激光投射模组包括激光发射器。激光发射器包括形成有多个独立控制的发光阵列的点光源。控制方法包括获取用户的第一图像和第二图像、根据第一图像和第二图像计算用户与激光投射模组的投射距离、根据投射距离确定发光阵列的目标数量、开启目标数量的发光阵列中的点光源。本发明实施方式的控制方法、控制装置、深度相机和电子装置将点光源分为多个可独立控制的发光阵列,在激光投射模组工作时获取第一图像和第二图像以计算投射距离,再根据投射距离确定发光阵列的目标数量,如此,可避免开启的发光阵列的数量过多,导致出射的激光能量过大对用户的眼睛产生危害的问题。

Description

控制方法、控制装置、深度相机和电子装置
技术领域
本发明涉及成像技术领域,特别涉及一种激光投射模组的控制方法、激光投射模组的控制装置、深度相机和电子装置。
背景技术
激光投射器可投射带有预定图案信息的激光,并将激光投射到位于空间中的目标用户上,再通过成像装置获取由目标用户反射的激光图案,以进一步获得目标用户的深度图像,然而,激光投射器投射的激光控制不当容易对用户进行造成伤害。
发明内容
本发明的实施例提供了一种激光投射模组的控制方法、激光投射模组的控制装置、深度相机和电子装置。
本发明提供一种激光投射模组的控制方法,所述激光投射模组包括激光发射器,所述激光发射器包括多个点光源,多个所述点光源形成多个发光阵列,多个所述发光阵列独立控制;所述控制方法包括:
获取用户的第一图像和第二图像;
根据所述第一图像和所述第二图像计算所述用户与所述激光投射模组的投射距离;
开启所述目标数量的所述发光阵列中的所述点光源。
本发明提供一种激光投射模组的控制装置。所述激光投射模组包括激光发射器,所述激光发射器包括多个点光源,多个所述点光源形成多个发光阵列,多个所述发光阵列独立控制;所述控制装置包括第一获取模块、第一计算模块、确定模块和开启模块。所述第一获取模块用于获取用户的第一图像和第二图像;所述第一计算模块用于根据所述第一图像和所述第二图像计算所述用户与所述激光投射模组的投射距离;所述确定模块用于根据所述投射距离确定所述发光阵列的目标数量;所述开启模块用于开启所述目标数量的所述发光阵列中的所述点光源。
本发明提供一种深度相机。深度相机包括图像采集器、激光投射模组和处理器。所述激光投射模组包括激光发射器,所述激光发射器包括多个点光源,多个所述点光源形成多个发光阵列,多个所述发光阵列独立控制。所述处理器用于获取用户的第一图像和第二图像、根据所述第一图像和所述第二图像计算所述用户与所述激光投射模组的投射距离、根据所述投射距离确定所述发光阵列的目标数量、以及开启所述目标数量的所述发光阵列中的所述点光源。
本发明提供一种电子装置。电子装置包括壳体和深度相机。深度相机设置在壳体内并从所述壳体暴露以获取深度图像。
本发明实施方式的激光投射模组的控制方法、激光投射模组的控制装置、深度相机和电子装置将激光发射器中的点光源分为多个可独立控制的发光阵列,在激光投射模组工作时首先获取用户的第一图像和第二图像以计算投射距离,在确定投射距离后再根据投射距离确定需要开启的发光阵列的目标数量,如此,可以避免开启的发光阵列的数量过少,导致图像采集器采集的激光图案的亮度过低,影响深度图像获取的准确性;也可避免开启的发光阵列的数量过多,导致出射的激光能量过大对用户的眼睛产生危害的问题。
本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1是本发明某些实施方式的激光投射模组的控制方法的流程示意图。
图2是本发明某些实施方式的激光投射模组的结构示意图。
图3是本发明某些实施方式的激光投射模组的发光阵列的排布示意图。
图4是本发明某些实施方式的激光投射模组的控制装置的模块示意图。
图5是本发明某些实施方式的深度相机的结构示意图。
图6是本发明某些实施方式的电子装置的结构示意图。
图7是本发明某些实施方式的激光投射模组的控制方法的流程示意图。
图8是本发明某些实施方式的激光投射模组的控制装置的模块示意图。
图9是本发明某些实施方式的激光投射模组的控制方法的流程示意图。
图10是本发明某些实施方式的激光投射模组的修正模块的模块示意图。
图11是本发明某些实施方式的激光投射模组的控制方法的流程示意图。
图12是本发明某些实施方式的激光投射模组的修正模块的模块示意图。
图13是本发明某些实施方式的激光投射模组的控制方法的流程示意图。
图14是本发明某些实施方式的激光投射模组的修正模块的模块示意图。
图15是本发明某些实施方式的激光投射模组的发光阵列的排布示意图。
图16是本发明某些实施方式的激光投射模组的发光阵列的排布示意图。
图17是本发明某些实施方式的激光投射模组的发光阵列的排布示意图。
图18是本发明某些实施方式的激光投射模组的发光阵列的排布示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
在本发明的描述中,需要理解的是,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
请一并参阅图1至图3,本发明提供一种激光投射模组100的控制装置80。激光投射模组100包括激光发射器10。激光发射器10包括多个点光源101。多个点光源101形成多个发光阵列110。多个发光阵列110可被独立控制。控制方法包括:
01:获取用户的第一图像和第二图像;
03:根据第一图像和第二图像计算用户与激光投射模组的投射距离;
05:根据投射距离确定发光阵列110的目标数量;
07:开启目标数量的发光阵列110中的点光源101。
请一并参阅图2至图4,本发明还提供一种激光投射模组100的控制装置80。激光发射器10为垂直腔面激光发射器10(Vertical-Cavity Surface-Emitting Laser,VCSEL),垂直腔面激光发射器10包括多个点光源101。多个点光源101形成多个发光阵列110。多个发光阵列110可被独立控制。控制装置80包括第一获取模块81、第一计算模块83、确定模块85和开启模块87。步骤01可以由第一获取模块81实现。步骤03可以由第一计算模块83实现。步骤05可以由确定模块85实现。步骤07可以由开启模块87实现。也即是说,第一获取模块81可用于获取用户的第一图像和第二图像。第一计算模块83可用于根据第一图像和第二图像计算用户与激光投射模组的投射距离。确定模块85可用于根据投射距离确定发光阵列110的目标数量。开启模块87可用于开启目标数量的发光阵列110中的点光源101。
请结合图2,激光投射模组100还包括准直元件20和衍射元件30。准直元件20用于准直激光发射器10发射的激光,衍射元件30用于衍射准直元件20准直后的激光以形成激光图案。此外,激光投射模组100还包括镜筒40和基板组件50。镜筒40设置在基板组件50上。镜筒40的侧壁41与基板组件50围成收容腔42。基板组件50包括基板52及承载在基板52上的电路板51。电路板51开设有通孔511,激光发射器10承载在基板52上并收容在通孔511内。准直元件20和衍射元件30沿激光发射器10的发光方向依次排列。镜筒40的侧壁41向收容腔42的中心延伸有承载台411,衍射元件30承载在承载台411上。
激光投射模组100还包括保护罩60。保护罩60可以由透光材料制成,例如玻璃、聚甲基丙烯酸甲酯(Polymethyl Methacrylate,PMMA)、聚碳酸酯(Polycarbonate,PC)、聚酰亚胺(Polyimide,PI)等。由于玻璃、PMMA、PC、及PI等透光材料均具有优异的透光性能,保护罩60可以不用开设透光孔。如此,保护罩60能够在防止衍射元件30脱落的同时,还能够避免衍射元件30裸露在镜筒40的外面,从而使衍射元件30防水防尘。当然,在其他实施方式中,保护罩60可以开设有透光孔,透光孔与衍射元件30的光学有效区相对以避免遮挡衍射元件30的光路。
请参阅图5,本发明还提供一种深度相机1000。深度相机1000包括图像采集器200、上述的激光投射模组100和处理器300。图像采集器200用于采集激光图案,图像采集器200可为红外摄像头。处理器300可用于处理激光图案以获取深度图像。步骤01、步骤03、步骤05和步骤07还可以由处理器300实现。也即是说,处理器300还可以用于获取用户的第一图像和第二图像、根据所述第一图像和所述第二图像计算所述用户与所述激光投射模组的投射距离、根据投射距离确定发光阵列110的目标数量、以及开启目标数量的发光阵列110中的点光源101。
请参阅图6,本发明还提供一种电子装置4000。电子装置4000包括壳体2000、上述的深度相机1000和可见光摄像模组3000。深度相机1000设置在壳体2000内并从壳体2000暴露以获取深度图像。可见光摄像模组3000也设置在壳体2000内并从壳体2000暴露以获取可见光图像。其中,电子装置4000可以是手机、平板电脑、笔记版电脑、智能手表、智能手环、智能眼镜、智能头盔等。
可以理解,激光投射模组100投射激光图案到空间中的用户上,再由图像采集器200采集由用户反射的激光图案,再利用该激光图案与参考的激光图案获取用户的深度图像。激光投射模组100投射的激光为红外激光,而激光投射模组100工作时用户与激光投射模组100的投射距离是未知的,因此,若红外激光的能量控制不当,可能导致红外激光的能量过大,对用户的眼睛造成伤害。
本发明实施方式的激光投射模组100的控制方法、激光投射模组100的控制装置80、深度相机1000和电子装置4000将激光发射器10中的点光源101分为多个可独立控制的发光阵列110,在激光投射模组100工作时首先获取用户的第一图像和第二图像以计算用户与激光投射模组100的投射距离,在确定投射距离后再根据投射距离确定需要开启的发光阵列110的目标数量,如此,可以避免开启的发光阵列110的数量过少,导致图像采集器200采集的激光图案的亮度过低,影响深度图像获取的准确性;也可避免开启的发光阵列110的数量过多,导致出射的激光能量过大对用户的眼睛产生危害的问题。
其中,第一图像可以是红外图像,第二图像可以是可见光图像(RGB图像),或者第一图像可以是可见光图像,第二图像可以是红外图像,可见光图像可以由可见光摄像模组3000拍摄得到,红外图像可以由深度相机1000中的图像采集器200拍摄得到。第一图像和第二图像也可均为可见光图像,此时电子装置4000包括两个可见光摄像模组3000。以第一图像为红外图像且第二图像为可见光图像为例,激光投射模组100工作时,处理器300首先开启图像采集器200和可见光摄像模组3000,图像采集器200拍摄第一图像,可见光摄像模组3000拍摄第二图像,处理器300从图像采集器200和可见光摄像模组3000中读取第一图像和第二图像。第一图像和第二图像作为一对图像匹配对,处理器300根据这一对图像匹配对计算投射距离,具体地,处理器300首先对第一图像和第二图像做双目图像校正,根据图像采集器200和可见光摄像模组3000事先标定获得的单目内参数据(焦距、成像原点、畸变参数)和双目相对位置关系(旋转矩阵和平移向量),分别对第一图像和第二图像进行消除畸变和行对准,使得第一图像和第二图像严格行对应。随后,对于第一图像上的每一个点,在第二图像中找到与该点匹配的对应点,由于第一图像和第二图像严格行对应,因此,对于第一图像上的每一个点,仅需在第二图像中的与第一图像上该点所在行对应的行的位置寻找与该点匹配的对应点,而无需在整幅第二图像中寻找对应点,因此,第一图像和第二图像之间的点的匹配计算较快。在匹配完毕第一图像和第二图像中的每个点后,即可根据每一对相匹配的点计算出对应位置处的深度信息,最终生成深度图像。最后,处理器300识别出第一图像和第二图像中的人脸,再根据深度图像与第一图像或第二图像的匹配关系,确定出人脸对应的深度信息,由于人脸通常占据多个像素点,因此,取多个像素对应的多个深度信息的中值或均值作为最终的投射距离。
当然,为进一步减小处理器300的处理时间,可以将用户看作一个点目标,激光投射模组100到该点目标之间的距离即为投射距离;也可以以用户的某个部位作为点目标,激光投射模组100到该点目标之间的距离即为投射距离,例如,以用户的脸部为点目标,激光投射模组100到用户脸部之间的距离即为投射距离,此时,具体地,先识别出第一图像和第二图像中的人脸,再对第一图像中的人脸部分和第二图像中的人脸部分进行像素匹配和深度信息计算,随后根据计算得到的深度信息确定出投射距离。处理器300获取到投射距离后,再根据投射距离确定需要开启的发光阵列110的目标数量,再控制激光投射模组100开启该目标数量的发光阵列110以进一步获取较为准确的深度图像。例如,当电子装置4000为手机,发光阵列110的总数为6个,若测得投射距离较远,例如为15~20cm,则可以根据该投射距离确定目标数量为3~4个,则将开启3~4个发光阵列的点光源101;若测得投射距离较近,例如为5~10cm,则可以根据该投射距离确定目标数量为1个,则将开启1个发光阵列的点光源101。
请参阅图7,在某些实施方式中,本发明实施方式的激光投射模组100的控制方法在步骤03根据第一图像和第二图像计算用户与激光投射模组100的投射距离的步骤后还包括修正投射距离的步骤(即步骤04),具体为:
041:获取用户的人脸图像;
042:计算人脸图像中人脸所占的第一比例;和
043:根据第一比例修正投射距离。
请参阅图8,在某些实施方式中,控制装置80还包括第二获取模块841、第二计算模块842和修正模块843。步骤041可以由获取模块841实现。步骤042可以由计算模块842实现。步骤043可以由修正模块843实现。也即是说,第二获取模块841可用于获取用户的人脸图像。第二计算模块842可用于计算人脸图像中人脸所占的第一比例。修正模块843可用于根据第一比例修正投射距离。
请参阅图5,在某些实施方式中,步骤041、步骤042和步骤043均可以由处理器300实现。也即是说,处理器300还可以用于获取用户的人脸图像、计算人脸图像中人脸所占的第一比例、以及根据第一比例修正投射距离。
具体地,可以先根据对人脸特征点的提取和分析划分人脸图像中的人脸区域和背景区域,然后计算人脸所在区域所在的像素个数与人脸图像的像素个数的比值以得到第一比例。可以理解,当第一比例较大时,说明用户较靠近图像采集器200,也就是较靠近激光投射模组100,投射距离较小,此时激光投射模组100需要开启较少目标数量的发光阵列110的点光源101,以避免投射的激光太强而灼伤用户。同时,当第一比例较小时,说明用户与图像采集器200相距较远,投射距离较大,激光投射模组100需要以较大的功率投射激光,以使激光图案投射到用户上并被反射后依然有适当的强度,以用于形成深度图像,此时激光投射模组100需要开启较多目标数量的发光阵列110的点光源101。在一个例子中,当同一张人脸图像中包含有多个人脸时,则选取多个人脸中面积最大的人脸作为人脸区域用以计算第一比例,其他人脸所占的区域均作为背景区域的一部分。
可以预先对投射距离与第一比例进行标定。具体地,指引用户以预定的投射距离拍摄人脸图像,并计算该人脸图像对应的标定比例,存储该预设的投射距离与标定比例的对应关系,以便在后续的使用中依据实际的第一比例计算投射距离。例如,指引用户在投射距离为30厘米时拍摄人脸图像,并计算得到该人脸图像对应的标定比例为45%,而在实际测量中,当计算得到第一比例为R时,则依据相似三角形的性质有
Figure BDA0001594802010000071
其中,D为依据实际测量的第一比例R计算的实际的投射距离。如此,依据人脸图像中人脸所占第一比例,可以较为客观地反应用户与激光投射模组100之间的投射距离。
请参阅图9,在某些实施方式中,步骤023根据第一比例修正投射距离包括:
0431:计算人脸图像中人脸的预设的特征区域占人脸的第二比例;和
0432:根据第一比例及第二比例修正投射距离。
请参阅图10,在某些实施方式中,修正模块843包括计算单元8431和第一修正单元8432。步骤0431可以由计算单元8431实现,步骤0432可以由第一修正单元8432实现。也即是说,计算单元8431用于计算人脸图像中人脸的预设的特征区域占人脸的第二比例。第一修正单元8432用于根据第一比例及第二比例修正投射距离。。
请参阅图5,在某些实施方式中,步骤0431和步骤0432还可以由处理器300实现。也即是说,处理器300还可用于计算人脸图像中人脸的预设的特征区域占人脸的第二比例,以及根据第一比例及第二比例修正投射距离。
可以理解,不同的用户的人脸的大小有差异,使得不同的用户处于同样的距离被采集到的人脸图像中,人脸所占的第一比例有差异。第二比例为人脸的预设的特征区域占人脸的比例,预设的特征区域可以选择不同用户个体的差异度较小的特征区域,例如预设的特征区域为用户的双眼间距。当第二比例较大时,说明该用户的人脸较小,仅依据第一比例计算得到的投射距离过大;当第二比例较小时,说明该用户的人脸较大,仅依据第一比例计算得到的投射距离过小。在实际使用中,可以预先对第一比例、第二比例与投射距离进行标定。具体地,指引用户以预定的投射距离先拍摄人脸图像,并计算该人脸图像对应的第一标定比例及第二标定比例,存储该预设的投射距离与第一标定比例、第二标定比例的对应关系,以便于在后续的使用中依据实际的第一比例和第二比例计算投射距离。例如,指引用户在投射距离为25厘米时拍摄人脸图像,并计算得到该人脸图像对应的第一标定比例为50%,第二标定比例为10%,而在实际测量中,当计算得到第一比例为R1,第二比例为R2时,则依据三角形相似的性质有
Figure BDA0001594802010000081
其中D1为依据实际测量的第一比例R1计算得到的初始的投射距离,可以再依据关系式求得进一步依据实际测量的第二比例R2计算得到的校准的投射距离D2,D2作为最终的投射距离。如此,依据第一比例与第二比例计算得到的投射距离考虑了不同用户之间的个体差异,能够获得更加客观的投射距离。
请参阅图11,在某些实施方式中,步骤023根据第一比例修正投射距离包括:
0433:根据人脸图像判断用户是否佩戴眼镜;及
0434:在用户佩戴眼镜时根据第一比例及距离系数修正投射距离。
请参阅图12,在某些实施方式中,修正模块843包括第一判断单元8433和第二修正单元8434。步骤0433可以由第一判断单元8433实现。步骤0434可以由第二修正单元8434实现。也即是说,第一判断单元8433可用于根据人脸图像判断用户是否佩戴眼镜。第二修正单元8434可用于在用户佩戴眼镜时根据第一比例及距离系数修正投射距离。
请参阅图5,在某些实施方式中,步骤0433和步骤0434还可以由处理器300实现。也即是说,处理器300还可用于根据人脸图像判断用户是否佩戴眼镜,以及在用户佩戴眼镜时根据第一比例及距离系数修正投射距离。
可以理解,用户是否佩戴眼镜可以用于表征用户眼睛的健康状况,具体为用户佩戴眼镜则表明用户的眼睛已经患有相关的眼疾或视力不佳,在对佩戴眼镜的用户投射激光时,需要开启较少数目的发光阵列110的点光源101,使得激光投射模组100投射的激光的能量较小,以免对用户的眼睛造成伤害。预设的距离系数可以是介于0至1的系数,例如0.6、0.78、0.82、0.95等,例如在根据第一比例计算得到初始的投射距离,或者在依据第一比例和第二比例计算得到校准后的投射距离后,再将初始的投射距离或者校准的投射距离乘以距离系数,得到最终的投射距离,并根据该投射距离确定目标数量。如此,可以避免投射激光的功率过大伤害患有眼疾或视力不佳的用户。
进一步地,距离系数可以是不固定的,例如,距离系数可以是根据环境中可见光或者红外光的强度自行调节的。图像采集器200采集的人脸图像为红外图像,可以先计算人脸图像的所有像素的红外光强度的平均值,不同的平均值对应不同的距离系数,平均值越大,距离系数越小,平均值越小,距离系数越大。
请参阅图13,在某些实施方式中,步骤043根据第一比例修正投射距离包括:
0435:根据人脸图像判断用户的年龄;和
0436:根据第一比例及年龄修正投射距离。
请参阅图14,在某些实施方式中,步骤0435可以由第二判断单元8435实现。步骤0436可以由第三修正单元8436实现。也即是说,第二判断单元8435可用于根据人脸图像判断用户的年龄。第三修正单元8436可用于根据第一比例及年龄修正投射距离。
请参阅图5,在某些实施方式中,步骤0435和步骤0436还可以由处理器300实现。也即是说,处理器300还可用于根据人脸图像判断用户的年龄,以及根据第一比例及年龄修正投射距离。
不同年龄段的人对红外激光的耐受能力不同,例如小孩和老人更容易被激光灼伤等,可能对于成年人而言是合适强度的激光会对小孩造成伤害。本实施方式中,可以提取人脸图像中,人脸皱纹的特征点的数量、分布和面积等来判断用户的年龄,例如,提取眼角处皱纹的数量来判断用户的年龄,或者进一步结合用户的额头处的皱纹多少来判断用户的年龄。在判断用户的年龄后,可以依据用户的年龄得到比例系数,具体可以是在查询表中查询得知年龄与比例系数的对应关系,例如,年龄在15岁以下时,比例系数为0.6,年龄在15岁至20岁时,比例系数为0.8;年龄在20岁至45岁时,比例系数为1.0;年龄在45岁以上时,比例系数为0.8。在得知比例系数后,可以将根据第一比例计算得到的初始的投射距离、或者根据第一比例及第二比例计算得到的校准的投射距离乘以比例系数,以得到最终的投射距离,再根据该投射距离确定发光阵列110的目标数量。如此,可以避免投射激光的功率过大而伤害小年龄段或者年龄较大的用户。
在某些实施方式中,当投射距离处于第一距离区间时,开启第一目标数量的发光阵列110的点光源101。当投射距离处于第二距离区间时,开启第二目标数量的发光阵列110的点光源101。当投射距离处于第三距离区间时,开启第三目标数量的发光阵列110的点光源101。其中,第二距离区间位于第一距离区间与第三距离区间之间,也即是说,第一距离区间中距离的最大值小于或等于第二距离区间中距离的最小值,第二距离区间中距离的最大值小于第三距离区间中距离的最小值。第二目标数量大于第一目标数量且小于第三目标数量。
具体地,例如,激光投射模组100中的点光源101形成有6个发光阵列110,第一距离区间为[0cm,15cm],第二距离区间为(15cm,40cm],第三距离区间为(40cm,∞),第一目标数量为2个,第二目标数量为4个,第三目标数量为6个。则当检测到的投射距离处于[0cm,15cm]中时,开启2个发光阵列110的点光源101;当检测到的投射距离处于(15cm,40cm]中时,开启4个发光阵列110的点光源101;当检测到的投射距离处于(40cm,∞)中时,开启6个发光阵列110的点光源101。也即是说,随着投射距离的增大,目标数量的值越大,开启的发光阵列110的点光源101的数量越多。如此,在用户与激光投射模组100之间的投射距离较小时,开启较少的发光阵列110的点光源101,避免激光投射模组100发射的激光能量过大而危害用户眼睛,在用户与激光投射模组100之间的投射距离较大时,开启较多的发光阵列110的点光源101,可以使得图像采集器200接收到足够能量的激光,进一步使得深度图像的获取精度更高。
请一并参阅图3和图15,在某些实施方式中,多个发光阵列110呈环形排布。环形排布的发光阵列110的点光源101发出的激光可以覆盖更广的视场,如此,可以获得空间中更多物体的深度信息。其中,环形可为方环形或圆环形。
在某些实施方式中,随投射距离的增大,发光阵列110的开启方式为:距离激光发射器10的中心越远的发光阵列110越先开启。例如,请结合图3,发光阵列110的总数为6个,6个发光阵列110包括5个环形子阵列112和1个方形子阵列111,沿靠近激光发射器10的中心的方向,5个环形子阵列112依次排布,依次排布的5个环形子阵列112的编号为A、B、C、D、E。则当目标数量为2个时,开启编号为A和B的环形子阵列112的点光源101;当目标数量为4个时,开启编号为A、B、C和D的环形子阵列112的点光源101;当目标数量为6个时,开启编号为A、B、C、D和E的环形子阵列112和方形子阵列111。可以理解,衍射元件30的衍射能力是有限的,即激光发射器10发射的部分激光不会被衍射而是直接出射,直接出射的激光不经过衍射元件30的衍射衰减作用,因此直接出射的激光的能量及较大,极有可能对用户的眼睛产生危害,因此,在投射距离较小时先开启远离激光发射器10的中心的环形子阵列112,可以避免不经衍射元件30的衍射作用衍射衰减而直接出射的激光能量过大而危害用户眼睛的问题。
进一步地,在某些实施方式中,在同时开启方形子阵列111和至少一个环形子阵列112的点光源101时,距离激光发射器10的中心越远的发光阵列110的点光源101的功率越高。
具体地,请结合图15,例如,发光阵列110的总数为4个,4个发光阵列110包括3个环形子阵列112和1个方形子阵列111。沿远离激光发射器10的中心的方向,3个环形子阵列112依次排布,依次排布的3个环形子阵列112的编号为A、B、C。则当同时开启方形子阵列111和编号为A的环形子阵列112的点光源101时,施加在方形子阵列111中的点光源101的电压(U)小于施加在编号为A的环形子阵列112中的点光源101的电压(UA),即U<UA;或者,当同时开启方形子阵列111、编号为A和编号为B的环形子阵列112中的点光源101时,施加在方形子阵列111中的点光源101的电压(U)小于施加在编号为A的环形子阵列112中的点光源101的电压(UA),且施加在编号为A的环形子阵列112中的点光源101的电压(UA)小于施加在编号为B的环形子阵列112中的点光源101的电压(UB),即U<UA<UB;或者,当同时开启方形子阵列111、编号为A、编号为B和编号为C的环形子阵列112中的点光源101时,施加在方形子阵列111中的点光源101的电压(U)小于施加在编号为A的环形子阵列112中的点光源101的电压(UA),且施加在编号为A的环形子阵列112中的点光源101的电压(UA)小于施加在编号为B的环形子阵列112中的点光源101的电压(UB),且施加在编号为B的环形子阵列112中的点光源101的电压(UB)小于施加在编号为C的环形子阵列112中的点光源101的电压(UC)即U<UA<UB<UC。如此,距离激光发射器10中心越远的发光阵列110的功率越高,能够保证从衍射元件30中出射的光线出光均匀。
请一并参阅图16至图18,在某些实施方式中,多个发光阵列110呈“田”字形排布。具体地,每个发光阵列110为方形结构,多个方形结构的发光阵列110组合成“田”字形结构。“田”字形排布的发光阵列110仅为多个方形结构的发光阵列110的组合,因此,其制作工艺较为简单。其中,如图16所示,发光阵列110呈“田”字形排布时,各个发光阵列110的大小可以是相等的,或者,如图17所示,部分发光阵列110的大小可以是不等的。当然,多个发光阵列110还可以呈其他形状的排布,如图18所示。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (14)

1.一种激光投射模组的控制方法,其特征在于,所述激光投射模组包括激光发射器,所述激光发射器包括多个点光源,多个所述点光源形成多个发光阵列,多个所述发光阵列独立控制,多个所述发光阵列呈环形排布;所述控制方法包括:
获取用户的第一图像和第二图像;
根据所述第一图像和所述第二图像计算所述用户与所述激光投射模组的投射距离;
根据所述投射距离确定所述发光阵列的目标数量;和
开启所述目标数量的所述发光阵列中的所述点光源,在所述目标数量不等于所述发光阵列的总数量时,距离所述激光发射器中心越远的所述发光阵列越先开启。
2.根据权利要求1所述的控制方法,其特征在于,所述控制方法在所述根据所述第一图像和所述第二图像计算所述用户与所述激光投射模组的投射距离的步骤后还包括:
获取所述用户的人脸图像;
计算所述人脸图像中人脸所占的第一比例;和
根据所述第一比例修正所述投射距离。
3.根据权利要求2所述的控制方法,其特征在于,所述根据所述第一比例修正所述投射距离的步骤包括:
计算所述人脸图像中所述人脸的预设的特征区域占所述人脸的第二比例;和
根据所述第一比例及所述第二比例修正所述投射距离。
4.根据权利要求2所述的控制方法,其特征在于,所述根据所述第一比例修正所述投射距离的步骤包括:
根据所述人脸图像判断所述用户是否佩戴眼镜;及
在所述用户佩戴眼镜时根据所述第一比例及距离系数修正所述投射距离。
5.根据权利要求2所述的控制方法,其特征在于,所述根据所述第一比例修正所述投射距离的步骤包括:
根据所述人脸图像判断所述用户的年龄;和
根据所述第一比例及所述年龄修正所述投射距离。
6.根据权利要求1所述的控制方法,其特征在于,当所述投射距离处于第一距离区间时,开启第一目标数量的所述发光阵列的所述点光源;当所述投射距离处于第二距离区间时,开启第二目标数量的所述发光阵列的所述点光源;当所述投射距离处于第三距离区间时,开启第三目标数量的所述发光阵列的所述点光源;所述第二距离区间位于所述第一距离区间与所述第三距离区间之间;所述第二目标数量大于所述第一目标数量且小于所述第三目标数量。
7.一种激光投射模组的控制装置,其特征在于,所述激光投射模组包括激光发射器,所述激光发射器包括多个点光源,多个所述点光源形成多个发光阵列,多个所述发光阵列独立控制,多个所述发光阵列呈环形排布;所述控制装置包括:
第一获取模块,所述第一获取模块用于获取用户的第一图像和第二图像;
第一计算模块,所述第一计算模块用于根据所述第一图像和所述第二图像计算所述用户与所述激光投射模组的投射距离;
确定模块,所述确定模块用于根据所述投射距离确定所述发光阵列的目标数量;和
开启模块,所述开启模块用于开启所述目标数量的所述发光阵列中的所述点光源,在所述目标数量不等于所述发光阵列的总数量时,距离所述激光发射器中心越远的所述发光阵列越先开启。
8.一种深度相机,包括图像采集器和激光投射模组,其特征在于,所述激光投射模组包括激光发射器,所述激光发射器包括多个点光源,多个所述点光源形成多个发光阵列,多个所述发光阵列独立控制,多个所述发光阵列呈环形排布;所述深度相机还包括处理器,所述处理器用于:
获取用户的第一图像和第二图像;
根据所述第一图像和所述第二图像计算所述用户与所述激光投射模组的投射距离;
根据所述投射距离确定所述发光阵列的目标数量;和
开启所述目标数量的所述发光阵列中的所述点光源,在所述目标数量不等于所述发光阵列的总数量时,距离所述激光发射器中心越远的所述发光阵列越先开启。
9.根据权利要求8所述的深度相机,其特征在于,所述处理器还用于:
获取所述用户的人脸图像;
计算所述人脸图像中人脸所占的第一比例;和
根据所述第一比例修正所述投射距离。
10.根据权利要求9所述的深度相机,其特征在于,所述处理器还用于:
计算所述人脸图像中所述人脸的预设的特征区域占所述人脸的第二比例;和
根据所述第一比例及所述第二比例修正所述投射距离。
11.根据权利要求9所述的深度相机,其特征在于,所述处理器还用于:
根据所述人脸图像判断所述用户是否佩戴眼镜;及
在所述用户佩戴眼镜时根据所述第一比例及距离系数修正所述投射距离。
12.根据权利要求9所述的深度相机,其特征在于,所述处理器还用于:
根据所述人脸图像判断所述用户的年龄;和
根据所述第一比例及所述年龄修正所述投射距离。
13.根据权利要求8所述的深度相机,其特征在于,当所述投射距离处于第一距离区间时,开启第一目标数量的所述发光阵列的所述点光源;当所述投射距离处于第二距离区间时,开启第二目标数量的所述发光阵列的所述点光源;当所述投射距离处于第三距离区间时,开启第三目标数量的所述发光阵列的所述点光源;所述第二距离区间位于所述第一距离区间与所述第三距离区间之间;所述第二目标数量大于所述第一目标数量且小于所述第三目标数量。
14.一种电子装置,其特征在于,所述电子装置包括:
壳体;和
权利要求8至13任意一项所述的深度相机,所述深度相机设置在所述壳体内并从所述壳体暴露以获取深度图像。
CN201810202149.6A 2018-03-12 2018-03-12 控制方法、控制装置、深度相机和电子装置 Active CN108594451B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201810202149.6A CN108594451B (zh) 2018-03-12 2018-03-12 控制方法、控制装置、深度相机和电子装置
EP19742274.4A EP3567427B1 (en) 2018-03-12 2019-02-18 Control method and control device for a depth camera
PCT/CN2019/075390 WO2019174436A1 (zh) 2018-03-12 2019-02-18 控制方法、控制装置、深度相机和电子装置
TW108108334A TWI684026B (zh) 2018-03-12 2019-03-12 控制方法、控制裝置、深度相機和電子裝置
US16/451,737 US11441895B2 (en) 2018-03-12 2019-06-25 Control method, depth camera and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810202149.6A CN108594451B (zh) 2018-03-12 2018-03-12 控制方法、控制装置、深度相机和电子装置

Publications (2)

Publication Number Publication Date
CN108594451A CN108594451A (zh) 2018-09-28
CN108594451B true CN108594451B (zh) 2020-01-24

Family

ID=63626144

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810202149.6A Active CN108594451B (zh) 2018-03-12 2018-03-12 控制方法、控制装置、深度相机和电子装置

Country Status (1)

Country Link
CN (1) CN108594451B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3567427B1 (en) 2018-03-12 2023-12-13 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Control method and control device for a depth camera
CN109146945B (zh) * 2018-08-02 2021-01-26 京东方科技集团股份有限公司 一种显示面板及显示装置
CN112019660B (zh) * 2019-05-31 2021-07-30 Oppo广东移动通信有限公司 电子装置的控制方法及电子装置
CN113810530A (zh) * 2019-05-31 2021-12-17 Oppo广东移动通信有限公司 电子装置的控制方法及电子装置
CN110213413B (zh) * 2019-05-31 2021-05-14 Oppo广东移动通信有限公司 电子装置的控制方法及电子装置
CN110441784A (zh) * 2019-08-27 2019-11-12 浙江舜宇光学有限公司 深度图像成像系统和方法
CN113126072B (zh) * 2019-12-30 2023-12-29 浙江舜宇智能光学技术有限公司 深度相机及控制方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106203285A (zh) * 2016-06-28 2016-12-07 广东欧珀移动通信有限公司 控制方法、控制装置及电子装置
CN107330316A (zh) * 2017-07-31 2017-11-07 广东欧珀移动通信有限公司 解锁处理方法及相关产品
CN107680128A (zh) * 2017-10-31 2018-02-09 广东欧珀移动通信有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN107687841A (zh) * 2017-09-27 2018-02-13 中科创达软件股份有限公司 一种测距方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104680113B (zh) * 2010-03-11 2018-05-15 得利捷Ip科技有限公司 图像捕捉装置
CN103576428B (zh) * 2012-08-02 2015-11-25 光宝科技股份有限公司 具有安全保护机制的激光投影系统
CN103793105A (zh) * 2012-10-31 2014-05-14 中强光电股份有限公司 触控模块及其运作方法
KR102364084B1 (ko) * 2014-10-21 2022-02-17 엘지전자 주식회사 이동단말기 및 그 제어방법
CN105373223B (zh) * 2015-10-10 2020-09-25 Tcl移动通信科技(宁波)有限公司 一种自动调节发光强度的发光设备及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106203285A (zh) * 2016-06-28 2016-12-07 广东欧珀移动通信有限公司 控制方法、控制装置及电子装置
CN107330316A (zh) * 2017-07-31 2017-11-07 广东欧珀移动通信有限公司 解锁处理方法及相关产品
CN107687841A (zh) * 2017-09-27 2018-02-13 中科创达软件股份有限公司 一种测距方法及装置
CN107680128A (zh) * 2017-10-31 2018-02-09 广东欧珀移动通信有限公司 图像处理方法、装置、电子设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN108594451A (zh) 2018-09-28

Similar Documents

Publication Publication Date Title
CN108594451B (zh) 控制方法、控制装置、深度相机和电子装置
CN108333860B (zh) 控制方法、控制装置、深度相机和电子装置
CN111474818B (zh) 控制方法、控制装置、深度相机和电子装置
CN108227361B (zh) 控制方法、控制装置、深度相机和电子装置
US5317140A (en) Diffusion-assisted position location particularly for visual pen detection
KR102000865B1 (ko) 눈 추적 디바이스 및 눈 추적 디바이스를 동작시키기 위한 방법
US11441895B2 (en) Control method, depth camera and electronic device
US9867532B2 (en) System for detecting optical parameter of eye, and method for detecting optical parameter of eye
CN109104583B (zh) 控制方法及装置、深度相机、电子装置及可读存储介质
CN108833889B (zh) 控制方法及装置、深度相机、电子装置及可读存储介质
US10002293B2 (en) Image collection with increased accuracy
KR102028869B1 (ko) 교정 렌즈 판단을 위한 컴포넌트, 컴퓨터 프로그램, 시스템 및 키트
US7298414B2 (en) Digital camera autofocus using eye focus measurement
TW201904262A (zh) 具有改良自動對焦效能之成像裝置
GB2380267A (en) Telescopic optical viewer with photographing function and automatic focus
US20030108350A1 (en) System and method for measuring the refraction
US5331365A (en) Camera shaking detection apparatus
US20230013134A1 (en) Electronic device
KR20090039208A (ko) 거리 측정 센서 모듈
CN111795800A (zh) 一种视觉散斑对比度测量装置及方法
US11831859B2 (en) Passive three-dimensional image sensing based on referential image blurring with spotted reference illumination
US20230030103A1 (en) Electronic apparatus
US20230240523A1 (en) Systems, methods, and apparatus for tele-otoscopy
US20230092593A1 (en) Detection device detecting gaze point of user, control method therefor, and storage medium storing control program therefor
WO2023147346A1 (en) Systems, methods, and apparatus for tele-otoscopy

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 523860 No. 18, Wu Sha Beach Road, Changan Town, Dongguan, Guangdong

Applicant after: OPPO Guangdong Mobile Communications Co., Ltd.

Address before: 523860 No. 18, Wu Sha Beach Road, Changan Town, Dongguan, Guangdong

Applicant before: Guangdong OPPO Mobile Communications Co., Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant