动态投影成像装置
技术领域
本发明涉及半导体照明领域,尤其涉及一种动态投影成像装置。
背景技术
视觉信息正逐渐成为智能设备获取信息、感知世界的重要途径,随着智能设备功能的不断增多、应用场景多样化,基于视觉信息所实现的需求也越来越广泛。比如,基于人脸识别的解锁与支付、基于人体信息的手势与动作交互等功能性需求,同时这些功能还需要在不同场景下、不同环境光照条件下有较高的可靠性。传统设备中利用相机获取彩色图像信息已难以满足这些需求,基于主动光照明的视觉信息获取,如红外图像,则可以提升不同场景、不同环境光照条件视觉信息获取的可靠性,而利用深度相机获取深度图像则可以实现普通彩色图像难以实现的功能,如高精度的人脸识别、手势交互。另外,利用深度相机进行人脸识别等情形,在夜间场合,需要对目标进行泛光照明,以实现高精度的识别。
红外照明、红外相机、深度相机等将越来越多地被应用于智能设备中以获取红外、深度图像等视觉信息。然而,在利用成像装置进行图像采集时,也存在诸多问题。比如:对于泛光图像采集,当环境光中同样存在与光源波长相同的光束时,且环境光变化明显时,则会影响到泛光图像的采集;再比如对于深度图像采集,当目标的深度变化明显时,目标不同深度处的斑点大小不同,同样会影响后续的深度图像计算精度。
发明内容
为解决上述问题,本发明提供一种动态投影成像装置,能够实现成像图像的高质量与高精度。
本发明提供的动态投影成像装置,包括:照明模组,包括光源、透镜以及衍射光学元件;所述光源发射出光束后经由所述透镜折射后进一步被所述衍射光学元件衍射以向被照明空间进行泛光照明或结构光照明;图像传感器,用于采集被所述照明模组照明时物体的图像;处理器,用于控制所述照明模组以实现动态照明。
在一些实施例中,所述动态照明包括所述处理器通过控制所述光源的功率和/或所述透镜的焦距的变化以实现照明的动态变化。
在一些实施例中,所述处理器用于在所述照明模组在动态照明期间控制所述图像传感器采集至少两幅图像,并融合所述至少两幅图像成单幅图像。所述至少两幅图像是结构光图像,所述结构光图像在采集时所述透镜的焦距动态变化。
在一些实施例中,所述处理器用于在所述图像传感器在单幅图像采集周期内控制所述照明模组进行动态照明。所述单幅图像包括泛光图像或者结构光图像。
在一些实施例中,所述衍射光学元件对入射光束进行复制与扩展。经所述衍射光学元件复制与扩展后形成的相邻衍射光束之间的夹角不大于入射光束的发散角,多个衍射光束覆盖填充所述被照明空间以形成泛光照明;或者,经所述衍射光学元件复制与扩展后形成的相邻衍射光束之间的夹角大于入射光束的发散角,多个衍射光束相互之间有明显的间隙以形成结构光照明。
本发明的有益效果:通过处理器,控制照明模组中的光源、透镜、衍射光学元件中的一种或多种进行变化以实现动态照明,再通过融合算法可生成高质量与高精度的图像,该动态投影装置具有体积小、功耗低的特点,有利于被集成到智能设备中。
附图说明
图1为本发明一实施例中泛光照明模组示意图。
图2为本发明一实施例中包含透镜的泛光照明模组示意图。
图3为本发明一实施例中聚焦照明示意图。
图4a为本发明一实施例中规则泛光图案示意图。
图4b为本发明一实施例中规则斑点图案示意图。
图5a为本发明一实施例中不规则泛光图案示意图。
图5b为本发明一实施例中不规则斑点图案示意图。
图6为本发明一实施例中重叠排布泛光图案示意图。
图7为本发明一实施例中密度变化排布泛光图案示意图。
图8为本发明一实施例中含光束形状调制器的泛光照明模组示意图。
图9为本发明一实施例中方形光束所形成的泛光图案示意图。
图10a为本发明一实施例中阵列光源形成的不规则泛光图案示意图。
图10b为本发明一实施例中阵列光源形成的不规则斑点图案示意图。
图11为本发明一实施例中泛光及结构光照明模组示意图。
图12为本发明一实施例中光源示意图。
图13为本发明一实施例中阵列光源示意图。
图14为本发明一实施例中泛光及结构光照明模组示意图。
图15为本发明一实施例中成像装置示意图。
图16为本发明一实施例中动态投影示意图。
具体实施方式
图1是根据本发明一个实施例的泛光照明模组示意图。模组10包括光源11、衍射光学元件(DOE)12,光源11可以是LED、激光等光源,用于发射红外、紫外、可见光等光束。光源11发射出光束,在DOE12的入射面形成入射光束,DOE12接收入射光束后将入射光束进行衍射后扩散到更宽的空间13以实现泛光照明,在一个实施例中DOE12起到分束的作用,即将单个入射光束在不改变基本属性的情况下复制并扩展成多个出射光束,这里的基本属性包括光束尺寸、偏振方向、相位、发散角等。如图1所示,光源11发射的光束经DOE12衍射后形成多个衍射级(图中仅示出-1、0、1级衍射光束)的出射光束,多个出射光束对空间13进行照明。为了达到泛光照明的目的,多个出射光束需要基本覆盖填充被照射空间13,这里所说的基本覆盖填充指的是多个出射光束需要覆盖被照明的空间,使得被照明空间各区域均得到照明,没有出现明显的未被照明区域,一种理想的情形是使得被照明空间中的光强分布基本均匀,具体可参考图4(a)、图5(a)、图6及图7,相邻出射光束之间没有明显的间隙,出射光束相邻接或者相互重叠。
在一些实施例中,照明模组用于提供主动红外光照明,光源11可以是边发射激光发射器、垂直腔面激光发射器(VCSEL)等,相较而言,不同的激光器的光束形状、发散角等存在区别,因此,根据不同的激光发射器类型,实现泛光照明对DOE的要求也存在区别,比如边发射激光发射器的发散角较之垂直腔面激光发射器大,因此利用DOE在对边发射激光发射器发射出的光束进行分束时,在进行DOE设计时可以将相邻衍射级的光束之间的夹角设置的较大。另外,边发射激光发射器往往发射的是椭圆形截面的光束,因此为了实现泛光照明,在进行DOE设计时可以将沿椭圆长轴方向上的相邻衍射级光束之间的夹角设置为小于沿椭圆短轴方向上相邻衍射级光束之间的夹角。
在一些实施例中,为了对光源光束进行进一步调制以实现所需要的泛光照明,还可以在光源和DOE之间增加透镜。如图2所示,透镜20设置在光源与DOE之间,光源11发射出光束,透镜20折射光源发射的光束以实现汇聚、发散光束,从透镜折射出的光束在DOE的入射面形成入射光束,DOE接收入射光束后将入射光束进行衍射后扩散到目标空间区域。透镜可为凹透镜、凸透镜等,凹透镜用以实现光束的发散,凸透镜用以实现光束的汇聚。比如在一个实施例中,为了增加泛光照明的距离,通过设置汇聚透镜20以减少入射到DOE上入射光束的截面积,同时增加单位面积内的光强度,由此通过DOE分束后可以照射到更远的空间区域;相反可以通过设置发散透镜20来实现近距离的照明。
在一些实施例中,还可以通过设置光源与透镜之间的距离来实现DOE入射/出射光束截面积的控制,进一步控制光束强度。以凸透镜为例,在光源与凸透镜之间的距离小于凸透镜焦距的范围内,光源与透镜之间的距离越大,其入射到DOE表面的光束截面积越大,反之,其入射到DOE表面的光束截面积越小。图3所示的是根据本发明一个实施例的聚焦照明示意图。当光源与透镜之间的距离不小于透镜焦距时,衍射光束可以在空间某位置上实现准直或聚焦。与图1、2相比不同的是,此时该照明模组所投射出的将是斑点图案化光束,该斑点图案化光束可以用于进行结构光投影。
产生斑点图案化光束除了利用透镜来控制光束聚焦外,通过控制DOE分束效果也可以实现。依据DOE衍射方程:
sinθx=mxλ/Px (1)
sinθy=myλ/Py (2)
上述方程中,θx、θy分别指沿x、y方向上的衍射角度,mx、my分别指沿x、y方向上的衍射级数,λ指光束的波长,Px、Py分别指DOE沿x、y方向上的周期,即基本单元的尺寸。
根据以上衍射方程可知,衍射光束的角度与DOE上基本单元的周期成反比,因此在对DOE进行设计时通过控制基本单元的周期来对相邻衍射光束之间的夹角进行控制,一般地,当相邻衍射光束之间的夹角大于DOE上入射光束的发散角时,就可以看到相邻光束之间有明显的间隙,从而将光束分开以产生斑点图案化光束。由于光学系统存在误差,因此实现斑点图案照明时相邻衍射光束之间夹角与入射光束发散角之间的关系并不需要严格满足上述关系,有些许出入是被允许的。另外,若入射光束是聚焦光束,经衍射光学元件后其发散角不变,且在聚焦平面附近光束可能是斑点图案,而在较远的地方由于光束的继续发散,可能会使得光束之间的重叠导致模糊,对于这一情形,在特定距离的空间中产生斑点图案化光束时其入射光束发散角与相邻衍射光束之间夹角也不会严格满足上述关系。更进一步地,这里的入射光束发散角更准确地可以理解为是衍射光束在空间某一表面(形成斑点图案的表面)上形成的光斑相对于衍射光学元件所形成的夹角,如图1中的夹角a2所示。由于形成图案的表面离衍射光学元件之间的距离要远大于衍射光学元件与光源之间的距离,因此入射光束发散角a1与夹角a2几乎相等。当夹角a2小于相邻衍射光束之间的夹角时,相邻光束之间有间隙,形成斑点图案,当夹角a2不小于相邻衍射光束之间的夹角时,相邻光束之间重叠,形成泛光图案。因此,可以理解的是,上述角度之间的关系是实现图案化光束(后文中还会出现泛光光束)的最佳示例,作为示例性代表,其他由于误差或其他原因造成的轻微差异也被包含在本发明的技术方案中。
图4是根据本发明一个实施例的分别实现泛光图案与斑点图案示意图。图4(a)是衍射光束基本覆盖填充空间以实现泛光照明的泛光图案,图4(b)是衍射光束通过聚焦以实现结构光投影的斑点图案。泛光图案中各个光束相邻接,基本覆盖填充被照明空间。斑点图案中各个光束之间有明显的间隙,以形成独立排布的斑点图案。图4所示的实施例中,DOE将光束以规则排列方式衍射,规则排列的优势在于便于DOE设计以及有利于泛光图案强度分布更加均匀,劣势在于斑点图案不利于后续深度图像的计算。因此在一些实施例中,通过对DOE的设计使得光束的排列为不规则,如图5所示,图5(a)为光束不规则排布所形成的泛光图案,图5(b)为光束不规则排布所形成的斑点图案。
泛光图案的强度分布越均匀所获取的图像质量越好。在一些实施例中,为了获取强度分布更加均匀的泛光图案,通过将光束相互重叠以填充被照射空间,如图6所示。通过相互重叠可以避免相邻排列时邻近光束之间的空隙,从而增加图案强度分布的均匀性。
随着衍射级数增加,光束的强度会减弱,因此为了获取强度分布相对均匀的泛光图案,光束的排列密度设置为不均匀形式,在一个实施例中,通过增加高阶衍射级光束的排列密度来获取强度分布相对均匀的泛光图案,如图7所示。
在一些实施例中,也可以通过对光束形状的调制来获取强度分布相对均匀的图案。图8是根据本发明一个实施例的含光束形状调制器的照明模组示意图。模组包含光源、光束形状调制器80、DOE,光源发射出光束后经光束形状调制器80调制后形成预设图案,DOE将预设图案进行复制后填充被照明空间以形成光束强度分布相对均匀的泛光图案。如图9所示的实施例中,光束形状调制器将光束形状调制成方形,在其他实施例中也可以调制成其他形状。光束形状调制器80可以是包含折射、反射、衍射、透射、掩膜等光学元件中的一种或组合。可以理解的是,凡可以对光束进行调制的光学元件均可以被应用于本发明中。
在一些实施例中,可以直接对光源本身的发光属性进行设置,比如改变发光孔径的大小与形状来对最终的图案进行调制。例如,配置发射方形光束的光源即可以实现如图9所示的泛光图案。
单个光源往往功率较低,通过DOE的分束后,单个光束的能量下降得更明显。针对这一问题,可以利用光源阵列。在一个实施例中,利用VCSEL阵列作为光源,VCSEL阵列即在半导体基底上以布置多个VCSEL光源所形成,具体体积小、功耗低等优点。VCSEL阵列发射出阵列光束,阵列光束经DOE分束后填充被照射空间以形成泛光图案,如图10(a)所示。通过控制透镜焦距、光源与透镜距离等因素则可以实现如图10(b)所示的结构光斑点图案照明。图10所示的图案中,虚线框仅作为示意,虚线框内的图案与VCSEL阵列光源对应,典型地,若不含有透镜,则一般与VCSEL阵列光源的排列图案相同;若含有透镜,则一般与VCSEL阵列光源的排列图案成中心对称关系。可以理解的是,用阵列光源替代单光源后,单个虚线框即可以看成是“单个光束”,因此其排列方式也可与单光源照明模组的类似,既可以规则排列也可以不规则排列,既可以相邻排列也可以重叠排列,排列密度也可以不同。如图10所示的实施例中,相邻的虚线框之间通过规则、相邻排列实现对被照明空间的覆盖。
以上所述的各实施例主要阐述了利用光源以及DOE实现泛光照明或结构光照明/投影,目前一些智能设备中往往需要同一个设备兼备泛光照明以及结构光投影这两种功能,在需要的时候调用泛光照明、结构光照明中的一种或两种。比如手机、平板、电脑等设备中需要通过采集红外图像以及深度图像来实现高精度的人脸识别,由此需要红外泛光照明以及结构光深度相机。很显然,将独立的红外泛光灯与独立的结构光深度相机集成到设备中即可以实现此功能,然而由此会增加设备成本、加大制造工艺难度,特别是微型智能设备,例如手机,其可容纳这些器件的空间十分有限。为了解决这一问题,本发明将提供一种兼备泛光照明以及结构光投影的照明模组,可以实现泛光照明和结构光照明的切换,或者同一时刻实现泛光照明和结构光照明。
图11是根据本发明一个实施例的泛光及结构光照明模组示意图,其可以实现泛光照明或结构光照明,可在两者之间自由切换。模组包含光源111、透镜112、DOE113以及调节器114,调节器114与光源111、透镜112、DOE113中的一个或多个相连接以实现调节。调节器114受处理器的控制对光源、透镜、DOE中的一个或多个进行调节以实现泛光照明或结构光照明。
在一些实施例中,调节器通过控制透镜112的移动、焦距变化来实现不同的照明,比如调节器包含音圈马达,透镜为变焦透镜,音圈马达用于控制变焦透镜进行变焦,若当前焦距大于光源与透镜之间的距离时,透镜通过发散光源发射的光束,发散后的光束经DOE衍射后较为适合进行泛光照明;若当前焦距小于光源与透镜之间的距离时,透镜通过聚焦光束,聚焦后的光束经DOE衍射后可以用于结构光照明。因此,通过利用调节器来控制透镜的焦距就可以使得单个照明模组具备泛光照明以及结构光照明这两种功能。根据实际应用的需要,将当前应用所需要的照明模式以信号形式传输至调节器,调节器随之控制透镜焦距变化即可以实现相应的照明。
在一些实施例中,调节器通过控制DOE来实现不同的照明。比如在DOE上配置两种不同的衍射图案分别用于产生泛光照明以及结构光照明,衍射图案决定了光束经衍射后复制及扩展的方式,当相邻的衍射光束之间的夹角小于或等于DOE上入射光束的发散角时即可实现复制光束相互邻接或重叠从而产生泛光照明,而当相邻的衍射光束之间的夹角大于DOE上入射光束的发散角时,即可以实现复制光束间隔排列以产生斑点图案化结构光照明。在同一块透镜基底上同时配置两种衍射图案,在实际使用时,按照具体应用需求(泛光照明or结构光照明),调节器可以通过控制DOE的移动、旋转等方式来将相应的衍射图案与光源对应以实现泛光照明或结构光照明。如:在DOE的同一入射面分为左右两部分,该两部分被配置不同的衍射图案分别用于产生泛光照明以及结构光照明,调节器通过控制DOE的水平移动来将相应的衍射图案与光源对应。或者,在DOE的相邻两面设置不同的衍射图案分别用于产生泛光照明以及结构光照明,调节器通过控制DOE的旋转来将相应的衍射图案与光源对应。
在一些实施例中,调节器通过控制光源来实现不同的照明。具体可参考以下对图12、13、14的说明。
图12是根据本发明一个实施例的光源示意图。光源由基底121、第一子光源123以及第二子光源122组成,基底可以是半导体基底,第一子光源123与第二子光源122设置在该基底上,一个典型的光源例子如VCSEL阵列芯片光源。第一子光源123与第二子光源122的发光面积、光束发散角等属性中的一种不同。在一个实施例中,第二子光源122的发光面积较小,当经过DOE衍射之后投影到空间中相邻光束之间有明显间隙从而实现结构光照明,第一子光源123的发光面积较大,其发射的光束经由DOE衍射分束后相邻光束之间相邻或重叠以形成泛光图案;在一些实施例中,第二子光源122发射光束的发散角较小,使得入射到DOE上的入射光束的发散角小于相邻衍射光束之间的夹角,以使得图案中光束之间有明显的间隙,从而形成斑点图案,而第二一光源123发射光束的发散角较大使得入射到DOE上的入射光束的发散角大于相邻光束之间的夹角,以使得图案中光束之间相邻或重叠,从而形成泛光图案。可以理解的是,基于本光源的照明模组中可以包含透镜也可以不包含透镜,在进行照明时,模组中的调节器通过对光源中不同子光源的独立控制以实现泛光照明或结构光照明。在具体应用时,当需要实现泛光/结构光照明时,设备中的处理器将信号传输到调节器并控制调节器进行调节以实现泛光/结构光照明。
图13是根据本明又一个实施例的光源示意图。与图12中光源不同的是,在基底131上,第一子光源132与第二子光源133均是阵列的形式。可以理解的是,用于实现泛光照明的第一子光源以及用于实现结构光照明的第二子光源在数量上可以相同,也可以不同;第一子光源与第二子光源既可以分开均匀分布,也可以交叉分布。在一个实施例中,仅有1个第一子光源用于泛光照明,而利用多个第二子光源用于结构光照明。第一光源和第二光源可以在同一个基底上,也可以在不同的基底上。
在一些实施例中,第一子光源与第二子光源也可是发光属性相同的光源,基于该光源的照明模组中,通过设置不同属性的透镜与光源进行来实现泛光照明以及结构光照明。图14是根据本发明又一个实施例的泛光及结构光照明模组示意图,模组包含由基底141、第一子光源143、第二子光源142组成的光源,由第一透镜145、第二透镜144组成的透镜以及DOE146。这里的透镜也可以是微透镜阵列MLA,MLA中的微透镜单元与光源阵列中的子光源对应。第一子光源143经由第一透镜145后被DOE146衍射后可实现泛光照明,第二子光源142经由第二透镜144后被DOE146衍射后可实现结构光照明。模组中的调节器可以通过控制第一子光源143以及第二子光源144的开启或关闭来实现模组的泛光照明或者结构光照明。在一些实施例中,还可以在照明模组中通过设置不同属性的DOE与第一、二子光源对应来实施泛光照明与结构光照明。比如与第一子光源对应的第一DOE在对光束进行分束时相邻光束邻接,而第二子光源对应的第二DOE在对光束进行分束时相邻光束有一定的间隔,由此来实现泛光以及结构光照明,这里的第一DOE与第二DOE可以被制作在同一块基底上。
在一些实施例中,第一光源与第二光源除了属性不同以分别产生泛光照明以及结构光照明外,第一光源与第二光源的波长不同,比如第一光源为近红外光而第二光源为远红外光。由于波长不同,因此可以同时打开第一光源与第二光源以实现泛光照明与结构光照明的同步照明。
以上对照明模组进行了说明,本发明还提供了基于该照明模组的成像装置。图15所示的是根据本发明一个实施例的成像装置示意图。装置包含照明模组159、处理器153以及采集模组158,照明模组159通过发射一定波长的光以实现对空间进行照明,采集模组158一般含有与该波长对应的滤光片从而实现对被空间中物体所反射的光进行成像。其中,照明模组159包含调节器154、光源155、透镜156以及DOE157,该照明模组在处理器153发出相应的照明信号后,由调节器154实现对光源、透镜、DOE的一种或多种进行调节以实现对应的照明,如泛光照明或结构光照明。成像模组158包含图像传感器151、透镜152,经空间中物体反射的光透过透镜152后成像在图像传感器151上,图像传感器151可以是CCD或CMOS等,图像传感器151将光信号转换成电信号后传输到处理器153中进行处理形成图像。采集模组151中也可以包含图像处理器,比如DSP,电信号经DSP处理后形成图像传输到处理器中。处理器153通过对照明模组159以及采集模组158的控制以实现成像装置的泛光图像采集与结构光斑点图案采集。另外,处理器153可以进一步利用斑点图案计算出深度图像。在一个实施例中,处理器还可以将深度图像与泛光图像进行融合以输出同时包含深度、纹理信息的图像。
对于泛光照明与结构光照明同步照明的情形,可以设置多个采集模组以同步采集泛光图像与结构光图像。优选地,在单个采集模组中,通过配置允许第一光源与第二光源对应波长的滤光片,以实现在单个图像传感器上同步采集泛光与结构光信息,通过后期图像处理以分割出泛光图像与结构光图像。
在利用成像装置进行图像采集时,往往遇到一些问题。比如对于泛光图像采集,当环境光中同样存在与光源波长相同的光束时,且环境光变化明显时,则会影响到泛光图像的采集;再比如对于深度图像采集,当目标的深度变化明显时,目标不同深度处的斑点大小不同,同样会影响后续的深度图像计算精度。本发明提供一种基于动态照明的成像装置。该成像装置可以实现:泛光照明下的动态投影,结构光照明下的动态投影,以及泛光照明与结构光照明间的动态切换投影。
图16是根据本发明一个实施例的动态投影示意图。以结构光斑点图案投影为例(同样适用于泛光照明),在利用采集模组采集图像过程中,通过处理器控制照明模组中的光源、透镜、DOE中的一种或几种以实现动态照明,在一实施例中,处理器通过控制调节器以实现动态照明,从而采集多幅图像,最后由处理器对采集到的多幅图像进行融合以生成一幅高质量的图像。
在一个实施例中,调节器用于控制透镜的焦距,从而对目标空间不同距离上进行对焦,并同时采集相应的图像,比如图16中在不同距离上采集到的图像161、162、163,图像中当目标物体上的部分正好位于当前焦距所在的平面附近时,投射到该部分上的斑点最为集中,所采集的图像中相应的斑点对比度最高(如斑点166),而不在焦距平面上的斑点的对比度则相对较低(如斑点165)。在采集到多幅图像后,通过对斑点图案的识别以及融合算法可以获取单幅高质量的图像164。
在一个实施例中,也可以在单帧图像采集周期内利用处理器控制调节器进行调节,即在单帧图像的曝光时间内,照明模组不断改变其照明状态,由此所获取的图像相对于唯一照明拥有更好的图像质量。相比于上述的多帧图像融合方式,这一方式无需进行后续计算。比如对于泛光照明,以上实施例中通过复制及扩展光束的方式覆盖填充被照明空间的照明方式,由于单个光束的强度分布以及光束之间的强度分布均难以实现完全均匀,因此泛光照明的效果无法达到最佳,因此在进行泛光照明时,在图像传感器的单帧曝光周期内,利用处理器控制照明模组中透镜焦距、光源功率等因素的变化,使得被照明空间中的强度发生动态变化,可以改善由单一照明所带来的光照强度分布不均的问题。另外,对于结构光照明而言,同样面临不同距离上空间中目标的对焦问题,即距离不同,斑点的对比度之间有差异,在单一照明条件下采集到的结构光图像中对比度相差较大。针对这一问题,同样可以在图像传感器的单帧曝光周期内,利用处理器控制照明模组中透镜焦距等因素的变化,来增加最终采集的结构光图像中斑点的对比度。
以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,其还可以对这些已描述的实施方式做出若干替代或变型,而这些替代或变型方式都应当视为属于本发明的保护范围。