CN109451107B - 电子装置 - Google Patents

Abstract

本申请公开了一种电子装置。电子装置包括具有背光的显示屏及结构光组件。显示屏包括背光源及导光板。背光源包括可见光源及红外光源。导光板用于将可见光源发出的可见光及红外光源发出的红外光引导至显示屏。结构光组件包括结构光投射器及结构光摄像头。结构光投射器用于朝电子装置外发射激光图案。结构光摄像头用于接收被目标物体反射回来的红外光和/或激光图案。本申请实施方式的电子装置通过将红外光源集成在显示屏的背光源上，避免使用红外泛光灯，从而能够减少结构光组件中红外泛光灯占据显示屏表面的空间大小，有利于提高电子装置的屏占比。

Description

电子装置

技术领域

本申请涉及消费性电子技术领域，更具体而言，涉及一种电子装置。

背景技术

现有的电子装置配置有深度相机和红外泛光灯，深度相机可用于获取物体的深度信息，红外泛光灯能够光线较弱的环境下为深度相机补充光线强度。然而，现有技术通常将红外泛光灯设置在显示屏上并通过开窗外露，从而导致电子装置的屏占比较低。

发明内容

有鉴于此，本申请实施方式提供一种电子装置。

本申请实施方式的电子装置包括具有背光的显示屏及结构光组件。所述显示屏包括背光源及导光板。所述背光源包括可见光源及红外光源。所述导光板用于将所述可见光源发出的可见光及所述红外光源发出的红外光引导至所述显示屏。所述结构光组件包括结构光投射器及结构光摄像头。所述结构光投射器用于朝所述电子装置外发射激光图案。所述结构光摄像头用于接收被目标物体反射回来的所述红外光和/或所述激光图案。

本申请实施方式的电子装置通过将红外光源集成在显示屏的背光源上，避免使用红外泛光灯，从而能够减少结构光组件中红外泛光灯占据显示屏表面的空间大小，有利于提高电子装置的屏占比。此外，结构光组件内的元件数量减少，还有利于简化结构光组件的结构。

本申请的实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实施方式的实践了解到。

附图说明

本申请的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：

图1是本申请实施方式的电子装置的结构示意图。

图2是本申请实施方式的电子装置的部分结构示意图。

图3是本申请实施方式的电子装置沿图2所示的A-A线的截面示意图。

图4是本申请实施方式的显示屏的结构示意图。

图5是本申请实施方式的电子装置沿与图2所示的A-A线对应位置的截面示意图。

图6是本申请实施方式的结构光投射器的结构示意图。

图7是本申请实施方式的电子装置沿与图2所示的A-A线对应位置的截面示意图。

图8和图9是本申请实施方式的电子装置的部分结构示意图。

图10至图13是本申请实施方式的电子装置沿与图2所示的A-A线对应位置的截面示意图。和

图14和图15是本申请实施方式的电子装置的场景示意图。

具体实施方式

以下结合附图对本申请的实施方式作进一步说明。附图中相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。

另外，下面结合附图描述的本申请的实施方式是示例性的，仅用于解释本申请的实施方式，而不能理解为对本申请的限制。

在本申请中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

请参阅图1及图2，本申请实施方式的电子装置1000包括显示屏10及结构光组件20。电子装置1000还可以包括壳体30，壳体30可用于安装显示屏10、结构光组件20等功能器件，功能器件还可以是主板、双摄模组、受话器等。电子装置1000的具体形式可以是手机、平板电脑、智能手表、头显设备等，本申请以电子装置1000是手机为例进行说明，可以理解，电子装置1000的具体形式不限于手机，在此不作限制。

显示屏10可以安装在壳体30上，具体地，显示屏10可以安装在壳体30的一个面上，或者同时安装在壳体30的相背的两个面上。在如图1所示的例子中，显示屏10安装在壳体30的前面，显示屏10的可以覆盖该前面的面积的85％及以上，例如达到85％、86％、87％、88％、89％、90％、91％、92％、93％、95％甚至是100％。显示屏10可以用于显示影像，影像可以是文字、图像、视频、图标等信息。显示屏10的具体类型可以是液晶显示屏等具有背光的显示屏。显示屏10包括显示区11，显示区11可用于显示影像。适配不同类型的电子装置1000及不同用户的需求，显示区11的形状可以呈圆形、椭圆形、跑道形、圆角矩形、矩形等形状。

请结合图3和图4，显示屏10包括相背的正面12及背面13，正面12可以用于显示影像，用户能够从正面12的显示区11观察影像。

显示屏10包括背光源15及导光板16。背光源15包括基板150、可见光源151及红外光源152。可见光源151用于发出可见光，红外光源152用于发出红外光。可见光源151与红外光源152间隔设置在基板150上。可见光源151及红外光源152的数量均为多个，并且可见光源151的数量多于红外光源152的数量。多个可见光源151相互间隔设置，多个红外光源152相互间隔设置，每个红外光源152均位于两个可见光源151之间。

导光板16包括入射面160、反射面162及出射面161，入射面160连接反射面162与出射面161，入射面160与背光源15相对，出射面161朝向显示屏10的正面12。如此，可见光源151发出的可见光及红外光源152发出的红外光能够从入射面160射入，并经过反射面162反射后从出射面161射出。导光板16能够将背光源15发出的光引导至显示屏10的正面12，可见光和红外光沿背面13指向正面12的方向向外发射，并从显示屏10射出至电子装置1000外。可以理解，背光源15可以设置在壳体30内的任意一个或多个侧边上，例如，背光源15可以设置在壳体30内的左侧边、右侧边、上侧边、下侧边、左侧边与右侧边、或上侧边与下侧边等。

请参阅图5，在某些例子中，导光板16包括入射面160及出射面161，入射面160与出射面161相背。入射面160朝向背光源15，出射面161朝向显示屏10的正面12。如此，可见光源151发出的可见光及红外光源152发出的红外光从入射面160射入，并从出射面161射出。

请参阅图1，显示区11内形成有像素，像素在背光的作用下呈现对应的颜色。而像素与像素之间通常具有微观间隙，光线穿过该微观间隙时会发生衍射。

在某些例子中，显示屏10还可包括非显示区，非显示区可以形成在显示区11的周缘。非显示区可以不用于显示，非显示区可用于与壳体30结合或用于走线，例如可以将非显示区与壳体30通过粘胶结合，而不会影响显示区11的显示功能。显示屏10还可以是集成有触控功能的触控显示屏，用户获取显示屏10显示的影像信息后，可以在显示屏10上进行触控以实现预定的交互操作。

结构光组件20可以利用激光图案获取目标物体的深度信息，以用于三维建模、生成三维图像、测距等。结构光组件20可以安装在电子装置1000的壳体30内，具体可以安装在支架上后，再将支架及结构光组件20一同安装在壳体30内，并且结构光组件20和支架可以设置在显示屏10的背面13所在的一侧。当然，在其他实施方式中，显示屏10还包括连接正面12和背面13的侧面，结构光组件20也可以设置在壳体30上并位于侧面所在的一侧，或者显示屏10开设通孔，结构光组件20通过该通孔外露。

请参阅图1和图3，结构光组件20可以包括结构光投射器21及结构光摄像头22。结构光投射器21设置在显示屏10的背面13所在的一侧，或者说，结构光投射器21设置在显示区11下方，结构光投射器21用于发射穿过显示区11的激光图案。具体地，请结合图6，结构光投射器21可以包括光源211、准直元件212及衍射光学元件213，光源211发出的光(例如红外激光)先经过准直元件212准直，再经衍射光学元件213衍射后从结构光投射器21中发出，然后再穿过显示区11以投射到外界。显示区11的微观间隙与衍射光学元件213上的衍射结构对光源211发出的光均具有衍射作用。

穿过显示区11并进入外界的激光图案中，可能同时包含由衍射光学元件213衍射形成的图案(图案中包括多个由衍射光学元件213衍射的斑点)，以及由显示屏10的微观间隙衍射形成的图案(图案中包括多个由衍射光学元件213衍射又被显示屏10衍射的斑点)，以使穿过显示区11后的散斑图案具有较高的不相关性，利于后续对获得的散斑图案进行处理。在一个例子中，显示区11的透过率可以达到60％或以上，以使结构光投射器21发出的激光图案穿过显示区11时损耗较小。

结构光摄像头22可以是红外摄像头，激光图案发射到目标物体，由目标物体调制后，可以由结构光摄像头22获取，结构光摄像头22接收被调制的激光图案后得到散斑图像，散斑图像被处理后得到目标物体的深度数据。结构光摄像头22也可以设置在显示屏10的背面13所在的一侧，即设置在显示屏10下，具体可以与结构光投射器21设置在同一个支架上，或者结构光摄像头22直接安装在壳体30上。此时，结构光摄像头22的入光面可以对准显示区11，被目标物体调制后的激光图案穿过显示区11后再由结构光摄像头22接收，具体地，被目标物体调的激光图案可以由显示屏10的微观间隙衍射后，再由结构光摄像头22接收。

请结合图4，显示屏10中的红外光源152能够与结构光组件20配合使用。红外光源152可以用于向外发射补充光线，补充光线可以用于在环境光线较弱时补充环境中的光线强度。在一个例子中，补充光线可以是红外光。补充光线发射到目标物体上被目标物体反射后，可以由结构光摄像头22获取以得到目标物体的二维图像，二维图像信息可用于身份识别。红外光源152发出的补充光线穿过显示区11的微观间隙后进入外界环境，被反射后的补充光线可以再次穿过微观间隙以被结构光摄像头22接收。

红外光源152与可见光源151能够被单独控制。红外光源152发出红外光时，结构光摄像头22用于获取红外图像，可见光源151不发光以使得显示屏10熄屏。此时，用户可以在黑屏的情况下利用红外图像进行人脸识别、支付解锁等。

在某些例子中，红外光源152发光时，结构光摄像头22用于获取红外图像，可见光源151发光以使得显示屏10显示影像。此时，用户可以在亮屏的情况下利用红外图像进行人脸识别、支付解锁等。

在某些例子中，红外光源152不发光时，可见光源151发光以使得显示屏10显示影像。

综上，本申请实施方式的电子装置1000通过将红外光源152集成在显示屏10的背光源15上，避免使用红外泛光灯，从而能够减少结构光组件20中红外泛光灯占据显示屏10表面的空间大小，有利于提高电子装置1000的屏占比。此外，结构光组件20内的元件数量减少，还有利于简化结构光组件20的结构。同时，由于结构光投射器21设置在显示屏10的背面13所在的一侧，且结构光投射器21发射的激光图案穿过显示区11后进入外界环境，显示屏10上不需要开设与结构光投射器21对准的开口，电子装置1000的屏占比较高。

请参阅图7，在某些实施方式中，显示屏10形成有通槽14，通槽14不具有显示功能。通槽14贯穿正面12及背面13。结构光摄像头22设置在显示屏10的背面13所在的一侧的同时，结构光摄像头22用于接收穿过通槽14的被调制后的激光图案。

此时，结构光摄像头22的入光面可以对准通槽14，被目标物体调制后的激光图案穿过通槽14后再由结构光摄像头22接收。本实施方式中，由于被调制后的激光图案不需要穿过显示区11的微观间隙，不会由微观间隙再次衍射，结构光摄像头22获取的散斑图像即为目标物体调制后的散斑图像，减少后续基于散斑图像计算深度图像的处理难度。

具体地，在如图8所示的例子中，通槽14包括形成在显示屏10的边缘上的缺口141，或者说，通槽14与显示屏10的边缘相交。缺口141具体可以形成在显示屏10的上边缘、下边缘、左边缘、右边缘等任意一个或多个边缘上。缺口141的形状可以是三角形、半圆形、矩形、跑道形等任意形状，在此不作限制。

在如图9所示的例子中，通槽14包括与显示屏10的边缘间隔的通孔142，或者说，通槽14开设在显示屏10的边缘围成的范围内。通孔142具体可以靠近显示屏10的上边缘、下边缘、左边缘、右边缘等任意一个或多个边缘上。通孔142的形状可以是三角形、圆形、矩形、跑道形等任意形状，在此不作限制。

在一些例子中，通槽14也可以同时包括上述的缺口141及通孔142。缺口141及通孔142的数量可以相等或不相等。

请参阅图3、图5及图7，在某些实施方式中，电子装置1000还包括盖板40，盖板40设置在显示屏10的正面12所在的一侧。请参阅图7，当显示屏10开设有通槽14时，盖板40的与通槽14对应的区域上设置有红外透过层50。

盖板40可以由玻璃或者蓝宝石等透光性能较好的材料制成。红外透过层50可以是红外透过油墨或红外透过膜，红外透过层50对红外光(例如波长为940纳米的光)具有较高的透过率，例如透过率可以达到85％或以上，而对红外光以外的光线的透过率较低或者使得红外光以外的光线完全不能透过。因此，用户难以通过盖板40看到与通槽14对准的结构光摄像头22，有利于提高电子装置1000的外观的观赏性。

请再参阅图1，在某些实施方式中，显示区11包括第一子显示区111及第二子显示区112。结构光投射器21发射的激光图案穿过第一子显示区111，第一子显示区111的像素密度小于第二子显示区112的像素密度。

第一子显示区111的像素密度小于第二子显示区112的像素密度，也就是第一子显示区111的微观间隙要大于第二子显示区112的微观间隙，第一子显示区111对光线的阻隔作用较小，穿过第一子显示区111的光线的透过率较高。因此，结构光投射器21发射的激光图案在透过第一子显示区111的透过率较高。

在一个例子中，第一子显示区111可以用于显示电子装置1000的状态图标，例如用于显示电子装置1000的电池电量、网络连接状态、系统时间等。第一子显示区111可以位于显示区11的靠近边缘的位置，第二子显示区112可以位于显示区11的中间位置。

请再参阅图1，在某些实施方式中，显示区11包括第一子显示区111及第二子显示区112，结构光投射器21发射的激光图案穿过第一子显示区111，第一子显示区111与第二子显示区112能够被独立控制并以不同的显示状态显示。此时，第一子显示区111的像素密度与第二子显示区112的像素密度可以相等，或者，第一子显示区111的像素密度小于第二子显示区112的像素密度。

其中，不同的显示状态可以是点亮或熄灭、以不同的亮度显示、以不同的刷新频率显示等。第一子显示区111与第二子显示区112的显示状态可以被独立控制，用户可以依据实际需求控制第二子显示区112正常显示，且第一子显示区111与结构光投射器21配合使用。例如，结构光投射器21在发射激光图案时，第一子显示区111可以熄灭、或者调低第一子显示区111的显示亮度、或者调节第一子显示区111的刷新频率使第一子显示区111的开启时间与结构光投射器21的开启时间错开，以减少第一子显示区111显示时对结构光投射器21向场景投射散斑图案的影响。结构光投射器21未启用时，第一子显示区111和第二子显示区112可以均开启，并以相同的刷新频率显示。

请参阅图10，在某些实施方式中，电子装置1000还包括盖板40，盖板40设置在显示屏10的正面12所在的一侧，盖板40的与结构光投射器21对应的区域形成有红外增透膜60。

红外增透膜60可以增加红外光的透过率，当结构光投射器21投射红外激光时，红外增透膜60可以增加红外激光穿过盖板40的透过率，以减少红外激光穿过盖板40时的损耗，进而降低电子装置1000的功耗。具体地，红外增透膜60可以镀在盖板40的上表面、或下表面、或同时镀在上表面及下表面。

当然，盖板40上与结构光摄像头22对应的区域也可以形成有红外增透膜60，以减少外界的红外光到达结构光摄像头22前穿过盖板40的损耗。盖板40上未与结构光投射器21及结构光摄像头22对应的区域可以形成有可见光增透膜80，以提高显示屏10发出的可见光穿过盖板40时的透过率。

在一个例子中，当显示屏10与结构光投射器21对应的位置开设通槽14时，盖板40与结构光投射器21对应的区域也可以形成红外增透膜60。或者，当显示屏10与结构光摄像头22对应的位置开设通槽14时，盖板40与结构光摄像头22对应的区域也可以形成红外增透膜60。

请参阅图11，在某些实施方式中，当显示屏10未开设通槽14时，显示屏10的与结构光投射器21对应的区域形成有红外增透膜60。

红外增透膜60可以增加红外光的透过率，当结构光投射器21投射红外激光时，红外增透膜60可以增加红外激光穿过显示屏10的透过率，以减少红外激光穿过显示屏10时的损耗，进而降低电子装置1000的功耗。具体地，红外增透膜60可以形成在显示屏10的正面12、或背面13、或同时形成显示屏10的正面12或背面13。在一个例子中，红外增透膜60还可以形成在显示屏10的内部，例如本申请的显示屏10为液晶显示屏，红外增透膜60可以形成在显示屏10内的偏光片上、或者形成在显示屏10的电极板上等。

当然，当显示屏10未开设通槽14时，显示屏10的与结构光摄像头22对应的区域也可以形成有红外增透膜60。

请参阅图12，在某些实施方式中，当显示屏10未开设通槽14时，显示屏10的与结构光投射器21对应的区域形成有红外透过层50。如上所述，红外透过层50对红外光具有较高的透过率，而对红外光以外的光线(如可见光)透过率较低或者使得红外光以外的光线(如可见光)完全不能透过，用户难以看到结构光投射器21。

当然，当显示屏10未开设通槽14时，显示屏10的与结构光摄像头22对应的区域也可以形成有红外透过层50。红外透过层50能够减少穿过显示屏10的红外光以外的光线对结构光摄像头22的影响。

请参阅图13，在某些实施方式中，显示屏10形成有贯穿正面12及背面13的通槽14。电子装置1000还包括可见光摄像头70，可见光摄像头70与通槽14对准设置。盖板40上与通槽14对应的区域形成有可见光增透膜80、及/或红外截止膜90。

可见光摄像头70可用于接收穿过盖板40和通槽14的可见光以获取影像。在盖板40上与通槽14对应的区域形成可见光增透膜80可以增加可见光穿过盖板40时的透过率，以便于提高可见光摄像头70的成像质量。在盖板40上与通槽14对应的区域形成红外截止膜90可以降低红外光穿过盖板40时的透过率，或者完全阻止红外光进入可见光摄像头70，以减少红外光对可见光摄像头70成像时的影响。

请参阅图1、图7及图14，在某些实施方式中，结构光投射器21和结构光摄像头22均设置在显示屏10的背面13所在一侧，且显示屏10开设有与结构光摄像头22的入光面对准的通槽14时，结构光摄像头22接收的是穿过通槽14的被调制后的激光图案。电子装置1000还包括处理器200。处理器200可用于控制结构光摄像头22接收出射时经显示区11衍射并被目标物体反射后直接入射的激光图案以得到散斑图像，散斑图像中包括多个测量斑点，多个测量斑点包括激光仅被衍射光学元件213衍射并被目标物体反射形成的第一测量斑点和激光经过衍射光学元件213一次衍射再由显示屏10二次衍射并被目标物体反射形成的第二测量斑点。处理器200还可用于根据散斑图像中的第一测量斑点及第二测量斑点与参考图像中的参考斑点获取深度图像。

具体地，结构光投射器21开启后可以向场景中投射激光图案，投射到场景中的激光图案会形成带有多个斑点的散斑图案。由于场景中的多个目标物体与结构光投射器21之间的距离不同，投射到目标物体上的散斑图案会因为目标物体表面高度的不同而被调制，并使得散斑图案中的多个斑点发生不同程度的偏移，偏移后的斑点被结构光摄像头22采集后即可形成包括多个测量斑点的散斑图像。处理器200获取散斑图像后，可以根据散斑图像中的测量斑点相对于参考图像中的参考斑点的偏移量计算得到多个像素的深度数据，多个带有深度数据的像素即可构成一幅深度图像。其中，参考图像为事先标定得到。

请结合图6，结构光投射器21通常包括光源211、准直元件212和衍射光学元件213。其中，光源211用于发射激光；准直元件212用于准直光源211发射的激光；衍射光学元件213用于衍射经准直元件212准直后的激光以向场景中投射激光图案，投射到场景中的激光图案形成散斑图案，散斑图案中包括多个斑点，这些斑点是激光仅经过衍射光学元件213的衍射形成的。

LCD屏等具有背光的显示屏10的显示区11上通常形成有固定的像素排布结构，相邻像素之间形成有微观间隙，当单点激光穿过这些微观间隙时会被衍射以产生一系列的斑点。显示区11中像素排布结构不同时，单点激光穿过显示区11后形成的散斑图案的斑点的排布也不一样。结构光投射器21发射的激光图案通常为红外激光。如此，当结构光投射器21置于显示屏10背面13所在一侧，即显示屏10下方时，结构光投射器21发射的红外激光穿过显示区11时也会被显示区11中的微观间隙所衍射以产生具有多个斑点的散斑图案。由此，结构光投射器21投射到空间中的散斑图案中的多个斑点同时包括激光仅被衍射光学元件213衍射形成的第一斑点和激光经过衍射光学元件213一次衍射再由显示屏10二次衍射形成的第二斑点。

结构光摄像头22成像时，结构光摄像头22会接收由场景中的目标物体反射回的激光图案以形成散斑图像。在本申请实施方式中，由于显示屏10开设有通槽14，结构光摄像头22的入光面与通槽14对准，通槽14不具有微观间隙，经衍射光学元件213一次衍射、又经显示屏10二次衍射并被目标物体调制后反射回的激光经过通槽14时不会被衍射，结构光摄像头22接收的是经显示区11衍射并被目标物体反射后直接入射的激光图案，形成的散斑图像中的多个测量斑点同时包括激光仅被衍射光学元件213衍射并被目标物体反射形成的第一测量斑点和激光经过衍射光学元件213一次衍射再由显示屏10二次衍射并被目标物体反射形成的第二测量斑点。

结构光摄像头22拍摄到散斑图像后，处理器200可以直接根据散斑图像中的第一测量斑点及第二测量斑点与参考图像中的参考斑点来计算深度图像。其中，深度图像的计算方式可以包括下述的两种。

在一个计算方式中，处理器200还可用于计算所有测量斑点相对于所有参考斑点的偏移量及根据偏移量计算深度数据以得到深度图像。处理器200还可用于在标定参考图像时，控制结构光摄像头22接收出射时经显示区11衍射并被标定物体反射后直接入射的激光图案以得到参考图像，参考图像中包括多个参考斑点。

具体地，请结合图14，在标定参考图像的过程中，结构光投射器21与结构光摄像头22均设置在显示屏10的背面13所在一侧，且显示屏10开设有与结构光摄像头22的入光面对准的通槽14，结构光摄像头22可以接收穿过通槽14的被调制后的激光图案。如此，在标定场景下和实际使用场景下，结构光投射器21与结构光摄像头22相对于显示屏10的设置位置是一致的。在标定场景下，处理器200控制结构光投射器21发射激光图案，激光图案穿过显示区11后投射到与结构光组件20相隔预定距离的标定物体，如标定板处，被标定板反射回的激光图案穿过通槽14被结构光摄像头22接收。此时，结构光摄像头22接收到的是由结构光投射器21发出后经显示屏10衍射并被标定板反射后经由通槽14直接入射的激光图案，形成的参考图像中包括多个参考斑点。其中，参考斑点同时包括与第一测量斑点对应的第一参考斑点和与第二测量斑点对应的第二参考斑点。第一参考斑点是激光在经过衍射光学元件213时被衍射光学元件213衍射，且在经过显示屏10未被显示屏10衍射，并被标定板调制反射后形成的；第二参考斑点是激光经过衍射光学元件213时被衍射光学元件213一次衍射，且在经过显示屏10时又被显示屏10二次衍射，并被标定板调制反射后形成的。虽然散斑图像中同时包括第一测量斑点和第二测量斑点，参考图像中同时包括第一参考斑点和第二参考斑点，但是在此计算方式中，处理器200并不会对散斑图像中的第一测量斑点和第二测量斑点做区分，也不会对参考图像中的第一参考斑点和第二参考斑点做区分，而是直接基于所有的测量斑点和所有的参考斑点来进行深度图像的计算。具体地，处理器200首先计算所有测量斑点相对于所有参考斑点的偏移量，再基于多个偏移量计算出多个深度数据，从而得到深度图像。

在另一个计算方式中，处理器200还可用于在标定参考图像时控制结构光摄像头22接收从所述结构光投射器21出射后直接被标定物体反射并直接入射的激光图案以得到第一参考图像(第一参考图像中包括多个参考斑点，多个参考斑点包括多个激光仅被衍射光学元件213衍射并被标定物体反射形成的第一参考斑点)、在标定参考图像时控制结构光摄像头22接收出射时经显示区11衍射并被标定物体反射后直接入射的激光图案以得到第二参考图像(第二参考图像中包括多个参考斑点，多个参考斑点包括激光仅被衍射光学元件213衍射并被标定物体反射形成的第一参考斑点和激光经过衍射光学元件213一次衍射再由显示屏10二次衍射并被标定物体反射形成的第二参考斑点)、比对第一参考图像与第二参考图像以获取第二参考斑点、计算多个第二参考斑点的亮度的平均值与多个第一参考斑点的亮度的平均值之间的比值并作为预设比值、及计算多个第一参考斑点的亮度的平均值并作为预设亮度。处理器200还可用于计算每个测量斑点与预设亮度之间的实际比值、将实际比值大于预设比值的测量斑点归类为第一测量斑点、及将实际比值小于预设比值的测量斑点归类为第二测量斑点。处理器200还可用于计算第一测量斑点相对于第一参考斑点的偏移量、以及第二测量斑点相对于第二参考斑点的偏移量、以及根据偏移量计算深度数据以得到深度图像。

此种计算方式下，处理器200需要标定出第一参考图像和第二参考图像。具体地，处理器200首先控制结构光投射器21在没有显示屏10遮挡的场景下发射激光图案至标定板处，再控制结构光摄像头22接收由标定板反射后直接入射的激光图案以得到第一参考图像，其中，第一参考图像中包括的多个参考斑点为第一参考斑点，第一参考斑点是激光在经过衍射光学元件213时被衍射光学元件213衍射，且直接出射到标定板后被标定板调制反射后直接入射形成的。随后，处理器200按照第一种计算方式中参考图像的标定方式标定出第二参考图像。此时第二参考图像中同时包括与第一测量斑点对应的第一参考斑点和与第二测量斑点对应的第二参考斑点。其中，第一参考图像和第二参考图像的标定场景中，标定板与结构光投射器21及结构光摄像头22之间的相对位置是保持不变的，结构光投射器21与结构光摄像头21之间的相对位置也保持不变。随后，处理器200标记出第一参考图像中的第一参考斑点的坐标，并根据第一参考斑点的坐标在第二参考图像中筛选出第一参考斑点，第二参考图像中剩余的参考斑点即为第二参考斑点。如此，处理器200即可在第二参考图像的所有参考斑点中区分出第一参考斑点和第二参考斑点。

由于后续计算深度数据时，散斑图像中的测量斑点也需要进行区分。具体地，可以通过亮度来区分出第一测量斑点和第二测量斑点。可以理解，第一测量斑点是激光仅经过衍射光学元件213的一次衍射形成的，第二测量斑点是激光经过衍射光学元件213的一次衍射和显示屏10的二次衍射形成的，形成第二测量斑点的激光被衍射的次数多于形成第一测量斑点的激光被衍射的次数，因此，形成第一测量斑点的激光的能量损耗较小，形成第二测量斑点的激光的能量损耗较大，第二测量斑点的亮度会低于第一测量斑点的亮度。如此，基于亮度来区分出第一测量斑点和第二测量斑点是可行的。那么，在参考图像标定完毕后还需要进一步标定出用于区分第一测量斑点和第二测量斑点的预设亮度及预设比值。具体地，在处理器200区分出第一参考斑点和第二参考斑点后，处理器200计算出第二参考图像中多个第一参考斑点的亮度的平均值，并计算出第二参考图像中多个第二参考斑点的亮度的平均值。随后，处理器200将多个第一参考斑点的亮度的平均值作为预设亮度，将多个第二参考斑点的亮度的平均值与多个第一参考斑点的亮度的平均值之间的比值作为预设比值。

在后续的深度数据计算中，处理器200首先计算出每个测量斑点的亮度。随后，处理器200计算每个测量斑点与预设亮度之间的实际比值，并将实际比值大于或等于预设比值的测量斑点归类为第一测量斑点，将实际比值小于预设比值的测量斑点归类为第二测量斑点，从而区分出第一测量斑点和第二测量斑点。例如，如图15所示，假设预设比值为0.8，实际使用中结构光摄像头22拍摄的散斑图像中包括测量斑点A和测量斑点B。其中，测量斑点A的亮度与预设亮度之间的比值若小于0.8，则将测量斑点A归类到第二测量斑点，此时说明测量斑点A是激光经衍射光学元件213一次衍射再由显示屏10二次衍射并被目标物体反射形成的测量斑点；测量斑点B的亮度与预设亮度之间的比值大于或等于0.8，则将测量斑点B归类到第一测量斑点中，此时说明测量斑点B是激光经衍射光学元件213一次衍射并被目标物体反射形成的测量斑点。其中，预设比值0.8仅为示例。

处理器200区分出第一测量斑点和第二测量斑点后，由于第二参考图像中的第一参考斑点和第二参考斑点也已经被区分出，则处理器200即可利用散斑图像和第二参考图像计算出深度数据。具体地，处理器200首先计算第一测量斑点相对于第一参考斑点的偏移量、以及第二测量斑点相对于第二参考斑点的偏移量。随后，处理器200基于多个偏移量计算出多个深度数据，多个深度数据即可构成一幅深度图像。

与第一种计算方式相比，第二种计算方式对第一测量斑点和第二测量斑点进行区分，对第一参考斑点和第二参考斑点进行区分，可以基于更为准确的第一测量斑点与第一参考斑点的对应关系、以及第二测量斑点与第二参考斑点的对应关系计算得到更为准确的偏移量，进一步得到较为准确的深度数据，提升获取的深度图像的精度。

在某些实施方式中，预设亮度和预设比值由场景的环境亮度以及结构光投射器21的发光功率决定。可以理解，环境光线中存在红外光成分，这部分红外光成分可能会与测量斑点进行叠加使得测量斑点的亮度有所增加；结构光投射器21的发光功率与测量斑点的亮度息息相关，当发光功率较大时，测量斑点的亮度也相应较高；当发光功率较小时，测量斑点的亮度也相应较低。因此，不同的环境亮度和发光功率应该具有不同的预设亮度和预设比值。不同环境亮度和不同发光功率下的预设亮度和预设比值同样可以按照前述的标定过程标定得到。在标定过程中，对标定场景的环境亮度以及结构光投射器21的发光功率进行改变以获得对应该环境亮度及发光功率的预设亮度和预设比值，其中，改变结构光投射器21的发光功率具体可以通过改变光源211的驱动电流来实现。环境亮度、发光功率、预设亮度及预设比值四者的对应关系可以以映射表的形式存储在存储器300(图1所示)中。在后续以第二种计算方式计算深度图像时，处理器200首先获取场景的环境亮度和发光功率，并在映射表中查找与当前的环境亮度和发光功率对应的预设亮度和预设比值，再基于查找的预设亮度和预设比值区分出第一测量斑点和第二测量斑点。如此，可以提升第一测量斑点和第二测量斑点的区分的准确性。

在某些实施方式中，衍射光学元件213除了用于衍射结构光投射器21的光源211发射的激光以增加测量斑点或参考斑点的数量之外，还可以用于补偿显示屏10衍射的激光图案的亮度均匀性，使得投射到场景中的散斑图案中的多个斑点的亮度的均匀性较好，有利图提升深度图像的获取精度。具体地，衍射光学元件213中的凸起或凹陷结构可以呈中间密、两边疏的排布，则衍射光学元件213的中间部分的衍射作用比边缘部分的衍射作用强。如此，入射到衍射光学元件213的中间部分的激光可以被衍射出更多光束，入射到衍射光学元件213的边缘部分的激光会被衍射出较少的光束，从而使得投射到场景中的散斑图案的亮度具有较高的均匀性。

综上，本申请实施方式的图像获取方法在结构光投射器21和结构光摄像头22均位于显示屏10的背面13所在一侧，且结构光摄像头22接收的是穿过通槽14的被调制的激光图案时，处理器200可直接根据第一测量斑点及第二测量斑点计算深度图像，相比于仅使用第一测量斑点来计算深度图像的方式，显示屏10的衍射作用增加了测量斑点的数量和测量斑点排布的随机性，有利于提升深度图像的获取精度。进一步地，本申请实施方式的图像获取方法可以适当简化衍射光学元件213中衍射光栅的结构的复杂性，转而借助显示屏10的衍射作用来增加测量斑点的数量和排布的随机性，在保障深度图像的获取精度的同时可以简化结构光投射器21的制作工艺。

请参阅图1、图7及图14，在某些实施方式中，在结构光投射器21和结构光摄像头22一起设置在显示屏10的背面13所在一侧，且显示屏10开设有与结构光摄像头22的入光面对准的通槽14时，结构光摄像头22接收的是穿过通槽14的被调制后的结构光。处理器200还可用于控制结构光摄像头22接收出射时经显示区11衍射并被目标物体反射后直接入射的激光图案以得到散斑图像、滤除散斑图像中的第二测量斑点以得到第一测量斑点、以及根据第一测量斑点及参考图像中的参考斑点获取深度图像。

需要说明的是，散斑图像中包括多个测量斑点，多个测量斑点包括激光仅被衍射光学元件213衍射并被目标物体反射形成的第一测量斑点和激光经过衍射光学元件213一次衍射再由显示屏10二次衍射并被目标物体反射形成的第二测量斑点；具体地，第一测量斑点是激光经过衍射光学元件213衍射后在经过显示屏10时并没有被显示屏10衍射，即没有遇到微观间隙而直接投射到目标物体，并被目标物体调制反射后形成的；第二测量斑点是激光经过衍射光学元件213衍射后经过显示屏10时又被显示屏10衍射，即遇到微观间隙后投射到目标物体，并被目标物体调制反射后形成的。

具体地，结构光投射器21和结构光摄像头22一起设置在显示屏10的背面13所在一侧，且显示屏10开设有与结构光摄像头22的入光面对准的通槽14时，结构光摄像头22拍摄到的是包含第一测量斑点和第二测量斑点的散斑图像。在后续深度图像的计算中，处理器200可以滤除散斑图像中的第二测量斑点，仅基于剩下的第一测量斑点来与参考图像中的参考斑点做深度图像的计算。此时，参考图像中的参考斑点应该仅包括多个激光仅被衍射光学元件213衍射并被标定物体反射形成的第一参考斑点。因此，通过滤除散斑图像中的第二测量斑点的方式可以消除显示屏10对激光图案的影响，从而在保证电子装置1000的屏占比较高的情况下，电子装置1000获取的深度图像的精度也较高。

也即是说，处理器200还可用于在标定参考图像时控制结构光摄像头22接收从结构光投射器21出射后直接被标定物体反射并直接入射的激光图案以得到第一参考图像(第一参考图像中包括多个参考斑点，多个参考斑点包括多个激光仅被衍射光学元件213衍射并被标定物体反射形成的第一参考斑点)、计算第一测量斑点相对于第一参考斑点的偏移量、根据偏移量计算深度数据以得到深度图像。

具体地，处理器200滤除第二测量斑点后，散斑图像中仅剩余第一测量斑点，则此时散斑图像应该与仅包含对应第一测量斑点的第一参考斑点的第一参考图像来进行深度图像的计算。其中，第一参考图像的标定过程与前述将结构光投射器21放在没有显示屏10遮挡的场景下进行标定的标定过程一致，在此不再赘述。第一参考图像中的多个参考斑点是激光仅被衍射光学元件213衍射并被标定物体反射形成的第一参考斑点。如此，处理器200即可计算出第一测量斑点相对于第一参考斑点的偏移量，再基于多个偏移量计算出多个深度数据，从而得到深度图像。

处理器200可以通过亮度来滤除第二测量斑点。也即是说，在某些实施方式中，处理器200还可用于在标定参考图像时控制结构光摄像头22接收从结构光投射器21出射后直接被标定物体反射并直接入射的激光图案以得到第一参考图像(第一参考图像中包括多个所述参考斑点，多个参考斑点包括多个激光仅被衍射光学元件213衍射并被标定物体反射形成的第一参考斑点)、以及在标定参考图像时控制结构光摄像头22接收出射时经显示区11衍射并被标定物体反射后直接入射的激光图案以得到第二参考图像(第二参考图像中包括多个参考斑点，多个参考斑点包括激光仅被衍射光学元件213衍射并被标定物体反射后形成的第一参考斑点和激光经过衍射光学元件213一次衍射再由显示屏10二次衍射并被标定物体反射形成的第二参考斑点)。处理器200还可用于比对第一参考图像与第二参考图像以获取第二参考斑点、计算多个第二参考斑点的亮度的平均值与多个第一参考斑点的亮度的平均值之间的比值作为预设比值、及计算多个第一参考斑点的亮度的平均值并作为预设亮度。处理器200还可用于计算每个测量斑点与预设亮度之间的实际比值、将实际比值大于预设比值的测量斑点归类为第一测量斑点、及将实际比值小于预设比值的测量斑点归类为第二测量斑点、以及从所有测量斑点中滤除第二测量斑点以得到第一测量斑点。

其中，标定第一参考图像的过程与前述将结构光投射器21放在没有显示屏10遮挡的场景下进行标定的标定过程一致标定第二参考图像的过程与前述将结构光投射器21和结构光摄像头22均放在显示屏10的背面13所在一侧，且结构光摄像头22入光面对准显示屏10的通槽14的场景下进行标定的标定过程一致，在此不再赘述。

在得到第一参考图像和第二参考图像后，处理器200即可采用与前述相同的方式，即根据第一参考图像中第一参考斑点的坐标来确定出第二参考图像中第一参考斑点，剩余的参考斑点即为第二参考斑点，从而区分出第一参考斑点和第二参考斑点。随后，处理器200即可采用与前述相同的方式来基于区分出的第一参考斑点和第二参考斑点标定计算预设亮度和预设比值。

同样地，在后续深度图像的计算中，处理器200可基于标定好的预设比值和预设亮度来区分出第一测量斑点和第二测量斑点，随后滤除第二测量斑点，仅留下第一测量斑点，再计算第一测量斑点相对于第一参考斑点的偏移量，最后基于偏移量计算出深度数据，从而得到深度图像。

在某些实施方式中，预设亮度和预设比值同样由场景的环境亮度以及结构光投射器21的发光功率决定。如此，可以提高第二测量斑点的滤除的准确性。

在某些实施方式中，衍射光学元件213除了用于衍射结构光投射器21的光源211发射的激光以增加测量斑点或参考斑点的数量之外，还可以用于补偿显示屏10衍射的激光图案的亮度均匀性，使得投射到场景中的散斑图案中的多个斑点的亮度的均匀性较好，有利于提升深度图像的获取精度。

综上，本实施方式的电子装置1000在结构光投射器21和结构光摄像头22均位于显示屏10下，且结构光摄像头22接收穿过通槽14的被调制后的激光图案时，先滤除第二测量斑点，仅根据剩余的第一测量斑点来计算深度图像，减少了处理器200的数据处理量，有利于加快深度图像的获取进程。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (12)

1.一种电子装置，其特征在于，所述电子装置包括：

具有背光的显示屏，所述显示屏包括显示区与非显示区，所述显示区包括相连的第一子显示区和第二子显示区，所述第一子显示区的像素密度与所述第二子显示区的像素密度相等，所述第一子显示区和所述第二子显示区能够被独立控制且能够以不同显示状态显示，所述显示屏包括：

背光源，所述背光源包括可见光源及红外光源；及

导光板，所述导光板用于将所述可见光源发出的可见光及所述红外光源发出的红外光引导至所述显示屏；

结构光组件，包括：

结构光投射器，所述结构光投射器用于朝所述电子装置外发射激光图案，所述结构光投射器位于所述第一子显示区的一侧，所述第二子显示区正常显示，所述第一子显示区与所述结构光投射器配合使用，在所述结构光投射器发射激光图案时，所述第一子显示区执行熄灭、调低亮度和/或调节刷新频率以与所述结构光投射器的开启时间错开；及

结构光摄像头，所述结构光摄像头用于接收被目标物体反射回来的所述激光图案；

所述红外光源与所述结构光组件配合使用，所述红外光源用于向所述电子装置外发射补充光线，所述结构光摄像头还用于获取被所述补充光线照射的所述目标物体的二维图像。

2.根据权利要求1所述的电子装置，其特征在于，所述显示屏包括相背的正面及背面，所述可见光源发出的所述可见光从所述正面射出至所述电子装置外，所述结构光组件设置在所述背面所在的一侧。

3.根据权利要求1所述的电子装置，其特征在于，所述电子装置还包括壳体，所述显示屏设置在所述壳体上，所述显示屏包括正面、背面及侧面，所述正面与所述背面相背，所述侧面连接所述正面及所述背面，所述可见光源发出的所述可见光从所述正面射出至所述电子装置外，所述结构光组件设置在所述壳体上并位于所述侧面所在的一侧。

4.根据权利要求1至3任意一项所述的电子装置，其特征在于，所述背光源还包括基板，所述可见光源及所述红外光源间隔设置在所述基板上，所述可见光源及所述红外光源的数量均为多个，并且所述可见光源的数量多于所述红外光源的数量。

5.根据权利要求4所述的电子装置，其特征在于，每个所述红外光源均位于两个所述可见光源之间。

6.根据权利要求2所述的电子装置，其特征在于，所述导光板包括朝向所述正面的出射面及与所述出射面相背的入射面，所述背光源与所述入射面相对；或

所述导光板包括入射面、反射面、及朝向所述正面的出射面，所述入射面连接所述出射面与所述反射面，所述背光源与所述入射面相对。

7.根据权利要求2所述的电子装置，其特征在于，所述非显示区形成在所述显示区的周缘，所述结构光投射器及所述结构光摄像头位于所述显示屏的所述背面一侧且与所述显示区相对。

8.根据权利要求2所述的电子装置，其特征在于，所述电子装置还包括红外增透膜；

所述红外增透膜设置在所述显示屏的与所述结构光投射器对应的区域，和/或所述红外增透膜设置在所述显示屏的与所述结构光摄像头对应的区域。

9.根据权利要求2所述的电子装置，其特征在于，所述电子装置还包括盖板及红外增透膜，所述盖板设置在所述显示区的所述正面；

所述红外增透膜设置在所述盖板的与所述结构光投射器对应的区域，和/或所述红外增透膜设置在所述盖板的与所述结构光摄像头对应的区域。

10.根据权利要求2所述的电子装置，其特征在于，所述红外光源与所述可见光源能够被单独控制；

所述红外光源发出所述红外光时，所述结构光摄像头用于获取红外图像，所述可见光源不发光以使得所述显示屏熄屏；或

所述红外光源发光时，所述结构光摄像头用于获取红外图像，所述可见光源发光以使得所述显示屏显示影像；或

所述红外光源不发光时，所述可见光源发光以使得所述显示屏显示影像。

11.根据权利要求7所述的电子装置，其特征在于，所述电子装置还包括处理器；

所述结构光摄像头用于接收出射时经所述显示区衍射并被目标物体反射后直接入射的激光图案以得到散斑图像，所述散斑图像中包括多个测量斑点，多个所述测量斑点包括激光仅被衍射光学元件衍射并被所述目标物体反射形成的第一测量斑点和激光经过所述衍射光学元件一次衍射再由所述显示屏二次衍射并被所述目标物体反射形成的第二测量斑点；

所述处理器用于根据所述散斑图像中的所述第一测量斑点及所述第二测量斑点与参考图像中的参考斑点获取深度图像。

12.根据权利要求7所述的电子装置，其特征在于，所述电子装置还包括处理器；

所述结构光摄像头用于接收出射时经所述显示区衍射并被目标物体反射后直接入射的激光图案以得到散斑图像，所述散斑图像中包括多个测量斑点，多个所述测量斑点包括激光仅被衍射光学元件衍射并被目所述标物体反射形成的第一测量斑点和所述激光经过衍射光学元件一次衍射再由所述显示屏二次衍射并被所述目标物体反射形成的第二测量斑点；

所述处理器用于滤除所述散斑图像中的所述第二测量斑点以得到所述第一测量斑点，及根据所述第一测量斑点及参考图像中的参考斑点获取深度图像。

Images