CN109327653A - 图像获取方法、图像获取装置、结构光组件及电子装置 - Google Patents

Abstract

本申请公开了一种图像获取方法、图像获取装置、结构光组件和电子装置。图像获取方法包括：控制结构光摄像头接收出射时依次经过补偿光学元件及显示屏的显示区并被目标物体反射后的结构光以得到散斑图像；根据散斑图像中的测量斑点与参考图像中的参考斑点获取深度图像。本申请实施方式的图像获取方法通过设置补偿光学元件来抵消显示屏的衍射作用，散斑图像中仅包括激光仅被衍射光学元件一次衍射并被目标物体反射形成的测量斑点，处理器无需执行滤点的操作，可以直接基于所有测量斑点及所有参考斑点计算深度图像，简化深度图像的计算过程，加快深度图像的获取进度。

Description

图像获取方法、图像获取装置、结构光组件及电子装置

技术领域

本申请涉及消费性电子技术领域，更具体而言，涉及一种图像获取方法、图像获取装置、结构光组件及电子装置。

背景技术

移动终端中可以配置有深度相机和显示屏，深度相机可用于获取物体的深度信息，显示屏可用于显示文字、图案等内容，通常需要在显示屏上开窗，例如形成刘海屏，以使显示屏的显示区与深度相机的位置错开，而显示屏的这一设置导致移动终端的屏占比较低。并且，显示屏会对深度相机中的结构光投射器投射的结构光产生衍射，使得投射到场景中的散斑图案发生变化。

发明内容

本申请实施方式提供一种图像获取方法、图像获取装置、结构光组件及电子装置。

本申请实施方式的图像获取方法包括：控制结构光摄像头接收出射时依次经过补偿光学元件及显示屏的显示区并被目标物体反射后的结构光以得到散斑图像，所述补偿光学元件用于抵消所述显示屏的衍射作用，所述散斑图像包括多个测量斑点，多个所述测量斑点包括激光仅被结构光投射器的衍射光学元件衍射并被所述目标物体反射形成的测量斑点；根据所述散斑图像中的所述测量斑点与参考图像中的参考斑点获取深度图像。

本申请实施方式的图像获取装置包括控制模块和计算模块。所述控制模块用于控制结构光摄像头接收出射时依次经过补偿光学元件及显示屏的显示区并被目标物体反射后的结构光以得到散斑图像，所述补偿光学元件用于抵消所述显示屏的衍射作用，所述散斑图像包括多个测量斑点，多个所述测量斑点包括激光仅被结构光投射器的衍射光学元件衍射并被所述目标物体反射形成的测量斑点。所述计算模块用于根据所述散斑图像中的所述测量斑点与参考图像中的参考斑点获取深度图像。

本申请实施方式的结构光组件包括结构光投射器、结构光摄像头和处理器。处理器用于：控制结构光摄像头接收出射时依次经过补偿光学元件及显示屏的显示区并被目标物体反射后的结构光以得到散斑图像，所述补偿光学元件用于抵消所述显示屏的衍射作用，所述散斑图像包括多个测量斑点，多个所述测量斑点包括激光仅被结构光投射器的衍射光学元件衍射并被所述目标物体反射形成的测量斑点；根据所述散斑图像中的所述测量斑点与参考图像中的参考斑点获取深度图像。

本申请实施方式的电子装置包括壳体、显示屏和上述的结构光组件。所述显示屏安装在所述壳体上。所述结构光组件安装在所述壳体上。

本申请实施方式的图像获取方法、图像获取装置、结构光组件及电子装置通过设置补偿光学元件来抵消显示屏的衍射作用，如此，散斑图像中仅包括激光仅被衍射光学元件一次衍射并被目标物体反射形成的测量斑点，而不会出现激光经衍射光学元件一次衍射后又经显示屏二次衍射并被目标物体反射形成的测量斑点、以及激光经衍射光学元件一次衍射后又经显示屏二次衍射并被目标物体反射后再经显示屏三次衍射形成的测量斑点，处理器无需执行滤点的操作，可以直接基于所有测量斑点及所有参考斑点计算深度图像，简化深度图像的计算过程，加快深度图像的获取进度。

本申请的实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实施方式的实践了解到。

附图说明

本申请的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：

图1是本申请某些实施方式的电子装置的结构示意图。

图2是本申请某些实施方式的电子装置的部分结构示意图。

图3是本申请某些实施方式的电子装置沿图2所示的A-A线的截面示意图。

图4是本申请某些实施方式的结构光投射器的结构示意图。

图5是本申请某些实施方式的电子装置沿与图2所示的A-A线对应位置的截面示意图。

图6和图7是本申请某些实施方式的电子装置的部分结构示意图。

图8是本申请某些实施方式的电子装置沿与图2所示的A-A线对应位置的截面示意图。

图9和图10是本申请某些实施方式的电子装置的部分结构示意图。

图11至图15是本申请某些实施方式的电子装置沿与图2所示的A-A线对应位置的截面示意图。

图16是本申请某些实施方式的图像获取方法的流程示意图。

图17是本申请某些实施方式的图像获取装置的模块示意图。

图18和图19是本申请某些实施方式的图像获取方法的流程示意图。

图20是本申请某些实施方式的图像获取方法的场景示意图。

图21是本申请某些实施方式的图像获取方法的流程示意图。

图22是本申请某些实施方式的图像获取方法的场景示意图。

图23至图27是本申请某些实施方式的图像获取方法的流程示意图。

图28是本申请某些实施方式的图像获取方法的场景示意图。

图29是本申请某些实施方式的图像获取方法的流程示意图。

图30是本申请某些实施方式的图像获取方法的场景示意图。

图31至图34是本申请某些实施方式的图像获取方法的流程示意图。

图35是本申请某些实施方式的结构光投射器发射的结构光的光路示意图。

图36至图41是本申请某些实施方式的图像获取方法的流程示意图。

具体实施方式

以下结合附图对本申请的实施方式作进一步说明。附图中相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。

另外，下面结合附图描述的本申请的实施方式是示例性的，仅用于解释本申请的实施方式，而不能理解为对本申请的限制。

在本申请中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

请参阅图1及图2，本申请实施方式的电子装置1000包括显示屏10及结构光组件20。电子装置1000还可以包括壳体30，壳体30可用于安装显示屏10、结构光组件20等功能器件，功能器件还可以是主板、双摄模组、受话器等。电子装置1000的具体形式可以是手机、平板电脑、智能手表、头显设备等，本申请以电子装置1000为手机进行说明，可以理解，电子装置1000的具体形式不限于手机，在此不作限制。

显示屏10可以安装在壳体30上，具体地，显示屏10可以安装在壳体30的一个面上，或者同时安装在壳体30的相背的两个面上。在如图1所示的例子中，显示屏10安装在壳体30的前面，显示屏10的可以覆盖该前面的面积的85％及以上，例如达到85％、86％、87％、88％、89％、90％、91％、92％、93％、95％甚至是100％。显示屏10可以用于显示影像，影像可以是文字、图像、视频、图标等信息。显示屏10的具体类型可以是液晶显示屏、OLED显示屏、Micro LED显示屏等。显示屏10包括显示区11，显示区11可用于显示影像。适配不同类型的电子装置1000及不同用户的需求，显示区11的形状可以呈圆形、椭圆形、跑道形、圆角矩形、矩形等形状。

请结合图3，显示区11形成有相背的正面12及背面13，正面12可以用于显示影像，光线沿背面13指向正面12的方向向外发射，且在光线穿过正面12后由用户接收。显示区11内形成有像素，在一个例子中，像素可以自发光以呈现对应的颜色，在另一个例子中，像素在背光的作用下呈现对应的颜色。而像素与像素之间通常具有微观间隙，光线穿过该微观间隙时会发生衍射。

在某些例子中，显示屏10还可包括非显示区，非显示区可以形成在显示区11的周缘。非显示区可以不用于显示，非显示区可用于与壳体30结合或用于走线，例如可以将非显示区与壳体30通过粘胶结合，而不会影响显示区11的显示功能。显示屏10还可以是集成有触控功能的触控显示屏，用户获取显示屏10显示的影像信息后，可以在显示屏10上进行触控以实现预定的交互操作。

结构光组件20可以利用结构光获取目标物体的深度信息，以用于三维建模、生成三维图像、测距等。结构光组件20可以安装在电子装置1000的壳体30内，具体可以安装在支架上后，再将支架及结构光组件20一同安装在壳体30内。结构光组件20可以包括结构光投射器21、结构光摄像头22及泛光灯23。

请参阅图1至图4，结构光投射器21设置在显示屏10的背面13所在的一侧，或者说，结构光投射器21设置在显示区11下方，结构光投射器21用于发射穿过显示区11的结构光。具体地，结构光投射器21可以包括光源211、准直元件212及衍射光学元件213，光源211发出的光(例如红外激光)先经过准直元件212准直，再经衍射光学元件213衍射后从结构光投射器21中发出，然后再穿过显示区11以投射到外界。显示区11的微观间隙与衍射光学元件213上的衍射结构对光源211发出的光均具有衍射作用。

穿过显示区11并进入外界的结构光中，可能同时包含由衍射光学元件213衍射形成的图案(图案中包括多个由衍射光学元件213衍射的斑点)，以及由显示屏10的微观间隙衍射形成的图案(图案中包括多个由衍射光学元件213衍射又被显示屏10衍射的斑点)，以使穿过显示区11后的散斑图案具有较高的不相关性，利于后续对获得的散斑图案进行处理。在一个例子中，显示区11的透过率可以达到60％或以上，以使结构光投射器21发出的结构光穿过显示区11时损耗较小。

结构光摄像头22可以是红外摄像头，结构光发射到目标物体，由目标物体调制后，可以由结构光摄像头22获取，结构光摄像头22接收被调制的结构光后得到散斑图像，散斑图像被处理后得到目标物体的深度数据。结构光摄像头22也可以设置在显示屏10的背面13所在的一侧，即设置在显示屏10下，具体可以与结构光投射器21设置在同一个支架上，或者结构光摄像头22直接安装在壳体30上。此时，结构光摄像头22的入光面可以对准显示区11，被目标物体调制后的结构光穿过显示区11后再由结构光摄像头22接收，具体地，被目标物体调的结构光可以由显示屏10的微观间隙衍射后，再由结构光摄像头22接收。

泛光灯23可以用于向外发射补充光线，补充光线可以用于在环境光线较弱时补充环境中的光线强度。在一个例子中，补充光线可以是红外光。补充光线发射到目标物体上被目标物体反射后，可以由结构光摄像头22获取以得到目标物体的二维图像，二维图像信息可用于身份识别。泛光灯23也可以设置在显示屏10的背面13所在的一侧，即设置在显示屏10下，具体可以与结构光投射器21及结构光摄像头22设置在同一个支架上。此时，泛光灯23发出的补充光线穿过显示区11的微观间隙后进入外界环境，被反射后的补充光线可以再次穿过微观间隙以被结构光摄像头22接收。

综上，由于结构光投射器21设置在显示屏10的背面13所在的一侧，且结构光投射器21发射的结构光穿过显示区11后进入外界环境，显示屏10上不需要开设与结构光投射器21对准的开口，电子装置1000的屏占比较高。

请参阅图5，在某些实施方式中，显示屏10形成有通槽14，通槽14不具有显示功能。通槽14贯穿正面12及背面13。结构光摄像头22设置在显示屏10的背面13所在的一侧的同时，结构光摄像头22用于接收穿过通槽14的被调制后的结构光。

此时，结构光摄像头22的入光面可以对准通槽14，被目标物体调制后的结构光穿过通槽14后再由结构光摄像头22接收。本实施方式中，由于被调制后的结构光不需要穿过显示区11的微观间隙，不会由微观间隙再次衍射，结构光摄像头22获取的散斑图像即为目标物体调制后的散斑图像，减少后续基于散斑图像计算深度图像的处理难度。

具体地，在如图6所示的例子中，通槽14包括形成在显示屏10的边缘上的缺口141，或者说，通槽14与显示屏10的边缘相交。缺口141具体可以形成在显示屏10的上边缘、下边缘、左边缘、右边缘等任意一个或多个边缘上。缺口141的形状可以是三角形、半圆形、矩形、跑道形等任意形状，在此不作限制。

在如图7所示的例子中，通槽14包括与显示屏10的边缘间隔的通孔142，或者说，通槽14开设在显示屏10的边缘围成的范围内。通孔142具体可以靠近显示屏10的上边缘、下边缘、左边缘、右边缘等任意一个或多个边缘上。通孔142的形状可以是三角形、圆形、矩形、跑道形等任意形状，在此不作限制。

在一些例子中，通槽14也可以同时包括上述的缺口141及通孔142。缺口141及通孔142的数量可以相等或不相等。

请参阅图8，在某些实施方式中，泛光灯23设置在显示屏10的背面13所在的一侧的同时，泛光灯23用于发射穿过通槽14的补充光线。

此时，补充光线穿过通槽14后直接发射到外界，补充光线不会在穿过显示区11的过程中被削弱，保证目标物体接收到较多的补光量。

与结构光摄像头22类似，如图9所示，通槽14包括形成在显示屏10的边缘上的缺口141，或者说，通槽14与显示屏10的边缘相交。缺口141具体可以形成在显示屏10的上边缘、下边缘、左边缘、右边缘等任意一个或多个边缘上。缺口141的形状可以是三角形、半圆形、矩形、跑道形等任意形状，在此不作限制。

或者，如图10所示，通槽14包括与显示屏10的边缘间隔的通孔142，或者说，通槽14开设在显示屏10的边缘围成的范围内。通孔142具体可以靠近显示屏10的上边缘、下边缘、左边缘、右边缘等任意一个或多个边缘上。通孔142的形状可以是三角形、圆形、矩形、跑道形等任意形状，在此不作限制。

另外，在图8至图10所示的例子中，泛光灯23与结构光摄像头22可以对应同一个通槽14。在图11所示例子中，泛光灯23与结构光摄像头22可以对应不同的通槽14。

请参阅图3、图5、图8及图11，在某些实施方式中，电子装置1000还包括盖板40，盖板40设置在显示屏10的正面12所在的一侧。当显示屏10开设有通槽14时，盖板40的与通槽14对应的区域上设置有红外透过层50。

盖板40可以由玻璃或者蓝宝石等透光性能较好的材料制成。红外透过层50可以是红外透过油墨或红外透过膜，红外透过层50对红外光(例如波长为940纳米的光)具有较高的透过率，例如透过率可以达到85％或以上，而对红外光以外的光线的透过率较低或者使得红外光以外的光线完全不能透过。因此，用户难以通过盖板40看到与通槽14对准的结构光摄像头22或者泛光灯23，电子装置1000的外观较美观。

请再参阅图1，在某些实施方式中，显示区11包括第一子显示区111及第二子显示区112。结构光投射器21发射的结构光穿过第一子显示区111，第一子显示区111的像素密度小于第二子显示区112的像素密度。

第一子显示区111的像素密度小于第二子显示区112的像素密度，也就是第一子显示区111的微观间隙要大于第二子显示区112的微观间隙，第一子显示区111对光线的阻隔作用较小，穿过第一子显示区111的光线的透过率较高。因此，结构光投射器21发射的结构光在透过第一子显示区111的透过率较高。

在一个例子中，第一子显示区111可以用于显示电子装置1000的状态图标，例如用于显示电子装置1000的电池电量、网络连接状态、系统时间等。第一子显示区111可以位于显示区11的靠近边缘的位置，第二子显示区112可以位于显示区11的中间位置。

请再参阅图1，在某些实施方式中，显示区11包括第一子显示区111及第二子显示区112，结构光投射器21发射的结构光穿过第一子显示区111，第一子显示区111与第二子显示区112能够被独立控制并以不同的显示状态显示。此时，第一子显示区111的像素密度与第二子显示区112的像素密度可以相等，或者，第一子显示区111的像素密度小于第二子显示区112的像素密度。

其中，不同的显示状态可以是点亮或熄灭、以不同的亮度显示、以不同的刷新频率显示等。第一子显示区111与第二子显示区112的显示状态可以被独立控制，用户可以依据实际需求控制第二子显示区112正常显示，且第一子显示区111与结构光投射器21配合使用。例如，结构光投射器21在发射结构光时，第一子显示区111可以熄灭、或者调低第一子显示区111的显示亮度、或者调节第一子显示区111的刷新频率使第一子显示区111的开启时间与结构光投射器21的开启时间错开，以减少第一子显示区111显示时对结构光投射器21向场景投射散斑图案的影响。结构光投射器21未启用时，第一子显示区111和第二子显示区112可以均开启，并以相同的刷新频率显示。

请参阅图12，在某些实施方式中，电子装置1000还包括盖板40，盖板40设置在显示屏10的正面12所在的一侧，盖板40的与结构光投射器21对应的区域形成有红外增透膜60。

红外增透膜60可以增加红外光的透过率，当结构光投射器21投射红外激光时，红外增透膜60可以增加红外激光穿过盖板40的透过率，以减少红外激光穿过盖板40时的损耗，进而降低电子装置1000的功耗。具体地，红外增透膜60可以镀在盖板40的上表面、或下表面、或同时镀在上表面及下表面。

当然，盖板40上与结构光摄像头22对应的区域也可以形成有红外增透膜60，以减少外界的红外光到达结构光摄像头22前穿过盖板40的损耗。盖板40上与泛光灯23对应的区域也可以形成有红外增透膜60，以减少泛光灯23发出的补充光线在穿过盖板40时的损耗。此时盖板40上未与结构光投射器21、结构光摄像头22及泛光灯23对应的区域可以形成有可见光增透膜80，以提高显示屏10发出的可见光穿过盖板40时的透过率。

请参阅图13，在某些实施方式中，显示屏10的与结构光投射器21对应的区域形成有红外增透膜60。

红外增透膜60可以增加红外光的透过率，当结构光投射器21投射红外激光时，红外增透膜60可以增加红外激光穿过显示屏10的透过率，以减少红外激光穿过显示屏10时的损耗，进而降低电子装置1000的功耗。具体地，红外增透膜60可以形成在显示区11的正面12、或背面13、或同时形成显示区11的正面12或背面13。在一个例子中，红外增透膜60还可以形成在显示屏10的内部，例如当显示屏10为液晶显示屏时，红外增透膜60可以形成在显示屏10内的偏光片上、或者形成在显示屏10的电极板上等。

当然，当显示屏10与结构光摄像头22对应的位置未开设通槽14时，显示屏10与结构光摄像头22对应的区域也可以形成红外增透膜60。当显示屏10与泛光灯23对应的位置未开设通槽14时，显示屏10与泛光灯23对应的区域也可以形成红外增透膜60。

请参阅图14，在某些实施方式中，显示屏10的与结构光投射器21对应的区域形成有红外透过层50。如上所述，红外透过层50对红外光具有较高的透过率，而对红外光以外的光线(如可见光)透过率较低或者使得红外光以外的光线(如可见光)完全不能透过，用户难以看到结构光投射器21。

同时，当显示屏10与结构光摄像头22对应的位置未开设通槽14时，显示屏10与结构光摄像头22对应的区域也可以形成红外透过层50，以减少穿过显示屏10的红外光以外的光线对结构光摄像头22的影响。当显示屏10与泛光灯23对应的位置未开设通槽14时，显示屏10与泛光灯23对应的区域也可以形成红外透过层50。

请参阅图15，在某些实施方式中，显示屏10形成有贯穿正面12及背面13的通槽14。电子装置1000还包括可见光摄像头70，可见光摄像头70与通槽14对准设置。盖板40上与通槽14对应的区域形成有可见光增透膜80、及/或红外截止膜90。

可见光摄像头70可用于接收穿过盖板40和通槽14的可见光以获取影像。在盖板40上与通槽14对应的区域形成可见光增透膜80可以增加可见光穿过盖板40时的透过率，以便于提高可见光摄像头70的成像质量。在盖板40上与通槽14对应的区域形成红外截止膜90可以降低红外光穿过盖板40时的透过率，或者完全阻止红外光进入可见光摄像头70，以减少红外光对可见光摄像头70成像时的影响。

请参阅图1及图16，本申请还提供一种图像获取方法，可用于上述任意一项实施方式所述的结构光组件20。结构光组件20设置在电子装置1000上。结构光组件20包括结构光投射器21和结构光摄像头22，结构光投射器21设置在显示屏10的背面13所在一侧，结构光投射器21用于发射穿过显示区11的结构光。图像获取方法包括：

00：控制结构光投射器21朝显示屏10的显示区11发射结构光；

01：控制结构光摄像头22拍摄由结构光产生的散斑图像；和

02：根据散斑图像中的测量斑点和参考图像中的参考斑点获取深度图像。

请参阅图1及图17，本申请实施方式的图像获取方法可以由本申请实施方式的图像获取装置400实现。图像获取装置400包括控制模块401和计算模块402。步骤00和步骤01可以由控制模块401实现。步骤02可以由计算模块402实现。也即是说，控制模块401可用于控制结构光投射器21朝显示屏10的显示区11发射结构光、以及控制结构光摄像头22拍摄由结构光产生的散斑图像。计算模块402可用于根据散斑图像中的测量斑点和参考图像中的参考斑点获取深度图像。

请再参阅图1，本申请实施方式的图像获取方法可以应用于上述任意一项实施方式所述的结构光组件20中。结构光组件20还包括处理器200，步骤00、步骤01和步骤02均可以由处理器200实现。也即是说，处理器200可用于控制结构光投射器21朝显示屏10的显示区11发射结构光、控制结构光摄像头22拍摄由结构光产生的散斑图像、以及根据所述散斑图像中的测量斑点和参考图像中的参考斑点获取深度图像。其中，结构光组件20的处理器200与电子装置1000的处理器可以为两个独立的处理器；或者，结构光组件20的处理器200与电子装置1000的处理器可以为同一个处理器。在本申请的具体实施例中，结构光组件20的处理器200与电子装置1000的处理器为同一个处理器200。

具体地，结构光投射器21开启后可以向场景中投射结构光，投射到场景中的结构光会形成带有多个斑点的散斑图案。由于场景中的多个目标物体与结构光投射器21之间的距离不同，投射到目标物体上的散斑图案会因为目标物体表面高度的不同而被调制，并使得散斑图案中的多个斑点发生不同程度的偏移，偏移后的斑点被结构光摄像头22采集后即可形成包括多个测量斑点的散斑图像。处理器200获取散斑图像后，可以根据散斑图像中的测量斑点相对于参考图像中的参考斑点的偏移量计算得到多个像素的深度数据，多个带有深度数据的像素即可构成一幅深度图像。其中，参考图像为事先标定得到。

本申请实施方式的图像获取方法和电子装置1000将结构光投射器21设置在显示屏10背面13所在一侧，即结构光投射器21设置在显示屏10下，显示屏10不需要开设与结构光投射器21对准的通槽14，电子装置1000的屏占比较高，同时也不会影响深度图像的获取。

请参阅图1、图5、图8及图18，在某些实施方式中，结构光投射器21和结构光摄像头22一起设置在显示屏10的背面13所在一侧，且显示屏10开设有与结构光摄像头22的入光面对准的通槽14时，结构光摄像头22接收的是穿过通槽14的被调制后的结构光。此时，步骤01控制结构光摄像头22拍摄由结构光产生的散斑图像包括：

011：控制结构光摄像头22接收出射时经显示区11衍射并被目标物体反射后直接入射的结构光以得到散斑图像，散斑图像中包括多个测量斑点，多个测量斑点包括激光仅被衍射光学元件213(图4所示)衍射并被目标物体反射形成的第一测量斑点和激光经过衍射光学元件213一次衍射再由显示屏10二次衍射并被目标物体反射形成的第二测量斑点；具体地，第一测量斑点是激光经过衍射光学元件213衍射后在经过显示屏10时并没有被显示屏10衍射，即没有遇到微观间隙而直接投射到目标物体，并被目标物体调制反射后形成的；第二测量斑点是激光经过衍射光学元件213衍射后经过显示屏10时又被显示屏10衍射，即遇到微观间隙后投射到目标物体，并被目标物体调制反射后形成的；

步骤02根据散斑图像中的测量斑点和参考图像中的参考斑点获取深度图像包括：

021：根据散斑图像中的第一测量斑点及第二测量斑点与参考图像中的参考斑点获取深度图像。

请再参阅图17，在某些实施方式中，步骤011可以由控制模块401实现。步骤021可以由计算模块402实现。

请再参阅图1，在某些实施方式中，步骤011和步骤021均可以由处理器200实现。也即是说，处理器200还可用于控制结构光摄像头22接收出射时经显示区11衍射并被目标物体反射后直接入射的结构光以得到散斑图像，散斑图像中包括多个测量斑点，多个测量斑点包括激光仅被衍射光学元件213衍射并被目标物体反射形成的第一测量斑点和激光经过衍射光学元件213一次衍射再由显示屏10二次衍射并被目标物体反射形成的第二测量斑点。处理器200还可用于根据散斑图像中的第一测量斑点及第二测量斑点与参考图像中的参考斑点获取深度图像。

具体地，请结合图4，结构光投射器21通常包括光源211、准直元件212和衍射光学元件213。其中，光源211用于发射激光；准直元件212用于准直光源211发射的激光；衍射光学元件213用于衍射经准直元件212准直后的激光以向场景中投射结构光，投射到场景中的结构光形成散斑图案，散斑图案中包括多个斑点，这些斑点是激光仅经过衍射光学元件213的衍射形成的。

LCD屏、OLED屏、Micro LED屏等类型的显示屏10的显示区11上通常形成有固定的像素排布结构，相邻像素之间形成有微观间隙，当单点激光穿过这些微观间隙时会被衍射以产生一系列的斑点。显示区11中像素排布结构不同时，单点激光穿过显示区11后形成的散斑图案的斑点的排布也不一样。结构光投射器21发射的结构光通常为红外激光。如此，当结构光投射器21置于显示屏10背面13所在一侧，即显示屏10下方时，结构光投射器21发射的红外激光穿过显示区11时也会被显示区11中的微观间隙所衍射以产生具有多个斑点的散斑图案。由此，结构光投射器21投射到空间中的散斑图案中的多个斑点同时包括激光仅被衍射光学元件213衍射形成的第一斑点和激光经过衍射光学元件213一次衍射再由显示屏10二次衍射形成的第二斑点。

结构光摄像头22成像时，结构光摄像头22会接收由场景中的目标物体反射回的结构光以形成散斑图像。在本申请实施方式中，由于显示屏10开设有通槽14，结构光摄像头22的入光面与通槽14对准，通槽14不具有微观间隙，经衍射光学元件213一次衍射、又经显示屏10二次衍射并被目标物体调制后反射回的激光经过通槽14时不会被衍射，结构光摄像头22接收的是经显示区11衍射并被目标物体反射后直接入射的结构光，形成的散斑图像中的多个测量斑点同时包括激光仅被衍射光学元件213衍射并被目标物体反射形成的第一测量斑点和激光经过衍射光学元件213一次衍射再由显示屏10二次衍射并被目标物体反射形成的第二测量斑点。

结构光摄像头22拍摄到散斑图像后，处理器200可以直接根据散斑图像中的第一测量斑点及第二测量斑点与参考图像中的参考斑点来计算深度图像。其中，深度图像的计算方式可以包括下述的两种。

请参阅图19，在一个计算方式中，步骤021包括：

0211：计算所有测量斑点相对于所有参考斑点的偏移量；及

0212：根据偏移量计算深度数据以得到深度图像。

对应地，图像获取方法还包括：

031：在标定参考图像时，控制结构光摄像头22接收出射时经显示区11衍射并被标定物体反射后直接入射的结构光以得到参考图像，参考图像中包括多个参考斑点。

请再参阅图17，步骤0211和步骤0212均可以由计算模块402实现。步骤031可以由控制模块401实现。

请再参阅图1，步骤0211、步骤0212和步骤031均可以由处理器200实现。也即是说，处理器200还可用于计算所有测量斑点相对于所有参考斑点的偏移量及根据偏移量计算深度数据以得到深度图像。处理器200还可用于在标定参考图像时，控制结构光摄像头22接收出射时经显示区11衍射并被标定物体反射后直接入射的结构光以得到参考图像，参考图像中包括多个参考斑点。

具体地，请结合图20，在标定参考图像的过程中，结构光投射器21与结构光摄像头22均设置在显示屏10的背面13所在一侧，且显示屏10开设有与结构光摄像头22的入光面对准的通槽14，结构光摄像头22可以接收穿过通槽14的被调制后的结构光。如此，在标定场景下和实际使用场景下，结构光投射器21与结构光摄像头22相对于显示屏10的设置位置是一致的。在标定场景下，处理器200控制结构光投射器21发射结构光，结构光穿过显示区11后投射到与结构光组件20相隔预定距离的标定物体，如标定板处，被标定板反射回的结构光穿过通槽14被结构光摄像头22接收。此时，结构光摄像头22接收到的是由结构光投射器21发出后经显示屏10衍射并被标定板反射后经由通槽14直接入射的结构光，形成的参考图像中包括多个参考斑点。其中，参考斑点同时包括与第一测量斑点对应的第一参考斑点和与第二测量斑点对应的第二参考斑点。第一参考斑点是激光在经过衍射光学元件213时被衍射光学元件213衍射，且在经过显示屏10未被显示屏10衍射，并被标定板调制反射后形成的；第二参考斑点是激光经过衍射光学元件213时被衍射光学元件213一次衍射，且在经过显示屏10时又被显示屏10二次衍射，并被标定板调制反射后形成的。虽然散斑图像中同时包括第一测量斑点和第二测量斑点，参考图像中同时包括第一参考斑点和第二参考斑点，但是在此计算方式中，处理器200并不会对散斑图像中的第一测量斑点和第二测量斑点做区分，也不会对参考图像中的第一参考斑点和第二参考斑点做区分，而是直接基于所有的测量斑点和所有的参考斑点来进行深度图像的计算。具体地，处理器200首先计算所有测量斑点相对于所有参考斑点的偏移量，再基于多个偏移量计算出多个深度数据，从而得到深度图像。

请参阅图21，在另一个计算方式中，步骤021包括：

0213：计算第一测量斑点相对于第一参考斑点的偏移量、以及第二测量斑点相对于第二参考斑点的偏移量；及

0214：根据偏移量计算深度数据以得到深度图像。

此时，图像获取方法还包括：

032：在标定参考图像时，控制结构光摄像头22接收从结构光投射器21出射后直接被标定物体反射并直接入射的结构光以得到第一参考图像，第一参考图像中包括多个参考斑点，多个参考斑点包括多个激光仅被衍射光学元件213衍射并被标定物体反射形成的第一参考斑点；

033：在标定参考图像时，控制结构光摄像头22接收出射时经显示区11衍射并被标定物体反射后直接入射的结构光以得到第二参考图像，第二参考图像中包括多个参考斑点，多个参考斑点包括激光仅被衍射光学元件213衍射并被标定物体反射形成的第一参考斑点和激光经过衍射光学元件213一次衍射再由显示屏10二次衍射并被标定物体反射形成的第二参考斑点；

041：比对第一参考图像与第二参考图像以获取第二参考斑点；

051：计算多个第二参考斑点的亮度的平均值与多个第一参考斑点的亮度的平均值之间的比值并作为预设比值，及计算多个第一参考斑点的亮度的平均值并作为预设亮度；

061：计算每个测量斑点与预设亮度之间的实际比值；及

071：将实际比值大于预设比值的测量斑点归类为第一测量斑点，及将实际比值小于第一预设比值的测量斑点归类为第二测量斑点。

请再参阅图17，步骤0213、步骤0214、步骤041、步骤051、步骤061和步骤071均可以由计算模块402实现。步骤032和步骤033均可以由控制模块401实现。

请再参阅图1，步骤0213、步骤0214、步骤032、步骤033、步骤041、步骤051、步骤061和步骤071均可以由处理器200实现。也即是说，处理器200还可用于在标定参考图像时控制结构光摄像头22接收从所述结构光投射器21出射后直接被标定物体反射并直接入射的结构光以得到第一参考图像、在标定参考图像时控制结构光摄像头22接收出射时经显示区11衍射并被标定物体反射后直接入射的结构光以得到第二参考图像、比对第一参考图像与第二参考图像以获取第二参考斑点、计算多个第二参考斑点的亮度的平均值与多个第一参考斑点的亮度的平均值之间的比值并作为预设比值、及计算多个第一参考斑点的亮度的平均值并作为预设亮度。处理器200还可用于计算每个测量斑点与预设亮度之间的实际比值、将实际比值大于预设比值的测量斑点归类为第一测量斑点、及将实际比值小于预设比值的测量斑点归类为第二测量斑点。处理器200还可用于计算第一测量斑点相对于第一参考斑点的偏移量、以及第二测量斑点相对于第二参考斑点的偏移量、以及根据偏移量计算深度数据以得到深度图像。

此种计算方式下，处理器200需要标定出第一参考图像和第二参考图像。具体地，处理器200首先控制结构光投射器21在没有显示屏10遮挡的场景下发射结构光至标定板处，再控制结构光摄像头22接收由标定板反射后直接入射的结构光以得到第一参考图像，其中，第一参考图像中包括的多个参考斑点为第一参考斑点，第一参考斑点是激光在经过衍射光学元件213时被衍射光学元件213衍射，且直接出射到标定板后被标定板调制反射后直接入射形成的。随后，处理器200按照第一种计算方式，即前述步骤031中参考图像的标定方式标定出第二参考图像。此时第二参考图像中同时包括与第一测量斑点对应的第一参考斑点和与第二测量斑点对应的第二参考斑点。其中，第一参考图像和第二参考图像的标定场景中，标定板与结构光投射器21及结构光摄像头22之间的相对位置是保持不变的，结构光投射器21与结构光摄像头21之间的相对位置也保持不变。随后，处理器200标记出第一参考图像中的第一参考斑点的坐标，并根据第一参考斑点的坐标在第二参考图像中筛选出第一参考斑点，第二参考图像中剩余的参考斑点即为第二参考斑点。如此，处理器200即可在第二参考图像的所有参考斑点中区分出第一参考斑点和第二参考斑点。

由于后续计算深度数据时，散斑图像中的测量斑点也需要进行区分。具体地，可以通过亮度来区分出第一测量斑点和第二测量斑点。可以理解，第一测量斑点是激光仅经过衍射光学元件213的一次衍射形成的，第二测量斑点是激光经过衍射光学元件213的一次衍射和显示屏10的二次衍射形成的，形成第二测量斑点的激光被衍射的次数多于形成第一测量斑点的激光被衍射的次数，因此，形成第一测量斑点的激光的能量损耗较小，形成第二测量斑点的激光的能量损耗较大，第二测量斑点的亮度会低于第一测量斑点的亮度。如此，基于亮度来区分出第一测量斑点和第二测量斑点是可行的。那么，在参考图像标定完毕后还需要进一步标定出用于区分第一测量斑点和第二测量斑点的预设亮度及预设比值。具体地，在处理器200区分出第一参考斑点和第二参考斑点后，处理器200计算出第二参考图像中多个第一参考斑点的亮度的平均值，并计算出第二参考图像中多个第二参考斑点的亮度的平均值。随后，处理器200将多个第一参考斑点的亮度的平均值作为预设亮度，将多个第二参考斑点的亮度的平均值与多个第一参考斑点的亮度的平均值之间的比值作为预设比值。

在后续的深度数据计算中，处理器200首先计算出每个测量斑点的亮度。随后，处理器200计算每个测量斑点与预设亮度之间的实际比值，并将实际比值大于或等于预设比值的测量斑点归类为第一测量斑点，将实际比值小于预设比值的测量斑点归类为第二测量斑点，从而区分出第一测量斑点和第二测量斑点。例如，如图22所示，假设预设比值为0.8，实际使用中结构光摄像头22拍摄的散斑图像中包括测量斑点A和测量斑点B。其中，测量斑点A的亮度与预设亮度之间的比值若小于0.8，则将测量斑点A归类到第二测量斑点，此时说明测量斑点A是激光经衍射光学元件213一次衍射再由显示屏10二次衍射并被目标物体反射形成的测量斑点；测量斑点B的亮度与预设亮度之间的比值大于或等于0.8，则将测量斑点B归类到第一测量斑点中，此时说明测量斑点B是激光经衍射光学元件213一次衍射并被目标物体反射形成的测量斑点。其中，预设比值0.8仅为示例。

处理器200区分出第一测量斑点和第二测量斑点后，由于第二参考图像中的第一参考斑点和第二参考斑点也已经被区分出，则处理器200即可利用散斑图像和第二参考图像计算出深度数据。具体地，处理器200首先计算第一测量斑点相对于第一参考斑点的偏移量、以及第二测量斑点相对于第二参考斑点的偏移量。随后，处理器200基于多个偏移量计算出多个深度数据，多个深度数据即可构成一幅深度图像。

与第一种计算方式相比，第二种计算方式对第一测量斑点和第二测量斑点进行区分，对第一参考斑点和第二参考斑点进行区分，可以基于更为准确的第一测量斑点与第一参考斑点的对应关系、以及第二测量斑点与第二参考斑点的对应关系计算得到更为准确的偏移量，进一步得到较为准确的深度数据，提升获取的深度图像的精度。

在某些实施方式中，预设亮度和预设比值由场景的环境亮度以及结构光投射器21的发光功率决定。可以理解，环境光线中存在红外光成分，这部分红外光成分可能会与测量斑点进行叠加使得测量斑点的亮度有所增加；结构光投射器21的发光功率与测量斑点的亮度息息相关，当发光功率较大时，测量斑点的亮度也相应较高；当发光功率较小时，测量斑点的亮度也相应较低。因此，不同的环境亮度和发光功率应该具有不同的预设亮度和预设比值。不同环境亮度和不同发光功率下的预设亮度和预设比值同样可以按照步骤032和步骤033的标定过程标定得到。在标定过程中，对标定场景的环境亮度以及结构光投射器21的发光功率进行改变以获得对应该环境亮度及发光功率的预设亮度和预设比值，其中，改变结构光投射器21的发光功率具体可以通过改变光源211的驱动电流来实现。环境亮度、发光功率、预设亮度及预设比值四者的对应关系可以以映射表的形式存储在存储器300(图1所示)中。在后续以第二种计算方式计算深度图像时，处理器200首先获取场景的环境亮度和发光功率，并在映射表中查找与当前的环境亮度和发光功率对应的预设亮度和预设比值，再基于查找的预设亮度和预设比值区分出第一测量斑点和第二测量斑点。如此，可以提升第一测量斑点和第二测量斑点的区分的准确性。

在某些实施方式中，衍射光学元件213除了用于衍射结构光投射器21的光源211发射的激光以增加测量斑点或参考斑点的数量之外，还可以用于补偿显示屏10衍射的结构光的亮度均匀性，使得投射到场景中的散斑图案中的多个斑点的亮度的均匀性较好，有利图提升深度图像的获取精度。具体地，衍射光学元件213中的凸起或凹陷结构可以呈中间密、两边疏的排布，则衍射光学元件213的中间部分的衍射作用比边缘部分的衍射作用强。如此，入射到衍射光学元件213的中间部分的激光可以被衍射出更多光束，入射到衍射光学元件213的边缘部分的激光会被衍射出较少的光束，从而使得投射到场景中的散斑图案的亮度具有较高的均匀性。

综上，本申请实施方式的图像获取方法在结构光投射器21和结构光摄像头22均位于显示屏10的背面13所在一侧，且结构光摄像头22接收的是穿过通槽14的被调制的结构光时，处理器200可直接根据第一测量斑点及第二测量斑点计算深度图像，相比于仅使用第一测量斑点来计算深度图像的方式，显示屏10的衍射作用增加了测量斑点的数量和测量斑点排布的随机性，有利于提升深度图像的获取精度。进一步地，本申请实施方式的图像获取方法可以适当简化衍射光学元件213中衍射光栅的结构的复杂性，转而借助显示屏10的衍射作用来增加测量斑点的数量和排布的随机性，在保障深度图像的获取精度的同时可以简化结构光投射器21的制作工艺。

请参阅图1、图5、图8及图23，在某些实施方式中，在结构光投射器21和结构光摄像头22一起设置在显示屏10的背面13所在一侧，且显示屏10开设有与结构光摄像头22的入光面对准的通槽14时，结构光摄像头22接收的是穿过通槽14的被调制后的结构光。此时，步骤01包括：

011：控制结构光摄像头22接收出射时经显示区11衍射并被目标物体反射后直接入射的结构光以得到散斑图像，散斑图像中包括多个测量斑点，多个测量斑点包括激光仅被衍射光学元件213衍射并被目标物体反射形成的第一测量斑点和激光经过衍射光学元件213一次衍射再由显示屏10二次衍射并被目标物体反射形成的第二测量斑点；具体地，第一测量斑点是激光经过衍射光学元件213衍射后在经过显示屏10时并没有被显示屏10衍射，即没有遇到微观间隙而直接投射到目标物体，并被目标物体调制反射后形成的；第二测量斑点是激光经过衍射光学元件213衍射后经过显示屏10时又被显示屏10衍射，即遇到微观间隙后投射到目标物体，并被目标物体调制反射后形成的；

步骤02包括：

022：滤除散斑图像中的第二测量斑点以得到第一测量斑点；

023：根据第一测量斑点及参考图像中的参考斑点获取深度图像。

请再参阅图17，步骤011可以由控制模块401实现。步骤022和步骤023均可以由计算模块402实现。

请再参阅图1，步骤011、步骤022和步骤023均可以由处理器200实现。也即是说，处理器200还可用于控制结构光摄像头22接收出射时经显示区11衍射并被目标物体反射后直接入射的结构光以得到散斑图像、滤除散斑图像中的第二测量斑点以得到第一测量斑点、以及根据第一测量斑点及参考图像中的参考斑点获取深度图像。

具体地，结构光投射器21和结构光摄像头22一起设置在显示屏10的背面13所在一侧，且显示屏10开设有与结构光摄像头22的入光面对准的通槽14时，结构光摄像头22拍摄到的是包含第一测量斑点和第二测量斑点的散斑图像。在后续深度图像的计算中，处理器200可以滤除散斑图像中的第二测量斑点，仅基于剩下的第一测量斑点来与参考图像中的参考斑点做深度图像的计算。此时，参考图像中的参考斑点应该仅包括多个激光仅被衍射光学元件213衍射并被标定物体反射形成的第一参考斑点。因此，通过滤除散斑图像中的第二测量斑点的方式可以消除显示屏10对结构光的影响，从而在保证电子装置1000的屏占比较高的情况下，电子装置1000获取的深度图像的精度也较高。

也即是说，请参阅图24，图像获取方法还包括：

032：在标定参考图像时，控制结构光摄像头22接收从结构光投射器21出射后直接被标定物体反射并直接入射的结构光以得到第一参考图像，第一参考图像中包括多个参考斑点，多个参考斑点包括多个激光仅被衍射光学元件213衍射并被标定物体反射形成的第一参考斑点；

步骤023包括：

0231：计算第一测量斑点相对于第一参考斑点的偏移量；及

0232：根据偏移量计算深度数据以得到深度图像。

请再参阅图17，步骤032可以由控制模块401实现。步骤0231和步骤0232均可以由计算模块402实现。

请再参阅图1，步骤032、步骤0231和步骤0232均可以由处理器200实现。也即是说，处理器200还可用于在标定参考图像时控制结构光摄像头22接收从结构光投射器21出射后直接被标定物体反射并直接入射的结构光以得到第一参考图像、计算第一测量斑点相对于第一参考斑点的偏移量、根据偏移量计算深度数据以得到深度图像。

具体地，处理器200滤除第二测量斑点后，散斑图像中仅剩余第一测量斑点，则此时散斑图像应该与仅包含对应第一测量斑点的第一参考斑点的第一参考图像来进行深度图像的计算。其中，第一参考图像的标定过程与前述步骤032中将结构光投射器21放在没有显示屏10遮挡的场景下进行标定的标定过程一致，在此不再赘述。结构光拍摄的第一参考图像中的多个参考斑点是激光仅被衍射光学元件213衍射并被标定物体反射形成的第一参考斑点。如此，处理器200即可计算出第一测量斑点相对于第一参考斑点的偏移量，再基于多个偏移量计算出多个深度数据，从而得到深度图像。

处理器200可以通过亮度来滤除第二测量斑点。也即是说，请参阅图25，在某些实施方式中，图像获取方法还包括：

032：在标定参考图像时，控制结构光摄像头22接收从结构光投射器21出射后直接被标定物体反射并直接入射的结构光以得到第一参考图像，第一参考图像中包括多个所述参考斑点，多个参考斑点包括多个激光仅被衍射光学元件213衍射并被标定物体反射形成的第一参考斑点；

033：在标定参考图像时，控制结构光摄像头22接收出射时经显示区11衍射并被标定物体反射后直接入射的结构光以得到第二参考图像，第二参考图像中包括多个参考斑点，多个参考斑点包括激光仅被衍射光学元件213衍射并被标定物体反射后形成的第一参考斑点和激光经过衍射光学元件213一次衍射再由显示屏10二次衍射并被标定物体反射形成的第二参考斑点；

041：比对第一参考图像与第二参考图像以获取第二参考斑点；及

051：计算多个第二参考斑点的亮度的平均值与多个第一参考斑点的亮度的平均值之间的比值作为预设比值，及计算多个第一参考斑点的亮度的平均值并作为预设亮度；

步骤022包括：

0221：计算每个测量斑点与预设亮度之间的实际比值；

0222：将实际比值大于预设比值的测量斑点归类为第一测量斑点，及将实际比值小于预设比值的测量斑点归类为第二测量斑点；及

0223：从所有测量斑点中滤除第二测量斑点以得到第一测量斑点。

请再参阅图17，步骤032和步骤033均可以由控制模块401实现。步骤041、步骤051、步骤0221、步骤0222和步骤0223均可以由计算模块401实现。

请再参阅图1，步骤032、步骤033、步骤041、步骤051、步骤0221、步骤0222和步骤0223均可以由处理器200实现。也即是说，处理器200还可用于在标定参考图像时控制结构光摄像头22接收从结构光投射器21出射后直接被标定物体反射并直接入射的结构光以得到第一参考图像、以及在标定参考图像时控制结构光摄像头22接收出射时经显示区11衍射并被标定物体反射后直接入射的结构光以得到第二参考图像。处理器200还可用于比对第一参考图像与第二参考图像以获取第二参考斑点、计算多个第二参考斑点的亮度的平均值与多个第一参考斑点的亮度的平均值之间的比值作为预设比值、及计算多个第一参考斑点的亮度的平均值并作为预设亮度。处理器200还可用于计算每个测量斑点与预设亮度之间的实际比值、将实际比值大于预设比值的测量斑点归类为第一测量斑点、及将实际比值小于预设比值的测量斑点归类为第二测量斑点、以及从所有测量斑点中滤除第二测量斑点以得到第一测量斑点。

其中，步骤032所述的标定第一参考图像的过程与前述步骤032中将结构光投射器21放在没有显示屏10遮挡的场景下进行标定的标定过程一致，步骤033所述的标定第二参考图像的过程与前述步骤031中将结构光投射器21和结构光摄像头22均放在显示屏10的背面13所在一侧，且结构光摄像头22入光面对准显示屏10的通槽14的场景下进行标定的标定过程一致，在此不再赘述。

在得到第一参考图像和第二参考图像后，处理器200即可采用与前述步骤041相同的方式，即根据第一参考图像中第一参考斑点的坐标来确定出第二参考图像中第一参考斑点，剩余的参考斑点即为第二参考斑点，从而区分出第一参考斑点和第二参考斑点。随后，处理器200即可采用与前述步骤051相同的方式来基于区分出的第一参考斑点和第二参考斑点标定计算预设亮度和预设比值。

同样地，在后续深度图像的计算中，处理器200可采用与前述步骤061和前述步骤071相同的方式，即基于标定好的预设比值和预设亮度来区分出第一测量斑点和第二测量斑点，随后滤除第二测量斑点，仅留下第一测量斑点，再计算第一测量斑点相对于第一参考斑点的偏移量，最后基于偏移量计算出深度数据，从而得到深度图像。

在某些实施方式中，预设亮度和预设比值同样由场景的环境亮度以及结构光投射器21的发光功率决定。如此，可以提高第二测量斑点的滤除的准确性。

在某些实施方式中，衍射光学元件213除了用于衍射结构光投射器21的光源211发射的激光以增加测量斑点或参考斑点的数量之外，还可以用于补偿显示屏10衍射的结构光的亮度均匀性，使得投射到场景中的散斑图案中的多个斑点的亮度的均匀性较好，有利于提升深度图像的获取精度。

综上，本申请实施方式的图像获取方法在结构光投射器21和结构光均位于显示屏10下，且结构光摄像头22接收穿过通槽14的被调制后的结构光时，先滤除第二测量斑点，仅根据剩余的第一测量斑点来计算深度图像，减少了处理器200的数据处理量，有利于加快深度图像的获取进程。

请参阅图1、图3及图26，在某些实施方式中，结构光投射器21和结构光摄像头22均设置在显示屏10的背面13所在的一侧，显示屏10未开设通槽14，结构光摄像头22接收的是穿过显示区11两次的被调制后的结构光。此时，步骤01包括：

012：控制结构光摄像头22接收出射时经显示区11衍射并被目标物体反射后入射时再经显示区11衍射的结构光以得到散斑图像，散斑图像中包括多个测量斑点，多个测量斑点包括激光仅被衍射光学元件213(图4所示)一次衍射并被目标物体反射形成的第一测量斑点、激光经过衍射光学元件213一次衍射再由显示屏10二次衍射并被目标物体反射形成的第二测量斑点、及激光经过衍射光学元件213一次衍射再由显示屏10二次衍射并被目标物体反射后又一次由显示屏10三次衍射形成的第三测量斑点；具体地，第一测量斑点是激光经过衍射光学元件213衍射后在经过显示屏10时并没有被显示屏10衍射，即没有遇到微观间隙而直接投射到目标物体，并被目标物体调制反射后形成的；第二测量斑点是激光经过衍射光学元件213衍射后经过显示屏10时又被显示屏10衍射，即遇到微观间隙后投射到目标物体，被目标物体调制反射后再次经过显示屏10时未被显示屏10衍射形成的；第三测量斑点是激光经过衍射光学元件213衍射后经过显示屏10又被显示屏10衍射，即遇到微观间隙后投射到目标物体，被目标物体调制反射后再次经过显示屏10又一次被显示屏10中的微观间隙衍射后形成的；

步骤02包括：

024：根据散斑图像中的第一测量斑点、第二测量斑点、及第三测量斑点与参考图像中的参考斑点计算深度图像。

请再参阅图17，步骤012可以由控制模块401实现。步骤024可以由计算模块402实现。

请再参阅图1，步骤012和步骤024均可以由处理器200实现。也即是说，处理器200还可用于控制结构光摄像头22接收出射时经显示区11衍射并被目标物体反射后入射时再经显示区11衍射的结构光以得到散斑图像。处理器200还可用于根据散斑图像中的第一测量斑点、第二测量斑点、及第三测量斑点与参考图像中的参考斑点计算深度图像。

具体地，请结合图4，结构光投射器21的光源211发射激光经过衍射光学元件213衍射后形成结构光投射到场景中以形成散斑图案。散斑图案中包括多个斑点，这些斑点是激光仅经过衍射光学元件213的衍射形成的。

结构光摄像头22成像时，结构光摄像头22会接收由场景中的目标物体反射回的结构光以形成散斑图像。在本申请实施方式中，由于显示屏10未开设通槽14，经衍射光学元件213一次衍射又经显示屏10二次衍射，并被目标物体调制后反射回的激光经过显示屏10时会再次被显示屏10中的显示区11衍射，结构光摄像头22接收的是出射后经过显示区11时被显示区11衍射，在被目标物体反射后再次经过显示区11时又被显示区11衍射的结构光，形成的散斑图像中的多个测量斑点同时包括激光仅被衍射光学元件213衍射并被目标物体反射形成的第一测量斑点、激光经过衍射光学元件213一次衍射再由显示屏10二次衍射并被目标物体反射形成的第二测量斑点、以及激光经过衍射光学元件213一次衍射再由显示屏10二次衍射并被目标物体反射后又一次由显示屏10三次衍射形成的第三测量斑点。

结构光摄像头22拍摄得到散斑图像后，处理器200可以直接根据散斑图像中的第一测量斑点、第二测量斑点及第三测量斑点与参考图像计算深度图像。此时，参考图像中的多个参考斑点需包括第一参考斑点、第二参考斑点和第三参考斑点。其中，深度图像的计算方式可以包括下述的两种。

请参阅图27，在一个计算方式中，步骤024包括：

0241：计算所有测量斑点相对于所有参考斑点的偏移量；及

0242：根据偏移量计算深度数据以得到深度图像。

对应地，图像获取方法还包括：

034：在标定参考图像时，控制结构光摄像头22接收出射时经显示区11衍射并被标定物体反射后入射时再经显示区22衍射的结构光以得到参考图像，参考图像中包括多个参考斑点。

请再参阅图17，步骤0241和步骤0242均可以由计算模块402实现。步骤034可以由控制模块401实现。

请再参阅图1，步骤0241、步骤0242和步骤034均可以由处理器200实现。也即是说，处理器200还可用于计算所有测量斑点相对于所有参考斑点的偏移量、以及根据偏移量计算深度数据以得到深度图像。处理器200还可用于在标定参考图像时，控制结构光摄像头22接收出射时经显示区11衍射并被标定物体反射后入射时再经显示区22衍射的结构光以得到参考图像，参考图像中包括多个参考斑点。

具体地，请结合图28，在标定参考图像的过程中，结构光投射器21与结构光摄像头22均设置在显示屏10的背面13所在一侧，且显示屏10未开设有通槽14。如此，在标定场景下和实际使用场景下，结构光投射器21与结构光摄像头22相对于显示屏10的设置位置是一致的。在标定场景下，处理器200控制结构光投射器21发射结构光，结构光穿过显示区11后投射到与结构光组件20相隔预定距离的标定板处，被标定板反射回的结构光再次穿过显示区11后被结构光摄像头22接收。此时，结构光摄像头22接收到的是由结构光投射器21发出后经显示屏10衍射，被标定板反射后，再经由显示屏10衍射后入射的结构光，形成的参考图像中包括多个参考斑点。其中，参考斑点同时包括与第一测量斑点对应的第一参考斑点、与第二测量斑点对应的第二参考斑点、与第三测量斑点对应的第三参考斑点。第一参考斑点是激光经过衍射光学元件213时被衍射光学元件213一次衍射，且在经过显示屏10未被显示屏10衍射，并被标定板反射后再次经过显示屏10时仍旧未被显示屏10衍射形成的。第二参考斑点是激光经过衍射光学元件213时被衍射光学元件213一次衍射，且在经过显示屏10被显示屏10二次衍射，并被标定板反射后再次经过显示屏10时未被显示屏10衍射形成的。第三参考斑点是激光经过衍射光学元件213时被衍射光学元件213一次衍射，且在经过显示屏10被显示屏10二次衍射，并被标定板反射后再次经过显示屏10时被显示屏10三次衍射形成的。

虽然散斑图像中同时包括第一测量斑点、第二测量斑点和第三测量斑点，参考图像中同时包括第一参考斑点、第二参考斑点和第三参考斑点。但是在此计算方式中，处理器200并不会对散斑图像中的第一测量斑点、第二测量斑点和第三测量斑点做区分，也不会对参考图像中的第一参考斑点、第二参考斑点和第三参考斑点做区分，而是直接基于所有的测量斑点和所有的参考斑点来进行深度图像的计算。具体地，处理器200首先计算所有测量斑点相对于所有参考斑点的偏移量，再基于多个偏移量计算出多个深度数据，从而得到深度图像。

请参阅图29，在另一个计算方式中，步骤024包括：

0243：计算第一测量斑点相对于第一参考斑点的偏移量、第二测量斑点相对于第二参考斑点的偏移量、以及第三测量斑点相对于第三参考斑点的偏移量；及

0244：根据偏移量计算深度数据以得到深度图像。

此时，图像获取方法还包括：

035：在标定参考图像时，控制结构光摄像头22接收从结构光投射器21出射后直接被标定物体反射并直接入射的结构光以得到第一参考图像，第一参考图像中包括多个参考斑点，多个参考斑点包括多个激光仅被衍射光学元件213衍射并被标定物体反射形成的第一参考斑点；

036：在标定参考图像时，控制结构光摄像头22接收出射时经显示区11衍射并被标定物体反射后直接入射的结构光以得到第二参考图像，第二参考图像中包括多个参考斑点，多个参考斑点包括激光仅被衍射光学元件213衍射并被标定物体反射形成的第一参考斑点和激光经过衍射光学元件213一次衍射再由显示屏10二次衍射并被标定物体反射形成的第二参考斑点；

037：在标定参考图像时，控制结构光摄像头22接收出射时经显示区11衍射并被标定物体反射后在经过显示区11入射时又被显示区11衍射的结构光以得到第三参考图像，第三参考图像中包括多个参考斑点，多个参考斑点包括激光仅被衍射光学元件213衍射并被标定物体反射形成的第一参考斑点、激光经过衍射光学元件213一次衍射再由显示屏10二次衍射并被标定物体反射形成的第二参考斑点、及激光经过衍射光学元件213一次衍射再由显示屏10二次衍射并被标定物体反射后又一次由显示屏10三次衍射形成的第三参考斑点；

042：比对第一参考图像与第二参考图像以获取第二参考斑点，及比对第三参考图像与第二参考图像以获取第三参考斑点；

052：计算多个第二参考斑点的亮度的平均值与多个第一参考斑点的亮度的平均值之间的比值作为第一预设比值，计算多个第三参考斑点的亮度的平均值与多个第一参考斑点的亮度的平均值之间的比值作为第二预设比值，及计算多个第一参考斑点的亮度的平均值并作为预设亮度；

062：计算每个测量斑点与预设亮度之间的实际比值；和

072：将实际比值大于第一预设比值的测量斑点归类为第一测量斑点，将实际比值小于第一预设比值且大于第二预设比值的测量斑点归类为第二测量斑点，将实际比值小于第二预设比值的测量斑点归类为第三测量斑点。

请再参阅图17，步骤0243、步骤0244、步骤042、步骤052、步骤062和步骤072均可以由计算模块402实现。步骤035、步骤036和步骤037均可以由控制模块401实现。

请再参阅图1，步骤0243、步骤0244、步骤035、步骤036、步骤037、步骤042、步骤052、步骤062和步骤072均可以由处理器200实现。也即是说，处理器200还可用于在标定参考图像时控制结构光摄像头22接收从结构光投射器21出射后直接被标定物体反射并直接入射的结构光以得到第一参考图像、在标定参考图像时控制结构光摄像头22接收出射时经显示区11衍射并被标定物体反射后直接入射的结构光以得到第二参考图像、以及在标定参考图像时控制结构光摄像头22接收出射时经显示区11衍射并被标定物体反射后在经过显示区11入射时又被显示区11衍射的结构光以得到第三参考图像。处理器200还可用于比对第一参考图像与第二参考图像以获取第二参考斑点、及比对第三参考图像与第二参考图像以获取第三参考斑点、计算多个第二参考斑点的亮度的平均值与多个第一参考斑点的亮度的平均值之间的比值作为第一预设比值、计算多个第三参考斑点的亮度的平均值与多个第一参考斑点的亮度的平均值之间的比值作为第二预设比值、及计算多个第一参考斑点的亮度的平均值并作为预设亮度。处理器200还可用于计算每个测量斑点与预设亮度之间的实际比值、将实际比值大于第一预设比值的测量斑点归类为第一测量斑点、将实际比值小于第一预设比值且大于第二预设比值的测量斑点归类为第二测量斑点、以及将实际比值小于第二预设比值的测量斑点归类为第三测量斑点。

此种计算方式下，处理器200需要标定出第一参考图像、第二参考图像和第三参考图像。

具体地，处理器200首先控制结构光投射器21在没有显示屏10遮挡的场景下发射结构光至标定板处，再控制结构光摄像头22接收由标定板反射后直接入射的结构光以得到第一参考图像。其中，第一参考图像中包括的多个参考斑点为第一参考斑点，第一参考斑点是激光在经过衍射光学元件213时被衍射光学元件213衍射，且直接出射到标定板后被标定板调制反射后直接入射形成的。

随后，在结构光投射器21与结构光摄像头22均设置在显示屏10的背面13所在一侧，且显示屏10开设有与结构光摄像头22的入光面对准的通槽14，结构光摄像头22可以接收穿过通槽14的被调制后的结构光的场景下，处理器200控制结构光投射器21发射结构光，结构光穿过显示区11后投射到与结构光组件20相隔预定距离的标定板处，被标定板反射回的结构光穿过通槽14被结构光摄像头22接收从而得到第二参考图像。其中，第二参考图像中的多个参考斑点同时包括第一参考斑点和第二参考斑点。第一参考斑点是激光在经过衍射光学元件213时被衍射光学元件213衍射，且在经过显示屏10未被显示屏10衍射，并被标定板调制反射后形成的；第二参考斑点是激光经过衍射光学元件213时被衍射光学元件213一次衍射，且在经过显示屏10时又被显示屏10二次衍射，并被标定板调制反射后形成的。

随后，处理器200按照第一种计算方式，即步骤034中所述的参考图像的标定方式标定出第三参考图像。此时第三参考图像中同时包括与第一测量斑点对应的第一参考斑点、与第二测量斑点对应的第二参考斑点、以及与第三测量斑点对应的第三参考斑点。

其中，在第一参考图像、第二参考图像和第三参考图像的标定场景中，标定板与结构光投射器21及结构光摄像头22之间的相对位置是保持不变的，结构光投射器21与结构光摄像头21之间的相对位置也保持不变。

随后，处理器200首先标记出第一参考图像中的第一参考斑点的第一坐标，再根据第一参考斑点的坐标在第二参考图像中筛选出第一参考斑点，第二参考图像中剩余的参考斑点即为第二参考斑点。处理器200标记出第二参考斑点在第二参考图像中的第二坐标。处理器200再根据第二参考图像中的第一坐标和第二坐标在第三参考图像中分别筛选出第一参考斑点和第二参考斑点，第三参考图像中剩余的参考斑点即为第三参考斑点。如此，处理器200即可在第三参考图像的所有参考斑点中区分出第一参考斑点、第二参考斑点和第三参考斑点。

由于后续计算深度数据时，散斑图像中的测量斑点也需要进行区分。具体地，可以通过亮度来区分出第一测量斑点、第二测量斑点和第三测量斑点。可以理解，第一测量斑点是激光仅经过衍射光学元件213的一次衍射形成的，第二测量斑点是激光经过衍射光学元件213的一次衍射和显示屏10的二次衍射形成的，第三测量斑点是经过衍射光学元件213一次衍射和显示屏10的二次及三次衍射形成的，形成第二测量斑点的激光被衍射的次数多于形成第一测量斑点的激光被衍射的次数，形成第三测量斑点的激光被衍射的次数多于形成第二测量斑点的激光被衍射的次数，因此，形成第一测量斑点的激光的能量损耗最小，形成第三测量斑点的激光的能量损耗最大。第二测量斑点的亮度会低于第一测量斑点的亮度，第三测量斑点的亮度会低于第二测量斑点的亮度。如此，基于亮度来区分出第一测量斑点、第二测量斑点和点测量斑点是可行的。那么，在参考图像标定完毕后还需要进一步标定出用于区分第一测量斑点、第二测量斑点和第三测量斑点的预设亮度和预设比值。具体地，在处理器200区分出第一参考斑点、第二参考斑点和第三参考斑点后，处理器200计算出第三参考图像中的多个第一参考斑点的亮度的平均值，并计算出第三参考图像中多个第二参考斑点的亮度的平均值以及第三参考图像中多个第三参考斑点的亮度的平均值。随后，处理器200将多个第一参考斑点的亮度的平均值作为预设亮度，将多个第二参考斑点的亮度的平均值与多个第一参考斑点的亮度的平均值之间的比值作为第一预设比值，将多个第三参考斑点的亮度的平均值与多个第一参考斑点的亮度的平均值之间的比值作为第二预设比值。

在后续的深度数据计算中，处理器200首先计算出每个测量斑点的亮度。随后，处理器200计算每个测量斑点与预设亮度之间的实际比值，并将实际比值大于或等于第一预设比值的测量斑点归类为第一测量斑点，将实际比值小于第一预设比值且大于或等于第二预设比值的测量斑点归类为第二测量斑点，将实际比值小于第二预设比值的测量斑点归类为第三测量斑点，从而区分出第一测量斑点、第二测量斑点和第三测量。例如，如图30所示，假设预设比值为0.8，实际使用中结构光摄像头22拍摄的散斑图像中包括测量斑点A、测量斑点B和测量斑点C。其中，测量斑点A的亮度与预设亮度之间的比值若小于0.8且大于或等于0.6,，则将测量斑点A归类到第二测量斑点，此时说明测量斑点A是激光经衍射光学元件213一次衍射再由显示屏10二次衍射并被目标物体反射形成的测量斑点；测量斑点B的亮度与预设亮度之间的比值若大于或等于0.8，则将测量斑点B归类到第一测量斑点中，此时说明测量斑点B是激光经衍射光学元件213一次衍射并被目标物体反射形成的测量斑点；测量斑点C的亮度与预设亮度之间的比值若小于0.6，则将测量斑点C归类到第三测量斑点中，此时说明测量斑点C是激光经过衍射光学元件213一次衍射再由显示屏10二次衍射并被标定物体反射后又一次由显示屏10三次衍射形成的测量斑点。其中，预设比值0.8、0.6仅为示例。

处理器200区分出第一测量斑点、第二测量斑点和第三测量斑点后，由于第三参考图像中的第一参考斑点、第二参考斑点和第三参考斑点也已经被区分出，则处理器200即可利用散斑图像和第三参考图像计算出深度数据。具体地，处理器200首先计算第一测量斑点相对于第一参考斑点的偏移量、第二测量斑点相对于第二参考斑点的偏移量、第三测量斑点相对于第三参考斑点的偏移量。随后，处理器200基于多个偏移量计算出多个深度数据，多个深度数据即可构成一幅深度图像。

与第一种计算方式相比，第二种计算方式对第一测量斑点、第二测量斑点和第三测量斑点进行区分，对第一参考斑点、第二参考斑点和第三参考斑点进行区分，可以基于更为准确的第一测量斑点与第一参考斑点的对应关系、第二测量斑点与第二参考斑点的对应关系、以及第三测量斑点与第三参考斑点的对应关系计算得到更为准确的偏移量，进一步得到较为准确的深度数据，提升获取的深度图像的精度。

在某些实施方式中，预设亮度、第一预设比值和第二预设比值由场景的环境亮度以及结构光投射器21的发光功率决定。如此，可以提升第一测量斑点、第二测量斑点及第三测量斑点的区分的准确性。

在某些实施方式中，衍射光学元件213除了用于衍射结构光投射器21的光源211发射的激光以增加测量斑点或参考斑点的数量之外，还可以用于补偿显示屏10衍射的结构光的亮度均匀性，使得投射到场景中的散斑图案中的多个斑点的亮度的均匀性较好，有利图提升深度图像的获取精度。

综上，本申请实施方式的图像获取方法在结构光投射器21和结构光摄像头22均位于显示屏10的背面13所在一侧，且结构光摄像头22接收的是穿过显示区11两次的被调制的结构光时，处理器200可直接基于第一测量斑点、第二测量斑点以及第三测量斑点计算深度图像，相比于仅使用第一测量斑点来计算深度图像的方式，显示屏10的衍射作用增加了测量斑点的数量和测量斑点排布的随机性，有利于提升深度图像的获取精度。进一步地，本申请实施方式的图像获取方法可以适当简化衍射光学元件213中衍射光栅的结构的复杂性，转而借助显示屏10的衍射作用来增加测量斑点的数量和排布的随机性，在保障深度图像的获取精度的同时可以简化结构光投射器21的制作工艺。

请参阅图1、图3及图31，在某些实施方式中，结构光投射器21和结构光摄像头22均设置在显示屏10的背面13所在的一侧，显示屏10未开设通槽14，结构光摄像头22接收的是穿过显示区11两次的被调制后的结构光。此时，步骤01包括：

012：控制结构光摄像头22接收出射时经显示区11衍射并被目标物体反射后入射时再经显示区11衍射的结构光以得到散斑图像，散斑图像中包括多个测量斑点，多个测量斑点包括激光仅被衍射光学元件213一次衍射并被目标物体反射形成的第一测量斑点、激光经过衍射光学元件213一次衍射再由显示屏10二次衍射并被目标物体反射形成的第二测量斑点、及激光经过衍射光学元件213一次衍射再由显示屏10二次衍射并被目标物体反射后又一次由显示屏10三次衍射形成的第三测量斑点；具体地，第一测量斑点是激光经过衍射光学元件213衍射后在经过显示屏10时并没有被显示屏10衍射，即没有遇到微观间隙而直接投射到目标物体，并被目标物体调制反射后形成的；第二测量斑点是激光经过衍射光学元件213衍射后经过显示屏10时又被显示屏10衍射，即遇到微观间隙后投射到目标物体，被目标物体调制反射后再次经过显示屏10时未被显示屏10衍射形成的；第三测量斑点是激光经过衍射光学元件213衍射后经过显示屏10又被显示屏10衍射，即遇到微观间隙后投射到目标物体，被目标物体调制反射后再次经过显示屏10又一次被显示屏10中的微观间隙衍射后形成的；

步骤02包括：

025：滤除散斑图像中的第二测量斑点及第三测量斑点以得到第一测量斑点；及

026：根据第一测量斑点与参考图像中的参考斑点获取深度图像。

请再参阅图17，步骤012可以由控制模块401实现。步骤025和步骤026均可以由计算模块402实现。

请再参阅图1，步骤012、步骤025和步骤026均可以由处理器200实现。也即是说，处理器200还可用于控制结构光摄像头22接收出射时经显示区11衍射并被目标物体反射后入射时再经显示区11衍射的结构光以得到散斑图像、滤除散斑图像中的第二测量斑点及第三测量斑点以得到第一测量斑点、以及根据第一测量斑点与参考图像中的参考斑点获取深度图像。

具体地，结构光投射器21和结构光摄像头22一起设置在显示屏10的背面13所在一侧，且显示屏10未开设有通槽14时，结构光摄像头22拍摄到的是包含第一测量斑点、第二测量斑点和第三测量斑点的散斑图像。在后续深度图像的计算中，处理器200可以滤除散斑图像中的第二测量斑点和第三测量斑点，仅基于剩下的第一测量斑点来与参考图像中的参考斑点做深度图像的计算。此时，参考图像中的参考斑点应该仅包括多个激光仅被衍射光学元件213衍射并被标定物体反射形成的第一参考斑点。因此，通过滤除散斑图像中的第二测量斑点和第三测量斑点的方式可以消除显示屏10对结构光的影响，从而在保证电子装置1000的屏占比较高的情况下，电子装置1000获取的深度图像的精度也较高。

也即是说，请参阅图32，图像获取方法还包括：

035：在标定参考图像时，控制结构光摄像头22接收从结构光投射器21出射后直接被标定物体反射并直接入射的结构光以得到第一参考图像，第一参考图像中包括多个参考斑点，多个参考斑点包括多个激光仅被衍射光学元件213衍射并被标定物体反射形成的第一参考斑点；

步骤026包括：

0261：计算第一测量斑点相对于第一参考斑点的偏移量；及

0262：根据偏移量计算深度数据以得到深度图像。

请再参阅图17，步骤035可以由控制模块401实现。步骤0261和步骤0262均可以由计算模块402实现。

请再参阅图1，步骤035、步骤0261和步骤0262均可以由处理器200实现。也即是说，处理器200还可用于在标定参考图像时控制结构光摄像头22接收从结构光投射器21出射后直接被标定物体反射并直接入射的结构光以得到第一参考图像、计算第一测量斑点相对于第一参考斑点的偏移量、以及根据偏移量计算深度数据以得到深度图像。

具体地，处理器200滤除第二测量斑点和第三测量斑点后，散斑图像中仅剩余第一测量斑点，则此时散斑图像应该与仅包含对应第一测量斑点的第一参考斑点的第一参考图像来进行深度图像的计算。其中，第一参考图像的标定过程与前述步骤035中将结构光投射器21放在没有显示屏10遮挡的场景下进行标定的标定过程一致，在此不再赘述。结构光拍摄的第一参考图像中的多个参考斑点是激光仅被衍射光学元件213衍射并被标定物体反射形成的第一参考斑点。如此，处理器200即可计算出第一测量斑点相对于第一参考斑点的偏移量，再基于多个偏移量计算出多个深度数据，从而得到深度图像。

处理器200可以通过亮度来滤除第二测量斑点和第三测量斑点。也即是说，请参阅图33，在某些实施方式中，图像获取方法还包括：

035：在标定参考图像时，控制结构光摄像头22接收从结构光投射器21出射后直接被标定物体反射并直接入射的结构光以得到第一参考图像，第一参考图像中包括多个参考斑点，多个参考斑点包括多个激光仅被衍射光学元件213衍射并被标定物体反射形成的第一参考斑点；

036：在标定参考图像时，控制结构光摄像头22接收出射时经显示区11衍射并被标定物体反射后直接入射的结构光以得到第二参考图像，第二参考图像中包括多个参考斑点，多个参考斑点包括激光仅被衍射光学元件213衍射并被标定物体反射后形成的第一参考斑点和激光经过衍射光学元件213一次衍射再由显示屏10二次衍射并被标定物体反射形成的第二参考斑点；

037：在标定参考图像时，控制结构光摄像头22接收出射时经显示区11衍射并被标定物体反射后在经过显示区11入射时又被显示区11衍射的结构光以得到第三参考图像，第三参考图像中包括多个参考斑点，多个参考斑点包括激光仅被衍射光学元件213衍射并被标定物体反射形成的第一参考斑点、激光经过衍射光学元件213一次衍射再由显示屏10二次衍射并被标定物体反射形成的第二参考斑点、及激光经过衍射光学元件213一次衍射再由显示屏10二次衍射并被标定物体反射后又一次由显示屏10三次衍射形成的第三参考斑点；

042：比对所述第一参考图像与所述第二参考图像以获取所述第二参考斑点，及比对所述第三参考图像与所述第二参考图像以获取所述第三参考斑点；

052：计算多个所述第二参考斑点的亮度的平均值与多个所述第一参考斑点的亮度的平均值之间的比值作为所述第一预设比值，计算多个所述第三参考斑点的亮度的平均值与多个所述第一参考斑点的亮度的平均值之间的比值作为所述第二预设比值，及计算多个所述第一参考斑点的亮度的平均值并作为所述预设亮度；

步骤025包括：

0251：计算每个测量斑点与预设亮度之间的实际比值；

0252：将实际比值大于第一预设比值的测量斑点归类为第一测量斑点，将实际比值小于第一预设比值且大于第二预设比值的测量斑点归类为第二测量斑点，将实际比值小于第二预设比值的测量斑点归类为第三测量斑点；及

0253：从所有测量斑点中滤除第二测量斑点和第三测量斑点以得到第一测量斑点。

请再参阅图17，步骤035、步骤036和步骤037均可以由控制模块401实现。步骤042、步骤052、步骤0251、步骤0252和步骤0253均可以由计算模块401实现。

请再参阅图1，步骤035、步骤036、步骤037、步骤042、步骤052、步骤0251、步骤0252和步骤0253均可以由处理器200实现。也即是说，处理器200还可用于在标定参考图像时控制结构光摄像头22接收从结构光投射器21出射后直接被标定物体反射并直接入射的结构光以得到第一参考图像、在标定参考图像时控制结构光摄像头22接收出射时经显示区11衍射并被标定物体反射后直接入射的结构光以得到第二参考图像、以及在标定参考图像时控制结构光摄像头22接收出射时经显示区11衍射并被标定物体反射后在经过显示区11入射时又被显示区11衍射的结构光以得到第三参考图像。处理器200还可用于比对所述第一参考图像与所述第二参考图像以获取所述第二参考斑点、比对所述第三参考图像与所述第二参考图像以获取所述第三参考斑点、计算多个所述第二参考斑点的亮度的平均值与多个所述第一参考斑点的亮度的平均值之间的比值作为所述第一预设比值、计算多个所述第三参考斑点的亮度的平均值与多个所述第一参考斑点的亮度的平均值之间的比值作为所述第二预设比值、及计算多个所述第一参考斑点的亮度的平均值并作为所述预设亮度。处理器200还可用于计算每个测量斑点与预设亮度之间的实际比值、将实际比值大于第一预设比值的测量斑点归类为第一测量斑点、将实际比值小于第一预设比值且大于第二预设比值的测量斑点归类为第二测量斑点、将实际比值小于第二预设比值的测量斑点归类为第三测量斑点、及从所有测量斑点中滤除第二测量斑点和第三测量斑点以得到第一测量斑点。

其中，步骤035所述的标定第一参考图像的过程与前述步骤035中将结构光投射器21放在没有显示屏10遮挡的场景下进行标定的标定过程一致，步骤036所述的标定第二参考图像的过程与前述步骤036中将结构光投射器21和结构光摄像头22均放在显示屏10的背面13所在一侧，且结构光摄像头22入光面对准显示屏10的通槽14的场景下进行标定的标定过程一致，步骤037所述的标定第三参考图像的过程与前述步骤037中将结构光投射器21和结构光摄像头22均放在显示屏10的背面13所在一侧，且显示屏10未开设通槽14的场景下进行标定的标定过程一致，在此不再赘述。

在得到第一参考图像、第二参考图像和第三参考图像后，处理器200即可采用与前述步骤042相同的方式，即根据第一参考图像中第一参考斑点的第一坐标来确定出第二参考图像中第一参考斑点，第二参考图像中剩余的参考斑点即为第二参考斑点，标记出第二参考斑点的第二坐标，从而在第二参考图像中区分出第一参考斑点和第二参考斑点。随后，处理器200根据第一坐标和第二坐标在第三参考图像中确定出第三参考图像中的第一参考斑点和第二参考斑点，第三参考图像中剩余的参考斑点即为第三参考斑点，从而可以区分出第三参考图像中的第一参考斑点、第二参考斑点及第三参考斑点。随后，处理器200即可采用与前述步骤052相同的方式来基于区分出的第一参考斑点、第二参考斑点和第三参考斑点标定得到预设亮度、第一预设比值和第二预设比值。

同样地，在后续深度图像的计算中，处理器200可采用与前述步骤062和前述步骤072相同的方式，即基于标定好的第一预设比值、第二预设比值和预设亮度来区分出第一测量斑点、第二测量斑点和第三测量斑点，随后滤除第二测量斑点和第三测量斑点，仅留下第一测量斑点，再计算第一测量斑点相对于第一参考斑点的偏移量，最后基于偏移量计算出深度数据，从而得到深度图像。

在某些实施方式中，预设亮度、第一预设比值和第二预设比值同样由场景的环境亮度以及结构光投射器21的发光功率决定。如此，可以提高第二测量斑点和第三测量斑点的滤除的准确性。

在某些实施方式中，衍射光学元件213除了用于衍射结构光投射器21的光源211发射的激光以增加测量斑点或参考斑点的数量之外，还可以用于补偿显示屏10衍射的结构光的亮度均匀性，使得投射到场景中的散斑图案中的多个斑点的亮度的均匀性较好，有利于提升深度图像的获取精度。

综上，本申请实施方式的图像获取方法在结构光投射器21和结构光均位于显示屏10下，且显示屏10未开设通槽14时，先滤除第二测量斑点以及第三测量斑点，仅根据剩余的第一测量斑点来计算深度图像，减少了处理器200的数据处理量，有利于加快深度图像的获取进程。

请参阅图1、图34及图35，在某些实施方式中，在结构光投射器21设置在显示屏10的背面13所在的一侧时，电子装置1000还包括补偿光学元件500。补偿光学元件500设置在衍射光学元件与显示屏10之间。结构光投射器21发出的结构光依次穿过补偿光学元件500和显示屏10出射到场景中。补偿光学元件500用于抵消显示屏10的衍射作用。此时，结构光摄像头22可设置在显示屏10的背面13所在一侧，且显示屏10可未开设通槽14，对应地，结构光摄像头22接收依次穿过补偿光学元件500、显示区11、显示区11、补偿光学元件500的被调制的结构光；或者，结构光摄像头22可设置在显示屏10的背面13所在一侧，且显示屏10开设有通槽14，结构光摄像头22的入光面与通槽14对准，对应地，结构光摄像头22接收依次穿过补偿光学元件500、显示区11、通槽14的被调制的结构光。

步骤01包括：

013：控制结构光摄像头22接收出射时依次经过补偿光学元件500及显示屏10的显示区11并被目标物体反射后的结构光以得到散斑图像，补偿光学元件500用于抵消显示屏10的衍射作用，散斑图像包括多个测量斑点，多个测量斑点包括激光仅被衍射光学元件213衍射并被目标物体反射形成的测量斑点；

请参阅图17，步骤013可以由控制模块401实现。

请再参阅图1，步骤013可以由处理器200实现。也即是说，处理器200还可用于控制结构光摄像头22接收出射时依次经过补偿光学元件500及显示屏10的显示区11并被目标物体反射后的结构光以得到散斑图像。

本申请实施方式的图像获取方法，在结构光投射器21与显示屏10之间设置一个补偿光学元件500，以抵消显示屏10的衍射作用。其中，补偿光学元件500与显示屏10可以间隔一定距离设置(如图35所示)；或者，补偿光学元件500与显示屏10的背面13可以贴合设置(图未示)。如此，补偿光学元件500及显示屏10的与补偿光学元件500相对的部分可以构成一个平面镜，结构光经过平面镜时斑点的数量不会被改变，因此，出射到场景中的结构光形成的散斑图案中的斑点可以认为是仅包括激光仅被衍射光学元件213衍射形成的斑点，测量斑点可以认为是激光仅衍射光学元件213衍射并被目标物体反射形成的。

具体地，请结合图1、图5、图8及图36，在某些实施方式中，当结构光摄像头22设置在显示屏10的背面13所在的一侧，且显示屏10开设有与结构光摄像头22的入光面对准的通槽14时，步骤013包括：

0131：控制结构光摄像头22接收出射时依次经过补偿光学元件500及显示区11并被目标物体反射后直接入射的结构光以得到散斑图像；

图像获取方法还包括：

038：在标定参考图像时，控制结构光摄像头22接收出射时经过补偿光学元件500及显示区11并被标定物体反射后直接入射的结构光以得到参考图像，参考图像中包括多个参考斑点，多个参考斑点包括激光仅被衍射光学元件213衍射并被标定物体反射形成的参考斑点；

步骤02包括：

0271：计算测量斑点相对于参考斑点的偏移量；及

0272：根据偏移量计算深度数据以得到深度图像。

请再参阅图17，步骤0131和步骤038均可以由控制模块401实现。步骤0271和步骤0272均可以由计算模块402实现。

请再参阅图1，步骤0131、步骤038、步骤0271和步骤0272均可以由处理器200实现。也即是说，处理器200还可用于控制结构光摄像头22接收出射时依次经过补偿光学元件500及显示区11并被目标物体反射后直接入射的结构光以得到散斑图像、在标定参考图像时控制结构光摄像头22接收出射时经过补偿光学元件500及显示区11并被标定物体反射后直接入射的结构光以得到参考图像、计算测量斑点相对于参考斑点的偏移量、以及根据偏移量计算深度数据以得到深度图像。

其中，补偿光学元件500的面积应略大于或等于结构光投射器21发射的结构光形成的发散面积，如此，结构光投射器21发射的结构光能全部穿过补偿光学元件500，从而可以抵消掉显示屏10的衍射作用。另外，补偿光学元件500不能对结构光摄像头22的入光面产生遮挡，即补偿光学元件500不能与通槽14重叠。可以理解，通槽14并不具有衍射作用，由目标物体反射回来的结构光穿过通槽14时并不会被衍射，因此，无需在通槽14位置处设置补偿光学元件500来抵消显示区11的衍射作用。相反地，如果在通槽14位置处设置补偿光学元件500，反而会使得穿过补偿光学元件500的结构光被补偿光学元件500衍射，从而导致结构光摄像头22接收的散斑图像中包括激光经衍射光学元件213一次衍射后穿过补偿光学元件500及显示屏10的与补偿光学元件500相对的部分构成的平面镜并再经补偿光学元件500衍射形成的测量斑点。

当结构光摄像头22设置在显示屏10的背面13所在的一侧，且显示屏10开设有与结构光摄像头22的入光面对准的通槽14时，结构光投射器21的光源211发射的激光会依次经过补偿光学元件500和显示区11，结构光摄像头22接收的是穿过由补偿光学元件500和显示屏10组成的平面镜出射后被目标物体调制后反射再穿过通槽14入射的结构光。由于补偿光学元件500抵消了显示区11的衍射作用，结构光摄像头22拍摄的散斑图像仅包括激光仅被衍射光学元件213一次衍射并被目标物体反射形成的测量斑点，而不会出现激光经衍射光学元件213一次衍射又经显示屏10二次衍射并被目标物体反射形成的测量斑点。

对应地，参考图像中的参考斑点也应该仅包括激光仅被衍射光学元件213一次衍射并被标定物体反射形成的参考斑点，则标定场景应为：将结构光投射器21和结构光摄像头22放置在设置有补偿光学元件500的显示屏10的背面13所在一侧，结构光摄像头22的入光面与显示屏10的通槽14对准。如此，在标定场景下和实际使用场景下，结构光投射器21与结构光摄像头22相对于显示屏10的设置位置是一致的。处理器200控制结构光投射器21发射结构光，结构光依次穿过补偿光学元件500和显示屏10后投射到与结构光组件20相隔预定距离的标定板处，被标定板反射回的结构光穿过通槽14被结构光摄像头22接收。此时，结构光摄像头22接收的是由光源211发出后经衍射光学元件211一次衍射并被标定板反射后经由通槽14直接入射的激光，形成的参考图像中包括的多个参考斑点即为激光仅被衍射光学元件213一次衍射并被标定物体反射形成的参考斑点。

处理器200计算深度图像时无需滤除激光经过两次衍射形成的测量斑点，可直接基于仅有的激光仅经过一次衍射形成的测量斑点及参考图像中的参考斑点计算深度图像。具体地，处理器200计算测量斑点与参考斑点之间的偏移量，再根据偏移量计算深度数据，从而得到深度图像。

同样地，请结合图3和图37，在某些实施方式中，当结构光摄像头22设置在显示屏10的背面所在一侧，且显示屏10未开设有通槽14时，步骤013包括：

0132：控制结构光摄像头22接收出射时依次经过补偿光学元件500及显示区11并被目标物体反射后入射时依次经过显示区11及补偿光学元件500的结构光以得到散斑图像；

图像获取方法还包括：

039：在标定参考图像时，控制结构光摄像头22接收出射时依次经过补偿光学元件500及显示区11并被标定物体反射后入射时依次经过显示区11及补偿光学元件500的结构光以得到参考图像，参考图像包括多个参考斑点，多个参考斑点包括激光仅被衍射光学元件213衍射并被标定物体反射形成的参考斑点；

步骤02包括：

0271：计算测量斑点相对于参考斑点的偏移量；及

0272：根据偏移量计算深度数据以得到深度图像。

请再参阅图17，步骤0132和步骤039均可以由控制模块401实现。步骤0271和步骤0272均可以由计算模块402实现。

请再参阅图1，步骤0132、步骤039、步骤0271和步骤0272均可以由处理器200实现。也即是说，处理器200还可用于控制结构光摄像头22接收出射时依次经过补偿光学元件500及显示区11并被目标物体反射后入射时依次经过显示区11及补偿光学元件500的结构光以得到散斑图像、在标定参考图像时控制结构光摄像头22接收出射时依次经过补偿光学元件500及显示区11并被标定物体反射后入射时依次经过显示区11及补偿光学元件500的结构光以得到参考图像、计算测量斑点相对于参考斑点的偏移量、以及根据偏移量计算深度数据以得到深度图像。

其中，补偿光学元件500应同时完全覆盖结构光投射器21和结构光摄像头22。如此，一方面结构光投射器21发射的结构光能全部穿过补偿光学元件500，从而可以抵消显示屏10的衍射作用；另一方面被目标物体反射回的结构光也能全部穿过补偿光学元件500以抵消显示屏10的衍射作用，从而使得结构光摄像头22拍摄的散斑图像中仅包括激光仅被衍射光学元件213一次衍射并被目标物体反射形成的测量斑点。

具体地，当结构光摄像头22设置在显示屏10的背面13所在的一侧，且显示屏10未开设有通槽14时，结构光投射器21的光源211发射的激光会依次经过补偿光学元件500和显示区11，结构光摄像头22接收的是穿过由补偿光学元件500和显示屏10组成的平面镜出射后被目标物体反射，再穿过由显示屏10和补偿光学元件500组成的平面镜后入射的结构光。由于补偿光学元件500抵消了显示区11的衍射作用，结构光摄像头22拍摄的散斑图像仅包括激光仅被衍射光学元件213一次衍射并被目标物体反射形成的测量斑点，而不会出现激光经衍射光学元件213一次衍射又经显示屏10二次衍射并被目标物体反射形成的测量斑点，也不会出现激光经衍射光学元件213一次衍射又经显示屏10二次衍射并被目标物体反射后又被显示屏10三次衍射形成的测量斑点。

对应地，参考图像中的参考斑点也应该仅包括激光仅被衍射光学元件213一次衍射并被标定物体反射形成的参考斑点，则标定场景应为：将结构光投射器21和结构光摄像头22放置在设置有补偿光学元件500的显示屏10的背面13所在一侧，其中显示屏10未开设有通槽14。如此，在标定场景下和实际使用场景下，结构光投射器21与结构光摄像头22相对于显示屏10的设置位置是一致的。处理器200控制结构光投射器21发射结构光，结构光依次穿过补偿光学元件500和显示屏10后投射到与结构光组件20相隔预定距离的标定板处，被标定板反射回的结构光依次穿过显示屏10和补偿光学元件500后被结构光摄像头22接收，形成的参考图像中包括的多个参考斑点即为激光仅被衍射光学元件213一次衍射并被标定物体反射形成的参考斑点。

处理器200计算深度图像时无需滤除激光经过多次衍射形成的测量斑点，可直接基于仅有的激光仅经过一次衍射形成的测量斑点及参考图像中的参考斑点计算深度图像。具体地，处理器200计算测量斑点与参考斑点之间的偏移量，再根据偏移量计算深度数据，从而得到深度图像。

综上，本申请实施方式的图像获取方法通过设置补偿光学元件500来抵消显示屏10的衍射作用，如此，结构光摄像头22拍摄的散斑图像中仅包括激光仅被衍射光学元件213一次衍射并被目标物体反射形成的测量斑点，而不会出现激光经衍射光学元件213一次衍射后又经显示屏10二次衍射并被目标物体反射形成的测量斑点、以及激光经衍射光学元件213一次衍射后又经显示屏10二次衍射并被目标物体反射后再经显示屏10三次衍射形成的测量斑点，处理器200无需执行滤点的操作，可以直接基于散斑图像中的所有测量斑点及参考图像中的所有参考斑点计算深度图像，简化深度图像的计算过程，加快深度图像的获取进度。

请参阅图1、图4和图38，在某些实施方式中，结构光投射器21中的衍射光学元件213替换为光学元件214，光学元件214用于补偿显示屏10衍射的结构光的亮度的均匀性。步骤01包括：

014：控制结构光摄像头22接收出射时经显示屏10的显示区11衍射并被目标物体反射后的结构光以得到散斑图像，结构光投射器中21中的光学元件214用于补偿显示屏10衍射的结构光的亮度的均匀性，散斑图像中包括多个测量斑点。

请再参阅图17，步骤014可以由控制模块401实现。

请再参阅图1，步骤014还可以由处理器200实现。也即是说，处理器200还可用于控制结构光摄像头22接收出射时经显示屏10的显示区11衍射并被目标物体反射后的结构光以得到散斑图像，结构光投射器中21中的光学元件214用于补偿显示屏10衍射的结构光的亮度的均匀性。

具体地，显示屏10的显示区11中的相邻像素之间形成有微观间隙，结构光投射器21发出的结构光穿过显示区11后会被显示区11衍射形成多个斑点。但显示区11衍射的斑点的亮度分布不均匀。

本申请实施方式的图像获取方法借助显示屏10的衍射作用形成多个斑点，并将结构光投射器21中的衍射光学元件213替换成可以补偿显示屏10衍射的结构光的亮度的均匀性的光学元件214，即结构光投射器21的光源211发出的激光依次穿过光学元件214和显示屏10后，投射到场景的散斑图案中有多个斑点，且斑点的亮度较为均匀，其中，斑点由显示屏10衍射，斑点的亮度的均匀性由光学元件214进行补偿。

如此，结构光摄像头22拍摄的散斑图像中的测量斑点是直接借助显示屏10的衍射作用形成的，处理器200可以基于这些测量斑点来计算深度图像。光学元件214补偿显示屏10衍射的结构光的亮度均匀性有利于提升获取的深度图像的精度。

请参阅图1、图4、图5、图8及图39，在某些实施方式中，当结构光投射器21和结构光摄像头22均设置在显示屏10的背面所在一侧，且显示屏10开设有通槽14，结构光摄像头22的入光面对准通槽14时，步骤014包括：

0141：控制结构光摄像头22接收出射时经显示区11衍射并被目标物体反射后直接入射的结构光以得到散斑图像，光学元件214用于补偿显示屏10衍射的结构光的亮度的均匀性，散斑图像中包括多个测量斑点，多个测量斑点包括激光经过光学元件214扩散再由显示屏10一次衍射并被目标物体反射形成的第一测量斑点；

图像获取方法还包括：

091：在标定参考图像时，控制结构光摄像头22接收出射时经显示区11衍射并被标定物体反射后直接入射的结构光以得到参考图像，光学元件214用于补偿显示屏10衍射的结构光的亮度的均匀性，参考图像包括多个参考斑点，多个参考斑点包括激光经过光学元件214扩散再由显示屏10一次衍射并被标定物体反射形成的第一参考斑点；

步骤02包括：

0281：计算第一测量斑点相对于第一参考斑点的偏移量；及

0282：根据偏移量计算深度数据以获取深度图像。

请再参阅图17，步骤0141和步骤091均可以由控制模块401实现。步骤0281和步骤0282均可以由计算模块402实现。

请再参阅图1，步骤0141、步骤091、步骤0281和步骤0282均可以由处理器200实现。也即是说，处理器200还可用于控制结构光摄像头22接收出射时经显示区11衍射并被目标物体反射后直接入射的结构光以得到散斑图像，光学元件214用于补偿显示屏10衍射的结构光的亮度的均匀性。处理器200还可用于在标定参考图像时，控制结构光摄像头22接收出射时经显示区11衍射并被标定物体反射后直接入射的结构光以得到参考图像，光学元件214用于补偿显示屏10衍射的结构光的亮度的均匀性。处理器200还可用于计算第一测量斑点相对于第一参考斑点的偏移量、以及根据偏移量计算深度数据以获取深度图像。

具体地，当结构光摄像头22设置在显示屏10的背面13所在的一侧，且显示屏10开设有与结构光摄像头22的入光面对准的通槽14时，结构光投射器21的光源211发出的激光依次经过光学元件214和显示屏10的显示区11后形成结构光出射到场景中，结构光会被目标物体反射再穿过通槽14入射以被结构光摄像头22接收。由于光学元件214仅用于补偿显示屏10衍射的结构光的亮度的均匀性，而不会增加测量斑点的数量，且通槽14不具有微观间隙不会对反射回的结构光进行衍射，因此，结构光摄像头22拍摄的散斑图像中仅包括激光经过光学元件214扩散再由显示屏10一次衍射并被目标物体反射形成的第一测量斑点。

对应地，参考图像中的参考斑点也应该仅包括激光经过光学元件214扩散再由显示屏10一次衍射并被标定物体反射形成的第一参考斑点，则标定场景应为，设有光学元件214的结构光投射器21、以及结构光摄像头22放置在显示屏10的背面13所在一侧，结构光摄像头22的入光面与显示屏10的通槽14对准。如此，在标定场景下和实际使用场景下，结构光投射器21与结构光摄像头22相对于显示屏10的设置位置是一致的。处理器200控制结构光投射器21的光源211发射激光，激光依次穿过光学元件214和显示屏10后形成结构光投射到与结构光组件20相隔预定距离的标定板处，被标定板反射回的结构光穿过通槽14被结构光摄像头22接收。此时，结构光摄像头22接收的是由光源211发出后经衍射光学元件213扩散再由显示屏10一次衍射并被标定板反射后再经由通槽14直接入射的激光，形成的参考图像中包括的多个参考斑点即为激光经过光学元件214扩散再由显示屏10一次衍射并被标定物体反射形成的第一参考斑点。

处理器200计算深度图像时直接基于第一测量斑点及参考图像中的第一参考斑点计算深度图像。具体地，处理器200计算第一测量斑点与第一参考斑点之间的偏移量，再根据偏移量计算深度数据，从而得到深度图像。

同样地，请结合图3和图40，在某些实施方式中，当结构光摄像头22设置在显示屏10的背面所在一侧，且显示屏10未开设有通槽14时，步骤014包括：

0142：控制结构光摄像头22接收出射时经显示区11衍射并被目标物体反射后入射时再经显示区11衍射的结构光以得到散斑图像，光学元件214用于补偿显示屏10衍射的结构光的亮度的均匀性，散斑图像包括多个测量斑点，多个测量斑点包括激光经过光学元件214扩散再由显示屏10一次衍射并被目标物体反射后形成的第一测量斑点和激光经过光学元件214扩散再由显示屏10一次衍射并被目标物体反射后又一次由显示屏10二次衍射形成的第二测量斑点。

请再参阅图17，步骤0142可以由控制模块401实现。

请再参阅图1，步骤0142还可以由处理器200实现。也即是说，处理器200还可用于控制结构光摄像头22接收出射时经显示区11衍射并被目标物体反射后入射时再经显示区11衍射的结构光以得到散斑图像，光学元件214用于补偿显示屏10衍射的结构光的亮度的均匀性。

具体地，当结构光摄像头22设置在显示屏10的背面13所在的一侧，且显示屏10未开设有通槽14时，结构光投射器21的光源211发出的激光依次经过光学元件214和显示屏10的显示区11后形成结构光出射到场景中，结构光会被目标物体反射再穿过显示屏10入射以被结构光摄像头22接收。由于光学元件214仅用于补偿显示屏10衍射的结构光的亮度的均匀性，而不会增加测量斑点的数量，且显示屏10具有微观间隙会对反射回的结构光进行衍射，因此，结构光摄像头22拍摄的散斑图像中同时包括多个激光经过光学元件214扩散再由显示屏10一次衍射并被目标物体反射形成的第一测量斑点、以及激光经过光学元件214扩散再由显示屏10一次衍射并被目标物体反射后又一次由显示屏10二次衍射形成的第二测量斑点。

结构光摄像头22拍摄到散斑图像后，处理器200可以直接根据散斑图像中的第一测量斑点及第二测量斑点与参考图像中的参考斑点来计算深度图像。其中，深度图像的计算方式可以包括下述的两种。

请再参阅图40，在一个计算方式中，步骤02包括：

0283：计算所有测量斑点相对于所有参考斑点的偏移量；及

0284：根据偏移量计算深度数据以获取深度图像。

对应地，图像获取方法还包括：

092：在标定参考图像时，控制结构光摄像头22接收出射时经显示区11衍射并被标定物体反射后入射时再经显示区11衍射的结构光以得到参考图像，光学元件214用于补偿显示屏10衍射的结构光的亮度的均匀性，参考图像包括多个参考斑点，多个参考斑点包括激光经过光学元件214扩散再由显示屏10一次衍射并被标定物体反射后形成的第一参考斑点和激光经过光学元件214扩散再由显示屏10一次衍射并被标定物体反射后又一次由显示屏10二次衍射形成的第二参考斑点。

请再参阅图17，步骤0283和步骤0284可以由计算模块402实现。步骤092可以由控制模块401实现。

请再参阅图1，步骤0283、步骤0284和步骤092还可以由处理器200实现。也即是说，处理器200还可用于计算所有测量斑点相对于所有参考斑点的偏移量、以及根据偏移量计算深度数据以获取深度图像。处理器200还可用于在标定参考图像时，控制结构光摄像头22接收出射时经显示区11衍射并被标定物体反射后入射时再经显示区11衍射的结构光以得到参考图像，光学元件214用于补偿显示屏10衍射的结构光的亮度的均匀性。

具体地，在标定参考图像的过程中，设有光学元件214的结构光投射器21、以及结构光摄像头22放置在显示屏10的背面13所在一侧，其中，显示屏10未开设通槽14。如此，在标定场景下和实际使用场景下，结构光投射器21与结构光摄像头22相对于显示屏10的设置位置是一致的。处理器200控制结构光投射器21的光源211发射激光，激光依次穿过光学元件214和显示屏10后形成结构光投射到与结构光组件20相隔预定距离的标定板处，被标定板反射回的结构光穿过显示屏10后被结构光摄像头22接收。此时，结构光摄像头22拍摄的参考图像中同时包括多个第一参考斑点和多个第二参考斑点。其中，第一参考斑点是激光经过光学元件214扩散再由显示屏10一次衍射并被标定物体反射形成的，第二参考斑点是激光经过光学元件214扩散再由显示屏10一次衍射并被标定物体反射后又一次由显示屏10二次衍射形成的。虽然散斑图像中同时包括第一测量斑点和第二测量斑点，参考图像中同时包括第一参考斑点和第二参考斑点。但是在此计算方式中，处理器200并不会对散斑图像中的第一测量斑点和第二测量斑点做区分，也不会对参考图像中的第一参考斑点和第二参考斑点做区分，而是直接基于所有的测量斑点和参考斑点来进行深度图像的计算。具体地，处理器200首先计算所有测量斑点相对于所有参考斑点的偏移量，再基于多个偏移量计算出多个深度数据，从而得到深度图像。

请参阅图41，在另一个计算方式中，步骤02包括：

0285：计算第一测量斑点相对于第一参考斑点的偏移量、及第二测量斑点相对于第二参考斑点的偏移量；及

0286：根据偏移量计算深度数据以获取深度图像。

对应地，图像获取方法还包括：

091：在标定参考图像时，控制结构光摄像头22接收出射时经显示区11衍射并被标定物体反射后直接入射的结构光以得到参考图像，光学元件214用于补偿显示屏10衍射的结构光的亮度的均匀性，参考图像包括多个参考斑点，多个参考斑点包括激光经过光学元件214扩散再由显示屏10一次衍射并被标定物体反射形成的第一参考斑点；

092：在标定参考图像时，控制结构光摄像头22接收出射时经显示区11衍射并被标定物体反射后入射时再经显示区11衍射的结构光以得到参考图像，光学元件214用于补偿显示屏10衍射的结构光的亮度的均匀性，参考图像包括多个参考斑点，多个参考斑点包括激光经过光学元件214扩散再由显示屏10一次衍射并被标定物体反射后形成的第一参考斑点和激光经过光学元件214扩散再由显示屏10一次衍射并被标定物体反射后又一次由显示屏10二次衍射形成的第二参考斑点；

043：比对第一参考图像与第二参考图像以获取第二参考斑点；

053：计算多个第二参考斑点的亮度的平均值与多个第一参考斑点的亮度的平均值之间的比值并作为预设比值，及计算多个第一参考斑点的亮度的平均值并作为预设亮度；

063：计算每个测量斑点与预设亮度之间的实际比值；及

073：将实际比值大于预设比值的测量斑点归类为第一测量斑点，及将实际比值小于预设比值的测量斑点归类为第二测量斑点。

请再参阅图17，步骤0285、步骤0286、步骤43、步骤053、步骤063和步骤073均可以由计算模块402实现。步骤091和步骤092均可以由控制模块401实现。

请再参阅图1，步骤0285、步骤0286、步骤091、步骤092和步骤43、步骤053、步骤063和步骤073均可以由处理器200实现。也即是说，处理器200还可用于计算第一测量斑点相对于第一参考斑点的偏移量、及第二测量斑点相对于第二参考斑点的偏移量、以及根据偏移量计算深度数据以获取深度图像。处理器200还可用于在标定参考图像时控制结构光摄像头22接收出射时经显示区11衍射并被标定物体反射后直接入射的结构光以得到参考图像、以及在标定参考图像时，控制结构光摄像头22接收出射时经显示区11衍射并被标定物体反射后入射时再经显示区11衍射的结构光以得到参考图像，其中，光学元件214用于补偿显示屏10衍射的结构光的亮度的均匀性。处理器200还可用于比对第一参考图像与第二参考图像以获取第二参考斑点、计算多个第二参考斑点的亮度的平均值与多个第一参考斑点的亮度的平均值之间的比值并作为预设比值、以及计算多个第一参考斑点的亮度的平均值并作为预设亮度。处理器200还可用于计算每个测量斑点与预设亮度之间的实际比值、将实际比值大于预设比值的测量斑点归类为第一测量斑点、以及将实际比值小于预设比值的测量斑点归类为第二测量斑点。

此种计算方式下，处理器200需要标定出第一参考图像和第二参考图像。第一参考图像的标定过程与前述步骤091中将设有光学元件214的结构光投射器21、以及结构光摄像头22放置在显示屏10的背面13所在一侧，且结构光摄像头22的入光面与显示屏10的通槽14对准的场景下的标定过程一致，第二参考图像的标定过程与前述步骤092中将设有光学元件214的结构光投射器21、以及结构光摄像头22放置在显示屏10的背面13所在一侧，且显示屏10未开设通槽14的场景下的标定过程一致，在此不做赘述。

处理器200标定出第一参考图像和第二参考图像后，处理器200标记出第一参考图像中第一参考斑点的坐标，并根据第一参考斑点的坐标在第二参考图像中筛选出第一参考斑点，第二参考图像中剩余的参考斑点即为第二参考斑点，如此，处理器即可在第二参考图像的所有参考斑点中区分出第一参考斑点和第二参考斑点。

由于后续计算深度数据时，散斑图像中的测量斑点也需要进行区分。具体地，可以通过亮度来区分出第一测量斑点和第二测量斑点。可以理解，第一测量斑点是激光经过光学元件214扩散再由显示屏10一次衍射形成的，第二测量斑点是激光经过光学元件214扩散再由显示屏10一次及二次衍射形成的，形成第二测量斑点的激光被衍射的次数多于形成第一测量斑点的激光被衍射的次数，因此，形成第一测量斑点的激光的能量损耗较小，形成第二测量斑点的激光的能量损耗较大，第二测量斑点的亮度会低于第一测量斑点的亮度。如此，可以基于亮度来区分出第一测量斑点和第二测量斑点。那么，在参考图像标定完毕后还需要进一步标定出用于区分第一测量斑点和第二测量斑点的亮度。也即是说，在处理器200区分出第一参考斑点和第二参考斑点后，处理器200需要计算出第二参考图像中的多个第一参考斑点的亮度的平均值，并计算出第二参考图像中多个第二参考斑点的亮度的平均值。随后，处理器200将多个第一参考斑点的亮度的平均值作为预设亮度，将多个第二参考斑点的亮度的平均值与多个第一参考斑点的亮度的平均值之间的比值作为预设比值。

在后续的深度数据计算中，处理器200首先计算出每个测量斑点的亮度。随后，处理器200计算每个测量斑点与预设亮度之间的实际比值，并将实际比值大于或等于预设比值的测量斑点归类为第一测量斑点，将实际比值小于预设比值的测量斑点归类为第二测量斑点，从而区分出第一测量斑点和第二测量斑点。

处理器200区分出第一测量斑点和第二测量斑点后，由于第二参考图像中的第一参考斑点和第二参考斑点也已经被区分出，则处理器200即可利用散斑图像和第二参考图像计算出深度数据。具体地，处理器200首先计算第一测量斑点相对于第一参考斑点的偏移量、以及第二测量斑点相对于第二参考斑点的偏移量。随后，处理器200基于多个偏移量计算出多个深度数据，多个深度数据即可构成一幅深度图像。

与第一种计算方式相比，第二种计算方式对第一测量斑点和第二测量斑点进行区分，对第一参考斑点和第二参考斑点进行区分，可以基于更为准确的第一测量斑点与第一参考斑点的对应关系、以及第二测量斑点与第二参考斑点的对应关系计算得到更为准确的偏移量，进一步得到较为准确的深度数据，提升获取的深度图像的精度。

在某些实施方式中，预设亮度和预设比值由场景的环境亮度以及结构光投射器21的发光功率决定。如此，可以提升第一测量斑点和第二测量斑点的区分的准确性。

综上，本申请实施方式的图像获取方法中，结构光摄像头22拍摄的散斑图像中的测量斑点是直接借助显示屏10的衍射作用形成的，处理器200可以基于这些测量斑点来计算深度图像。光学元件214补偿显示屏10衍射的结构光的亮度均匀性有利于提升深度图像的获取精度。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (14)

1.一种图像获取方法，其特征在于，所述图像获取方法包括：

控制结构光摄像头接收出射时依次经过补偿光学元件及显示屏的显示区并被目标物体反射后的结构光以得到散斑图像，所述补偿光学元件用于抵消所述显示屏的衍射作用，所述散斑图像包括多个测量斑点，多个所述测量斑点包括激光仅被结构光投射器的衍射光学元件衍射并被所述目标物体反射形成的测量斑点；及

根据所述散斑图像中的所述测量斑点与参考图像中的参考斑点获取深度图像。

2.根据权利要求1所述的图像获取方法，其特征在于，所述控制结构光摄像头接收出射时依次经过补偿光学元件及显示屏的显示区并被目标物体反射后的结构光以得到散斑图像，包括：

控制所述结构光摄像头接收出射时依次经过所述补偿光学元件及所述显示区并被所述目标物体反射后直接入射的结构光以得到所述散斑图像。

3.根据权利要求2所述的图像获取方法，其特征在于，所述图像获取方法还包括：

在标定所述参考图像时，控制所述结构光摄像头接收出射时经过所述补偿光学元件及所述显示区并被标定物体反射后直接入射的结构光以得到所述参考图像，所述参考图像中包括多个所述参考斑点，多个所述参考斑点包括激光仅被所述衍射光学元件衍射并被所述标定物体反射形成的参考斑点。

4.根据权利要求1所述的图像获取方法，其特征在于，所述控制结构光摄像头接收出射时依次经过补偿光学元件及显示屏的显示区并被目标物体反射后的结构光以得到散斑图像，包括：

控制所述结构光摄像头接收出射时依次经过所述补偿光学元件及所述显示区并被所述目标物体反射后入射时依次经过所述显示区及所述补偿光学元件的结构光以得到所述散斑图像。

5.根据权利要求4所述的图像获取方法，其特征在于，所述图像获取方法还包括：

在标定所述参考图像时，控制所述结构光摄像头接收出射时依次经过所述补偿光学元件及所述显示区并被标定物体反射后入射时依次经过所述显示区及所述补偿光学元件的结构光以得到所述参考图像，所述参考图像包括多个所述参考斑点，多个所述参考斑点包括激光仅被所述衍射光学元件衍射并被所述标定物体反射形成的参考斑点。

6.根据权利要求3或5所述的图像获取方法，其特征在于，所述根据所述散斑图像中的所述测量斑点与参考图像中的参考斑点获取深度图像，包括：

计算所述测量斑点相对于所述参考斑点的偏移量；及

根据所述偏移量计算深度数据以得到所述深度图像。

7.一种图像获取装置，其特征在于，所述图像获取装置包括：

控制模块，用于控制结构光摄像头接收出射时依次经过补偿光学元件及显示屏的显示区并被目标物体反射后的结构光以得到散斑图像，所述补偿光学元件用于抵消所述显示屏的衍射作用，所述散斑图像包括多个测量斑点，多个所述测量斑点包括激光仅被结构光投射器的衍射光学元件衍射并被所述目标物体反射形成的测量斑点；及

计算模块，用于根据所述散斑图像中的所述测量斑点与参考图像中的参考斑点获取深度图像。

8.一种结构光组件，其特征在于，包括结构光投射器、结构光摄像头和处理器，所述处理器用于：

控制结构光摄像头接收出射时依次经过补偿光学元件及显示屏的显示区并被目标物体反射后的结构光以得到散斑图像，所述补偿光学元件用于抵消所述显示屏的衍射作用，所述散斑图像包括多个测量斑点，多个所述测量斑点包括激光仅被结构光投射器的衍射光学元件衍射并被所述目标物体反射形成的测量斑点；及

根据所述散斑图像中的所述测量斑点与参考图像中的参考斑点获取深度图像。

9.根据权利要求8所述的结构光组件，其特征在于，所述处理器还用于：

控制所述结构光摄像头接收出射时依次经过所述补偿光学元件及所述显示区并被所述目标物体反射后直接入射的结构光以得到所述散斑图像。

10.根据权利要求9所述的结构光组件，其特征在于，所述处理器还用于：

在标定所述参考图像时，控制所述结构光摄像头接收出射时经过所述补偿光学元件及所述显示区并被标定物体反射后直接入射的结构光以得到所述参考图像，所述参考图像中包括多个所述参考斑点，多个所述参考斑点包括激光仅被所述衍射光学元件衍射并被所述标定物体反射形成的参考斑点。

11.根据权利要求8所述的结构光组件，其特征在于，所述处理器还用于：

控制所述结构光摄像头接收出射时依次经过所述补偿光学元件及所述显示区并被所述目标物体反射后入射时依次经过所述显示区及所述补偿光学元件的结构光以得到所述散斑图像。

12.根据权利要求11所述的结构光组件，其特征在于，所述处理器还用于：

在标定所述参考图像时，控制所述结构光摄像头接收出射时依次经过所述补偿光学元件及所述显示区并被标定物体反射后入射时依次经过所述显示区及所述补偿光学元件的结构光以得到所述参考图像，所述参考图像包括多个所述参考斑点，多个所述参考斑点包括激光仅被所述衍射光学元件衍射并被所述标定物体反射形成的参考斑点。

13.根据权利要求10或12所述的结构光组件，其特征在于，所述处理器还用于：

计算所述测量斑点相对于所述参考斑点的偏移量；及

根据所述偏移量计算深度数据以得到所述深度图像。

14.一种电子装置，其特征在于，包括：

壳体；

显示屏，所述显示屏安装在所述壳体上；及

权利要求8至13任意一项所述的结构光组件，所述结构光组件设置在所述壳体上。