CN113936316B - Doe脱落检测方法、电子设备和计算机可读存储介质 - Google Patents

Abstract

本申请实施例涉及计算机视觉技术领域，公开了一种DOE脱落检测方法、电子设备和计算机可读存储介质，该方法包括：计算红外图对应的深度图的人脸区域内的空洞率；若空洞率大于第一预设阈值，则将红外图对应的散斑图与红外图进行差分相减，得到前景图；对前景图进行连通区域检测，获得若干连通区域；其中，连通区域内的各像素点的灰度值大于或等于第二预设阈值；根据预设的划分标准和面积最大的连通区域，确定目标区域，并计算目标区域的灰度均值；根据目标区域的灰度均值，确定待检测相机的DOE是否脱落，本申请实施例提供的DOE脱落检测方法，可以在不增加相机的成本和体积的前提下进行检测，同时提升了DOE脱落检测的准确性、鲁棒性和稳定性。

Description

DOE脱落检测方法、电子设备和计算机可读存储介质

技术领域

本申请实施例涉及计算机视觉技术领域，特别涉及一种DOE脱落检测方法、电子设备和计算机可读存储介质。

背景技术

结构光深度感知技术可以感知空间物体的形状和距离信息，是计算机视觉技术领域研究和应用开发的热点方向，基于结构光技术的三维(3-dimension，简称：3D)成像装置可以获取物体的深度信息，构建一个立体的三维模型，因此3D成像装置被广泛应用于工业测量、安防监控、人脸支付、生物识别等方面，具有极大的应用价值。

基于结构光技术的3D成像装置主要包括结构光投射模组、图像接收模组以及处理运算模组。结构光投射模组作为核心部分，一般包括光源、准直镜和衍射光学元件(Diffractive Optical Elements，简称：DOE)，DOE用于接收光源通过准直镜发射出来的光束，将光束进行分束、重叠处理，以获得分布均匀且不相关的图案光束，DOE直接决定着结构光投射模组所投射的光束的质量。但是，随着3D成像装置使用时间的增加，环境温度和湿度的不断变化，以及使用过程中的碰撞等情况的发生，DOE的衍射效率会随之降低，严重的情况会导致DOE发生脱落，此时零级衍射光束会变强，过强的光束可能会对人眼造成伤害，因此，及时对3D成像装置、结构光深度相机进行DOE脱落检测是十分必要的。

然而，本申请的发明人发现，无论是在结构光投射模组增加光学传感器以检测DOE是否脱落，还是对DOE进行加工使DOE具有电学特性，使用检测电路来检测DOE是否脱落，都会大幅提升结构光投射模组的成本，增大结构光投射模组的体积，并且DOE脱落检测的准确度偏低。

发明内容

本申请实施例的目的在于提供一种DOE脱落检测方法、电子设备和计算机可读存储介质，可以在不增加相机的成本和体积的前提下进行检测，同时提升了DOE脱落检测的准确性、鲁棒性和稳定性。

为解决上述技术问题，本申请的实施例提供了一种DOE脱落检测方法，包括以下步骤：计算红外图对应的深度图的人脸区域内的空洞率；其中，所述红外图是通过待检测相机拍摄得到的；若所述空洞率大于第一预设阈值，则将所述红外图对应的散斑图与所述红外图进行差分相减，得到前景图；对所述前景图进行连通区域检测，获得若干连通区域；其中，所述连通区域内的各像素点的灰度值大于或等于第二预设阈值；根据预设的划分标准和面积最大的所述连通区域，确定目标区域，并计算所述目标区域的灰度均值；根据所述目标区域的灰度均值，确定所述待检测相机的DOE是否脱落。

本申请的实施例还提供了一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述DOE脱落检测方法。

本申请的实施例还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述DOE脱落检测方法。

本申请的实施例提供的DOE脱落检测方法、电子设备和计算机可读存储介质，服务器获取待检测相机拍摄得到的红外图，计算红外图对应的深度图的人脸区域内的空洞率，若人脸区域内的空洞率大于第一预设阈值，服务器将红外图对应的散斑图与红外图进行差分相减，得到前景图，并对前景图进行连通区域检测，获得若干连通区域，连通区域内的各像素点的灰度值大于或等于第二预设阈值，服务器确定出若干区域后，根据预设的划分标准和面积最大的连通区域，确定目标区域，并计算目标区域的灰度均值，最后根据目标区域的灰度均值，确定待检测相机的DOE是否脱落，无需使用任何额外的传感器或者检测电路只需分析待检测相机本身拍摄得到的红外图、散斑图和深度图即可确定待检测相机的DOE是否脱落，无需额外增加相机的成本和体积，同时，本实施例将散斑图与红外图进行差分相减，得到前景图，根据前景图的目标区域的灰度均值确定待检测相机的DOE是否脱落，即使在户外强光干扰下也可以准确地进行检测，可以提升DOE脱落检测的准确性、鲁棒性和稳定性。

另外，所述根据所述目标区域的灰度均值，确定所述待检测相机的DOE是否脱落，包括判断所述目标区域的灰度均值是否大于第三预设阈值；若所述目标区域的灰度均值小于或等于第三预设阈值，则确定所述待检测相机的DOE未脱落；若所述目标区域的灰度均值大于第三预设阈值，则根据所述目标区域的大小，确定所述目标区域的各邻域区域，并计算所述各邻域区域的灰度均值；计算所述目标区域的灰度均值与所述各邻域区域的灰度均值的最大值的比值；判断所述比值是否大于第四预设阈值；若所述比值大于第四预设阈值，则确定所述待检测相机的DOE脱落；若所述比值小于或等于所述第四预设阈值，则确定所述待检测相机的DOE未脱落，考虑到相机的DOE发生脱落后，拍摄出的散斑图会在图像中间出现一块异常明亮的区域，本实施例根据目标区域的灰度均值，以及目标区域各邻域区域的灰度均值，判断目标区域的灰度均值是否大于第三预设阈值、判断目标区域的灰度均值于与各邻域区域的灰度均值的最大值的比值是否大于第四预设阈值，即进行双重判断，可以进一步提升DOE脱落检测的精度，对于户外强光干扰的场景，双重判断可以将户外强光干扰对散斑图的影响，与DOE脱落对散斑图的影响区分出来，进一步提升DOE脱落检测的鲁棒性和稳定性。

另外，所述根据预设的划分标准和面积最大的所述连通区域，确定目标区域，包括：根据预设的划分标准，确定面积最大的所述连通区域的横坐标的最小值、横坐标的最大值、纵坐标的最小值和纵坐标的最大值；根据所述横坐标的最小值、所述横坐标的最大值、所述纵坐标的最小值和所述纵坐标的最大值，生成一个标准矩形，并将所述标准矩形作为目标区域，生成标准矩形作为目标区域，更加规范、清楚，便于灰度均值的计算，从而便于进行DOE脱落检测，提升DOE脱落检测的速度。

另外，在所述计算红外图对应的深度图的人脸区域内的空洞率之前，包括：根据预设的人脸检测算法，对所述待检测相机拍摄的同一帧红外图和彩色图进行人脸检测；若所述红外图和/或所述彩色图中检测到人脸，则计算所述红外图对应的深度图的人脸区域内的空洞率；若所述红外图和所述彩色图中均未检测到人脸，则退出DOE脱落检测，先对待检测相机拍摄得到的红外图和彩色图进行人脸检测，若至少一张图中检测到人脸，则继续进行DOE脱落检测，若均未检测到人脸，则无法判断DOE是否脱落，此时直接退出DOE脱落检测，节约检测资源。

另外，所述计算红外图对应的深度图的人脸区域内的空洞率，包括：遍历红外图对应的深度图的人脸区域，将所述深度图的人脸区域中灰度值小于或等于第五预设阈值的像素点作为空洞点；根据所述空洞点的个数和所述深度图的的人脸区域内的像素点的总数，确定所述红外图对应的深度图的人脸区域内的空洞率，考虑到DOE脱落会导致深度恢复失败，待检测相机拍摄得到的深度图的人脸区域内存在无效深度值的区域，服务器将深度图的人脸区域中灰度值小于或等于第五预设阈值的像素点作为空洞点，从而计算深度图的人脸区域的空洞率，可以更准确地确定出无效深度值的区域，从而进一步提升DOE脱落检测的准确率。

另外，所述计算红外图对应的深度图的人脸区域内的空洞率，包括：计算若干红外图分别对应的深度图的人脸区域内的空洞率，根据多组图像进行多次的DOE脱落检测，可以进一步提升DOE脱落检测的准确度。

另外，在所述确定所述待检测相机的DOE未脱落之后，包括：生成当前场景过曝提示，若根据前景图检测DOE未发生脱落，说明拍摄场景受到强光干扰，发生过曝，服务器生成场景过曝提示，提醒用户更换拍摄场景，或遮蔽强光。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定。

图1是根据本申请的一个实施例的DOE脱落检测方法的流程图一；

图2是根据本申请的一个实施例中，根据目标区域的灰度均值，确定待检测相机的DOE是否脱落的流程图一；

图3是根据本申请的一个实施例中，根据目标区域的灰度均值，确定待检测相机的DOE是否脱落的流程图二；

图4是根据本申请的一个实施例中，根据预设的划分标准和面积最大的连通区域，确定目标区域的流程图；

图5是根据本申请的另一个实施例的DOE脱落检测方法的流程图二；

图6是根据本申请的另一个实施例中，计算红外图对应的深度图的人脸区域内的空洞率的流程图；

图7是根据本申请的另一个实施例的电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请的各实施例进行详细的阐述。然而，本领域的普通技术人员可以理解，在本申请各实施例中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施例的种种变化和修改，也可以实现本申请所要求保护的技术方案。以下各个实施例的划分是为了描述方便，不应对本申请的具体实现方式构成任何限定，各个实施例在不矛盾的前提下可以相互结合相互引用。

本申请的一个实施例涉及一种DOE脱落检测方法，应用于电子设备；其中，电子设备可以为终端或服务器，本实施例以及以下个各个实施例中电子设备以服务器为例进行说明。下面对本实施例的DOE脱落检测方法的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须。

本实施例的DOE脱落检测方法的具体流程可以如图1所示，包括：

步骤101，计算红外图对应的深度图的人脸区域内的空洞率。

在具体实现中，红外图是通过待检测相机拍摄得到的，服务器再确定需要进行DOE脱落检测时，可以获取待检测相机拍摄得到的红外图以及红外图对应的深度图，根据预设的人脸检测算法对红外图进行人脸检测以确定人脸区域，服务器确定人脸区域后，可以遍历深度图的人脸区域内的各像素点，从人脸区域内的各像素点中确定无效深度值的像素点，即空洞点，再根据空洞点的个数和深度图的人脸区域内像素点的总数，计算得到人脸区域内的空洞率，其中，预设的人脸检测算法可以由本领域的技术人员根据实际需要进行设置，本申请的实施例对此不作具体限定。

在一个例子中，服务器可以遍历深度图的人脸区域内的各像素点，将深度值为0的像素点作为无效深度值的像素点，即空洞点。

步骤102，若空洞率大于第一预设阈值，则将红外图对应的散斑图与红外图进行差分相减，得到前景图。

具体而言，服务器计算得到红外图对应的深度图的人脸区域内的空洞率后，可以判断人脸区域内的空洞率是否大于第一预设阈值：若人脸区域内的空洞率大于第一预设阈值，说明待检测相机的DOE可能发生脱落，服务器可以红外图对应的散斑图与红外图进行差分相减，得到前景图；若人脸区域内的空洞率小于或等于第一预设阈值，服务器可以确定待检测相机的DOE未发生脱落，其中，第一预设阈值可以由本领域的技术人员根据实际需要进行设置，本申请的实施例对此不作具体限定。

在具体实现中，考虑到DOE脱落的相机由于高度密集的激光源，拍摄得到的散斑图相较于红外图会在中间区域形成一块“异常明亮的区域”，而DOE未脱落的相机，拍摄得到的散斑图中的散斑均匀均匀分布在散斑图中，没有异常明亮的区域，因此，服务器可以用红外图对应的散斑图减去红外图，从而得到前景图，将红外图对应的散斑图与红外图本身进行差分相减，可以削弱散斑图与红外图中相似的部分，突出散斑图与红外图之间的差异，即突出散斑图中的“异常明亮的区域”。

步骤103，对前景图进行连通区域检测，获得若干连通区域。

具体而言，连通区域内的各像素点的灰度值大于或等于第二预设阈值，其中，第二预设阈值可以由本领域的技术人员根据实际需要进行设置。

在具体实现中，服务器得到前景图后，可以根据连通区域检测算法，对前景图进行连通区域检测，将前景图“分块”，即遍历前景图的各像素点，将相邻的灰度值大于或等于第二预设阈值像素点形成一个连通区域，从而得到前景图的若干连通区域。

步骤104，根据预设的划分标准和面积最大的连通区域，确定目标区域，并计算目标区域的灰度均值。

在具体实现中，服务器对前景图进行连通区域检测，获得若干连通区域后，可以计算各连通区域的面积，即各连通区域内的像素点的个数，选取面积最大的连通区域，根据预设的划分标准对该连通区域进行划分，得到目标区域，并计算目标区域的灰度均值。

在一个例子中，预设的划分标准可以是形态学闭算法，服务器对面积最大的连通区域执行形态学闭操作，消除孤立的“黑洞”，服务器将执行形态学闭操作后的连通区域作为目标区域。

在一个例子中，预设的划分标准可以是预设的目标区域的面积，服务器可以确定面积最大的连通区域的中心点，根据预设的目标区域的面积，创建一个大小为W×W的区域，将该区域作为目标区域。

步骤105，根据目标区域的灰度均值，确定待检测相机的DOE是否脱落。

具体而言，服务器计算得到目标区域的灰度均值后，可以根据目标区域的灰度均值，确定待检测相机的DOE是否脱落。

在一个例子中，服务器根据目标区域的灰度均值，确定待检测相机的DOE是否脱落，可以由如图2所示的各步骤实现，具体包括：

步骤201，判断目标区域的灰度均值是否大于第三预设阈值，如果是，执行步骤202，否则，执行步骤203。

步骤202，确定待检测相机的DOE脱落。

步骤203，确定待检测相机的DOE未脱落。

具体而言，考虑到DOE脱落的相机拍摄得到的散斑图中会存在一块“异常明亮的区域”，因此服务器计算得到目标区域的灰度均值后，可以判断目标区域的灰度均值是否大于第三预设阈值，若目标区域的灰度均值大于第三预设阈值，说明目标区域是“异常明亮”的，服务器确定待检测相机的DOE脱落；若目标区域的灰度均值小于或等于第三预设阈值，说明目标区域不够“异常明亮”，不会是因DOE脱落造成的，服务器可以确定待检测相机的DOE未脱落，其中，第三预设阈值可以由本领域的技术人员根据实际需要进行设置，本申请的实施例对此不作具体限定。

本实施例，相较于增加光学传感器或者检测电路来进行DOE脱落检测的技术方案而言，服务器获取待检测相机拍摄得到的红外图，计算红外图对应的深度图的人脸区域内的空洞率，若人脸区域内的空洞率大于第一预设阈值，服务器将红外图对应的散斑图与红外图进行差分相减，得到前景图，并对前景图进行连通区域检测，获得若干连通区域，连通区域内的各像素点的灰度值大于或等于第二预设阈值，服务器确定出若干区域后，根据预设的划分标准和面积最大的连通区域，确定目标区域，并计算目标区域的灰度均值，最后根据目标区域的灰度均值，确定待检测相机的DOE是否脱落，无需使用任何额外的传感器或者检测电路只需分析待检测相机本身拍摄得到的红外图、散斑图和深度图即可确定待检测相机的DOE是否脱落，无需额外增加相机的成本和体积，同时，本实施例将散斑图与红外图进行差分相减，得到前景图，根据前景图的目标区域的灰度均值确定待检测相机的DOE是否脱落，即使在户外强光干扰下也可以准确地进行检测，可以提升DOE脱落检测的准确性、鲁棒性和稳定性。

在一个实施例中，服务器根据目标区域的灰度均值，确定待检测相机的DOE是否脱落，可以通过如图3所示的各步骤实现，具体包括：

步骤301，判断目标区域的灰度均值是否大于第三预设阈值，如果是，执行步骤302，否则，执行步骤306。

步骤302，根据目标区域的大小，确定目标区域的各邻域区域，并计算各邻域区域的灰度均值。

具体而言，考虑到DOE脱落的相机拍摄得到的散斑图中会存在一块“异常明亮的区域”，因此服务器计算得到目标区域的灰度均值后，可以判断目标区域的灰度均值是否大于第三预设阈值，若目标区域的灰度均值大于第三预设阈值，说明目标区域可能是“异常明亮”的，服务器可以根据目标区域的大小，确定目标区域的各邻域区域，并计算各邻域区域的灰度均值，进行下一步的检测；若目标区域的灰度均值小于或等于第三预设阈值，说明目标区域不够“异常明亮”，不会是因DOE脱落造成的，服务器可以确定待检测相机的DOE未脱落，其中，第三预设阈值可以由本领域的技术人员根据实际需要进行设置，本申请的实施例对此不作具体限定。

在一个例子中，服务器确定目标区域的灰度均值大于第三预设阈值后，可以以目标区域为中心，根据目标区域的大小，搜索上、下、左、右四邻域，得到与目标区域大小相同的四个邻域区域，并计算各邻域区域的灰度均值。

在一个例子中，服务器确定目标区域的灰度均值大于第三预设阈值后，可以以目标区域为中心，根据目标区域的大小，搜索上、下、左、右、左上、左下、右上、右下八邻域，得到与目标区域大小相同的八个邻域区域，并计算各邻域区域的灰度均值。

步骤303，计算目标区域的灰度均值与各邻域区域的灰度均值的最大值的比值。

在具体实现中，服务器计算得到目标区域的各邻域区域的灰度均值后，可以确定灰度均值最大的邻域区域，并计算目标区域的灰度均值与该邻域区域的灰度均值的比值。

步骤304，判断目标区域的灰度均值与各邻域区域的灰度均值的最大值的比值是否大于第四预设阈值，如果是，执行步骤305，否则，执行步骤306。

步骤305，确定待检测相机的DOE脱落。

步骤306，确定待检测相机的DOE未脱落。

在具体实现中，服务器计算得到目标区域的灰度均值与各邻域区域的灰度均值的最大值的比值后，可以判断该比值是否大于第四预设阈值，若该比值大于第四预设阈值，说明目标区域确实足够“异常明亮”，是因DOE脱落导致的，服务器确定待检测相机的DOE脱落；若该比值小于或等于第四预设阈值，说明目标区域与领域区域的亮度相差不大，不会是DOE脱落导致的，服务器确定待检测相机的DOE未脱落，其中，第四预设阈值可以由本领域的技术人员根据实际需要进行设置，本申请的实施例对此不作具体限定。

本实施例，所述根据所述目标区域的灰度均值，确定所述待检测相机的DOE是否脱落，包括判断所述目标区域的灰度均值是否大于第三预设阈值；若所述目标区域的灰度均值小于或等于第三预设阈值，则确定所述待检测相机的DOE未脱落；若所述目标区域的灰度均值大于第三预设阈值，则根据所述目标区域的大小，确定所述目标区域的各邻域区域，并计算所述各邻域区域的灰度均值；计算所述目标区域的灰度均值与所述各邻域区域的灰度均值的最大值的比值；判断所述比值是否大于第四预设阈值；若所述比值大于第四预设阈值，则确定所述待检测相机的DOE脱落；若所述比值小于或等于所述第四预设阈值，则确定所述待检测相机的DOE未脱落，考虑到相机的DOE发生脱落后，拍摄出的散斑图会在图像中间出现一块异常明亮的区域，本实施例根据目标区域的灰度均值，以及目标区域各邻域区域的灰度均值，判断目标区域的灰度均值是否大于第三预设阈值、判断目标区域的灰度均值于与各邻域区域的灰度均值的最大值的比值是否大于第四预设阈值，即进行双重判断，可以进一步提升DOE脱落检测的精度，对于户外强光干扰的场景，双重判断可以将户外强光干扰对散斑图的影响，与DOE脱落对散斑图的影响区分出来，进一步提升DOE脱落检测的鲁棒性和稳定性。

在一个实施例中，服务器根据预设的划分标准和面积最大的连通区域，确定目标区域，可以通过如图4所示的各步骤实现，具体包括：

步骤401，根据预设的划分标准，确定面积最大的连通区域的横坐标的最小值、横坐标的最大值、纵坐标的最小值和纵坐标的最大值。

在具体实现中，服务器以前景图的左下角为坐标原点建立二维直角坐标系，服务器遍历面积最大的连通区域的各像素点，确定该连通区域的横坐标的最小值i_min、横坐标的最大值i_max、纵坐标的最小值j_min和纵坐标的最大值j_max。

步骤402，根据横坐标的最小值、横坐标的最大值、纵坐标的最小值和纵坐标的最大值，生成一个标准矩形，并将该标准矩形作为目标区域。

在具体实现中，服务器确定出横坐标的最小值i_min、横坐标的最大值i_max、纵坐标的最小值j_min和纵坐标的最大值j_max后，可以从(i_min，j_min)、(i_min，j_max)、(i_max，j_min)和(i_max，j_max)四个点出发，根据行方向上的步长：i_step＝i_max-i_min，和列方向上的步长：j_step＝j_max-j_min，生成一个标准矩形，并将该标准矩形作为目标区域，从而便于进行DOE脱落检测，提升DOE脱落检测的速度。

本实施例，所述根据预设的划分标准和面积最大的所述连通区域，确定目标区域，包括：根据预设的划分标准，确定面积最大的所述连通区域的横坐标的最小值、横坐标的最大值、纵坐标的最小值和纵坐标的最大值；根据所述横坐标的最小值、所述横坐标的最大值、所述纵坐标的最小值和所述纵坐标的最大值，生成一个标准矩形，并将所述标准矩形作为目标区域，生成标准矩形作为目标区域，更加规范、清楚，便于灰度均值的计算，从而便于进行DOE脱落检测，提升DOE脱落检测的速度。

本申请的另一个实施例涉及一种DOE脱落检测方法，下面对本实施例的DOE脱落检测方法的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须，本实施例的DOE脱落检测方法的具体流程可以如图5所示，包括：

步骤501，根据预设的人脸检测算法，对待检测相机拍摄的同一帧红外图和彩色图进行人脸检测。

步骤502，判断红外图和彩色图中是否均未检测到人脸，如果是，执行步骤503，否则，执行步骤504。

步骤503，退出DOE脱落检测。

在具体实现中，服务器在进行DOE脱落检测时，先获取待检测相机拍摄的同一帧红外图和彩色图，并根据预设的人脸检测算法，对待检测相机拍摄的同一帧红外图和彩色图进行人脸检测，判断红外图和彩色图中是否均未检测到人脸，若在红外图和彩色图中的至少一张图中检测到人脸，则可以继续进行DOE脱落检测，服务器继续计算红外图对应的深度图的人脸区域的空洞率；若在红外图和深度图中均未检测到人脸，此时无法判断DOE是否脱落，服务器退出DOE脱落检测。

步骤504，计算红外图对应的深度图的人脸区域内的空洞率。

步骤505，若空洞率大于第一预设阈值，则将红外图对应的散斑图与红外图进行差分相减，得到前景图。

步骤506，对前景图进行连通区域检测，获得若干连通区域。

步骤507，根据预设的划分标准和面积最大的连通区域，确定目标区域，并计算目标区域的灰度均值。

步骤508，根据目标区域的灰度均值，确定待检测相机的DOE是否脱落。

其中，步骤504至步骤508与步骤101至步骤105大致相同，此处不再赘述。

本实施例，在所述计算红外图对应的深度图的人脸区域内的空洞率之前，包括：根据预设的人脸检测算法，对所述待检测相机拍摄的同一帧红外图和彩色图进行人脸检测；若所述红外图和/或所述彩色图中检测到人脸，则计算所述红外图对应的深度图的人脸区域内的空洞率；若所述红外图和所述彩色图中均未检测到人脸，则退出DOE脱落检测，先对待检测相机拍摄得到的红外图和彩色图进行人脸检测，若至少一张图中检测到人脸，则继续进行DOE脱落检测，若均未检测到人脸，则无法判断DOE是否脱落，此时直接退出DOE脱落检测，节约检测资源。

在另一个实施例中，服务器可以通如图6所示的各步骤计算红外图对应的深度图的人脸区域内的空洞率，具体包括：

步骤601，遍历红外图对应的深度图的人脸区域，将深度图的人脸区域中灰度值大于第五预设阈值的像素点作为空洞点。

其中，第五预设阈值可以有本领域的技术人员根据实际需要进行设置。

步骤602，根据空洞点的个数和深度图的的人脸区域内的像素点的总数，确定红外图对应的深度图的人脸区域内的空洞率。

本实施例，服务器遍历红外图对应的深度图的人脸区域，将深度图的人脸区域中灰度值小于或等于第五预设阈值的像素点作为空洞点，并根据空洞点的个数和深度图的的人脸区域内的像素点的总数，确定红外图对应的深度图的人脸区域内的空洞率，考虑到DOE脱落会导致深度恢复失败，待检测相机拍摄得到的深度图的人脸区域内存在无效深度值的区域，服务器将深度图的人脸区域中灰度值小于或等于第五预设阈值的像素点作为空洞点，从而计算深度图的人脸区域的空洞率，可以更准确地确定出无效深度值的区域，从而进一步提升DOE脱落检测的准确率。

在另一个实施例中，服务器可以计算若干红外图分别对应的深度图的人脸区域内的空洞率，即获取待检测相机拍摄的若干张红外图，服务器根据多组图像进行多次的DOE脱落检测，可以进一步提升DOE脱落检测的准确度。

在另一个实施例中，服务器在确定待检测相机的DOE未脱落之后，可以生成当前场景过曝提示，在实际情况中，服务器根据前景图检测DOE未发生脱落，说明拍摄场景受到强光干扰，发生过曝现象，服务器生成场景过曝提示，提醒用户更换拍摄场景，或遮蔽强光。

上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。

本申请另一个实施例涉及一种电子设备，如图7所示，包括：至少一个处理器701；以及，与所述至少一个处理器701通信连接的存储器702；其中，所述存储器702存储有可被所述至少一个处理器701执行的指令，所述指令被所述至少一个处理器701执行，以使所述至少一个处理器701能够执行上述各实施例中的DOE脱落检测方法。

其中，存储器和处理器采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器和存储器的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器。

处理器负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器可以被用于存储处理器在执行操作时所使用的数据。

本申请另一个实施例涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。

即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，简称：ROM)、随机存取存储器(Random Access Memory，简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域的普通技术人员可以理解，上述各实施例是实现本申请的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本申请的精神和范围。

Claims (9)

1.一种DOE脱落检测方法，其特征在于，包括：

计算红外图对应的深度图的人脸区域内的空洞率；其中，所述红外图是通过待检测相机拍摄得到的，所述空洞率为所述人脸区域内的空洞点的数量与像素点总数的比值；

若所述空洞率大于第一预设阈值，则将所述红外图对应的散斑图与所述红外图进行差分相减，得到前景图；

对所述前景图进行连通区域检测，获得若干连通区域；其中，所述连通区域内的各像素点的灰度值大于或等于第二预设阈值；

根据预设的划分标准和面积最大的所述连通区域，确定目标区域，并计算所述目标区域的灰度均值；

根据所述目标区域的灰度均值，确定所述待检测相机的DOE是否脱落；

所述根据预设的划分标准和面积最大的所述连通区域，确定目标区域，包括：

根据预设的划分标准，确定面积最大的所述连通区域的横坐标的最小值、横坐标的最大值、纵坐标的最小值和纵坐标的最大值；

根据所述横坐标的最小值、所述横坐标的最大值、所述纵坐标的最小值和所述纵坐标的最大值，生成一个标准矩形，并将所述标准矩形作为目标区域。

2.根据权利要求1所述的DOE脱落检测方法，其特征在于，所述根据所述目标区域的灰度均值，确定所述待检测相机的DOE是否脱落，包括：

判断所述目标区域的灰度均值是否大于第三预设阈值；

若所述目标区域的灰度均值小于或等于第三预设阈值，则确定所述待检测相机的DOE未脱落；

若所述目标区域的灰度均值大于第三预设阈值，则根据所述目标区域的大小，确定所述目标区域的各邻域区域，并计算所述各邻域区域的灰度均值；

计算所述目标区域的灰度均值与所述各邻域区域的灰度均值的最大值的比值；

判断所述比值是否大于第四预设阈值；

若所述比值大于第四预设阈值，则确定所述待检测相机的DOE脱落；

若所述比值小于或等于所述第四预设阈值，则确定所述待检测相机的DOE未脱落。

3.根据权利要求1所述的DOE脱落检测方法，其特征在于，所述根据所述目标区域的灰度均值，确定所述待检测相机的DOE是否脱落，包括：

判断所述目标区域的灰度均值是否大于第三预设阈值；

若所述目标区域的灰度均值大于第三预设阈值，则确定所述待检测相机的DOE脱落；

若所述目标区域的灰度均值小于或等于第三预设阈值，则确定所述待检测相机的DOE未脱落。

4.根据权利要求1-3任一项所述的DOE脱落检测方法，其特征在于，在所述计算红外图对应的深度图的人脸区域内的空洞率之前，包括：

根据预设的人脸检测算法，对所述待检测相机拍摄的同一帧红外图和彩色图进行人脸检测；

若所述红外图和/或所述彩色图中检测到人脸，则计算所述红外图对应的深度图的人脸区域内的空洞率；

若所述红外图和所述彩色图中均未检测到人脸，则退出DOE脱落检测。

5.根据权利要求1-3任一项所述的DOE脱落检测方法，其特征在于，所述计算红外图对应的深度图的人脸区域内的空洞率，包括：

遍历红外图对应的深度图的人脸区域，将所述深度图的人脸区域中灰度值小于或等于第五预设阈值的像素点作为空洞点；

根据所述空洞点的个数和所述深度图的的人脸区域内的像素点的总数，确定所述红外图对应的深度图的人脸区域内的空洞率。

6.根据权利要求1所述的DOE脱落检测方法，其特征在于，所述计算红外图对应的深度图的人脸区域内的空洞率，包括：

计算若干红外图分别对应的深度图的人脸区域内的空洞率。

7.根据权利要求2或3所述的DOE脱落检测方法，其特征在于，在所述确定所述待检测相机的DOE未脱落之后，包括：生成当前场景过曝提示。

8.一种电子设备，其特征在于，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至7中任一所述的DOE脱落检测方法。

9.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的DOE脱落检测方法。

Images