CN108197571B

CN108197571B - 一种面罩遮挡检测方法及电子设备

Info

Publication number: CN108197571B
Application number: CN201810001152.1A
Authority: CN
Inventors: 朱琳; 李储存; 盛兴东; 张振飞
Original assignee: Lenovo Beijing Ltd
Current assignee: Lenovo Beijing Ltd
Priority date: 2018-01-02
Filing date: 2018-01-02
Publication date: 2021-09-14
Anticipated expiration: 2038-01-02
Also published as: CN108197571A

Abstract

本申请公开了一种面罩遮挡检测方法，应用于电子设备，所述电子设备包括飞行时间TOF相机和面罩，所述面罩设置在所述TOF相机前方，所述方法包括：获取所述TOF相机所采集到的深度图，所述深度图包括采集区域中每个位置点到所述TOF相机的深度数据；对所述深度图进行平面拟合，得到所述深度图中的拟合平面，所述拟合平面的图像面积大于或等于预设的第一阈值，所述拟合平面对应于所述采集区域中的目标区域；获取所述目标区域中所有位置点到所述拟合平面的距离平均值；判断所述距离平均值是否大于或等于预设的第二阈值，得到判断结果；基于所述判断结果，确定所述面罩上是否存在遮挡。

Description

一种面罩遮挡检测方法及电子设备

技术领域

本申请涉及数据处理技术领域，特别涉及一种面罩遮挡检测方法及电子设备。

背景技术

在增强现实AR(Augmented Reality)设备中，飞行时间TOF(Time of flight)的深度相机可以用于手势识别和及时定位与地图构建SLAM(simultaneous localization andmapping)，其中，TOF的深度相机利用发射的激光和反射到传感器的激光的相位差异来计算获得深度图，

为了保护TOF的深度相机，在AR设备中通常会设置一个面罩。而面罩在使用过程中也会存在黏着一些遮挡物或者存在划痕，这样会使得面罩后的TOF深度相机在透过面罩获取到的深度图像存在很大的噪声，导致AR设备在多种应用中无法正常使用。

因此，亟需一种检测面罩遮挡状态的方案，以及时提示用户清理遮挡，保证AR设备的正常运行。

发明内容

有鉴于此，本申请的目的是提供一种面罩遮挡监测方法及电子设备，用以解决现有技术中无法检测面罩遮挡导致AR设备可能无法正常使用的技术问题。

本申请提供了一种面罩遮挡检测方法，应用于电子设备，所述电子设备包括飞行时间TOF相机和面罩，所述面罩设置在所述TOF相机前方，所述方法包括：

获取所述TOF相机所采集到的深度图，所述深度图包括采集区域中每个位置点到所述TOF相机的深度数据；

对所述深度图进行平面拟合，得到所述深度图中的拟合平面，所述拟合平面的图像面积大于或等于预设的第一阈值，所述拟合平面对应于所述采集区域中的目标区域；

获取所述目标区域中所有位置点到所述拟合平面的距离平均值；

判断所述距离平均值是否大于或等于预设的第二阈值，得到判断结果；

基于所述判断结果，确定所述面罩上是否存在遮挡。

上述方法，优选地，对所述深度图进行平面拟合，得到所述深度图中的拟合平面，包括：

利用预设的拟合算法拟合所述深度图中所述采集区域中的平面，如果拟合到的平面的面积大于或等于预设的第一阈值，确定所述拟合到的平面为所述深度图中的拟合平面，所述拟合平面对应于所述采集区域中的目标区域。

上述方法，优选地，所述拟合算法为最小二乘法LSE或者随机抽样一致性算法RANSAC。

上述方法，优选地，还包括：

设置计时器，当所述计时器的时间值达到预设的第三阈值，执行一次所述获取所述TOF相机所采集到的深度图并对所述计时器重新计时。

上述方法，优选地，基于所述判断结果，确定所述面罩上是否存在遮挡，包括：

如果所述判断结果表明所述距离平均值大于或等于预设的第二阈值，确定所述面罩上存在遮挡，如果所述判断结果表明所述距离平均值小于所述第二阈值，确定所述面罩上不存在遮挡。

上述方法，优选地，在确定所述面罩上存在遮挡后，所述方法还包括：

输出提示信息，所述提示信息用于提示所述面罩存在遮挡。

本申请还提供了一种电子设备，所述电子设备包括TOF相机和面罩，所述电子设备还包括：处理器，其中：

所述面罩设置在所述TOF相机前方；

所述TOF相机用于采集深度图；

所述处理器，用于：获取所述TOF相机所采集到的深度图，所述深度图包括采集区域中每个位置点到所述TOF相机的深度数据；对所述深度图进行平面拟合，得到所述深度图中的拟合平面，所述拟合平面的图像面积大于或等于预设的第一阈值，所述拟合平面对应于所述采集区域中的目标区域；获取所述目标区域中所有位置点到所述拟合平面的距离平均值；判断所述距离平均值是否大于或等于预设的第二阈值，得到判断结果；基于所述判断结果，确定所述面罩上是否存在遮挡。

上述电子设备，优选的，还包括：

报警器，用于输出提示信息，所述提示信息用于提示所述面罩存在遮挡。

上述电子设备，优选的，所述报警器包括：

显示器，用于展示所述提示信息。

上述电子设备，优选的，所述报警器包括：

音频播放器，用于播放所述提示信息。

由上述方案可知，本申请提供的一种面罩遮挡检测方法及电子设备，在对电子设备上TOF相机所采集到的深度图进行获取后，通过拟合深度图中的平面，从而获取该平台在深度图上对应的各个位置点到平台的距离平均值，由此通过对距离平均值进行判断来确定TOF相机前方的面罩上是否存在遮挡，从而在后续可以向用户提醒进行遮挡清理，从而保证AR设备的正常使用。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例一提供的一种面罩遮挡检测方法的实现流程图；

图2～图5分别为本申请实施例的应用示例图；

图6为本申请实施例一的另一流程图；

图7为本申请实施例二提供的一种电子设备的结构示意图；

图8为本申请实施例二的另一结构示意图；

图9为本申请实施例的另一应用示例图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

参考图1，为本申请实施例一提供的一种面罩遮挡检测方法的实现流程图，该方法可以应用于AR等电子设备上，如图2中的AR眼镜所示，电子设备中包含TOF相机，在TOF相机(虚线所示)前方设置有面罩，如具有高清晰玻璃面罩等，该面罩可以起到保护TOF相机的作用，另外，该面罩也可以为具有高清显示功能的面罩。

在本实施例中，该方法可以包括以下步骤：

步骤101：获得TOF相机所采集到的深度图。

其中，深度图是指TOF相机前方采集区域的深度图，如图3中所示，该深度图中包含采集区域每个位置点到TOF相机的深度数据，如距离数据及方位数据等。

步骤102：对深度图进行平面拟合，得到深度图中的拟合平面。

其中，该拟合平面是指深度图所对应的采集区域中平面区域或接近平面的区域所拟合形成的平面。这个拟合平面区别于采集区域中真实存在的平面，该拟合平面在采集区域中所对应的真实区域可以定义为目标区域，如图4中所示，该拟合平面的图像面积是大于或等于预设的第一阈值的，也就是说，本实施例中是需要在深度图中拟合出面积大于或等于第一阈值的平面后才能进行后续的遮挡判断。

需要说明的是，第一阈值是相对于TOF的视野面积而设置，如视野面积的2/3面积或者1/2面积，具体值可以根据经验数据和需求进行设置，第一阈值的数值越大，本实施例中对遮挡检测的准确度越高。

步骤103：获取目标区域中所有位置点到拟合平面的距离平均值。

其中，本实施例中可以首先计算目标区域中所有位置点到拟合平面的距离，具体可以利用点到面的距离计算方法实现，之后，再计算这些距离的平均值。

步骤104：判断距离平均值是否大于或等于预设的第二阈值，得到判断结果。

其中，第二阈值可以根据基于深度图的深度数据中的最大值及最小值进行设置，例如，取最大值与最小值之间的平均值设置第二阈值，或者取小于最大值而大于最小值的某个中间数值来设置第二阈值，该第二阈值表明深度图中除面罩上遮挡物之外的真实物体到拟合平面的最大距离，如果距离平均值大于或等于第二阈值，那么表明此时面罩上可能存在遮挡物来加大了距离平均值，如果距离平均值小于第二阈值，那么表明此时深度图中所有的物体均为真实物体，并非面罩遮挡物。

步骤105：基于判断结果，确定面罩上是否存在遮挡。

例如，如果判断结果表明距离平均值大于或等于预设的第二阈值，那么，可以执行步骤106，如果判断结果表明距离平均值小于第二阈值，那么可以执行步骤107。由此，通过判断结果中距离平均值是否大于或等于第二阈值来确定出面罩上是否存在遮挡。

步骤106：确定面罩上存在遮挡。

其中，这里的遮挡可以为黏着的污染物或者面罩上的划痕等，如图5中所示。

步骤107：确定面罩上不存在遮挡。

步骤108：输出提示信息。

其中，该提示信息用于提示面罩存在遮挡。例如，在AR设备的显示屏上显示“面罩有遮挡，请及时清理”等提示字符，或者通过AR设备的耳机或喇叭播放器以声音信号输出提示信息，由此来提示用户提示清理遮挡，保证电子设备的正常运行。

由上述方案可知，本申请实施例一提供的一种面罩遮挡检测方法，在对电子设备上TOF相机所采集到的深度图进行获取后，通过拟合深度图中的平面，从而获取该平台在深度图上对应的各个位置点到平台的距离平均值，由此通过对距离平均值进行判断来确定TOF相机前方的面罩上是否存在遮挡，从而在后续可以向用户提醒进行遮挡清理，从而保证AR设备的正常使用。

在一种实现方式中，本实施例在对深度图进行平面拟合时，可以通过以下方式实现：

首先，利用预设的拟合算法拟合深度图的采集区域中的平面，也就是说，在TOF相机运行过程中，会对前方区域的深度图进行获取，通过对深度图进行实时的平面拟合处理，来寻找采集区域中为平面或者近似平面的区域，而如果在拟合过程中，拟合到的平面的面积大于或等于第一阈值，那么久确定拟合到的平面为深度图中的拟合平面，如果拟合到的平面面积没有达到第一阈值，则继续对TOF采集到的深度图进行平面拟合，如对深度图中的其他区域进行平面拟合，或者对TOF重新采集到的深度图进行平面拟合。

具体的，本实施例中的拟合算法可以为最小二乘法LSE(Least squares)，也成为最小平方法。在最小二乘法中，通过最小化误差的平方和寻找数据的最佳函数匹配，由此，在本实施例中通过对采集区域中深度数据利用最小二乘法进行计算，来拟合出采集区域中的拟合平面。

或者，本实施例中的拟合算法也可以为随机抽样一致性算法RANSAC(RANdomSAmple Consensus)。在RANSAC中通过从一组包含“局外点”的观测数据集中，通过迭代方式估计数学模型的参数，由此，在本实施例中，通过对采集区域中深度数据利用RANSAC进行计算，来拟合出采集区域中的拟合平面。

在一种实现方式中，本实施例中可以通过持续对TOF相机所采集的深度图进行获取，并以此来进行遮挡检测，但是这样可能会大量消耗电子设备的资源，如电能资源、CPU(Central Processing Unit))计算资源及GPU(Graphics Processing Unit)图像处理资源等。由此，本实施例中可以通过设置计时器来触发遮挡检测，如图6中所示，在步骤101之前，还可以包括：

步骤109：设置计时器，当计时器的时间值达到第三阈值时，执行步骤101并对计时器重新计时。

其中，第三阈值可以根据需求进行设置，如设置1分钟、1小时或者每天。

而在每次计时器触发的遮挡检测过程中，如果深度图中无法拟合出面积大于或等于第一阈值的平面，那么结束本次遮挡检测，重新回到计时器的触发流程，等待计时器的时间值到达第三阈值。当再次计时器的时间值达到第三阈值时，再重新执行步骤101对深度图进行获取并进行新的遮挡检测。

如果在每次计时器触发的遮挡检测过程中，如果拟合出面积超过第一阈值的平面，而不论后续是否确定出存在遮挡，均可以结束本次遮挡检测，重新回到计时器的触发流程，等待计时器的时间值到达第三阈值。当再次计时器的时间值达到第三阈值时，再重新执行步骤101对深度图进行获取并进行新的遮挡检测。

也就是说，本实施例中无论是否拟合出平面或者是否检测出遮挡，都是每隔第三阈值的时间执行一次遮挡检测流程，以保证电子设备的正常运行。

参考图7，为本申请实施例二提供的一种电子设备的结构示意图，该电子设备可以为AR等终端，该电子设备中可以包括有TOF相机701和面罩702，面罩702设置在TOF相机701前方，面罩702可以为高清晰玻璃面罩，可以起到保护TOF相机701的作用，另外，面罩702也可以为具有高清显示功能的面罩，而TOF相机701可以用于采集任意采集区域的深度图。

在电子设备中，还可以包括处理器703，其中：

所述处理器703可以用于：获取所述TOF相机701所采集到的深度图，所述深度图包括采集区域中每个位置点到所述TOF相机701的深度数据；对所述深度图进行平面拟合，得到所述深度图中的拟合平面，所述拟合平面的图像面积大于或等于预设的第一阈值，所述拟合平面对应于所述采集区域中的目标区域；获取所述目标区域中所有位置点到所述拟合平面的距离平均值；判断所述距离平均值是否大于或等于预设的第二阈值，得到判断结果；基于所述判断结果，确定所述面罩702上是否存在遮挡。

例如，处理器703如果发现判断结果表明所述距离平均值大于或等于预设的第二阈值，确定所述面罩上存在遮挡，如果所述判断结果表明所述距离平均值小于所述第二阈值，确定所述面罩702上不存在遮挡。

其中，处理器703在对深度图进行平面拟合时，可以利用预设的拟合算法如最小二乘法LSE或者随机抽样一致性算法RANSAC拟合所述深度图中所述采集区域中的平面，如果拟合到的平面的面积大于或等于预设的第一阈值，确定所述拟合到的平面为所述深度图中的拟合平面，所述拟合平面对应于所述采集区域中的目标区域。

另外，本实施例中，处理器703可以通过设置计时器来进行计时，当计时器的时间值达到预设的第三阈值，执行一次所述获取所述TOF相机701所采集到的深度图并对所述计时器重新计时。

除此之外，本实施例中还可以在电子设备中设置对用户的提醒结构，如报警器704等，如图8中所示，用以输出提示信息，该提示信息用于提示面罩702存在遮挡，提醒用户尽快清理面罩702，以保证AR等设备正常运行。

其中，本实施例中的报警器704可以为显示器，用于展示所述提示信息。如在显示屏上显示“面罩有遮挡，请及时清理”的字样，提醒用户。

或者，报警器703也可以为音频播放器，从而以声音信号的形式播放提示信息，以提示用户及时清理面罩。

以下结合图9中的流程图，对本实施例在AR设备中的应用进行说明：

在AR设备中，每隔若干秒如K秒进行一次判断，即：每隔K秒，AR中的TOF相机抓取一次TOF深度图，通过最小二乘法或者RANSAC拟合采集区域如墙面的平面，如果拟合到符合一定面积(相对于视野面积，大于T1)的平面，然后计算深度图中拟合平面对应的区域所有点距离拟合平面的距离的平均值，当该平均值大于T2时，确定面罩存在遮挡，如有污染物或者划痕等。

由上述方案可知，本申请实施例二提供的一种电子设备中，在电子设备上的TOF相机采集到深度图后，通过拟合深度图中的平面，从而获取该平台在深度图上对应的各个位置点到平台的距离平均值，由此通过对距离平均值进行判断来确定TOF相机前方的面罩上是否存在遮挡，从而在后续可以向用户提醒进行遮挡清理，从而保证AR设备的正常使用。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本申请所提供的一种面罩遮挡检测方法及电子设备进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims

1.一种面罩遮挡检测方法，应用于电子设备，所述电子设备包括飞行时间TOF相机和面罩，所述面罩设置在所述TOF相机前方，所述方法包括：

对所述深度图进行平面拟合，得到所述深度图中的拟合平面，所述拟合平面的图像面积大于或等于预设的第一阈值，所述拟合平面对应于所述采集区域中的目标区域，所述拟合平面是所述深度图所对应的采集区域中平面区域或接近平面的区域所拟合形成的平面，所述拟合平面区别于所述采集区域中真实存在的平面，所述拟合平面在所述采集区域中所对应的真实区域为所述目标区域；

基于所述判断结果，确定所述面罩上是否存在遮挡。

2.根据权利要求1所述的方法，其特征在于，对所述深度图进行平面拟合，得到所述深度图中的拟合平面，包括：

3.根据权利要求2所述的方法，其特征在于，所述拟合算法为最小二乘法LSE或者随机抽样一致性算法RANSAC。

4.根据权利要求1或2所述的方法，其特征在于，还包括：

5.根据权利要求1或2所述的方法，其特征在于，基于所述判断结果，确定所述面罩上是否存在遮挡，包括：

6.根据权利要求5所述的方法，其特征在于，在确定所述面罩上存在遮挡后，所述方法还包括：

输出提示信息，所述提示信息用于提示所述面罩存在遮挡。

7.一种电子设备，所述电子设备包括TOF相机和面罩，所述电子设备还包括：处理器，其中：

所述面罩设置在所述TOF相机前方；

所述TOF相机用于采集深度图；

所述处理器，用于：获取所述TOF相机所采集到的深度图，所述深度图包括采集区域中每个位置点到所述TOF相机的深度数据；对所述深度图进行平面拟合，得到所述深度图中的拟合平面，所述拟合平面的图像面积大于或等于预设的第一阈值，所述拟合平面对应于所述采集区域中的目标区域，所述拟合平面是所述深度图所对应的采集区域中平面区域或接近平面的区域所拟合形成的平面，所述拟合平面区别于所述采集区域中真实存在的平面，所述拟合平面在所述采集区域中所对应的真实区域为所述目标区域；获取所述目标区域中所有位置点到所述拟合平面的距离平均值；判断所述距离平均值是否大于或等于预设的第二阈值，得到判断结果；基于所述判断结果，确定所述面罩上是否存在遮挡。

8.根据权利要求7所述的电子设备，其特征在于，还包括：

9.根据权利要求8所述的电子设备，其特征在于，所述报警器包括：

显示器，用于展示所述提示信息。

10.根据权利要求8所述的电子设备，其特征在于，所述报警器包括：

音频播放器，用于播放所述提示信息。