CN109727344A - 3d人脸识别智能门锁及3d人脸解锁方法 - Google Patents

Abstract

本发明公开一种3D人脸识别智能门锁及3D人脸解锁方法，3D人脸解锁方法包括如下步骤：激活深度相机以采集图像；当所述图像中包含人脸信息时，判断是否有开锁意图；当确定有开锁意图时，对所述人脸信息进行识别；当识别成功时，开启锁芯。本发明还公开一种3D人脸识别智能门锁，包括：锁芯；深度相机，用于采集图像；处理器，与所述深度相机以及锁芯连接，用于根据所述图像进行开锁意图的判断以及人脸识别，并根据识别的结果控制所述锁芯的开启。

Description

3D人脸识别智能门锁及3D人脸解锁方法

技术领域

本发明涉及智能门锁领域，尤其涉及一种3D人脸识别智能门锁以及3D人脸解锁方法。

背景技术

门锁解锁方式正不断变化，由机械式的钥匙解锁发展到电子密码锁，当前又出现指纹门锁，解锁方式进化的背后一方面是技术的进步，另一方面是人们对门锁的安全性以及门锁的用户体验有着越来越高的需求。钥匙、密码形式的门锁较为传统，安全性较低，体验也一般；指纹门锁通过用户指纹进行解锁，用户无需携带钥匙，也不用记密码，安全性以及体验性比传统门锁稍高，但同样会面临一些问题，比如误识率高，用户手指脱皮、有水等使得解锁不成功，双手被占用时也无法解锁等等，导致目前指纹智能门锁难以普及。

总之，目前仍缺乏一种安全性更高、体验更佳、更智能的智能门锁。

发明内容

为解决上述问题，本发明提出一种安全性更高、体验更佳、更节能减耗、更智能的3D人脸识别智能门锁以及3D人脸解锁方法。

本发明提供一种3D人脸识别智能门锁，包括：锁芯；深度相机，用于采集图像；处理器，与所述深度相机以及锁芯连接，用于根据所述图像进行开锁意图的判断以及人脸识别，并根据识别的结果控制所述锁芯的开启。

本发明还提供一种3D人脸解锁方法，包括如下步骤：激活深度相机以采集图像；当所述图像中包含人脸信息时，判断是否有开锁意图；当确定有开锁意图时，对所述人脸信息进行识别；当识别成功时，开启锁芯。

附图说明

图1～图4为本发明多个实施例的3D人脸识别智能门锁的结构框图。

图5是根据本发明一个实施例的3D人脸解锁方法的流程示意图。

图6～图9为本发明多个实施例中实现图5中开锁意图判断的具体步骤。

图10为本发明另一个实施例中3D人脸解锁方法的流程示意图。

具体实施方式

下面结合附图通过具体实施例对本发明进行详细的介绍，以使更好的理解本发明，但下述实施例并不限制本发明范围。另外，需要说明的是，下述实施例中所提供的图示仅以示意方式说明本发明的基本构思，附图中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的形状、数量及比例可为一种随意的改变，且其组件布局形态也可能更为复杂。

图1～图4为本发明多个实施例中3D人脸识别智能门锁的结构框图。如图1所示，3D人脸识别智能门锁10包括锁芯110，深度相机120，以及分别与锁芯110和深度相机120连接的处理器130。深度相机120用于采集图像。处理器130接收来自深度相机120采集的图像，并根据所述图像进行开锁意图的判断以及人脸识别，然后根据识别的结果控制所述锁芯110的开启。其中，处理器130可以是单个处理器，也可以是多种处理器的组合，例如同时包含嵌入式微处理器(MPU)以及嵌入式微控制器(MCU)。

与图1中的3D人脸识别智能门锁10相比，图2中的3D人脸识别智能门锁20还包括环境光传感器140。环境光传感器140用于检测当前环境光强度，并将当前的环境光强度信号传递给处理器130，处理器130根据环境光强度控制深度相机在不同的模式下工作并执行与之对应的人脸检测与识别算法。

与图1中的3D人脸识别智能门锁10相比，图3中的3D人脸识别智能门锁30还包括存储器150。存储器150与处理器连接。存储器150包括多个层级的存储单元，预设人脸图像将被保存在层级最高的存储单元中。在成功解锁到门被关上这段时间内深度相机将持续对尾随的人进行人脸检测、识别，并将不属于预设人脸图像的人保存到层级一般的存储单元中，这些被保存的非预设人脸图像可以被用于监控等作用。

与图1中行所示的3D人脸识别智能门锁10相比，图4中的3D人脸识别智能门锁40还包括激活感应器160。激活感应器160与处理器连接，用于目标检测，当在目标区域内检测到目标时，由所述处理器激活所述深度相机。

上述3D人脸识别智能门锁可以一体式设置，也可以分离式设置。其中，一体式设置是指将实现3D人脸识别的硬件与智能门锁集成在一起形成整体装置，分离式设置则是将两者分开安装。一体式设置的3D人脸识别智能门锁的结构会更加紧凑，设计更合理，更便于安装，但是相较于分离式设置的3D人脸识别智能门锁成本会更高，因为，一体式设置对各个硬件的功耗、体积等会有更高的要求。用户可以根据实际情况来选择合适的设置方式。

上述3D人脸识别智能门锁通过3D人脸识别来解锁，可以解决传统门锁安全性低，体验不佳的问题，但是当没有目标没有进入目标区域或者目标没有开锁意图时，上述3D人脸识别智能门锁也一直在工作运行，即，一直在进行人脸识别，这会造成资源浪费问题，由此，下面将会阐述一种更为智能的3D人脸解锁方法。

图5是根据本发明一个实施例的3D人脸解锁方法的流程示意图。包括如下步骤：

S100，激活深度相机以采集图像。

在本步骤中，通过处理器激活深度相机以在目标区域内采集图像。深度相机可以为基于结构光、双目、TOF(时间飞行算法)技术的深度相机，用于在目标区域内采集图像，这里图像包括深度(depth)图像，也可以包括可见光图像(例如RGB图像)和/或红外(IR)图像。

根据实际应用需求，处理器控制深度相机工作在不同模式下，以获取不同类型的图像，比如仅获取深度图像，或者可以获取除深度图像之外还包括可见光图像或IR图像中的至少一种，获取方式时可以采用同步获取或轮流的方式，比如可以以depth-IR轮流帧获取的模式，轮流获取深度图像和IR图像。

其中，激活的一种方式是处理器以预设时间间隔向深度相机发送激活指令，然后深度相机响应所述激活指令并被激活。其中，预设时间间隔可以设置为10min或其他时长，并可与上述激活指令一同被编写成程序预先存储在处理器的寄存器或其他存储器(本地存储器或者云端存储器)中，上述程序可以被处理器直接调用执行。

激活的另一种方式是，利用激活感应器进行目标检测，当在目标区域中检测到所述目标时，处理器激活所述深度相机。其中，激活感应器与处理器连接。激活感应器一般具有灵敏度高、功耗低、数据量小等优势，由此可以避免深度相机一直处于工作状态，提高了深度相机的利用效率和使用寿命。举例说明，激活感应器可以包括热释电传感器、红外探测仪、声控仪(麦克风)等设备中的一种或几种。当人体靠近目标区域时，热释电传感器和红外探测仪可以检测到人体释放的红外线，声控仪可以检测到人体发出的声音(脚步声)。由此可知，激活感应器可以很灵敏地检测到人体的存在，进而将检测信号传送给处理器。处理器接收并分析上述检测信号后，进一步激活深度相机。

S200，当所述图像中包含人脸信息时，判断是否有开锁意图。

处理器接收由深度相机采集的图像，并对图像进行人脸检测，当检测到所述图像中包含人脸信息时，再根据检测到的人脸信息判断人体是否有开锁意图。其中，处理器可以是单个处理器，也可以是多种处理器的组合，例如同时包含嵌入式微处理器(MPU)以及嵌入式微控制器(MCU)。

人脸检测。

不同类型的图像应该对应不同的人脸检测算法。在一些实施例中，3D人脸识别智能门锁还可以包含环境光传感器，因此处理器可以根据环境光强度控制深度相机在不同的模式下工作并执行与之对应的人脸检测。当环境光照较强时，比如强度大于1400lux，处理器中的MPU(比如ARM处理器)控制深度相机采集深度图像以及可见光图像(例如RGB图像)，MPU接收深度图像以及RGB图像后执行人脸检测。在一些实施例中，当环境光照较弱时，比如强度小于1400lux时，处理器中的MPU控制深度相机采集深度图像以及红外图像，MPU接收深度图像与红外图像后执行人脸检测。任何合适的算法都可以用来进行人脸检测。

可以理解的是，MPU可以分别对深度图像、RGB图像以及红外图像执行人脸检测，也可以仅对其中一幅图像进行检测。一般来说，为了提高检测的正确率，可以对多副图像都进行人脸检测，以确定人脸是否存在，以及人脸所在的位置。

当处理器检测到人脸信息时，处理器将进一步判断人体是否有开锁意图。图6～图9为本发明多个实施例中实现图5中开锁意图判断的具体步骤。

S201，识别所述人脸信息中的人眼视线，当所述人眼视线方向与预设方向一致时，则判断有开锁意图。

MPU根据深度相机采集的包含人脸信息的深度图像，获取人脸的朝向，再根据深度相机采集的IR图像，识别出人眼的特征信息，例如瞳孔，瞳孔的中心，虹膜等，最后根据深度图像中包含的人脸朝向信息以及IR图像中的生物特征信息，可以计算出人眼视线方向。当人眼视线方向与预设方向一致时，则可以判断用户有开锁意图。预设方向一般指的是人眼注视方向，例如人眼看向深度相机的方向等。

S201′，识别人体动作，当所述人体动作与预设人体动作一致时，则判断有开锁意图。

MPU利用三维重建算法、体感识别算法等识别深度图像中的人体动作，并将上述人体动作与预设人体动作进行匹配，当所述人体动作与预设人体动作一致时，则判断有开锁意图。其中，人体动作包括人体姿势。预设动作可以是：双脚并拢，双手向上举成“v”型或者平举，或者是双手双脚同时张开呈“大”字型等。在此不做限定。

S201″，检测人体在目标区域内的逗留时间，当所述逗留时间超过预设第二时间阈值时，则判断有开锁意图。

处理器中的MCU(比如单片机)激活时间测试仪或者其他可以记录时间的仪器以记录用户在目标区域内逗留的时间。当检测的时间超过预设第二时间阈值，例如3S时，则判断用户有开锁意图。

S201″′，检测人体发出的语音信息，当所述语音信息与预设语音信息一致时，则判断有开锁意图。

MPU激活声控仪(麦克风)采集人体发出的语音信息，并将上述语音信息与预设语音信息进行对比，当所述语音信息与预设语音信息一致时，则判断有开锁意图。预设语音信息可以是“请开锁”“请开门”、“芝麻开门”等，在此不做限定。

S300，当确定有开锁意图时，对所述人脸信息进行识别。

S400，当识别成功时，开启锁芯。

当确定用户有开锁意图时，MPU根据图像识别算法(比如特征匹配算法、基于深度学习的算法等)对人脸深度图像以及人脸RGB图像/IR图像与预设的被认可的人脸深度图像和RGB图像/IR图像进行相似度匹配，当匹配度超过第一相似度阈值(如80％)时，则视为匹配成功。当匹配度比较高时，比如超过第二相似度阈值(如95％)时，将被认可的人脸图像替代为最新采集的图像，由此可以防止人脸缓慢变化所带来的人脸识别精度下降问题。匹配成功后，MPU将开锁指令传给MCU(比如单片机)，MCU响应开锁指令，将锁芯开启。

图10为本发明另一个实施例中3D人脸解锁方法的流程示意图。与图5相比，在步骤S400之后，还可以包括如下步骤：

S500，检测所述锁芯的开启时间，当所述开启时间超过预设第一时间阈值时，关闭所述锁芯。

锁芯被开启后，处理器中的MCU(比如单片机)激活时间测试仪或者其他可以记录时间的仪器以检测锁芯的开启时间，当所述开启时间超过预设第一时间阈值时(例如5s)时，MPU控制深度相机再次启动，当深度相机未采集到人脸图像时，MPU将关锁指令传给MCU，MCU响应关锁指令，将锁芯关闭。

上述3D人脸识别智能门锁以及3D人脸解锁方法通过将深度图像与IR图像/RGB图像结合来进行人脸识别解锁大大降低了人脸识别的误差率(识别误差率1/1000000)，由于深度图像具备二维图像所不具备的立体特性，结合深度图像的人脸识别一方面大幅提升人脸识别的精度，另一方面还可以避免二维人脸图片的欺骗，从而提升人脸识别的安全性。此外，基于深度相机的非接触式的解锁方式，用户无需直接开门，从而提高了用户体验。再者，在进行人脸识别之前，先对用户的开锁意图进行判断，确定有开锁意图之后再进行人脸识别，从而进一步提高了3D人脸识别智能门锁的高效性与智能性。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (10)

1.一种3D人脸解锁方法，其特征在于，包括如下步骤：

激活深度相机以采集图像；

当所述图像中包含人脸信息时，判断是否有开锁意图；

当确定有开锁意图时，对所述人脸信息进行识别；

当识别成功时，开启锁芯。

2.根据权1所述的3D人脸解锁方法,所述激活包括：

以预设时间间隔向所述深度相机发送激活指令，所述深度相机响应所述激活指令并被激活。

3.根据权1所述的3D人脸解锁方法,所述激活包括：

利用激活感应器进行目标检测，当在目标区域中检测到所述目标时，处理器激活所述深度相机。

4.根据权1所述的3D人脸解锁方法，所述图像包括：

深度图像；

可见光图像以及红外图像中的至少一种。

5.根据权1所述的3D人脸解锁方法,所述当判断有所述开锁意图时，对所述人脸信息进行识别的步骤包括：

将所述人脸信息与预设人脸信息进行相似度匹配，当所述相似度超过第一相似度阈值时，匹配成功；

当所述相似度超过第二相似度阈值时，将所述预设人脸信息更新为所述人脸信息，其中，所述第二相似度阈值大于所述第一相似度阈值。

6.根据权1所述的3D人脸解锁方法,在所述当识别成功时，开启锁芯的步骤之后还包括：

检测所述锁芯的开启时间，当所述开启时间超过预设第一时间阈值时，关闭所述锁芯。

7.根据权1～权6任一项所述的3D人脸解锁方法,所述当检测到所述图像中包含人脸信息时，对是否有开锁意图进行判断的步骤包括以下步骤中的一种或几种：

识别所述人脸信息中的人眼视线，当所述人眼视线方向与预设方向一致时，则判断有开锁意图；或

识别人体动作，当所述人体动作与预设动作一致时，则判断有开锁意图；或检测人体在目标区域内的逗留时间，当所述逗留时间超过预设第二时间阈值时，则判断有开锁意图；或

检测人体发出的语音信息，当所述语音信息与预设语音信息一致时，则判断有开锁意图。

8.一种3D人脸识别智能门锁，其特征在于，包括：

锁芯；

深度相机，用于采集图像；

处理器，与所述深度相机以及锁芯连接，用于根据所述图像进行开锁意图的判断以及人脸识别，并根据识别的结果控制所述锁芯的开启。

9.根据权利要求8所述的3D人脸识别智能门锁，其特征在于，所述处理器还用于检测所述锁芯的开启时间，当所述开启时间超过预设第一时间阈值时，关闭所述锁芯。

10.根据权利要求8所述的3D人脸识别智能门锁，其特征在于，还包括环境光传感器、存储器、激活感应器中的一种或多种，并分别与所述处理连接；所述环境光传感器用于检测当前环境光强度并传送给处理器，然后所述处理器根据所述当前环境光强度控制所述深度相机获取图像的模式；所述存储器用于分级存储预设人脸图像和非预设人脸图像；所述激活感应器用于在目标区域中进行目标检测。