CN110751757A - 基于人脸图像处理的开锁方法及智能锁 - Google Patents

Abstract

本发明公开了一种基于人脸图像处理的开锁方法及智能锁，上述基于人脸图像处理的开锁方法包括如下步骤：S10，获取当前出现在摄像区域的各个人脸对应的人脸图像；S20，若所述各个人脸图像中存在立体人脸图像，则判断所述立体人脸图像是否与人脸库中的人脸图像匹配；S30，若所述立体人脸图像与所述人脸库中的人脸图像匹配，则执行开锁操作。采用本方法可以提高开锁过程中的安全性，还能够实现更为便捷地开锁，具有精度高、成本低，用户体验好的优势。

Description

基于人脸图像处理的开锁方法及智能锁

技术领域

本发明涉及信号处理技术领域，尤其涉及一种基于人脸图像处理的开锁方法及智能锁。

背景技术

门锁是家庭安防最重要的环节，是家家户户都需要用到的刚需产品，这为智能锁走进市场奠定了一大基础，而智能锁是一种区别于机械锁的一种锁具，虽然本质都是起到安防的作用，但是智能锁不管是在安全性，便捷性还是互动性都是远胜于传统锁具的。

目前智能锁的开锁技术主要有短距离无线识别(如蓝牙、NFC、RFID)、钥匙、密码、指纹、指静脉、人脸、远程APP等，其中无线技术识别、钥匙、密码是智能锁的基本开锁方式，甚至是传统锁的功能之一，不作为智能锁的技术划分；而通过APP方式开锁是只有智能锁支持在线模式时才能启用，并不是每款智能锁的必备功能，也不作为智能锁类型的判定条件。因此，智能锁主要依据生物识别方式区分，主要有：指纹锁、指静脉锁以及人脸识别锁。

指纹识别是智能锁中，应用最为广泛的生物识别技术，又分为光学指纹锁、半导体指纹锁以及射频指纹锁，光学指纹识别技术安全性较低，而射频指纹锁成本较高，市面上大多使用半导体指纹识别技术，但半导体指纹识别易受静电影响，严重时，传感器可能采集不到图像，甚至本身也会被损坏，其次手指汗液盐分或其他污物也会造成图像采集困难。而指静脉锁，是智能锁中最为安全的生物识别技术，但是成本、技术要求等较高。而目前市面上有较多人脸识别锁，几乎都是采用双目摄像头进行3D建模，并付诸红外检测人脸特征。然而，传统通过检测人脸特征开锁的技术仍然存在一定的安全问题，并且目前人脸识别技术虽然能识别人脸图像的身份但无法准确辨别所输入人脸的真伪，这便使这类开锁方式的安全性低。

发明内容

针对以上问题，本发明提出一种基于人脸图像处理的开锁方法及智能锁。

为实现本发明的目的，提供一种基于人脸图像处理的开锁方法，包括如下步骤：

S10，获取当前出现在摄像区域的各个人脸对应的人脸图像；

S20，若所述各个人脸图像中存在立体人脸图像，则判断所述立体人脸图像是否与人脸库中的人脸图像匹配；

S30，若所述立体人脸图像与所述人脸库中的人脸图像匹配，则执行开锁操作。

在其中一个实施例中，所述获取当前出现在摄像区域的各个人脸对应的人脸图像包括：

识别当前出现在摄像区域的各个拍摄对象；

获取各个拍摄对象的轮廓；

获取轮廓与人脸图像轮廓一致的拍摄对象对应的图像，得到各个人脸图像。

作为一个实施例，所述获取各个拍摄对象的轮廓包括：

获取各个拍摄对象对应的拍摄图像；

在所述拍摄图像进行灰度化处理后，获取各个拍摄图像的HOG表达式；

根据各个HOG表达式确定各个拍摄对象的轮廓。

在其中一个实施例中，在所述获取当前出现在摄像区域的各个人脸对应的人脸图像之后，还包括：

获取各个人脸图像对应的视频流数据；

从所视频流数据中提取不同时刻的多幅图像；

根据所提取的多幅图像确定相应人脸图像为平面人脸图像或者立体人脸图像。

作为一个实施例，在所述根据所提取的多幅图像确定相应人脸图像为平面人脸图像或者立体人脸图像之后，还包括：

若各个人脸图像中不存在立体人脸图像，则判定当前拍摄无效。

在其中一个实施例中，所述判断所述立体人脸图像是否与人脸库中的人脸图像匹配包括：

提取所述立体人脸图像的人脸特征；

若所述人脸库中存在与所提取的人脸特征想匹配的人脸图像，则判定所述立体人脸图像与人脸库中的人脸图像匹配。

本发明还提供一种智能锁，包括摄像模块和处理模块；

所述摄像模块用于拍摄当前出现在摄像区域的各个人脸，将所拍摄的人脸发送至所述处理模块；

所述处理模块执行上述任一实施例所述的基于人脸图像处理的开锁方法。

在其中一个实施例中，所述摄像模块包括单目可见光摄像头。

在其中一个实施例中，所述处理模块包括人脸采集模块、人脸识别模块和控制模块；

所述人脸采集模块用于获取当前出现在摄像区域的各个人脸对应的人脸图像；

所述人脸识别模块用于在所述各个人脸图像中存在立体人脸图像时，判断所述立体人脸图像是否与人脸库中的人脸图像匹配；

所述控制模块用于在所述立体人脸图像与所述人脸库中的人脸图像匹配时，执行开锁操作。

作为一个实施例，所述处理模块还包括无线路由模块；所述无线路由模块用于提供所述人脸识别模块和所述控制模块之间的通信连接。

上述基于人脸图像处理的开锁方法，通过获取当前出现在摄像区域的各个人脸对应的人脸图像，在各个人脸图像中存在立体人脸图像时，判断立体人脸图像是否与人脸库中的人脸图像匹配，在立体人脸图像与所述人脸库中的人脸图像匹配时，执行开锁操作，使开锁过程以当前检测到的立体人脸图像为依据，实现在线实时处理及相应活体检测，受光照等外界影响较少，可以提高开锁过程中的安全性，还能够实现更为便捷地开锁，具有精度高、成本低，用户体验好的优势。

附图说明

图1是一个实施例的基于人脸图像处理的开锁方法流程图；

图2是一个实施例的智能锁结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

参考图1所示，图1为一个实施例的基于人脸图像处理的开锁方法流程图，包括如下步骤：

S10，获取当前出现在摄像区域的各个人脸对应的人脸图像；

上述步骤可以通过单目可见光摄像头等摄像模块对拍摄区域进行拍摄，以获得摄像区域当前的视频数据，从视频数据中识别摄像区域的所有人脸(在开锁用户在门外开锁时，摄像区域往往会出现一个或者多个人脸)，获取当前出现在摄像区域的各个人脸对应的人脸图像。上述拍摄区域为智能锁对应的拍摄区域，通常位于安装相应智能锁的门的外侧。

S20，若所述各个人脸图像中存在立体人脸图像，则判断所述立体人脸图像是否与人脸库中的人脸图像匹配；

若当前出现在摄像区域的各个人脸图像中存在立体人脸图像，表明当前访问者是活体，即当前出现在摄像区域的开锁用户为有效用户，可以进入后续开锁流程。若当前出现在摄像区域的各个人脸图像中不存在立体人脸图像，表明当前访问者不是活体，即当前出现在摄像区域的开锁用户为无效用户，需要退出当前开锁流程。

S30，若所述立体人脸图像与所述人脸库中的人脸图像匹配，则执行开锁操作。

若所述立体人脸图像与所述人脸库中的人脸图像匹配，表明立体人脸图像对应的开锁用户具有开锁权限，可以执行开锁操作。

具体地，上述各个步骤的执行主体可以为智能锁，上述智能锁可以为电磁锁，执行开锁操作的设备可以为智能锁中的esp8266模块，上述esp8266模块在可以收到相关开锁指令，根据开锁指令切断电信号，此时相应电磁锁失去吸力，进而门锁打开，实现开锁。

上述基于人脸图像处理的开锁方法，通过获取当前出现在摄像区域的各个人脸对应的人脸图像，在各个人脸图像中存在立体人脸图像时，判断立体人脸图像是否与人脸库中的人脸图像匹配，在立体人脸图像与所述人脸库中的人脸图像匹配时，执行开锁操作，使开锁过程以当前检测到的立体人脸图像为依据，实现在线实时处理及相应活体检测，受光照等外界影响较少，可以提高开锁过程中的安全性，还能够实现更为便捷地开锁，具有精度高、成本低，用户体验好的优势。

在一个实施例中，所述获取当前出现在摄像区域的各个人脸对应的人脸图像包括：

识别当前出现在摄像区域的各个拍摄对象；

获取各个拍摄对象的轮廓；

获取轮廓与人脸图像轮廓一致的拍摄对象对应的图像，得到各个人脸图像。

作为一个实施例，所述获取各个拍摄对象的轮廓包括：

获取各个拍摄对象对应的拍摄图像；

在所述拍摄图像进行灰度化处理后，获取各个拍摄图像的HOG(方向梯度直方图)表达式；

根据各个HOG表达式确定各个拍摄对象的轮廓。

本实施例在获得摄像模块获得的视频数据等拍摄数据之后，可以进行人脸检测，判断当前动态图像是否存在人脸，具体可以通过HOG方向梯度直方图方法，检测物体(拍摄对象)轮廓，例如首先进行图片灰度化，进而分析每个像素及周围的像素，通过将原始图像转换成一个HOG(方向梯度直方图)表达式，以依据HOG表达式捕获物体基本结构，确定相应无聊的轮廓，以保证所确定的轮廓的准确性，从而保证所获取的人脸图像的准确性。

在一个实施例中，在所述获取当前出现在摄像区域的各个人脸对应的人脸图像之后，还包括：

获取各个人脸图像对应的视频流数据；

从所视频流数据中提取不同时刻的多幅图像；

根据所提取的多幅图像确定相应人脸图像为平面人脸图像或者立体人脸图像。

上述视频流数据为摄像模块当前捕获的视频数据中，各个人脸图像对应的视频流数据。

本实施例可以基于单应矩阵估计平面算法，检测所述人脸图像为平面图像或具有立体性，具体可以分别针对，各个人脸图像对应的多幅图像(至少两幅图像)使用单应矩阵估计平面算法，判断多幅图像特征点是否为一一对应关系，若多幅图像特征点都处在同一位置，则判断当前图像为平面图像，不是活体，若多幅图像特征点处于在不同位置，则判断当前图像为立体图像，为活体，此时开锁用户为有效用户。

作为一个实施例，在所述根据所提取的多幅图像确定相应人脸图像为平面人脸图像或者立体人脸图像之后，还包括：

若各个人脸图像中不存在立体人脸图像，则判定当前拍摄无效。

若拍摄区域各个人脸对应的人脸图像均为平面图像，表明此时摄像模块捕获的人脸为无效人脸，摄像操作当前的拍摄操作无效，需要退出当前开锁流程，以保证开锁过程的安全性。

在一个实施例中，所述判断所述立体人脸图像是否与人脸库中的人脸图像匹配包括：

提取所述立体人脸图像的人脸特征；

若所述人脸库中存在与所提取的人脸特征想匹配的人脸图像，则判定所述立体人脸图像与人脸库中的人脸图像匹配。

上述人脸库可以存储具有开锁权限的所有用户的人脸图像，比如智能锁对应的家庭的各个家庭成员的人脸图像，智能锁对应的公司的全部职员的人脸图像等等。人脸库还可以记录其存储的各个人脸图像的人脸特征。智能锁在获取到当前拍摄区域的开锁用户的立体人脸图像之后，可以提取立体人脸图像的人脸特征，将提取立体人脸图像的人脸特征分别与人脸库记录的各个人脸特征进行比对，若人脸库中存在与提取的人脸特征相似度较高(如相似度大于95％)的人脸特征，表明此时人脸库中存在与所提取的人脸特征想匹配的人脸图像，当前开锁用户具有开锁权限，可以执行开锁操作，以提高用户的开锁体验。

参考图2所示，图2为一个实施例的智能锁结构示意图，包括摄像模块50和处理模块60；

所述摄像模块50用于拍摄当前出现在摄像区域的各个人脸，将所拍摄的人脸发送至所述处理模块；

所述处理模块60执行上述任一实施例所述的基于人脸图像处理的开锁方法。

上述摄像模块50可以固定设置在智能锁的固定板处。

上述智能锁通过摄像模块50拍摄当前出现在摄像区域的各个人脸，将所拍摄的人脸发送至处理模块，使处理模块60获取当前出现在摄像区域的各个人脸对应的人脸图像，在各个人脸图像中存在立体人脸图像时，判断立体人脸图像是否与人脸库中的人脸图像匹配，在立体人脸图像与所述人脸库中的人脸图像匹配时，执行开锁操作，使开锁过程以当前检测到的立体人脸图像为依据，实现在线实时处理及相应活体检测，受光照等外界影响较少，可以提高开锁过程中的安全性，还能够实现更为便捷地开锁，具有精度高、成本低，用户体验好的优势。

在一个实施例中，所述摄像模块包括单目可见光摄像头，用于采集可见光及红外光的人脸图像数据。

上述单目可见光摄像头能对人脸会有精准拍摄，有利于进行人脸活体检测，为提高开锁过程中的安全性作贡献。

在一个实施例中，所述处理模块包括人脸采集模块、人脸识别模块和控制模块；

所述人脸采集模块用于获取当前出现在摄像区域的各个人脸对应的人脸图像；

所述人脸识别模块用于在所述各个人脸图像中存在立体人脸图像时，判断所述立体人脸图像是否与人脸库中的人脸图像匹配；

所述控制模块用于在所述立体人脸图像与所述人脸库中的人脸图像匹配时，执行开锁操作。

上述处理模块所包括的各个模块可以采用锂电池供电，以保证供电便捷性和稳定性。

具体地，人脸采集模块与摄像模块连接，获取摄像模块在拍摄区域拍摄得到的视频数据，从视频数据中提取当前动态图像，判断当前动态图像是否存在人脸，比如可以通过HOG方向梯度直方图方法，检测物体轮廓，进行图片灰度化，进而分析每个像素及周围的像素，通过将原始图像转换成一个HOG表达式，捕获面部基本结构，获取所需的人脸图像。检测出人脸之后，人脸识别模块可以进行活体检测，通过摄像模块捕获视频流数据，生成至少两幅图像，基于单应矩阵估计平面算法，检测待识别人脸是否为平面或具有立体性，若该人脸为平面成像效果，非立体人脸，则判定当前访问者(开锁用户)不是活体，若该人脸为立体图像，则判定当前访问者是活体。判断是人脸活体之后，人脸识别模块还可以将立体图像与预存的人脸图像进行对比，判断当前访问者是否有开启门锁的权限，若人脸库中存在与立体图像相匹配的人脸图像，则可以发送匹配成功的信号给控制模块，使控制模块获知立体人脸图像与人脸库中的人脸图像相匹配，相应访问者具有开锁权限，此时控制模块便可以执行开锁操作，使智能锁得到顺利开启。

作为一个实施例，所述处理模块还包括无线路由模块；所述无线路由模块用于提供所述人脸识别模块和所述控制模块之间的通信连接。

本实施例通过无线路由模块为人脸识别模块和控制模块之间提供通信连接，可以保证相应的通信稳定性。

可选地，人脸识别模块还可以包括树莓派组成，由后置面板的锂电池给树莓派供电，树莓派与所述无线路由模块相连接。上述人脸识别模块，基于业内领先的C++开源库dlib中的深度学习模型，用Labeled Face in the wile人脸数据集进行测试，高达99.38％的准确率。上述无线路由模块，连接人脸识别模块与控制模块，传输人脸识别模块的识别结果，发送切断电信号指令给控制模块。上述控制模块可以包括esp8266以及锁体，人脸识别模块可以根据mqtt协议规则，发送指令到相关服务器，继而发送指令到esp8266，esp8266根据指令切断电信号，电磁锁失去吸力，进而门锁打开。

在一个示例中，智能锁还可以包括锁体，锁体采用不锈钢材料制作，锁体处可以设置单目可见光摄像头，用于摄像并采集人脸图像。锁体包括前置面板和后置面板；前置面板可以包括液晶显示屏，液晶显示屏可显示无线信号强度、实时时钟信息和摄像头实时画面等内容，实时时钟信息以及摄像头实时画面。上述锁体还可以采用电磁锁构造，在无跳、合闸操作时，用电磁锁强力吸附，使门不能打开，当控制模块接收到切断电信号指令，使电磁铁消磁，打开门锁。

上述智能锁基于单目活体检测，可以提高人脸识别锁的安全性以及精度，实现远距离识别。相比于传统的门锁，本发明采用了人脸识别锁，可以非接触式开锁，可靠性强，并且使用磁力锁，具有很好的耐腐蚀，抗冲击。本发明还采用了单目可见光摄像头以及相应检测算法，摒弃传统的双目摄像头，采用成本低的单目摄像头，降低活体检测的成本，提高人脸识别锁的精度；其中的人脸识别模块能够实现远距离识别，能够提供良好的用户体验，是一个更加便捷高效的系统。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

本申请实施例的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或模块的过程、方法、装置、产品或设备没有限定于已列出的步骤或模块，而是可选地还包括没有列出的步骤或模块，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或模块。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于人脸图像处理的开锁方法，其特征在于，包括如下步骤：

S10，获取当前出现在摄像区域的各个人脸对应的人脸图像；

S20，若所述各个人脸图像中存在立体人脸图像，则判断所述立体人脸图像是否与人脸库中的人脸图像匹配；

S30，若所述立体人脸图像与所述人脸库中的人脸图像匹配，则执行开锁操作。

2.根据权利要求1所述的基于人脸图像处理的开锁方法，其特征在于，所述获取当前出现在摄像区域的各个人脸对应的人脸图像包括：

识别当前出现在摄像区域的各个拍摄对象；

获取各个拍摄对象的轮廓；

获取轮廓与人脸图像轮廓一致的拍摄对象对应的图像，得到各个人脸图像。

3.根据权利要求1所述的基于人脸图像处理的开锁方法，其特征在于，所述获取各个拍摄对象的轮廓包括：

获取各个拍摄对象对应的拍摄图像；

在所述拍摄图像进行灰度化处理后，获取各个拍摄图像的HOG表达式；

根据各个HOG表达式确定各个拍摄对象的轮廓。

4.根据权利要求1所述的基于人脸图像处理的开锁方法，其特征在于，在所述获取当前出现在摄像区域的各个人脸对应的人脸图像之后，还包括：

获取各个人脸图像对应的视频流数据；

从所视频流数据中提取不同时刻的多幅图像；

根据所提取的多幅图像确定相应人脸图像为平面人脸图像或者立体人脸图像。

5.根据权利要求4所述的基于人脸图像处理的开锁方法，其特征在于，在所述根据所提取的多幅图像确定相应人脸图像为平面人脸图像或者立体人脸图像之后，还包括：

若各个人脸图像中不存在立体人脸图像，则判定当前拍摄无效。

6.据权利要求1指5任一项所述的基于人脸图像处理的开锁方法，其特征在于，所述判断所述立体人脸图像是否与人脸库中的人脸图像匹配包括：

提取所述立体人脸图像的人脸特征；

若所述人脸库中存在与所提取的人脸特征想匹配的人脸图像，则判定所述立体人脸图像与人脸库中的人脸图像匹配。

7.一种智能锁，其特征在于，包括摄像模块和处理模块；

所述摄像模块用于拍摄当前出现在摄像区域的各个人脸，将所拍摄的人脸发送至所述处理模块；

所述处理模块执行如权利要求1至6任一项所述的基于人脸图像处理的开锁方法。

8.根据权利要求7所述的智能锁，其特征在于，所述摄像模块包括单目可见光摄像头。

9.根据权利要求7或8所述的智能锁，其特征在于，所述处理模块包括人脸采集模块、人脸识别模块和控制模块；

所述人脸采集模块用于获取当前出现在摄像区域的各个人脸对应的人脸图像；

所述人脸识别模块用于在所述各个人脸图像中存在立体人脸图像时，判断所述立体人脸图像是否与人脸库中的人脸图像匹配；

所述控制模块用于在所述立体人脸图像与所述人脸库中的人脸图像匹配时，执行开锁操作。

10.根据权利要求9所述的智能锁，其特征在于，所述处理模块还包括无线路由模块；所述无线路由模块用于提供所述人脸识别模块和所述控制模块之间的通信连接。

Images