CN109272671A - 一种基于人脸识别兼指纹识别的多选本地实时储物柜及其进行存取物品的方法 - Google Patents

Abstract

本发明公开了一种基于人脸识别兼指纹识别的多选本地实时储物柜及其进行存取物品的方法，包括柜体，柜体上设有多个储物柜，每个储物柜上都设有门锁部件；柜体内设有控制中心，控制中心包括中央处理器和存储器；柜体上设有显示屏、摄像头、人脸采集框、指纹采集器和功能键；中央处理器分别与门锁部件、摄像头、指纹采集器和功能键连接；摄像头用于将摄像头采集到的用户脸部图像特征同步到人脸采集框中；其可以通过人脸特征识别技术兼指纹识别技术，配备人脸采集摄像头通过屏幕展示与用户完美互动，再加上数据处理是在本地进行，实时释放完成交互的内存，不用去访问网络服务器，具有便捷、节能、高效、安全，用户体验感强的特点。

Description

一种基于人脸识别兼指纹识别的多选本地实时储物柜及其进 行存取物品的方法

技术领域

本发明属于智能储物柜技术领域，涉及一种基于人脸识别兼指纹识别的多选本地实时储物柜及其进行存取物品的方法。

背景技术

储物柜在经济发达的今天扮演着一个不可或缺的角色，现实生活中随处可见，比如商场、洗浴中心、超市、小区的私人报刊箱等。现有技术中用户在储物柜中存储物品是一般是通过实体凭证，如条形码、IC卡、磁卡等。实体凭证的缺陷在于它易丢失，丢失后用户无法进行存取操作，甚至会给他人造成可乘之机，导致物品丢失；还有就是消耗材料，浪费资源。更细一步的说，如条形码类的纸质凭证存在卡纸、污染的风险，污染后可能导致无法使用，磁卡类存在消磁的影响定期得去充磁等，都会直接影响到用户体验感。

现阶段虽然存在人脸识别，指纹识别方案，但是没有将两者结合起来的多选性方案，即用户可以自己根据喜好二选一进行交互，因此当下方案的选择性过于局限；再者就是人脸识别方面，人脸特征在摄像头采集中，相当于黑盒操作，用户体验感差；最后就是现阶段方案大都是在服务器终端进行，响应缓慢，没有对内存进行循环利用的方案，进而消耗大量网络资源去进行识别、浪费了大量的内存去存储已完成交互的用户信息。

发明内容

为了克服上述现有技术存在的缺陷，本发明的目的在于提供一种基于人脸识别兼指纹识别的多选本地实时储物柜及其进行存取物品的方法，其可以通过现有开源的人脸特征识别技术兼指纹特性识别技术，配备人脸采集摄像头通过显示屏展示与用户完美互动，用户可以二选一进行交互体验，可选择性强。

本发明是通过以下技术方案来实现：

一种基于人脸识别兼指纹识别的多选本地实时储物柜，包括柜体，柜体上设有多个储物柜，每个储物柜上都设有门锁部件；

柜体内设有控制中心，控制中心包括中央处理器和存储器；

柜体上设有显示屏、摄像头、指纹采集器、人脸采集框和功能键，人脸采集框设在显示屏上，摄像头用于采集用户脸部图像特征，指纹采集器用于采集用户指纹特征；摄像头与人脸采集框连接，用于将摄像头采集到的用户脸部图像特征同步到人脸采集框中；

功能键包括存物键、取物键、人脸申请空柜键、指纹申请空柜键、人脸开柜键和指纹开柜键；

中央处理器分别与门锁部件、摄像头、指纹采集器和功能键连接；

中央处理器用于控制门锁部件的开启或和关闭，用于调用摄像头和指纹采集器，用于检测功能键是否被点击。

进一步，中央处理器连接有提醒模块，提醒模块用于在显示屏上显示操作指示。

进一步，柜体上还设有数字键盘，用于输入管理密码和柜号进行开柜操作。

进一步，门锁部件连接有电控开关，电控开关通过控制电路与中央处理器连接。

进一步，显示屏采用液晶触摸屏，人脸采集框为椭圆形。

进一步，控制中心采用树莓派微型计算机。

进一步，显示屏位于柜体正中间，摄像头位于显示屏正上方，人脸采集框于显示屏正中央，指纹采集器位于显示屏的右下方，存物键和取物键位于显示屏右侧。

进一步，柜体上还设有扬声器。

本发明还公开了所述的基于人脸识别兼指纹识别的多选本地实时储物柜进行存取物品的方法，包括存储物品和取物品两种情况；

用户在存储物品时，包括以下操作：

当用户通过人脸申请空柜时，控制中心检测到存物键和人脸申请空柜键被点击后，控制中心调用摄像头，将摄像头打开，获取用户的脸部图像特征，同时，在人脸采集框中同步获取到的脸部图像，脸部图像特征采集结束后，中央处理器将采集到的图像特征信息存储于存储器中，同时中央处理器控制门锁部件打开；

当用户通过指纹申请空柜时，控制中心检测到存物键和指纹申请空柜键被点击后，控制中心调用指纹采集器获取用户的指纹特征，指纹采集结束后，中央处理器将采集到的指纹特征信息存储于存储器中，同时中央处理器控制门锁部件打开；

用户在取物品时，包括以下操作：

当用户通过人脸申请开柜时，控制中心检测到取物键和人脸开柜键被点击后，控制中心调用摄像头，将摄像头打开，通过摄像头再次采集用户图像特征，同时，在人脸采集框中同步获取到的脸部图像，中央处理器将用户图像特征与之前存入的数据进行比对，识别成功后控制中心反馈给门锁部件，门锁部件开启，若识别失败，则门锁部件不开启；

当用户通过指纹申请开柜时，控制中心检测到取物键和指纹开柜键被点击后，控制中心调用指纹采集器再次获取用户的指纹特征，指纹采集结束后，中央处理器将用户指纹特征与之前存入的数据进行比对，识别成功后控制中心反馈给门锁部件，门锁部件开启，若识别失败，则门锁部件不开启。

进一步，显示屏连接有提醒模块，中央处理器调用提醒模块在显示屏上显示下一步操作，具体为：

用户在存物时，点击存物键以后，提醒模块提示用户是通过人脸申请空柜还是通过指纹申请空柜；在存物完成以后，提醒用户关闭柜门；

用户在取物时，点击取物键以后，提醒模块提示用户是通过人脸开柜还是通过指纹开柜；在取物完成以后，提醒用户关闭柜门。

与现有技术相比，本发明具有以下有益的技术效果：

本发明公开的基于人脸识别兼指纹识别的多选本地实时储物柜，柜体上设有显示屏、摄像头、人脸采集框、指纹采集器和功能键，摄像头用于采集人脸图像特征，指纹采集器用于采集用户指纹特征，本储物柜集成了图像采集和指纹采集的功能，设置了两种存取方案，用户可以根据喜好去选择其中一种方案进行交互；摄像头采集到的用户图像特征能够同步到人脸采集框中，用户对着摄像头就可以知道自己是否有对准摄像头，就可以知道该站在什么位置保证脸部特征被摄像头采集上，让摄像头能精确的采集到用户的面部特征，提高了用户的体验度；在本地设置控制中心，门锁部件、摄像头和指纹采集器均与控制中心进行连接，由控制中心统一调度，可扩展性强、处理效率高、价格低，再加上数据处理是在本地运行，实时存储或释放分配的内存，进而实现内存循环利用，不用去访问网络服务器，具有便捷、节能、高效、安全、用户体验感强的特点。

进一步，中央处理器连接有提醒模块，中央处理器调用提醒模块在显示屏上显示下一步操作，用户在存物时，点击存物键以后，提醒模块提示用户是通过人脸申请空柜还是通过指纹申请空柜；在存物完成以后，提醒用户关闭柜门；用户在取物时，点击取物键以后，提醒模块提示用户是通过人脸开柜还是通过指纹开柜；在取物完成以后，提醒用户关闭柜门，若取物时柜门开启失败，则在显示屏上显示特征不匹配。给用户提醒怎么操作和注意事项，为用户提供好的体验度。

进一步，门锁部件与电控开关连接，电控开关由中央处理器控制，中央处理器通过控制电控开关的开闭，进而来控制门锁部件的开闭，实现储物柜的开启或关闭。

进一步，显示屏采用液晶触摸屏，方便交互。

进一步，控制中心采用树莓派微型计算机，树莓派微型计算机为大内存、可扩容的微型计算机，可以控制整个机制的高效运行，避免了由于普通单片机内存小而必须访问远方的服务器端带来的时效性差、安全性低问题，大幅提升安全性、实时性和便捷性。

进一步，在柜体上还设有扬声器，当用户站立的位置摄像头无法获取完整的脸部特征时，扬声器提醒用户是否站在了合适的位置，还可以告知用户几号储物柜打开或关闭。

本发明公开的存取物品的方法，在存物时对用户的特征进行特征提取，在取物时对用户的特征再次采集，对用户的特征进行识别比对，判断前后的特征是否匹配，通过算法程序的集成识别特征并按照对应的规则去做出响应，存储和运算都是采取本地进行，安全性、实时性、便捷性及可循环性得到大幅提升。

附图说明

图1为本发明的基于人脸识别兼指纹识别的多选本地实时储物柜的外部结构示意图；

图2为本发明的控制中心与门锁部件连接示意图；

图3为本发明基于人脸识别兼指纹识别的多选本地实时储物柜的内部连接结构示意图；

图4为本发明的基于人脸识别兼指纹识别的多选本地实时储物柜对人脸特征和指纹特征提取进而进行分配空柜操作的流程图；

图5为本发明的基于人脸识别兼指纹识别的多选本地实时储物柜对人脸特征和指纹特征识别进而开柜的流程图；

其中：1为柜体；2为储物柜；3为显示屏；4为摄像头；5为指纹采集器；6为人脸采集框；7为功能键；8为数字键盘；9为扬声器。

具体实施方式

下面结合附图对本发明做进一步详细描述：

如图1所示，本发明的基于人脸识别兼指纹识别的多选本地实时储物柜，包括柜体1，柜体1上设有多个储物柜2，每个储物柜2上都设有门锁部件，如图2所示，门锁部件作为对人脸识别或指纹识别进行存取物品的操作响应；柜体1内设有控制中心，控制中心包括中央处理器和存储器；柜体1上设有显示屏3、摄像头4、人脸采集框6、指纹采集器5和功能键7，人脸采集框6设在显示屏3上。

摄像头4用于采集用户脸部图像特征，通过用户面对带摄像头4的显示屏3按提示眨眼、点头操作，多角度、全方位的提取用户面部特征，摄像头4与人脸采集框6连接，将摄像头4采集到的用户脸部图像特征同步到人脸采集框6中，图像采集完成后，并通过存储器临时存储；指纹采集器5用于采集用户指纹特征，通过指纹采集器5对用户指纹特征进行相应提取，并通过存储器临时存储。

如图3所示，中央处理器与显示屏3、摄像头4、指纹采集器5和功能键7连接。在存储物品时，通过摄像头4采集用户图像特征或指纹采集器5采集用户指纹特征，将用户图像特征或用户指纹特征作为凭证，于存储器中进行数据临时存储，同时中央处理器分配空储物柜2；在取物品时，通过摄像头4再次采集用户图像特征或指纹采集器5采集用户指纹特征，将用户图像特征或用户指纹特征与之前存入的数据通过中央处理器进行比对，中央处理器作出响应，判断是否开柜。

门锁部件连接有电控开关，电控开关通过控制电路与中央处理器连接，通过中央处理器计算特征后返回电流激励信号，控制电控开关的开闭，进而来控制门锁部件的开闭，实现储物柜2的开启或关闭。

显示屏3一般选用液晶触摸屏，显示图像比较清晰，方便用户人机交互。人脸采集框6为椭圆形，符合人的脸部特征。

控制中心采用树莓派微型计算机，树莓派微型计算机为大内存、可扩容的微型计算机，可以控制整个机制的高效运行，避免了由于普通单片机内存小而必须访问远方的服务器端带来的时效性差、安全性低问题，大幅提升安全性、实时性和便捷性。

功能键7包括存物键、取物键、人脸申请空柜键、指纹申请空柜键、人脸开柜键和指纹开柜键，功能键7位于显示屏3右侧。

更优地，中央处理器还连接有提醒模块，中央处理器调用提醒模块在显示屏3上显示下一步操作，用户在存物时，点击存物键以后，提醒模块提示用户是通过人脸申请空柜还是通过指纹申请空柜；在存物完成以后，提醒用户关闭柜门；用户在取物时，点击取物键以后，提醒模块提示用户是通过人脸开柜还是通过指纹开柜；在取物完成以后，提醒用户关闭柜门，若取物时柜门开启失败，则在显示屏3上显示特征不匹配。

柜体1上还设有扬声器9，扬声器9位于显示屏3的上方。通过提醒模块在显示屏3上的提醒以外，还可以通过语音来提醒用户，给用户带来更好地服务。

更优地，在柜体1上还设有数字键盘8，用于特殊情况，比如停电过程中申请开柜存物可能会导致数据丢失、采光环境恶劣使得提取的特征精度不高导致取物品时识别出错，这时管理员可以通过数字键盘8输入管理密码#柜号进行开柜操作。数字键盘8位于显示屏3左侧。

显示屏3位于柜体1正中间，摄像头4位于显示屏3正上方，人脸采集框6于显示屏3正中央，指纹采集器5位于显示屏3的右下方。各部件的分布位置可根据定制方的需求而定，上述各部件的分布位置只是其中的一种布设方式。

由于要对人脸特征或者指纹特征进行提取，加上照片加载和存储需要内存大的处理器，考虑经济原因，这里采用大容量可扩展的微型计算机作为控制中心。控制中心就是一个本地的微型计算机，人脸识别算法及指纹识别算法能直接写入内存，各功能部件通过接口与微型计算机进行连接，由控制中心统一调度，可扩展性强、处理效率高、价格低。

由于是本地进行交互，所以控制中心采用的是大内存的处理器，之所以这样选择是因为一张照片可能有好几兆大小，如51单片机等传统的微机是加载不了的，形如树莓派类微型计算机存在内存容量大，存储器可扩展的优势，内存是可以加载处理后的图片的，解决了传统单片机不能解决的问题。控制中心在执行完一次存取操作后，及时检测存储中用户特征信息的交互状态，并对状态为执行完的特征信息进行释放，实现内存回收。

可扩展数据存储器只是电路板上的一部分，它和中央处理器是相互独立的，用来存储数据，如特征信息、开源的识别算法，中央处理器可以访问它，并对其存储的数据进行对应运算然后将计算结果存入其中。指纹采集器5或人脸采集器进行特征采集，采集完成控制中心检测到对应端口产生的激励信号会对其进行响应，并将采集到的数据进行处理，中央处理器通过调度算法，为其分配存储空间，并将其存入对应的存储单元中。

通过指纹采集器5采集用户的脸部图像特征或者通过指纹采集器5采集用户的指纹特征作为储物凭证，用户在存储物品时需要按要求在显示屏3前按步骤进行面部特征提取或者指纹特征提取，采用二选一的方法进行特征提取，特别地，为了更精确的提取用户特征，用户会需要按着扬声器9提示来进行对应的简易操作，提取完成后，中央处理器将用户特征存入存储器，并检测可用储物柜2为其分配；当用户取物品时，站在显示屏3前，在选择对应的操作后按着扬声器9的提示完成相应特征提取操作，控制中心在提取用户特征后会与临时存储的数据通过识别算法进行特征比对识别，并作出响应，如判断信息无误时自动打开对应匹配到的储物柜2，使得操作更加便捷，用户再也不用担心凭证丢失或者损坏、污染等因素。

使用时，包括存储物品和取物品两种情况；

一、如图4所示，其中0代表指纹申请空柜对应的电路；1代表人脸申请空柜对应的电路，用户在存储物品时，包括以下操作：

当用户通过人脸申请空柜时，点击存物键，再点击人脸申请空柜键，控制中心检测到有用户的点击以后，1路导通，控制中心调用摄像头4，将摄像头4打开，获取用户的脸部图像特征，同时，在人脸采集框6中同步获取到的脸部图像，脸部图像特征采集结束后，中央处理器将采集到的图像特征信息存储于存储器中，同时中央处理器发射激励信号给门锁部件，门锁部件检测到激励信号执行对应空柜分配操作，最后返回主页面。

当用户通过指纹申请空柜时，点击存物键，再点击指纹申请空柜键，控制中心检测到有用户的点击以后，0路导通，控制中心调用指纹采集器5获取用户的指纹特征，指纹采集结束后，中央处理器将采集到的指纹特征信息存储于存储器中，同时中央处理器发射激励信号给门锁部件，门锁部件检测到激励信号执行对应空柜分配操作，最后返回主页面。

二、如图5所示，其中0代表指纹开柜对应的电路；1代表人脸开柜对应的电路，用户在取物品时，包括以下操作：

当用户通过人脸申请开柜时，点击取物键，再点击人脸开柜键，控制中心检测到有用户的点击以后，1路导通，控制中心调用摄像头4，将摄像头4打开，通过摄像头4再次采集用户图像特征，同时在人脸采集框6中同步获取到的脸部图像，中央处理器将用户图像特征与之前存入的数据进行比对，识别成功后控制中心反馈给门锁部件，门锁部件开启并释放内存，处理完成返回主页面；若识别失败，则门锁部件不开启。若有提醒模块的话，则在屏幕上提示：匹配不成功，请重试。

当用户通过指纹申请开柜时，点击取物键，再点击指纹开柜键，控制中心检测到有用户的点击以后，0路导通，控制中心调用指纹采集器5再次获取用户的指纹特征，指纹采集结束后，中央处理器将用户指纹特征与之前存入的数据进行比对，识别成功后控制中心反馈给门锁部件，门锁部件开启并释放内存，处理完成返回主页面；若识别失败，则门锁部件不开启。若有提醒模块的话，则在屏幕上提示：匹配不成功，请重试。

由于现阶段的人脸特征提取与识别算法和指纹特征提取与识别算法已经很成熟了，加上深度学习的广泛应用，识别率准确率会越来越高。通过集成电路集成在微型计算机上，选择存储量大、可扩容的微型计算机，比如树莓派。在本地进行相应的特征数据存储和特征数据比对，相比访问服务器端数据运算速度大幅度提升，由于存储容量有限，结合实际情况考虑，数据存储采取临时存储，所以在一个完整的存取周期结束后，用户的特征信息会被自动释放掉，大大增强了安全性。

本发明的基于人脸识别兼指纹识别的多选本地实时储物柜，其可以通过人脸特征识别技术兼指纹识别技术，配备人脸采集摄像头通过屏幕展示与用户完美互动，存储和运算都是采取本地进行，采用大内存、可扩容的微型计算机来控制整个机制的高效运行，在执行完一次完整交互，释放掉临时存储，避免了由于普通单片机内存小而必须访问远方的服务器端带来的时效性差、安全性低、内存循环利用性低的问题，大幅提升安全性、实时性、便捷性、可循环利用性。

Claims (10)

1.一种基于人脸识别兼指纹识别的多选本地实时储物柜，其特征在于，包括柜体(1)，柜体(1)上设有多个储物柜(2)，每个储物柜(2)上都设有门锁部件；

柜体(1)内设有控制中心，控制中心包括中央处理器和存储器；

柜体(1)上设有显示屏(3)、摄像头(4)、指纹采集器(5)、人脸采集框(6)和功能键(7)，人脸采集框(6)设在显示屏(3)上，摄像头(4)用于采集用户脸部图像特征，指纹采集器(5)用于采集用户指纹特征；摄像头(4)与人脸采集框(6)连接，用于将摄像头(4)采集到的用户脸部图像特征同步到人脸采集框(6)中；

功能键(7)包括存物键、取物键、人脸申请空柜键、指纹申请空柜键、人脸开柜键和指纹开柜键；

中央处理器分别与门锁部件、摄像头(4)、指纹采集器(5)和功能键(7)连接；中央处理器用于控制门锁部件的开启或关闭，用于调用摄像头(4)和指纹采集器(5)，用于检测功能键(7)是否被点击。

2.根据权利要求1所述的基于人脸识别兼指纹识别的多选本地实时储物柜，其特征在于，中央处理器连接有提醒模块，提醒模块用于在显示屏(3)上显示操作指示。

3.根据权利要求1所述的基于人脸识别兼指纹识别的多选本地实时储物柜，其特征在于，柜体(1)上还设有数字键盘(8)，用于输入管理密码和柜号进行开柜操作。

4.根据权利要求1所述的基于人脸识别兼指纹识别的多选本地实时储物柜，其特征在于，门锁部件连接有电控开关，电控开关通过控制电路与中央处理器连接。

5.根据权利要求1所述的基于人脸识别兼指纹识别的多选本地实时储物柜，其特征在于，显示屏(3)采用液晶触摸屏，人脸采集框(6)为椭圆形。

6.根据权利要求1所述的基于人脸识别兼指纹识别的多选本地实时储物柜，其特征在于，控制中心采用树莓派微型计算机。

7.根据权利要求1所述的基于人脸识别兼指纹识别的多选本地实时储物柜，其特征在于，显示屏(3)位于柜体(1)正中间，摄像头(4)位于显示屏(3)正上方，人脸采集框(6)于显示屏(3)正中央，指纹采集器(5)位于显示屏(3)的右下方，存物键和取物键位于显示屏(3)右侧。

8.根据权利要求1～7任意一项所述的基于人脸识别兼指纹识别的多选本地实时储物柜，其特征在于，柜体(1)上还设有扬声器(9)。

9.权利要求1～8任意一项所述的基于人脸识别兼指纹识别的多选本地实时储物柜进行存取物品的方法，其特征在于，包括存储物品和取物品两种情况；

用户在存储物品时，包括以下操作：

当用户通过人脸申请空柜时，控制中心检测到存物键和人脸申请空柜键被点击后，控制中心调用摄像头(4)，将摄像头(4)打开，获取用户的脸部图像特征，同时，在人脸采集框(6)中同步获取到的脸部图像，脸部图像特征采集结束后，中央处理器将采集到的图像特征信息存储于存储器中，同时中央处理器控制门锁部件打开；

当用户通过指纹申请空柜时，控制中心检测到存物键和指纹申请空柜键被点击后，控制中心调用指纹采集器(5)获取用户的指纹特征，指纹采集结束后，中央处理器将采集到的指纹特征信息存储于存储器中，同时中央处理器控制门锁部件打开；

用户在取物品时，包括以下操作：

当用户通过人脸申请开柜时，控制中心检测到取物键和人脸开柜键被点击后，控制中心调用摄像头(4)，将摄像头(4)打开，通过摄像头(4)再次采集用户图像特征，同时，在人脸采集框(6)中同步获取到的脸部图像，中央处理器将用户图像特征与之前存入的数据进行比对，识别成功后控制中心反馈给门锁部件，门锁部件开启，若识别失败，则门锁部件不开启；

当用户通过指纹申请开柜时，控制中心检测到取物键和指纹开柜键被点击后，控制中心调用指纹采集器(5)再次获取用户的指纹特征，指纹采集结束后，中央处理器将用户指纹特征与之前存入的数据进行比对，识别成功后控制中心反馈给门锁部件，门锁部件开启，若识别失败，则门锁部件不开启。

10.根据权利要求9所述的存取物品的方法，其特征在于，显示屏(3)连接有提醒模块，中央处理器调用提醒模块在显示屏(3)上显示下一步操作，具体为：

用户在存物时，点击存物键以后，提醒模块提示用户是通过人脸申请空柜还是通过指纹申请空柜；在存物完成以后，提醒用户关闭柜门；

用户在取物时，点击取物键以后，提醒模块提示用户是通过人脸开柜还是通过指纹开柜；在取物完成以后，提醒用户关闭柜门。