CN111599044A - 一种基于多模态生物特征识别的门禁安全管理系统 - Google Patents

一种基于多模态生物特征识别的门禁安全管理系统 Download PDF

Info

Publication number
CN111599044A
CN111599044A CN202010406029.5A CN202010406029A CN111599044A CN 111599044 A CN111599044 A CN 111599044A CN 202010406029 A CN202010406029 A CN 202010406029A CN 111599044 A CN111599044 A CN 111599044A
Authority
CN
China
Prior art keywords
face
iris
fingerprint
vector
recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010406029.5A
Other languages
English (en)
Inventor
李欣
丛二勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin University
Original Assignee
Harbin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin University filed Critical Harbin University
Priority to CN202010406029.5A priority Critical patent/CN111599044A/zh
Publication of CN111599044A publication Critical patent/CN111599044A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00Individual registration on entry or exit
    • G07C9/30Individual registration on entry or exit not involving the use of a pass
    • G07C9/32Individual registration on entry or exit not involving the use of a pass in combination with an identity check
    • G07C9/37Individual registration on entry or exit not involving the use of a pass in combination with an identity check using biometric data, e.g. fingerprints, iris scans or voice recognition
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00Individual registration on entry or exit
    • G07C9/00174Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G07C9/00563Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys using personal physical data of the operator, e.g. finger prints, retinal images, voicepatterns
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00Individual registration on entry or exit
    • G07C9/30Individual registration on entry or exit not involving the use of a pass
    • G07C9/38Individual registration on entry or exit not involving the use of a pass with central registration

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明涉及一种基于多模态生物特征识别的门禁安全管理系统,包括后台管理计算机和若干个识别终端,识别终端包括微处理器、液晶显示屏、摄像模块、通信模块、指纹识别模块、人脸识别模块和虹膜识别模块;指纹识别模块、人脸识别模块和虹膜识别模块分别将指纹特征向量、人脸特征向量和虹膜特征向量发送至微处理器;微处理器读取后台管理计算机预设的电磁门锁权限,并根据电磁门锁权限的类型通过通信模块向后台管理计算机发送对应的融合后的特征向量,当后台管理计算机的识别匹配结果为匹配时,微处理器发送开门指令至对应的电磁门锁。本发明避免了单模态生物特征识别可能存在的安全漏洞,提高了门禁安全管理的可靠性、准确性、安全性和灵活性。

Description

一种基于多模态生物特征识别的门禁安全管理系统
技术领域
本发明涉及门禁安全设备技术领域,特别是涉及一种基于多模态生物特征识别的门禁安全管理系统。
背景技术
随着我国经济和社会的发展,门禁安全管理系统已经深入生活的方方面面,为人们的人身安全、财产安全、信息安全提供了重要的保障。门禁安全管理系统是一种新型现代化的安全管理系统,它涉及电子、机械、光学、计算机技术、通讯技术、生物技术等诸多新技术,是解决重要部门出入口安全防范管理的有效措施,适用于银行、宾馆、车场管理、机房、军械库、机要室、办公间、智能化小区、工厂等多种场合。随着生物识别技术的发展,门禁安全管理系统得到了飞跃式的发展,特别是基于生物特征识别技术的门禁系统,由于其具有其他门禁系统所无法比拟的独特优点而被越来越多的人认可,已经逐步取代了传统的门禁安全管理系统。
目前,多种生物特征均可应用于采用生物特征识别技术进行身份识别的门禁安全管理系统,如指纹、人脸、虹膜、语音、动作、静脉、掌型、书写、步态等,但是现有的门禁安全管理系统往往都是采用单一的生物特征或者两种生物特征的组合,采用单一的生物特征或者两种生物特征的组合虽然可以实现快速识别,但是很难保证系统的安全有效性,容易存在由于生物特征被仿造而导致的安全漏洞。基于此,多模态生物特征识别技术应运而生,其通过将多种不同的生物特征在不同层次进行融合,再对融合后的特征进行识别,从而得到高精度识别结果,提高了生物特征识别的稳定性、准确性和安全性。
虽然多模态生物特征识别技术为门禁安全管理系统提供了一种更加安全和准确的方式,但是目前多模态生物特征识别技术所采用的传统的融合算法往往存在特征向量维度非常高,导致算法计算、运行速度慢,进一步降低了生物特征识别的速度和效率,这严重限制了多模态生物特征识别技术在门禁安全管理系统中的应用,不利于门禁安全管理系统的高现代化、高精确化和高防伪化的发展。
发明内容
基于此,有必要针对现有技术中的门禁安全管理系统存在的问题,提供一种基于多模态生物特征识别的门禁安全管理系统。
为解决上述问题,本发明采取如下的技术方案:
一种基于多模态生物特征识别的门禁安全管理系统,该系统包括后台管理计算机和若干个识别终端,每一个所述识别终端包括微处理器、液晶显示屏、摄像模块、通信模块、指纹识别模块、人脸识别模块和虹膜识别模块,所述液晶显示屏、所述摄像模块、所述通信模块、所述指纹识别模块、所述人脸识别模块和所述虹膜识别模块分别与所述微处理器连接;
所述指纹识别模块获取用户输入的指纹并利用指纹提取方法提取用户的指纹特征向量,所述人脸识别模块获取所述摄像模块采集的人脸图像并利用人脸识别算法提取用户的人脸特征向量,所述虹膜识别模块获取所述摄像模块采集的虹膜图像并利用虹膜识别算法提取用户的虹膜特征向量,所述指纹识别模块、所述人脸识别模块和所述虹膜识别模块分别将所述指纹特征向量、所述人脸特征向量和所述虹膜特征向量发送至所述微处理器;
所述微处理器读取所述后台管理计算机预设的电磁门锁权限,并根据电磁门锁权限的类型通过所述通信模块向所述后台管理计算机发送对应的融合后的特征向量,所述后台管理计算机根据融合后的特征向量在数据库中进行识别匹配,并将识别匹配结果通过所述通信模块反馈至所述微处理器,当识别匹配结果为匹配时,所述微处理器发送开门指令至对应的电磁门锁,并且所述微处理器通过所述液晶显示屏对识别匹配结果进行显示。
与现有技术相比,本发明具有以下有益效果:
(1)本发明采用融合指纹识别、人脸识别和虹膜识别的多模态生物特征识别技术实现门禁安全管理系统,避免了单模态生物特征识别可能存在的安全漏洞,进一步提高了门禁安全管理的可靠性、准确性和安全性;
(2)本发明采用指纹提取方法、人脸识别算法和虹膜识别算法分别提取用户的指纹特征向量、人脸特征向量和虹膜特征向量,并且微处理器采用基于判别典型相关分析算法的特征融合算法对指纹特征向量、人脸特征向量和虹膜特征向量进行融合,具有算法可靠性高、计算、运行速度快等优点;
(3)后台管理计算机可针对每一个识别终端独立地设置电磁门锁权限,可以将电磁门锁权限预设为指纹识别、人脸识别和虹膜识别中的任意一种、任意两种的组合或者三种的组合,从而实现根据门禁的重要等级来设置相应的识别方式,提高了门禁安全管理系统的灵活性和实用性。
附图说明
图1为其中一个实施例中本发明的结构示意图;
图2为其中一个具体实施方式中微处理器得到融合后的特征向量的流程图;
图3为其中一个具体实施方式中指纹识别模块利用指纹提取方法提取用户的指纹特征向量的流程图;
图4为其中一个具体实施方式中人脸识别模块利用人脸识别算法提取用户的人脸特征向量的流程图;
图5为其中一个具体实施方式中虹膜识别模块利用虹膜识别算法提取用户的虹膜特征向量的流程图。
具体实施方式
下面将结合附图及较佳实施例对本发明的技术方案进行详细描述。
在其中一个实施例中,如图1所示,本发明公开一种基于多模态生物特征识别的门禁安全管理系统,该门禁安全管理系统包括后台管理计算机1和若干个识别终端2(分别为识别终端1,…,识别终端n),若干个识别终端2分布在各个出入口处,各个出入口均设有电磁门锁(也称为电子门锁),识别终端2用于控制电磁门锁或者电子门锁的开关;每一个识别终端2包括微处理器2-1、液晶显示屏2-2、摄像模块2-3、通信模块2-4、指纹识别模块2-5、人脸识别模块2-6和虹膜识别模块2-7,其中液晶显示屏2-2、摄像模块2-3、通信模块2-4、指纹识别模块2-5、人脸识别模块2-6和虹膜识别模块2-7分别与微处理器2-1连接。本实施例中的液晶显示屏2-2可采用尺寸为36mm×54mm的彩色屏,摄像模块2-3采用可见光摄像头和红外夜视摄像头相结合的双摄像头,其中可见光摄像头用于在正常光照下拍摄获取人脸图像,红外夜视摄像头则用于在暗光环境下拍摄获取人脸图像,从而保证门禁安全管理系统的正常工作不受环境光照条件的影响。
具体地,用户通过指纹识别模块2-5输入指纹,指纹识别模块2-5获取用户的指纹图像并利用指纹提取方法提取用户的指纹特征向量;摄像模块2-3实时采集用户的正面的人脸图像,人脸识别模块2-6获取人脸图像并利用人脸识别算法提取用户的人脸特征向量;摄像模块2-3实时采集用户的正面的人脸图像,人脸图像包括虹膜图像,虹膜识别模块2-7获取虹膜图像并利用虹膜识别算法提取用户的虹膜特征向量,并且指纹识别模块2-5、人脸识别模块2-6和虹膜识别模块2-7分别将指纹特征向量、人脸特征向量和虹膜特征向量发送至微处理器2-1。
用户可以通过后台管理计算机1为每个电磁门锁预先设定识别权限(即电磁门锁权限),电磁门锁权限包括指纹识别、人脸识别和虹膜识别中的任意一种、任意两种的组合或者三种的组合。微处理器2-1接收到指纹识别模块2-5、人脸识别模块2-6和虹膜识别模块2-7分别发送的指纹特征向量、人脸特征向量和虹膜特征向量之后,微处理器2-1读取后台管理计算机1预设的电磁门锁权限,并根据电磁门锁权限的类型通过通信模块2-4向后台管理计算机1发送对应的融合后的特征向量,例如,当电磁门锁权限的类型仅为指纹开锁、人脸开锁和虹膜开锁中的任意一种时,微处理器2-1以对应的指纹特征向量、人脸特征向量或者虹膜特征向量作为融合后的特征向量,并发送至后台管理计算机1;当电磁门锁权限的类型为指纹开锁、人脸开锁和虹膜开锁中任意两种的组合时,微处理器2-1根据特征融合算法对电磁门锁权限的类型对应的两个特征向量进行融合,得到融合后的特征向量,并将融合后的特征向量发送至后台管理计算机1;当电磁门锁权限的类型为指纹开锁、人脸开锁和虹膜开锁三种组合时,微处理器2-1对指纹特征向量、人脸特征向量和虹膜特征向量进行降维处理以及归一化操作后,根据特征融合算法对处理后的指纹特征向量、人脸特征向量和虹膜特征向量进行融合,得到融合后的特征向量,并将融合后的特征向量发送至后台管理计算机1。
后台管理计算机1接收各个微处理器2-1发送的融合后的特征向量并根据融合后的特征向量在数据库中进行识别匹配,可选地,后台管理计算机1根据融合后的特征向量在数据库中进行识别匹配时,采用欧式距离匹配识别认证方法,当融合后的特征向量与数据库中的目标特征向量之间的欧式距离小于阈值时,判定识别匹配结果为匹配,此时后台管理计算机1将识别匹配结果通过通信模块2-4反馈至相应的微处理器2-1;当微处理器2-1接收到的识别匹配结果为匹配时,微处理器2-1发送开门指令至对应的电磁门锁,电磁门锁打开,与此同时,微处理器2-1通过液晶显示屏2-2对识别匹配结果进行显示,或者通过语音模块对识别匹配结果进行语音播报。
本实施例所提出一种基于多模态生物特征识别的门禁安全管理系统具有以下有益效果:
(1)采用融合指纹识别、人脸识别和虹膜识别的多模态生物特征识别技术实现门禁安全管理系统,避免了单模态生物特征识别可能存在的安全漏洞,进一步提高了门禁安全管理的可靠性、准确性和安全性;
(2)本发明采用指纹提取方法、人脸识别算法和虹膜识别算法分别提取用户的指纹特征向量、人脸特征向量和虹膜特征向量,并且微处理器采用基于判别典型相关分析算法的特征融合算法对指纹特征向量、人脸特征向量和虹膜特征向量进行融合,具有算法可靠性高、计算、运行速度快等优点;
(3)后台管理计算机可针对每一个识别终端独立地设置电磁门锁权限,可以将电磁门锁权限预设为指纹识别、人脸识别和虹膜识别中的任意一种、任意两种的组合或者三种的组合,从而实现根据门禁的重要等级来设置相应的识别方式,提高了门禁安全管理系统的灵活性和实用性。
作为一种具体的实施方式,参见图2,当电磁门锁权限的类型为指纹开锁、人脸开锁和虹膜开锁三种组合时,微处理器2-1对指纹特征向量、人脸特征向量和虹膜特征向量进行降维处理以及归一化操作后,根据特征融合算法对处理后的指纹特征向量、人脸特征向量和虹膜特征向量进行融合,得到融合后的特征向量的过程包括以下步骤:
步骤一(S1)、对处理后的指纹特征向量、人脸特征向量和虹膜特征向量分别进行零均值化处理,以简化计算,得到对应的零均值的向量X、向量Y和向量Z,且X∈Rp,Y∈Rq,Z∈Rr,p、q、r分别是向量X、向量Y和向量Z的维数;
步骤二(S2)、构建判别典型相关分析算法的第一最大化准则函数,第一最大化准则函数为:
Figure BDA0002491336420000061
式中,
Figure BDA0002491336420000062
SW为类内相关矩阵,SB为类间相关矩阵,α和β分别为向量X、向量Y对应的投影向量,且α∈Rp,β∈Rp,αTSXXα=βTSYYβ=1;
步骤三(S3)、将求解第一最大化准则函数转化为求解矩阵广义特征值,计算前k个特征值及其对应的特征向量,由计算得到的特征向量组构成向量X和向量Y的典型相关向量U和V;
步骤四(S4)、将获得的典型相关向量U和V串联成[UT,VT],[UT,VT]即为指纹特征向量和人脸特征向量融合后的指纹-人脸特征向量;
步骤五(S5)、构建判别典型相关分析算法的第二最大化准则函数,第二最大化准则函数为:
Figure BDA0002491336420000063
式中,
Figure BDA0002491336420000064
SW为类内相关矩阵,SB为类间相关矩阵,χ和
Figure BDA0002491336420000065
分别为向量Y、向量Z对应的投影向量,且χ∈Rp
Figure BDA0002491336420000066
步骤六(S6)、将求解第二最大化准则函数转化为求解矩阵广义特征值,计算前k’个特征值及其对应的特征向量,由计算得到的特征向量组构成向量Y和向量Z的典型相关向量W和Q;
步骤七(S7)、将获得的典型相关向量W和Q串联成[WT,QT],[WT,QT]即为人脸特征向量和虹膜特征向量融合后的人脸-虹膜特征向量;
步骤八(S8)、将指纹-人脸特征向量和人脸-虹膜特征向量串联,得到融合后的特征向量[UT,VT,WT,QT]。
本实施方式利用判别典型相关分析算法分别对指纹特征向量和任亮特征向量以及人脸特征向量和虹膜特征向量两组特征向量分别进行融合,得到相应的指纹-人脸特征向量和人脸-虹膜特征向量,再将指纹-人脸特征向量和人脸-虹膜特征向量串联,得到最终的融合后的特征向量,融合后的特征向量建立了指纹特征向量、人脸特征向量和虹膜特征向量这三种不同特征向量之间的紧密联系,充分利用了获取的多个特征向量,进一步提高了识别率。
特别地,当电磁门锁权限的类型为指纹开锁、人脸开锁和虹膜开锁中任意两种的组合时,微处理器2-1根据特征融合算法对电磁门锁权限的类型对应的两个特征向量进行融合,此时微处理器2-1可以采用类似上述步骤一(S1)至步骤四(S4)的特征向量融合方法来对两个相应的特征向量进行融合,以得到融合后的特征向量。
作为一种具体的实施方式,参见图3,指纹识别模块2-5利用指纹提取方法提取用户的指纹特征向量的过程包括以下步骤:
步骤1):标注出获取的指纹图像中指纹的中心点;
步骤2):以指纹的中心点为中心将指纹图像分割成若干个大小相同的局部区域,并对分割后的指纹图像进行归一化处理;
步骤3):利用Gabor滤波器组对各个局部区域进行多个方向的滤波,得到滤波后的指纹图像集;
步骤4):搭建卷积神经网络VGG16模型,利用Gabor滤波器对用户注册的指纹图像集进行滤波并将滤波后的指纹图像集输入至卷积神经网络VGG16模型中进行训练,直至卷积神经网络内的损失函数值小于预设阈值时退出训练,得到训练好的卷积神经网络VGG16模型;
步骤5):将步骤3)得到的滤波后的指纹图像集输入训练好的卷积神经网络VGG16模型进行特征提取,得到指纹图像对应的指纹特征向量。
本实施方式首先利用Gabor滤波器组对分割并归一化处理后的指纹图像局部区域进行多个方向的滤波,提取图像的纹理特征,得到滤波后的指纹图像集,再通过搭建卷积神经网络VGG16模型并利用滤波后的预先注册的指纹图像集对卷积神经网络VGG16模型进行训练,最后基于训练好的卷积神经网络VGG16模型对滤波后的指纹图像集进行特征提取,得到用户输入的指纹图像对应的指纹特征向量,具有特征向量提取精度高的优点。
作为一种具体的实施方式,参见图4,人脸识别模块2-6利用人脸识别算法提取用户的人脸特征向量的过程包括以下步骤:
步骤1):获取用户正面人脸图像集,对图像集进行图像预处理,得到预处理后的图像集;
步骤2):利用Gabor滤波器提取预处理后的图像集的人脸特征,得到人脸特征集;
步骤3):搭建卷积神经网络VGG16模型,将人脸特征集输入至卷积神经网络VGG16模型中进行训练,直至卷积神经网络内的损失函数值小于预设阈值时退出训练,得到训练好的卷积神经网络VGG16模型;
步骤4):对摄像模块2-3采集的人脸图像进行预处理,并将预处理后的人脸图像输入至训练好的卷积神经网络VGG16模型进行特征提取,得到人脸图像对应的人脸特征向量。
本实施方式首先获取事先采集的用户正面人脸图像集,并对图像集进行图像预处理以及滤波,得到人脸特征集,再搭建卷积神经网络VGG16模型并利用人脸特征集对卷积神经网络VGG16模型进行训练,最后基于训练好的卷积神经网络VGG16模型对预处理后的人脸图像进行特征提取,得到用户输入的人脸图像对应的人脸特征向量,具有特征向量提取精度高的优点。
作为一种具体的实施方式,参见图5,虹膜识别模块2-7利用虹膜识别算法提取用户的虹膜特征向量的过程包括以下步骤:
步骤I(SI):活体检测
确定彩色人脸图像中人脸框的位置;
对彩色人脸图像进行预处理操作;
利用卷积神经网络提取经预处理的人脸框图像特征,并使用训练分类器对真伪图像进行分类,若分类结果为真,则执行步骤II;若否,则反馈报警信息至微处理器;本实施方式采用基于神经网络的虹膜活体检测算法实现活体检测,除此之外,还可以采用基于支持向量机(SupportVectorMachine,SVM)的虹膜活体检测算法以及基于遗传算法的虹膜活体检测算法等等实现活体检测;
步骤II(SII):虹膜图像的预处理
对虹膜图像进行图像增强;
利用基于Hough变换的检测方法对虹膜进行定位;
对定位后的虹膜图像进行归一化处理;
步骤III(SIII):虹膜特征提取
利用2D-Gabor滤波器对预处理后的虹膜图像进行滤波,得到虹膜特征集,并对虹膜特征进行PCA降维处理,得到虹膜特征向量。
本实施方式首先对人脸图像进行活体检测,以避免存在照片仿冒的可能性,保证基于多模态生物特征识别的门禁安全管理系统的可靠性,在通过活体检测之后再分别进行虹膜图像预处理以及虹膜特征的提取,最终得到虹膜特征向量,具有识别率高、运算量较小、节约存储空间等优点。
进一步地,识别终端2还包括与微处理器2-1连接的防盗报警模块。防盗报警模块用于实时检测电磁门锁的闭合状态,当电磁门锁被外力破坏时,防盗报警模块检测到电磁门锁的状态异常,并发送报警信号至微处理器2-1,微处理器2-1上传报警信息至后台管理计算机1,使后台管理计算机1实时掌控各个出入口的状态。本实施方式中的防盗报警模块还包括报警灯和扩音子模块,当防盗报警模块检测到电磁门锁的状态异常时,驱动报警灯和扩音子模块分别进行灯光报警和声音报警。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于多模态生物特征识别的门禁安全管理系统,其特征在于,包括后台管理计算机(1)和若干个识别终端(2),每一个所述识别终端(2)包括微处理器(2-1)、液晶显示屏(2-2)、摄像模块(2-3)、通信模块(2-4)、指纹识别模块(2-5)、人脸识别模块(2-6)和虹膜识别模块(2-7),所述液晶显示屏(2-2)、所述摄像模块(2-3)、所述通信模块(2-4)、所述指纹识别模块(2-5)、所述人脸识别模块(2-6)和所述虹膜识别模块(2-7)分别与所述微处理器(2-1)连接;
所述指纹识别模块(2-5)获取用户输入的指纹并利用指纹提取方法提取用户的指纹特征向量,所述人脸识别模块(2-6)获取所述摄像模块(2-3)采集的人脸图像并利用人脸识别算法提取用户的人脸特征向量,所述虹膜识别模块(2-7)获取所述摄像模块(2-3)采集的虹膜图像并利用虹膜识别算法提取用户的虹膜特征向量,所述指纹识别模块(2-5)、所述人脸识别模块(2-6)和所述虹膜识别模块(2-7)分别将所述指纹特征向量、所述人脸特征向量和所述虹膜特征向量发送至所述微处理器(2-1);
所述微处理器(2-1)读取所述后台管理计算机(1)预设的电磁门锁权限,并根据电磁门锁权限的类型通过所述通信模块(2-4)向所述后台管理计算机(1)发送对应的融合后的特征向量,所述后台管理计算机(1)根据融合后的特征向量在数据库中进行识别匹配,并将识别匹配结果通过所述通信模块(2-4)反馈至所述微处理器(2-1),当识别匹配结果为匹配时,所述微处理器(2-1)发送开门指令至对应的电磁门锁,并且所述微处理器(2-1)通过所述液晶显示屏(2-2)对识别匹配结果进行显示。
2.根据权利要求1所述的基于多模态生物特征识别的门禁安全管理系统,其特征在于,
当电磁门锁权限的类型仅为指纹开锁、人脸开锁和虹膜开锁中的任意一种时,所述微处理器(2-1)以对应的所述指纹特征向量、所述人脸特征向量或者所述虹膜特征向量作为融合后的特征向量。
3.根据权利要求1所述的基于多模态生物特征识别的门禁安全管理系统,其特征在于,
当电磁门锁权限的类型为指纹开锁、人脸开锁和虹膜开锁中任意两种的组合时,所述微处理器(2-1)根据特征融合算法对电磁门锁权限的类型对应的两个特征向量进行融合,得到融合后的特征向量。
4.根据权利要求1所述的基于多模态生物特征识别的门禁安全管理系统,其特征在于,
当电磁门锁权限的类型为指纹开锁、人脸开锁和虹膜开锁三种组合时,所述微处理器(2-1)对所述指纹特征向量、所述人脸特征向量和所述虹膜特征向量进行降维处理以及归一化操作后,根据特征融合算法对处理后的指纹特征向量、人脸特征向量和虹膜特征向量进行融合,得到融合后的特征向量。
5.根据权利要求4所述的基于多模态生物特征识别的门禁安全管理系统,其特征在于,所述微处理器(2-1)根据特征融合算法对处理后的指纹特征向量、人脸特征向量和虹膜特征向量进行融合,得到融合后的特征向量的过程包括以下步骤:
步骤一、对处理后的指纹特征向量、人脸特征向量和虹膜特征向量分别进行零均值化处理,得到对应的零均值的向量X、向量Y和向量Z,且X∈Rp,Y∈Rq,Z∈Rr,p、q、r分别是向量X、向量Y和向量Z的维数;
步骤二、构建判别典型相关分析算法的第一最大化准则函数,所述第一最大化准则函数为:
Figure FDA0002491336410000021
式中,
Figure FDA0002491336410000022
SW为类内相关矩阵,SB为类间相关矩阵,α和β分别为向量X、向量Y对应的投影向量,且α∈Rp,β∈Rp,αTSXXα=βTSYYβ=1;
步骤三、将求解所述第一最大化准则函数转化为求解矩阵广义特征值,计算前k个特征值及其对应的特征向量,由计算得到的特征向量组构成向量X和向量Y的典型相关向量U和V;
步骤四、将获得的典型相关向量U和V串联成[UT,VT],[UT,VT]即为指纹特征向量和人脸特征向量融合后的指纹-人脸特征向量;
步骤五、构建判别典型相关分析算法的第二最大化准则函数,所述第二最大化准则函数为:
Figure FDA0002491336410000031
式中,
Figure FDA0002491336410000032
SW为类内相关矩阵,SB为类间相关矩阵,χ和
Figure FDA0002491336410000033
分别为向量Y、向量Z对应的投影向量,且χ∈Rp
Figure FDA0002491336410000034
步骤六、将求解所述第二最大化准则函数转化为求解矩阵广义特征值,计算前k’个特征值及其对应的特征向量,由计算得到的特征向量组构成向量Y和向量Z的典型相关向量W和Q;
步骤七、将获得的典型相关向量W和Q串联成[WT,QT],[WT,QT]即为人脸特征向量和虹膜特征向量融合后的人脸-虹膜特征向量;
步骤八、将所述指纹-人脸特征向量和所述人脸-虹膜特征向量串联,得到融合后的特征向量[UT,VT,WT,QT]。
6.根据权利要求1至5任意一项所述的基于多模态生物特征识别的门禁安全管理系统,其特征在于,所述指纹识别模块(2-5)利用指纹提取方法提取用户的指纹特征向量的过程包括以下步骤:
步骤1):标注出获取的指纹图像中指纹的中心点;
步骤2):以指纹的中心点为中心将所述指纹图像分割成若干个大小相同的局部区域,并对分割后的指纹图像进行归一化处理;
步骤3):利用Gabor滤波器组对各个所述局部区域进行多个方向的滤波,得到滤波后的指纹图像集;
步骤4):搭建卷积神经网络VGG16模型,利用Gabor滤波器对用户注册的指纹图像集进行滤波并将滤波后的指纹图像集输入至卷积神经网络VGG16模型中进行训练,得到训练好的卷积神经网络VGG16模型;
步骤5):将步骤3)得到的滤波后的指纹图像集输入训练好的卷积神经网络VGG16模型进行特征提取,得到指纹图像对应的指纹特征向量。
7.根据权利要求1至5任意一项所述的基于多模态生物特征识别的门禁安全管理系统,其特征在于,所述人脸识别模块(2-6)利用人脸识别算法提取用户的人脸特征向量的过程包括以下步骤:
步骤1):获取用户正面人脸图像集,对图像集进行图像预处理,得到预处理后的图像集;
步骤2):利用Gabor滤波器提取预处理后的图像集的人脸特征,得到人脸特征集;
步骤3):搭建卷积神经网络VGG16模型,将人脸特征集输入至卷积神经网络VGG16模型中进行训练,得到训练好的卷积神经网络VGG16模型;
步骤4):对所述摄像模块(2-3)采集的人脸图像进行预处理,并将预处理后的人脸图像输入至训练好的卷积神经网络VGG16模型进行特征提取,得到人脸图像对应的人脸特征向量。
8.根据权利要求1至5任意一项所述的基于多模态生物特征识别的门禁安全管理系统,其特征在于,所述虹膜识别模块(2-7)利用虹膜识别算法提取用户的虹膜特征向量的过程包括以下步骤:
步骤I:活体检测
确定彩色人脸图像中人脸框的位置;
对彩色人脸图像进行预处理操作;
利用卷积神经网络提取经预处理的人脸框图像特征,并使用训练分类器对真伪图像进行分类,若分类结果为真,则执行步骤II;若否,则反馈报警信息至所述微处理器;
步骤II:虹膜图像的预处理
对所述虹膜图像进行图像增强;
利用基于Hough变换的检测方法对虹膜进行定位;
对定位后的虹膜图像进行归一化处理;
步骤III:虹膜特征提取
利用2D-Gabor滤波器对预处理后的虹膜图像进行滤波,得到虹膜特征集,并对虹膜特征进行PCA降维处理,得到虹膜特征向量。
9.根据权利要求1至5任意一项所述的基于多模态生物特征识别的门禁安全管理系统,其特征在于,
所述后台管理计算机(1)根据融合后的特征向量在数据库中进行识别匹配时,采用欧式距离匹配识别认证方法。
10.根据权利要求1至5任意一项所述的基于多模态生物特征识别的门禁安全管理系统,其特征在于,
所述识别终端(2)还包括与所述微处理器(2-1)连接的防盗报警模块。
CN202010406029.5A 2020-05-14 2020-05-14 一种基于多模态生物特征识别的门禁安全管理系统 Pending CN111599044A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010406029.5A CN111599044A (zh) 2020-05-14 2020-05-14 一种基于多模态生物特征识别的门禁安全管理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010406029.5A CN111599044A (zh) 2020-05-14 2020-05-14 一种基于多模态生物特征识别的门禁安全管理系统

Publications (1)

Publication Number Publication Date
CN111599044A true CN111599044A (zh) 2020-08-28

Family

ID=72187155

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010406029.5A Pending CN111599044A (zh) 2020-05-14 2020-05-14 一种基于多模态生物特征识别的门禁安全管理系统

Country Status (1)

Country Link
CN (1) CN111599044A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112183480A (zh) * 2020-10-29 2021-01-05 深圳奥比中光科技有限公司 一种人脸识别方法、装置、终端设备及存储介质
CN114550280A (zh) * 2022-02-28 2022-05-27 武汉理工大学 一种基于遗传算法的隐私保护虹膜识别方法和系统
CN114758440A (zh) * 2020-12-29 2022-07-15 成都启源西普科技有限公司 基于图像和文字混合识别的门禁系统
CN114758439A (zh) * 2020-12-29 2022-07-15 成都启源西普科技有限公司 一种基于人工智能的多模态门禁系统
CN114758405A (zh) * 2022-04-18 2022-07-15 北京航空航天大学合肥创新研究院(北京航空航天大学合肥研究生院) 一种基于knn分类模型的虹膜识别方法
CN117292466A (zh) * 2023-10-17 2023-12-26 江苏新巢天诚智能技术有限公司 基于多模态计算机视觉与生物识别物联网解锁方法
CN117688365A (zh) * 2023-12-13 2024-03-12 江西鼎通安防科技有限公司 多模态生物识别门禁系统
CN118314650A (zh) * 2024-06-11 2024-07-09 河北科曼信息技术有限公司 基于多模态生物识别的通行管控方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101483652A (zh) * 2009-01-10 2009-07-15 五邑大学 生物特征识别系统
CN101901351A (zh) * 2010-07-28 2010-12-01 中国科学院自动化研究所 基于层次结构的人脸和虹膜图像融合识别方法
CN102034288A (zh) * 2010-12-09 2011-04-27 江南大学 基于多生物特征识别的智能门禁系统
US20190371099A1 (en) * 2018-06-05 2019-12-05 Jeff Chen Biometric fusion electronic lock system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101483652A (zh) * 2009-01-10 2009-07-15 五邑大学 生物特征识别系统
CN101901351A (zh) * 2010-07-28 2010-12-01 中国科学院自动化研究所 基于层次结构的人脸和虹膜图像融合识别方法
CN102034288A (zh) * 2010-12-09 2011-04-27 江南大学 基于多生物特征识别的智能门禁系统
US20190371099A1 (en) * 2018-06-05 2019-12-05 Jeff Chen Biometric fusion electronic lock system

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
徐中宇等: "多模态生物特征识别算法", 《长春工业大学学报》 *
薛慧君: "《中小学信息技术教育》", 31 October 2017 *
黄杰编著: "《信息系统安全》", 30 November 2019 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112183480A (zh) * 2020-10-29 2021-01-05 深圳奥比中光科技有限公司 一种人脸识别方法、装置、终端设备及存储介质
CN112183480B (zh) * 2020-10-29 2024-06-04 奥比中光科技集团股份有限公司 一种人脸识别方法、装置、终端设备及存储介质
CN114758440A (zh) * 2020-12-29 2022-07-15 成都启源西普科技有限公司 基于图像和文字混合识别的门禁系统
CN114758439A (zh) * 2020-12-29 2022-07-15 成都启源西普科技有限公司 一种基于人工智能的多模态门禁系统
CN114550280A (zh) * 2022-02-28 2022-05-27 武汉理工大学 一种基于遗传算法的隐私保护虹膜识别方法和系统
CN114758405A (zh) * 2022-04-18 2022-07-15 北京航空航天大学合肥创新研究院(北京航空航天大学合肥研究生院) 一种基于knn分类模型的虹膜识别方法
CN117292466A (zh) * 2023-10-17 2023-12-26 江苏新巢天诚智能技术有限公司 基于多模态计算机视觉与生物识别物联网解锁方法
CN117292466B (zh) * 2023-10-17 2024-05-17 江苏新巢天诚智能技术有限公司 基于多模态计算机视觉与生物识别物联网解锁方法
CN117688365A (zh) * 2023-12-13 2024-03-12 江西鼎通安防科技有限公司 多模态生物识别门禁系统
CN117688365B (zh) * 2023-12-13 2024-06-11 江西鼎通安防科技有限公司 多模态生物识别门禁系统
CN118314650A (zh) * 2024-06-11 2024-07-09 河北科曼信息技术有限公司 基于多模态生物识别的通行管控方法及系统

Similar Documents

Publication Publication Date Title
CN111599044A (zh) 一种基于多模态生物特征识别的门禁安全管理系统
US20080212849A1 (en) Method and Apparatus For Facial Image Acquisition and Recognition
Jain et al. An introduction to biometric recognition
US7039221B1 (en) Facial image verification utilizing smart-card with integrated video camera
CN201845343U (zh) 一种用于人脸识别的图像获取装置
CN110781798B (zh) 一种基于树莓派和人脸识别的车载嫌疑犯锁定系统
CN105427421A (zh) 基于人脸识别的门禁控制方法
Ross et al. Human recognition using biometrics: an overview.
WO2016127766A1 (zh) 一种采用面部识别、面部静脉认证与手指静脉认证相结合的认证装置及认证方法
US20070183634A1 (en) Auto Individualization process based on a facial biometric anonymous ID Assignment
CN105825176A (zh) 基于多模态非接触身份特征的识别方法
CN103136505A (zh) 利用多种生理信息混合辨识身份的系统及方法
CN108648310A (zh) 一种双重认证的人脸识别门禁系统及其应用方法
CN106504374A (zh) 一种可自动识别的门禁安防系统
KR101515214B1 (ko) 얼굴 인식을 통한 신원확인 방법과 얼굴인식을 이용한 출입관리 경보 시스템 및 출입관리 경보 제어방법
CN110717428A (zh) 一种融合多个特征的身份识别方法、装置、系统、介质及设备
CN111462417A (zh) 一种无人银行的多信息验证系统和多信息验证方法
CN108920990A (zh) 一种身份证识别认证系统
Dhir et al. Biometric recognition: A modern era for security
Negied Human biometrics: Moving towards thermal imaging
Sharma et al. Human recognition methods based on biometric technologies
CN102436591B (zh) 伪造虹膜图像的判别方法
WO2023284075A1 (zh) 一种居民小区车辆管理系统及管理方法
Singla et al. Face Detection and Recognition Using Digital Image Processing:" State of the Art"
CN113591619A (zh) 一种基于录像视频的人脸识别核验装置及其核验方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200828