CN113657198A - 双目活体的人脸识别方法、装置、电子装置和存储介质 - Google Patents
双目活体的人脸识别方法、装置、电子装置和存储介质 Download PDFInfo
- Publication number
- CN113657198A CN113657198A CN202110857710.6A CN202110857710A CN113657198A CN 113657198 A CN113657198 A CN 113657198A CN 202110857710 A CN202110857710 A CN 202110857710A CN 113657198 A CN113657198 A CN 113657198A
- Authority
- CN
- China
- Prior art keywords
- living body
- light image
- face
- face information
- visible light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000012216 screening Methods 0.000 claims description 22
- 238000004422 calculation algorithm Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 16
- 238000001514 detection method Methods 0.000 claims description 9
- 230000009471 action Effects 0.000 abstract description 4
- 230000008569 process Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000007689 inspection Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000004397 blinking Effects 0.000 description 1
- 230000001680 brushing effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004080 punching Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Landscapes
- Collating Specific Patterns (AREA)
Abstract
本申请涉及一种双目活体的人脸识别方法、装置、电子装置和存储介质,其中,该方法包括:获取第一摄像装置的可见光图像,同时获取第二摄像装置的红外光图像;按预设匹配策略对可见光图像和红外光图像进行人脸匹配,得到第一人脸信息和对应的第二人脸信息;对匹配成功的第一人脸信息和第二人脸信息进行活体识别;在活体识别结果为活体时,对可见光图像中的第一人脸信息进行人脸识别。通过本申请解决了需要用户配合动作,且耗时较长,不适用于安检口或考勤口这种公共场合的问题,实现了基于获取的可见光图像和红外光图像即可快速和准确的识别人脸,不需要用户过多配合,适用于安检口或考勤口这种公共场合。
Description
技术领域
本申请涉及图像识别技术领域,特别是涉及双目活体的人脸识别方法、装置、电子装置和存储介质。
背景技术
随着生物识别技术应用的逐渐成熟,人脸识别成为了目前比较通用的个体识别方法,且能够应用于各种不同场景。随着应用的逐渐广泛,人脸识别的安全性也受到了严峻的挑战。比如,大部分安检口或考勤口均采用人脸识别的闸机,通过刷脸即可进入,但是目前的人脸识别技术主要是根据人脸面部特征进行识别,并不能分辨人脸实体、照片以及3D面具的差别。因此,如何区分人脸是不是真实的活体人脸成为了一个值得关注和研究的问题。
目前对于活体的人脸识别方法,通常需要用户的配合,比如,要求用户配合眨眼睛,左右摇头,读一段文字等。这种方案,需要用户配合动作,且耗时较长,不适用于安检口或考勤口这种公共场合。
目前针对相关技术中活体的人脸识别方案,需要用户配合动作,且耗时较长,不适用于安检口或考勤口这种公共场合,尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种双目活体的人脸识别方法、装置、电子装置和存储介质,以至少解决相关技术中需要用户配合动作,且耗时较长,不适用于安检口或考勤口这种公共场合的问题。
第一方面,本申请实施例提供了一种双目活体的人脸识别方法,包括:
获取第一摄像装置的可见光图像,同时获取第二摄像装置的红外光图像;
按预设匹配策略对所述可见光图像和所述红外光图像进行人脸匹配,得到所述可见光图像中的第一人脸信息和对应的所述红外光图像中的第二人脸信息;
对匹配成功的所述第一人脸信息和所述第二人脸信息进行活体识别;
在活体识别结果为活体时,对所述可见光图像中的第一人脸信息进行人脸识别。
在其中一些实施例中,本申请提供的双目活体的人脸识别方法,还包括:
在同时获取第二摄像装置的红外光图像之后,将所述可见光图像中的第一时间戳与所述红外光图像中的第二时间戳进行比较;
若第一时间戳比所述第二时间戳小,则重新获取下一帧所述第一摄像装置的所述可见光图像,直至所述第一时间戳和第二时间戳相等,则匹配成功;
若第一时间戳比所述第二时间戳大,则重新获取下一帧所述第二摄像装置的所述红外光图像,直至所述第一时间戳和第二时间戳相等,则匹配成功。
在其中一些实施例中,本申请提供的双目活体的人脸识别方法,还包括:
利用第一摄像装置采集第一视频,利用第二摄像装置采集第二视频。
在其中一些实施例中,所述按预设匹配策略对所述第一人脸信息和所述第二人脸信息进行人脸匹配,得到所述可见光图像中的第一人脸信息和对应的所述红外光图像中的第二人脸信息,包括:
从所述可见光图像中筛选出符合预设匹配条件的第一人脸信息;
根据所述第一人脸信息和预设重合度阈值从所述红外光图像中筛选出第二人脸信息。
在其中一些实施例中,所述从所述可见光图像中筛选出符合预设匹配条件的第一人脸信息,包括:
从所述可见光图像中筛选出具有最大人脸尺寸的第一人脸信息,且所述第一人脸信息符合预设尺寸条件;
并判断在预设帧数阈值内所述第一人脸信息中的身份信息是否已经被识别;
若所述身份信息未被识别,则所述第一人脸信息符合预设匹配条件。
在其中一些实施例中,所述根据所述第一人脸信息和预设重合度阈值从所述红外光图像中筛选出所述第二人脸信息,包括:
将所述红外光图像中的第二人脸信息与所述第一人脸信息进行人脸框重合度比较,筛选出人脸框重合度大等于预设重合度阈值的所述第二人脸信息。
在其中一些实施例中,所述对匹配成功的所述第一人脸信息和所述第二人脸信息进行活体识别,包括:
利用双目活体算法对所述第一人脸信息进行非活体置信度计算,得到第一非活体置信度;
利用双目活体算法对所述第二人脸信息进行非活体置信度计算,得到第二非活体置信度;
根据所述第一非活体置信度、所述第二非活体置信度以及预设权重,确定目标非活体置信度,并判断目标非活体置信度是否满足预设非活体置信度阈值;
若所述目标非活体置信度不满足预设非活体置信度阈值,则活体识别结果为活体;
若所述目标非活体置信度满足预设非活体置信度阈值,则活体识别结果为非活体。
在其中一些实施例中,本申请提供的双目活体的人脸识别方法,还包括:
在对所述可见光图像中的第一人脸信息进行人脸识别之后,根据人脸识别结果进行联动开门或考勤。
第二方面,本申请实施例提供了一种双目活体的人脸识别装置,包括获取模块、匹配模块、活体检测模块以及人脸识别模块;
所述获取模块,用于获取第一摄像装置的可见光图像,同时获取第二摄像装置的红外光图像;
所述匹配模块,用于按预设匹配策略对所述可见光图像和所述红外光图像进行人脸匹配,得到所述可见光图像中的第一人脸信息和对应的所述红外光图像中的第二人脸信息;
所述活体检测模块,用于对匹配成功的所述第一人脸信息和所述第二人脸信息进行活体识别;
所述人脸识别模块,用于在活体识别结果为活体时,对所述可见光图像中的第一人脸信息进行人脸识别。
第三方面,本申请实施例提供了一种电子装置,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述第一方面所述的双目活体的人脸识别方法。
第四方面,本申请实施例提供了一种存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述第一方面所述的双目活体的人脸识别方法。
相比于相关技术,本申请实施例提供的双目活体的人脸识别方法、装置、电子装置和存储介质,通过获取第一摄像装置的可见光图像,同时获取第二摄像装置的红外光图像;按预设匹配策略对所述可见光图像和红外光图像进行人脸匹配,得到所述可见光图像中的第一人脸信息和对应的所述红外光图像中的第二人脸信息;对匹配成功的所述第一人脸信息和所述第二人脸信息进行活体识别;在活体识别结果为活体时,对所述可见光图像中的第一人脸信息进行人脸识别。通过本申请解决了需要用户配合动作,且耗时较长,不适用于安检口或考勤口这种公共场合的问题,实现了基于获取的可见光图像和红外光图像即可快速和准确的识别人脸,不需要用户过多配合,适用于安检口或考勤口这种公共场合。
本申请的一个或多个实施例的细节在以下附图和描述中提出,以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是本申请一实施例提供的双目活体的人脸识别方法的终端设备的硬件结构框图;
图2是本申请一实施例提供的双目活体的人脸识别方法的流程图;
图3是本申请一实施例提供的双目活体的人脸识别方法的优选流程图;
图4是本申请另一实施例提供的双目活体的人脸识别方法的优选流程图;
图5是本申请一实施例提供的双目活体的人脸识别装置的结构框图。
图中:210、获取模块;220、匹配模块;230、活体检测模块;240、人脸识别模块。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行描述和说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。基于本申请提供的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。此外,还可以理解的是,虽然这种开发过程中所作出的努力可能是复杂并且冗长的,然而对于与本申请公开的内容相关的本领域的普通技术人员而言,在本申请揭露的技术内容的基础上进行的一些设计,制造或者生产等变更只是常规的技术手段,不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是,本申请所描述的实施例在不冲突的情况下,可以与其它实施例相结合。
除非另作定义,本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制,可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形,意图在于覆盖不排他的包含;例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可以还包括没有列出的步骤或单元,或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电气的连接,不管是直接的还是间接的。本申请所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象,不代表针对对象的特定排序。
本实施例提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。以运行在终端上为例,图1是本发明实施例的双目活体的人脸识别方法的终端的硬件结构框图。如图1所示,终端10可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104,可选地,上述终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述终端的结构造成限定。例如,终端10还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序,例如,应用软件的软件程序以及模块,如本发明实施例中的双目活体的人脸识别方法对应的计算机程序,处理器102通过运行存储在存储器104内的计算机程序,从而执行各种功能应用以及数据处理,即实现上述的方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括终端10的通信供应商提供的无线网络。在一个实例中,传输设备106包括一个网络适配器(Network Interface Controller,简称为NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输设备106可以为射频(Radio Frequency,简称为RF)模块,其用于通过无线方式与互联网进行通讯。
本实施例提供了一种双目活体的人脸识别方法,图2是根据本申请实施例的双目活体的人脸识别方法的流程图,如图2所示,该流程包括如下步骤:
步骤S210,获取第一摄像装置的可见光图像,同时获取第二摄像装置的红外光图像;
步骤S220,按预设匹配策略对可见光图像和红外光图像进行人脸匹配,得到可见光图像中的第一人脸信息和对应的红外光图像中的第二人脸信息;
步骤S230,对匹配成功的第一人脸信息和第二人脸信息进行活体识别;
步骤S240,在活体识别结果为活体时,对可见光图像中的第一人脸信息进行人脸识别。
需要说明的是,在本实施例中,设置有两个摄像装置,分别为第一摄像装置和第二摄像装置。比如:第一摄像装置可以为可见光摄像头,第二摄像装置可以为红外光摄像头。由于每个摄像头之间的距离、畸变等其他原因存在,会导致定位算法参数的差异,所以通常是通过相机标定来得到算法参数。标定的目的是为了消除畸变以及得到内外参数矩阵,内参数矩阵可以理解为焦距相关,它是一个从平面到像素的转换,焦距不变它就不变,所以确定以后就可以重复使用。而外参数矩阵反映的是摄像机坐标系与世界坐标系的转换,至于畸变参数,一般也包含在内参数矩阵中。从作用上来看,内参数矩阵是为了得到镜头的信息,并消除畸变,使得到的图像更为准确,外参数矩阵是为了得到相机相对于世界坐标的联系,是为了最终的测距。于本实施例中,对于具体的标定过程并不进行限制。
在本实施例中,可以认为第一摄像装置和第二摄像装置完成相关设置后,利用第一摄像装置采集第一视频,从第一视频中按帧获取可见光图像;利用第二摄像装置采集第二视频,从第二视频中按帧获取红外光图像。对于获取的手段并不进行限制,比如,可以使用opencv-python提取视频每一帧的图片。
第一人脸信息包括人脸尺寸信息、身份信息以及人脸框信息等。身份信息具有唯一性,每个人均对应有唯一的身份信息,一般情况下身份信息指的是人脸ID。也就是说,在活体识别结果为活体时,对身份信息进行人脸识别,从而提高识别效率;且不需要用户过多配合。第二人脸信息也包括人脸尺寸信息、身份信息以及人脸框信息等。第一人脸信息和第二人脸信息的区别在于第一人脸信息是基于可见光图像得到,而第二人脸信息是基于红外光图像得到。
匹配策略指的是利用匹配条件和重合度阈值来对可见光图像和红外光图像进行人脸匹配,得到可见光图像中的第一人脸信息和对应的红外光图像中的第二人脸信息。第一次确认是否当前的人脸是否为活体,粗略的过滤照片、视频、面具等形式的非活体,提高检测的准确度和检测效率。再对匹配成功的第一人脸信息和第二人脸信息进行活体识别。一般情况下上述的人脸识别在预设帧数阈值内只识别一次,能够有效避免重复识别。
通过上述步骤,实现了基于获取的可见光图像和红外光图像即可快速和准确的识别人脸,不需要用户过多配合,适用于安检口或考勤口这种公共场合。
图3是根据本申请实施例的双目活体的人脸识别方法的优选流程图,如图3所示,该双目活体的人脸识别方法,包括如下步骤:
步骤S210,获取第一摄像装置的可见光图像,同时获取第二摄像装置的红外光图像;
步骤S250,在同时获取第二摄像装置的红外光图像之后,将可见光图像中的第一时间戳与红外光图像中的第二时间戳进行比较;
若第一时间戳比第二时间戳小,则重新获取下一帧第一摄像装置的可见光图像,直至第一时间戳和第二时间戳相等,则匹配成功;
若第一时间戳比第二时间戳大,则重新获取下一帧第二摄像装置的红外光图像,直至第一时间戳和第二时间戳相等,则匹配成功;
步骤S220,按预设匹配策略对可见光图像和红外光图像进行人脸匹配,得到可见光图像中的第一人脸信息和对应的红外光图像中的第二人脸信息;
步骤S230,对匹配成功的第一人脸信息和第二人脸信息进行活体识别;
步骤S240,在活体识别结果为活体时,对可见光图像中的第一人脸信息进行人脸识别。
虽然是同时获取第一摄像装置的可见光图像和第二摄像装置的红外光图像,但是由于是两个摄像装置获取的,两个摄像装置之间可能会存在的误差,会导致可见光图像和红外光图像的时间戳不同。为了降低人脸匹配的误差,提高识别的准确率,利用时间戳保障可见光图像和红外光图像在时间上的一致性。每个从视频中按帧获取的图像(可见光图像和红外光图像)均带有时间戳,将可见光图像中的第一时间戳与红外光图像中的第二时间戳进行比较,丢弃第一时间戳和第二时间戳中时间戳较小的图像(可见光图像和或外光图像),并重新获取对应视频中下一帧图像,再继续判断当前帧的时间戳是否相等,直到当前的可见光图像的第一时间戳和当前的红外光图像的第二时间戳相同。比如:将可见光图像中的第一时间戳与红外光图像中的第二时间戳进行比较,若第一时间戳比第二时间戳大,则重新获取下一帧第二摄像装置的红外光图像,将当前帧的可见光图像的第一时间戳与下一帧的红外光图像的第二时间戳进行比较,直到两则(第一时间戳和第二时间戳)相同,则完成匹配;否者继续上述步骤的比较。一般来说,如果超过该预设帧数阈值还是没有比较到相同的时间戳,则重新获取第一摄像装置的可见光图像,同时获取第二摄像装置的红外光图像。
在其中一个实施例中,可以采用双目活体算法对匹配成功的第一人脸信息和第二人脸信息进行活体识别。具体的过程为,利用双目活体算法对所述第一人脸信息进行非活体置信度计算,得到第一非活体置信度;利用双目活体算法对所述第二人脸信息进行非活体置信度计算,得到第二非活体置信度;根据所述第一非活体置信度、所述第二非活体置信度以及预设权重,确定目标非活体置信度,并判断目标非活体置信度是否满足预设非活体置信度阈值;若所述目标非活体置信度不满足预设非活体置信度阈值,则活体识别结果为活体;若所述目标非活体置信度满足预设非活体置信度阈值,则活体识别结果为非活体。这里的活体算法可以是基于深度学习框架的大数据分类活体算法、基于人脸特征点的识别算法以及基于整幅人脸图像的识别算法等,对于具体的活体算法并不进行限制。在本实施例中,先分别计算第一人脸信息和第二人脸信息的非活体置信度,再根据预设的权重,确定目标非活体置信度。最后,将计算的目标非活体置信度和预设非活体置信度阈值进行判断,确定活体识别结果为活体或非活体。
举例说明:预设的权重为第一人脸信息计算的第一非活体置信度占50%;第二人脸信息计算的第二非活体置信度占50%;那么目标非活体置信度=50%*第一非活体置信度+50%*第二非活体置信度。预设非活体置信度阈值为90%;也就是说若目标非活体置信度大于90%,则目标非活体置信度满足预设非活体置信度阈值,则活体识别结果为非活体。若目标非活体置信度小于或等于90%,则目标非活体置信度不满足预设非活体置信度阈值,则活体识别结果为活体。在其他实施例中,预设非活体置信度阈值和权重可以根据实际情况进行调整,对此并不进行限制。
在其中一个实施例中,为了适用于人脸闸机、人脸考勤机等场景,在短时间内不再重复识别人脸结果,设置匹配条件。
具体的,步骤S220,包括以下步骤;
步骤S221,从可见光图像中筛选出符合预设匹配条件的第一人脸信息;
步骤S222,根据第一人脸信息和预设重合度阈值从红外光图像中筛选出第二人脸信息。
首先,对于第一人脸信息的筛选,可以是:从可见光图像中筛选出具有最大人脸尺寸的第一人脸信息,且第一人脸信息符合预设尺寸条件;并判断在预设帧数阈值内第一人脸信息中的身份信息是否已经被识别;若身份信息未被识别,则第一人脸信息符合预设匹配条件。
在本实施例中,第一人脸信息包括不限于尺寸信息、身份信息以及人脸框信息。在将可见光图像中具有最大人脸尺寸的第一人脸信息,且第一人脸信息比预设尺寸条件大。预设帧数阈值为3帧,在视频帧率12帧/s情况下,0.3秒即可有结果。从预设帧数阈值中的可见光图像中筛选出具有最大人脸尺寸的第一人脸信息,判断该第一人脸信息是否符合预设尺寸条件;如果不符合,则回到步骤S210。预设尺寸条件包括宽度阈值和高度阈值,宽度阈值w为100像素,高度阈值h为100像素。尺寸条件可以根据实际场景调整,预设尺寸条件越小,识别速度越快,但是设置太小,会影响双目活体和识别的准确率。如果符合,则判断在预设帧数阈值内第一人脸信息中的身份信息是否已经被识别,如果已经被识别,则回到步骤S210。从而能够避免在短时间内重复开门。
其次,预设重合度阈值R为20%-100%;优选的,重合度阈值R为30%。在实际应用场景中,需根据可见光摄像头和红外摄像头之间的安装间距,调整重合度阈值R。将红外光图像中的第二人脸信息与第一人脸信息进行人脸框重合度比较,筛选出人脸框重合度大等于预设重合度阈值的第二人脸信息。如果筛选不出来,则判断为是非活体,则回到步骤S210。如果能够筛选出人脸框重合度大等于预设重合度阈值的第二人脸信息,就可以初步判断为是活体,则说明第一人脸信息符合预设匹配条件。
然后,将利用双目活体算法对匹配成功的第一人脸信息和第二人脸信息进行活体识别。如果识别结果为非活体,则回到步骤S210。如果识别结果为活体,则进行联动开门或考勤。这里的联动开门或考勤可以根据具体应用场景来确定。比如:在考勤场景中,如果识别结果为活体,则产生考勤信号,根据考勤信号进行打卡考勤。优选的,使用基于深度学习框架的大数据分类活体算法,能够提高识别的准确度和计算效率。
下面举例对申请在门禁场景中进行说明。
在门禁场景中安装双目摄像头(可见光摄像头和红外光摄像头)和人脸闸机,人脸闸机的预设帧数阈值一般设置N=3;在视频帧率12帧/s情况下,人脸出现0.3秒便可以输出识别结果。如果成功识别1次,该人脸的身份信息会被缓存下来,M=3秒内不再参与识别。设置的匹配条件为:预设尺寸条件为最小人脸宽度阈值w=100像素,最小人脸高度阈值h=100像素。重合度阈值R=30%。
具体过程如下,如图4所示:
步骤1,采用可见光摄像头采集第一视频,采用红外线摄像头采集第二视频。
步骤2,获取第一视频中的一帧可见光图像(以下简称白光),同时获取第二视频中的一帧红外光图像(以下简称红光),判断红白光图像的时间戳是否相等;如果不相等,则丢弃时间戳较小的帧,并重新获取该路下一帧图像,继续判断时间戳是否相等;如果时间戳相等,则继续执行步骤3。
步骤3,对可见光图像中的第一人脸信息进行检测和跟踪。
步骤4,每隔N帧,从可见光图像中筛选出具有最大人脸尺寸的第一人脸信息;第一人脸信息包括尺寸信息以及对应的身份信息。判断其尺寸信息(宽高)是否大于w*h。如果符合,再判断在M(3秒)内该身份信息是否已经被识别成功。如果识别成功过,则执行步骤2;如果没识别成功过,则继续执行步骤5。
步骤5,筛选红外光图像中的第二人脸信息,并找到与步骤4中获取的第一人脸信息框重合度不小于阈值R30%的第二人脸信息。如果找不到,则认为步骤4中获取的人脸是非活体,则执行步骤2;如果能找到则继续执行步骤6。
步骤6,匹配成功的第一人脸信息和第二人脸信息一起送入双目活体算法。如果算法输出的是非活体,则舍弃该人脸,执行步骤2;如果算法输出的是活体,则继续执行步骤7。
步骤7,提取可见光图像的身份信息并送去识别,如果识别失败,则舍弃该人脸,执行步骤2;如果识别成功,则继续执行步骤8。
步骤8,记录识别成功的身份信息,并联动开门或考勤。
在门禁场景中,需要安装的人脸闸机识别过程准确并迅速,识别成功则开门;且单个人脸一旦识别成功,短时间内不需要再上报识别结果。本申请具有快速和准确识别人脸的特点,特别适用于人脸闸机、人脸考勤机等场景。在人脸识别成功后,短时间内不再上报相同人脸的识别结果,同时,还可以防止使用照片、面具等假人脸开门或考勤的情况。
需要说明的是,在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本实施例还提供了一种双目活体的人脸识别装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
图5是根据本申请实施例的双目活体的人脸识别装置的结构框图,如图5所示,该装置包括获取模块210、匹配模块220、活体检测模块230以及人脸识别模块240;
获取模块210,用于获取第一摄像装置的可见光图像,同时获取第二摄像装置的红外光图像;
匹配模块220,用于按预设匹配策略对可见光图像和红外光图像进行人脸匹配,得到可见光图像中的第一人脸信息和对应的红外光图像中的第二人脸信息;
活体检测模块230,用于对匹配成功的第一人脸信息和第二人脸信息进行活体识别;
人脸识别模块240,用于在活体识别结果为活体时,对可见光图像中的第一人脸信息进行人脸识别。
本申请解决了需要用户配合动作,且耗时较长,不适用于安检口或考勤口这种公共场合的问题,实现了基于获取的可见光图像和红外光图像即可快速和准确的识别人脸,不需要用户过多配合,适用于安检口或考勤口这种公共场合。
在其中一个实施例中,匹配模块220,还用于:从可见光图像中筛选出符合预设匹配条件的第一人脸信息;
根据第一人脸信息和预设重合度阈值从红外光图像中筛选出第二人脸信息。
在其中一个实施例中,在图5的基础上,还包括采集模块;采集模块,用于利用第一摄像装置采集第一视频,利用第二摄像装置采集第二视频。
在其中一个实施例中,在图5的基础上,还包括联动模块;联动模块,还用于在对可见光图像中的第一人脸信息进行人脸识别之后,根据人脸识别结果进行联动开门或考勤。
需要说明的是,上述各个模块可以是功能模块也可以是程序模块,既可以通过软件来实现,也可以通过硬件来实现。对于通过硬件来实现的模块而言,上述各个模块可以位于同一处理器中;或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
本实施例还提供了一种电子装置,包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地,上述电子装置还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
S1,获取第一摄像装置的可见光图像,同时获取第二摄像装置的红外光图像;
S2,按预设匹配策略对可见光图像和红外光图像进行人脸匹配,得到可见光图像中的第一人脸信息和对应的红外光图像中的第二人脸信息;
S3,对匹配成功的第一人脸信息和第二人脸信息进行活体识别;
S4,在活体识别结果为活体时,对可见光图像中的第一人脸信息进行人脸识别。
需要说明的是,本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例,本实施例在此不再赘述。
另外,结合上述实施例中的双目活体的人脸识别方法,本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序;该计算机程序被处理器执行时实现上述实施例中的任意一种双目活体的人脸识别方法。
本领域的技术人员应该明白,以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (11)
1.一种双目活体的人脸识别方法,其特征在于,包括:
获取第一摄像装置的可见光图像,同时获取第二摄像装置的红外光图像;
按预设匹配策略对所述可见光图像和所述红外光图像进行人脸匹配,得到所述可见光图像中的第一人脸信息和对应的所述红外光图像中的第二人脸信息;
对匹配成功的所述第一人脸信息和所述第二人脸信息进行活体识别;
在活体识别结果为活体时,对所述可见光图像中的第一人脸信息进行人脸识别。
2.根据权利要求1所述的双目活体的人脸识别方法,其特征在于,还包括:
在同时获取第二摄像装置的红外光图像之后,将所述可见光图像中的第一时间戳与所述红外光图像中的第二时间戳进行比较;
若第一时间戳比所述第二时间戳小,则重新获取下一帧所述第一摄像装置的所述可见光图像,直至所述第一时间戳和第二时间戳相等,则匹配成功;
若第一时间戳比所述第二时间戳大,则重新获取下一帧所述第二摄像装置的所述红外光图像,直至所述第一时间戳和第二时间戳相等,则匹配成功。
3.根据权利要求1所述的双目活体的人脸识别方法,其特征在于,还包括:
利用第一摄像装置采集第一视频,利用第二摄像装置采集第二视频。
4.根据权利要求1-3任意一项所述的双目活体的人脸识别方法,其特征在于,所述按预设匹配策略对所述第一人脸信息和所述第二人脸信息进行人脸匹配,得到所述可见光图像中的第一人脸信息和对应的所述红外光图像中的第二人脸信息,包括:
从所述可见光图像中筛选出符合预设匹配条件的第一人脸信息;
根据所述第一人脸信息和预设重合度阈值从所述红外光图像中筛选出第二人脸信息。
5.根据权利要求4所述的双目活体的人脸识别方法,其特征在于,所述从所述可见光图像中筛选出符合预设匹配条件的第一人脸信息,包括:
从所述可见光图像中筛选出具有最大人脸尺寸的第一人脸信息,且所述第一人脸信息符合预设尺寸条件;
并判断在预设帧数阈值内所述第一人脸信息中的身份信息是否已经被识别;
若所述身份信息未被识别,则所述第一人脸信息符合预设匹配条件。
6.根据权利要求4所述的双目活体的人脸识别方法,其特征在于,所述根据所述第一人脸信息和预设重合度阈值从所述红外光图像中筛选出所述第二人脸信息,包括:
将所述红外光图像中的第二人脸信息与所述第一人脸信息进行人脸框重合度比较,筛选出人脸框重合度大等于预设重合度阈值的所述第二人脸信息。
7.根据权利要求4所述的双目活体的人脸识别方法,其特征在于,所述对匹配成功的所述第一人脸信息和所述第二人脸信息进行活体识别,包括:
利用双目活体算法对所述第一人脸信息进行非活体置信度计算,得到第一非活体置信度;
利用双目活体算法对所述第二人脸信息进行非活体置信度计算,得到第二非活体置信度;
根据所述第一非活体置信度、所述第二非活体置信度以及预设权重,确定目标非活体置信度,并判断目标非活体置信度是否满足预设非活体置信度阈值;
若所述目标非活体置信度不满足预设非活体置信度阈值,则活体识别结果为活体;
若所述目标非活体置信度满足预设非活体置信度阈值,则活体识别结果为非活体。
8.根据权利要求1所述的双目活体的人脸识别方法,其特征在于,还包括:
在对所述可见光图像中的第一人脸信息进行人脸识别之后,根据人脸识别结果进行联动开门或考勤。
9.一种双目活体的人脸识别装置,其特征在于,包括获取模块、匹配模块、活体检测模块以及人脸识别模块;
所述获取模块,用于获取第一摄像装置的可见光图像,同时获取第二摄像装置的红外光图像;
所述匹配模块,用于按预设匹配策略对所述可见光图像和所述红外光图像进行人脸匹配,得到所述可见光图像中的第一人脸信息和对应的所述红外光图像中的第二人脸信息;
所述活体检测模块,用于对匹配成功的所述第一人脸信息和所述第二人脸信息进行活体识别;
所述人脸识别模块,用于在活体识别结果为活体时,对所述可见光图像中的第一人脸信息进行人脸识别。
10.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行权利要求1至8中任一项所述的双目活体的人脸识别方法。
11.一种存储介质,其特征在于,所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行权利要求1至8中任一项所述的双目活体的人脸识别方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110857710.6A CN113657198A (zh) | 2021-07-28 | 2021-07-28 | 双目活体的人脸识别方法、装置、电子装置和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110857710.6A CN113657198A (zh) | 2021-07-28 | 2021-07-28 | 双目活体的人脸识别方法、装置、电子装置和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113657198A true CN113657198A (zh) | 2021-11-16 |
Family
ID=78490760
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110857710.6A Pending CN113657198A (zh) | 2021-07-28 | 2021-07-28 | 双目活体的人脸识别方法、装置、电子装置和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113657198A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116895094A (zh) * | 2023-09-11 | 2023-10-17 | 杭州魔点科技有限公司 | 一种基于双目融合的暗环境成像方法、系统、装置及介质 |
CN117994865A (zh) * | 2024-04-01 | 2024-05-07 | 杭州海康威视数字技术股份有限公司 | 一种双目面部匹配方法、装置、电子设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110008878A (zh) * | 2019-03-27 | 2019-07-12 | 中控智慧科技股份有限公司 | 一种人脸检测的防假方法及具备防假功能的人脸识别装置 |
CN110059644A (zh) * | 2019-04-23 | 2019-07-26 | 杭州智趣智能信息技术有限公司 | 一种基于人脸图像的活体检测方法、系统及相关组件 |
CN110276301A (zh) * | 2019-06-24 | 2019-09-24 | 泰康保险集团股份有限公司 | 人脸识别方法、装置、介质及电子设备 |
CN110956114A (zh) * | 2019-11-25 | 2020-04-03 | 展讯通信(上海)有限公司 | 人脸活体检测方法、装置、检测系统及存储介质 |
CN111063079A (zh) * | 2019-11-27 | 2020-04-24 | 深圳云天励飞技术有限公司 | 一种基于门禁系统的双目活体人脸检测方法及装置 |
-
2021
- 2021-07-28 CN CN202110857710.6A patent/CN113657198A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110008878A (zh) * | 2019-03-27 | 2019-07-12 | 中控智慧科技股份有限公司 | 一种人脸检测的防假方法及具备防假功能的人脸识别装置 |
CN110059644A (zh) * | 2019-04-23 | 2019-07-26 | 杭州智趣智能信息技术有限公司 | 一种基于人脸图像的活体检测方法、系统及相关组件 |
CN110276301A (zh) * | 2019-06-24 | 2019-09-24 | 泰康保险集团股份有限公司 | 人脸识别方法、装置、介质及电子设备 |
CN110956114A (zh) * | 2019-11-25 | 2020-04-03 | 展讯通信(上海)有限公司 | 人脸活体检测方法、装置、检测系统及存储介质 |
CN111063079A (zh) * | 2019-11-27 | 2020-04-24 | 深圳云天励飞技术有限公司 | 一种基于门禁系统的双目活体人脸检测方法及装置 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116895094A (zh) * | 2023-09-11 | 2023-10-17 | 杭州魔点科技有限公司 | 一种基于双目融合的暗环境成像方法、系统、装置及介质 |
CN116895094B (zh) * | 2023-09-11 | 2024-01-30 | 杭州魔点科技有限公司 | 一种基于双目融合的暗环境成像方法、系统、装置及介质 |
CN117994865A (zh) * | 2024-04-01 | 2024-05-07 | 杭州海康威视数字技术股份有限公司 | 一种双目面部匹配方法、装置、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10922529B2 (en) | Human face authentication method and apparatus, and storage medium | |
WO2019242330A1 (zh) | 一种监控方法、识别方法、相关装置及系统 | |
WO2022052475A1 (zh) | 拍摄处理方法和装置、设备、存储介质、程序产品 | |
CN110287776B (zh) | 一种人脸识别的方法、装置以及计算机可读存储介质 | |
CN111160202B (zh) | 基于ar设备的身份核验方法、装置、设备及存储介质 | |
TWI721786B (zh) | 人臉校驗方法、裝置、伺服器及可讀儲存媒介 | |
CN113657198A (zh) | 双目活体的人脸识别方法、装置、电子装置和存储介质 | |
CN110348331B (zh) | 人脸识别方法及电子设备 | |
CN111161206A (zh) | 一种图像抓拍方法、监控相机及监控系统 | |
CN108108711B (zh) | 人脸布控方法、电子设备及存储介质 | |
CN109068060B (zh) | 图像处理方法和装置、终端设备、计算机可读存储介质 | |
CN111914762A (zh) | 基于步态信息的身份识别方法及装置 | |
CN114387548A (zh) | 视频及活体检测方法、系统、设备、存储介质及程序产品 | |
CN107578372B (zh) | 图像处理方法、装置、计算机可读存储介质和电子设备 | |
CN113837006B (zh) | 一种人脸识别方法、装置、存储介质及电子设备 | |
CN113469135A (zh) | 对象身份信息的确定方法、装置、存储介质及电子装置 | |
CN111091089B (zh) | 一种人脸图像处理方法、装置、电子设备及存储介质 | |
CN113657154A (zh) | 活体检测方法、装置、电子装置和存储介质 | |
CN110688926B (zh) | 主体检测方法和装置、电子设备、计算机可读存储介质 | |
CN107770446B (zh) | 图像处理方法、装置、计算机可读存储介质和电子设备 | |
CN112990156B (zh) | 基于视频的最优目标捕捉方法、装置及相关设备 | |
CN111291586B (zh) | 活体检测方法、装置、电子设备及计算机可读存储介质 | |
CN110334663A (zh) | 基于图像的年龄识别方法及装置、存储介质与终端 | |
CN113516089B (zh) | 人脸图像识别方法、装置、设备及可读存储介质 | |
CN110705352A (zh) | 基于深度学习的指纹图像检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |