CN115100730A - 虹膜活体检测模型的训练方法、虹膜活体检测方法及装置 - Google Patents
虹膜活体检测模型的训练方法、虹膜活体检测方法及装置 Download PDFInfo
- Publication number
- CN115100730A CN115100730A CN202210856732.5A CN202210856732A CN115100730A CN 115100730 A CN115100730 A CN 115100730A CN 202210856732 A CN202210856732 A CN 202210856732A CN 115100730 A CN115100730 A CN 115100730A
- Authority
- CN
- China
- Prior art keywords
- iris
- training
- task
- sample
- living body
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/197—Matching; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Medical Informatics (AREA)
- Ophthalmology & Optometry (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明提供了一种虹膜活体检测模型的训练方法、虹膜活体检测方法及装置,所述训练方法将虹膜训练样本输入到卷积神经网络进行训练,得到虹膜活体检测模型。其中,每个虹膜训练样本均为包括多个视频帧的视频序列,该多个视频帧通常记录有一些细微动作和细微特征,因此结合该虹膜训练样本和卷积神经网络算法训练得到的虹膜活体检测模型,能够捕捉待检测虹膜视频帧序列中的这些细微动作和细微特征,如虹膜的纹理特征、瞳孔的收缩与扩张、空间位置特征等,并基于这些细微动作和细微特征,判断待检测虹膜视频序列中的虹膜是否为活体虹膜,可以提高虹膜检测的精度和可靠性,且对提升虹膜识别设备的安全性能具有重要意义。
Description
技术领域
本发明涉及虹膜检测技术领域,尤其涉及一种虹膜活体检测模型的训练方法、虹膜活体检测方法及装置。
背景技术
目前针对虹膜视频流活体检测方法主要采用单帧判断策略,这种策略对多种设备采集的虹膜和在应对高清照片打印、水墨屏幕照片显示以及虹膜视频回放攻击时,误检和漏检的概率很高。
发明内容
本发明提供了一种虹膜活体检测模型的训练方法、虹膜活体检测方法、装置、电子设备及存储介质,可以提高虹膜检测的精度和可靠性。
第一方面,本发明实施例提供了一种虹膜活体检测模型的训练方法,包括:
获取虹膜训练样本;每个所述虹膜训练样本包括多个虹膜视频帧;
将所述虹膜训练样本输入到卷积神经网络进行训练,得到虹膜活体检测模型。
可选地,所述获取虹膜训练样本,包括:
获取虹膜视频序列数据;
若所述虹膜视频序列数据中不存在预设动作,则每隔T帧获取一帧数据,获取N个视频帧作为所述虹膜训练样本;
若所述虹膜视频序列数据中存在预设动作,则以检测到一个所述预设动作的结束时间为起始时间点,每隔P帧获取一帧数据,获取N个视频帧作为所述虹膜训练样本;
其中,所述预设动作包括如下一项或多项:眨眼动作、或闭眼动作。
可选地,所述虹膜训练样本包括:第一类假体虹膜样本、第二类假体虹膜样本和活体虹膜样本。
可选地,所述将所述虹膜训练样本输入到卷积神经网络进行训练,得到虹膜活体检测模型,包括:
将所述虹膜训练样本输入到所述卷积神经网络中,执行第一任务得到第一类假体虹膜和活体虹膜的第一分类结果;
将所述虹膜训练样本输入到所述卷积神经网络中,执行第二任务得到第二类假体虹膜和活体虹膜的第二分类结果;
根据所述第一分类结果和所述第二分类结果训练所述虹膜活体检测模型。
可选地,该方法还包括:
将所述第一类假体虹膜样本的标签设置为第一二值图像和第一数值,将所述活体虹膜样本的标签设置为第二二值图像和第二数值,将所述第二类假体虹膜样本的标签设置为所述第一二值图像和第三数值;其中,所述第一二值图像与所述第二二值图像不同,所述第一数值与所述第二数值不同,所述第二数值与所述第三数值不同。
可选地,所述根据所述第一分类结果和所述第二分类结果训练所述虹膜活体检测模型,包括:
根据如下损失函数,计算第一损失值;
可选地,若先执行第一任务,再根据第一任务的执行结果确定是否再执行第二任务,则所述损失函数为:
式中,Lsum为所述第一损失值,L1为所述第一任务的损失值,L2为所述第二任务的损失值,S1表示执行第一任务时得到的所述虹膜训练样本中的虹膜为所述活体虹膜的概率,T1表示概率阈值;
类似地,若先执行第二任务,再根据第二任务的执行结果确定是否执行第一任务,则所述损失函数可以为:
式中,Lsum为所述第一损失值,L1为所述第一任务的损失值,L2为所述第二任务的损失值,S2表示执行所述第二任务时得到的所述虹膜训练样本中的虹膜为所述活体虹膜的概率,T2表示另一概率阈值。
可选地,若所述第一任务和所述第二任务并行执行,则所述损失函数可以为:
式中,Lsum为所述第一损失值,L1为所述第一任务的损失值,L2为所述第二任务的损失值,S1表示执行第一任务时得到的所述虹膜训练样本中的虹膜为所述活体虹膜的概率,T1表示概率阈值。
或者,若所述第一任务和所述第二任务并行执行,则所述损失函数还可以为:
式中,Lsum为所述第一损失值,L1为所述第一任务的损失值,L2为所述第二任务的损失值,S2表示执行第二任务时得到的所述虹膜训练样本中的虹膜为所述活体虹膜的概率,T2表示另一概率阈值。
需要说明的是,上述2个概率阈值T1和T2可以相等,也可以不相等,本发明实施例不予限制。
根据所述第一损失值,训练所述虹膜活体检测模型。
第二方面,本发明实施例提供了一种虹膜活体检测方法,包括:
获取待检测虹膜视频序列;所述待检测虹膜视频序列包括多个虹膜视频帧;
将所述待检测虹膜视频序列输入虹膜活体检测模型,以确定所述待检测虹膜视频序列中的虹膜为活体虹膜。
第三方面,本发明实施例提供了一种虹膜活体检测模型的训练装置,包括:
获取模块,用于获取虹膜训练样本;每个所述虹膜训练样本包括多个虹膜视频帧;
训练模块,用于将所述虹膜训练样本输入到卷积神经网络进行训练,得到虹膜活体检测模型。
第四方面,本发明实施例提供了一种虹膜活体检测装置,包括:
获取模块,用于获取待检测虹膜视频序列;所述待检测虹膜视频序列包括多个虹膜视频帧;
检测模块,用于将所述待检测虹膜视频序列输入虹膜活体检测模型,以确定所述待检测虹膜视频序列中的虹膜为活体虹膜。
第五方面,本发明的实施例提供了一种电子设备,包括存储器和处理器,所述存储器上存储有计算机程序,所述处理器执行所述程序时实现如第一方面或第二方面中任一实现方式所述的方法。
第六方面,本发明的实施例提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如第一方面或第二方面中任一实现方式所述的方法。
有益效果
本发明提供了一种虹膜活体检测模型的训练方法、虹膜活体检测方法、装置、电子设备及存储介质,所述训练方法首先获取虹膜训练样本;每个所述虹膜训练样本包括多个虹膜视频帧;然后将所述虹膜训练样本输入到卷积神经网络进行训练,得到虹膜活体检测模型。其中,每个虹膜训练样本包括的多个视频帧通常记录有一些细微动作和细微特征,因此结合该虹膜训练样本和卷积神经网络算法训练得到的虹膜活体检测模型,能够捕捉待检测虹膜视频帧序列中的这些细微动作和细微特征,如虹膜的纹理特征、瞳孔的收缩与扩张、空间位置特征等,并基于这些细微动作和细微特征,判断待检测虹膜视频序列中的虹膜是否为活体虹膜,从而提高虹膜检测的精度和可靠性,对提升虹膜识别设备的安全性能具有重要意义。
应当理解,发明内容部分中所描述的内容并非旨在限定本发明的实施例的关键或重要特征,亦非用于限制本发明的范围。本发明的其它特征将通过以下的描述变得容易理解。
附图说明
结合附图并参考以下详细说明,本发明各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中,相同或相似的附图标记表示相同或相似的元素。
图1示出了本发明实施例的一种虹膜活体检测模型的训练方法的流程图;
图2示出了本发明实施例的一种虹膜活体检测模型的训练方法的算法整体框架示意图;
图3示出了本发明实施例的一种虹膜活体检测模型的训练方法的算法整体框架示意图中注意力机制模块的流程图;
图4示出了本发明实施例的一种虹膜活体检测方法的流程图;
图5示出了本发明实施例的一种虹膜活体检测模型的训练装置的结构示意图;
图6示出了本发明实施例的一种虹膜活体检测装置的结构示意图;
图7示出了本发明实施例的一种电子设备的结构图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书一个或多个实施例中的技术方案,下面将结合本说明书一个或多个实施例中的附图,对本说明书一个或多个实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本说明书的一部分实施例,而不是全部的实施例。基于本说明书一个或多个实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都应当属于本文件的保护范围。
需要说明的是,本发明实施例描述的仅仅是为了更加清楚的说明本发明实施例的技术方案,并不构成对本发明实施例提供的技术方案的限定。
图1示出了本发明实施例的一种虹膜活体检测模型的训练方法的流程图;如图1所示,所述训练方法包括:
S101、获取虹膜训练样本;每个所述虹膜训练样本包括多个虹膜视频帧。
可选地,S101、获取虹膜训练样本,可以包括:
基于下述两种采集策略采集多个视频帧,并将采集的多个视频帧作为虹膜训练样本。
第一种采集策略为:针对视频中没有预设动作的数据,每隔T帧获取一帧数据,共获得N个视频帧;
第二种采集策略为:若视频中存在预设动作,则在预设动作结束时,以这一时间点为起始点,每隔P帧获取一帧数据,同样获得N个视频帧,其中P小于T。
其中,所述预设动作可以包括如下一项或多项:眨眼动作、或闭眼动作。所述预设动作通过关键点检测工具来判断。
示例性地,T为20,P为10,N为100。
数据采集过程中,两种采集策略根据视频内容选择使用,每N个视频帧作为一组,可以在采集到所需组数的数据时结束。其中,虹膜训练样本中的视频帧可以是连续的也可以是不连续的。
上述两种采样策略可以单独实施,也可以结合实施。下面具体说明。
在使用第一种采集策略采样时,若一直没有出现预设动作,则可以一直使用第一种策略采集直至视频结束;若出现一个预设动作,则采用第二种采集策略进行采集。
在使用第二种采集策略采集时,若一直没有出现另一个预设动作,则在采样到N个视频帧后,采用第一种采集策略进行采集。
这样一来,可以以预设动作为分界点,在第一种采集策略和第二种采集策略之间灵活切换,且可以避免采集到预设动作发生过程中的视频帧,能够确保每次采集到的N个视频帧都包含有虹膜,从而提高虹膜训练样本的质量和训练效率。
可选地,所述虹膜训练样本包括:第一类假体虹膜样本、第二类假体虹膜样本和活体虹膜样本。
可选地,第一类假体虹膜样本中可以包括如下一项或多项:打印虹膜、照片虹膜、屏幕显示虹膜、或视频回放虹膜。其中,打印虹膜,是指将包含虹膜的图像或图片打印在纸质或其他打印材料上所呈现出来的虹膜;照片虹膜,是指以纸质照片形式呈现出来的虹膜,屏幕显示虹膜是指将虹膜图像在电子设备的显示屏时呈现出来的虹膜,视频回放虹膜是指将录制好的视频回放过程中所呈现出来的虹膜。
第二类假体虹膜样本中包括如下一项或多项:义眼、或美瞳。
可选地,该方法还可以包括:将所述第一类假体虹膜样本的标签设置为第一二值图像和第一数值,将所述活体虹膜样本的标签设置为第二二值图像和第二数值,将所述第二类假体虹膜样本的标签设置为所述第一二值图像和第三数值。其中,所述第一二值图像与所述第二二值图像不同,所述第一数值与所述第二数值不同,所述第二数值与所述第三数值不同。
本发明实施例中,二值图像是指图像中所有像素的像素值全为0或全为1。其中,像素值为0表示像素点为黑色,像素值为1表示像素点为白色。例如,第一二值图像的像素值全为1,第二二值图像的像素值全为0。或者,第一二值图像的像素值全为0,第二二值图像的像素值全为1。
示例性地,第一数值可以为0,第二数值可以为255,第三数值可以为128。
需要说明的是,第一数值和第三数值可以相同,也可以不同,本发明实施例不予限制。
S102、将所述虹膜训练样本输入到卷积神经网络进行训练,得到虹膜活体检测模型。
可选地,在将所述虹膜训练样本输入到卷积神经网络进行训练前,可以对所述虹膜训练样本进行标准化处理,具体包括:
对所述虹膜训练样本进行预处理,所述预处理包括如下一项或多项:剪裁、拼接、翻转、或归一化;
设定二值图像标签的大小,使二值图像标签的大小与输入的虹膜图像的大小成倍数关系,且该倍数与虹膜图像在之后的下采样操作的倍数相等。这样一来,虹膜图像经下采样之后的图像的大小与二值图像标签的大小相等,便于进行比较,从而提高训练效率。
例如,输入的虹膜图像大小为640*480像素,二值图像标签的大小为40*30像素,虹膜图像的大小为二值图像标签大小的16倍,下采样的倍数也为16倍。其中,虹膜图像的大小与二值图像标签的大小的倍数关系并不仅限于16倍。
示例性地,标准化处理中的样本处理可以包括:
将N个视频帧裁剪为固定尺寸的图像,每个视频帧都包含有虹膜;其中,剪裁后的N个视频帧大小为640*480像素,但不仅限于为640*480像素;
然后,对裁剪后的N个视频帧按时间顺序进行拼接,对拼接后的N个视频帧做翻转、归一化等操作,得到一张通道数为N,宽为640像素,高为480像素的图像,但是并不仅限于通道数为N,宽为640像素,高为480像素。
示例性地,标准化处理中的标签处理可以包括:
将第一二值图像和第二二值图像的大小设定为固定大小,将第二二值图像的像素值全设为0,第一二值图像的像素值全设为1,其中,所述固定大小为40*30像素,但是并不仅限于40*30像素;上述的标准化处理也并不仅限于本实施例中的描述。
示例性地,第一类假体虹膜样本中的多个虹膜视频帧所记录的空间位置特征,与活体虹膜样本中的多个虹膜视频帧所记录的空间位置特征不同。例如,第一类假体虹膜样本中的多个虹膜视频帧记录的空间位置特征通常是二维的,缺乏深度信息,而活体虹膜样本中的多个虹膜视频帧记录的空间位置特征通常是三维的,是具备深度信息的。因此,可以依据空间位置特征来区分训练样本中的虹膜是第一类假体虹膜还是活体虹膜。
示例性地,第二类假体虹膜样本中的虹膜纹理与活体虹膜样本中的虹膜纹理不同。例如,第二类假体虹膜样本中的虹膜可能没有纹理,或者为人造纹理。其中,人造纹理是指第二类假体的生产商在制造过程中以美观为目的人为设计、制造的纹理,因此,人造纹理与活体虹膜的纹理(生理纹理)通常存在较大区别。因此,可以依据虹膜纹理来区分第二类假体虹膜和活体虹膜。
进一步地,第二类假体中的美瞳是有瞳孔的收缩和扩张动作的,义眼是没有瞳孔的收缩和扩张动作的,可以考虑有无瞳孔的收缩和扩张动作,进一步提高第二类假体虹膜和活体虹膜的识别精度。
可选地,训练虹膜活体检测模型,具体包括:
将所述虹膜训练样本输入到N个下采样层中进行处理,得到N个第一特征图,其中,N的取值可以根据实际需要确定,本发明实施例不予限制;
将前N-1个第一特征图分别输入到N-1个注意力机制模块中进行特征提取,得到N-1个第二特征图;
将最后一个第一特征图和该N-1个第二特征图进行拼接,得到第三特征图;
根据所述第三特征图执行所述第一任务,得到第一类假体虹膜和活体虹膜的第一分类结果。所述第一分类结果表示所述虹膜训练样本中的虹膜是第一类假体虹膜还是活体虹膜。
根据所述第三特征图执行所述第二任务,得到第二类假体虹膜和活体虹膜的第二分类结果。所述第二分类结果表示所述虹膜训练样本中的虹膜是第二类假体虹膜还是活体虹膜。
可选地,第一任务和第二任务可以串行执行,如先执行第一任务初步确定所述虹膜训练样本中的虹膜为活体虹膜,然后再执行第二任务进一步地确定所述虹膜训练样本中的虹膜为活体虹膜,从而可以确定所述虹膜训练样本中的虹膜为活体虹膜。需要说明的是,若第一分类结果为所述虹膜训练样本中的虹膜为第一类假体虹膜,则不再需要执行第二任务。
此外,本发明实施例对于第一任务和第二任务的执行顺序不做限定,也可以先执行第二任务再执行第一任务。
可选地,第一任务和第二任务也可以并行执行,如分别执行第一任务和第二任务处理虹膜训练样本。若第一任务输出分类结果为活体虹膜,且第二任务输出的分类结果也为活体虹膜,则可以确定所述虹膜训练样本中的虹膜为活体虹膜。
可选地,所述根据所述第一分类结果和所述第二分类结果训练所述虹膜活体检测模型,包括:
根据如下损失函数,计算第一损失值。
可选地,若先执行第一任务,再根据第一任务的执行结果确定是否执行第二任务,则所述损失函数可以为:
式中,Lsum为所述第一损失值,L1为所述第一任务的损失值,L2为所述第二任务的损失值,S1表示执行所述第一任务时得到的所述虹膜训练样本中的虹膜为所述活体虹膜的概率,T1表示概率阈值。
需要说明的是,当( S1-T1≥0)时更新所述第一任务和所述第二任务的权重,当(S1-T1<0)时只更新所述第一任务的权重。
L1为第一任务的损失值,包括两部分:第一部分为二值图像标签构成的辅助监督损失,可以根据第三特征图和二值图像标签,使用smooth L1损失函数或均方误差(meansquared error,MSE)损失函数计算得到;第二部分可以根据第一任务中得到的第一类假体虹膜和活体虹膜的概率以及设置的数值标签(第一数值、第二数值),使用交叉熵损失函数计算得到。
L2为第二任务的损失值,可以根据第二任务中得到的第二类假体虹膜和活体虹膜的概率以及设置的数值标签(第二数值、第三数值),使用交叉熵损失函数计算得到。
本实施例中的损失函数并不仅限于使用smooth L1损失函数、均方误差损失函数和交叉熵损失函数。
类似地,若先执行第二任务,再根据第二任务的执行结果确定是否执行第一任务,则所述损失函数可以为:
式中,Lsum为所述第一损失值,L1为所述第一任务的损失值,L2为所述第二任务的损失值,S2表示执行第二任务时得到的所述虹膜训练样本中的虹膜为所述活体虹膜的概率,T2表示另一概率阈值。
需要说明的是,当( S2-T2≥0)时更新所述第一任务和所述第二任务的权重,当(S2-T2<0)时只更新所述第二任务的权重。
可选地,若所述第一任务和所述第二任务并行执行,则所述损失函数可以为:
式中,Lsum为所述第一损失值,L1为所述第一任务的损失值,L2为所述第二任务的损失值,S1表示执行第一任务时得到的所述虹膜训练样本中的虹膜为所述活体虹膜的概率,T1表示概率阈值。
需要说明的是,所述第一任务和所述第二任务并行执行时计算所述第一损失值也可以判断S1和T1的大小,当( S1-T1≥0)则更新所述第一任务和所述第二任务的权重,当(S1-T1<0)则只更新所述第一任务的权重。
或者,若所述第一任务和所述第二任务并行执行,则所述损失函数还可以为:
式中,Lsum为所述第一损失值,L1为所述第一任务的损失值,L2为所述第二任务的损失值,S2表示执行第二任务时得到的所述虹膜训练样本中的虹膜为所述活体虹膜的概率,T2表示另一概率阈值。
需要说明的是,所述第一任务和所述第二任务并行执行时计算所述第一损失值还可以判断S2和T2的大小,当( S2-T2≥0)则更新所述第一任务和所述第二任务的权重,当(S2-T2<0)则只更新所述第二任务的权重。
还需要说明的是,上述2个概率阈值T1和T2可以相等,也可以不相等,本发明实施例不予限制。
当满足训练结束条件时结束训练。
其中,训练结束条件可以包括:所述第一损失值小于或等于损失阈值,和/或,训练次数达到次数阈值。
根据所述第一损失值,训练所述虹膜活体检测模型。
下面结合图2和图3所示的虹膜活体检测模型的算法架构,详细说明本发明实施例提供的虹膜活体检测模型的训练方法的具体实现。
图2示出了本发明实施例的一种虹膜活体检测模型的训练方法的算法整体框架示意图。
如图2所示,虹膜训练样本从输入层输入,再经过多个残差卷积层和多个下采样层得到第三特征图,再执行第一任务和第二任务处理第三特征图,得到第一分类结果和第二分类结果。所述第一分类结果为:虹膜训练样本中的虹膜为第一类假体虹膜或虹膜训练样本中的虹膜为活体虹膜;所述第二分类结果为:虹膜训练样本中的虹膜为第二类假体虹膜或虹膜训练样本中的虹膜为活体虹膜。
请继续参考图2,以卷积神经网络包含4个下采样层为例,可以包括如下步骤:
将所述虹膜训练样本输入到串行连接的4个下采样层,依次得到4个第一特征图,其中,每个下采样层都可进行2倍下采样;
将前3个第一特征图各输入一个注意力机制模块中进行特征提取,得到3个第二特征图,其中,前3个第一特征图对应的3注意力机制模块可以分别对前3个第一特征图进行8倍、4倍、2倍的下采样,如此,经过注意力机制模块得到的3个第二特征图的大小与第4个第一特征图相等,方便执行下一步的拼接操作;
将第4个第一特征图和3个第二特征图进行拼接,得到第三特征图;
执行所述第一任务来处理所述第三特征图,得到第一分类结果。
执行所述第二任务来处理所述第三特征图,得到第二分类结果。
在上述步骤中,下采样操作可以由步长为2的卷积层实现,每个下采样层之后还有多个残差卷积层,所述残差卷积层可根据实际情况进行增加或减少,同时后一个下采样层输出通道数要比上一个多,可以根据硬件或需求进行试验。除最后一个下采样层,每一个下采样层的输出在经过残差卷积层处理之后各经过一个注意力机制模块处理,得到尺寸为固定大小的多个第二特征图。其中,第二特征图的大小为40*30像素,但并不仅限于40*30像素。
图3示出了图2中的注意力机制模块的算法结构。如图3所示:在注意力机制模块中,每一个下采样层输出的特征图分别经过两次最大池化,其中一个取负号,然后对其进行拼接;再经过一个1*1的卷积,最后将采样后的特征图进行点积操作,输出第三特征图;其中,卷积层并不仅限于是1*1的卷积。
可选地,在执行卷积神经网络中的第一任务时,第三特征图经过一个1*1的卷积来改变特征图的通道,然后经过一个平均池化层,再经过两个全连接(fully connected,FC)层,得到虹膜训练样本中的虹膜为活体虹膜的概率和虹膜训练样本中的虹膜为第一类假体虹膜的概率,并选择这2个概率数值较大的分类结果作为第一分类结果。其中,第三特征图并不仅限于经过1*1的卷积来改变特征图的通道;第一类假体虹膜包括如下一项或多项:打印虹膜、照片虹膜、屏幕显示虹膜、或视频回放虹膜。
可选地,在执行卷积神经网络中的第二任务时,第三特征图经过一个3*3的卷积来对特征进行增强,然后经过一个平均池化层和一个全连接层,得到活体虹膜和第二类假体虹膜的概率,并选择这2个概率数值较大的分类结果作为第二分类结果。其中,第三特征图并不仅限于经过一个3*3的卷积来对特征进行增强,第二类假体虹膜包括如下一项或多项:义眼、或美瞳。
本发明实施例提供了一种虹膜活体检测模型的训练方法,所述训练方法首先获取虹膜训练样本;每个所述虹膜训练样本包括多个虹膜视频帧;然后将所述虹膜训练样本输入到卷积神经网络进行训练,得到虹膜活体检测模型。其中,每个虹膜训练样本包括的多个视频帧通常记录有一些细微动作和细微特征,因此结合该虹膜训练样本和卷积神经网络算法训练得到的虹膜活体检测模型,能够捕捉待检测虹膜视频帧序列中的这些细微动作和细微特征,如虹膜的纹理特征、瞳孔的收缩与扩张、空间位置特征等,并基于这些细微动作和细微特征,判断待检测虹膜视频序列中的虹膜是否为活体虹膜,可以提高虹膜检测的精度和可靠性,且对提升虹膜识别设备的安全性能具有重要意义。
以上结合图1-图3详细说明了本发明实施例提供的虹膜活体检测模型的训练方法。以下结合图4详细说明本发明实施例提供的虹膜活体检测方法。
图4示出了本发明实施例的一种虹膜活体检测方法的流程图。如图4所示,所述检测方法包括:
S401、获取待检测虹膜视频序列;所述待检测虹膜视频序列包括多个虹膜视频帧。
可选地,待检测虹膜视频序列的获取方式可以参考虹膜活体检测模型的训练方法的步骤S101中的虹膜训练样本的获取方式,此处不再赘述。
S402、将所述待检测虹膜视频序列输入虹膜活体检测模型,以确定所述待检测虹膜视频序列中的虹膜为活体虹膜。
可选地,本实施例中使用的虹膜活体检测模型是虹膜活体检测模型的训练方法中得到的,有关虹膜活体检测模型的介绍此处不再赘述。
一些实施例中,当所述虹膜活体检测模型中的第一任务和第二任务是串行执行时:
若输入的待检测虹膜视频序列中的虹膜实际为第一类假体虹膜时,先执行第一任务确定所述待检测虹膜视频序列中的虹膜为第一类假体虹膜,此时不再执行第二任务;最终检测结果为所述待检测虹膜视频序列不是活体虹膜。
若输入的待检测虹膜视频序列中的虹膜实际为第二类假体虹膜时,执行第一任务可以确定所述待检测虹膜视频序列中的虹膜不是第一类假体虹膜,然后执行第二任务可以进一步地去确定所述待检测虹膜视频序列中的虹膜为第二类假体虹膜;最终检测结果为所述待检测虹膜视频序列中的虹膜不是活体虹膜。
若输入的待检测虹膜视频序列中的虹膜实际为活体虹膜时,执行第一任务可以确定所述待检测虹膜视频序列中的虹膜不是第一类假体虹膜,然后执行第二任务可以进一步地去确定所述待检测虹膜视频序列中的虹膜也不是第二类假体虹膜;最终检测结果为所述待检测虹膜视频序列中的虹膜是活体虹膜。
需要说明的是,第一任务和第二任务的执行顺序并不做限定,也可以是先执行第二任务再执行第一任务。
另一些实施例中,所述虹膜活体检测模型中的第一任务和第二任务也可以是并行的。
例如,可以分别执行第一任务和第二任务来处理所述待检测虹膜视频序列,当第一任务输出的分类结果为所述待检测虹膜视频序列中的虹膜不是第一类假体虹膜,且第二任务输出的分类结果为所述待检测虹膜视频序列中的虹膜不是第二类假体虹膜时,则可以确定所述待检测虹膜视频序列中的虹膜为活体虹膜。反之,则确定所述待检测虹膜视频序列中的虹膜不是活体虹膜。
本发明实施例提供了一种虹膜活体检测方法,所述检测方法通过获取待检测虹膜视频序列;所述待检测虹膜视频序列包括多个虹膜视频帧;再将所述待检测虹膜视频序列输入虹膜活体检测模型,以确定所述待检测虹膜视频序列中的虹膜为活体虹膜。本实施例使用的虹膜活体检测模型是根据虹膜活体检测模型的训练方法训练得到,能够捕捉所述待检测虹膜视频帧序列中的一些细微动作和细微特征,如虹膜的纹理特征、瞳孔的收缩与扩张、空间位置特征等,并且所述待检测虹膜视频序列中也包含这些细微动作和细微特征,因此所述虹膜活体检测模型能够判断所述待检测虹膜视频序列中的虹膜是否为活体虹膜,从而提高虹膜检测的精度和可靠性,对提升虹膜识别设备的安全性能具有重要意义。
以下结合图5详细说明本申请实施例提供的可以执行上述虹膜活体检测模型的训练方法的装置。
示例性地,图5示出了本发明实施例的一种虹膜活体检测模型的训练装置的结构示意图;如图5所示,所述训练装置50包括:
获取模块501,用于获取虹膜训练样本;每个所述虹膜训练样本包括多个虹膜视频帧;
训练模块502,用于将所述虹膜训练样本输入到卷积神经网络进行训练,得到虹膜活体检测模型。
可选地,所述获取模块501,还可以用于获取虹膜视频序列数据,若所述虹膜视频序列数据中不存在预设动作,则每隔T帧获取一帧数据,获取N个视频帧作为虹膜训练样本;若所述虹膜视频序列数据中存在预设动作,则以检测到一个所述预设动作的结束时间为起始时间点,每隔P帧获取一帧数据,获取N个视频帧作为虹膜训练样本。
其中,所述预设动作包括如下一项或多项:眨眼动作、或闭眼动作。
可选地,所述虹膜训练样本包括:第一类假体虹膜样本、第二类假体虹膜样本和活体虹膜样本。
可选地,所述训练装置50还包括:生成模块(所述生成模块在图5中未示出),用于将所述第一类假体虹膜样本的标签设置为第一二值图像和第一数值,将所述活体虹膜样本的标签设置为第二二值图像和第二数值,将所述第二类假体虹膜样本的标签设置为所述第一二值图像和第三数值;其中,所述第一二值图像与所述第二二值图像不同,所述第一数值与所述第二数值不同,所述第二数值与所述第三数值不同。
可选地,所述训练模块502还可以用于将所述虹膜训练样本输入到所述卷积神经网络中,执行第一任务得到第一类假体虹膜和活体虹膜的第一分类结果;将所述虹膜训练样本输入到所述卷积神经网络中,执行第二任务得到第二类假体虹膜和活体虹膜的第二分类结果;再根据所述第一分类结果和所述第二分类结果训练所述虹膜活体检测模型。
以下结合图6详细说明本申请实施例提供的可以执行上述虹膜活体检测方法的装置。
示例性地,图6为本发明实施例的一种虹膜活体检测装置的结构示意图。如图6所示,所述检测装置60包括:
获取模块601,用于获取待检测虹膜视频序列;所述待检测虹膜视频序列包括多个虹膜视频帧;
检测模块602,用于将所述待检测虹膜视频序列输入虹膜活体检测模型,以确定所述待检测虹膜视频序列中的虹膜为活体虹膜。
可选地,所述获取模块601还可以用于获取虹膜视频序列数据,若所述虹膜视频序列数据中不存在预设动作,则每隔T帧获取一帧数据,获取N个视频帧作为虹膜训练样本;若所述虹膜视频序列数据中存在预设动作,则以检测到一个所述预设动作的结束时间为起始时间点,每隔P帧获取一帧数据,获取N个视频帧作为虹膜训练样本。
可选地,所述检测模块602还可以利用虹膜活体检测模型确定所述待检测虹膜视频序列中的虹膜为活体虹膜,具体步骤可以参考虹膜活体检测方法中步骤S402,此处不再赘述。
本发明实施例还提供了一种计算机电子设备,图7示出了可以应用本发明实施例的电子设备的结构示意图,如图7所示,该计算机电子设备包括,中央处理模块(CPU)701,其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中,还存储有系统操作所需的各种程序和数据。CPU 701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
以下部件连接至I/O接口705:包括键盘、鼠标等的输入部分706;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707;包括硬盘等的存储部分708;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711,诸如磁盘、光盘、磁光盘、半导体存储器等,根据需要安装在驱动器710上,以便于从其上读出的计算机程序根据需要被安装入存储部分708。
附图中的流程图和框图,图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块或模块可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的模块或模块也可以设置在处理器中,例如,可以描述为:一种处理器包括获取模块501和训练模块502,其中,这些模块的名称在某种情况下并不构成对该模块本身的限定,例如,训练模块502还可以被描述为“将所述虹膜训练样本输入到卷积神经网络进行训练,得到虹膜活体检测模型的训练模块502”。
作为另一方面,本发明还提供了一种计算机可读存储介质,该计算机可读存储介质可以是上述实施例中所述一种虹膜活体检测模型的训练装置中所包含的计算机可读存储介质;也可以是单独存在,未装配入电子设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序,所述程序被一个或者一个以上的处理器用来执行描述于本发明的一种虹膜活体检测模型的训练方法或一种虹膜活体检测方法。
以上描述仅为本发明的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本发明中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离所述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本发明中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (10)
1.一种虹膜活体检测模型的训练方法,其特征在于,包括:
获取虹膜训练样本;每个所述虹膜训练样本包括多个虹膜视频帧;
将所述虹膜训练样本输入到卷积神经网络进行训练,得到虹膜活体检测模型。
2.根据权利要求1所述的训练方法,其特征在于,所述获取虹膜训练样本,包括:
获取虹膜视频序列数据;
若所述虹膜视频序列数据中不存在预设动作,则每隔T帧获取一帧数据,获取N个视频帧作为所述虹膜训练样本;
若所述虹膜视频序列数据中存在预设动作,则以检测到一个所述预设动作的结束时间为起始时间点,每隔P帧获取一帧数据,获取N个视频帧作为所述虹膜训练样本;
其中,所述预设动作包括如下一项或多项:眨眼动作、或闭眼动作。
3.根据权利要求1所述的训练方法,其特征在于,所述虹膜训练样本包括:第一类假体虹膜样本、第二类假体虹膜样本和活体虹膜样本。
4.根据权利要求1-3任一项所述的训练方法,其特征在于,所述将所述虹膜训练样本输入到卷积神经网络进行训练,得到虹膜活体检测模型,包括:
将所述虹膜训练样本输入到所述卷积神经网络中,执行第一任务得到第一类假体虹膜和活体虹膜的第一分类结果;
将所述虹膜训练样本输入到所述卷积神经网络中,执行第二任务得到第二类假体虹膜和活体虹膜的第二分类结果;
根据所述第一分类结果和所述第二分类结果训练所述虹膜活体检测模型。
5.根据权利要求4所述的训练方法,其特征在于,还包括:
将所述第一类假体虹膜样本的标签设置为第一二值图像和第一数值,将所述活体虹膜样本的标签设置为第二二值图像和第二数值,将所述第二类假体虹膜样本的标签设置为所述第一二值图像和第三数值;其中,所述第一二值图像与所述第二二值图像不同,所述第一数值与所述第二数值不同,所述第二数值与所述第三数值不同。
7.一种虹膜活体检测方法,其特征在于,包括:
获取待检测虹膜视频序列;所述待检测虹膜视频序列包括多个虹膜视频帧;
将所述待检测虹膜视频序列输入虹膜活体检测模型,以确定所述待检测虹膜视频序列中的虹膜为活体虹膜。
8.一种虹膜活体检测模型的训练装置,其特征在于,包括:
获取模块,用于获取虹膜训练样本;每个所述虹膜训练样本包括多个虹膜视频帧;
训练模块,用于将所述虹膜训练样本输入到卷积神经网络进行训练,得到虹膜活体检测模型。
9.一种电子设备,包括存储器和处理器,所述存储器上存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210856732.5A CN115100730B (zh) | 2022-07-21 | 2022-07-21 | 虹膜活体检测模型的训练方法、虹膜活体检测方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210856732.5A CN115100730B (zh) | 2022-07-21 | 2022-07-21 | 虹膜活体检测模型的训练方法、虹膜活体检测方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115100730A true CN115100730A (zh) | 2022-09-23 |
CN115100730B CN115100730B (zh) | 2023-08-08 |
Family
ID=83299110
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210856732.5A Active CN115100730B (zh) | 2022-07-21 | 2022-07-21 | 虹膜活体检测模型的训练方法、虹膜活体检测方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115100730B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108470170A (zh) * | 2018-07-25 | 2018-08-31 | 上海聚虹光电科技有限公司 | 美瞳检测方法 |
CN109409342A (zh) * | 2018-12-11 | 2019-03-01 | 北京万里红科技股份有限公司 | 一种基于轻量卷积神经网络的虹膜活体检测方法 |
CN110688951A (zh) * | 2019-09-26 | 2020-01-14 | 上海商汤智能科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
CN111611851A (zh) * | 2020-04-10 | 2020-09-01 | 北京中科虹霸科技有限公司 | 模型生成方法、虹膜检测方法及装置 |
CN112949353A (zh) * | 2019-12-10 | 2021-06-11 | 北京眼神智能科技有限公司 | 虹膜静默活体检测方法、装置、可读存储介质及设备 |
CN114299542A (zh) * | 2021-12-29 | 2022-04-08 | 北京航空航天大学 | 一种基于多尺度特征融合的视频行人重识别方法 |
CN114373218A (zh) * | 2022-03-21 | 2022-04-19 | 北京万里红科技有限公司 | 一种用于检测活体对象的卷积网络的生成方法 |
-
2022
- 2022-07-21 CN CN202210856732.5A patent/CN115100730B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108470170A (zh) * | 2018-07-25 | 2018-08-31 | 上海聚虹光电科技有限公司 | 美瞳检测方法 |
CN109409342A (zh) * | 2018-12-11 | 2019-03-01 | 北京万里红科技股份有限公司 | 一种基于轻量卷积神经网络的虹膜活体检测方法 |
CN110688951A (zh) * | 2019-09-26 | 2020-01-14 | 上海商汤智能科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
CN112949353A (zh) * | 2019-12-10 | 2021-06-11 | 北京眼神智能科技有限公司 | 虹膜静默活体检测方法、装置、可读存储介质及设备 |
CN111611851A (zh) * | 2020-04-10 | 2020-09-01 | 北京中科虹霸科技有限公司 | 模型生成方法、虹膜检测方法及装置 |
CN114299542A (zh) * | 2021-12-29 | 2022-04-08 | 北京航空航天大学 | 一种基于多尺度特征融合的视频行人重识别方法 |
CN114373218A (zh) * | 2022-03-21 | 2022-04-19 | 北京万里红科技有限公司 | 一种用于检测活体对象的卷积网络的生成方法 |
Non-Patent Citations (5)
Title |
---|
CAIYONG WANG等: "Towards complete and accurate Iris Segmentation Using deep Multi-Task Attention Network for Non-Cooperative Iris Recognition", 《IEEE TRANSACTIONS ON INFORMATION FORENSICS AND SECURITY》, pages 1 - 16 * |
HE ZHANG等: "Local Attention and Global Representation collaborating for fine-grained classification", 《2020 25TH INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION(ICPR)》 * |
HE ZHANG等: "Local Attention and Global Representation collaborating for fine-grained classification", 《2020 25TH INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION(ICPR)》, 5 May 2021 (2021-05-05), pages 1 - 8 * |
MEILING FANG等: "Iris Presentation Attack Detection by attention-based and Deep Pixel-wise Binary Supervision Network", 《HTTPS://ARXIV.ORG/ABS/2106.14845》 * |
MEILING FANG等: "Iris Presentation Attack Detection by attention-based and Deep Pixel-wise Binary Supervision Network", 《HTTPS://ARXIV.ORG/ABS/2106.14845》, 28 June 2021 (2021-06-28), pages 3 * |
Also Published As
Publication number | Publication date |
---|---|
CN115100730B (zh) | 2023-08-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3916627A1 (en) | Living body detection method based on facial recognition, and electronic device and storage medium | |
CN111639692B (zh) | 一种基于注意力机制的阴影检测方法 | |
WO2021164534A1 (zh) | 图像处理方法、装置、设备及存储介质 | |
CN111681273B (zh) | 图像分割方法、装置、电子设备及可读存储介质 | |
CN111091109B (zh) | 基于人脸图像进行年龄和性别预测的方法、系统和设备 | |
WO2023137914A1 (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN113011253B (zh) | 基于ResNeXt网络的人脸表情识别方法、装置、设备及存储介质 | |
CN112330613B (zh) | 一种细胞病理数字图像质量的评价方法及系统 | |
CN113436162A (zh) | 一种水下机器人液压油管道表面焊缝缺陷识别方法及装置 | |
CN113781468A (zh) | 一种基于轻量级卷积神经网络的舌图像分割方法 | |
CN112766028B (zh) | 人脸模糊处理方法、装置、电子设备及存储介质 | |
CN115115540A (zh) | 基于光照信息引导的无监督低光图像增强方法及装置 | |
WO2020087434A1 (zh) | 一种人脸图像清晰度评价方法及装置 | |
CN113450275A (zh) | 基于元学习的画质增强系统及方法、存储介质 | |
CN117132503A (zh) | 一种图像局部高亮区域修复方法、系统、设备及存储介质 | |
CN111881803A (zh) | 一种基于改进YOLOv3的畜脸识别方法 | |
CN114821194B (zh) | 一种设备运行状态识别方法及装置 | |
CN115100730A (zh) | 虹膜活体检测模型的训练方法、虹膜活体检测方法及装置 | |
CN111931689B (zh) | 一种在线提取视频卫星数据鉴别特征的方法 | |
CN112446292B (zh) | 一种2d图像显著目标检测方法及系统 | |
CN110189272B (zh) | 用于处理图像的方法、装置、设备和存储介质 | |
CN114882449B (zh) | 一种基于Car-Det网络模型的车辆检测方法及装置 | |
CN116433674B (zh) | 半导体硅晶圆检测方法、装置、计算机设备及介质 | |
WO2024099026A1 (zh) | 图像处理方法、装置、设备、存储介质及程序产品 | |
CN117058678A (zh) | 商标识别方法、计算机可读存储介质及计算机设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |