CN116152934A - 生物特征识别方法和系统、识别模型的训练方法和系统 - Google Patents
生物特征识别方法和系统、识别模型的训练方法和系统 Download PDFInfo
- Publication number
- CN116152934A CN116152934A CN202310126978.1A CN202310126978A CN116152934A CN 116152934 A CN116152934 A CN 116152934A CN 202310126978 A CN202310126978 A CN 202310126978A CN 116152934 A CN116152934 A CN 116152934A
- Authority
- CN
- China
- Prior art keywords
- target
- training
- image
- broad spectrum
- monochromatic light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/40—Spoof detection, e.g. liveness detection
- G06V40/45—Detection of the body part being alive
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本说明书提供的生物特征识别方法和系统,获得目标对象的广谱光图像,并确定广谱光图像对应的初始识别结果。基于初始识别结果,确定并执行目标方案,所述目标方案是多个方案中的一个,所述多个方案包括方案一:基于广谱光图像预测对所述目标对象进行生物特征识别所对应的最佳单色光;获得所述目标对象在所述最佳单色光下的目标单色光图像,基于所述广谱光图像和所述目标单色光图像,确定所述目标对象的目标识别结果。如此,利用广谱光图像确定目标对象的最佳单色光,从而结合广谱光图像与最佳单色光下的目标单色光图像完成对生物特征的准确识别,不需要用户做多种配合的动作,提高用户体验。
Description
技术领域
本说明书涉及数据处理领域,尤其涉及一种生物特征识别方法和系统、识别模型的训练方法和系统。
背景技术
生物特征识别系统,比如人脸识别系统,近年来得到广泛的应用,在诸如刷脸支付、刷脸进站、刷脸考勤等场景都取得了成功。为了保证人脸识别的安全性,通常需要用户配合做一系列动作,如摆正面部、向左转头、向右转头等,以拍摄用户的正面脸、左侧脸和右侧脸等。活体识别作为人脸识别系统的重要一环,通常也是交互式的活体识别方法,这种方法通过视频、语音提示用户配合完成一系列动作,如眨眨眼、张张嘴、摇摇头等动作,然后根据用户的动作完成度检测用户是活体还是攻击。可见,生物特征识别(如人脸识别)需要用户配合完成一系列动作,而完成动作的耗时较长,这会导致用户的体验感变差。因此,需要一种无需用户做多种动作配合也能成功识别生物特征的方法。
发明内容
本说明书提供的生物特征识别方法和系统,基于广谱光图像确定目标对象的最佳单色光,从而结合广谱光图像与最佳单色光下的目标单色光图像完成对人脸的准确识别,不需要用户做多种配合的动作,提高用户体验。
第一方面,本说明书提供一种生物特征识别方法,包括:获得目标对象的广谱光图像,并确定所述广谱光图像对应的初始识别结果;以及基于所述初始识别结果,确定并执行目标方案,完成对所述目标对象的生物特征的识别并输出目标识别结果,所述目标方案是多个方案中的一个,所述多个方案包括方案一:基于所述广谱光图像预测对所述目标对象进行生物特征识别所对应的最佳单色光,所述目标对象在所述最佳单色光下的生物特征识别准确率高于在非最佳单色光下的所述生物特征识别准确率,获得所述目标对象在所述最佳单色光下的目标单色光图像,以及基于所述广谱光图像和所述目标单色光图像,确定所述目标对象的所述目标识别结果。
在一些实施例中,所述确定所述广谱光图像所对应的初始识别结果包括:对所述广谱光图像进行区域分割,得到目标对象的多个部位图像;分别对所述多个部位图像中的每个部位图像进行特征提取,得到多个部位特征;将所述多个部位特征进行融合,得到第一融合特征;以及基于所述第一融合特征,确定所述初始识别结果。
在一些实施例中,所述基于所述广谱光图像预测所述目标对象进行生物特征识别所对应的最佳单色光包括:将所述多个部位特征和所述第一融合特征输入单色光预测模型中进行预测,输出所述最佳单色光。
在一些实施例中,所述获得所述目标对象在所述最佳单色光下的目标单色光图像包括:向图像采集装置发送指示信号,所述指示信号指示所述图像采集装置在所述最佳单色光下拍摄所述目标对象;以及获得所述目标对象的所述目标单色光图像。
在一些实施例中,所述基于所述广谱光图像和所述目标单色光图像,确定所述目标对象的所述目标识别结果包括:对所述广谱光图像进行特征编码,得到所述生物特征的广谱光特征图;对所述目标单色光图像进行特征编码,得到所述生物特征的单色光特征图;将所述广谱光特征图和所述单色光特征图进行融合,得到第二融合特征;以及基于所述第二融合特征,确定所述目标识别结果。
在一些实施例中,所述基于所述初始识别结果,确定并执行目标方案包括:确定所述初始识别结果为活体;以及执行所述方案一。
在一些实施例中,所述多个方案至少包括方案二,所述方案二包括:所述目标识别结果为所述初始识别结果。
在一些实施例中,所述基于所述初始识别结果,确定并执行目标方案包括:确定所述初始识别结果为攻击;以及执行所述方案二。
由以上技术方案可知,本说明书提供的生物特征识别方法和系统,获得目标对象的广谱光图像,并确定所述广谱光图像对应的初始识别结果。基于初始识别结果,确定并执行目标方案,完成对所述目标对象的生物特征识别并输出目标识别结果。所述目标方案是多个方案中的一个,所述多个方案包括方案一:基于所述广谱光图像预测对所述目标对象进行生物特征识别所对应的最佳单色光,所述目标对象在所述最佳单色光下的生物特征识别准确率高于在非最佳单色光下的生物特征识别准确率;获得所述目标对象在所述最佳单色光下的目标单色光图像,基于所述广谱光图像和所述目标单色光图像,确定所述目标对象的目标识别结果。如此,利用广谱光图像确定目标对象的最佳单色光,从而结合广谱光图像与最佳单色光下的目标单色光图像完成对生物特征的准确识别,不需要用户做多种配合的动作,提高用户体验。并且,相比于只基于广谱光图像做生物特征识别,本说明书将单色光图像与广谱光图像结合,使生物特征识别利用更多信息,进一步提高识别的准确率。
第二方面,本说明书还提供一种生物特征识别系统,包括图像采集装置;至少一个存储介质,存储有至少一组指令集用于进行生物特征识别;以及至少一个处理器,与所述至少一个存储器和所述图像采集装置通信连接,其中所述目标生物特征识别系统运行时,所述至少一个处理器通过执行所述至少要一组指令集,并根据所述至少一组指令集的指示:从所述图像采集装置接收目标对象的广谱光图像;确定所述广谱光图像所对应的初始识别结果;以及基于所述初始识别结果,确定并执行目标方案,完成对所述目标对象的目标生物特征识别并输出目标识别结果,所述目标方案是多个方案中的一个,所述多个方案包括方案一:基于所述广谱光图像预测对所述目标对象进行生物特征识别所对应的最佳单色光,所述目标对象在所述最佳单色光下的生物特征识别准确率高于在非最佳单色光下的所述生物特征识别准确率,获得从所述图像采集装置接收所述目标对象在所述目标滤光片下的目标单色光图像,以及基于所述广谱光图像和所述目标单色光图像,确定所述目标对象的所述目标识别结果。
在一些实施例中,所述图像采集装置包括图像拍摄装置和滤光装置,所述滤光装置包括至少一种单色滤光片,所述至少一个处理器根据所述至少一组指令集的指示:向所述图像采集装置发送指示信号;以及所述图像采集装置,被配置为:将所述至少一种单色滤光片中的目标滤光片设置在所述图像拍摄装置的成像光路上,并对所述目标对象进行拍摄,得到所述目标对象在所述目标滤光片下的目标单色光图像,所述目标滤光片是所述最佳单色光对应的单色滤光片,以及将所述目标单色光图像发送给所述至少一个处理器。
在一些实施例中,所述至少一种单色滤光片中不同的单色滤光片能够透射不同颜色的单色光。
在一些实施例中,所述滤光装置还包括滤光片驱动装置,被配置为运行时将所述至少一种单色滤光片中的一个设置在所述图像拍摄装置的成像光路上,所述至少一个处理器根据所述至少一组指令集的指示:从所述至少一种单色滤光片中确定所述最佳单色光对应的所述目标滤光片,并向所述滤光片驱动装置发送所述指示信号;以及所述滤光片驱动装置,被配置为接收所述指示信号,并将所述目标滤光片设置在所述成像光路上。
在一些实施例中,所述目标滤光片的入射面与所述图像拍摄装置的广谱光镜头的入射面平行。
本说明书提供的生物特征识别系统,包括图像采集装置、至少一个存储介质以及至少一个处理器。至少一个处理器从图像采集装置接收目标对象的广谱光图像,利用广谱光图像确定目标对象的最佳单色光,从而结合广谱光图像与最佳单色光下的目标单色光图像完成对生物特征的准确识别。并且,所述图像采集装置包括图像拍摄装置和滤光装置,所述滤光装置包括至少一种单色滤光片,通过将目标滤光片设置在所述图像拍摄装置的成像光路上,从而拍摄得到目标单色光图像。这样,通过引入各类单色滤光片,即在图像拍摄装置前安置可以切换的一种或多种不同的单色滤光片,实现在硬件层面上的低成本改造,通过低成本的硬件改造提升生物特征识别的性能。
第三方面,本说明书还提供一种生物特征识别模型的训练方法,包括:获得广谱光训练图和训练样本对,所述广谱光训练图包括训练对象,所述训练样本对包括同一个训练对象对应的广谱光训练图一和单色光训练图二;基于所述广谱光训练图对广谱光识别模型进行训练,输出图像特征和第一识别结果;从完成训练的所述广谱光识别模型中获得其输出的所述图像特征,将其作为图像特征训练图,并获得所述图像特征训练图对应的单色光标签;基于所述图像特征训练图和所述单色光标签,对单色光预测模型进行训练,输出为所述训练对象预测的单色光预测结果;以及基于所述训练样本对,对目标识别模型进行训练,输出第二识别结果。
在一些实施例中,所述广谱光识别模型包括:分割网络,被配置为对所述广谱光训练图进行区域分割,输出多个部位图像,每个部位图像对应所述训练对象的一个部位;多个部位特征提取网络,被配置为分别对所述多个部位图像进行特征提取和分类,输出多个部位特征及其对应的多个部位分类结果;以及第一融合网络,被配置为将所述多个部位特征进行特征融合,输出第一融合特征和所述第一识别结果,所述图像特征包括所述多个部位特征和所述第一融合特征。
在一些实施例中,所述对广谱光识别模型进行训练包括:以第一损失小于第一预设损失值为约束目标训练所述广谱光识别模型,所述第一损失包括:部位分类损失,所述部位分类损失基于所述多个部位分类结果确定,以及第一分类损失,所述第一分类损失基于所述第一识别结果确定。
在一些实施例中,所述对单色光预测模型进行训练包括:以第二损失小于第二预设损失值为约束目标训练所述单色光预测模型,所述第二损失基于所述单色光标签和所述单色光预测结果确定。
在一些实施例中,所述目标识别模型包括:广谱光编码网络,被配置为对所述广谱光训练图一进行特征提取和分类,输出广谱光特征和广谱光分类结果;单色光编码网络,被配置为对所述单色光训练图二进行特征提取和分类,输出单色光特征和单色光分类结果;以及第二融合网络,被配置为将所述广谱光特征和所述单色光特征进行特征融合,输出第二融合特征和所述第二识别结果。
在一些实施例中,所述对目标识别模型进行训练包括:以第三损失小于第三预设损失值为约束目标训练所述目标识别模型,所述第三损失包括:广谱光分类损失,所述广谱光分类损失基于所述广谱光分类结果确定,单色光分类损失,所述单色光分类损失基于所述单色光分类结果确定,以及第二分类损失,所述第二分类损失基于所述第二识别结果确定。
第四方面,本说明书还提供一种生物特征识别模型的训练系统,包括:至少一个存储介质,存储有至少一组指令集用于实现生物特征识别模型的训练;以及至少一个处理器,同所述至少一个存储介质通信连接,其中当所述生物特征识别模型的训练系统运行时,所述至少一个处理器读取所述至少一个指令集并实施第三方面的生物特征识别模型的训练方法。
本说明书提供的生物特征识别模型的训练方法和系统,所述生物特征识别模型包括广谱光识别模型、单色光预测模型和目标识别模型。获得广谱光训练图和训练样本对,基于广谱光训练图对广谱光识别模型进行训练,输出图像特征和第一识别结果。从完成训练的广谱光识别模型中获得其输出的所述图像特征,将其作为图像特征训练图,并获得图像特征训练图对应的单色光标签,基于图像特征训练图和单色光标签,对单色光预测模型进行训练,输出为所述训练对象预测的单色光预测结果。基于训练样本对,对目标识别模型进行训练,输出第二识别结果。通过这种训练方法训练得到的单色光预测模型在应用时能够为目标对象准确预测出最佳单色光,基于训练样本对训练得到的目标识别模型能够在应用时能够对目标对象的生物特征进行准确识别。
本说明书提供的生物特征识别方法、生物特征识别模型的训练方法和系统的其他功能将在以下说明中部分列出。根据描述,以下数字和示例介绍的内容将对那些本领域的普通技术人员显而易见。本说明书提供的生物特征识别方法、生物特征识别模型的训练方法和系统的创造性方面可以通过实践或使用下面详细示例中所述的方法、装置和组合得到充分解释。
附图说明
为了更清楚地说明本说明书实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本说明书的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了根据本说明书的一些实施例提供的一种生物特征识别系统的应用场景示意图;
图2示出了根据本说明书的一些实施例提供的一种计算设备的硬件结构图;
图3示出了根据本说明书的一些实施例提供的一种生物特征识别方法的流程图;
图4示出了根据本说明书的一些实施例提供的一种生物特征识别模型的训练方法的流程图;以及
图5示出了根据本说明书的一些实施例提供的一种基于单色滤光片系统的活体识别方法的示意图。
具体实施方式
以下描述提供了本说明书的特定应用场景和要求,目的是使本领域技术人员能够制造和使用本说明书中的内容。对于本领域技术人员来说,对所公开的实施例的各种局部修改是显而易见的,并且在不脱离本说明书的精神和范围的情况下,可以将这里定义的一般原理应用于其他实施例和应用。因此,本说明书不限于所示的实施例,而是与权利要求一致的最宽范围。
这里使用的术语仅用于描述特定示例实施例的目的,而不是限制性的。比如,除非上下文另有明确说明,这里所使用的,单数形式“一”,“一个”和“该”也可以包括复数形式。当在本说明书中使用时,术语“包括”、“包含”和/或“含有”意思是指所关联的整数,步骤、操作、元素和/或组件存在,但不排除一个或多个其他特征、整数、步骤、操作、元素、组件和/或组的存在或在该系统/方法中可以添加其他特征、整数、步骤、操作、元素、组件和/或组。
考虑到以下描述,本说明书的这些特征和其他特征、以及结构的相关元件的操作和功能、以及部件的组合和制造的经济性可以得到明显提高。参考附图,所有这些形成本说明书的一部分。然而,应该清楚地理解,附图仅用于说明和描述的目的,并不旨在限制本说明书的范围。还应理解,附图未按比例绘制。
本说明书中使用的流程图示出了根据本说明书中的一些实施例的系统实现的操作。应该清楚地理解,流程图的操作可以不按顺序实现。相反,操作可以以反转顺序或同时实现。此外,可以向流程图添加一个或多个其他操作。可以从流程图中移除一个或多个操作。
在对本说明书具体实施例说明之前,先对本说明书的应用场景进行如下介绍:
本说明提供的生物特征识别方法和生物特征识别模型的训练方法可以应用在需要识别生物特征的各个场景中。所述生物特征识别比如为人脸识别、指纹识别、瞳孔识别等等。在人脸识别的场景中,包括基于人脸的身份识别、基于人脸的活体识别、基于人脸的表情识别、基于人脸的支付意愿识别等等。在身份识别中,可以基于人脸图像判断正在识别的人脸的身份信息,比如,在刷脸门禁中,需要判断刷脸人的身份。在表情识别中,可以基于人脸图像判断正在识别的人脸上的表情,比如,根据APP使用人群的面部表情判断人群对APP的喜爱程度。在活体识别中,可以基于人脸图像检测正在识别的人脸是活体还是攻击,比如,在刷脸支付时,检测当前识别的对象是否是活体。在意愿识别中,可以基于人脸图像判断正在识别的人脸当前是否有识别意愿,比如,在商店排队刷脸支付时,为了避免错误使用他人的人脸支付,可以识别采集到的人脸的支付意愿。应当理解的是,本说明提供的生物特征识别方法和生物特征识别模型的训练方法还可以应用到其他场景中,而不限定于上述场景。为了便于描述,本说明书后续主要以基于人脸的活体识别场景为例进行说明。
为了方便描述,本说明书对以下描述将会出现的术语进行解释:
攻击/活体攻击:非活体,指针对识别系统呈现的攻击手段,包括手机屏幕显示的照片、打印的纸质照片、高精度面具、模具、假体等等。
活体识别:通常在人脸识别系统中,通过判断用户是活体还是攻击,来对攻击进行检测和拦截的算法技术。
图1示出了根据本说明书的一些实施例提供的一种生物特征识别系统001的应用场景示意图。所述生物特征系统001可以实现生物特征识别方法,也可以实现生物特征识别模型的训练方法。如图1所示,系统001可以包括目标对象100、客户端200、服务器300以及网络400。
目标对象100可以是任意一个使用客户端200进行生物特征识别的用户。
客户端200可以包括图像采集装置,用于采集目标对象100的图像,比如人脸图像、人体图像、瞳孔图像、指纹图像等等。当然,图像采集装置还可以采集目标对象的声音、行为、步态等等。
所述图像采集设备可以包括图像拍摄装置和滤光装置,滤光装置包括至少一种单色滤光片。图像拍摄装置可以拍摄目标对象的广谱光图像。图像拍摄装置包括广谱光镜头和图像传感器。广谱光镜头是透明的、不带任何颜色的镜头。所述广谱光镜头可以是RGB摄像头、3D结构光摄像头等。图像采集装置在日光环境下拍摄目标对象时,日光照射到目标对象上生成的反射光线穿过广谱光镜头,在图像传感器上形成目标对象的广谱光图像。图像采集装置在灯光环境下拍摄目标对象时,灯光照射到目标对象上生成的反射光线穿过广谱光镜头,在图像传感器上形成目标对象的广谱光图像。灯光的颜色可以是黄光、暖白色的光、白光、冷光等。所述广谱光可以称为可见光,可见光是指电磁波中人眼可以感知的部分,可见光的波段一般为380~700nm。广谱光图像是指图像拍摄装置在周围环境光(如日光、灯光)下、关闭滤光装置(即不加任何滤光片)所拍摄的图像,即周围环境光不经过任何颜色的滤光片而直接进入广谱光镜头。
每种单色滤光片能够透一种单色光,而将环境光中其他光谱的光都滤除掉。不同的单色滤光片能够透射不同颜色的单色光。比如,红色滤光片透射红色的光,绿色滤光片透射绿色的光,蓝色滤光片透射蓝色的光,黄色滤光片透射绿色的光等等。本说明书中的单色光可以是单一频率(或波长)的光,比如波长为0.6328微米的光,也可以是窄谱光,即波长范围很窄的光,比如,0.77~0.622微米范围内的红光。所述至少一种单色滤光片可以有红色滤光片、橙色滤光片、黄色滤光片、绿色滤光片、青色滤光片、蓝色滤光片、紫色滤光片,其他单色光的滤波片也在本说明书的保护范围内。每种单色滤光片的数量可以是一个或多个。如果一个单色滤光片透射出的单色光中仍然混杂着其他颜色的光,那么为了得到更纯净的单色光,每种单色滤光片的数量可以是设置多个,比如,两个、三个等。在一种可能的实施例中,若不同的单色滤光片的组合能够透射出一种新的单色光,那么,这种单色滤光片的组合也在本申请的保护范围内。
所述滤光装置还包括滤光片驱动装置。滤光片驱动装置可以与每种单色滤光片之间连接,比如物理连接。滤光片驱动装置可以控制单色滤光片的开启和关闭。所述开启是指滤光片驱动装置驱动单色滤光片置于图像拍摄装置的成像光路上,且单色滤光片的入射面与广谱光镜片的入射面平行,所述成像光路是指广谱光镜头的入射光线的光路。这样,光线先经过单色滤光片、再进入广谱光镜片,从而形成单色光图像。也即是,单色滤光片在开启时图像采集设备可以采集单色光图像。所述关闭是指滤光片驱动装置驱动单色滤光片不置于图像拍摄装置的成像光路上,比如单色滤光片从广谱光镜片之前移走。此时,光线不会穿过单色滤光片,图像采集装置可以拍摄广谱光图像。
所述单色滤光片可以安装在广谱光镜头的成像光路的旁边位置,而不阻挡光谱光镜头的成像光路,便于开启/关闭单色滤光片。在需要开启时,滤光片驱动装置驱动单色滤光片移动/运动到广谱光镜头之前;在需要关闭时,滤光片驱动装置驱动单色滤光片从广谱光镜头之前移走。
客户端200可以包括至少一个处理器。处理器可以向图像采集装置发送指示信号,来指示图像采集装置拍摄广谱光图像和/或单色光图像。比如,处理器可以向滤光片驱动装置发送开启红色滤光片的指示信号,从而滤光片驱动装置驱动红色滤光片开启,即将红色滤光片设置在图像拍摄装置的成像光路上。处理器实现生物特征识别的方法将在后续具体展开说明。
在一些实施例中,所述生物特征识别方法可以在客户端200上执行。此时,客户端200可以存储有执行本说明书描述的生物特征识别方法的数据或指令,并可以执行或用于执行所述数据或指令。在一些实施例中,客户端200可以包括具有数据信息处理功能的硬件设备和驱动该硬件设备工作所需必要的程序。如图1所示,客户端200可以与服务器300进行通信连接。在一些实施例中,所述生物特征识别方法可以部分在服务器300上执行,部分在客户端200上执行。此时,服务器300和客户端200上可以存储有执行本说明书描述的生物特征识别方法的数据或指令,并可以执行或用于执行所述数据或指令。在一些实施例中,服务器300和客户端200上可以包括具有数据信息处理功能的硬件设备和驱动该硬件设备工作所需必要的程序。如图1所示,客户端200可以与服务器300进行通信连接。在一些实施例中,服务器300可以与多个客户端200进行通信连接。在一些实施例中,客户端200可以通过网络400与服务器300交互,以接收或发送消息等,比如接收或发送人脸图像或标签信息。当然,所述生物特征识别方法也可以在服务器300上执行。
在一些实施例中,客户端200可以包括移动设备、平板电脑、笔记本电脑、机动车辆的内置设备或类似内容、支付宝的蜻蜓设备、售货机、售货柜,或其任意组合。在一些实施例中,所述移动设备可包括智能家居设备、智能移动设备、虚拟现实设备、增强现实设备或类似设备,或其任意组合。在一些实施例中,所述智能家居装置可包括智能电视、台式电脑等,或任意组合。在一些实施例中,所述智能移动设备可包括智能手机、个人数字辅助、游戏设备、导航设备等,或其任意组合。在一些实施例中,所述虚拟现实设备或增强现实设备可能包括虚拟现实头盔、虚拟现实眼镜、虚拟现实补丁、增强现实头盔、增强现实眼镜、增强现实补丁或类似内容,或其中的任何组合。例如,所述虚拟现实设备或所述增强现实设备可能包括谷歌眼镜、头戴式显示器、VR等。在一些实施例中,所述机动车中的内置装置可包括车载计算机、车载电视等。在一些实施例中,客户端200可以是具有定位技术的设备,用于定位客户端200的位置。
在一些实施例中,客户端200可以安装有一个或多个应用程序(APP)。所述APP能够为目标对象110提供通过网络400同外界交互的能力以及界面。所述APP包括但不限于:网页浏览器类APP程序、搜索类APP程序、聊天类APP程序、购物类APP程序、视频类APP程序、理财类APP程序、即时通信工具、邮箱客户端、社交平台软件等等。在一些实施例中,客户端200上可以安装有目标APP。所述目标APP能够为客户端200采集生物图像。在一些实施例中,所述目标APP还能对人脸图像进行识别。目标对象100可以通过所述目标APP触发生物特征识别请求。所述目标APP可以响应于所述生物特征识别请求,执行所述生物特征识别方法。
服务器300可以是提供各种服务的服务器,例如对客户端200上显示的页面提供支持的后台服务器。在一些实施例中,所述生物特征识别模型的训练方法可以在服务器300上执行。此时,服务器300上可以存储有执行本说明书描述的生物特征识别模型的训练方法的数据或指令,并可以执行或用于执行所述数据或指令。在一些实施例中,服务器300上可以包括具有数据信息处理功能的硬件设备和驱动该硬件设备工作所需必要的程序。在一些实施例中,所述生物特征识别模型的训练方法可以部分在服务器300上执行,部分在客户端200上执行。此时,服务器300和客户端200上可以存储有执行本说明书描述的生物特征识别模型的训练方法的数据或指令,并可以执行或用于执行所述数据或指令。在一些实施例中,服务器300和客户端200上可以包括具有数据信息处理功能的硬件设备和驱动该硬件设备工作所需必要的程序。当然,所述生物特征识别模型的训练方法也可以在客户端200上执行。
网络400用以在客户端200和服务器300之间提供通信连接的介质。网络400可以促进信息或数据的交换。如图1所示,客户端200和服务器300可以同网络400连接,并且通过网络400互相传输信息或数据。在一些实施例中,网络400可以是任何类型的有线或无线网络,也可以是其组合。比如,网络400可以包括电缆网络,有线网络、光纤网络、电信通信网络、内联网、互联网、局域网(LAN)、广域网(WAN)、无线局域网(WLAN)、大都市市区网(MAN)、广域网(WAN)、公用电话交换网(PSTN)、蓝牙网络、ZigBee网络、近场通信(NFC)网络或类似网络。在一些实施例中,网络400可以包括一个或多个网络接入点。例如,网络400可以包括有线或无线网络接入点,如基站或互联网交换点,通过该接入点,客户端200和服务器300的一个或多个组件可以连接到网络400以交换数据或信息。
应该理解,图1中的客户端200、服务器300和网络400的数目仅仅是示意性的。根据实现需要,可以具有任意数目的客户端200、服务器300和网络400。
图2示出了根据本说明书的一些实施例提供的一种计算设备600的硬件结构图。计算设备600可以执行本说明书描述的生物特征识别方法和/或生物特征识别模型的训练方法。所述生物特征识别方法和/或生物特征识别模型的训练方法在本说明书中的其他部分介绍。当所述生物特征识别方法和/或生物特征识别模型的训练方法在客户端200上执行时,计算设备600可以是客户端200。当所述生物特征识别方法和/或生物特征识别模型的训练方法在服务器300上执行时,计算设备600可以是服务器300。当所述生物特征识别方法和/或生物特征识别模型的训练方法可以部分在客户端200上执行,部分在服务器300上执行时,计算设备600可以是客户端200和服务器300。
如图2所示,计算设备600可以包括至少一个存储介质630和至少一个处理器620。在一些实施例中,计算设备600还可以包括通信端口650和内部通信总线610。同时,计算设备600还可以包括I/O组件660。
内部通信总线610可以连接不同的系统组件,包括存储介质630、处理器620和通信端口650。
I/O组件660支持计算设备600和其他组件之间的输入/输出。
通信端口650用于计算设备600同外界的数据通信,比如,通信端口650可以用于计算设备600同网络400之间的数据通信。通信端口650可以是有线通信端口也可以是无线通信端口。
存储介质630可以包括数据存储装置。所述数据存储装置可以是非暂时性存储介质,也可以是暂时性存储介质。比如,所述数据存储装置可以包括磁盘632、只读存储介质(ROM)634或随机存取存储介质(RAM)636中的一种或多种。存储介质630可以存储有至少一组指令集用于实现生物特征识别方法和/或生物特征识别模型的训练方法。所述指令是计算机程序代码,所述计算机程序代码可以包括执行本说明书提供的生物特征识别方法和/或生物特征识别模型的训练方法的程序、例程、对象、组件、数据结构、过程、模块等等。所述存储介质630可以存储有生物特征识别模型用于实现生物特征识别方法。所述模型可以是存储在所述存储介质630中的一个或者多个执行对应指令的指令集,并且由计算设备600中的处理器620来执行。在一些实施例中,所述模型也可以是计算设备600中的一部分电路、硬件设备或者模组。比如可见光识别模型可以是计算设备600中实现对可见光图像进行识别的硬件设备/模组,单色光预测模型可以是计算设备600中实现对单色光进行预测的硬件设备/模组,等等。
至少一个处理器620可以同至少一个存储介质630以及通信端口650通过内部通信总线610通信连接。至少一个处理器620用以执行上述至少一个指令集。当计算设备600运行时,至少一个处理器620可以读取所述至少一个指令集,并且根据所述至少一个指令集的指示,执行本说明书提供的生物特征识别方法和/或生物特征识别模型的训练方法。处理器620可以执行生物特征识别方法和/或生物特征识别模型的训练方法包含的所有步骤。处理器620可以是一个或多个处理器的形式,在一些实施例中,处理器620可以包括一个或多个硬件处理器,例如微控制器,微处理器,精简指令集计算机(RISC),专用集成电路(ASIC),特定于应用的指令集处理器(ASIP),中心处理单元(CPU),图形处理单元(GPU),物理处理单元(PPU),微控制器单元,数字信号处理器(DSP),现场可编程门阵列(FPGA),高级RISC机器(ARM),可编程逻辑器件(PLD),能够执行一个或多个功能的任何电路或处理器等,或其任何组合。仅仅为了说明问题,在本说明书中计算设备600中仅描述了一个处理器620。然而,应当注意,本说明书中计算设备600还可以包括多个处理器,因此,本说明书中披露的操作和/或方法步骤可以如本说明书所述的由一个处理器执行,也可以由多个处理器联合执行。例如,如果在本说明书中计算设备600的处理器620执行步骤A和步骤B,则应该理解,步骤A和步骤B也可以由两个不同处理器620联合或分开执行(例如,第一处理器执行步骤A,第二处理器执行步骤B,或者第一和第二处理器共同执行步骤A和B)。
图3示出了根据本说明书的一些实施例提供的一种生物特征识别方法P100的流程图。以客户端的处理器执行本说明书所述的生物特征识别方法P100为例进行如下描述。
如图3所示,所述方法P100可以包括:
S120:获得目标对象的广谱光图像,并确定所述广谱光图像对应的初始识别结果。
目标对象位于客户端前面时,客户端上的图像采集装置可以采集目标对象的广谱光图像。目标对象可以是真实用户,也可以是纸质照片、手机屏幕、面具等攻击。图像采集装置可以打开广谱光镜头对目标对象进行拍摄,从而,客户端的处理器可以从图像采集装置中获得目标对象的广谱光图像。此时,单色滤光片处于关闭状态。比如,滤光片驱动装置控制单色滤光片从广谱光镜头前移走,这样,避免影响对广谱光图像的采集。在基于人脸的识别中,所述广谱光图像中可以包括目标对象的人脸区域,还可以包括除人脸区域以外的背景区域。在基于指纹或瞳孔的其他生物特征识别中,所述广谱光图像中包括其他区域,如指纹区域、瞳孔区域等。
客户端获得广谱光图像后,可以确定广谱光图像对应的初始识别结果,比如通过广谱光识别模型获得所述初始识别结果。在一些实施例中,客户端可以对广谱光图像进行区域分割,得到多个部位图像。比如,客户端将广谱光图像输入至分割网络中进行区域分割,将人脸区域分割成眼睛、鼻子、嘴巴、耳朵、脸颊等多个部位区域,输出多个部位区域对应的多个部位图像,每个部位图像对应一个人脸部位。所述分割网络可以是Unet、HourGlass Net等。当然,还可以对指纹区域、瞳孔区域、人体区域等进行分割。客户端可以分别对多个部位图像进行特征提取,得到多个部位特征。比如,客户端将多个部位图像分别一一对应输入多个部位特征提取网络中进行特征提取,输出每个部位图像对应的部位特征图。所述多个部位特征提取网络可以N个ResNet18、N个DenseNet Transformer等。客户端可以将多个部位特征进行融合,得到第一融合特征。比如,客户端将多个部位特征输入至第一融合网络中进行特征融合,输出第一融合特征。所述第一融合网络可以为MLP。客户端可以确定所述第一融合特征对应的所述初始识别结果。具体地,客户端可以确定第一融合特征对应的识别概率,根据识别概率确定初始识别结果。比如,在活体识别中,客户端可以根据第一融合特征确定目标对象属于攻击的概率P1,将P1与第一预设阈值T1进行比较,当P1大于T1时,确定所述初始识别结果为目标对象是攻击,当P1小于T1时,确定所述初始识别结果为目标对象是活体。当P1等于T1时,所述初始识别结果可以为不确定目标对象是攻击还是活体,此时,客户端可以重新对目标对象进行拍摄。当P1等于T1时,所述初始识别结果还可以为攻击或者活体。再比如,在身份识别中,客户端可以根据第一融合特征确定目标对象的身份信息是错误的概率,将该错误的概率与预设的身份阈值进行比较,当该错误的概率大于该身份阈值时,确定所述初始识别结果为目标对象的身份错误,当该错误的概率小于该身份阈值时,确定所述初始识别结果为目标对象的身份正确。当该错误的概率等于该身份阈值时,确定所述初始识别结果为不确定目标对象的身份是否正确,此时,客户端可以重新对目标对象进行拍摄。对于其他场景下的生物特征识别(如表情识别),与活体识别和身份识别类似,本申请不再赘述。
在一些实施例中,客户端可以不对广谱光图像进行区域分割,而是对广谱光图像进行特征提取,并基于提取的特征确定初始识别结果,本申请实施例对得到初始识别结果的过程不做限定。
客户端可以基于所述初始识别结果,确定并执行目标方案,从而完成对目标对象的生物特征的识别并输出目标识别结果。本说明书包括多个方案,目标方案是多个方案中客户端进行生物特征识别时执行的一个方案。所述多个方案包括方案一(即S141-S145)和方案二(S161)。比如,在活体识别中,如果所述初始识别结果为活体,表明对目标对象的初步判断通过,为了提高活体判断的准确性,客户端可以执行方案一,即执行S141-S145。如果所述初始识别结果为攻击,表明目标对象没有通过初步判断,客户端可以直接进行拦截,执行方案二,即将初始识别结果作为目标识别结果。在一些实施例中,如果所述初始识别结果为攻击,客户端也可以执行方案一,以验证初始识别结果的正确性。在一些实施例中,如果所述初始识别结果为活体,也可以不执行方案一,将初始识别结果作为目标识别结果。
在一些实施例中,所述多个方案还可以包括其他方案,比如方案三:基于广谱光图像预测对目标对象进行生物特征识别所对应的最佳单色光,获得所述目标对象在最佳单色光下的目标单色光图像,基于目标单色光图像,确定目标对象的目标识别结果。
S141:基于所述广谱光图像预测对所述目标对象进行生物特征识别所对应的最佳单色光。
客户端可以从广谱光识别模型中获取多个部位特征和第一融合特征,将多个部位特征和第一融合特征输入至单色光预测模型中,输出最佳单色光。所述单色光预测模型可以为L层的MLP,比如3层的MLP。在一些实施例中,客户端可以将多个部位特征或者第一融合特征输入单色光预测模型中以预测最佳单色光。在一些实施例中,客户端可以对广谱光图像进行特征提取,将提取的全局特征输入单色光预测模型做预测。
人体上有不同的材质,比如,人体皮肤上有痣、凸起、凹陷、褶皱等多种不同的皮肤材质。不同的皮肤材质对不同颜色的单色光的响应不同。比如,痣对蓝光的响应比较强烈,在蓝光下更容易识别人脸上的痣,进而容易区分活体和攻击。若某用户脸上有痣,单色光预测模型为其预测的最佳单色光可能是蓝光。比如,阴影(或深度信息)对黄光的响应比较强烈,在黄光下更容易识别人脸上的阴影,比如鼻梁侧边的阴影。若某用户的鼻梁比较高,在环境光下鼻梁侧边的阴影可能比较明显,单色光预测模型为其预测的最佳单色光可能是黄光。比如,褶皱对红光的响应比较强烈,在红光下更容易识别人脸上的皱纹,比如眼角的皱纹。若某用户眼角皱纹比较深,单色光预测模型为其预测的最佳单色光可能是红光。
不同的用户呈现的攻击特性(易于区分攻击和活体的皮肤材质)可能不同,比如,用户A脸上有颗痣,用户B的眼角皱纹比较深,而不同颜色的单色光针对的攻击特性也不同。本说明书能为不同攻击特性的用户预测不同的最佳单色光,即,定制化地为每个用户预测最适合实现活体识别的单色光,这样,对每个用户进行活体识别都能够得到较高的准确率。
对于同一个用户(目标对象)而言,人脸的不同部位具有不同的特征,比如,用户A的脸颊上有颗痣、且眼角有皱纹,不同的部位对不同的单色光的响应也可能不同。因此,本说明书基于多个部位特征和第一融合特征预测最佳单色光,充分利用人脸的局部信息和全局信息,相比于基于全局特征预测最佳单色光而言,提升了预测的准确性。
需要说明的是,本说明书为目标对象预测的最佳单色光是目标对象最适合做活体识别的单色光,即,目标对象在最佳单色光下的生物特征识别准确率高于在非最佳单色光下的生物特征识别准确率,所述非最佳单色光是指除了最佳单色光之外的任意单色光。
S143:获得所述目标对象在所述最佳单色光下的目标单色光图像。
客户端的处理器可以向图像采集装置发送指示信号,指示图像采集装置在最佳单色光下拍摄目标对象,从而获得目标对象的目标单色光图像。具体地,处理器在确定目标对象对应的最佳单色光后,可以从至少一个单色滤光片中确定最佳单色光对应的目标滤光片,目标滤光片的颜色与最佳单色光的颜色相同。处理器可以向滤光片驱动装置发送指示信号,指示滤光片驱动装置开启目标滤光片,即,将目标滤光片设置在图像拍摄装置的成像光路上。滤光片驱动装置开启目标滤光片后,可以向处理器发送目标滤光片开启成功的响应信号。处理器接收到该响应信号后,可以向图像拍摄装置发送拍摄信号,以指示图像拍摄装置对目标对象进行拍摄,从而得到目标对象在目标滤光片下的目标单色光图像。图像拍摄装置可以将目标单色光图像发送给处理器,处理器从而获取到目标单色光图像。在一些实施例中,图像拍摄装置在检测到滤光片驱动装置开启目标滤光片时,可以自动开启拍摄,无需接收处理器的拍摄信号。
S145:基于所述广谱光图像和所述目标单色光图像,确定所述目标对象的所述目标识别结果。
客户端可以将广谱光图像和目标单色光图像输入至目标识别模型中,输出目标对象的目标识别结果。具体地,客户端可以对广谱光图像进行特征编码,比如将广谱光图像输入至广谱光编码网络进行特征编码,得到生物特征的广谱光特征图。客户端可以对目标单色光图像进行特征编码,比如将目标单色光图像输入至单色光编码网络进行特征编码,得到生物特征的单色光特征图。客户端可以将广谱光特征图和单色光特征图进行融合,比如将广谱光特征图和单色光特征图输入至第二融合网络中,得到第二融合特征。进而,客户端可以基于第二融合特征,确定目标识别结果。比如,客户端可以通过分类器计算第二融合特征属于攻击的概率P2,将P2与第二预设阈值进行比较,当P2大于T2时,目标识别结果为攻击。当P2小于T2时,目标识别结果为活体。当P2等于T2时,目标识别结果可以为不确定目标对象是攻击还是活体,此时,客户端可以重新拍摄目标对象的目标单色光图像,或者重新拍摄目标对象的广谱光图像和目标单色光图像。当P2等于T2时,目标初始识别结果还可以为攻击或者活体。
在一些实施例中,客户端获取目标单色光图像后,可以只对目标单色光图像进行特征编码,得到单色光特征图,并基于单色光特征图确定所述目标识别结果,本说明书实施例对此不作限定。
S161:所述目标识别结果为所述初始识别结果。
综上所述,本说明书提供的生物特征识别方法和系统,利用广谱光图像确定目标对象的最佳单色光,从而结合广谱光图像与最佳单色光下的目标单色光图像完成对生物特征的准确识别,不需要用户做多种配合的动作,提高用户体验。并且,相比于只基于广谱光图像做生物特征识别,本说明书将单色光图像与广谱光图像结合,使生物特征识别利用更多信息,进一步提高识别的准确率。而且,本说明书能定制化地为每个用户预测最适合实现活体识别的单色光,这样,对每个用户进行活体识别都能够得到较高的准确率。而且,本说明书基于多个部位特征和第一融合特征预测最佳单色光,充分利用人脸的局部信息和全局信息,相比于基于全局特征预测最佳单色光而言,提升了最佳单色光预测的准确性。
图4示出了根据本说明书的一些实施例提供的一种生物特征识别模型的训练方法P200的流程图。以服务器的处理器执行本说明书所述的生物特征识别模型的训练方法P200为例进行如下描述。如图4所示,所述方法P200可以包括:
S210:获得广谱光训练图和训练样本对,所述广谱光训练图包括训练对象,所述训练样本对包括同一个训练对象对应的广谱光训练图一和单色光训练图二。
服务器可以从数据库中获取多个广谱光训练图,还可以获取每个广谱光训练图对应的识别标签,该识别标签比如为活体或者攻击,所述广谱光训练图及其识别标签用于训练广谱光识别模型。其中,广谱光图像中可以包括训练对象,比如,人脸,该人脸包括真实用户的人脸和伪造的攻击人脸。
服务器还可以获取多个训练样本对。每个训练样本对包括同一个训练对象对应的广谱光训练图一和单色光训练图二,比如,训练样本对为广谱光训练图和红光训练图的组合、广谱光训练图和蓝光训练图的组合、广谱光训练图和绿光训练图的组合、广谱光训练图和黄光训练图的组合等等。每个训练样本对可以具有识别标签,比如活体和攻击。所述多个训练样本对用于训练目标识别模型。
S230:基于所述广谱光训练图对广谱光识别模型进行训练,输出图像特征和第一识别结果。
服务器的处理器可以根据广谱光训练图及其识别标签对广谱光识别模型进行有监督训练,也可以根据广谱光训练图对广谱光识别模型进行无监督训练。所述广谱光识别模型包括分割网络、多个部位特征提取网络和第一融合网络。具体地,处理器可以将广谱光训练图输入至分割网络中进行区域分割训练,使其输出多个部位图像,每个部位图像对应训练对象的一个部位。比如,训练分割网络将人脸图像分割成眼睛、鼻子、嘴巴、耳朵、脸颊这五个部位图像。处理器可以将多个部位图像分别一一对应输入多个部位特征提取网络中进行特征提取和分类训练,使其对每个部位图像进行特征提取并分类,输出多个部位特征和每个部位特征对应的部位分类结果。所述部位分类结果比如为根据部位特征计算的训练对象属于攻击的概率。进而,处理器可以将多个部位特征输入第一融合网络中进行特征融合训练,使其输出第一融合特征和第一识别结果。所述第一识别结果比如为根据第一融合特征计算的训练对象属于攻击的概率。
所述图像特征包括多个部位特征和第一融合特征。需要说明的是,在训练方法中涉及到的模型与前述识别方法中涉及到的模型的网络结构相同,在此不再赘述。
处理器可以以第一损失小于第一预设损失值为约束目标训练广谱光识别模型。第一损失包括部位分类损失和第一分类损失。具体地,处理器可以通过如下公式一将部位分类损失和第一分类损失加和来计算第一损失:
公式一:Losstotal1=Losspartial+Lossfision1
其中,Losstotal1为第一损失,Losspartial为部位分类损失,Lossfusion1为第一分类损失。
需要说明的是,所述部位分类损失可以基于多个部位分类结果确定。比如,处理器可以根据每个部位分类结果和广谱光训练图的识别标签计算每个部位分类结果对应的第一子损失,得到多个第一子损失,然后将多个第一子损失的平均值作为部位分类损失,或者,将多个第一子损失的和作为部位分类损失。所述第一分类损失可以基于第一识别结果确定。比如,处理器可以根据第一识别结果和广谱光训练图的识别标签计算第一分类损失。
处理器可以按照上述模型结构和损失函数训练广谱光识别模型,直至模型收敛,则模型训练完成。完成训练的广谱光识别模型在实际应用时可以准确地识别目标对象的生物特征。
S 250:从完成训练的所述广谱光识别模型中获得其输出的所述图像特征,将其作为图像特征训练图,并获得所述图像特征训练图对应的单色光标签。
处理器可以从完成训练的广谱光识别模型中获得其输出的图像特征,如第一融合特征和多个部位特征,将其作为图像特征训练图,并获得图像特征训练图对应的单色光标签,该单色光标签可以是人工标注得到的。
S270:基于所述图像特征训练图和所述单色光标签,对单色光预测模型进行训练,输出为所述训练对象预测的单色光预测结果。
处理器可以将图像特征训练图输入至单色光预测模型进行预测训练,使其输出为训练对象预测的单色光预测结果。所述单色光预测模型的模型结构可以为L层的MLP。
处理器可以第二损失小于第二预设损失值为约束目标训练单色光预测模型,第二损失可以基于单色光标签和单色光预测结果确定,比如将单色光标签和单色光预测结果代入分类损失函数计算第二损失。
处理器可以按照上述模型结构和损失函数训练单色光预测模型,直至模型收敛,则模型训练完成。完成训练的单色光预测模型在实际应用时可以准确预测出目标对象的最佳单色光。
S290:基于所述训练样本对,对目标识别模型进行训练,输出第二识别结果。
处理器可以根据训练样本对及其识别标签有监督地训练目标识别模型,也可以根据训练样本对无监督地训练目标识别模型。所述目标识别模型包括广谱光编码网络、单色光编码网络和第二融合网络。具体地,处理器可以将广谱光训练图一输入至广谱光编码网络进行特征提取和分类训练,使其输出广谱光特征和广谱光分类结果。所述广谱光分类结果比如为根据广谱光特征计算的训练对象属于攻击的概率。处理器可以将单色光训练图二输入至单色光编码网络进行特征提取和分类训练,使其输出单色光特征和单色光分类结果,所述单色光分类结果比如为根据单色光特征计算的训练对象属于攻击的概率。进而,处理器可以将广谱光特征和单色光特征输入至第二融合网络进行特征融合训练,使其输出第二融合特征和第二识别结果。所述第二识别结果比如为根据第二融合特征计算的训练对象属于攻击的概率。
处理器可以以第三损失小于第三预设损失值为约束目标训练目标识别模型。第三损失包括广谱光分类损失、单色光分类损失和第二分类损失。具体地,处理器可以通过如下公式二将广谱光分类损失、单色光分类损失和第二分类损失加和来计算第三损失:
公式二:Losstotal2=Lossrgb+Losssingle+Lossfusion2
其中,Losstotal2为第三损失,Lossrgb为广谱光分类损失,Losssingle为单色光分类损失,Lossfusion2为第二分类损失。
需要说明的是,所述广谱光分类损失可以基于广谱光分类结果确定。比如,处理器根据广谱光分类结果和训练样本对的识别标签计算广谱光分类损失。所述单色光分类损失可以基于单色光分类结果确定。比如,处理器根据单色光分类结果和训练样本对的识别标签计算单色光分类损失。所述第二分类损失可以基于第二识别结果确定。比如,处理器根据第一识别结果和广谱光训练图的识别标签计算第二分类损失。
处理器可以按照上述模型结构和损失函数训练目标光识别模型,直至模型收敛,则模型训练完成。完成训练的目标光识别模型在实际应用时可以根据目标对象的单色光图像和广谱光图像准确地识别目标对象的生物特征。
需要说明的是,如果在实际应用中基于目标对象的最佳单色光识别生物特征时,处理器可以只使用单色光训练图对目标识别模型进行训练,此时,目标识别模型可以包括单色光特征编码模块和分类模块。
综上所述,本说明书提供的生物特征识别模型的训练方法和系统,训练得到的单色光预测模型在应用时能够为目标对象准确预测出最佳单色光,基于训练样本对训练得到的目标识别模型能够在应用时能够对目标对象的生物特征进行准确识别。
以活体识别为例,图5示出了根据本说明书的一些实施例提供的一种基于单色滤光片系统的活体识别方法的示意图。基于单色滤光片系统的活体识别方法如下:
1.可见光活体识别模型训练(或广谱光活体识别模型):训练可见光条件下(无任何滤光片)的活体识别模型,该模型将在后续步骤被用于单色滤光片的选择。
2.最佳单色光预测:根据可见光活体识别模型的输出特征和结果,来进行最佳的滤光片预测。
3.基于单色光和可见光数据的活体识别模型训练:利用单色光和可见光的数据和特征进行最终的活体识别模型训练。
4.模型部署与活体识别:对训练得到的模型进行部署和相应的活体识别决策。
本说明书另一方面提供一种非暂时性存储介质,存储有至少一组用来进行生物特征识别和/或生物特征识别模型的训练的可执行指令。当所述可执行指令被处理器执行时,所述可执行指令指导所述处理器实施本说明书所述的生物特征识别方法P100和/或生物特征识别模型的训练方法P200的步骤。在一些可能的实施方式中,本说明书的各个方面还可以实现为一种程序产品的形式,其包括程序代码。当所述程序产品在生物特征识别系统001上运行时,所述程序代码用于使生物特征识别系统001执行本说明书描述的生物特征识别方法P100和/或生物特征识别模型的训练方法P200的步骤。用于实现上述方法的程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)包括程序代码,并可以在生物特征识别系统001上运行。然而,本说明书的程序产品不限于此,在本说明书中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统使用或者与其结合使用。所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。可以以一种或多种程序设计语言的任意组合来编写用于执行本说明书操作的程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在生物特征识别系统001上执行、部分地在生物特征识别系统001上执行、作为一个独立的软件包执行、部分在生物特征识别系统001上部分在远程计算设备上执行、或者完全在远程计算设备上执行。
上述对本说明书特定实施例进行了描述。其他实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者是可能有利的。
综上所述,在阅读本详细公开内容之后,本领域技术人员可以明白,前述详细公开内容可以仅以示例的方式呈现,并且可以不是限制性的。尽管这里没有明确说明,本领域技术人员可以理解本说明书需求囊括对实施例的各种合理改变,改进和修改。这些改变,改进和修改旨在由本说明书提出,并且在本说明书的示例性实施例的精神和范围内。
此外,本说明书中的某些术语已被用于描述本说明书的实施例。例如,“一个实施例”,“实施例”和/或“一些实施例”意味着结合该实施例描述的特定特征,结构或特性可以包括在本说明书的至少一个实施例中。因此,可以强调并且应当理解,在本说明书的各个部分中对“实施例”或“一个实施例”或“替代实施例”的两个或更多个引用不一定都指代相同的实施例。此外,特定特征,结构或特性可以在本说明书的一个或多个实施例中适当地组合。
应当理解,在本说明书的实施例的前述描述中,为了帮助理解一个特征,出于简化本说明书的目的,本说明书将各种特征组合在单个实施例、附图或其描述中。然而,这并不是说这些特征的组合是必须的,本领域技术人员在阅读本说明书的时候完全有可能将其中一部分设备标注出来作为单独的实施例来理解。也就是说,本说明书中的实施例也可以理解为多个次级实施例的整合。而每个次级实施例的内容在于少于单个前述公开实施例的所有特征的时候也是成立的。
本文引用的每个专利,专利申请,专利申请的出版物和其他材料,例如文章、书籍、说明书、出版物、文件、物品等,除了与其相关的任何历史起诉文件、可能与本文件不一致或相冲突的任何相同的、或者任何可能对权利要求的最宽范围具有限制性影响的任何相同的历史起诉文件,均可以通过引用结合于此,并用于现在或以后与本文件相关联的所有目的。此外,如果在与任何所包含的材料相关联的术语的描述、定义和/或使用与本文档相关的术语、描述、定义和/或之间存在任何不一致或冲突时,使用本文件中的术语为准。
最后,应理解,本文公开的申请的实施方案是对本说明书的实施方案的原理的说明。其他修改后的实施例也在本说明书的范围内。因此,本说明书披露的实施例仅仅作为示例而非限制。本领域技术人员可以根据本说明书中的实施例采取替代配置来实现本说明书中的申请。因此,本说明书的实施例不限于申请中被精确地描述过的实施例。
Claims (20)
1.一种生物特征识别方法,包括:
获得目标对象的广谱光图像,并确定所述广谱光图像对应的初始识别结果;以及
基于所述初始识别结果,确定并执行目标方案,完成对所述目标对象的生物特征的识别并输出目标识别结果,所述目标方案是多个方案中的一个,所述多个方案包括方案一:
基于所述广谱光图像预测对所述目标对象进行生物特征识别所对应的最佳单色光,所述目标对象在所述最佳单色光下的生物特征识别准确率高于在非最佳单色光下的所述生物特征识别准确率,
获得所述目标对象在所述最佳单色光下的目标单色光图像,以及
基于所述广谱光图像和所述目标单色光图像,确定所述目标对象的所述目标识别结果。
2.如权利要求1所述的方法,其中所述确定所述广谱光图像所对应的初始识别结果包括:
对所述广谱光图像进行区域分割,得到目标对象的多个部位图像;
分别对所述多个部位图像中的每个部位图像进行特征提取,得到多个部位特征;
将所述多个部位特征进行融合,得到第一融合特征;以及
基于所述第一融合特征,确定所述初始识别结果。
3.如权利要求2所述的方法,其中所述基于所述广谱光图像预测所述目标对象进行生物特征识别所对应的最佳单色光包括:
将所述多个部位特征和所述第一融合特征输入单色光预测模型中进行预测,输出所述最佳单色光。
4.如权利要求1所述的方法,其中所述获得所述目标对象在所述最佳单色光下的目标单色光图像包括:
向图像采集装置发送指示信号,所述指示信号指示所述图像采集装置在所述最佳单色光下拍摄所述目标对象;以及
获得所述目标对象的所述目标单色光图像。
5.如权利要求1所述的方法,其中所述基于所述广谱光图像和所述目标单色光图像,确定所述目标对象的所述目标识别结果包括:
对所述广谱光图像进行特征编码,得到所述生物特征的广谱光特征图;
对所述目标单色光图像进行特征编码,得到所述生物特征的单色光特征图;
将所述广谱光特征图和所述单色光特征图进行融合,得到第二融合特征;以及
基于所述第二融合特征,确定所述目标识别结果。
6.如权利要求1所述的方法,其中所述基于所述初始识别结果,确定并执行目标方案包括:
确定所述初始识别结果为活体;以及
执行所述方案一。
7.如权利要求1所述的方法,其中所述多个方案至少包括方案二,所述方案二包括:所述目标识别结果为所述初始识别结果。
8.如权利要求7所述的方法,其中所述基于所述初始识别结果,确定并执行目标方案包括:
确定所述初始识别结果为攻击;以及
执行所述方案二。
9.一种生物特征识别系统,包括:
图像采集装置;
至少一个存储介质,存储有至少一组指令集用于进行生物特征识别;以及
至少一个处理器,与所述至少一个存储器和所述图像采集装置通信连接,其中所述目标生物特征识别系统运行时,所述至少一个处理器通过执行所述至少要一组指令集,并根据所述至少一组指令集的指示:
从所述图像采集装置接收目标对象的广谱光图像;
确定所述广谱光图像所对应的初始识别结果;以及
基于所述初始识别结果,确定并执行目标方案,完成对所述目标对象的目标生物特征识别并输出目标识别结果,所述目标方案是多个方案中的一个,所述多个方案包括方案一:
基于所述广谱光图像预测对所述目标对象进行生物特征识别所对应的最佳单色光,所述目标对象在所述最佳单色光下的生物特征识别准确率高于在非最佳单色光下的所述生物特征识别准确率,
获得从所述图像采集装置接收所述目标对象在所述目标滤光片下的目标单色光图像,以及
基于所述广谱光图像和所述目标单色光图像,确定所述目标对象的所述目标识别结果。
10.如权利要求9所述的系统,其中所述图像采集装置包括图像拍摄装置和滤光装置,所述滤光装置包括至少一种单色滤光片,
所述至少一个处理器根据所述至少一组指令集的指示:向所述图像采集装置发送指示信号;以及
所述图像采集装置,被配置为:
将所述至少一种单色滤光片中的目标滤光片设置在所述图像拍摄装置的成像光路上,并对所述目标对象进行拍摄,得到所述目标对象在所述目标滤光片下的目标单色光图像,所述目标滤光片是所述最佳单色光对应的单色滤光片,以及
将所述目标单色光图像发送给所述至少一个处理器。
11.如权利要求10所述的系统,其中所述至少一种单色滤光片中不同的单色滤光片能够透射不同颜色的单色光。
12.如权利要求10所述的系统,其中所述滤光装置还包括滤光片驱动装置,被配置为运行时将所述至少一种单色滤光片中的一个设置在所述图像拍摄装置的成像光路上,
所述至少一个处理器根据所述至少一组指令集的指示:从所述至少一种单色滤光片中确定所述最佳单色光对应的所述目标滤光片,并向所述滤光片驱动装置发送所述指示信号;以及
所述滤光片驱动装置,被配置为接收所述指示信号,并将所述目标滤光片设置在所述成像光路上。
13.如权利要求10所述的系统,其中所述目标滤光片的入射面与所述图像拍摄装置的广谱光镜头的入射面平行。
14.一种生物特征识别模型的训练方法,包括:
获得广谱光训练图和训练样本对,所述广谱光训练图包括训练对象,所述训练样本对包括同一个训练对象对应的广谱光训练图一和单色光训练图二;
基于所述广谱光训练图对广谱光识别模型进行训练,输出图像特征和第一识别结果;
从完成训练的所述广谱光识别模型中获得其输出的所述图像特征,将其作为图像特征训练图,并获得所述图像特征训练图对应的单色光标签;
基于所述图像特征训练图和所述单色光标签,对单色光预测模型进行训练,输出为所述训练对象预测的单色光预测结果;以及
基于所述训练样本对,对目标识别模型进行训练,输出第二识别结果。
15.如权利要求14所述的训练方法,其中所述广谱光识别模型包括:
分割网络,被配置为对所述广谱光训练图进行区域分割,输出多个部位图像,每个部位图像对应所述训练对象的一个部位;
多个部位特征提取网络,被配置为分别对所述多个部位图像进行特征提取和分类,输出多个部位特征及其对应的多个部位分类结果;以及
第一融合网络,被配置为将所述多个部位特征进行特征融合,输出第一融合特征和所述第一识别结果,所述图像特征包括所述多个部位特征和所述第一融合特征。
16.如权利要求14所述的训练方法,其中所述对广谱光识别模型进行训练包括:以第一损失小于第一预设损失值为约束目标训练所述广谱光识别模型,所述第一损失包括:
部位分类损失,所述部位分类损失基于所述多个部位分类结果确定,以及
第一分类损失,所述第一分类损失基于所述第一识别结果确定。
17.如权利要求14所述的训练方法,其中所述对单色光预测模型进行训练包括:
以第二损失小于第二预设损失值为约束目标训练所述单色光预测模型,所述第二损失基于所述单色光标签和所述单色光预测结果确定。
18.如权利要求14所述的训练方法,其中所述目标识别模型包括:
广谱光编码网络,被配置为对所述广谱光训练图一进行特征提取和分类,输出广谱光特征和广谱光分类结果;
单色光编码网络,被配置为对所述单色光训练图二进行特征提取和分类,输出单色光特征和单色光分类结果;以及
第二融合网络,被配置为将所述广谱光特征和所述单色光特征进行特征融合,输出第二融合特征和所述第二识别结果。
19.如权利要求18所述的训练方法,其中所述对目标识别模型进行训练包括:以第三损失小于第三预设损失值为约束目标训练所述目标识别模型,所述第三损失包括:
广谱光分类损失,所述广谱光分类损失基于所述广谱光分类结果确定,
单色光分类损失,所述单色光分类损失基于所述单色光分类结果确定,以及
第二分类损失,所述第二分类损失基于所述第二识别结果确定。
20.一种生物特征识别模型的训练系统,包括:
至少一个存储介质,存储有至少一组指令集用于实现生物特征识别模型的训练;以及
至少一个处理器,同所述至少一个存储介质通信连接,
其中当所述生物特征识别模型的训练系统运行时,所述至少一个处理器读取所述至少一个指令集并实施权利要求14-19中任一项所述的生物特征识别模型的训练方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310126978.1A CN116152934A (zh) | 2023-02-16 | 2023-02-16 | 生物特征识别方法和系统、识别模型的训练方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310126978.1A CN116152934A (zh) | 2023-02-16 | 2023-02-16 | 生物特征识别方法和系统、识别模型的训练方法和系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116152934A true CN116152934A (zh) | 2023-05-23 |
Family
ID=86338714
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310126978.1A Pending CN116152934A (zh) | 2023-02-16 | 2023-02-16 | 生物特征识别方法和系统、识别模型的训练方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116152934A (zh) |
-
2023
- 2023-02-16 CN CN202310126978.1A patent/CN116152934A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110765923B (zh) | 一种人脸活体检测方法、装置、设备及存储介质 | |
US10956714B2 (en) | Method and apparatus for detecting living body, electronic device, and storage medium | |
CN109446981B (zh) | 一种脸部活体检测、身份认证方法及装置 | |
WO2019218621A1 (zh) | 活体检测方法及装置、电子设备和存储介质 | |
US10769414B2 (en) | Robust face detection | |
CN107438854A (zh) | 使用移动设备捕获的图像执行基于指纹的用户认证的系统和方法 | |
CN108470169A (zh) | 人脸识别系统及方法 | |
CN112232155B (zh) | 非接触指纹识别的方法、装置、终端及存储介质 | |
CN107341481A (zh) | 利用结构光图像进行识别 | |
CN112232163B (zh) | 指纹采集方法及装置、指纹比对方法及装置、设备 | |
CN112016525A (zh) | 非接触式指纹采集方法和装置 | |
KR20180134280A (ko) | 3차원 깊이정보 및 적외선정보에 기반하여 생체여부의 확인을 행하는 얼굴인식 장치 및 방법 | |
CN112818722A (zh) | 模块化动态可配置的活体人脸识别系统 | |
KR20220042301A (ko) | 이미지 검출 방법 및 관련 장치, 기기, 저장 매체, 컴퓨터 프로그램 | |
CN112232159B (zh) | 指纹识别的方法、装置、终端及存储介质 | |
WO2022068931A1 (zh) | 非接触指纹识别方法、装置、终端及存储介质 | |
WO2018185574A1 (en) | Apparatus and method for documents and/or personal identities recognition and validation | |
CN112232157B (zh) | 指纹区域检测方法、装置、设备、存储介质 | |
CN106991376A (zh) | 结合深度信息的侧脸验证方法及装置与电子装置 | |
CN110866508B (zh) | 识别目标对象的形态的方法、装置、终端及存储介质 | |
CN116524609A (zh) | 活体检测方法及系统 | |
CN112232152B (zh) | 非接触式指纹识别方法、装置、终端和存储介质 | |
CN116152934A (zh) | 生物特征识别方法和系统、识别模型的训练方法和系统 | |
KR102578583B1 (ko) | 얼굴 인식을 이용하는 전자 장치 및 그 동작 방법 | |
CN114581978B (zh) | 人脸识别的方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |