CN116259091B - 一种静默活体检测的方法和装置 - Google Patents
一种静默活体检测的方法和装置 Download PDFInfo
- Publication number
- CN116259091B CN116259091B CN202310094720.8A CN202310094720A CN116259091B CN 116259091 B CN116259091 B CN 116259091B CN 202310094720 A CN202310094720 A CN 202310094720A CN 116259091 B CN116259091 B CN 116259091B
- Authority
- CN
- China
- Prior art keywords
- picture
- model
- living body
- value
- inputting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000001514 detection method Methods 0.000 claims abstract description 198
- 238000012795 verification Methods 0.000 claims abstract description 62
- 238000013139 quantization Methods 0.000 claims abstract description 49
- 238000012545 processing Methods 0.000 claims description 56
- 230000003993 interaction Effects 0.000 claims description 26
- 230000001502 supplementing effect Effects 0.000 claims description 19
- 238000005516 engineering process Methods 0.000 claims description 16
- 238000013145 classification model Methods 0.000 claims description 12
- 238000005520 cutting process Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 5
- 238000005286 illumination Methods 0.000 claims description 4
- 230000006872 improvement Effects 0.000 claims description 4
- 238000009877 rendering Methods 0.000 claims description 4
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 description 25
- 238000012549 training Methods 0.000 description 13
- 238000003062 neural network model Methods 0.000 description 11
- 238000013528 artificial neural network Methods 0.000 description 9
- 230000004927 fusion Effects 0.000 description 8
- 238000005070 sampling Methods 0.000 description 7
- 230000000875 corresponding effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000001727 in vivo Methods 0.000 description 5
- 239000000463 material Substances 0.000 description 5
- 230000002159 abnormal effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 239000000523 sample Substances 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000005242 forging Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 150000002739 metals Chemical class 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 229920003023 plastic Polymers 0.000 description 1
- 239000004033 plastic Substances 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/40—Spoof detection, e.g. liveness detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
- Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
- Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Collating Specific Patterns (AREA)
Abstract
本申请提供了一种静默活体检测的方法和装置,该静默活体检测的方法包括:将采集到的至少一张第一图片输入第一模型,获取所述第一图片的分类值S和量化值Q,将所述分类值S指示为活体、且量化值Q处于设定的阈值区间的所述第一图片输出作为待处理图片;将所述待处理图片输入第二模型,获取所述待处理图片经过图像质量提升后的预校验图片,将所述预校验图片输入人证对比平台,进行第一次校验,将校验成功的所述预校验图片输入业务流,进行二次校验。本申请所限定的检测方法能够在活体静默状态下进行检测以及图片质量分析,提高业务办理的效率,减少重复办理的时间成本以及资源成本,提升用户体验。
Description
技术领域
本申请涉及人脸识别技术领域,并且更具体地,涉及一种静默活体检测的方法和装置。
背景技术
在活体检测技术发展过程中,生物特征检测一直是被广泛应用的,特别是指纹、掌纹、人脸等生物识别信息。人脸信息的采集与公安数据库内身份证照片对比是确认身份的一种常用途径,然而由于公安数据库的管理以及开放模式,在人脸信息采集不清晰对比失败的情况下,二次采集认证需要耗费一定的等待时间以及额外的验证成本。
同时,随着人脸识别技术应用广泛,人脸识别系统中为了防止恶意者伪造和窃取他人的照片或者图像用于身份认证,保证用户安全,需要进行活体检测。目前的活体检测主要为人机互动配合式检测,需要用户配合设备发出的动作指令,完成转头、眨眼、张嘴等动作,用户体验较差,认证时间较长,对网络带宽等要求较高。因此,如何提升人脸信息采集的清晰度、提高验证通过率与准确性,提升用户体验,缩短验证时间与网络带宽压力,仍然是一个亟待解决的问题。
发明内容
本申请实施例提供了一种静默活体检测的方法和装置,能够通过静默采样进行活体检测与身份认证进行提前批次校验,提高整体校验通过率与准确性,缩减校验时间与成本,提升用户体验。
第一方面,提供一种静默活体检测的方法,该方法包括:将采集到的至少一张第一图片输入第一模型,获取所述第一图片的分类值S和量化值Q,所述第一模型用于检测所述第一图片中的活体检测与图片质量检测,所述分类值S用于确定所述第一图片是否为活体,所述量化值Q用于确定所述第一图片的图片质量;将所述分类值S指示为活体、且量化值Q处于设定的阈值区间的所述第一图片输出作为待处理图片;将所述待处理图片输入第二模型,获取所述待处理图片经过图像质量提升后的预校验图片,所述第二模型用于提升图片质量,还原曝光覆盖区域的人脸特征;将所述预校验图片输入人证对比平台,进行第一次校验,将校验成功的所述预校验图片输入业务流,进行二次校验。
本申请实施例将待检测人员采集的图片输入到神经网络模型中,同时输出分类值与量化值,既能够快速获得待检测人员采集图片的活体检测情况,也能够对采集的图像质量进行一个量化评估,有助于更精确的对补光装置的补光参数进行调节分析。同时,相比于仅通过神经网络模型输出活体检测结果的方案相比,本申请同时输出分类值和量化值,可以对图片质量进行量化评估,在官方数据库平台采集的人像图像像素、对比度等质量参数发生优化或提升时,可以重新根据新的采集标准划分量化值区间,并将量化值对应于新区间,输出高质量可通过官方数据库认证的图片,而无需对图片重新进行分析、重新训练检测模型等,能够节省大量的人力物力资源。
可选地,所述方法还包括:采集待认证人员图像,所述待认证人员图像包括开启补光装置时,在不同曝光参数下连续拍摄采集的至少一张待认证人员图像,将所述采集的至少一张待认证人员图像通过高动态光照渲染HDR技术进行图像合成,得到所述第一图片。
可选地,所述第一模型包括人像裁剪模块、活体检测模块以及图片质量检测模块,包括:将所述第一图片输入所述第一模型的所述人像裁剪模块,获取所述第一图片经过所述人像裁剪模块后保留的人像区域以及背景感兴趣区域的第二图片;将所述第一图片、所述第二图片输入所述第一模型的活体检测模块,获取平均预测分数G,所述平均预测分数G大于设定活体检测阈值时,判定所述第一图片包含的待认证人员图像为活体,获取指示为活体的所述分类值S,所述活体检测模块包括三级模型,分别为活体分类检测模型、人脸区域活体检测模型以及攻击特征检测模型;将所述第二图片输入所述第一模型的所述活体检测模块,获取所述分类值S指示为活体的第三图片,将所述第二图片输入所述第一模型的所述活体检测模块,获取所述分类值S指示为活体的包括眼部特征的第四图片;将所述第三图片、所述第四图片输入所述第一模型的图片质量检测模块,获取所述量化值Q,所述图片质量检测模块包括二级模型,分别为用户分类模型和眼部图像质量检测模型。
可选地,所述第二模型包括骨干网络与信息交互层,包括:将所述待处理图片输入所述第二模型的所述骨干网络,获取所述待处理图片的第一特征层和第二特征层;所述第一特征层用于识别所述待处理图片中的曝光区域,所述第二特征层用于识别所述待处理图片中其他曝光参数下被第一特征覆盖区域的人脸特征;将所述第一特征层输入所述信息交互层,获得第一全连接层,所述第一全连接层用于根据所述第一特征层对所述待处理图片进行识别以及区域标记;将所述第二特征层输入所述信息交互层,获得第二全连接层,所述第二全连接层用于根据所述第二特征层对所述待处理图片进行识别以及区域标记。
可选地,所述第一模型的所述活体检测模块包括三级模型,分别为所述活体分类检测模型、所述人脸区域活体检测模型以及所述攻击特征检测模型,包括:将待检测图片输入所述活体检测模块的所述三级检测模型,获取所述待检测图片的预测分数a、b、c,通过计算获取平均预测分数G=(a+b+c)/3,当所述平均预测分数G高于设定的活体检测阈值时,判断检测图片为活体,输出分类值S=1,当所述平均预测分数G低于设定的活体检测阈值时,判断检测图片为假体攻击,输出分类值S=0。
可选地,所述第二模型的所述图片质量检测模块包含二级模型,分别为所述用户分类模型、所述眼部图像质量检测模型,包括:将待检测图片输入所述图片质量检测模块的所述二级检测模型,获取所述待检测图片的预测量化值d%、e%,通过计算获取所述量化值Q=(d%+e%)/2。
可选地,所述方法还包括:将所述第一图片输入所述第一模型获取输出序列值,所述分类值S与所述量化值Q组成所述输出序列值,通过所述输出序列值可直观判断所述第一图片是否为活体以及图片质量区间,所述输出序列值位数与设定的所述量化值Q输出区间个数有关,所述序列值首位为所述分类值S,其后为所述量化值Q所属的输出区间对应的数字输出。
可选地,所述方法还包括:将所述待处理图片输入所述第二模型的所述信息交互层,获取所述预校验图片,所述待处理图片通过所述信息交互层的次数由所述输出序列值决定。
可选地,所述方法还包括:所述第一模型通过损失函数进行修正,所述损失函数满足
Ltotal=α·Lreg+β·Lfus,
其中,
Ltotal为所述损失函数,Lreg为量化损失函数,Lfus为融合损失函数,α为量化损失函数的权重,β为融合损失函数的权重,为预测的量化值,si为真实的量化值,N为模型训练的输入样本数量。
第二方面,提供了一种静默活体检测的装置,该装置包括:采集单元,用于采集至少一张第一图片,处理单元,用于将采集到的至少一张第一图片输入第一模型,获取所述第一图片的分类值S和量化值Q,所述第一模型用于检测所述第一图片中的活体检测与图片质量检测,所述分类值S用于确定所述第一图片是否为活体,所述量化值Q用于确定所述第一图片的图片质量;所述处理单元,用于将所述分类值S指示为活体、且量化值Q处于设定的阈值区间的所述第一图片输出作为待处理图片;所述处理单元,用于将所述待处理图片输入第二模型,获取所述待处理图片经过图像质量提升后的预校验图片,所述第二模型用于提升图片质量,还原曝光覆盖区域的人脸特征;对比单元,用于将所述预校验图片输入人证对比平台,进行第一次校验,将校验成功的所述预校验图片输入业务流,进行二次校验。
可选地,所述装置还包括:所述采集单元,用于采集待认证人员图像,所述待认证人员图像包括开启补光装置时,在不同曝光参数下连续拍摄采集的至少一张待认证人员图像,所述处理单元,用于将所述采集的至少一张待认证人员图像通过高动态光照渲染HDR技术进行图像合成,得到所述第一图片。
可选地,所述第一模型包括人像裁剪模块、活体检测模块以及图片质量检测模块,包括:所述处理单元,用于将所述第一图片输入所述第一模型的所述人像裁剪模块,获取所述第一图片经过所述人像裁剪模块后保留的人像区域以及背景感兴趣区域的第二图片;所述处理单元,用于将所述第一图片、所述第二图片输入所述第一模型的活体检测模块,获取平均预测分数G,所述平均预测分数G大于设定活体检测阈值时,判定所述第一图片包含的待认证人员图像为活体,获取指示为活体的所述分类值S,所述活体检测模块包括三级模型,分别为活体分类检测模型、人脸区域活体检测模型以及攻击特征检测模型;所述处理单元,用于将所述第二图片输入所述第一模型的所述活体检测模块,获取所述分类值S指示为活体的第三图片,所述处理单元,用于将所述第二图片输入所述第一模型的所述活体检测模块,获取所述分类值S指示为活体的包括眼部特征的第四图片;所述处理单元,用于将所述第三图片、所述第四图片输入所述第一模型的图片质量检测模块,获取所述量化值Q,所述图片质量检测模块包括二级模型,分别为用户分类模型和眼部图像质量检测模型。
可选地,所述第二模型包括骨干网络与信息交互层,包括:所述处理单元,用于将所述待处理图片输入所述第二模型的所述骨干网络,获取所述待处理图片的第一特征层和第二特征层;所述第一特征层用于识别所述待处理图片中的曝光区域,所述第二特征层用于识别所述待处理图片中其他曝光参数下被第一特征覆盖区域的人脸特征;所述处理单元,用于将所述第一特征层输入所述信息交互层,获得第一全连接层,所述第一全连接层用于根据所述第一特征层对所述待处理图片进行识别以及区域标记;所述处理单元,用于将所述第二特征层输入所述信息交互层,获得第二全连接层,所述第二全连接层用于根据所述第二特征层对所述待处理图片进行识别以及区域标记。
可选地,所述第一模型的所述活体检测模块包括三级模型,分别为所述活体分类检测模型、所述人脸区域活体检测模型以及所述攻击特征检测模型,包括:所述处理单元,用于将待检测图片输入所述活体检测模块的所述三级检测模型,获取所述待检测图片的预测分数a、b、c,通过计算获取平均预测分数G=(a+b+c)/3,所述处理单元,用于当所述平均预测分数G高于设定的活体检测阈值时,判断检测图片为活体,输出分类值S=1,所述处理单元,用于当所述平均预测分数G低于设定的活体检测阈值时,判断检测图片为假体攻击,输出分类值S=0。
可选地,所述第二模型的所述图片质量检测模块包含二级模型,分别为所述用户分类模型、所述眼部图像质量检测模型,包括:所述处理单元,用于将待检测图片输入所述图片质量检测模块的所述二级检测模型,获取所述待检测图片的预测量化值d%、e%,通过计算获取所述量化值Q=(d%+e%)/2。
可选地,所述装置还包括:所述处理单元,用于将所述第一图片输入所述第一模型获取输出序列值,所述分类值S与所述量化值Q组成所述输出序列值,通过所述输出序列值可直观判断所述第一图片是否为活体以及图片质量区间,所述输出序列值位数与设定的所述量化值Q输出区间个数有关,所述序列值首位为所述分类值S,其后为所述量化值Q所属的输出区间对应的数字输出。
可选地,所述装置还包括:所述处理单元,用于将所述待处理图片输入所述第二模型的所述信息交互层,获取所述预校验图片,所述待处理图片通过所述信息交互层的次数由所述输出序列值决定。
可选地,所述装置还包括:所述处理单元,用于将所述第一模型通过损失函数进行修正,所述损失函数满足
Ltotal=α·Lreg+β·Lfus,
其中,
Ltotal为所述损失函数,Lreg为量化损失函数,Lfus为融合损失函数,α为量化损失函数的权重,β为融合损失函数的权重,为预测的量化值,si为真实的量化值,N为模型训练的输入样本数量。
第三方面,提供一种计算机可读存储介质,其特征在于,包括计算机程序,当其在计算机设备上运行时,使得所述计算机设备中的处理单元执行上述第一方面中任一可能的方法。
第四方面,提供一种芯片,其特征在于,所述芯片包括处理器与数据接口,所述处理器通过所述数据接口读取存储器上存储的指令,以执行上述第一方面中任一可能的方法。
第五方面,提供一种用于静默活体检测装置,其特征在于,包括:存储器,用于存储计算机程序;处理器,用于执行所述存储器中存储的所述计算机程序,以使得所述静默活体检测装置执行上述第一方面中任一可能的方法。
附图说明
图1是本申请实施例提供的一种应用场景的示意图。
图2是本申请实施例的一种活体检测身份认证的方法的示意性流程图。
图3是本申请实施例的一种活体检测模型与图片质量检测模型的结构示意图。
图4是本申请实施例的一种提升图片质量模型的结构示意图。
图5是本申请实施例提供的一种活体静默检测的装置的示意图。
具体实施方式
下面将结合附图,对本申请实施例中的技术方案进行描述。
本申请的实施方式部分使用的术语仅用于对本申请的具体实施例进行解释,而非旨在限定本申请。
本申请中术语“第一”“第二”“第三”等字样用于对作用和功能基本相同的相同项或相似项进行区分,应理解,“第一”、“第二”和“第三”之间不具有逻辑或时序上的依赖关系,也不对数量和执行顺序进行限定。
在本申请实施例中,“示例的”、“例如”等词用于表示作例子、例证或说明。本申请中被描述为“示例”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用示例的一词旨在以具体方式呈现概念。
在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
本申请中,“至少一个”是指一个或者多个,“多个”是指两个或两个以上。
应理解,本文中的具体的例子只是为了帮助本领域技术人员更好地理解本申请实施例,而非限制本申请实施例的范围。
还应理解,本说明书中描述的各种实施方式,既可以单独实施,也可以组合实施,本申请实施例对此并不限定。
除非另有说明,本申请实施例所使用的所有技术和科学术语与本申请的技术领域的技术人员通常理解的含义相同。本申请中所使用的术语只是为了描述具体的实施例的目的,不是旨在限制本申请的范围。本申请所使用的术语“和/或”包括一个或多个相关的所列项的任意的和所有的组合。
为了更好地理解本申请实施例的方案,下面先结合图1对本申请实施例可能的应用场景进行简单的介绍。
图1是本申请实施例提供的一种应用场景的示意图。图1示出的应用场景可以包括至少一个补光装置110和一个采集终端120,补光装置110可以设置在采集终端120上,用于提供补光光源并保存补光参数。例如,在采集终端120采集用户图像的过程中,补光装置提供最适合当前环境的补光参数,辅助采集终端120获取清晰的图像。其中,采集终端120可以例如为广角智能终端设备。
采集终端120在采集图像过程中,一般会利于补光装置110在不同补光参数下采集多张用户图像,然后通过高动态光照渲染(High-Dynamic Range,HDR)技术将不同曝光参数下的图像进行合成,压制过曝光区域提升弱光部分的层次与细节,以得到较为清晰的采集图像,然后通过神经网络等图像识别技术检测画面的曝光区域、人像边界、画面摩尔纹等信息,以判断HDR基于不同曝光参数合成后的图像质量。进一步的,还可以匹配不同活体检测参数与图片质量之间的关系,来训练不同假体攻击手段的识别,获得高质量的采集图像以及活体检测模型。
然而,由于不同应用场景下身份验证对所采集的图像质量的要求不同,例如,金融行业、运营商、公检法等不同场景下对人证对比和活体检测的精确度和通过率标准不同;以及随着技术发展层出不穷的假体攻击手段等,所设定的采集图像的身份验证和活体检测的通过标准可能不同或者提高。在这种情况下,就需要对采集到的图像重新进行识图训练,以输出适应于新的通过标准的结果,这样会造成大量的资源浪费。
因此,本申请实施例提供了一种静默活体检测的方法和装置,能够在活体静默状态下有效检测采集图像的质量并识别假体攻击,能够提高人证对比、活体检测的效率以及判断的准确性,提升用户体验。
应理解,图1示出的应用场景仅为一种举例说明,本申请实施例并不局限于通过采集终端上的摄像头采集到的人脸图像,也可以由其他设备,例如其他手持设备、其他固定摄像机等,对待认证人员进行拍摄,以采集相应人脸图像。也就是说,本申请对获取待认证的人脸图像的方式不作限定,任何能够获取待认证人员的人脸图像的设备都适用于本申请实施例。
下面结合图2至图4详细描述本申请实施例提供的静默活体检测的方法。
图2是本申请实施例的一种静默活体检测的方法的示意性流程图。
S210、开启补光装置,获取第一图片,第一图片包括采集的人像。
第一图片可以由拍摄照片的设备获得,例如,可以由图1所示的设备,或其他带有摄像头的设备,对待认证人员拍摄照片,以获得第一图片。
为了提高人脸图像的清晰度,可以在不同补光参数下连续拍摄多张照片,并基于HDR技术合成获得第一图片。也就是说,合成获得的第一图片可以是一张图片,也可以是多张图片;第一图片可以是同一曝光参数下的图片,也可以是不同曝光参数下的图片。
S220、将第一图片输入第一模型,输出分类值、量化值。第一模型用于检测第一图片采集的人像的图像质量以及针对是否为活体进行判断;分类值用于确定第一图片采集的图像是否为假体攻击,量化值用于确定第一图片的图像质量。
第一模型可以是用于活体检测和图片质量检测的模型。该神经网络模型可以是机器学习模型如随机森林、人工神经网络、贝叶斯学习等或深度学习模型如卷积神经网络、深度置信网络、循环神经网络、堆栈自编码网络模型中的至少一种或者其几种的组合。
图3示出了第一模型的一种可能的模型结构,结合图3可以看出,第一模型可以包括人像裁剪模块310、活体检测模块320以及图片质量检测模块330。人像裁剪模块310用于对第一图片进行检测,对识别到的人脸进行人脸包围框标记,在人脸包围框上下左右各保留一部分背景作为感兴趣区域,进行人像裁剪得到第二图片;也就是说,在第一图片可以是一张图片,也可以是多张图片的情况下,因此通过人像裁剪模块310得到的第二图片可以是一张图片,也可以是多张图片,第二图片的数量与第一图片数量相同。
活体检测模块320通过输入的第一图片与第二图片,通过多个级别的神经网络模型进行活体检测,每个级别都可以使用一个或多个模型,提高活体检测精度,覆盖更多假体攻击检测。在本申请实施例中,使用三个级别的模型进行活体检测,三个级别的模型分别为使用神经网络训练的活体分类模型、人脸区域活体检测模型和攻击特征检测模型。第一级活体分类模型初步判断第一图片为活体采集还是假体攻击,根据人的脸型是否有畸变、画面是否有大面积反光、画面是否存在纸质照片边框、是否存在电子显示设备边框等,得出预测分数a。第二级人脸区域活体检测模型使用第二图片作为输入,提取人脸特征以及感兴趣区域,进一步判断第二图片是活体照片还是攻击照片,得出预测分数b。第三级攻击特征检测模型使用第一图片与第二图片作为输入,通过检测图片内的攻击特征来判断是否为活体,攻击特征包括画面非正常纹理信息以及形状等信息;包括画面摩尔纹、光影异常、照片手持、塑料、金属等非正常材质反光等,得出预测分数c。这些攻击特征在采集图像经过数据增强等处理后依然不会被破坏,且在不同场景下这些攻击特征均能保持稳定。第三级模型通过对第一图片全局检测以及第二图片人脸区域检测综合进行活体检测,由于第一图片本身经过HDR技术处理,以及第二图片经过图片裁剪处理,第三级模型训练的数据的采集规模可以大幅降低,降低模型训练成本,就可以得到泛化能力较好的模型。同时,攻击特征可以根据科技进步不断添加新的特征进行神经网络训练,得到新的攻击特征检测模型,提高模型检测正确率。三个级别的模型并行运行,最终计算三个模型得出的平均预测分数G=(a+b+c)/3,当G高于设定活体检测阈值时,判断其为活体,输出分类值S=1;当G低于设定活体检测阈值时,判断其为假体,输出分类值S=0。第三图片包含输出分类值为1的第二图片,第四图片包含输出分类值为1的第二图片的眼部特征图。
图片质量检测模块330通过输入第三图片、第四图片进行图片质量检测,通过多个级别的神经网络进行图片质量检测,每个级别都可以使用一个或多个模型,提高图片质量检测精度,覆盖更多图像质量检测标签。在本申请实施例中,使用两个级别的模型进行图片质量检测,两个级别分别使用神经网络训练的用户分类模型和眼部图像质量检测模型。第一级用户分类模型通过输入第三图片进行用户分类,通过提取的人脸特征确定眼部区域,判断待认证用户是否佩戴眼镜,眼部图像是否清晰等,进行整体判断;将第三图片中检测出的不清晰区域面积占第三图片总区域面积进行量化,得出预测量化值d%。第二级眼部图像质量检测模型通过输入第四图片的眼部特征进行特定质量因素检测,将第四图片中检测出的不清晰区域面积占第四图片总区域面积进行量化,得出预测量化值e%;其中,特定质量因素包括在补光拍摄下镜片形成的曝光点、反射的环境图像以及镜片发绿光等影响人证对比的因素。由于第一图片本身经过HDR技术处理,以及第二图片、第三图片、第四图片经过数据增强处理,模型训练的数据的采集规模可以大幅降低,降低模型训练成本,就可以得到泛化能力较好的模型。同时,特定质量因素可以根据采样环境、应用环境不同、待认证人员群体不同等因素,使用不同的特征进行神经网络训练,得到新的眼部图像质量检测模型,提高模型检测正确率。两个级别的模型并行运行,最终计算两个模型得出的量化值Q=(d%+e%)/2,输出量化值Q,Q的值越低代表采集的图像越清晰,Q的值越高代表采集的图像中存在较多干扰因素。
在本申请实施例中,将第一图片输入第一模型后,可以同时输出分类值和量化值。分类值表示对第一图片进行分类,分类值为1,判断其为活体;分类值为0,判断为假体攻击。输出量化值表示第一图片的图像质量,量化值的输出区间为0-100%,量化值越高说明第一图片的图片质量越低。
举例来说,若量化值的输出精度为1%,可以预先将量化值的输出区间设置为以下分段区间:[0,10%]、[11%,30%]、[31%,60%]、[61%,100%],若输出的量化值是85%,则表示第一图片上的曝光区域覆盖率预测量化值为85%,且对应于区间[61%,100%]。在输出分类值和量化值的数列中,共有5个数字,首位为分类值,后四位按顺序与上述分段区间一一对应,则第一图片输出的分类值为1时,进入图片质量检测模块输出量化值为85%时,与区间[61%,100%]对应的数字输出为1,与其他区间对应的数字输出为0,即第一图片输出的数列为10001。
输出数列也可以进一步作为第一图片质量的分类类型,例如,当第一图片输出的数列值为00000时,可以看出该图片判断为假体攻击;例如当第一图片输出的数列值为10001时,可以看出该图片被判断为活体照片,且采样取得的第一图片中曝光区域覆盖率预测量化值为在61%至100%之间,属于可能会影响认证校验的采集图像,因此可以将第一图片直接作废,重新进行采样,重新采集待认证人员图像。
在另一种可能的分类方式中,若输出的量化值是3%,则表示第一图片中曝光区域覆盖率预测量化值为3%,且对应于区间[0,10%],输出的分类值为11000,说明该图片上几乎没有影响人证对比校验的反光、曝光区域,采集的第一图片质量良好,则可以直接使用第一图片输入人证对比平台,通过官方数据库比对平台进行人证对比,确定待认证人员身份。
在另一种可能的分类方式中,若输出的量化值是23%,则表示第一图片中曝光区域覆盖率预测量化值为23%,且对应于区间[11%,30%],输出的分类值为10100,说明该图片上存在少量影响人证对比校验的反光、曝光区域,采集的第一图片质量中上,则可以通过步骤S230输入第二模型,提升图片质量,再将提升图片质量后的第一图片输入人证对比平台,通过官方数据库比对平台进行人证对比,确定待认证人员身份。
本申请实施例将待检测人员采集的图片输入到神经网络模型中,同时输出分类值与量化值,既能够快速获得待检测人员采集图片的活体检测情况,也能够对采集的图像质量进行一个量化评估,有助于更精确的对补光装置的补光参数进行调节分析。同时,相比于仅通过神经网络模型输出活体检测结果的方案相比,本申请同时输出分类值和量化值,可以对图片质量进行量化评估,在官方数据库平台采集的人像图像像素、对比度等质量参数发生优化或提升时,可以重新根据新的采集标准划分量化值区间,并将量化值对应于新区间,输出高质量可通过官方数据库认证的图片,而无需对图片重新进行分析、重新训练检测模型等,能够节省大量的人力物力资源。
即,可以直接将输出序列值为00000的第一图片认为是假体攻击或者无效采样;将输出序列值为11000的第一图片认为合格采样,可以直接传输到官方数据库进行人证对比;将输出序列值为10100、10010的第一图片认为预处理采样,需要通过步骤S230提升图片质量。
待处理图片包括经过第一模型后输出序列值为10100、10010的第一图片。为了提高人脸图像的清晰度,可以在不同补光参数下连续拍摄多张照片,并基于HDR技术合成获得第一图片。也就是说,合成获得的第一图片可以是一张图片,也可以是多张图片;第一图片可以是同一曝光参数下的图片,也可以是不同曝光参数下的图片。也就是说,待处理图片可以是一张图片,也可以是多张图片;待处理图片可以是同一曝光参数下的图片,也可以是不同曝光参数下的图片。
S230、将待处理图片输入第二模型,提升图片质量。第二模型通过神经网络模型识别至少一张待处理图片中的曝光覆盖区域,并获取不同曝光参数下待处理图片中曝光区域的人脸特征,通过还原曝光覆盖区域的人脸特征获得图片质量提升的待处理图片,图片质量提升后的待处理图片可作为预校验图片进行人证对比。
第二模型用于提升待处理图片的图片质量,该神经网络模型可以是机器学习模型如随机森林、人工神经网络、贝叶斯学习等或深度学习模型如卷积神经网络、深度置信网络、循环神经网络、堆栈自编码网络模型中的至少一种或者其几种的组合。
图4示出了第二模型的一种可能的模型结构,第二模型可以包括骨干网络410、信息交互层420和输出层430。骨干网络410用于提取图片中的特征来对特定对象的进行识别;信息交互层420用于对图片中特征进行处理,以得到达到Q值设定阈值的结果;输出层430则用于输出信息交互层420获得的结果。
结合图4可以看出,将待处理图片输入第二模型的骨干网络410,获取待处理图片的第一特征层和第二特征层。其中,第一特征层用于识别待处理图片中的曝光区域,第二特征层用于识别待处理图片中其他曝光参数下被第一特征覆盖区域的人脸特征,第一特征层和第二特征层可以分别包括至少一个从待处理图片中提取到的特征。
骨干网络410可以使用残差网络(residual network,ResNet),残差网络能够解决增加深度带来的退化问题,这样能够通过单纯地增加网络深度,来提高网络性能。残差网络一般会包含很多结构相同的子模块,通常会采用ResNet连接一个数字表示子模块重复的次数,比如ResNet50表示残差网络中有50个子模块。在一种可能的实施方式中,可以利用HS-ResNet50网络来对特征进行提取。在HS-ResNet50网络中,可以采用分层拆分模块(Hierarchical-Split Block),分层拆分模块包括多个拆分(split)和拼接(concatenate)的操作,共同构成该模块的多尺度特征提取,可以更加灵活、更加高效地提取特征。
具体来说,将待处理图片输入骨干网络410中,提取待处理图片中的特征。经过1×1卷积,待处理图片中的特征被拆分为了多组,每组具有相同的通道数,其中,通道数指的是待处理图片中的颜色通道数。每组特征进行下一层的3×3卷积,接着对该3×3卷积层卷积后的结果继续拆分,并与1×1卷积层卷积后的分组中的下一组特征组合,送入到之后的网络中进行卷积。这种结构使得网络学到更丰富的特征表示,更好的处理不同尺度的目标。
待处理图片经过上述处理后,可以获取到第一特征层和第二特征层。第一特征层中可以包括待处理图片在骨干网络410中提取到的至少一个第一特征,第一特征可以是与识别待处理图片中的曝光区域有关的特征;第二特征层中可以包括待处理图片在骨干网络410中提取到的至少一个第二特征,第二特征可以是待处理图片中与第一特征覆盖区域有关的人脸特征,例如,可以通过第二特征区分待处理图片中被第一特征覆盖区域有关的人脸特征,以便于还原待处理图片中的曝光覆盖区域的人脸特征。将第一特征层输入信息交互层420,获得第一全连接层;将第二特征层输入信息交互层420,获得第二全连接层。
结合图4可以看出,骨干网络410提取到的特征可以经过全局平均池化(globalaverage pooling),得到更加稀疏表达的特征,再分别对这些特征进行维度为512的全连接层的处理。也就是说,可以将获取到的第一特征层输入信息交互层,获得第一全连接层;类似地,可以将获取到的第二特征层输入信息交互层,获得第二全连接层。第一全连接层用于根据第一特征层对待处理图片进行识别以及区域标记,第二全连接层用于根据第二特征层对待处理图片进行识别以及区域标记。第一全连接层也可以称为第一dense层,第二全连接层也可以称为第二dense层。从待处理图片中提取的第一特征、第二特征可以在dense层经过非线性变化,进一步提取这些特征之间的关联。dense层可以设置为一层,也可以设置为多层。
在信息交互层420中,对待处理图片中第一特征区域以及第二特征区域进行特征融合以及图像拼接得到包含清晰可识别人脸特征的预校验图片,对输出序列值为10100的待处理图片可以通过n次信息交互层420进行图片处理,对输出序列值为10010的待处理图片可以通过2n次信息交互层420进行图片处理,其中n为非零自然数。在输出层430输出合格采样照片预校验图片。
S240、将预校验图片输入人证对比平台,进行第一次校验,校验成功后得到人证对比成功的预校验合格图片,校验失败则重新采样。在本申请实施例中,第一次校验所使用的人证对比平台为基于face++技术的开源数据库。
S250、将校验成功的预校验图片输入业务流,进行二次校验。
本申请实施例将待检测人员采集的图片输入到神经网络模型中,同时输出分类值与量化值,既能够快速获得待检测人员采集图片的活体检测情况,也能够对采集的图像质量进行一个量化评估,有助于更精确的对补光装置的补光参数进行调节分析。同时,相比于仅通过神经网络模型输出活体检测结果的方案相比,本申请同时输出分类值和量化值,可以对图片质量进行量化评估,在官方数据库平台采集的人像图像像素、对比度等质量参数发生优化或提升时,可以重新根据新的采集标准划分量化值区间,并将量化值对应于新区间,输出高质量可通过官方数据库认证的图片,而无需对图片重新进行分析、重新训练检测模型等,能够节省大量的人力物力资源。
在将第一图片输入第一模型之前,将所有采集的第一图片通过高动态光照渲染(High-Dynamic Range,HDR)技术将不同曝光参数下的图像进行合成,压制过曝光区域提升弱光部分的层次与细节,以得到较为清晰的采集图像,这将减少训练模型所需要的样本素材量,缩短了模型训练时间,节约了训练的人力与物力,降低模型训练成本。同时,第一模型输出的量化值可以对补光装置的补光参数进行反馈,通过调节不同环境下的补光参数可以得到更高质量的采集图像,提高检测的通过率与准确性。
在输入业务流进行二次校验之前,先使用预校验图片在人证对比平台进行第一次校验,可以大大提高业务流中的校验速率,同时提高业务办理的效率,减少重复办理的时间成本以及资源成本,提升用户体验。
上述利用神经网络模型进行图片质量提升的方法也可以对第一模型进行训练,在训练过程中,可以利用损失函数对模型中各个参数进行调整,以使得输出的结果与真实结果尽可能地接近。
本申请的损失函数主要由两部分组成:量化损失函数Lreg和融合损失函数Lfus。具体地,损失函数可以为式(1):
其中,α表示量化损失函数的权重、β表示融合损失函数的权重。
量化损失部分采用均分误差函数。量化损失函数Lreg定义如下式(2):
其中,表示预测的量化值,si表示真实的量化值,N为模型训练的输入样本数量。
融合损失函数Lfus用于对模型进行辅助训练,可以实现全局信息与局部信息的聚合。
本申请所采用的采样方式为活体静默采样,不需要待监测用户配合机器做出相应的动作与表情,提高采样速率的同时也可以提升用户体验。
本申请所限定的静默活体检测方法与装置可以应用于运营商平台,例如,用户在前往运营商营业厅进行开卡等需要人证对比的业务时,可以通过本申请提供的静默活体检测方法与装置进行采样以及活体检测、人证对比。由于在营业厅办理业务直接在业务流平台进行人证对比失败后,会有一定的等待时间,对办理业务的效率以及用户体验都造成一定的影响。因为可以通过本申请限定的静默活体检测方法与装置先在人证对比平台进行第一次校验,第一次校验成功可以筛选出符合营业厅认证标准的采集图像,在业务流平台进行二次校验时通过率会得到提升;提高业务办理的速度以及用户满意度。
本申请所限定的静默活体检测方法与装置不仅可以应用于室内运营商营业厅,也可应用于快递等移动开卡业务。用户前期可以通过上传身份证件等实名认证方式在线购买或获取电话卡,在签收快递时由专业派送人员协助进行人员身份认证,完成开卡工作。专业派送人员可以通过本申请限定的静默活体检测装置采集待认证人员图像,并通过本申请所限定的静默活体检测方法进行活体认证,通过人证对比平台进行第一级校验,并通过业务流平台进行二次校验,校验成功后完成开卡操作;移动开卡在保证用户身份信息安全性的前提下,用户不需要前往营业厅即可完成开卡工作,可以为用户提供更多的便利性,提升用户体验。
以上所描述的本申请的使用场景仅为示意性地举例描述,不对本申请的使用场景造成任何限定。
以上结合了图1至图4详细描述了本申请实施例提供的技术方案,下面结合图5介绍本申请实施例提供的静默活体检测的装置。如图5所示,该装置500包括采集单元501、处理单元502和对比单元503,可以作为静默活体监测的装置,实现上文中结合图2至图4描述的方法。
在一个实施例中,采集单元501用于获取第一图片,第一图片包括待检测的人员照片;处理单元502,用于将第一图片输入第一模型,输出分类值和量化值,第一模型用于对第一图片进行活体检测和图片质量检测,分类值用于确定第一图片是否为假体攻击,量化值用于确定第一图片的图片质量。
在另一个实施例中,第一模型包括人像裁剪模块,处理单元502用于获取裁剪后的第二图片,并将第一图片和第二图片输入活体检测模块中的三级模型;处理单元502还用于获取活体检测模块输出的第三图片与第四图片以及分类值,并将第三图片与第四图片输入图片质量检测模块的二级模型;处理单元还用于获取图片质量监检测模型输出的量化值;处理单元502还用于设定量化值的区间,获取分类值与量化值组成的输出序列值;处理单元502还用于获取特定输出序列值的待处理图片。
在另一个实施例中,第二模型包括信息交互层,处理单元502用于获取待处理图片的第一特征层和第二特征层,第一特征层用于识别待处理图片中的曝光区域,第二特征层用于识别待处理图片中其他曝光参数下被第一特征覆盖区域的人脸特征;处理单元502还用于将第一特征层输入信息交互层,获得第一全连接层,第一全连接层用于根据第一特征层对待处理图片进行识别以及区域标记,处理单元502还用于将第二特征层输入信息交互层,获得第二全连接层,第二全连接层用于根据第二特征层对待处理图片进行识别以及区域标记,处理单元502还用于根据信息交互层的处理结果输出预校验图片。
在另一个实施例中,第二模型还包括骨干网络,处理单元502用于将待处理图片输入骨干网络,获取待处理图片的第一特征层和第二特征层。
在另一个实施例中,对比单元503用于将预校验图片输入人证对比平台,并获取校验成功的预校验图片。
在另一个实施例中,对比单元503用于将校验成功的预校验图片输入业务流,进行二次校验。
本申请实施例中的方法,如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在计算机可读存储介质中,基于这样的理解,本申请的技术方案或技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。该存储介质至少包括:U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。
Claims (17)
1.一种静默活体检测的方法,其特征在于,包括:
将采集到的至少一张第一图片输入第一模型,获取所述第一图片的分类值S和量化值Q,所述第一模型包括人像裁剪模块、活体检测模块以及图片质量检测模块;
所述第一模型用于检测所述第一图片中的活体检测与图片质量检测,所述分类值S用于确定所述第一图片是否为活体,所述量化值Q用于确定所述第一图片的图片质量;
将所述分类值S指示为活体、且量化值Q处于设定的阈值区间的所述第一图片输出作为待处理图片;
将所述待处理图片输入第二模型,获取所述待处理图片经过图像质量提升后的预校验图片,所述第二模型用于提升图片质量,还原曝光覆盖区域的人脸特征;
将所述预校验图片输入人证对比平台,进行第一次校验,将校验成功的所述预校验图片输入业务流,进行二次校验。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
采集待认证人员图像,所述待认证人员图像包括开启补光装置时,在不同曝光参数下连续拍摄采集的至少一张待认证人员图像,
将所述采集的至少一张待认证人员图像通过高动态光照渲染HDR技术进行图像合成,得到所述第一图片。
3.根据权利要求1所述的方法,其特征在于,所述第一模型包括人像裁剪模块、活体检测模块以及图片质量检测模块,包括:
将所述第一图片输入所述第一模型的所述人像裁剪模块,获取所述第一图片经过所述人像裁剪模块后保留的人像区域以及背景感兴趣区域的第二图片;
将所述第一图片、所述第二图片输入所述第一模型的活体检测模块,所述活体检测模块包括三级模型,分别为活体分类检测模型、人脸区域活体检测模型以及攻击特征检测模型,
将所述第一图片输入所述活体分类检测模型,获取预测分数a,
将所述第二图片输入所述人脸区域活体检测模型,获取预测分数b,
将所述第一图片、所述第二图片输入所述攻击特征检测模型,获取预测分数c,
计算平均预测分数G,G=(a+b+c)/3,所述平均预测分数G大于设定活体检测阈值时,判定所述第一图片包含的待认证人员图像为活体,获取指示为活体的所述分类值S,
所述活体检测模块输出第三图片、第四图片,所述第三图片包括所述分类值S指示为活体的所述第二图片,所述第四图片包括所述分类值S指示为活体的所述第二图片的眼部特征图;
将所述第三图片、所述第四图片输入所述第一模型的图片质量检测模块,获取所述量化值Q,所述图片质量检测模块包括二级模型,分别为用户分类模型和眼部图像质量检测模型。
4.根据权利要求2所述的方法,其特征在于,所述第二模型包括骨干网络与信息交互层,包括:
将所述待处理图片输入所述第二模型的所述骨干网络,获取所述待处理图片的第一特征层和第二特征层;
所述第一特征层用于识别所述待处理图片中的曝光区域,所述第二特征层用于识别所述待处理图片中所述不同曝光参数下被第一特征覆盖区域的人脸特征;
将所述第一特征层输入所述信息交互层,获得第一全连接层,所述第一全连接层用于根据所述第一特征层对所述待处理图片进行识别以及区域标记;
将所述第二特征层输入所述信息交互层,获得第二全连接层,所述第二全连接层用于根据所述第二特征层对所述待处理图片进行识别以及区域标记。
5.根据权利要求1至4中任一项所述的方法,其特征在于,所述第一模型的所述活体检测模块包括三级模型,分别为活体分类检测模型、人脸区域活体检测模型以及攻击特征检测模型,包括:
将待检测图片输入所述活体检测模块的所述三级检测模型,获取所述待检测图片的预测分数a、b、c,通过计算获取平均预测分数G=(a+b+c)/3,
当所述平均预测分数G高于设定的活体检测阈值时,判断检测图片为活体,输出分类值S=1,
当所述平均预测分数G低于设定的活体检测阈值时,判断检测图片为假体攻击,输出分类值S=0。
6.根据权利要求1至4中任一项所述的方法,其特征在于,所述第一模型的图片质量检测模块包含二级模型,分别为用户分类模型、眼部图像质量检测模型,包括:
将待检测图片输入所述图片质量检测模块的所述二级检测模型,获取所述待检测图片的预测量化值d%、e%,通过计算获取所述量化值Q=(d%+e%)/2。
7.根据权利要求1至4中任一项所述的方法,其特征在于,所述方法还包括:
将所述第一图片输入所述第一模型获取输出序列值,
所述分类值S与所述量化值Q组成所述输出序列值,通过所述输出序列值可直观判断所述第一图片是否为活体以及图片质量区间,
所述输出序列值位数与设定的所述量化值Q输出区间个数有关,
所述序列值首位为所述分类值S,其后为所述量化值Q所属的输出区间对应的数字输出。
8.一种静默活体检测的装置,其特征在于,包括:
采集单元,用于采集至少一张第一图片,
处理单元,用于将采集到的至少一张第一图片输入第一模型,获取所述第一图片的分类值S和量化值Q,所述第一模型包括人像裁剪模块、活体检测模块以及图片质量检测模块;
所述第一模型用于检测所述第一图片中的活体检测与图片质量检测,所述分类值S用于确定所述第一图片是否为活体,所述量化值Q用于确定所述第一图片的图片质量;
所述处理单元,用于将所述分类值S指示为活体、且量化值Q处于设定的阈值区间的所述第一图片输出作为待处理图片;
所述处理单元,用于将所述待处理图片输入第二模型,获取所述待处理图片经过图像质量提升后的预校验图片,所述第二模型用于提升图片质量,还原曝光覆盖区域的人脸特征;
对比单元,用于将所述预校验图片输入人证对比平台,进行第一次校验,将校验成功的所述预校验图片输入业务流,进行二次校验。
9.根据权利要求8所述的装置,其特征在于,所述装置还包括:
所述采集单元,用于采集待认证人员图像,所述待认证人员图像包括开启补光装置时,在不同曝光参数下连续拍摄采集的至少一张待认证人员图像,
所述处理单元,用于将所述采集的至少一张待认证人员图像通过高动态光照渲染HDR技术进行图像合成,得到所述第一图片。
10.根据权利要求8所述的装置,其特征在于,所述第一模型包括人像裁剪模块、活体检测模块以及图片质量检测模块,包括:
所述处理单元,用于将所述第一图片输入所述第一模型的所述人像裁剪模块,获取所述第一图片经过所述人像裁剪模块后保留的人像区域以及背景感兴趣区域的第二图片;
所述处理单元,用于将所述第一图片、所述第二图片输入所述第一模型的活体检测模块,所述活体检测模块包括三级模型,分别为活体分类检测模型、人脸区域活体检测模型以及攻击特征检测模型,
所述处理单元用于将所述第一图片输入所述活体分类检测模型,获取预测分数a,
所述处理单元用于将所述第二图片输入所述人脸区域活体检测模型,获取预测分数b,
所述处理单元用于将所述第一图片、所述第二图片输入所述攻击特征检测模型,获取预测分数c,
所述处理单元用于计算平均预测分数G,G=(a+b+c)/3,所述平均预测分数G大于设定活体检测阈值时,判定所述第一图片包含的待认证人员图像为活体,获取指示为活体的所述分类值S,
所述处理单元,用于获取所述活体检测模块输出第三图片、第四图片,所述第三图片包括所述分类值S指示为活体的所述第二图片,所述第四图片包括所述分类值S指示为活体的所述第二图片的眼部特征图;
所述处理单元,用于将所述第三图片、所述第四图片输入所述第一模型的图片质量检测模块,获取所述量化值Q,所述图片质量检测模块包括二级模型,分别为用户分类模型和眼部图像质量检测模型。
11.根据权利要求9所述的装置,其特征在于,所述第二模型包括骨干网络与信息交互层,包括:
所述处理单元,用于将所述待处理图片输入所述第二模型的所述骨干网络,获取所述待处理图片的第一特征层和第二特征层;
所述第一特征层用于识别所述待处理图片中的曝光区域,所述第二特征层用于识别所述待处理图片中所述不同曝光参数下被第一特征覆盖区域的人脸特征;
所述处理单元,用于将所述第一特征层输入所述信息交互层,获得第一全连接层,所述第一全连接层用于根据所述第一特征层对所述待处理图片进行识别以及区域标记;
所述处理单元,用于将所述第二特征层输入所述信息交互层,获得第二全连接层,所述第二全连接层用于根据所述第二特征层对所述待处理图片进行识别以及区域标记。
12.根据权利要求8至11中任一项所述的装置,其特征在于,所述第一模型的所述活体检测模块包括三级模型,分别为活体分类检测模型、人脸区域活体检测模型以及攻击特征检测模型,包括:
所述处理单元,用于将待检测图片输入所述活体检测模块的所述三级检测模型,获取所述待检测图片的预测分数a、b、c,通过计算获取平均预测分数G=(a+b+c)/3,
所述处理单元,用于当所述平均预测分数G高于设定的活体检测阈值时,判断检测图片为活体,输出分类值S=1,
所述处理单元,用于当所述平均预测分数G低于设定的活体检测阈值时,判断检测图片为假体攻击,输出分类值S=0。
13.根据权利要求8至11中任一项所述的装置,其特征在于,所述第一模型的图片质量检测模块包含二级模型,分别为用户分类模型、眼部图像质量检测模型,包括:
所述处理单元,用于将待检测图片输入所述图片质量检测模块的所述二级检测模型,获取所述待检测图片的预测量化值d%、e%,通过计算获取所述量化值Q=(d%+e%)/2。
14.根据权利要求8至11中任一项所述的装置,其特征在于,所述装置还包括:
所述处理单元,用于将所述第一图片输入所述第一模型获取输出序列值,
所述分类值S与所述量化值Q组成所述输出序列值,通过所述输出序列值可直观判断所述第一图片是否为活体以及图片质量区间,
所述输出序列值位数与设定的所述量化值Q输出区间个数有关,
所述序列值首位为所述分类值S,其后为所述量化值Q所属的输出区间对应的数字输出。
15.一种计算机可读存储介质,其特征在于,包括计算机程序,当其在计算机设备上运行时,使得所述计算机设备中的处理单元执行如权利要求1至7中任一项所述的方法。
16.一种芯片,其特征在于,所述芯片包括处理器与数据接口,所述处理器通过所述数据接口读取存储器上存储的指令,以执行权利要求1至7中任一项所述方法。
17.一种用于静默活体检测装置,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述存储器中存储的所述计算机程序,以使得所述静默活体检测装置执行权利要求1至7中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310094720.8A CN116259091B (zh) | 2023-01-18 | 2023-01-18 | 一种静默活体检测的方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310094720.8A CN116259091B (zh) | 2023-01-18 | 2023-01-18 | 一种静默活体检测的方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116259091A CN116259091A (zh) | 2023-06-13 |
CN116259091B true CN116259091B (zh) | 2023-11-10 |
Family
ID=86685741
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310094720.8A Active CN116259091B (zh) | 2023-01-18 | 2023-01-18 | 一种静默活体检测的方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116259091B (zh) |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017025573A1 (en) * | 2015-08-10 | 2017-02-16 | Yoti Ltd | Liveness detection |
CN110135259A (zh) * | 2019-04-15 | 2019-08-16 | 深圳壹账通智能科技有限公司 | 静默式活体图片识别方法、装置、计算机设备和存储介质 |
CN110544333A (zh) * | 2019-08-13 | 2019-12-06 | 成都电科慧安科技有限公司 | 一种门禁控制系统及其控制方法 |
CN111079576A (zh) * | 2019-11-30 | 2020-04-28 | 腾讯科技(深圳)有限公司 | 活体检测方法、装置、设备及存储介质 |
CN111368780A (zh) * | 2020-03-13 | 2020-07-03 | 浙江大华技术股份有限公司 | 一种基于指纹和指静脉的联合识别处理方法及系统 |
CN111368601A (zh) * | 2018-12-26 | 2020-07-03 | 北京市商汤科技开发有限公司 | 活体检测方法和装置、电子设备和计算机可读存储介质 |
CN111967319A (zh) * | 2020-07-14 | 2020-11-20 | 高新兴科技集团股份有限公司 | 基于红外和可见光的活体检测方法、装置、设备和存储介质 |
CN112329648A (zh) * | 2020-11-09 | 2021-02-05 | 东北大学 | 基于面部表情交互的人际关系行为模式识别方法 |
CN113269149A (zh) * | 2021-06-24 | 2021-08-17 | 中国平安人寿保险股份有限公司 | 活体人脸图像的检测方法、装置、计算机设备及存储介质 |
CN114140844A (zh) * | 2021-11-12 | 2022-03-04 | 北京海鑫智圣技术有限公司 | 人脸静默活体检测方法、装置、电子设备及存储介质 |
CN114742204A (zh) * | 2022-04-08 | 2022-07-12 | 黑龙江惠达科技发展有限公司 | 检测秸秆覆盖率的方法和装置 |
CN114764948A (zh) * | 2021-01-11 | 2022-07-19 | 腾讯科技(深圳)有限公司 | 活体检测方法、装置、设备及存储介质 |
CN114894337A (zh) * | 2022-07-11 | 2022-08-12 | 深圳市大树人工智能科技有限公司 | 一种用于室外人脸识别测温方法及装置 |
CN115481381A (zh) * | 2022-09-23 | 2022-12-16 | 浪潮金融信息技术有限公司 | 一种用于自助终端的人证对比方法、装置及介质 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10546183B2 (en) * | 2015-08-10 | 2020-01-28 | Yoti Holding Limited | Liveness detection |
CN110839129A (zh) * | 2018-08-17 | 2020-02-25 | Oppo广东移动通信有限公司 | 图像处理方法、装置以及移动终端 |
CN110503023A (zh) * | 2019-08-19 | 2019-11-26 | 深圳市商汤科技有限公司 | 活体检测方法及装置、电子设备和存储介质 |
-
2023
- 2023-01-18 CN CN202310094720.8A patent/CN116259091B/zh active Active
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017025573A1 (en) * | 2015-08-10 | 2017-02-16 | Yoti Ltd | Liveness detection |
CN111368601A (zh) * | 2018-12-26 | 2020-07-03 | 北京市商汤科技开发有限公司 | 活体检测方法和装置、电子设备和计算机可读存储介质 |
CN110135259A (zh) * | 2019-04-15 | 2019-08-16 | 深圳壹账通智能科技有限公司 | 静默式活体图片识别方法、装置、计算机设备和存储介质 |
CN110544333A (zh) * | 2019-08-13 | 2019-12-06 | 成都电科慧安科技有限公司 | 一种门禁控制系统及其控制方法 |
CN111079576A (zh) * | 2019-11-30 | 2020-04-28 | 腾讯科技(深圳)有限公司 | 活体检测方法、装置、设备及存储介质 |
CN111368780A (zh) * | 2020-03-13 | 2020-07-03 | 浙江大华技术股份有限公司 | 一种基于指纹和指静脉的联合识别处理方法及系统 |
CN111967319A (zh) * | 2020-07-14 | 2020-11-20 | 高新兴科技集团股份有限公司 | 基于红外和可见光的活体检测方法、装置、设备和存储介质 |
CN112329648A (zh) * | 2020-11-09 | 2021-02-05 | 东北大学 | 基于面部表情交互的人际关系行为模式识别方法 |
CN114764948A (zh) * | 2021-01-11 | 2022-07-19 | 腾讯科技(深圳)有限公司 | 活体检测方法、装置、设备及存储介质 |
CN113269149A (zh) * | 2021-06-24 | 2021-08-17 | 中国平安人寿保险股份有限公司 | 活体人脸图像的检测方法、装置、计算机设备及存储介质 |
CN114140844A (zh) * | 2021-11-12 | 2022-03-04 | 北京海鑫智圣技术有限公司 | 人脸静默活体检测方法、装置、电子设备及存储介质 |
CN114742204A (zh) * | 2022-04-08 | 2022-07-12 | 黑龙江惠达科技发展有限公司 | 检测秸秆覆盖率的方法和装置 |
CN114894337A (zh) * | 2022-07-11 | 2022-08-12 | 深圳市大树人工智能科技有限公司 | 一种用于室外人脸识别测温方法及装置 |
CN115481381A (zh) * | 2022-09-23 | 2022-12-16 | 浪潮金融信息技术有限公司 | 一种用于自助终端的人证对比方法、装置及介质 |
Non-Patent Citations (5)
Title |
---|
Face Liveness Detection Based on Perceptual Image Quality Assessment Features with Multi-scale Analysis;Chun-Hsiao Yeh等;《2018 IEEE Winter Conference on Applications of Computer Vision》;第49-56页 * |
利用场景光照识别优化的双目活体检测方法;林峰等;《智能系统学报》;第15卷(第1期);第160-165页 * |
基于人脸识别的流动人口信息采集系统设计与实现;张诚;《中国优秀硕士学位论文全文数据库 社会科学Ⅱ辑》(第7期);第H125-2页 * |
基于深度学习的静默式人脸活体检测;张迪;《中国优秀硕士学位论文全文数据库 信息科技辑》(第3期);第I138-2267页 * |
监控视频中人群异常事件检测方法的研究;费风长;《中国博士学位论文全文数据库 信息科技辑》(第4期);第I138-32页 * |
Also Published As
Publication number | Publication date |
---|---|
CN116259091A (zh) | 2023-06-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109871780B (zh) | 一种人脸质量判决方法、系统及人脸识别方法、系统 | |
US8842889B1 (en) | System and method for automatic face recognition | |
CN109948476B (zh) | 一种基于计算机视觉的人脸皮肤检测系统及其实现方法 | |
CN112651333B (zh) | 静默活体检测方法、装置、终端设备和存储介质 | |
CN111401374A (zh) | 基于多任务的模型训练方法、字符识别方法及装置 | |
CN110532746B (zh) | 人脸校验方法、装置、服务器及可读存储介质 | |
US9378406B2 (en) | System for estimating gender from fingerprints | |
CN112307937A (zh) | 一种基于深度学习的身份证质检方法及系统 | |
CN114842524A (zh) | 一种基于不规则显著性像素簇的人脸鉴伪方法 | |
CN111582278B (zh) | 人像分割方法、装置及电子设备 | |
CN115115552A (zh) | 图像矫正模型训练及图像矫正方法、装置和计算机设备 | |
CN112907206B (zh) | 一种基于视频对象识别的业务审核方法、装置及设备 | |
CN116259091B (zh) | 一种静默活体检测的方法和装置 | |
KR102230559B1 (ko) | 데이터 프로그래밍에 기반한 레이블링 모델 생성 방법 및 장치 | |
CN116246303A (zh) | 用于模型跨域训练的样本构建方法、装置、设备及介质 | |
CN115719428A (zh) | 基于分类模型的人脸图像聚类方法、装置、设备及介质 | |
CN110458024B (zh) | 活体检测方法及装置和电子设备 | |
CN112800926A (zh) | 一种人脸检测与识别方法 | |
KR20210031444A (ko) | 데이터 프로그래밍에 기반한 레이블링 모델 생성 방법 및 장치 | |
CN110738137A (zh) | 一种人流量统计方法及装置 | |
CN112329497A (zh) | 一种目标识别方法、装置及设备 | |
CN116150800B (zh) | 一种基于大数据的计算机信息安全监控系统及方法 | |
CN118212637B (zh) | 一种面向文字识别的图像质量自动评估方法及系统 | |
CN115953819B (zh) | 人脸识别模型的训练方法、装置、设备和存储介质 | |
CN117558035B (zh) | 一种基于图像技术的人物身份识别系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |