CN117037292A - 一种活体检测方法、装置、存储介质及电子设备 - Google Patents
一种活体检测方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN117037292A CN117037292A CN202311049428.0A CN202311049428A CN117037292A CN 117037292 A CN117037292 A CN 117037292A CN 202311049428 A CN202311049428 A CN 202311049428A CN 117037292 A CN117037292 A CN 117037292A
- Authority
- CN
- China
- Prior art keywords
- model
- living body
- domain
- sample
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 442
- 238000003860 storage Methods 0.000 title claims abstract description 11
- 238000012545 processing Methods 0.000 claims abstract description 60
- 238000013145 classification model Methods 0.000 claims abstract description 32
- 238000000034 method Methods 0.000 claims description 69
- 238000012549 training Methods 0.000 claims description 63
- 238000009826 distribution Methods 0.000 claims description 28
- 230000008569 process Effects 0.000 claims description 25
- 230000003044 adaptive effect Effects 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 10
- 230000011218 segmentation Effects 0.000 claims description 7
- 239000000203 mixture Substances 0.000 claims description 6
- 230000008030 elimination Effects 0.000 claims description 5
- 238000003379 elimination reaction Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 description 17
- 238000004891 communication Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 230000004927 fusion Effects 0.000 description 8
- 230000006978 adaptation Effects 0.000 description 7
- 238000001574 biopsy Methods 0.000 description 7
- 238000001727 in vivo Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000007477 logistic regression Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/40—Spoof detection, e.g. liveness detection
- G06V40/45—Detection of the body part being alive
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0499—Feedforward networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/84—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using probabilistic graphical models from image or video features, e.g. Markov models or Bayesian networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Human Computer Interaction (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本说明书公开了一种活体检测方法、装置、存储介质及电子设备,其中,方法包括:基于客户端所处目标场景下的参考对象检测图像采用域分类模型确定目标场景对应的至少一个目标域,基于目标域确定针对基础活体检测模型的至少一个目标域插件模型,将基础活体检测模型和目标域插件模型发送至客户端,客户端基于基础活体检测模型和目标域插件模型得到目标活体检测模型并基于目标活体检测模型在目标场景下进行活体检测处理。
Description
技术领域
本说明书涉及计算机技术领域,尤其涉及一种活体检测方法、装置、存储介质及电子设备。
背景技术
随着计算机技术的快速发展,生物识别技术被广泛应用到人们的生产和生活当中。例如刷脸支付,面部门禁,面部考勤以及面部进站等技术都需要依赖生物识别,但是,随着生物识别技术越来越广泛的应用,生物识别场景下的活体检测需求也越来越凸出,例如面部考勤、刷脸进站、刷脸支付等生物识别场景得到了广泛应用,在生物识别为人们提供方便的同时,也带来了新的风险挑战。威胁生物识别系统安全的最常见的手段为活体攻击,即通过设备屏幕、打印照片等手段尝试绕过图像生物验证的手法,因此在生物识别场景中活体检测尤为重要。
发明内容
本说明书提供了一种活体检测方法、装置、存储介质及电子设备,所述技术方案如下:
第一方面,本说明书提供了一种活体检测方法,应用于服务平台,所述方法包括:
获取客户端所处目标场景下的参考对象检测图像;
基于所述参考对象检测图像采用域分类模型确定所述目标场景对应的至少一个目标域;
基于所述目标域确定针对基础活体检测模型的至少一个目标域插件模型;
将所述基础活体检测模型和所述目标域插件模型发送至所述客户端,以使所述客户端基于所述基础活体检测模型和所述目标域插件模型得到目标活体检测模型并基于所述目标活体检测模型在所述目标场景下进行活体检测处理。
第二方面,本说明书提供了一种活体检测方法,应用于客户端,所述方法包括:
获取所处目标场景下的参考对象检测图像;
将所述参考对象检测图像发送至服务平台,以使所述服务平台基于所述参考对象检测图像采用域分类模型确定所述目标场景对应的至少一个目标域,基于所述目标域确定针对基础活体检测模型的至少一个目标域插件模型;
获取服务平台发送的所述基础活体检测模型和所述目标域插件模型,基于所述基础活体检测模型和所述目标域插件模型得到目标活体检测模型,并基于所述目标活体检测模型在所述目标场景下进行活体检测处理。
第三方面,本说明书提供了一种活体检测装置,所述装置包括:
数据处理模块,用于获取客户端所处目标场景下的参考对象检测图像;
所述数据处理模块,用于基于所述参考对象检测图像采用域分类模型确定所述目标场景对应的至少一个目标域;
模型确定模块,用于基于所述目标域确定针对基础活体检测模型的至少一个目标域插件模型;
模型发送模块,用于将所述基础活体检测模型和所述目标域插件模型发送至所述客户端,以使所述客户端基于所述基础活体检测模型和所述目标域插件模型得到目标活体检测模型并基于所述目标活体检测模型在所述目标场景下进行活体检测处理。
第四方面,本说明书提供了一种活体检测装置,所述装置包括:
图像获取模块,用于获取所处目标场景下的参考对象检测图像;
图像发送模块,用于将所述参考对象检测图像发送至服务平台,以使所述服务平台基于所述参考对象检测图像采用域分类模型确定所述目标场景对应的至少一个目标域,基于所述目标域确定针对基础活体检测模型的至少一个目标域插件模型;
活体检测模块,用于获取服务平台发送的所述基础活体检测模型和所述目标域插件模型,基于所述基础活体检测模型和所述目标域插件模型得到目标活体检测模型,并基于所述目标活体检测模型在所述目标场景下进行活体检测处理。
第三方面,本说明书提供一种计算机存储介质,所述计算机存储介质存储有至少一条指令,所述指令适于由处理器加载并执行本说明书一个或多个实施例的方法步骤。
第四方面,本说明书提供一种计算机程序产品,所述计算机程序产品存储有至少一条指令,所述指令适于由处理器加载并执行本说明书一个或多个实施例的方法步骤。
第五方面,本说明书提供一种电子设备,可包括:处理器和存储器;其中,所述存储器存储有计算机程序,所述计算机程序适于由所述处理器加载并执行本说明书一个或多个实施例的方法步骤。
本说明书一些实施例提供的技术方案带来的有益效果至少包括:
在本说明书一个或多个实施例中,基于客户端所处目标场景下的参考对象检测图像采用域分类模型确定目标场景对应的至少一个目标域,基于目标域确定针对基础活体检测模型的至少一个目标域插件模型,将基础活体检测模型和目标域插件模型发送至客户端,客户端可方便基于基础活体检测模型和目标域插件模型得到目标活体检测模型并基于目标活体检测模型在目标场景下进行活体检测处理,在新的目标场景中可以达到比较好的活体检测性能,新的目标场景不需要对活体检测模型进行重训练,节省了实际,提升了活体检测效率,提升了新场景下的模型适配效率。
附图说明
为了更清楚地说明本说明书或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本说明书的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本说明书提供的一种活体检测系统的场景示意图;
图2是本说明书提供的一种活体检测方法的流程示意图;
图3是本说明书提供的一种活体检测的场景示意图;
图4是本说明书提供的另一种活体检测方法的流程示意图;
图5是本说明书提供的一种从对象检测图像样本中确定样本域的流程示意图;
图6是本说明书提供的一种基础活体检测模型训练的流程示意图;
图7是本说明书提供的一种样本域插件模型训练的流程示意图;
图8是本说明书提供的一种活体检测装置的结构示意图;
图9是本说明书提供的一种活体检测装置的结构示意图;
图10是本说明书提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本说明书中的附图,对本说明书中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本说明书一部分实施例,而不是全部的实施例。基于本说明书中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本说明书保护的范围。
在本说明书的描述中,需要理解的是,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性。在本说明书的描述中,需要说明的是,除非另有明确的规定和限定,“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本说明书中的具体含义。此外,在本说明书的描述中,除非另有说明,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
在相关技术中,为了检测活体攻击,各类活体检测方法被提出,常通过针对一些参考部署场景训练活体检测模型来进行活体检测,但是活体检测在面临与参考部署场景不同的新场景时,就会客观存在跨场景适配问题,在参考部署场景下训练的活体检测模型在新场景下需要重新训练、重新采集样本图像、重新对样本进行标注,这也就导致了仍然存在着巨大的挑战;
下面结合具体的实施例对本说明书进行详细说明。
请参见图1,为本说明书提供的一种活体检测系统的场景示意图。如图1所示,所述活体检测系统至少可以包括客户端集群和服务平台100。
所述客户端集群可以包括至少一个客户端,如图1所示,具体包括用户1对应的客户端1、用户2对应的客户端2、…、用户n对应的客户端n,n为大于0的整数。
客户端集群中的各客户端可以是具备通信功能的电子设备,该电子设备包括但不限于:可穿戴设备、手持设备、个人电脑、平板电脑、车载设备、智能手机、计算设备或连接到无线调制解调器的其它处理设备等。在不同的网络中电子设备可以叫做不同的名称,例如:用户设备、接入客户端、用户单元、用户站、移动站、移动台、远方站、远程客户端、移动设备、用户客户端、客户端、无线通信设备、用户代理或用户装置、蜂窝电话、无绳电话、个人数字处理(personal digital assistant,PDA)、5G网络或未来演进网络中的电子设备等。
所述服务平台100可以是单独的服务器设备,例如:机架式、刀片、塔式、或者机柜式的服务器设备,或采用工作站、大型计算机等具备较强计算能力硬件设备;也可以是采用多个服务器组成的服务器集群,所述服务集群中的各服务器可以是以对称方式组成的,其中每台服务器在事务链路中功能等价、地位等价,各服务器均可单独对外提供服务,所述单独提供服务可以理解为无需另外的服务器的辅助。
在本说明书的一个或多个实施例中,服务平台100与客户端集群中的至少一个客户端可建立通信连接,基于该通信连接完成活体检测过程中数据的交互,诸如线上事务数据交互。
需要说明的是,服务平台100与客户端集群中的至少一个客户端通过网络建立通信连接进行交互通信,其中,网络可以是无线网络,也可以是有线网络,无线网络包括但不限于蜂窝网络、无线局域网、红外网络或蓝牙网络,有线网络包括但不限于以太网、通用串行总线(universal serial bus,USB)或控制器局域网络。在说明书一个或多个实施例中,使用包括超文本标记语言(Hyper Text Mark-up Language,HTML)、可扩展标记语言(Extensible Markup Language,XML)等的技术和/或格式来代表通过网络交换的数据(如目标压缩包)。此外还可以使用诸如安全套接字层(Secure Socket Layer,SSL)、传输层安全(Transport Layer Security,TLS)、虚拟专用网络(Virtual Private Network,VPN)、网际协议安全(Internet Protocol Security,IPsec)等常规加密技术来加密所有或者一些链路。在另一些实施例中,还可以使用定制和/或专用数据通信技术取代或者补充上述数据通信技术。
本说明书所提供的活体检测系统实施例与一个或多个实施例中的所述活体检测方法属于同一构思,在说明书一个或多个实施例涉及的所述活体检测方法对应的执行主体可以是上述服务平台100;在说明书一个或多个实施例涉及的所述活体检测方法对应的执行主体也可以是客户端所对应的电子设备,具体基于实际应用场景确定。活体检测系统实施例其体现实现过程可详见下述的方法实施例,这里不再赘述。
基于图1所示的场景示意图,下面对本说明书一个或多个实施例提供的活体检测方法进行详细介绍。
请参见图2,为本说明书一个或多个实施例提供了一种活体检测方法的流程示意图,该方法可依赖于计算机程序实现,可运行于基于冯诺依曼体系的活体检测装置上。该计算机程序可集成在应用中,也可作为独立的工具类应用运行。所述活体检测装置可以为客户端。
具体的,该活体检测方法包括:
可以理解的,活体检测是在一些身份验证场景确定对象真实生理特征的检测方式,在图像活体检测应用中,图像活体检测需要基于所获取的目标活体检测图像验证该图像是否为真实活体对象操作。图像活体检测需要可有效抵御照片、换脸、面具、遮挡以及屏幕翻拍等常见的活体攻击手段,从而帮助甄别欺诈行为,保障用户的权益;
S102:获取所处目标场景下的参考对象检测图像;
本说明书一个或多个实施例中,客户端所处的新的需要进行活体检测场景也即目标场景,在目标场景下通常是与活体检测模型训练阶段的场景不同,需要进行跨场景适配,在本申请中,针对一个新的目标场景,先采集客户端所处目标场景下的参考对象检测图像,然后请求服务平台基于参考对象检测图像采用域分类模型确定目标场景对应的至少一个目标域,基于目标域确定针对基础活体检测模型的至少一个目标域插件模型,然后下发目标域插件模型和基础活体检测模型。
参考对象检测图像的图像模态类型不作限定,图像模态类型可以是承载对象信息的视频模态类型、彩色图片模态(rgb)类型、小视频模态类型、动画模态类型、深度图像(depth)模态类、红外图像(ir)模态类型、近红外模态(NIR)类型等图像模态类型中的一种或多种的拟合。
示意性的,在实际目标场景中,可以基于相应的活体检测任务通过诸如RGB摄像头、单目摄像头、红外摄像头等采集一定数量的参考对象检测图像。
S104:将所述参考对象检测图像发送至服务平台,以使所述服务平台基于所述参考对象检测图像采用域分类模型确定所述目标场景对应的至少一个目标域,基于所述目标域确定针对基础活体检测模型的至少一个目标域插件模型;
客户端通过与服务平台之间的通信连接将参考对象检测图像发送至服务平台,服务平台可以基于参考对象检测图像采用域分类模型确定目标场景对应的至少一个目标域,基于目标域确定针对基础活体检测模型的至少一个目标域插件模型。
S106:获取服务平台发送的所述基础活体检测模型和所述目标域插件模型,基于所述基础活体检测模型和所述目标域插件模型得到目标活体检测模型,并基于所述目标活体检测模型在所述目标场景下进行活体检测处理。
服务平台可以将确定的基础活体检测模型和目标域插件模型发送至客户端,客户端此时即获取到基础活体检测模型和目标域插件模型。
在本说明书一个或多个实施例中,以活体检测插件模型的形式结合基础活体检测模型来使得模型可以理解新的目标场景下活体检测所面临的场景域特性(新的目标场景可能具备多个样本域的特征),不需要重新对目标场景重新适配整个活体检测模型,且实际应用中实际应用场景数量较多,重新适配无疑会消耗大量的资源和牺牲效率,新场景适配需要大量的时间和人力进行数据采集,因此很难快速对新场景进行适配,基于此采用本说明书涉及的活体检测方法,以活体检测插件模型的形式结合基础活体检测模型可实现快速适配,且只需要训练域插件模型即可,训练域插件模型较之于重训练活体检测模型,大幅节省了时间以及处理资源。
进一步的,客户端接收到基础活体检测模型和一个或多个目标域插件模型后,将基础活体检测模型和一个或多个目标域插件模型进行模型融合,可以得到目标活体检测模型。以便于在客户端所处的目标场景下对采集的目标对象检测图像进行活体检测。
可选的,目标域插件模型通常是由多层感知机组成的插件权重层组成的;
示意性的,插件权重层:
对于基础活体检测模型的某一模型结构层W,其输入和输出可以由下述公示表示:
h=W*x
其中,h是某一模型结构层的处理输出,x是某一模型结构层的处理输入由该“某一模型结构层”的上一层的输出结果确定,W是某一模型结构层的模型结构层参数;
而插件权重层由至少一个轻量级的全连接层组成,假设插件权重层由两个轻量级的全连接层,第一全连接层A的输出维度为r,第二全连接层B的输入维度为r,通过限制r在一个较小的量级,例如4-16量级等,来进行插件权重的轻量级控制,则植入插件权重之后的模型的某一层的处理计算过程变为h′=W*x+BA*x=h+BA*x
其中,h’是某一模型结构层与插件权重融合后的处理输出,A为第一全连接层的模型结构层权重的参数表征,B为第二全连接层的插件模型权重参数的参数表征,“BA”即为插件权重层对应的模型结构层权重;
进一步的,基础活体检测模型和目标域插件模型进行模型融合:是将目标域插件模型的模型结构层权重和基础活体检测模型进行权重融合,通过确定模型结构层权重在基础活体检测模型中对应的目标模型结构层,将该目标模型结构层的模型结构层参数与模型结构层权重进行参数融合,目标域插件模型的模型结构层权重可以仅在基础活体检测模型中所有模型结构层中部分对应存在模型结构层权重,通过对这部分目标模型结构层完成基于模型结构层权重对模型结构层的参数更新,以此类推完成对所有模型结构层权重的参考更新过程,从而得到目标人工智能生成内容模型。
示意性的,目标域插件模型融合:将目标域插件模型的权重和基础活体检测模型进行融合,如下公式所示:
W’=W+Xi
其中,W’可表示为融合后的模型结构层,W可表示为融合前的模型结构层,Xi为模型结构层权重。上述公式以及相关释义可以适用一个或多个目标域插件模型融合。
请参见图3,为本说明书实施例提供的一种活体检测的场景示意图。如图3所示,所示客户端为目标场景下用于进行身份认证的设备,其上配置有图像采集装置,当用户靠近该客户端并在图像采集装置的图像采集范围内时,图像采集装置会采集靠近人员的目标对象检测图像(如图3所示的用户的面部图像),并使用目标活体检测模型对采集的目标对象检测图像进行活体检测,目标活体检测模型的输出是一个分类概率P;如果分类概率P大于提前设定的阈值T,则判断为目标对象检测图像属于活体攻击类型,否则判断目标对象检测图像属于为真实活体类型;
在本说明书一个或多个实施例中,基于客户端所处目标场景下的参考对象检测图像采用域分类模型确定目标场景对应的至少一个目标域,基于目标域确定针对基础活体检测模型的至少一个目标域插件模型,将基础活体检测模型和目标域插件模型发送至客户端,客户端可方便基于基础活体检测模型和目标域插件模型得到目标活体检测模型并基于目标活体检测模型在目标场景下进行活体检测处理,在新的目标场景中可以达到比较好的活体检测性能,新的目标场景不需要对活体检测模型进行重训练,节省了实际,提升了活体检测效率,提升了新场景下的模型适配效率。
请参见图4,为本说明书一个或多个实施例提供了一种活体检测方法的流程示意图,该方法可依赖于计算机程序实现,可运行于基于冯诺依曼体系的活体检测装置上。该计算机程序可集成在应用中,也可作为独立的工具类应用运行。所述活体检测装置可以为服务平台。
S202:获取客户端所处目标场景下的参考对象检测图像;
可选的,客户端在新的目标场景下基于活体检测需要,可以采集目标场景下的参考对象检测图像,然后将参考对象检测图像发送至服务平台;
可选的,客户端在新的目标场景下基于活体检测需要,服务平台可以向客户端主动获取客户端所处目标场景下的参考对象检测图像。
S204:基于所述参考对象检测图像采用域分类模型确定所述目标场景对应的至少一个目标域;
在本说明书中,服务平台预先采集了大量场景下的对象检测图像样本,基于对象检测图像样本将涉及到活体检测的多个场景抽象成若干个数据域(也可称之为样本域),为样本域适配针对基础活体检测模型的样本域插件模型,实际应用阶段,仅需采集客户端所处的目标场景下的参考对象检测图像,基于参考对象检测图像来确定目标场景对应的至少一个目标域,将目标域对应的目标域插件模型和基础活体检测模型部署至客户端上即可。
其中,将涉及到活体检测的多个场景抽象成若干个样本域实现了域空间解藕:在本方法中,通过将大量的不同活体检测场景,基于对象检测图像样本抽象划分为若干个不相关或者弱相关的“样本域”,每个样本域可能对应有一个或者多个实际活体检测场景;
同时,实际活体检测场景诸如新的目标场景可能具备多个域的特性;
上述不同样本域的抽象划分受多类因素影响,如硬件设备因素、环境因素、场景类型因素等等,在本说明书中可以通过预先训练样本域插件模型实现准确基于目标场景下的参考对象检测图像确定至少一个目标域。
在本说明书中,服务平台针对不同的样本域,分别训练有不同的样本域插件模型。
在一种可行的实施方式中,确定目标场景对应的至少一个目标域可以是采用下述方式:
A2:将至少一张参考对象检测图像输入域分类模型中,输出每张参考对象检测图像对应的样本域分类概率信息,样本域分类概率信息由至少一个样本域对应的样本域分类概率值组成;
假设服务平台预先抽象划分了n个样本域,每输入一张参考对象检测图像会得到一个样本域分类概率信息,样本域分类概率信息:由域分类模型判定以参考对象检测图像为参考,目标场景分别属于n个样本域对应的样本域分类概率值。
A4:基于样本域分类概率信息获取样本域对应的样本域分类概率值,基于样本域分类概率值从样本域中确定目标场景对应的至少一个目标域。
由于多张参考对象检测图像(假设有i张)会得到多个样本域分类概率信息,也即会对应由域分类模型判定以i张参考对象检测图像为参考,i种:目标场景分别属于n个样本域对应的样本域分类概率值的情形,可以基于i种:n个样本域对应的样本域分类概率值采用数理统计方式进行综合,从n个样本域中选取x个目标域(x小于n)。
在一种可行的实施方式,目标域的确定过程可参考如下方式:
1、从样本域分类概率信息获取每个样本域对应的至少一个样本域分类概率值;
2、基于样本域对应的至少一个样本域分类概率值确定针对目标场景的样本域概率分布值;
示意性的,样本域概率分布值可以对同一样本域的i个样本域分类概率值进行数理统计计算取数理统计值;
可选的,数理统计值可以是平均值、众数、中位数、方差等等。
在一种可行的实施方式中,可以基于样本域对应的至少一个样本域分类概率值计算平均值得到目标场景的样本域概率分布值。
3、若样本域概率分布值中目标样本域概率分布值大于参考阈值,则将目标样本域概率分布值对应的样本域确定为所述目标场景对应的目标域。
参考阈值是预先针对样本域概率分布值所设置的门限值或临界值;
目标域划分:对于参考阈值D,将新场景视为若干个概率大于D的目标域的组合(假设有N个,N大于等于1),也即逐个判断样本域的样本域概率分布值是否大于参考阈值,确定样本域概率分布值中大于参考阈值的目标样本域概率分布值,将目标样本域概率分布值对应的样本域确定为所述目标场景对应的目标域。
可选的,域分类模型实质上可视作一种域分类器,在本说明书一些实施例中,服务平台从对象检测图像样本中确定一个或多个样本域之后,可以训练域分类模型,利用不同样本域的样本域对象检测图像样本进行域分类模型的训练;
域分类模型的模型训练过程如下:
样本数据采集:从对象检测图像样本中确定不同样本域的样本域对象检测图像样本,对样本域对象检测图像样本标注样本域标签;
模型创建:基于机器学习模型创建初始域分类模型;
模型正向传播训练:将样本域对象检测图像样本输入到初始域分类模型进行至少一轮模型训练,每轮模型训练确定预测样本域;
模型反向传播微调:在每一轮模型训练过程中,基于预测样本域和样本域标签计算模型损失,基于模型损失对初始域分类模型进行模型系数调整,直至初始域分类模型满足模型训练结束条件,得到训练好的域分类模型;
可选的,模型损失可以采用设置的模型损失函数以预测样本域和样本域标签作为输入计算模型损失,如模型损失函数可以是欧式距离损失函数、交叉熵损失函数、合页损失函数等等。
需要说明的是,本说明书一个或多个实施例所涉及的机器学习模型包括但不限于卷积神经网络(Convolutional Neural Network,CNN)模型,深度神经网络(Deep NeuralNetwork,DNN)模型、循环神经网络(Recurrent Neural Networks,RNN)、模型、嵌入(embedding)模型、梯度提升决策树(Gradient Boosting Decision Tree,GBDT)模型、逻辑回归(Logistic Regression,LR)模型等机器学习模型中的一种或多种的拟合。
S206:基于所述目标域确定针对基础活体检测模型的至少一个目标域插件模型;
在本说明书中,服务平台针对不同的样本域,分别训练有不同的样本域插件模型。在确定目标场景所对应的一个或多个目标域之后,直接可获取到每个目标域对应的目标域插件模型;
S208:将所述基础活体检测模型和所述目标域插件模型发送至所述客户端,以使所述客户端基于所述基础活体检测模型和所述目标域插件模型得到目标活体检测模型并基于所述目标活体检测模型在所述目标场景下进行活体检测处理。
在本说明书一个或多个实施例中,基于客户端所处目标场景下的参考对象检测图像采用域分类模型确定目标场景对应的至少一个目标域,基于目标域确定针对基础活体检测模型的至少一个目标域插件模型,将基础活体检测模型和目标域插件模型发送至客户端,客户端可方便基于基础活体检测模型和目标域插件模型得到目标活体检测模型并基于目标活体检测模型在目标场景下进行活体检测处理,在新的目标场景中可以达到比较好的活体检测性能,新的目标场景不需要对活体检测模型进行重训练,节省了实际,提升了活体检测效率,提升了新场景下的模型适配效率。
可选的,请参见图5,为本说明书一个或多个实施例提供了一种从对象检测图像样本中确定样本域的流程示意图,具体的:
S302:获取对象检测图像样本,对所述对象检测图像样本进行前景对象特征消除处理,得到图像样本特征;
考虑到不同的场景一般和前景内容无关(即和用户的身份无关),但是后续聚类时,前景往往占据比较大的面积,会影响聚类结果;以及,聚类时,一般都是样本层面的,不会考虑场景层面(比如同一台设备的样本应该被划分到同一个域,而不是多个域),基于此,在本说明书中,先对对象检测图像样本进行前景对象特征消除处理后,得到图像样本特征,然后再基于图像样本特征进行样本域的划分。
在一种可行的实施方式中,可以采用如下方式:
B2:对对象检测图像样本进行对象分割处理,得到对象前景图像样本和对象背景图像样本;
可以采用前景分割的方式进行对象所处前景部分的内容分割,可以利用对象分割模型,将每个对象检测图像样本的前景和背景分割开来,得到对象前景图像样本和对象背景图像样本;
对象分割模型可以基于实际情况采用相关技术中的对象分割模型。
B4:对所述对象前景图像样本进行前景内容去除处理,得到参考对象前景图像样本;
示意性的,可以基于所有对象前景图像样本确定前景均值图像,确定对象前景图像样本与前景均值图像的前景差异图像,将前景差异图像作为对象前景图像样本对应的参考对象前景图像样本。
前景内容去除:对象检测图像样本的数量可以是多个,可以计算所有对象前景图像样本的像素点计算像素均值m,然后每个对象前景图像样本中的前景像素点减去相应像素点的像素均值m(这一步完成了前景内容的剔除,保留了和内容无关的场景信息);
B6:基于同一样本的所述参考对象前景图像样本和所述对象背景图像样本分别进行特征提取,得到样本前景特征和样本背景特征;
前景与背景特征提取:可以利用特征提取模型(例如CLIP或者ResNet50预训练模型等)分别对同一个样本的参考对象前景图像样本和对象背景图像样本分别进行特征提取,以此得到样本前景特征和样本背景特征;
B8:基于所述样本前景特征和样本背景特征得到场景均值特征,将所述场景均值特征确定为针对所述对象检测图像样本的图像样本特征。
可以对样本前景特征和样本背景特征这两个特征进行特征平均处理得到该样本的场景均值特征;
示意性的,样本前景特征和样本背景特征通常是以特征向量的形式表征,将样本前景特征和样本背景特征映射到高维向量空间中通过计算均值特征向量可以的场景均值特征。
S304:采用高斯混合聚类方式基于所有图像样本特征进行场景聚类处理得到至少一个参考类标签,基于所述至少一个参考类标签得到至少一个样本域。
高斯混合聚类方式,可以是将所有场景的样本完成特征提取后,得到若干特征;认为在特征空间,不同的样本域为不同的高斯分布,因此在样本域中最终会形成一个混合高斯分布;
场景聚类处理过程可以参考如下方式:
假设共有K个样本域,每个样本域的均值、方差,以及每个图像样本特征的类别待求解处理;使用k个多元高斯分布的混合高斯分布GMM来对数据进行聚类,其中每一个分布代表一个数据簇;
第一步:求解均值,方差(一开始初始化K个均值和方差),通过随机选择k个对象代表各个数据簇的均值(中心),猜测每一个数据簇的协方差矩阵,并假定初始状态时每个数据簇的概率相等;
第二步:根据图像样本特征,求解每个图像样本特征处于K个分布的概率,取概率最大的一个域类作为该图像样本特征的场景类标签,应用中根据多元高斯密度函数求出每一个图像样本特征属于每一个数据簇的概率(也即得到分别属于K个分布的概率),并求出数据的似然函数值,
第三步:添加场景约束,对于属于同一个场景的K个样本域,求取平均概率,将平均概率最大的类作为整个场景的类,也即参考类标签,
第四步:根据每个K个样本域的类,来重新计算K个高斯分布的均值和方差,应用中可根据每一个图像样本特征代表的数据点属于每一个数据簇的概率,来更新每一个数据簇的均值,协方差矩阵和每一个数据簇的概率,每个数据簇对应一个参考类标签;
第五步:重复第二步到第四步,直至类别变动的占比低于一定比例或者重复次数达到一定次数,输出参考类标签对应的样本域。
需要说明的是,在上述过程中确定了若干样本域,为了便于后续相关模型训练的方便快捷,这里对样本域对应的相关参考对象检测图像样本进行域类型标签的标注。标注完成之后每隔对象检测图像样本都对应有域类型标签,对象检测图像样本被划分成了若干样本域分别对应的参考对象检测图像样本。
在本说明书中,考虑到不同的场景一般和前景内容无关(即和用户的身份无关),但是后续聚类时,前景往往占据比较大的面积,会影响聚类结果;以及,聚类时,一般都是样本层面的,不会考虑场景层面(比如同一台设备的样本应该被划分到同一个域,而不是多个域),基于此,在本说明书中,先对对象检测图像样本进行前景对象特征消除处理后,得到图像样本特征,然后再基于图像样本特征进行样本域的划分,可以避免后续聚类时,前景往往占据比较大的面积所对聚类结果造成的影响,以及采用高斯混合聚类方式实现了场景一致性约束,可准确实现场景聚合和域划分。
可选的,请参见图6,为本说明书一个或多个实施例提供了一种基础活体检测模型训练的流程示意图,具体的:
S402:创建针对通用场景的初始基础活体检测模型;
基于机器学习模型创建针对通用场景的初始基础活体检测模型。
S404:获取对象检测图像样本,确定所述对象检测图像样本的活体分类标签和针对至少一个样本域的域类型标签;
在实际应用中,可以预先获取大量的对象检测图像样本,然后基于专家端服务对对象检测图像样本标注活体分类标签,活体分类标签也即标注对象检测图像样本是真实活体类型或活体攻击类型。
示意性的,对象检测图像样本在前述实施例中,用于确定了至少一个样本域,基于此,在确定了至少一个样本域,可以对样本域所对应的对象检测图像样本进行域类型标签的标注;
S406:采用所述对象检测图像样本、所述活体分类标签和所述域类型标签,对所述初始基础活体检测模型进行至少一轮模型训练,得到模型训练后的基础活体检测模型。
可选的,初始基础活体检测模型的模型结构,模型结构可以至少由三个部分组成,模型结构可以包括特征提取、活体分类器和域分类器;
在一种可行的实施方式中,模型训练过程可参照下述方式:
D2:将所述对象检测图像样本输入初始基础活体检测模型进行至少一轮模型训练;
D4:在每一轮模型训练过程中,通过初始基础活体检测模型确定所述对象检测图像样本的活体分类结果和域分类结果;
每一轮模型正向传播训练过程中:特征提取器的输入是对象检测图像样本,输出是活体特征;活体分类器的输入是活体特征,输出是活体分类结果;域分类器的输入是活体特征,输出是域分类结果;
D5:基于所述活体分类结果和所述活体分类标签确定活体分类损失,基于所述域分类结果和所述域类型标签确定域解藕损失,基于所述活体分类损失和所述域解藕损失得到第一模型损失,采用第一模型损失对所述初始基础活体检测模型进行模型参数调整,得到模型训练后的基础活体检测模型。
损失函数:损失函数包括两个部分,第一个部分是活体分类损失,第二个部分是域解藕损失(域分类准确率尽量低,即域相关的信息尽量不影响活体检测);
在模型反向传播训练过程中:基于活体分类结果和活体分类标签采用损失计算函数计算活体分类损失;基于域分类结果和域类型标签采用损失计算函数计算域解藕损失;
例如,活体分类损失可以采用交叉熵损失计算式,如下:
Loss1=CrossEntropyLoss(pred,y)
其中,Loss1是活体分类损失,pred为模型预测的活体分类结果,y为活体分类标签;
例如,域解藕损失也可以采用交叉熵损失计算式,如下:
Loss2=-1.0*CrossEntropyLoss(pred,y)
其中,Loss2是域解藕损失,pred为模型预测的域分类结果(也即预测的域类型),y为活体分类标签;
在本说明书一个或多个实施例中,示出了一种基础活体检测模型训练的方式,基于此方式训练可得基础活体检测模型,该基础活体检测模型的场景通用能力高,后续搭配域插件模型使用可实现精准活体检测,可提升模型在复杂应用场景下的图像检测效果,确保活体攻击检测的鲁棒性和通用性。
可选的,请参见图7,为本说明书一个或多个实施例提供了一种样本域插件模型训练的流程示意图,具体的:
S502:获取样本域对应的参考对象检测图像样本,确定所述参考对象检测图像样本的参考活体分类标签;
参考活体分类标签是预先基于专家端服务人工标注的,参考活体分类标签也即标注参考对象检测图像样本是真实活体类型或活体攻击类型。
S504:基于基础活体检测模型创建针对样本域的初始自适应插件混合模型;
预先获取基础活体检测模型,同时结合机器学习模型创建初始自适应插件混合模型的模型结构,所述初始自适应插件混合模型是基于机器学习模型创建的模型结构,模型结构可以至少包括三个部分,第一个部分是基础活体检测模型(基础活体检测模型可以是上一步得到基础活体检测模型模型的前两个部分,训练阶段保持不变),第二个部分是初始插件模型,第三个部分是插件结构搜索模块,例如第三个部分是采用机器学习模型中的QNet网络作为插件结构搜索模块;
S506:采用所述参考对象检测图像样本和所述参考活体分类标签对所述初始自适应插件混合模型进行至少一轮模型训练,得到模型训练后的自适应插件混合模型;
在一种可行的实施方式中,模型训练过程可参照如下步骤:
D2:将参考对象检测图像样本输入初始自适应插件混合模型中进行至少一轮模型训练;
D4:在每一轮模型训练过程中,通过基础活体检测模型对参考对象检测图像样本进行第一活体分类检测并确定活体分类检测时目标活体检测层的网络层信息;
基础活体检测模型的输入是参考对象检测图像样本,基础活体检测模型基于参考对象检测图像样本进行第一活体分类检测处理,活体分类检测中由于需要结合初始插件模型,这里需要将基础活体检测模型在进行活体分类检测过程中一个或多个中间活体检测层的中间层特征对应的网络层信息输出到第二部分的初始插件模型;
目标活体检测层是上述一个或多个中间活体检测层,具体目标活体检测层基于实际应用情况进行模型设置。
D6:通过初始插件模型对网络层信息进行更新得到目标网络层信息并将目标网络信息传输至基础活体检测模型的目标活体检测层进行第二活体分类检测得到参考活体分类结果;
初始插件模型接收基础活体检测模型在进行活体分类检测过程中一个或多个中间活体检测层的网络层信息,初始插件模型对网络层信息进行更新得到目标网络层信息,并将目标网络层信息反馈给基础活体检测模型作为目标网络层输出,以便于将目标网络层信息传导至下一层继续进行活体分类检测(也即第二活体分类检测),从而得到基础活体检测模型与初始插件模型对参考对象检测图像样本的预测活体分类结果,也即参考活体分类结果。
D8:基于所述参考活体分类结果和所述参考活体分类标签得到活体检测损失,通过所述插件结构搜索模块基于所述活体检测损失进行插件结构搜索确定针对所述初始插件模型的模型结构信息,所述模型结构信息用于指示所述初始自适应插件混合模型对所述初始插件模型进行模型结构调整;
基于参考活体分类结果和参考活体分类标签计算活体检测损失,活体检测损失是插件结构搜索模块的输入,基于该活体检测损失进行插件结构搜索处理,确定针对初始插件模型的模型结构信息,该模型结构信息后续用于指示初始自适应插件混合模型对初始插件模型进行模型结构调整。
模型结构信息包括层数、参数量等表征模型结构状态的信息。
例如,活体检测损失可以采用交叉熵损失函数,如下所示:
Loss3=CrossEntropy(pred,y)
其中,Loss3为活体检测损失,CrossEntropy()表示交叉熵计算处理,pred为模型预测的参考活体分类结果,y为参考活体分类标签;
D10:基于所述模型结构信息确定插件复杂度损失,基于所述插件复杂度损失对所述初始用户描述调整模型的所述插件结构搜索模块进行模型参数调整,得到模型训练后的自适应插件混合模型。
在每一轮模型训练过程中,基于参考活体分类结果和参考活体分类标签得到活体检测损失,通过插件结构搜索模块基于活体检测损失进行插件结构搜索确定针对初始插件模型的模型结构信息,模型结构信息用于指示初始自适应插件混合模型对初始插件模型进行模型结构调整,基于模型结构信息确定插件复杂度损失,基于插件复杂度损失对初始用户描述调整模型的插件结构搜索模块进行模型参数调整,直至初始自适应插件混合模型满足模型训练结束条件,得到训练好的自适应插件混合模型;
例如,插件模型复杂度损失可采用如下计算式:
Loss4=L1(p)
其中,L1为L1范数,p为插件模型的参数量;
可选的,模型的模型结束训练条件可以包括诸如损失函数的取值小于或等于预设的损失函数阈值,迭代次数达到预设的次数阈值等。具体模型结束训练条件可基于实际情况确定,此处不作具体限定。
S508:从所述自适应插件混合模型中确定针对样本域的样本域插件模型。
自适应插件混合模型完成模型训练之后,获取自适应插件混合模型的第二部分的样本域插件模型。
可以理解的,每个样本域采用上述方式训练得到一个样本域插件模型,每次训练只针对一个样本域的数据训练一个对应的样本域插件模型;
在本说明书中,上述方式,考虑到了跨场景(跨域)适配方法,对于不同的场景(域)一般不能够采用同样复杂度的模型或者插件。需要避免由于不同域的数据分布不一致,其活体检测的难易程度也是不一样的;例如某个场景有较多黑产攻击,那么这个场景往往会出现大量的高难度攻击,需要更多的参数来达到较好的性能;而上述方式解决了这个问题,提出了基于域难度自适应复杂度的跨域自适应插件训练方式,基础活体检测模型结合训练得到的样本域插件模型使用可实现精准活体检测,可提升模型在复杂应用场景下的图像检测效果,确保活体攻击检测的鲁棒性和通用性。
下面将结合图8,对本说明书提供的活体检测装置进行详细介绍。需要说明的是,图8所示的活体检测装置,用于执行本说明书图1~图7所示实施例的方法,为了便于说明,仅示出了与本说明书相关的部分,具体技术细节未揭示的,请参照本说明书图1~图7所示的实施例。
请参见图8,其示出本说明书的活体检测装置的结构示意图。该活体检测装置1可以通过软件、硬件或者两者的结合实现成为用户客户端的全部或一部分。根据一些实施例,该活体检测装置1包括数据处理模块11、模型确定模块12和活体检测模块13,具体用于:
数据处理模块11,用于获取客户端所处目标场景下的参考对象检测图像;
所述数据处理模块11,用于基于所述参考对象检测图像采用域分类模型确定所述目标场景对应的至少一个目标域;
模型确定模块12,用于基于所述目标域确定针对基础活体检测模型的至少一个目标域插件模型;
模型发送模块13,用于将所述基础活体检测模型和所述目标域插件模型发送至所述客户端,以使所述客户端基于所述基础活体检测模型和所述目标域插件模型得到目标活体检测模型并基于所述目标活体检测模型在所述目标场景下进行活体检测处理。
可选的,所述数据处理模块11,用于:
将至少一张所述参考对象检测图像输入域分类模型中,输出每张所述参考对象检测图像对应的样本域分类概率信息,所述样本域分类概率信息由至少一个样本域对应的样本域分类概率值组成;
基于所述样本域分类概率信息获取样本域对应的样本域分类概率值,基于所述样本域分类概率值从所述样本域中确定所述目标场景对应的至少一个目标域。
可选的,所述数据处理模块11,用于:
从所述样本域分类概率信息获取每个样本域对应的至少一个样本域分类概率值;
基于所述样本域对应的至少一个样本域分类概率值确定针对所述目标场景的样本域概率分布值;
若所述样本域概率分布值中目标样本域概率分布值大于参考阈值,则将所述目标样本域概率分布值对应的样本域确定为所述目标场景对应的目标域。
可选的,所述数据处理模块11,用于:
获取对象检测图像样本,对所述对象检测图像样本进行前景对象特征消除处理,得到图像样本特征;
采用高斯混合聚类方式基于所有图像样本特征进行场景聚类处理得到至少一个参考类标签,基于所述至少一个参考类标签得到至少一个样本域。
可选的,所述数据处理模块11,用于:
对所述对象检测图像样本进行对象分割处理,得到对象前景图像样本和对象背景图像样本;
对所述对象前景图像样本进行前景内容去除处理,得到参考对象前景图像样本;
基于同一样本的所述参考对象前景图像样本和所述对象背景图像样本分别进行特征提取,得到样本前景特征和样本背景特征;
基于所述样本前景特征和样本背景特征得到场景均值特征,将所述场景均值特征确定为针对所述对象检测图像样本的图像样本特征。
可选的,所述数据处理模块11,用于:
基于所有所述对象前景图像样本确定前景均值图像,确定所述对象前景图像样本与所述前景均值图像的前景差异图像;
将所述前景差异图像作为所述对象前景图像样本对应的参考对象前景图像样本。
可选的,所述装置1,用于:
创建针对通用场景的初始基础活体检测模型;
获取对象检测图像样本,确定所述对象检测图像样本的活体分类标签和针对至少一个样本域的域类型标签
采用所述对象检测图像样本、所述活体分类标签和所述域类型标签,对所述初始基础活体检测模型进行至少一轮模型训练,得到模型训练后的基础活体检测模型。
可选的,所述装置1,用于:
将所述对象检测图像样本输入初始基础活体检测模型进行至少一轮模型训练;
在每一轮模型训练过程中,通过初始基础活体检测模型确定所述对象检测图像样本的活体分类结果和域分类结果;
基于所述活体分类结果和所述活体分类标签确定活体分类损失,基于所述域分类结果和所述域类型标签确定域解藕损失,基于所述活体分类损失和所述域解藕损失得到第一模型损失,采用第一模型损失对所述初始基础活体检测模型进行模型参数调整,得到模型训练后的基础活体检测模型。
可选的,所述装置1,用于:
获取样本域对应的参考对象检测图像样本,确定所述参考对象检测图像样本的参考活体分类标签;
基于基础活体检测模型创建针对样本域的初始自适应插件混合模型;
采用所述参考对象检测图像样本和所述参考活体分类标签对所述初始自适应插件混合模型进行至少一轮模型训练,得到模型训练后的自适应插件混合模型;
从所述自适应插件混合模型中确定针对样本域的样本域插件模型。
可选的,所述初始自适应插件混合模型包括基础活体检测模型、初始插件模型和插件结构搜索模块,可选的,所述装置1,用于:
将所述参考对象检测图像样本输入所述初始自适应插件混合模型中进行至少一轮模型训练;
在每一轮模型训练过程中,通过基础活体检测模型对参考对象检测图像样本进行第一活体分类检测并确定活体分类检测时目标活体检测层的网络层信息;
通过初始插件模型对所述网络层信息进行更新得到目标网络层信息并将所述目标网络信息传输至所述基础活体检测模型的目标活体检测层进行第二活体分类检测得到参考活体分类结果;
基于所述参考活体分类结果和所述参考活体分类标签得到活体检测损失,通过所述插件结构搜索模块基于所述活体检测损失进行插件结构搜索确定针对所述初始插件模型的模型结构信息,所述模型结构信息用于指示所述初始自适应插件混合模型对所述初始插件模型进行模型结构调整;
基于所述模型结构信息确定插件复杂度损失,基于所述插件复杂度损失对所述初始用户描述调整模型的所述插件结构搜索模块进行模型参数调整,得到模型训练后的自适应插件混合模型。
需要说明的是,上述实施例提供的活体检测装置在执行活体检测方法时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的活体检测装置与活体检测方法实施例属于同一构思,其体现实现过程详见方法实施例,这里不再赘述。
上述本说明书序号仅仅为了描述,不代表实施例的优劣。
请参见图9,其示出本说明书的活体检测装置的结构示意图。该活体检测装置1可以通过软件、硬件或者两者的结合实现成为用户客户端的全部或一部分。根据一些实施例,该活体检测装置2包括图像获取模块21、图像发送模块22和活体检测模块23,具体用于:
图像获取模块21,用于获取所处目标场景下的参考对象检测图像;
图像发送模块22,用于将所述参考对象检测图像发送至服务平台,以使所述服务平台基于所述参考对象检测图像采用域分类模型确定所述目标场景对应的至少一个目标域,基于所述目标域确定针对基础活体检测模型的至少一个目标域插件模型;
活体检测模块23,用于获取服务平台发送的所述基础活体检测模型和所述目标域插件模型,基于所述基础活体检测模型和所述目标域插件模型得到目标活体检测模型,并基于所述目标活体检测模型在所述目标场景下进行活体检测处理。
需要说明的是,上述实施例提供的活体检测装置在执行活体检测方法时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的活体检测装置与活体检测方法实施例属于同一构思,其体现实现过程详见方法实施例,这里不再赘述。
上述本说明书序号仅仅为了描述,不代表实施例的优劣。
本说明书还提供了一种计算机存储介质,所述计算机存储介质可以存储有多条指令,所述指令适于由处理器加载并执行如上述图1~图7所示实施例的所述活体检测方法,具体执行过程可以参见图1~图7所示实施例的具体说明,在此不进行赘述。
本说明书还提供了一种计算机程序产品,该计算机程序产品存储有至少一条指令,所述至少一条指令由所述处理器加载并执行如上述图1~图7所示实施例的所述活体检测方法,具体执行过程可以参见图1~图7所示实施例的具体说明,在此不进行赘述。
请参考图10,为本说明书实施例提供的一种电子设备的结构方框图。本说明书中的电子设备可以包括一个或多个如下部件:处理器110、存储器120、输入装置130、输出装置140和总线150。处理器110、存储器120、输入装置130和输出装置140之间可以通过总线150连接。
处理器110可以包括一个或者多个处理核心。处理器110利用各种接口和线路连接整个客户端内的各个部分,通过运行或执行存储在存储器120内的指令、程序、代码集或指令集,以及调用存储在存储器120内的数据,执行客户端100的各种功能和处理数据。可选地,处理器110可以采用数字信号处理(digital signal processing,DSP)、现场可编程门阵列(field-programmable gate array,FPGA)、可编程逻辑阵列(programmable logicArray,PLA)中的至少一种硬件形式来实现。处理器110可集成中心处理器(centralprocessing unit,CPU)、图像处理器(graphics processing unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作系统、用户界面和应用程序等;GPU用于负责显示内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器110中,单独通过一块通信芯片进行实现。
存储器120可以包括随机存储器(random Access Memory,RAM),也可以包括只读存储器(read-only memory,ROM)。可选地,该存储器120包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器120可用于存储指令、程序、代码、代码集或指令集。
其中,输入装置130用于接收输入的指令或数据,输入装置130包括但不限于键盘、鼠标、摄像头、麦克风或触控设备。输出装置140用于输出指令或数据,输出装置140包括但不限于显示设备和扬声器等。在本说明书实施例中,输入装置130可以为温度传感器,用于获取客户端的运行温度。输出装置140可以为扬声器,用于输出音频信号。
除此之外,本领域技术人员可以理解,上述附图所示出的客户端的结构并不构成对客户端的限定,客户端可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。比如,客户端中还包括射频电路、输入单元、传感器、音频电路、无线保真(wireless fidelity,WIFI)模块、电源、蓝牙模块等部件,在此不再赘述。
在本说明书实施例中,各步骤的执行主体可以是上文介绍的客户端。可选地,各步骤的执行主体为客户端的操作系统。操作系统可以是安卓系统,也可以是IOS系统,或者其它操作系统,本说明书实施例对此不作限定。
在图10的电子设备中,处理器110可以用于调用存储器120中存储的程序,并执行以实现如本说明书各个方法实施例所述的活体检测方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。
需要说明的是,本说明书实施例所涉及的信息(包括但不限于用户设备信息、用户个人信息等)、数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)以及信号,均为经用户授权或者经过各方充分授权的,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。例如,本说明书中涉及的对象检测图像等都是在充分授权的情况下获取的。
以上所揭露的仅为本说明书较佳实施例而已,当然不能以此来限定本说明书之权利范围,因此依本说明书权利要求所作的等同变化,仍属本说明书所涵盖的范围。
Claims (16)
1.一种活体检测方法,应用于服务平台,所述方法包括:
获取客户端所处目标场景下的参考对象检测图像;
基于所述参考对象检测图像采用域分类模型确定所述目标场景对应的至少一个目标域;
基于所述目标域确定针对基础活体检测模型的至少一个目标域插件模型;
将所述基础活体检测模型和所述目标域插件模型发送至所述客户端,以使所述客户端基于所述基础活体检测模型和所述目标域插件模型得到目标活体检测模型并基于所述目标活体检测模型在所述目标场景下进行活体检测处理。
2.根据权利要求1所述的方法,所述基于所述参考对象检测图像采用域分类模型确定所述目标场景对应的至少一个目标域,包括:
将至少一张所述参考对象检测图像输入域分类模型中,输出每张所述参考对象检测图像对应的样本域分类概率信息,所述样本域分类概率信息由至少一个样本域对应的样本域分类概率值组成;
基于所述样本域分类概率信息获取样本域对应的样本域分类概率值,基于所述样本域分类概率值从所述样本域中确定所述目标场景对应的至少一个目标域。
3.根据权利要求2所述的方法,所述基于所述样本域分类概率信息获取样本域对应的样本域分类概率值,基于所述样本域分类概率值从所述样本域中确定所述目标场景对应的至少一个目标域,包括:
从所述样本域分类概率信息获取每个样本域对应的至少一个样本域分类概率值;
基于所述样本域对应的至少一个样本域分类概率值确定针对所述目标场景的样本域概率分布值;
若所述样本域概率分布值中目标样本域概率分布值大于参考阈值,则将所述目标样本域概率分布值对应的样本域确定为所述目标场景对应的目标域。
4.根据权利要求2所述的方法,所述方法还包括:
获取对象检测图像样本,对所述对象检测图像样本进行前景对象特征消除处理,得到图像样本特征;
采用高斯混合聚类方式基于所有图像样本特征进行场景聚类处理得到至少一个参考类标签,基于所述至少一个参考类标签得到至少一个样本域。
5.根据权利要求4所述的方法,所述对所述对象检测图像样本进行前景对象特征消除处理,得到图像样本特征,包括:
对所述对象检测图像样本进行对象分割处理,得到对象前景图像样本和对象背景图像样本;
对所述对象前景图像样本进行前景内容去除处理,得到参考对象前景图像样本;
基于同一样本的所述参考对象前景图像样本和所述对象背景图像样本分别进行特征提取,得到样本前景特征和样本背景特征;
基于所述样本前景特征和样本背景特征得到场景均值特征,将所述场景均值特征确定为针对所述对象检测图像样本的图像样本特征。
6.根据权利要求5所述的方法,所述对所述对象前景图像样本进行前景内容去除处理,得到参考对象前景图像样本,包括:
基于所有所述对象前景图像样本确定前景均值图像,确定所述对象前景图像样本与所述前景均值图像的前景差异图像;
将所述前景差异图像作为所述对象前景图像样本对应的参考对象前景图像样本。
7.根据权利要求1所述的方法,所述方法还包括:
创建针对通用场景的初始基础活体检测模型;
获取对象检测图像样本,确定所述对象检测图像样本的活体分类标签和针对至少一个样本域的域类型标签
采用所述对象检测图像样本、所述活体分类标签和所述域类型标签,对所述初始基础活体检测模型进行至少一轮模型训练,得到模型训练后的基础活体检测模型。
8.根据权利要求7所述的方法,所述采用所述对象检测图像样本、所述活体分类标签和所述域类型标签,对所述初始基础活体检测模型进行至少一轮模型训练,包括:
将所述对象检测图像样本输入初始基础活体检测模型进行至少一轮模型训练;
在每一轮模型训练过程中,通过初始基础活体检测模型确定所述对象检测图像样本的活体分类结果和域分类结果;
基于所述活体分类结果和所述活体分类标签确定活体分类损失,基于所述域分类结果和所述域类型标签确定域解藕损失,基于所述活体分类损失和所述域解藕损失得到第一模型损失,采用第一模型损失对所述初始基础活体检测模型进行模型参数调整,得到模型训练后的基础活体检测模型。
9.根据权利要求1所述的方法,所述方法还包括:
获取样本域对应的参考对象检测图像样本,确定所述参考对象检测图像样本的参考活体分类标签;
基于基础活体检测模型创建针对样本域的初始自适应插件混合模型;
采用所述参考对象检测图像样本和所述参考活体分类标签对所述初始自适应插件混合模型进行至少一轮模型训练,得到模型训练后的自适应插件混合模型;
从所述自适应插件混合模型中确定针对样本域的样本域插件模型。
10.根据权利要求9所述的方法,所述初始自适应插件混合模型包括基础活体检测模型、初始插件模型和插件结构搜索模块,
所述采用所述参考对象检测图像样本和所述参考活体分类标签对所述初始自适应插件混合模型进行至少一轮模型训练,包括:
将所述参考对象检测图像样本输入所述初始自适应插件混合模型中进行至少一轮模型训练;
在每一轮模型训练过程中,通过基础活体检测模型对参考对象检测图像样本进行第一活体分类检测并确定活体分类检测时目标活体检测层的网络层信息;
通过初始插件模型对所述网络层信息进行更新得到目标网络层信息并将所述目标网络信息传输至所述基础活体检测模型的目标活体检测层进行第二活体分类检测得到参考活体分类结果;
基于所述参考活体分类结果和所述参考活体分类标签得到活体检测损失,通过所述插件结构搜索模块基于所述活体检测损失进行插件结构搜索确定针对所述初始插件模型的模型结构信息,所述模型结构信息用于指示所述初始自适应插件混合模型对所述初始插件模型进行模型结构调整;
基于所述模型结构信息确定插件复杂度损失,基于所述插件复杂度损失对所述初始用户描述调整模型的所述插件结构搜索模块进行模型参数调整,得到模型训练后的自适应插件混合模型。
11.一种活体检测方法,应用于客户端,所述方法包括:
获取所处目标场景下的参考对象检测图像;
将所述参考对象检测图像发送至服务平台,以使所述服务平台基于所述参考对象检测图像采用域分类模型确定所述目标场景对应的至少一个目标域,基于所述目标域确定针对基础活体检测模型的至少一个目标域插件模型;
获取服务平台发送的所述基础活体检测模型和所述目标域插件模型,基于所述基础活体检测模型和所述目标域插件模型得到目标活体检测模型,并基于所述目标活体检测模型在所述目标场景下进行活体检测处理。
12.一种活体检测装置,所述装置包括:
数据处理模块,用于获取客户端所处目标场景下的参考对象检测图像;
所述数据处理模块,用于基于所述参考对象检测图像采用域分类模型确定所述目标场景对应的至少一个目标域;
模型确定模块,用于基于所述目标域确定针对基础活体检测模型的至少一个目标域插件模型;
模型发送模块,用于将所述基础活体检测模型和所述目标域插件模型发送至所述客户端,以使所述客户端基于所述基础活体检测模型和所述目标域插件模型得到目标活体检测模型并基于所述目标活体检测模型在所述目标场景下进行活体检测处理。
13.一种活体检测装置,所述装置包括:
图像获取模块,用于获取所处目标场景下的参考对象检测图像;
图像发送模块,用于将所述参考对象检测图像发送至服务平台,以使所述服务平台基于所述参考对象检测图像采用域分类模型确定所述目标场景对应的至少一个目标域,基于所述目标域确定针对基础活体检测模型的至少一个目标域插件模型;
活体检测模块,用于获取服务平台发送的所述基础活体检测模型和所述目标域插件模型,基于所述基础活体检测模型和所述目标域插件模型得到目标活体检测模型,并基于所述目标活体检测模型在所述目标场景下进行活体检测处理。
14.一种计算机存储介质,所述计算机存储介质存储有多条指令,所述指令适于由处理器加载并执行如权利要求1~10或11任意一项的方法步骤。
15.一种计算机程序产品,该计算机程序产品存储有至少一条指令,所述至少一条指令由处理器加载并执行如权利要求1~10或11任意一项的方法步骤。
16.一种电子设备,包括:处理器和存储器;其中,所述存储器存储有计算机程序,所述计算机程序适于由所述处理器加载并执行如权利要求1~10或11任意一项的方法步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311049428.0A CN117037292A (zh) | 2023-08-18 | 2023-08-18 | 一种活体检测方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311049428.0A CN117037292A (zh) | 2023-08-18 | 2023-08-18 | 一种活体检测方法、装置、存储介质及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117037292A true CN117037292A (zh) | 2023-11-10 |
Family
ID=88631465
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311049428.0A Pending CN117037292A (zh) | 2023-08-18 | 2023-08-18 | 一种活体检测方法、装置、存储介质及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117037292A (zh) |
-
2023
- 2023-08-18 CN CN202311049428.0A patent/CN117037292A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110543815B (zh) | 人脸识别模型的训练方法、人脸识别方法、装置、设备及存储介质 | |
JP6994588B2 (ja) | 顔特徴抽出モデル訓練方法、顔特徴抽出方法、装置、機器および記憶媒体 | |
CN108491805B (zh) | 身份认证方法和装置 | |
US20230081645A1 (en) | Detecting forged facial images using frequency domain information and local correlation | |
CN110717953B (zh) | 基于cnn-lstm组合模型的黑白图片的着色方法和系统 | |
CN108269254A (zh) | 图像质量评估方法和装置 | |
CN112001274B (zh) | 人群密度确定方法、装置、存储介质和处理器 | |
CN112581355A (zh) | 图像处理方法、装置、电子设备和计算机可读介质 | |
CN108491813A (zh) | 用于更新信息的方法和装置 | |
CN112101296A (zh) | 人脸注册方法、人脸验证方法、装置及系统 | |
CN113538304A (zh) | 图像增强模型的训练方法及装置、图像增强方法及装置 | |
CN117150130A (zh) | 一种内容生成方法、装置、存储介质及电子设备 | |
CN116798129A (zh) | 一种活体检测方法、装置、存储介质及电子设备 | |
CN117037292A (zh) | 一种活体检测方法、装置、存储介质及电子设备 | |
CN113613070B (zh) | 一种人脸视频处理方法、装置、电子设备及存储介质 | |
CN115221537A (zh) | 一种模型处理方法、装置、存储介质及电子设备 | |
CN110689478A (zh) | 图像风格化处理方法、装置、电子设备及可读介质 | |
CN114004974A (zh) | 对弱光环境下拍摄的图像的优化方法及装置 | |
CN109933969B (zh) | 验证码识别方法、装置、电子设备及可读存储介质 | |
CN117152567B (zh) | 特征提取网络的训练方法、分类方法、装置及电子设备 | |
CN116778586A (zh) | 一种活体检测方法、装置、存储介质及电子设备 | |
CN112749705B (zh) | 训练模型更新方法及相关设备 | |
CN114463859B (zh) | 活体检测的对抗样本生成方法、装置、电子设备及存储介质 | |
CN115510041A (zh) | 一种基于Xgboost集成学习的物联终端类型识别方法 | |
CN118096777A (zh) | 图像分割方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |