CN111767906A - 人脸检测模型训练方法、人脸检测方法、装置及电子设备 - Google Patents

人脸检测模型训练方法、人脸检测方法、装置及电子设备 Download PDF

Info

Publication number
CN111767906A
CN111767906A CN202010904803.5A CN202010904803A CN111767906A CN 111767906 A CN111767906 A CN 111767906A CN 202010904803 A CN202010904803 A CN 202010904803A CN 111767906 A CN111767906 A CN 111767906A
Authority
CN
China
Prior art keywords
face detection
detection model
face
training
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010904803.5A
Other languages
English (en)
Other versions
CN111767906B (zh
Inventor
姚太平
张克越
章健
陈阳
尹邦杰
丁守鸿
李季檩
黄飞跃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010904803.5A priority Critical patent/CN111767906B/zh
Publication of CN111767906A publication Critical patent/CN111767906A/zh
Application granted granted Critical
Publication of CN111767906B publication Critical patent/CN111767906B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了人脸检测模型训练方法，人脸检测方法、装置、电子设备及存储介质，方法包括：获取与人脸检测模型的使用环境相匹配的训练样本集合，对人脸检测模型中的域特征解耦网络进行训练，确定人脸检测模型中的域特征解耦网络的网络参数；对训练样本中的域相关特征进行组合调整，形成新的训练样本集合；通过新的训练样本集合对人脸检测模型进行训练，由此，可以通过云技术将广域网或局域网内将硬件、软件及网络等系列资源统一起来，实现数据的计算、储存、处理和共享，实现通过人脸检测模型对不同的人脸信息进行检测，确定相应的人脸分类概率，降低人脸检测的复杂性，在兼顾了训练精确性的同时，使得人脸检测模型的泛化能力更强。

Description

人脸检测模型训练方法、人脸检测方法、装置及电子设备
技术领域
本发明涉及图像信息处理技术，尤其涉及人脸检测模型训练方法、人脸检测方法、装置、电子设备及存储介质。
背景技术
人脸活体检测的主要目的是判断当前的人脸是否为真实活人，以抵挡假人脸的攻击，人脸活体检测是进行人脸识别之前的重要步骤，相关技术中，人脸活体检测作为第一道防线，是认证安全的重要环节。目前人脸核身已经在多项业务当中得到了应用：银行系统的远程核身、微信的人脸支付、出租车司机远程认证、小区门禁系统等。并且可以结合云技术实现，云技术是指在广域网或局域网内将硬件、软件及网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术，也可理解为基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术及应用技术等的总称。技术网络系统的后台服务需要大量的计算、存储资源，如视频网站、图片类网站和更多的门户网站，因此云技术需要以云计算作为支撑。
需要说明的是，云计算是一种计算模式，它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。提供资源的网络被称为“云”。“云”中的资源在使用者看来是可以无限扩展的，并且可以随时获取，按需使用，随时扩展，按使用付费。作为云计算的基础能力提供商，会建立云计算资源池平台，简称云平台，一般称为基础设施即服务(IaaS，Infrastructure as a Service)，在资源池中部署多种类型的虚拟资源，供外部客户选择使用。云计算资源池中主要包括：计算设备(可为虚拟化机器，包含操作系统)、存储设备和网络设备。
但是，随着人脸识别在人脸支付以及人脸门禁等诸多重要领域的应用，不法分子采用仿冒人脸（例如人脸照片或者立体图像）来攻击人脸识别进程的问题，人脸活体检测是抵挡仿冒人脸攻击的主要技术路径，人脸检测模型缺乏泛化手段，影响着对不同环境中人脸检测的准确性。
发明内容
有鉴于此，本发明实施例提供一种人脸检测模型训练方法、人脸检测方法、装置、电子设备及存储介质，本发明实施例的技术方案是这样实现的：
本发明实施例提供了一种人脸检测模型训练方法，包括：
获取与所述人脸检测模型的使用环境相匹配的训练样本集合，其中，所述训练样本中包括不同域中的用户人脸图像；
通过与所述人脸检测模型的使用环境相匹配的训练样本，对所述人脸检测模型中的域特征解耦网络进行训练，确定所述人脸检测模型中的域特征解耦网络的网络参数；
通过所述人脸检测模型中的域特征解耦网络，对所述训练样本的域相关特征和域无关特征进行分离；
保持所述训练样本中的域无关特征不变，对所述训练样本中的域相关特征进行组合调整，形成新的训练样本集合；
通过所述新的训练样本集合对所述人脸检测模型进行训练，确定与所述人脸检测模型相适配的模型参数，以实现通过所述人脸检测模型对不同的人脸信息进行检测，确定相应的人脸分类概率。
上述方案中，所述根据所述新的训练样本集合对所述人脸检测模型进行训练，确定所述人脸检测模型中样本分类器网络的模型参数，包括：
通过所述人脸检测模型中样本分类器网络，对所述训练样本集合进行处理，以确定所述样本分类器网络的初始参数；
响应于所述样本分类器网络的初始参数，通过所述样本分类器网络对所述新的训练样本集合进行处理，确定所述样本分类器网络的更新参数；
根据所述样本分类器网络的更新参数，通过所述新的训练样本集合对所述样本分类器网络的参数进行迭代更新，以实现基于相应的样本标签以及每个样本的特征嵌入向量，确定相应的人脸分类概率。
上述方案中，所述响应于所述样本分类器网络的初始参数，通过所述样本分类器网络对所述训练样本集合进行处理，确定所述样本分类器网络的更新参数，包括：
将所述新的训练样本集合中不同训练样本，代入由所述样本分类器网络所对应的损失函数；
确定所述损失函数满足相应的收敛条件时所述样本分类器网络对应所述更新参数。
上述方案中，所述根据所述样本分类器网络的更新参数，通过所述新的训练样本集合对所述样本分类器网络的参数进行迭代更新，以实现基于相应的样本标签以及每个样本的特征嵌入向量，确定相应的人脸分类概率，包括：
确定所述样本分类器网络对应的损失函数；
根据所述样本分类器网络的更新参数，对所述样本分类器网络的参数进行迭代更新，直至所述样本分类器网络的损失函数达到相应的收敛条件，并且基于相应的样本标签以及每个样本的特征嵌入向量，确定相应的人脸分类概率。
本发明实施例还提供了一种人脸检测方法，包括：
响应于人脸活体检测请求，获取终端所采集的目标用户的人脸图像；
基于所述目标用户的人脸图像，通过人脸检测模型进行处理，形成所述目标用户的人脸分类概率；
基于所述目标用户的人脸分类概率和人脸检测模型相匹配的概率阈值，确定相应的人脸分类结果；
输出所述目标用户的人脸分类结果；
其中，所述人脸检测模型基于前序实施例所述的方法训练得到。
上述方案中，所述方法还包括：
确定所述目标用户相匹配的人脸检测模型所分别对应的不同金融业务场景；
基于所述不同金融业务场景，对所述目标用户相匹配的人脸图像特征进行去噪处理，以形成与对应的金融业务场景相匹配的人脸图像特征集合，其中，每一个样本包括相应的域相关特征和域无关特征。
本发明实施例还提供了一种人脸检测模型训练装置，包括：
第一信息传输模块，用于获取与所述人脸检测模型的使用环境相匹配的训练样本集合，其中，所述训练样本中包括不同域中的用户人脸图像；
训练模块，用于通过与所述人脸检测模型的使用环境相匹配的训练样本，对所述人脸检测模型中的域特征解耦网络进行训练，确定所述人脸检测模型中的域特征解耦网络的网络参数；
所述训练模块，用于通过所述人脸检测模型中的域特征解耦网络，对所述训练样本的域相关特征和域无关特征进行分离；
所述训练模块，用于保持所述训练样本中的域无关特征不变，对所述训练样本中的域相关特征进行组合调整，形成新的训练样本集合；
所述训练模块，用于通过所述新的训练样本集合对所述人脸检测模型进行训练，确定与所述人脸检测模型相适配的模型参数，以实现通过所述人脸检测模型对不同的人脸信息进行检测，确定相应的人脸分类概率。
上述方案中，
所述第一信息传输模块，用于获取所述人脸检测模型的使用环境中的终端所采集的人脸图像；
所述第一信息传输模块，用于对所述人脸图像进行图像增广处理；
所述第一信息传输模块，用于基于图像增广的处理结果，通过人脸检测算法确定相应的人脸位置，并截取包括背景图像的人脸图像；
所述第一信息传输模块，用于通过所述人脸检测模型的深度处理网络对所述包括背景图像的人脸图像进行处理，形成相应的深度图作为与所述人脸检测模型的使用环境相匹配的训练样本集合中的任一训练样本。
上述方案中，
所述训练模块，用于根据所述人脸检测模型的使用环境相匹配的训练样本，确定相应的域来源信息特征集合；
所述训练模块，用于通过所述域来源信息特征集合，对所述人脸检测模型的域鉴别器网络进行训练，以实现通过所述域鉴别器网络对接收的图像所归属的域进行判断。
上述方案中，
所述训练模块，用于通过与所述人脸检测模型的使用环境相匹配的训练样本集合，确定相应的正例样本与负例样本；
所述训练模块，用于通过所述域特征解耦网络的中的编码器子网络，对所述训练样本集合中的不同正例训练样本和负例训练样本中的域相关特征重新进行组合，形成重组特征向量；
所述训练模块，用于通过所述域特征解耦网络的中的解码器子网络，对所述重组特征向量进行解码处理；
所述训练模块，用于当能够获得相同人脸的不同域特征的图像向量时，确定所述人脸检测模型中的域特征解耦网络的网络参数。
上述方案中，
所述训练模块，用于基于所述正例样本，确定对应的第一深度图像；
所述训练模块，用于基于所述负例样本，确定对应的第二深度图像；
所述训练模块，用于当确定所述人脸检测模型中的域特征解耦网络的网络参数时，通过所述人脸检测模型的深度处理网络确定与所述重组特征向量相匹配的第三深度图像；
所述训练模块，用于通过所述第一深度图像或者第二深度图像，与所述第三深度图像进行比对，以监督不同正例训练样本和负例训练样本中的域无关特征的准确性。
上述方案中，
所述训练模块，用于保持所述训练样本中的域无关特征不变，对所述训练样本中的域相关特征进行插值处理，形成新的训练样本集合；
所述训练模块，用于保持所述训练样本中的域无关特征不变，对所述训练样本中的域相关特征进行随机删除处理或替换处理，形成新的训练样本集合。
上述方案中，
所述训练模块，用于根据所述新的训练样本集合对所述人脸检测模型进行训练，确定所述人脸检测模型中特征提取器网络的模型参数；
所述训练模块，用于根据与所述新的训练样本集合对所述人脸检测模型进行训练，确定所述人脸检测模型中样本分类器网络的模型参数。
上述方案中，
所述训练模块，用于通过所述人脸检测模型中特征提取器网络，对所述新的训练样本集合进行处理，以确定所述特征提取器网络的初始参数；
所述训练模块，用于响应于所述特征提取器网络的初始参数，通过所述特征提取器网络对所述新的训练样本集合进行处理，确定所述特征提取器网络的更新参数；
所述训练模块，用于根据所述特征提取器网络的更新参数，通过所述新的训练样本集合对所述特征提取器网络的参数进行迭代更新，以提取所述新的训练样本集合中每个样本的特征嵌入向量。
上述方案中，
所述训练模块，用于将所述新的训练样本集合中不同训练样本，代入由所述特征提取器网络所对应的损失函数；
所述训练模块，用于确定所述损失函数满足相应的收敛条件时所述特征提取器网络对应所述更新参数。
上述方案中，
所述训练模块，用于确定所述特征提取器网络对应的损失函数；
所述训练模块，用于根据所述特征提取器网络的更新参数，对所述特征提取器网络的参数进行迭代更新；直至所述特征提取器网络的损失函数达到相应的收敛条件，并且基于所述特征提取器网络中的参数，能够提取所述新的训练样本集合中每个样本的特征嵌入向量。
上述方案中，
所述训练模块，用于通过所述人脸检测模型中样本分类器网络，对所述训练样本集合进行处理，以确定所述样本分类器网络的初始参数；
所述训练模块，用于响应于所述样本分类器网络的初始参数，通过所述样本分类器网络对所述新的训练样本集合进行处理，确定所述样本分类器网络的更新参数；
所述训练模块，用于根据所述样本分类器网络的更新参数，通过所述新的训练样本集合对所述样本分类器网络的参数进行迭代更新，以实现基于相应的样本标签以及每个样本的特征嵌入向量，确定相应的人脸分类概率。
上述方案中，
所述训练模块，用于将所述新的训练样本集合中不同训练样本，代入由所述样本分类器网络所对应的损失函数；
所述训练模块，用于确定所述损失函数满足相应的收敛条件时所述样本分类器网络对应所述更新参数。
上述方案中，
所述训练模块，用于确定所述样本分类器网络对应的损失函数；
所述训练模块，用于根据所述样本分类器网络的更新参数，对所述样本分类器网络的参数进行迭代更新，直至所述样本分类器网络的损失函数达到相应的收敛条件，并且基于相应的样本标签以及每个样本的特征嵌入向量，确定相应的人脸分类概率。
本发明实施例还提供了一种人脸检测装置，所述装置包括：
第二信息传输模块，用于响应于人脸活体检测请求，获取终端所采集的目标用户的人脸图像；
信息处理模块，用于基于所述目标用户的人脸图像，通过人脸检测模型进行处理，形成所述目标用户的人脸分类概率；
所述信息处理模块，用于基于所述目标用户的人脸分类概率和人脸检测模型相匹配的概率阈值，确定相应的人脸分类结果；
所述信息处理模块，用于输出所述目标用户的人脸分类结果；
其中，所述人脸检测模型基于如前序实施例所述的方法训练得到。
上述方案中，
所述信息处理模块，用于确定所述目标用户相匹配的人脸检测模型所分别对应的不同金融业务场景；
所述信息处理模块，用于基于所述不同金融业务场景，对所述目标用户相匹配的人脸图像特征进行去噪处理，以形成与对应的金融业务场景相匹配的人脸图像特征集合，其中，每一个样本包括相应的域相关特征和域无关特征。
本发明实施例还提供了一种电子设备，所述电子设备包括：
存储器，用于存储可执行指令；
处理器，用于运行所述存储器存储的可执行指令时，实现前序的人脸检测模型训练方法，或者前序的人脸检测方法。
本发明实施例还提供了一种计算机可读存储介质，存储有可执行指令，所述可执行指令被处理器执行时实现前序的人脸检测模型训练方法，或者前序的人脸检测方法。
本发明实施例具有以下有益效果：
本发明通过获取与所述人脸检测模型的使用环境相匹配的训练样本集合，其中，所述训练样本中包括不同域中的用户人脸图像；通过与所述人脸检测模型的使用环境相匹配的训练样本，对所述人脸检测模型中的域特征解耦网络进行训练，确定所述人脸检测模型中的域特征解耦网络的网络参数；通过所述人脸检测模型中的域特征解耦网络，对所述训练样本的域相关特征和域无关特征进行分离；保持所述训练样本中的域无关特征不变，对所述训练样本中的域相关特征进行组合调整，形成新的训练样本集合；通过所述新的训练样本集合对所述人脸检测模型进行训练，确定与所述人脸检测模型相适配的模型参数，以实现通过所述人脸检测模型对不同的人脸信息进行检测，由此，可以确定相应的人脸分类概率，降低人脸检测的复杂性，在兼顾了训练精确性的同时，使得人脸检测模型的泛化能力以及数据处理能力更强，适应不同的数据处理环境，增强了人脸检测模型的分类的鲁棒性，减少了人脸检测模型容易过拟合的问题。
附图说明
图1为本发明实施例中人脸检测模型训练方法应用环境示意图；
图2为本发明实施例提供的电子设备的组成结构示意图；
图3为本申请所提供的人脸检测模型训练方法一个可选的流程示意图；
图4为本发明实施例中人脸图像的获取示意图；
图5为本发明实施例中域鉴别器网络一个可选的结构示意图；
图6为本发明实施例中域特征解耦网络一个可选的结构示意图；
图7为本申请所提供的人脸检测模型训练方法一个可选的流程示意图；
图8为本发明实施例中人脸检测模型的一个可选的训练示意图；
图9为本申请所提供的人脸检测方法一个可选的流程示意图；
图10为本申请所提供的人脸检测方法的前端显示示意图；
图11为本申请所提供的人脸检测方法使用过程示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，所描述的实施例不应视为对本发明的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解， “一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
对本发明实施例进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释。
1）基于，用于表示所执行的操作所依赖的条件或者状态，当满足所依赖的条件或状态时，所执行的一个或多个操作可以是实时的，也可以具有设定的延迟；在没有特别说明的情况下，所执行的多个操作不存在执行先后顺序的限制。
2）客户端，终端中实现特定功能的载体，例如移动客户端（APP）是移动终端中特定功能的载体，例如执行线上直播（视频推流）的功能或者是在线视频的播放功能。
3）卷积神经网络（CNN Convolutional Neural Networks）是一类包含卷积计算且具有深度结构的前馈神经网络（Feed forward Neural Networks），是深度学习（deeplearning）的代表算法之一。卷积神经网络具有表征学习（representation learning）能力，能够按其阶层结构对输入信息进行平移不变分类（shift-invariantclassification）。
4）模型训练，对图像数据集进行多分类学习。该模型可采用Tensor Flow、torch等深度学习框架进行构建，使用CNN等神经网络层的多层结合组成多人脸检测模型。模型的输入为图像经过openCV等工具读取形成的三通道或原通道矩阵，模型输出为多分类概率，通过softmax等算法最终输出网页类别。在训练时，模型通过交叉熵等目标函数向正确趋势逼近。
5）神经网络（Neural Network，NN）：人工神经网络（Artificial Neural Network，ANN），简称神经网络或类神经网络，在机器学习和认知科学领域，是一种模仿生物神经网络（动物的中枢神经系统，特别是大脑）的结构和功能的数学模型或计算模型，用于对函数进行估计或近似。
下面对本发明实施例所提供的人脸检测模型训练方法进行说明，其中，图1为本发明实施例中人脸检测模型训练方法应用环境示意图，参见图1，终端（包括终端10-1和终端10-2）上设置有人脸活体检测功能的应用软件的客户端，服务器中部署经过训练人脸检测模型，以实现对终端一侧的人脸进行检验，例如，在金融领支付领域中，用户可以通过智能手机进行转账、支付或修改账户信息等需要进行身份验证的操作可以通过对用户的人脸活体进行检测实现。这一过程中由终端设备向服务器上传需要检测的人脸图像或视频，或由服务器直接调用数据库中需要检测的人脸图像或人脸视频，然后采用训练好的人脸检测模型对人脸图像或人脸视频进行验证，以得到检测结果。服务器可向终端设备反馈检测结果，也可以将检测结果保持在本地，供其他业务应用或处理，其中，终端通过网络300连接服务器200，网络300可以是广域网或者局域网，又或者是二者的组合，使用无线链路实现数据传输。
作为一个示例，服务器200用于布设人脸检测模型装置以实现本发明所提供的人脸检测方法，以通过响应于人脸活体检测请求，获取终端所采集的目标用户的人脸图像；基于所述目标用户的人脸图像，通过人脸检测模型进行处理，形成所述目标用户的人脸分类概率；基于所述目标用户的人脸分类概率和人脸检测模型相匹配的概率阈值，确定相应的人脸分类结果；输出所述目标用户的人脸分类结果。
当然在通过人脸检测模型对不同的人脸图像进行处理以生成相应的分类结果之前，还需要对人脸检测模型进行训练，具体包括：
获取与所述人脸检测模型的使用环境相匹配的训练样本集合，其中，所述训练样本中包括不同域中的用户人脸图像；通过与所述人脸检测模型的使用环境相匹配的训练样本，对所述人脸检测模型中的域特征解耦网络进行训练，确定所述人脸检测模型中的域特征解耦网络的网络参数；通过所述人脸检测模型中的域特征解耦网络，对所述训练样本的域相关特征和域无关特征进行分离；保持所述训练样本中的域无关特征不变，对所述训练样本中的域相关特征进行组合调整，形成新的训练样本集合；通过所述新的训练样本集合对所述人脸检测模型进行训练，确定与所述人脸检测模型相适配的模型参数，以实现通过所述人脸检测模型对不同的人脸信息进行检测，确定相应的人脸分类概率。
当然，本发明所提供的人脸检测装置可以应用于虚拟资源或者实体资源进行金融活动或者通过实体金融资源支付环境（包括但不限于各类型的实体金融资源支付中的人脸检测环境）或者社交软件进行信息交互的使用环境，在各类型的实体金融资源进行金融活动或者通过虚拟资源支付中通常会对不同数据来源的金融信息进行处理，最终在用户界面（User Interface，UI）上呈现出与相应的与所述目标用户相匹配的检测出结果，确定检测的图像是用户的活体人脸图像还是攻击信息。用户在当前显示界面中获得的人脸分类结果（例如判断当前检测的是攻击信息）还可以供其他应用程序调用。
其中，本申请实施例所提供的人脸检测方法是基于人工智能实现的，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
在本申请实施例中，主要涉及的人工智能软件技术包括上述语音处理技术和机器学习等方向。例如，可以涉及语音技术(Speech Technology)中的语音识别技术(AutomaticSpeech Recognition，ASR)，其中包括语音信号预处理(Speech signal preprocessing)、语音信号频域分析(Speech signal frequency analyzing)、语音信号特征提取(Speechsignal feature extraction)、语音信号特征匹配/识别(Speech signal featurematching/recognition)、语音的训练(Speech training)等。
例如可以涉及机器学习(Machine learning，ML)，机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习通常包括深度学习(Deep Learning)等技术，深度学习包括人工神经网络(artificial neural network) ，例如卷积神经网络(ConvolutionalNeural Network，CNN)、循环神经网络(Recurrent Neural Network，RNN)、深度神经网络(Deep neural network，DNN)等。
下面对本发明实施例的人脸检测装置的结构做详细说明，人脸检测装置可以各种形式来实施，如带有人脸检测装置处理功能的专用终端，也可以为设置有人脸检测装置处理功能的服务器，例如前序图1中的服务器200。图2为本发明实施例提供的电子设备的组成结构示意图，可以理解，图2仅仅示出了人脸检测装置的示例性结构而非全部结构，根据需要可以实施图2示出的部分结构或全部结构。
本发明实施例提供的人脸检测装置包括：至少一个处理器201、存储器202、用户接口203和至少一个网络接口204。人脸检测装置中的各个组件通过总线系统205耦合在一起。可以理解，总线系统205用于实现这些组件之间的连接通信。总线系统205除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图2中将各种总线都标为总线系统205。
其中，用户接口203可以包括显示器、键盘、鼠标、轨迹球、点击轮、按键、按钮、触感板或者触摸屏等。
可以理解，存储器202可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。本发明实施例中的存储器202能够存储数据以支持终端（如10-1）的操作。这些数据的示例包括：用于在终端（如10-1）上操作的任何计算机程序，如操作系统和应用程序。其中，操作系统包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序可以包含各种应用程序。
在一些实施例中，本发明实施例提供的人脸检测装置可以采用软硬件结合的方式实现，作为示例，本发明实施例提供的人脸检测装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本发明实施例提供的人脸检测方法。例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路（ASIC，Application Specific IntegratedCircuit）、DSP、可编程逻辑器件（PLD，Programmable Logic Device）、复杂可编程逻辑器件（CPLD，Complex Programmable Logic Device）、现场可编程门阵列（FPGA，Field-Programmable Gate Array）或其他电子元件。
作为本发明实施例提供的人脸检测装置采用软硬件结合实施的示例，本发明实施例所提供的人脸检测装置可以直接体现为由处理器201执行的软件模块组合，软件模块可以位于存储介质中，存储介质位于存储器202，处理器201读取存储器202中软件模块包括的可执行指令，结合必要的硬件（例如，包括处理器201以及连接到总线205的其他组件）完成本发明实施例提供的人脸检测方法。
作为示例，处理器201可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器（DSP，Digital Signal Processor），或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。
作为本发明实施例提供的人脸检测装置采用硬件实施的示例，本发明实施例所提供的装置可以直接采用硬件译码处理器形式的处理器201来执行完成，例如，被一个或多个应用专用集成电路（ASIC，Application Specific Integrated Circuit）、DSP、可编程逻辑器件（PLD，Programmable Logic Device）、复杂可编程逻辑器件（CPLD，ComplexProgrammable Logic Device）、现场可编程门阵列（FPGA，Field-Programmable GateArray）或其他电子元件执行实现本发明实施例提供的人脸检测方法。
本发明实施例中的存储器202用于存储各种类型的数据以支持人脸检测装置的操作。这些数据的示例包括：用于在人脸检测装置上操作的任何可执行指令，如可执行指令，实现本发明实施例的从人脸检测方法的程序可以包含在可执行指令中。
在另一些实施例中，本发明实施例提供的人脸检测装置可以采用软件方式实现，图2示出了存储在存储器202中的人脸检测装置，其可以是程序和插件等形式的软件，并包括一系列的模块，作为存储器202中存储的程序的示例，可以包括人脸检测装置，人脸检测装置中包括以下的软件模块：信息传输模块2081和信息处理模块2082。当人脸检测装置中的软件模块被处理器201读取到RAM中并执行时，将实现本发明实施例提供的人脸检测方法，其中，人脸检测装置中各个软件模块的功能，包括：
第一信息传输模块2081，用于获取与所述人脸检测模型的使用环境相匹配的训练样本集合，其中，所述训练样本中包括不同域中的用户人脸图像；
训练模块2082，用于通过与所述人脸检测模型的使用环境相匹配的训练样本，对所述人脸检测模型中的域特征解耦网络进行训练，确定所述人脸检测模型中的域特征解耦网络的网络参数；
所述训练模块2082，用于通过所述人脸检测模型中的域特征解耦网络，对所述训练样本的域相关特征和域无关特征进行分离；
所述训练模块2082，用于保持所述训练样本中的域无关特征不变，对所述训练样本中的域相关特征进行组合调整，形成新的训练样本集合；
所述训练模块2082，用于通过所述新的训练样本集合对所述人脸检测模型进行训练，确定与所述人脸检测模型相适配的模型参数，以实现通过所述人脸检测模型对不同的人脸信息进行检测，确定相应的人脸分类概率。
在介绍本申请所提供的人脸检测方法之前，首先对相关技术中的金融支付中的人脸检测场景下的人脸检测模型进行说明，其中，通过人脸检测模型确定相应的人脸分类结果，判断当前检测的是真是的活体人脸图像还是攻击信息，其中攻击信息可以是平面人脸图像攻击或者立体人脸图像攻击。
在这一过程中，为了实现对人脸检测模型的训练，通常需要进行数据增强处理，以实现训练样本的增广，具体来说，可以通过改变图像本身特征实现数据增强，例如可以通过图像翻转，随机剪切，缩放以及色彩空间的转换或者图片模糊程度调整等的数据处理方式实现。上述方案中，色彩空间的转换的算法主要是把RGB空间的图片转换到HSV色彩空间中，得到分离的色度，饱和度和亮度的信息，并和原图拼合成6通道的图片送入之后的网络进行训练。而改变图片模糊程度的算法主要是通过不同大小的算子来对于原图进行模糊处理，然后和原始图像一起作为训练样本进行训练，帮助人脸检测模型能更好的在低质量或者清晰度较差的训练数据集上进行泛化。但是，这些算法都仅仅是对数据做了一些微小的扰动，但并没有本质上的改变数据的分布，导致人脸检测使用过程中进行泛化时，对于不同域的数据依然无法实现准确检测。
基于全部信息的活体检测算法涵盖了目前大部分的方法，该算法的原理是通过人为定义的特征算子或者神经网络对输入的图片进行特征提取，然后在该特征的基础上通过SVM或者神经网络输出一个活体分数或者通过反卷积网络回归出一张特征图，并统计特征图的平均像素值作为该图片的活体分数。该类算法的缺点主要是使用全部信息容易拟合到无关信息，导致泛化能力下降。
基于部分信息的活体检测算法数量有限，该类算法的原理是通过假设攻击图片和真实图片之间的差别可能是符合的某种分布的噪声，然后用神经网络估算出噪声的特征图，并基于该噪声图进行分类。该算法的确在一定程度上提高了泛化能力。但是由于假设前提目的性较强，使得训练过程中的训练样本必须符合某种分布的噪声攻击，但是人脸检测模型的使用环境中攻击种类千变万化，不符合训练中的噪声分布，导致检测的错误。
为解决上述缺陷，参考图3，图3为本申请所提供的人脸检测模型训练方法一个可选的流程示意图，可以理解地，图3所示的步骤可以由运行人脸检测模型训练装置的各种电子设备执行，例如可以是如带有活体人脸图像检测功能的专用终端、带有人脸检测模型训练功能的服务器或者服务器集群，实现针对不同的金融场景中所适配的人脸检测模型进行训练及部署。下面针对图3示出的步骤进行说明。
步骤301：人脸检测模型训练装置获取与所述人脸检测模型的使用环境相匹配的训练样本集合。
其中，所述训练样本中包括不同域中的用户人脸图像。
在本发明的一些实施例中，获取与所述人脸检测模型的使用环境相匹配的训练样本集合，可以通过以下方式实现：
获取所述人脸检测模型的使用环境中的终端所采集的人脸图像；对所述人脸图像进行图像增广处理；基于图像增广的处理结果，通过人脸检测算法确定相应的人脸位置，并截取包括背景图像的人脸图像；通过所述人脸检测模型的深度处理网络对所述包括背景图像的人脸图像进行处理，形成相应的深度图作为与所述人脸检测模型的使用环境相匹配的训练样本集合中的任一训练样本。其中，参考图4，图4为本发明实施例中人脸图像的获取示意图；获得通过终端所采集的用户图像后，可以首先通过脸部检测的技术来框定用户脸部所在区域，并以此区域为中心扩大1.8倍，获得更多的背景内容，并对包括背景内容的脸部图像进行裁剪；例如：可以采用如下方式：采用人脸检测算法，框选目标对象的人脸位置；使用五官定位算法、标出人眼、嘴、鼻、等脸部的特征点；根据检测到的人脸位置截取包括背景内容的脸部图像。然后通过深度估计网络裁剪出来的真人人脸计算得到脸部对应的深度图，其中，在本申请的实施例中可以假设真人图片有深度图，而攻击图片对应的深度图则是黑色的底图。基于图像信息的分类深度学习网络技术，包括但不限于LeNet，AlexNet，VGG，Inception系列网络，ResNet和DenseNet；其二是在图像上或ROI中提取传统特征，包括但不限于均值，方差等基于灰度的特征和基于分布直方图的特征，GLCM和GLRLM等基于相关矩阵的特征或基于图像傅里叶变换之后的信号特征等等。
步骤302：人脸检测模型训练装置通过与所述人脸检测模型的使用环境相匹配的训练样本，对所述人脸检测模型中的域特征解耦网络进行训练，确定所述人脸检测模型中的域特征解耦网络的网络参数。
在本发明的一些实施例中，在对域特征解耦网络进行训练之前，可以根据所述人脸检测模型的使用环境相匹配的训练样本，确定相应的域来源信息特征集合；通过所述域来源信息特征集合，对所述人脸检测模型的域鉴别器网络进行训练，以实现通过所述域鉴别器网络对接收的图像所归属的域进行判断。其中，参考图5，图5为本发明实施例中域鉴别器网络一个可选的结构示意图；其中，针对每一个域Domaini，可以首先训练一个对应的域鉴别器Domaini-Dis，该鉴别器用来判断输入的图片是否属于这个域，具体框架如图5所示，此处假设有3个不同的域（本申请中域的数量可以跟随人脸检测模型的使用环境进行调整），同时，其中的Enc网络可以选择任一分类网络，本申请不作具体限制。
步骤303：人脸检测模型训练装置通过所述人脸检测模型中的域特征解耦网络，对所述训练样本的域相关特征和域无关特征进行分离。
在本发明的一些实施例中，通过与所述人脸检测模型的使用环境相匹配的训练样本集合，对所述人脸检测模型中的域特征解耦网络进行训练，确定所述人脸检测模型中的域特征解耦网络的网络参数，可以通过以下方式实现：
通过与所述人脸检测模型的使用环境相匹配的训练样本集合，确定相应的正例样本与负例样本；通过所述域特征解耦网络的中的编码器子网络，对所述训练样本集合中的不同正例训练样本和负例训练样本中的域相关特征重新进行组合，形成重组特征向量；通过所述域特征解耦网络的中的解码器子网络，对所述重组特征向量进行解码处理；当能够获得相同人脸的不同域特征的图像向量时，确定所述人脸检测模型中的域特征解耦网络的网络参数。其中，为了实现对上述训练过程的监督，可以基于所述正例样本，确定对应的第一深度图像；
基于所述负例样本，确定对应的第二深度图像；当确定所述人脸检测模型中的域特征解耦网络的网络参数时，通过所述人脸检测模型的深度处理网络确定与所述重组特征向量相匹配的第三深度图像；通过所述第一深度图像或者第二深度图像，与所述第三深度图像进行比对，以监督不同正例训练样本和负例训练样本中的域无关特征的准确性。具体来说，参考图6，图6为本发明实施例中域特征解耦网络一个可选的结构示意图，其中，域特征解耦网络解耦框架以及辅助监督，其中解耦框架主要负责完成域相关特征D和域无关特征R的分离；而辅助监督细分为两个：深度监督，鉴别器监督，主要用来确保特征能够分离并辅助检测，如图6所示，在训练时，需要同时输入不同域（domain）的人脸图片（可选的实施例中为3个domain，强光照域、若光照域、强反射域），domainA ，domainB ，domainC。通过编码器网络，可以分别得到（DA，RA）；（DB，RB）；（DC，RC）。顺序交换不同domain之间的域相关特征，得到如下三组组合：（DB，RA）；（DC，RB）；（DA，RC），并分别输入到解码器，得到交换了域特征之后的AB，BC和CA。其中AB是A的人物而B的域特征，BC是B人物的C的域特征，CA是C人物的A的域特征。将这三组图输入上述训练完成的域鉴别器，根据相应的输出结果能够将图片判定为交换域特征之后的域类别，并将这三组图片输入深度网络估计深度图，保证域无关信息的准确性。
步骤304：人脸检测模型训练装置保持所述训练样本中的域无关特征不变，对所述训练样本中的域相关特征进行组合调整，形成新的训练样本集合。
在本发明的一些实施例中，持所述训练样本中的域无关特征不变，对所述训练样本中的域相关特征进行组合调整，形成新的训练样本集合，可以通过以下方式实现：
保持所述训练样本中的域无关特征不变，对所述训练样本中的域相关特征进行插值处理，形成新的训练样本集合；或者，保持所述训练样本中的域无关特征不变，对所述训练样本中的域相关特征进行随机删除处理或替换处理，形成新的训练样本集合。
步骤305：人脸检测模型训练装置通过所述新的训练样本集合对所述人脸检测模型进行训练，确定与所述人脸检测模型相适配的模型参数，以实现通过所述人脸检测模型对不同的人脸信息进行检测，确定相应的人脸分类概率。
在本发明的一些实施例中，通过所述新的训练样本集合对所述人脸检测模型进行训练，确定与所述人脸检测模型相适配的模型参数，以实现通过所述人脸检测模型对不同的人脸信息进行检测，确定相应的人脸分类概率，可以通过以下方式实现：
根据所述新的训练样本集合对所述人脸检测模型进行训练，确定所述人脸检测模型中特征提取器网络的模型参数；根据与所述新的训练样本集合对所述人脸检测模型进行训练，确定所述人脸检测模型中样本分类器网络的模型参数。
继续参考图7，图7为本申请所提供的人脸检测模型训练方法一个可选的流程示意图，可以理解地，图7所示的步骤可以由运行人脸检测模型训练装置的各种电子设备执行，例如可以是如带有活体人脸图像检测功能的专用终端、带有人脸检测模型训练功能的服务器或者服务器集群，实现针对不同的金融支付人脸检测场景中所适配的人脸检测模型进行训练及部署。下面针对图7示出的步骤进行说明。
步骤701：通过所述人脸检测模型中特征提取器网络，对所述新的训练样本集合进行处理，以确定所述特征提取器网络的初始参数。
其中，人脸检测模型包括由一个特征提取器网络（Feature Extractor）和一个样本分类器网络（Classifier）组成，其中，特征提取器网络（Feature extractor）负责提取后续分类网络所需要的特征嵌入向量，所有不同域的人脸图像共享同一个特征提取器网络。该特征提取器网络将各个时间域样本特征映射到同一个空间中。其结构为一个全连接网络，它的输入为每个样本的原始特征，输出为每个样本的特征嵌入向量。
步骤702：响应于所述特征提取器网络的初始参数，通过所述特征提取器网络对所述新的训练样本集合进行处理，确定所述特征提取器网络的更新参数。
在本发明的一些实施例中，响应于所述特征提取器网络的初始参数，通过所述特征提取器网络对所述新的训练样本集合进行处理，确定所述特征提取器网络的更新参数，可以通过以下方式实现：
将所述新的训练样本集合中不同训练样本，代入由所述特征提取器网络所对应的损失函数；确定所述损失函数满足相应的收敛条件时所述特征提取器网络对应所述更新参数。
步骤703：根据所述特征提取器网络的更新参数，通过所述新的训练样本集合对所述特征提取器网络的参数进行迭代更新，以提取所述新的训练样本集合中每个样本的特征嵌入向量。
在本发明的一些实施例中，根据所述特征提取器网络的更新参数，通过所述新的训练样本集合对所述特征提取器网络的参数进行迭代更新，以提取所述新的训练样本集合中每个样本的特征嵌入向量，可以通过以下方式实现：
确定所述特征提取器网络对应的损失函数；根据所述特征提取器网络的更新参数，对所述特征提取器网络的参数进行迭代更新；直至所述特征提取器网络的损失函数达到相应的收敛条件，并且基于所述特征提取器网络中的参数，能够提取所述新的训练样本集合中每个样本的特征嵌入向量。
步骤704：通过所述人脸检测模型中样本分类器网络，对所述训练样本集合进行处理，以确定所述样本分类器网络的初始参数。
步骤705：响应于所述样本分类器网络的初始参数，通过所述样本分类器网络对所述新的训练样本集合进行处理，确定所述样本分类器网络的更新参数。
在本发明的一些实施例中，响应于所述样本分类器网络的初始参数，通过所述样本分类器网络对所述训练样本集合进行处理，确定所述样本分类器网络的更新参数，可以通过以下方式实现：
将所述新的训练样本集合中不同训练样本，代入由所述样本分类器网络所对应的损失函数；确定所述损失函数满足相应的收敛条件时所述样本分类器网络对应所述更新参数。
步骤706：根据所述样本分类器网络的更新参数，通过所述新的训练样本集合对所述样本分类器网络的参数进行迭代更新，以实现基于相应的样本标签以及每个样本的特征嵌入向量，确定相应的人脸分类概率。
在本发明的一些实施例中，根据所述样本分类器网络的更新参数，通过所述新的训练样本集合对所述样本分类器网络的参数进行迭代更新，以实现基于相应的样本标签以及每个样本的特征嵌入向量，确定相应的人脸分类概率，可以通过以下方式实现：
确定所述样本分类器网络对应的损失函数；根据所述样本分类器网络的更新参数，对所述样本分类器网络的参数进行迭代更新，直至所述样本分类器网络的损失函数达到相应的收敛条件，并且基于相应的样本标签以及每个样本的特征嵌入向量，确定相应的人脸分类概率。其中，参考图8，图8为本发明实施例中人脸检测模型的一个可选的训练示意图，如图8所示，人脸检测模型的训练中，当域特征解耦网络训练完成后，可以通过域特征解耦网络从任意一张人脸图片中解耦出域相关特征D和域无关特征R。由此，可以在不同域的D之间进行插值，例如
Figure 780874DEST_PATH_IMAGE001
，
Figure 251170DEST_PATH_IMAGE002
，其中，D表征域相关特征，
Figure 918911DEST_PATH_IMAGE003
表征域信息，然后将（D，，Ri）输入到解码器中，得到的图片再输入样本分类器网络中进行训练，最后得到经过训练样本分类器网络，由此，人脸检测模型在不同域（domain）中的的泛化能力将会显著提升。
继续参考图9，图9为本申请所提供的人脸检测方法一个可选的流程示意图，可以理解地，图9所示的步骤可以由运行人脸检测装置的各种电子设备执行，例如可以是如带有人脸检测功能的专用终端、带有人脸检测功能的服务器或者服务器集群，实现利用所部署的不同的金融场景中所适配的人脸检测模型进行人脸检测。下面针对图9示出的步骤进行说明。
步骤901：人脸检测装置响应于人脸活体检测请求，获取终端所采集的目标用户的人脸图像。
步骤902：人脸检测装置基于所述目标用户的人脸图像，通过人脸检测模型进行处理，形成所述目标用户的人脸分类概率。
步骤903：人脸检测装置基于所述目标用户的人脸分类概率和人脸检测模型相匹配的概率阈值，确定相应的人脸分类结果。
步骤904：人脸检测装置输出所述目标用户的人脸分类结果。
在本发明的一些实施例中，还可以确定所述目标用户相匹配的人脸检测模型所分别对应的不同金融业务场景；基于所述不同金融业务场景，对所述目标用户相匹配的人脸图像特征进行去噪处理，以形成与对应的金融业务场景相匹配的人脸图像特征集合，其中，每一个样本包括相应的域相关特征和域无关特征。其中，其中，由于人脸检测模型的使用环境不同，与所述人脸检测模型的使用环境相匹配的动态噪声阈值也不相同，例如，通过微信进程进行支付和转账的金融使用环境中，与所述人脸检测模型的使用环境相匹配的动态噪声阈值需要小于用户通过微信进程进行金融开户的金融使用环境中的动态噪声阈值。
进一步地，当人脸检测模型固化于相应的硬件机构中，例如金融终端（POS机或柜员机），使用环境为金融借贷使用环境中对目标用户进行人脸检测进行金融借贷时，由于噪声较为单一，通过固定人脸检测模型相对应的固定噪声阈值，能够有效提升人脸检测模型的训练速度，减少用户的等待时间，便于人脸检测模型的大规模部署。
同时考虑到实际应用中不但可以通过带有人脸检测功能的APP实现本申请的方案，同时还可以通过微信小程序实现本申请的方案，并供其他金融程序调用人脸检测模型结果因此，通过金融云服务器网络，用户在更换终端时，可以通过部署在云服务器网络中人脸检测模型，快速地对不同目对象的人脸进行检测。
具体来说，可以将目标用户标识、人脸检测模型的模型参数、金融场景标识发送至云服务器的网络中，在触发相应的人脸检测进程时通过云服务器网络获取目标用户标识、人脸检测模型的模型参数、金融场景标识，以供相应的人脸检测进程使用。
其中，本发明实施例可结合云技术实现，云技术(Cloud technology)是指在广域网或局域网内将硬件、软件及网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术，也可理解为基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术及应用技术等的总称。技术网络系统的后台服务需要大量的计算、存储资源，如视频网站、图片类网站和更多的门户网站，因此云技术需要以云计算作为支撑。
需要说明的是，云计算是一种计算模式，它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。提供资源的网络被称为“云”。“云”中的资源在使用者看来是可以无限扩展的，并且可以随时获取，按需使用，随时扩展，按使用付费。作为云计算的基础能力提供商，会建立云计算资源池平台，简称云平台，一般称为基础设施即服务(IaaS，Infrastructure as a Service)，在资源池中部署多种类型的虚拟资源，供外部客户选择使用。云计算资源池中主要包括：计算设备(可为虚拟化机器，包含操作系统)、存储设备和网络设备。
结合前序图1所示，本发明实施例所提供的目标对象确定方法可以通过相应的云端设备实现，例如：终端（包括终端10-1和终端10-2）通过网络300连接位于云端的服务器200，网络300可以是广域网或者局域网，又或者是二者的组合。值得说明的是，服务器200可为实体设备，也可为虚拟化设备。
下面以金融借贷使用场景中的对需要进行金融借贷的目标用户进行人脸检测为例，对本申请所提供的人脸检测模型训练方法以及人脸检测方法进行说明，其中，参见图10，图10为本申请所提供的人脸检测方法的前端显示示意图，其中终端（例如图1中的终端10-1和终端10-2）上设置有能够显示相应进行金融借贷的软件的客户端，例如虚拟资源或者实体资源进行金融活动或者通过虚拟资源借贷的客户端或插件，用户通过相应的客户端可以获向金融机构或平台进行借贷（例如微信财付通支付或者微信中的进行资金借贷购买物品的进程）；终端通过网络300连接服务器200，网络300可以是广域网或者局域网，又或者是二者的组合，使用无线链路实现数据传输。服务器（例如图1中的服务器300）银行、证券、互金、P2P等提供支付、借贷、理财等金融业务的企业的服务器。当用户需要办理相关金融业务的用户使用客户端设备访问企业的客户服务器提供的服务时，客户服务器通过触发用户终端微信中的人脸检测小程序，实现对人脸信息的实时检测，避免攻击信息通过立体人脸图像盗用用户的人脸信息。
参考图11，图11为本申请所提供的人脸检测方法使用过程示意图，其中本申请所提供的人脸检测方法包括以下步骤：
步骤1101：服务器获取人脸活体检测请求。
步骤1102：响应于人脸活体检测请求，获取终端所采集的目标用户的人脸图像。
步骤1103：通过目标用户标识，在金融云服务器网络中获取人脸检测模型的模型参数和金融场景标识对应的阈值信息。
对于人脸检测模型的不同使用场景，可以设置相匹配的阈值，对于任意一张输入的人脸图片，可以将其输入分类网络中进行预测，得到一个预测分数（大小区间为[0,1]），和所设定的阈值比较，如果小于该阈值则判定为是攻击图片，发出提示信息，反之为真人图片。
步骤1104：触发微信小程序中的所部署的人脸检测模型，通过人脸检测模型进行处理，形成所述目标用户的人脸分类概率。
步骤1105：基于所述目标用户的人脸分类概率和人脸检测模型相匹配的概率阈值，确定相应的人脸分类结果。
步骤1106：输出所述目标用户的人脸分类结果，确定是否通过人脸检测。
由此，通过本申请实施例所提供的人脸活体检测方法，通过解耦来完成特征层面的数据增强，将域相关特征D和域无关特征R解耦出来，并在不同域的域特征D之间进行插值，创造新的域数据，缓解了网络对于单个域过拟合的问题，提高了泛化性，避免了检测过程中由于数据来自不同域，所造成的检查准确度的下降。
有益技术效果：
本发明通过获取与所述人脸检测模型的使用环境相匹配的训练样本集合，其中，所述训练样本中包括不同域中的用户人脸图像；通过与所述人脸检测模型的使用环境相匹配的训练样本，对所述人脸检测模型中的域特征解耦网络进行训练，确定所述人脸检测模型中的域特征解耦网络的网络参数；通过所述人脸检测模型中的域特征解耦网络，对所述训练样本的域相关特征和域无关特征进行分离；保持所述训练样本中的域无关特征不变，对所述训练样本中的域相关特征进行组合调整，形成新的训练样本集合；通过所述新的训练样本集合对所述人脸检测模型进行训练，确定与所述人脸检测模型相适配的模型参数，以实现通过所述人脸检测模型对不同的人脸信息进行检测，由此，可以确定相应的人脸分类概率，降低人脸检测的复杂性，在兼顾了训练精确性的同时，使得人脸检测模型的泛化能力以及数据处理能力更强，适应不同的数据处理环境，增强了人脸检测模型的分类的鲁棒性，减少了人脸检测模型容易过拟合的问题。
以上所述，仅为本发明的实施例而已，并非用于限定本发明的保护范围，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (15)

1.一种人脸检测模型训练方法，其特征在于，所述方法包括：
获取与所述人脸检测模型的使用环境相匹配的训练样本集合，其中，所述训练样本中包括不同域中的用户人脸图像；
通过与所述人脸检测模型的使用环境相匹配的训练样本，对所述人脸检测模型中的域特征解耦网络进行训练，确定所述人脸检测模型中的域特征解耦网络的网络参数；
通过所述人脸检测模型中的域特征解耦网络，对所述训练样本的域相关特征和域无关特征进行分离；
保持所述训练样本中的域无关特征不变，对所述训练样本中的域相关特征进行组合调整，形成新的训练样本集合；
通过所述新的训练样本集合对所述人脸检测模型进行训练，确定与所述人脸检测模型相适配的模型参数，以实现通过所述人脸检测模型对不同的人脸信息进行检测，确定相应的人脸分类概率。
2.根据权利要求1所述的方法，其特征在于，所述获取与所述人脸检测模型的使用环境相匹配的训练样本集合，包括：
获取所述人脸检测模型的使用环境中的终端所采集的人脸图像；
对所述人脸图像进行图像增广处理；
基于图像增广的处理结果，通过人脸检测算法确定相应的人脸位置，并截取包括背景图像的人脸图像；
通过所述人脸检测模型的深度处理网络对所述包括背景图像的人脸图像进行处理，形成相应的深度图作为与所述人脸检测模型的使用环境相匹配的训练样本集合中的任一训练样本。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
根据所述人脸检测模型的使用环境相匹配的训练样本，确定相应的域来源信息特征集合；
通过所述域来源信息特征集合，对所述人脸检测模型的域鉴别器网络进行训练，以实现通过所述域鉴别器网络对接收的图像所归属的域进行判断。
4.根据权利要求1所述的方法，其特征在于，所述通过与所述人脸检测模型的使用环境相匹配的训练样本集合，对所述人脸检测模型中的域特征解耦网络进行训练，确定所述人脸检测模型中的域特征解耦网络的网络参数，包括：
通过与所述人脸检测模型的使用环境相匹配的训练样本集合，确定相应的正例样本与负例样本；
通过所述域特征解耦网络的中的编码器子网络，对所述训练样本集合中的不同正例训练样本和负例训练样本中的域相关特征重新进行组合，形成重组特征向量；
通过所述域特征解耦网络的中的解码器子网络，对所述重组特征向量进行解码处理；
当能够获得相同人脸的不同域特征的图像向量时，确定所述人脸检测模型中的域特征解耦网络的网络参数。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
基于所述正例样本，确定对应的第一深度图像；
基于所述负例样本，确定对应的第二深度图像；
当确定所述人脸检测模型中的域特征解耦网络的网络参数时，通过所述人脸检测模型的深度处理网络确定与所述重组特征向量相匹配的第三深度图像；
通过所述第一深度图像或者第二深度图像，与所述第三深度图像进行比对，以监督不同正例训练样本和负例训练样本中的域无关特征的准确性。
6.根据权利要求1所述的方法，其特征在于，所述保持所述训练样本中的域无关特征不变，对所述训练样本中的域相关特征进行组合调整，形成新的训练样本集合，包括：
保持所述训练样本中的域无关特征不变，对所述训练样本中的域相关特征进行插值处理，形成新的训练样本集合；或者，
保持所述训练样本中的域无关特征不变，对所述训练样本中的域相关特征进行随机删除处理或替换处理，形成新的训练样本集合。
7.根据权利要求1所述的方法，其特征在于，所述通过所述新的训练样本集合对所述人脸检测模型进行训练，确定与所述人脸检测模型相适配的模型参数，以实现通过所述人脸检测模型对不同的人脸信息进行检测，确定相应的人脸分类概率，包括：
根据所述新的训练样本集合对所述人脸检测模型进行训练，确定所述人脸检测模型中特征提取器网络的模型参数；
根据与所述新的训练样本集合对所述人脸检测模型进行训练，确定所述人脸检测模型中样本分类器网络的模型参数。
8.根据权利要求7所述的方法，其特征在于，所述根据所述新的训练样本集合对所述人脸检测模型进行训练，确定所述人脸检测模型中特征提取器网络的模型参数，包括：
通过所述人脸检测模型中特征提取器网络，对所述新的训练样本集合进行处理，以确定所述特征提取器网络的初始参数；
响应于所述特征提取器网络的初始参数，通过所述特征提取器网络对所述新的训练样本集合进行处理，确定所述特征提取器网络的更新参数；
根据所述特征提取器网络的更新参数，通过所述新的训练样本集合对所述特征提取器网络的参数进行迭代更新，以提取所述新的训练样本集合中每个样本的特征嵌入向量。
9.根据权利要求8所述的方法，其特征在于，所述响应于所述特征提取器网络的初始参数，通过所述特征提取器网络对所述新的训练样本集合进行处理，确定所述特征提取器网络的更新参数，包括：
将所述新的训练样本集合中不同训练样本，代入由所述特征提取器网络所对应的损失函数；
确定所述损失函数满足相应的收敛条件时所述特征提取器网络对应所述更新参数。
10.根据权利要求8所述的方法，其特征在于，所述根据所述特征提取器网络的更新参数，通过所述新的训练样本集合对所述特征提取器网络的参数进行迭代更新，以提取所述新的训练样本集合中每个样本的特征嵌入向量，包括：
确定所述特征提取器网络对应的损失函数；
根据所述特征提取器网络的更新参数，对所述特征提取器网络的参数进行迭代更新；直至所述特征提取器网络的损失函数达到相应的收敛条件，并且基于所述特征提取器网络中的参数，能够提取所述新的训练样本集合中每个样本的特征嵌入向量。
11.一种人脸检测方法，其特征在于，所述方法包括：
响应于人脸活体检测请求，获取终端所采集的目标用户的人脸图像；
基于所述目标用户的人脸图像，通过人脸检测模型进行处理，形成所述目标用户的人脸分类概率；
基于所述目标用户的人脸分类概率和人脸检测模型相匹配的概率阈值，确定相应的人脸分类结果；
输出所述目标用户的人脸分类结果；
其中，所述人脸检测模型基于如权利要求1至10任一项所述的方法训练得到。
12.一种人脸检测模型训练装置，其特征在于，所述装置包括：
第一信息传输模块，用于获取与所述人脸检测模型的使用环境相匹配的训练样本集合，其中，所述训练样本中包括不同域中的用户人脸图像；
训练模块，用于通过与所述人脸检测模型的使用环境相匹配的训练样本，对所述人脸检测模型中的域特征解耦网络进行训练，确定所述人脸检测模型中的域特征解耦网络的网络参数；
所述训练模块，用于通过所述人脸检测模型中的域特征解耦网络，对所述训练样本的域相关特征和域无关特征进行分离；
所述训练模块，用于保持所述训练样本中的域无关特征不变，对所述训练样本中的域相关特征进行组合调整，形成新的训练样本集合；
所述训练模块，用于通过所述新的训练样本集合对所述人脸检测模型进行训练，确定与所述人脸检测模型相适配的模型参数，以实现通过所述人脸检测模型对不同的人脸信息进行检测，确定相应的人脸分类概率。
13.一种人脸检测装置，其特征在于，所述装置包括：
第二信息传输模块，用于响应于人脸活体检测请求，获取终端所采集的目标用户的人脸图像；
信息处理模块，用于基于所述目标用户的人脸图像，通过人脸检测模型进行处理，形成所述目标用户的人脸分类概率；
所述信息处理模块，用于基于所述目标用户的人脸分类概率和人脸检测模型相匹配的概率阈值，确定相应的人脸分类结果；
所述信息处理模块，用于输出所述目标用户的人脸分类结果；
其中，所述人脸检测模型基于如权利要求1至10任一项所述的方法训练得到。
14.一种电子设备，其特征在于，所述电子设备包括：
存储器，用于存储可执行指令；
处理器，用于运行所述存储器存储的可执行指令时，实现权利要求1至10任一项所述的人脸检测模型训练方法，或者权利要求11所述的人脸检测方法。
15.一种计算机可读存储介质，存储有可执行指令，其特征在于，所述可执行指令被处理器执行时实现权利要求1至10任一项所述的人脸检测模型训练方法，或者权利要求11所述的人脸检测方法。
CN202010904803.5A 2020-09-01 2020-09-01 人脸检测模型训练方法、人脸检测方法、装置及电子设备 Active CN111767906B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010904803.5A CN111767906B (zh) 2020-09-01 2020-09-01 人脸检测模型训练方法、人脸检测方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010904803.5A CN111767906B (zh) 2020-09-01 2020-09-01 人脸检测模型训练方法、人脸检测方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN111767906A true CN111767906A (zh) 2020-10-13
CN111767906B CN111767906B (zh) 2020-11-27

Family

ID=72729642

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010904803.5A Active CN111767906B (zh) 2020-09-01 2020-09-01 人脸检测模型训练方法、人脸检测方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN111767906B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112800941A (zh) * 2021-01-26 2021-05-14 中科人工智能创新技术研究院(青岛)有限公司 基于非对称辅助信息嵌入网络的人脸反欺诈方法及系统
CN113542527A (zh) * 2020-11-26 2021-10-22 腾讯科技（深圳）有限公司 一种人脸图像传输方法、装置、电子设备及存储介质
CN114495328A (zh) * 2022-01-19 2022-05-13 深圳市凯迪仕智能科技有限公司 一种门锁装置及其控制方法
CN117115756A (zh) * 2023-10-24 2023-11-24 中电科大数据研究院有限公司 人员睡觉行为检测方法及系统
WO2024021504A1 (zh) * 2022-07-29 2024-02-01 成都云天励飞技术有限公司 人脸识别模型训练方法、识别方法、装置、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103246874A (zh) * 2013-05-03 2013-08-14 北京工业大学 一种基于联合稀疏模型和稀疏保持映射的人脸识别方法
CN108509915A (zh) * 2018-04-03 2018-09-07 百度在线网络技术（北京）有限公司 人脸识别模型的生成方法和装置
CN109858392A (zh) * 2019-01-11 2019-06-07 复旦大学 一种用于化妆前后人脸图像自动识别方法
CN110674714A (zh) * 2019-09-13 2020-01-10 东南大学 基于迁移学习的人脸和人脸关键点联合检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103246874A (zh) * 2013-05-03 2013-08-14 北京工业大学 一种基于联合稀疏模型和稀疏保持映射的人脸识别方法
CN108509915A (zh) * 2018-04-03 2018-09-07 百度在线网络技术（北京）有限公司 人脸识别模型的生成方法和装置
CN109858392A (zh) * 2019-01-11 2019-06-07 复旦大学 一种用于化妆前后人脸图像自动识别方法
CN110674714A (zh) * 2019-09-13 2020-01-10 东南大学 基于迁移学习的人脸和人脸关键点联合检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
熊拂: "人脸识别中的特征提取和度量学习方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113542527A (zh) * 2020-11-26 2021-10-22 腾讯科技（深圳）有限公司 一种人脸图像传输方法、装置、电子设备及存储介质
CN113542527B (zh) * 2020-11-26 2023-08-18 腾讯科技（深圳）有限公司 一种人脸图像传输方法、装置、电子设备及存储介质
CN112800941A (zh) * 2021-01-26 2021-05-14 中科人工智能创新技术研究院(青岛)有限公司 基于非对称辅助信息嵌入网络的人脸反欺诈方法及系统
CN114495328A (zh) * 2022-01-19 2022-05-13 深圳市凯迪仕智能科技有限公司 一种门锁装置及其控制方法
CN114495328B (zh) * 2022-01-19 2024-02-20 深圳市凯迪仕智能科技股份有限公司 一种门锁装置及其控制方法
WO2024021504A1 (zh) * 2022-07-29 2024-02-01 成都云天励飞技术有限公司 人脸识别模型训练方法、识别方法、装置、设备及介质
CN117115756A (zh) * 2023-10-24 2023-11-24 中电科大数据研究院有限公司 人员睡觉行为检测方法及系统
CN117115756B (zh) * 2023-10-24 2024-01-26 中电科大数据研究院有限公司 人员睡觉行为检测方法及系统

Also Published As

Publication number Publication date
CN111767906B (zh) 2020-11-27

Similar Documents

Publication Publication Date Title
CN111767906B (zh) 人脸检测模型训练方法、人脸检测方法、装置及电子设备
CN111401558B (zh) 数据处理模型训练方法、数据处理方法、装置、电子设备
WO2021139324A1 (zh) 图像识别方法、装置、计算机可读存储介质及电子设备
WO2018153322A1 (zh) 关键点检测方法、神经网络训练方法、装置和电子设备
CN111488865B (zh) 图像优化方法、装置、计算机存储介质以及电子设备
CN113688855A (zh) 数据处理方法、联邦学习的训练方法及相关装置、设备
WO2022156640A1 (zh) 一种图像的视线矫正方法、装置、电子设备、计算机可读存储介质及计算机程序产品
CN111754596A (zh) 编辑模型生成、人脸图像编辑方法、装置、设备及介质
EP4085369A1 (en) Forgery detection of face image
CN110222572A (zh) 跟踪方法、装置、电子设备及存储介质
CN111444826A (zh) 视频检测方法、装置、存储介质及计算机设备
CN110232318A (zh) 穴位识别方法、装置、电子设备及存储介质
CN114511576B (zh) 尺度自适应特征增强深度神经网络的图像分割方法与系统
WO2022247539A1 (zh) 活体检测方法、估算网络处理方法、装置、计算机设备和计算机可读指令产品
CN115131218A (zh) 图像处理方法、装置、计算机可读介质及电子设备
CN111833360A (zh) 一种图像处理方法、装置、设备以及计算机可读存储介质
CN115100717A (zh) 特征提取模型的训练方法、卡通对象的识别方法及装置
WO2022148248A1 (zh) 图像处理模型的训练方法、图像处理方法、装置、电子设备及计算机程序产品
CN114972016A (zh) 图像处理方法、装置、计算机设备、存储介质及程序产品
Fang et al. Fairness in face presentation attack detection
CN111639537A (zh) 人脸动作单元识别方法、装置、电子设备及存储介质
Soma et al. An efficient and contrast-enhanced video de-hazing based on transmission estimation using HSL color model
CN113542527B (zh) 一种人脸图像传输方法、装置、电子设备及存储介质
CN114283087A (zh) 一种图像去噪方法及相关设备
Dong 3D face recognition neural network for digital human resource management

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40030156

Country of ref document: HK