CN112926515A - 活体模型训练方法和装置 - Google Patents
活体模型训练方法和装置 Download PDFInfo
- Publication number
- CN112926515A CN112926515A CN202110323891.4A CN202110323891A CN112926515A CN 112926515 A CN112926515 A CN 112926515A CN 202110323891 A CN202110323891 A CN 202110323891A CN 112926515 A CN112926515 A CN 112926515A
- Authority
- CN
- China
- Prior art keywords
- sample
- living body
- body model
- sample picture
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/40—Spoof detection, e.g. liveness detection
- G06V40/45—Detection of the body part being alive
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本说明书实施例提供了活体模型训练方法和装置。该方法包括:利用第一样本图片训练活体模型,得到活体模型输出的识别结果;根据所述识别结果以及所述活体模型当前的权重值,确定所述活体模型从所述第一样本图片中学习到的识别特征;其中,所述识别特征满足:所述活体模型基于该识别特征得到本次训练的所述识别结果;利用所述第一样本图片中未包括所述识别特征的图像区域,生成第二样本图片;利用所述第二样本图片训练所述活体模型。
Description
技术领域
本说明书一个或多个实施例涉及电子信息技术,尤其涉及活体模型训练方法和装置。
背景技术
活体模型是人脸识别系统的重要组成部分,其通过对输入的数据进行真体或者假体的判断,识别出当前进行核身的是真人还是假体。活体模型的性能优劣直接关系到人脸识别系统的安全性。目前,主要通过收集真体或者假体数据来训练活体模型。
然而,目前的活体模型训练方法得到的活体模型的鲁棒性不强。
发明内容
本说明书一个或多个实施例描述了活体模型训练方法和装置,能够提高训练出的活体模型的鲁棒性。
根据第一方面,提供了一种活体模型训练方法,包括:
利用第一样本图片训练活体模型,得到活体模型输出的识别结果;
根据所述识别结果以及所述活体模型当前的权重值,确定所述活体模型从所述第一样本图片中学习到的识别特征;
其中,所述识别特征满足:所述活体模型基于该识别特征得到本次训练的所述识别结果;
利用所述第一样本图片中未包括所述识别特征的图像区域,生成第二样本图片;
利用所述第二样本图片训练所述活体模型。
其中,所述利用所述第一样本图片中未包括所述识别特征的图像区域生成第二样本图片,包括:
将所述第一样本图片中识别特征的像素值置为0,将所述第一样本图片中非识别特征的像素值置为1,得到第一权重图;
将第一样本图像中每一个像素位置的像素值乘以该第一权重图中相应像素位置的像素值,得到所述第二样本图片。
其中,所述确定所述活体模型从所述第一样本图片中学习到的识别特征,包括:
获取所述活体模型对所述第一样本图片进行特征提取后得到的输出特征图;
根据所述识别结果以及所述活体模型当前的权重值,对所述输出特征图进行前向推理,得到对应第一样本图片的热力图;
将所述热力图中位于热点区域的像素确定为所述活体模型从所述第一样本图片中学习到的识别特征。
其中,所述生成第二样本图片,包括:
将所述热力图中每一个像素的归一化值与预设的检测阈值进行比较;
如果该像素的归一化值小于预设的检测阈值,则将热力图中的该像素的归一化值增加至第一预定值,如果该像素的归一化值不小于预设的检测阈值,则将该热力图中该像素的像素值减少至第二预定值,以得到第二权重图;
将第一样本图像中每一个像素位置的像素值乘以第二权重图中对应像素位置的像素值,得到所述第二样本图片。
在所述利用第一样本图片训练活体模型之前,进一步包括:
从样本库中选择本轮训练需要使用的M张样本图片;
获取选择概率P;该选择概率是根据所述样本库中样本图片的数量及类型预先确定的;
根据所述M及P的值,计算N;
从所述M张样本图片中选择N张所述第一样本图片;
则,利用每一张第一样本图片,分别执行所述利用第一样本图片训练活体模型直至利用所述第二样本图片训练所述活体模型的步骤;
其中,M为大于1的整数,N为大于0的整数,且M大于N,P为从0至1的一个值。
所述第一样本图片是从样本库中选择出的;
在所述生成第二样本图片之后,进一步包括:将所述第二样本图片加入所述样本库中。
根据第二方面,提供了活体模型训练装置,包括:
第一训练模块,被配置为利用第一样本图片训练活体模型,得到活体模型输出的识别结果;
识别特征确定模块,被配置为根据所述识别结果以及所述活体模型当前的权重值,确定所述活体模型从所述第一样本图片中学习到的识别特征;其中,所述识别特征满足:所述活体模型基于该识别特征得到本次训练的所述识别结果;
样本生成模块,被配置为利用所述第一样本图片中未包括所述识别特征的图像区域,生成第二样本图片;
第二训练模块,利用所述第二样本图片训练所述活体模型。
其中,所述样本生成模块被配置为执行:
将所述第一样本图片中识别特征的像素值置为0,将所述第一样本图片中非识别特征的像素值置为1,得到第一权重图;
将第一样本图像中每一个像素位置的像素值乘以该第一权重图中相应像素位置的像素值,得到所述第二样本图片。
其中,所述识别特征确定模块被配置为执行:
获取所述活体模型对所述第一样本图片进行特征提取后得到的输出特征图;
根据所述识别结果以及所述活体模型当前的权重值,对所述输出特征图进行前向推理,得到对应第一样本图片的热力图;
将所述热力图中位于热点区域的像素确定为所述活体模型从所述第一样本图片中学习到的识别特征。
所述样本生成模块被配置为执行:
将所述热力图中每一个像素的归一化值与预设的检测阈值进行比较;
如果该像素的归一化值小于预设的检测阈值,则将热力图中的该像素的归一化值增加到第一预定值,如果该像素的归一化值不小于预设的检测阈值,则将该热力图中的该像素的像素值减少到第二预定值,以得到第二权重图;
将第一样本图像中每一个像素位置的像素值乘以第二权重图中对应像素位置的像素值,得到所述第二样本图片。
所述第一训练模块进一步被配置为执行:
从样本库中选择本轮训练需要使用的M张样本图片;
根据所述样本库中样本的数量及类型,确定选择概率P;
根据所述M及P的值,计算N;
从所述M张样本图片中选择N张图片作为所述第一样本图片,并利用每一张第一样本图片分别执行所述训练活体模型的步骤;
其中,M为大于1的整数,N为大于0的整数,且M大于N,P为从0至1的一个值。
所述第一样本图片是从样本库中选择出的;
所述样本生成模块进一步被配置为执行:将所述第二样本图片加入所述样本库中。
根据第三方面,提供了一种计算设备,包括存储器和处理器,所述存储器中存储有可执行代码,所述处理器执行所述可执行代码时,实现第一方面的方法。
根据本说明书实施例提供的方法和装置,在活体模型学习到第一样本图片中的一部分识别特征记为识别特征1之后,能够将该识别特征1去除,然后利用从第一样本图片中去除识别特征1之后得到的第二样本图片训练活体模型,相比于第一样本图片,第二样本图片去除了活体模型已经学习到的识别特征,保留了活体模型还未学习到的识别特征,利用第二样本图片训练活体模型则可以迫使活体模型去挖掘第一样本图片中更深入的区分特征,从而在不牺牲模型已有性能的基础上,提升了活体模型的鲁棒性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出根据本说明书一个实施例的活体模型训练方法的流程图。
图2示出根据本说明书一个实施例的确定活体模型学习到的识别特征的方法流程图。
图3示出根据本说明书一个实施例的生成第二样本图片的方法流程图。
图4示出根据本说明书另一个实施例的生成第二样本图片的方法流程图。
图5示出根据本说明书一个实施例的活体模型训练装置的示意性框图。
具体实施方式
下面结合附图,对本说明书提供的方案进行描述。
在现有的活体模型训练方法中,首先会收集来自各种业务中的实际图片,有真体图片也有假体图片,共同形成训练用的样本库。然后,利用样本库中的图片,对活体模型进行训练,以便活体模型能够对标注为真体的图片输出识别结果“真体”,并对标注为假体的图片输出识别结果“假体”。
然而,在现实情况下,一方面能够收集到的样本图片的数量及类型有限,而数量及类型不足会影响训练出的活体模型的性能,导致其鲁棒性下降,其中,尤其是假体数据更为有限。另一方面,随着活体对抗的深入,新的假体模式层出不穷,活体模型的鲁棒性也受到更大的挑战。因此,需要一种活体模型训练方法,能够提高活体模型的鲁棒性。
对活体模型训练过程进行分析可知,在对输入的一张样本图片进行分析时,活体模型会根据样本图片中的某些特征来判断出该样本图片对应真体还是假体。比如,将一张人脸照片作为样本图片输入活体模型时,活体模型主要是根据该照片包括的边框判断出此图片是照片,而不是活体的人脸图像,因此,活体模型会输出识别结果:假体。而在一张图片中,能够作为识别依据的识别特征往往会包括多种类型或多个区域,比如,在一张照片中,照片的右上角包括照片边框,照片的左侧也包括照片边框,照片的左下角有卷起的卷角,而活体模型在一次训练过程中,仅仅是将该照片中右上角包括的边框作为识别依据,输出识别结果:假体。而实际上,照片左侧包括的边框以及照片左下角包括的卷角都应该可以作为活体模型的识别依据,供活体模型判断出假体。但目前的活体模型训练方法中,在活体模型学习到右上角的边框后,则会输出假体的识别结果,并不再利用该照片继续训练活体模型。照片左侧包括的边框以及照片左下角包括的卷角则无法被活体模型学习到,后续,活体模型被应用于实际业务中时,则无法依据照片中左侧包括的边框以及照片左下角包括的卷角来识别出遇到的假体照片,因此,降低了活体模型的鲁棒性。
因此,如果要提高训练出的活体模型的鲁棒性,应该尽可能多地将一张图片中能够作为识别依据的所有识别特征(比如上述照片中右上角的边框、左侧的边框以及左下角的卷角)都能用来训练活体模型,使得活体模型针对一张样本图片能够学习到尽可能多的识别特征,增强活体模型的鲁棒性。
下面描述本说明书所提供构思的具体实现方式。
图1示出根据本说明书一个实施例的活体模型训练方法的流程图。可以理解,该方法可以通过任何具有计算、处理能力的装置、设备、平台、设备集群来执行。参见图1,该方法包括:
步骤101:利用第一样本图片训练活体模型,得到活体模型输出的识别结果;其中,第一样本图片已被标注为真体或者假体;
步骤103:根据活体模型输出的识别结果以及活体模型当前的权重值,确定活体模型在本次训练中从第一样本图片中学习到的识别特征;其中,识别特征满足:所述活体模型基于该识别特征得到本次训练的识别结果;
步骤105:利用第一样本图片中未包括识别特征的图像区域,生成第二样本图片;对第二样本图片进行标注,第二样本图片与第一样本图片的标注相同;
步骤107:利用第二样本图片训练活体模型。
可见,在上述图1所示的活体模型训练方法中,在活体模型学习到第一样本图片中的一部分识别特征记为识别特征1之后,能够将该识别特征1去除,然后利用从第一样本图片中去除识别特征1之后得到的第二样本图片训练活体模型,相比于第一样本图片,第二样本图片去除了活体模型已经学习到的识别特征,保留了活体模型还未学习到的识别特征,利用第二样本图片训练活体模型则可以迫使活体模型去挖掘第一样本图片中更深入的区分特征,从而在不牺牲模型已有性能的基础上,提升了活体模型的鲁棒性。
在本说明书的一个实施例中,第一样本图片为被标注为真体的样本图片,也就是说,活体模型训练方法可以是针对标注为真体的样本图片进行增强训练,强迫活体模型从一张原始的样本图片中不断地学习到真体的各种不同的识别特征,增强活体模型对真体识别的鲁棒性。
在本说明书的另一个实施例中,第一样本图片为被标注为假体的样本图片,也就是说,活体模型训练方法可以是针对标注为假体的样本图片进行增强训练,强迫活体模型从一张原始的样本图片中不断地学习到假体的各种不同识别特征,增强活体模型对假体识别的鲁棒性。
下面对图1中的各个步骤分别进行详细说明。
首先在步骤101,利用第一样本图片训练活体模型,得到活体模型输出的识别结果;其中,第一样本图片被标注为真体或者假体。
本步骤101的过程可以包括:将第一样本图片输入活体模型,该活体模型基于该第一样本图片的标注(比如为假体),对该第一样本图片进行学习,学习到用于得出识别结果“假体”的识别特征,记为识别特征1,活体模型输出识别结果“假体”并调整活体模型使用的人工神经网络的当前权重值。
第一样本图片可以是从样本库中随机选择出的图片。在本说明书的一个实施例中,在对活体模型的每一轮训练中,从样本库中选择一批第一样本图片,将该批第一样本图片输入活体模型,进行本轮训练,并利用本轮训练结果调整活体模型的权重值。
在本说明书的一个实施例中,可以根据样本库中样本的数量及类型来确定增强训练的次数。比如,如果样本库中真体和/或假体的样本数量足够多,且样本类型丰富比如包括各种不同类型的假体样本,也就是说,样本库中固有的样本能在一定程度上满足活体模型的鲁棒性要求,那么,则可以进行相对少的后续增强训练(即从第一样本图片中删除活体模型已经学习到的识别特征,利用删除识别特征后得到的第二样本图片对活体模型进行训练),相反,如果样本库中真体和/或假体的样本数量不足,且样本类型不够丰富比如假体样本的类型较少,也就是说,样本库中固有的样本很难训练出鲁棒性好的活体模型,那么,则可以进行相对多的后续增强训练(即从第一样本图片中删除活体模型已经学习到的识别特征,利用删除识别特征后得到的第二样本图片对活体模型进行训练)。为了控制进行后续增强训练的次数多少,本说明书一个实施例的具体实现方式包括:
在步骤101之前,从样本库中选择本轮训练需要使用的M张样本图片;
获取选择概率P;该选择概率P是根据所述样本库中样本图片的数量及类型预先确定的;
根据所述M及P的值,计算N;
从所述M张样本图片中选择N张第一样本图片。
其中,M为大于1的整数,N为大于0的整数,且M大于N,P为从0至1的一个值。
这样,是利用N张第一样本图片中的每一张第一样本图片均执行上述图1所示过程中的步骤。
举例说明,如果当前样本库中样本数量充足且样本类型也比较丰富,则可以设置选择概率P的值为0.2,假如在本轮中,从样本库中选择了10张样本图片,则根据M及P的值,使用M*P,计算出N为2,则将本轮选出的10张样本图片中的2张作为第一样本图片,针对该2张第一样本图片均分别执行图1中各个步骤的处理,而其他8张样本图片,则仍然执行现有的训练处理,即仅利用该8张样本图片训练活体模型,而不再对该8张样本图片进行后续增强训练(即从第一样本图片中删除活体模型已经学习到的识别特征,利用删除识别特征后得到的第二样本图片对活体模型进行训练)。
如果当前样本库中样本数量不足和/或样本类型不够丰富,则可以设置选择概率P的值为0.8,假如在本轮中,从样本库中选择了10张样本图片,则根据M及P的值,使用M*P,计算出N为8,则将本轮选出的10张样本图片中的8张作为第一样本图片,针对该8张第一样本图片均分别执行图1中各个步骤的处理,而其他2张样本图片,则仍然执行现有的训练处理,即仅利用该2张样本图片训练活体模型,而不再对该2张样本图片进行后续增强训练(即从第一样本图片中删除活体模型已经学习到的识别特征,利用删除识别特征后得到的第二样本图片对活体模型进行训练)
接下来在步骤103,根据活体模型输出的识别结果以及活体模型当前的权重值,确定所述活体模型从第一样本图片中学习到的识别特征;其中,识别特征满足:所述活体模型基于该识别特征得到本次训练的所述识别结果。
因为活体模型通常采用人工神经网络实现,需要知道活体模型在本次训练中从第一样本图片中学习到了哪些识别特征。
在本说明书一个实施例中,参见图2,步骤103的过程包括:
步骤201:获取活体模型对第一样本图片进行特征提取后得到的输出特征图。
步骤203:根据所述识别结果以及所述活体模型当前的权重值,对所述输出特征图进行前向推理,得到对应第一样本图片的热力图。
步骤205:将热力图中位于热点区域的像素确定为活体模型从所述第一样本图片中学习到的识别特征。
上述步骤103的过程也可以利用目前的CAM(Class Activation Mapping)或者Grad-CAM(Gradient-weighted Class Activation Mapping)技术来实现。
热力图通过可视化的方式,展示了在第一样本图片中哪些是被活体模型学习到的识别特征,即热力图中位于热点区域的像素就是活体模型从第一样本图片中学习到的识别特征。而未处于热点区域的特征就是活体模型未从第一样本图片中学习到的特征。
接下来在步骤105中,利用第一样本图片中未包括所述识别特征的图像区域,生成第二样本图片,并对第二样本图片进行标注;第二样本图片与第一样本图片的标注相同。
如前所述,第一样本图片中通常会包括多处或者多种类型的识别特征,而在一次训练过程中,活体模型可能只能学习到其中一处或者一种类型的识别特征,其他识别特征则浪费了,未被活体模型学习到。为了提高活体模型的鲁棒性,让活体模型学习到更多的识别特征,则可以将上述步骤103中确定出的已被活体模型学习到的识别特征从第一样本图片中删除,这样得到的第二样本图片只包括活体模型还没有学习到的识别特征。
比如,第一样本图片为标注为假体的照片,其中包括可以用作识别假体的3处识别特征:照片右上角的照片边框、照片左侧的照片边框、照片左下角的卷角。而在第一次利用该第一样本图片训练活体模型时,活体模型只学习到了照片右上角的照片边框,而未学习到其他两处,则可以将该照片右上角的照片边框区域去除,比如进行遮挡,利用剩余未遮挡的部分生成第二样本图片。在第二次利用该照片训练时,则是利用对应的第二样本图片训练活体模型,活体模型可以学习到照片左下角的卷角作为识别假体的依据。在第三次利用该照片训练时,可以从该第二样本图片中删除学习到的照片左下角的卷角,仅保留照片左侧的照片边框,利用此图片训练,活体模型可以学习到照片左侧的照片边框作为识别假体的依据。至此,通过三轮训练,对于同一张照片中的3处识别特征,活体模型均可以学习到,从而作为后续判断假体的依据,增强了活体模型的鲁棒性。
参见图3,本步骤105的一种实现过程可以包括:
步骤301:将第一样本图片中识别特征的像素值置为0。
步骤303:将第一样本图片中非识别特征的像素值置为1,得到第一权重图。
步骤305:将第一样本图像中每一个像素位置的像素值乘以该第一权重图中相应像素位置的像素值,得到第二样本图片。
在图3所示流程中,第一权重图是将第一样本图片变为了像素值为0和1两种像素值的图片,凡是已经被活体模型学习到的识别特征,对应像素值为0,其他为1,利用第一样本图像的原图中的像素值分别乘以第一权重图中对应像素位置的像素值(0或1),得到第二样本图片,则对于已经被学习到的像素,在第二样本图片中其像素值为0,即后续活体模型训练时不会再重复学习该识别特征,在第二样本图片中其他像素的像素值保留了该像素在第一样本图片中的原始像素值,即实现了去除本次训练学习到的识别特征,保留第一样本图片中其他区域图像的目的。
如果上述步骤103中,利用上述图2所示的过程即热力图的方式显示了第一样本图片中的热点区域,即识别特征区域,则参见图4,本步骤105的另一种实现过程可以包括:
步骤401:将热力图中每一个像素的归一化值与预设的检测阈值进行比较。
在热力图中,每一个像素的像素值为从0至1的一个归一化值,而不是第一样本图片的原始的像素值,热力越高,归一化值越大。可以预先设置一个检测阈值,比如0.9,并将热力图中每一个像素的归一化值跟该检测阈值比较,根据比较结果确定对应的像素是否属于本次训练学习到的识别特征。
步骤403:如果该像素的归一化值小于预设的检测阈值,则将热力图中的该像素的归一化值增加至第一预定值。
本步骤中,因为像素的归一化值小于预设的检测阈值,说明该像素的热力不够,可以认为不属于本次训练学习到的识别特征,在生成第二样本图片时,该像素是需要保留的像素点,因此,将热力图中的该像素的归一化值增加至第一预定值。比如可以将归一化值增加到1,从而使得后续生成的第二样本图片中该像素点与第一样本图片中对应像素点的像素值相同。再如可以将归一化值增加到1.5,从而使得后续生成的第二样本图片中该像素点相比于第一样本图片中对应像素点的像素值进行了增强显示,以便活体模型能够更为清晰地得到该像素的特征,更加便于学习。
步骤405:如果该像素的归一化值不小于预设的检测阈值,则将该热力图中的该像素的像素值减少至第二预定值,以得到第二权重图。
本步骤中,因为像素的归一化值不小于预设的检测阈值,说明该像素的热力足够,可以认为属于本次训练学习到的识别特征,在生成第二样本图片时,该像素是需要删除的像素点,因此,将热力图中的该像素的归一化值减少至第二预定值,通常减少至0,当然也可以减少至其他一个比较小的值比如0.1,从而使得后续生成的第二样本图片中该像素点被删除或者相当于被删除,以便活体模型不再重复学习该像素点的特征。
步骤407:将第一样本图像中每一个像素位置的像素值乘以第二权重图中对应像素位置的像素值,得到第二样本图片。
在本步骤105中,第二样本图片与第一样本图片的标注相同,也就是说,如果第一样本图片被标注为真体,则生成的第二样本图片也被标注为真体,以便利用第二样本图片继续进行真体的增强训练。同理,如果第一样本图片被标注为假体,则生成的第二样本图片也被标注为假体,以便利用第二样本图片继续进行假体的增强训练。
接下来在步骤107中,利用第二样本图片训练活体模型。
如前所述,通过本步骤107的处理,则可以使得活体模型学习到第一样本图片在上一轮训练中没有被学习到的识别特征。
在本说明书的实施例中,第一样本图片可以是从样本库中选择出的,这样,每次根据该第一样本图片生成了第二样本图片之后,可以将第二样本图片加入样本库中。这样,在下一轮训练活体模型时,可以从样本库中随机抽取样本。
在本说明书一个实施例中,提供了活体模型训练装置,参见图5,该装置500包括:
第一训练模块501,被配置为利用第一样本图片训练活体模型,得到活体模型输出的识别结果;
识别特征确定模块502,被配置为根据所述识别结果以及所述活体模型当前的权重值,确定所述活体模型从所述第一样本图片中学习到的识别特征;其中,所述识别特征满足:所述活体模型基于该识别特征得到本次训练的所述识别结果;
样本生成模块503,被配置为利用所述第一样本图片中未包括所述识别特征的图像区域,生成第二样本图片;
第二训练模块504,利用所述第二样本图片训练所述活体模型。
其中,所述样本生成模块503被配置为执行:
将所述第一样本图片中识别特征的像素值置为0,将所述第一样本图片中非识别特征的像素值置为1,得到第一权重图;
将第一样本图像中每一个像素位置的像素值乘以该第一权重图中相应像素位置的像素值,得到所述第二样本图片。
其中,所述识别特征确定模块502被配置为执行:
获取所述活体模型对所述第一样本图片进行特征提取后得到的输出特征图;
根据所述识别结果以及所述活体模型当前的权重值,对所述输出特征图进行前向推理,得到对应第一样本图片的热力图;
将所述热力图中位于热点区域的像素确定为所述活体模型从所述第一样本图片中学习到的识别特征。
所述样本生成模块503被配置为执行:
将所述热力图中每一个像素的归一化值与预设的检测阈值进行比较;
如果该像素的归一化值小于预设的检测阈值,则将热力图中的该像素的归一化值增加到第一预定值,如果该像素的归一化值不小于预设的检测阈值,则将该热力图中的该像素的像素值减少到第二预定值,以得到第二权重图;
将第一样本图像中每一个像素位置的像素值乘以第二权重图中对应像素位置的像素值,得到所述第二样本图片。
所述第一训练模块501进一步被配置为执行:
从样本库中选择本轮训练需要使用的M张样本图片;
根据所述样本库中样本的数量及类型,确定选择概率P;
根据所述M及P的值,计算N;
从所述M张样本图片中选择N张图片作为所述第一样本图片,并利用每一张第一样本图片分别执行所述训练活体模型的步骤;
其中,M为大于1的整数,N为大于0的整数,且M大于N,P为从0至1的一个值。
所述第一样本图片是从样本库中选择出的;
所述样本生成模块503进一步被配置为执行:将所述第二样本图片加入所述样本库中。
根据另一方面的实施例,还提供一种计算机可读存储介质,其上存储有计算机程序,当所述计算机程序在计算机中执行时,令计算机执行结合本说明书任一实施例所描述的方法。
根据再一方面的实施例,还提供一种计算设备,包括存储器和处理器,所述存储器中存储有可执行代码,所述处理器执行所述可执行代码时,实现结合本说明书任一实施例所述的方法。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本领域技术人员应该可以意识到,在上述一个或多个示例中,本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时,可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。
以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的技术方案的基础之上,所做的任何修改、等同替换、改进等,均应包括在本发明的保护范围之内。
Claims (14)
1.活体模型训练方法,包括:
利用第一样本图片训练活体模型,得到活体模型输出的识别结果;
根据所述识别结果以及所述活体模型当前的权重值,确定所述活体模型从所述第一样本图片中学习到的识别特征;
其中,所述识别特征满足:所述活体模型基于该识别特征得到本次训练的所述识别结果;
利用所述第一样本图片中未包括所述识别特征的图像区域,生成第二样本图片;
利用所述第二样本图片训练所述活体模型。
2.根据权利要求1所述的方法,其中,所述利用所述第一样本图片中未包括所述识别特征的图像区域生成第二样本图片,包括:
将所述第一样本图片中识别特征的像素值置为0,将所述第一样本图片中非识别特征的像素值置为1,得到第一权重图;
将第一样本图像中每一个像素位置的像素值乘以该第一权重图中相应像素位置的像素值,得到所述第二样本图片。
3.根据权利要求1或2所述的方法,其中,所述确定所述活体模型从所述第一样本图片中学习到的识别特征,包括:
获取所述活体模型对所述第一样本图片进行特征提取后得到的输出特征图;
根据所述识别结果以及所述活体模型当前的权重值,对所述输出特征图进行前向推理,得到对应第一样本图片的热力图;
将所述热力图中位于热点区域的像素确定为所述活体模型从所述第一样本图片中学习到的识别特征。
4.根据权利要求3所述的方法,其中,所述生成第二样本图片,包括:
将所述热力图中每一个像素的归一化值与预设的检测阈值进行比较;
如果该像素的归一化值小于预设的检测阈值,则将热力图中的该像素的归一化值增加至第一预定值,如果该像素的归一化值不小于预设的检测阈值,则将该热力图中该像素的像素值减少至第二预定值,以得到第二权重图;
将第一样本图像中每一个像素位置的像素值乘以第二权重图中对应像素位置的像素值,得到所述第二样本图片。
5.根据权利要求1所述的方法,在所述利用第一样本图片训练活体模型之前,进一步包括:
从样本库中选择本轮训练需要使用的M张样本图片;
获取选择概率P;该选择概率P是根据所述样本库中样本图片的数量及类型预先确定的;
根据所述M及P的值,计算N;
从所述M张样本图片中选择N张所述第一样本图片;
则,利用每一张第一样本图片,分别执行所述利用第一样本图片训练活体模型直至利用所述第二样本图片训练所述活体模型的步骤;
其中,M为大于1的整数,N为大于0的整数,且M大于N,P为从0至1的一个值。
6.根据权利要求1所述的方法,所述第一样本图片是从样本库中选择出的;
在所述生成第二样本图片之后,进一步包括:将所述第二样本图片加入所述样本库中。
7.活体模型训练装置,包括:
第一训练模块,被配置为利用第一样本图片训练活体模型,得到活体模型输出的识别结果;
识别特征确定模块,被配置为根据所述识别结果以及所述活体模型当前的权重值,确定所述活体模型从所述第一样本图片中学习到的识别特征;其中,所述识别特征满足:所述活体模型基于该识别特征得到本次训练的所述识别结果;
样本生成模块,被配置为利用所述第一样本图片中未包括所述识别特征的图像区域,生成第二样本图片;
第二训练模块,利用所述第二样本图片训练所述活体模型。
8.根据权利要求7所述的装置,其中,所述样本生成模块被配置为执行:
将所述第一样本图片中识别特征的像素值置为0,将所述第一样本图片中非识别特征的像素值置为1,得到第一权重图;
将第一样本图像中每一个像素位置的像素值乘以该第一权重图中相应像素位置的像素值,得到所述第二样本图片。
9.根据权利要求7或8所述的装置,其中,所述识别特征确定模块被配置为执行:
获取所述活体模型对所述第一样本图片进行特征提取后得到的输出特征图;
根据所述识别结果以及所述活体模型当前的权重值,对所述输出特征图进行前向推理,得到对应第一样本图片的热力图;
将所述热力图中位于热点区域的像素确定为所述活体模型从所述第一样本图片中学习到的识别特征。
10.根据权利要求9所述的装置,所述样本生成模块被配置为执行:
将所述热力图中每一个像素的归一化值与预设的检测阈值进行比较;
如果该像素的归一化值小于预设的检测阈值,则将热力图中的该像素的归一化值增加第一预定值,如果该像素的归一化值不小于预设的检测阈值,则将该热力图中的该像素的像素值减少第二预定值,以得到第二权重图;
将第一样本图像中每一个像素位置的像素值乘以第二权重图中对应像素位置的像素值,得到所述第二样本图片。
11.根据权利要求7所述的装置,所述第一训练模块进一步被配置为执行:
从样本库中选择本轮训练需要使用的M张样本图片;
根据所述样本库中样本的数量及类型,确定选择概率P;
根据所述M及P的值,计算N;
从所述M张样本图片中选择N张所述第一样本图片;
则,利用每一张第一样本图片,分别执行所述利用第一样本图片训练活体模型;
其中,M为大于1的整数,N为大于0的整数,且M大于N,P为从0至1的一个值。
12.根据权利要求7所述的装置,所述第一样本图片是从样本库中选择出的;
所述样本生成模块进一步被配置为执行:将所述第二样本图片加入所述样本库中。
13.一种计算机可读存储介质,其上存储有计算机程序,当所述计算机程序在计算机中执行时,令计算机执行权利要求1-6中任一项所述的方法。
14.一种计算设备,包括存储器和处理器,其特征在于,所述存储器中存储有可执行代码,所述处理器执行所述可执行代码时,实现权利要求1-6中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110323891.4A CN112926515B (zh) | 2021-03-26 | 2021-03-26 | 活体模型训练方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110323891.4A CN112926515B (zh) | 2021-03-26 | 2021-03-26 | 活体模型训练方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112926515A true CN112926515A (zh) | 2021-06-08 |
CN112926515B CN112926515B (zh) | 2022-09-20 |
Family
ID=76176104
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110323891.4A Active CN112926515B (zh) | 2021-03-26 | 2021-03-26 | 活体模型训练方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112926515B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115115843A (zh) * | 2022-06-02 | 2022-09-27 | 马上消费金融股份有限公司 | 数据处理方法及装置 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012146823A1 (en) * | 2011-04-29 | 2012-11-01 | Nokia Corporation | Method, apparatus and computer program product for blink detection in media content |
CN108875676A (zh) * | 2018-06-28 | 2018-11-23 | 北京旷视科技有限公司 | 活体检测方法、装置及系统 |
CN110059546A (zh) * | 2019-03-08 | 2019-07-26 | 深圳神目信息技术有限公司 | 基于频谱分析的活体识别方法、装置、终端及可读介质 |
CN110428399A (zh) * | 2019-07-05 | 2019-11-08 | 百度在线网络技术(北京)有限公司 | 用于检测图像的方法、装置、设备和存储介质 |
CN110705479A (zh) * | 2019-09-30 | 2020-01-17 | 北京猎户星空科技有限公司 | 模型训练方法和目标识别方法、装置、设备及介质 |
CN111222380A (zh) * | 2018-11-27 | 2020-06-02 | 杭州海康威视数字技术股份有限公司 | 一种活体检测方法、装置、及其识别模型训练方法 |
CN111310770A (zh) * | 2020-02-21 | 2020-06-19 | 集美大学 | 目标检测方法和装置 |
-
2021
- 2021-03-26 CN CN202110323891.4A patent/CN112926515B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012146823A1 (en) * | 2011-04-29 | 2012-11-01 | Nokia Corporation | Method, apparatus and computer program product for blink detection in media content |
CN108875676A (zh) * | 2018-06-28 | 2018-11-23 | 北京旷视科技有限公司 | 活体检测方法、装置及系统 |
CN111222380A (zh) * | 2018-11-27 | 2020-06-02 | 杭州海康威视数字技术股份有限公司 | 一种活体检测方法、装置、及其识别模型训练方法 |
CN110059546A (zh) * | 2019-03-08 | 2019-07-26 | 深圳神目信息技术有限公司 | 基于频谱分析的活体识别方法、装置、终端及可读介质 |
CN110428399A (zh) * | 2019-07-05 | 2019-11-08 | 百度在线网络技术(北京)有限公司 | 用于检测图像的方法、装置、设备和存储介质 |
CN110705479A (zh) * | 2019-09-30 | 2020-01-17 | 北京猎户星空科技有限公司 | 模型训练方法和目标识别方法、装置、设备及介质 |
CN111310770A (zh) * | 2020-02-21 | 2020-06-19 | 集美大学 | 目标检测方法和装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115115843A (zh) * | 2022-06-02 | 2022-09-27 | 马上消费金融股份有限公司 | 数据处理方法及装置 |
CN115115843B (zh) * | 2022-06-02 | 2023-08-22 | 马上消费金融股份有限公司 | 数据处理方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN112926515B (zh) | 2022-09-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3916627A1 (en) | Living body detection method based on facial recognition, and electronic device and storage medium | |
US20230086552A1 (en) | Image processing method and apparatus, device, storage medium, and computer program product | |
CN111881707B (zh) | 图像翻拍检测方法、身份验证方法、模型训练方法及装置 | |
CN111476268A (zh) | 翻拍识别模型训练、图像识别方法、装置、设备及介质 | |
CN111950424A (zh) | 一种视频数据处理方法、装置、计算机及可读存储介质 | |
CN109389098B (zh) | 一种基于唇语识别的验证方法以及系统 | |
CN112381104A (zh) | 一种图像识别方法、装置、计算机设备及存储介质 | |
US20080175447A1 (en) | Face view determining apparatus and method, and face detection apparatus and method employing the same | |
CN112381092B (zh) | 跟踪方法、装置及计算机可读存储介质 | |
CN112183356A (zh) | 驾驶行为检测方法、设备及可读存储介质 | |
CN115761366A (zh) | 补充缺失特征的零样本图片分类方法、系统、设备及介质 | |
CN112200772A (zh) | 痘痘检测设备 | |
CN112926515B (zh) | 活体模型训练方法和装置 | |
CN111476279A (zh) | 基于相似程度值的识别方法、装置和计算机设备 | |
CN115147936A (zh) | 一种活体检测方法、电子设备、存储介质及程序产品 | |
CN112835807A (zh) | 界面识别方法、装置、电子设备和存储介质 | |
CN116129484A (zh) | 模型训练和活体检测的方法、装置、电子设备及存储介质 | |
CN113642353B (zh) | 一种人脸检测模型的训练方法、存储介质及终端设备 | |
CN110414845B (zh) | 针对目标交易的风险评估方法及装置 | |
JP4692151B2 (ja) | 画像認識方法及び画像認識装置 | |
KR102431425B1 (ko) | 모바일 로봇을 위한 장면 분류 방법 및 객체 분류 방법 | |
CN113516089B (zh) | 人脸图像识别方法、装置、设备及可读存储介质 | |
CN116597527B (zh) | 活体检测方法、装置、电子设备和计算机可读存储介质 | |
CN117274761B (zh) | 图像生成方法、装置、电子设备和存储介质 | |
US20230298445A1 (en) | Learning apparatus, estimation apparatus, learning method, and non-transitory storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |