CN113221662B - 人脸识别模型的训练方法及装置、存储介质、终端 - Google Patents

人脸识别模型的训练方法及装置、存储介质、终端 Download PDF

Info

Publication number
CN113221662B
CN113221662B CN202110402109.8A CN202110402109A CN113221662B CN 113221662 B CN113221662 B CN 113221662B CN 202110402109 A CN202110402109 A CN 202110402109A CN 113221662 B CN113221662 B CN 113221662B
Authority
CN
China
Prior art keywords
face
network
prediction
recognition model
face image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110402109.8A
Other languages
English (en)
Other versions
CN113221662A (zh
Inventor
朱政
陈云泽
黄骏杰
黄冠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Xinyi Intelligent Technology Co ltd
Original Assignee
Shanghai Xinyi Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Xinyi Intelligent Technology Co ltd filed Critical Shanghai Xinyi Intelligent Technology Co ltd
Priority to CN202110402109.8A priority Critical patent/CN113221662B/zh
Publication of CN113221662A publication Critical patent/CN113221662A/zh
Application granted granted Critical
Publication of CN113221662B publication Critical patent/CN113221662B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/165Detection; Localisation; Normalisation using facial parts and geometric relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

一种人脸识别模型的训练方法及装置、存储介质、终端,所述方法包括:步骤一:获取样本人脸图像,所述样本人脸图像具有人脸身份标签;步骤二:从多个预测网络中选择当前预测网络,采用骨干网络计算所述样本人脸图像的人脸特征向量,将所述人脸特征向量输入至所述当前预测网络,以得到当前预测结果,并根据所述人脸身份标签和所述当前预测结果更新所述骨干网络;步骤三:判断是否遍历所述多个预测网络,如果是,则继续执行步骤四,否则返回至步骤二,直至遍历所述多个预测网络;步骤四:判断是否满足预设停止条件,如果是,则得到训练后的人脸识别模型,所述训练后的人脸识别模型包括更新后的骨干网络。本发明的方案可以提高人脸识别模型的性能。

Description

人脸识别模型的训练方法及装置、存储介质、终端
技术领域
本发明涉及一种人脸识别技术领域,尤其涉及一种人脸识别模型的训练 方法及装置、存储介质、终端。
背景技术
人脸识别技术是基于人脸特征信息进行身份识别的一种生物识别技术, 可以应用于身份验证、视频监控等多种领域。人脸识别技术主要是利用深度 神经网络(DeepNeural Network,DNN)提取人脸特征信息,以用于身份识 别。具体而言,采用预先训练好的人脸识别模型提取人脸特征信息,并根据 人脸特征信息进行身份识别。但现有技术中的人脸识别模型的训练方法无法 使人脸识别模型充分学习到样本人脸图像中的人脸特征信息,训练后得到的 人脸识别模型提取人脸特征信息的性能仍然有待提高。
因此,亟需一种人脸识别模型的训练方法,能够使人脸识别模型充分学习 到样本人脸图像中的人脸特征信息,从而提高人脸识别模型提取人脸特征信 息的性能。
发明内容
本发明解决的技术问题是提供一种人脸识别模型的训练方法,能够使人 脸识别模型充分学习到样本人脸图像中的人脸特征信息。
为解决上述技术问题,本发明实施例提供一种人脸识别模型的训练方法, 所述方法包括:步骤一:获取样本人脸图像,所述样本人脸图像具有人脸身 份标签;步骤二:从所述多个预测网络中选择当前预测网络,采用所述骨干 网络计算所述样本人脸图像的人脸特征向量,将所述人脸特征向量输入至所 述当前预测网络,以得到当前预测结果,并根据所述人脸身份标签和所述当 前预测结果调整更新所述骨干网络中的连接权重,其中,所述当前预测结果 为所述当前预测网络对所述样本人脸图像的预测结果;步骤三:判断是否遍历所述多个预测网络,如果是,则继续执行步骤四,否则返回至步骤二,直 至遍历所述多个预测网络;步骤四:判断是否满足预设停止条件,如果是, 则得到训练后的人脸识别模型,所述训练后的人脸识别模型包括更新后的骨 干网络。
可选的,获取样本人脸图像之前,所述方法还包括:采用互不相同的多 组随机数分别初始化所述多个彼此相同的预测网络,以得到多个彼此不同的 预测网络。
可选的,从所述多个预测网络中选择当前预测网络包括:首次执行步骤 二时,从所述多个预测网络中随机选择任一预测网络作为所述当前预测网络; 步骤二被再次执行时,从未被选择过的预测网络中随机选择任一预测网络作 为所述当前预测网络。
可选的,从所述多个预测网络中选择当前预测网络包括:首次执行步骤 二时,选择第1个预测网络作为所述当前预测网络;每次从步骤三返回至步 骤二时,选择第i+1个预测网络作为所述当前预测网络,其中,第i个预测网 络为前一次执行步骤二时的当前预测网络,i为正整数,1≤i≤N,N为所述多 个预测网络的数量。
可选的,所述方法还包括:如果不满足所述预设停止条件,则获取下一 张样本人脸图像,并将所述下一张样本人脸图像作为所述样本人脸图像,并 返回至步骤二,直至满足所述预设停止条件。
可选的,根据权利要求5所述的人脸识别模型的训练方法,其特征在于, 所述预设停止条件包括:所述多个预测网络被遍历的次数达到预设阈值。
可选的,所述步骤二还包括:根据所述人脸身份标签和所述当前预测结 果,更新所述当前预测网络。
可选的,所述骨干网络的数量为1。
可选的,所述多个预测网络的数量为2。
可选的,所述训练后的人脸识别模型还包括:相似度计算单元和判断单 元,所述更新后的骨干网络用于计算待测人脸图像的人脸特征向量,所述相 似度计算单元用于根据所述待测人脸图像的人脸特征向量计算所述待测人脸 图像的人脸特征向量与预设用户的人脸特征向量的相似度,所述判断单元用 于根据所述相似度确定所述待测人脸图像的识别结果。
本发明实施例还提供一种人脸识别模型的训练装置,所述装置包括:获 取模块,用于获取样本人脸图像,所述样本人脸图像具有人脸身份标签;训 练模块,用于从多个预测网络中选择当前预测网络,采用骨干网络计算所述 样本人脸图像的人脸特征向量,将所述人脸特征向量输入至所述当前预测网 络,以得到当前预测结果,并根据所述人脸身份标签和所述当前预测结果更 新所述骨干网络,其中,所述当前预测结果为所述当前预测网络对所述样本 人脸图像的预测结果;第一判断模块,用于判断是否遍历所述多个预测网络,如果是,则继续执行步骤四,否则返回至步骤二,直至遍历所述多个预测网 络;第二判断模块,用于判断是否满足预设停止条件,如果是,则得到训练 后的人脸识别模型,所述训练后的人脸识别模型包括更新后的骨干网络。
本发明实施例还提供一种存储介质,其上存储有计算机程序,所述计算 机程序被处理器运行时执行上述人脸识别模型的训练方法的步骤。
本发明实施例还提供一种终端,包括存储器和处理器,所述存储器上存 储有可在所述处理器上运行的计算机程序,所述处理器运行所述计算机程序 时执行上述人脸识别模型的训练方法的步骤。
与现有技术相比,本发明实施例的技术方案具有以下有益效果:
本发明实施例的方案中,依次根据多个预测网络的预测结果更新骨干网 络,直至满足预设停止条件。采用上述方案时,从多个预测网络中选择当前 预测网络,当前预测网络根据人脸特征向量得到当前预测结果,然后基于当 前预测结果和样本人脸图像的标签更新骨干网络,直至遍历所有的预测网络。 由于用于计算人脸特征向量的骨干网络是根据上一个当前预测网络的预测结 果更新的,因此,本发明实施例的方案可以根据多个预测网络对样本人脸图 像的预测结果迭代地更新骨干网络,使得骨干网络可以充分学习到样本人脸 图像的人脸特征信息。由于训练后的人脸识别模型是基于更新后的骨干网络 构建的,因此,训练后的人脸识别模型能够充分学习到样本人脸图像的人脸 特征信息,具有较好的提取人脸特征信息的性能。
附图说明
图1是本发明实施例中一种人脸识别模型的训练场景示意图;
图2是本发明实施例中一种人脸识别模型的训练方法的流程示意图;
图3是本发明实施例中一种训练后的人脸识别模型的应用场景示意图;
图4是本发明实施例中另一种人脸识别模型的训练方法的流程示意图;
图5是本发明实施例中一种人脸识别模型的训练装置的结构示意图。
具体实施方式
如背景技术所述,亟需一种人脸识别模型的训练方法,能够使人脸识别 模型充分学习到样本人脸图像中的人脸特征信息,从而提高人脸识别模型提 取人脸特征信息的性能。
本发明的发明人经过研究发现,现有技术中训练人脸识别模型时,将样 本人脸图像输入骨干网络,以提取样本人脸图像的人脸特征信息,然后将提 取到的人脸特征信息输入至单个预测网络,基于单个预测网络的预测结果更 新骨干网络。采用这种方案,只基于单个骨干网络的预测结果更新骨干网络, 对骨干网络的优化是有限的,因此人脸识别模型无法充分学习样本人脸图像 中的人脸特征信息。
此外,现有技术中通常通过增加骨干网络的数量,以尽可能多地提取样 本人脸图像中的人脸特征信息,但由于骨干网络占用的内存非常大,因此采 用这种方法需要非常大的内存,在内存有限的情况下,仍然无法提取较多的 人脸特征信息。
为了解决上述技术问题,本发明实施例中提供一种人脸识别模型的训练 方法。在本发明实施例的方案中,依次根据多个预测网络的预测结果更新骨 干网络,直至满足预设停止条件。采用上述方案时,从多个预测网络中选择 当前预测网络,当前预测网络根据人脸特征向量得到当前预测结果,然后基 于当前预测结果和样本人脸图像的标签更新骨干网络,直至遍历所有的预测 网络。由于用于计算人脸特征向量的骨干网络是根据上一个当前预测网络的 预测结果更新的,因此,本发明实施例的方案可以根据多个预测网络对样本人脸图像的预测结果迭代地更新骨干网络,骨干网络可以充分学习到样本人 脸图像的人脸特征信息。由于训练后的人脸识别模型包括更新后的骨干网络, 因此,训练后的人脸识别模型能够充分学习到样本人脸图像的人脸特征信息, 具有较好的提取人脸特征信息的性能。
为使本发明的上述目的、特征和有益效果能够更为明显易懂,下面结合 附图对本发明的具体实施例做详细的说明。
参考图1,图1是本发明实施例中一种人脸识别模型的训练场景示意图。 如图1所示,所述人脸识别模型可以包括骨干网络10,骨干网络可以是用于 计算人脸图像的人脸特征向量的神经网络,骨干网络10可以是现有的各种恰 当的神经网络,例如,残差网络(ResNets)、视觉几何组(Visual Geometry Group,VGG)网络等,但并不限于此,本发明实施例对骨干网络的结构和类 型并不进行任何限制。
进一步地,骨干网络10分别与多个预测网络连接。具体而言,骨干网络 10可以与第一预测网络11、第二预测网络12和第N预测网络13连接,以使 骨干网络10的计算结果可以传输至多个预测网络。
需要说明的是,本发明实施例对于人脸识别模型中骨干网络10的数量并 不进行任何限制,在本发明的一个非限制性实施例中,骨干网络10的数量为 1。人脸识别模型还可以包括多个级联的骨干网络10,其中,可以将样本人脸 图像14输入至第一个骨干网络,最后一个骨干网络的输出可以分别传输至多 个预测网络。
进一步地,在训练人脸识别模型时,可以将样本人脸图像14输入至骨干 网络10,由骨干网络10计算样本人脸图像的人脸特征向量,可以得到预设维 数的人脸特征向量,例如,人脸特征向量可以为512维的向量,但并不限于 此。
其中,在将样本人脸图像14输入至骨干网络10之前,可以初始化骨干 网络10。其中,初始化骨干网络10可以包括初始化骨干网络的连接权重 (connection weight)。初始化骨干网络10的方法可以是现有的各种恰当的初 始化方法,例如,Xavier初始化方法,但并不限于此。
进一步地,可以分别将骨干网络10计算得到的人脸特征向量分别输入至 第一预测网络11、第二预测网络12和第N预测网络13中,以得到各个预测 网络对样本人脸图像的预测结果。
其中,本发明实施例中的多个预测网络可以是对多个彼此相同的预测网 络进行初始化后得到的。具体而言,进行初始化之前,多个预测网络的结构 可以是相同的,更具体地,多个预测网络可以包括相同的全连接层,每个预 测网络中的全连接层的总层数(也即,长度)、单个层的神经元数量(宽度) 和激活函数均是相同的。
进一步地,进行初始化之后,可以得到多个彼此不同的预测网络。具体 而言,进行初始化之后,多个预测网络中全连接层的连接权重可以是互不相 同的,换言之,两两预测网络中全连接层的连接权重可以是不同的。
更具体地,可以采用互不相同的多组随机数分别初始化多个彼此相同的 预测网络,以得到多个彼此不同的预测网络,但并不限于此。需要说明的是, 还可以采用现有的各种恰当的方法对多个预测网络进行初始化,在此并不进 行任何限制。
进一步地,每个预测网络根据人脸特征向量计算得到预测结果后,可以 根据预测结果和样本人脸图像14的人脸身份标签更新骨干网络10,例如,可 以调整骨干网络10的连接权重,但并不限于此。具体而言,可以依次根据第 一预测网络11、第二预测网络12和第N预测网络13对样本人脸图像14的 预测结果和人脸身份标签更新骨干网络10。其中,所述预测结果可以包括样 本人脸图像中的人脸属于各个预设用户的概率分布。
需要说明的是,当骨干网络10的数量为多个时,每次更新时可以更新所 有的骨干网络10。
因此,本发明实施例的方案中,训练人脸识别模型时,根据多个预测网 络的预测结果更新骨干网络,更具体的训练过程将在下文中具体描述。
参考图2,图2是本发明实施例中一种人脸识别模型的训练方法的流程示 意图。所述方法可以由终端执行,所述终端可以是各种恰当的终端,例如, 手机、电脑、物联网设备等,但并不限于此。所述方法可以用于训练人脸识 别模型,所述人脸识别模型可以是预先构建的神经网络模型,所述人脸识别 模型可以包括用于提取人脸特征向量的骨干网络,本发明实施例对于骨干网 络的数量并不进行任何限制。人脸识别模型还可以包括其他恰当的模块,例 如,人脸识别模型还可以包括特征金字塔网络(Feature Pyramid Networks,FPN),所述特征金字塔网络可以对骨干网络提取到的特征进行融合,但并不 限于此。
图2所示的人脸识别模型的训练方法可以包括以下步骤:
步骤S101:获取样本人脸图像,所述样本人脸图像具有人脸身份标签;
步骤S102:从所述多个预测网络中选择当前预测网络,采用所述骨干网 络计算所述样本人脸图像的人脸特征向量,将所述人脸特征向量输入至所述 当前预测网络,以得到当前预测结果,并根据所述人脸身份标签和所述当前 预测结果调整更新所述骨干网络中的连接权重,其中,所述当前预测结果为 所述当前预测网络对所述样本人脸图像的预测结果;
步骤S103:判断是否遍历所述多个预测网络,如果是,则继续执行步骤 S104,否则返回至步骤S102,直至遍历所述多个预测网络;
步骤S104:判断是否满足预设停止条件,如果是,则得到训练后的人脸 识别模型,所述训练后的人脸识别模型包括更新后的骨干网络。
在步骤S101的具体实施中,可以从外部获取样本人脸图像,也可以从存 储在本地的数据集中获取样本人脸图像,但并不限于此。
进一步地,样本人脸图像具有预先标注的人脸身份标签,所述人脸身份 标签用于指示样本人脸图像中人脸的身份。所述人脸身份标签可以是预先标 注出的,也可以是终端获取到样本人脸图像后对样本人脸图像进行识别后标 注得到的。例如,人脸身份标签可以是人工识别后标注出的,也可以是其他 各种恰当的模型对样本人脸图像进行识别后标注出的。
在步骤S102的具体实施中,每个预测网络可以是根据人脸特征向量计算 预测结果的神经网络。换言之,每个预测网络的输入可以是多维的特征向量, 输出可以是一维的概率分布。需要说明的是,本发明实施例对预测网络的数 量并不进行任何限制。在本发明的一个非限制性实施例中,预测网络的数量 为2。
进一步地,可以从多个预测网络中选择当前预测网络,所述当前预测网 络是指当前用于计算样本人脸图像的预测结果的预测网络。具体而言,首次 选择当前预测网络时,可以从多个预测网络中随机选择任一预测网络作为当 前预测网络。
进一步地,可以采用骨干网络计算样本人脸图像的人脸特征向量,也即, 将样本人脸图像输入至骨干网络,以使骨干网络计算得到人脸特征向量。
需要说明的是,可以先采用骨干网络计算样本人脸图像的人脸特征向量, 再从多个预测网络中选择当前预测网络,也可以先从多个预测网络中选择当 前预测网络,再采用骨干网络计算样本人脸图像的人脸特征向量,本发明实 施例对此并不进行限制。
进一步地,可以将人脸特征向量输入至选择的当前预测网络中,以得到 当前预测结果,其中,当前预测结果为当前预测网络根据人脸特征向量计算 得到的预测结果,也即,当前预测结果为当前预测网络对样本人脸图像的预 测结果。
进一步地,可以根据当前预测结果和样本人脸图像的人脸身份标签计算 损失函数的值,其中,所述损失函数可以是预先设置的,损失函数可以是现 有的各种恰当的损失函数,例如,损失函数可以是Softmax损失函数,但并不 限于此,本发明实施例对损失函数的类型并不进行任何限制。
进一步地,可以根据预先设置的损失函数以及计算得到的损失函数的值 更新骨干网络。具体而言,可以根据损失函数和损失函数的值调整骨干网络 的连接权重,还可以根据损失函数和损失函数的值对骨干网络进行其他适当 的操作。其中,调整骨干网络的连接权重的方法可以是现有的各种恰当的方 法,例如,可以采用梯度下降法调整骨干网络的连接权重。
进一步地,还可以根据预先设置的损失函数和损失函数的值更新当前预 测网络。具体而言,可以根据损失函数和损失函数的值调整当前预测网络的 连接权重,还可以根据损失函数和损失函数的值对当前预测网络进行其他适 当的操作。
在步骤S103的具体实施中,每当更新骨干网络后,可以判断是否遍历多 个预测网络,也即,所有的预测网络是否均被选择作为当前预测网络对样本 人脸图像进行预测。如果没有遍历所有的预测网络,则返回至步骤S102,直 至遍历所有预测网络。
具体而言,每次从步骤S103返回至步骤S102时,需要重新选择当前预 测网络。更具体地,可以从未被选择过的预测网络中随机选择任一预测网络 作为当前预测网络。
进一步地,在骨干网络计算得到样本人脸图像的人脸特征向量后,将人 脸特征向量输入至重新选择的当前预测网络,以更新当前预测结果,并根据 更新后的当前预测结果和人脸身份标签重新更新骨干网络。其中,人脸特征 向量是由更新后的骨干网络计算得到的,此处更新后的骨干网络是指根据上 一个当前预测网络的预测结果和人脸身份标签对骨干网络进行更新后得到的 骨干网络。
需要说明的是,每次从步骤S103返回至步骤S102时,可以先重新选择 当前预测网络,再采用更新后的骨干网络重新计算样本人脸图像的人脸特征 向量;也可以先采用更新后的骨干网络重新计算样本人脸图像的人脸特征向 量,再重新选择当前预测网络,本发明实施例对此不作限制。
还需要说明的是,本发明实施例的方案中,每当从步骤S103返回至步骤 S102时,样本人脸图像可以是同一张样本人脸图像。也即,依次根据多个预 测网络对同一张样本人脸图像的预测结果和人脸身份标签对骨干网络进行更 新,因此可以使骨干网络充分学习到该样本人脸图像中的人脸特征信息。
进一步地,如果判断已遍历所有多个预测网络时,可以继续执行步骤 S104。也即,如果已经根据所有的预测网络对样本人脸图像的预测结果对骨 干网络进行了更新,则可以继续执行步骤S104。
在步骤S104的具体实施中,判断是否满足预设停止条件,所述预设停止 条件可以是多个预测网络被遍历的次数达到预设阈值,所述预设阈值可以是 预先设置的。例如,预设阈值为25,但并不限于此。预设停止条件还可以是 现有的各种恰当的训练人脸识别模型时采用的停止条件。
进一步地,如果判断不满足预设停止条件,可以获取下一张样本人脸图 像,并将下一张样本人脸图像作为步骤S102中的样本人脸图像,并返回至步 骤S102对骨干网络进行更新,直至满足预设停止条件。
在本发明的一个非限制性实施例中,首次更新骨干网络时,初始的学习 率(learning rate)可以是预设初始值(例如,可以是0.1),当多个预测网络 被遍历的次数达到第一预设次数(例如,第一预设次数为10)时,学习率更 新为第一预设值,当多个预测网络被遍历的次数达到第二预设次数(例如, 第二预设值为15)时,学习率再次更新为第二预设值,当多个预测网络被遍 历的次数达到第三预设值(例如,第三预设值为20)时,学习率再次更新为 第三预设值,依次类推,直至多个预测网络被遍历的次数达到预设阈值。其中,第一预设值小于预设初始值,第二预设值小于第一预设值,第三预设值 小于第二预设值,也即,随着被遍历的次数增大,采用的学习率减小。更具 体地,每次更新后的学习率可以为更新前的学习率的预设倍数(例如,可以 是0.1倍)。
进一步地,如果判断满足预设停止条件,则可以得到训练后的人脸识别 模型。
由此,本发明实施例的方案中,依次根据多个预测网络的预测结果更新 骨干网络,直至满足预设停止条件。采用上述方案时,从多个预测网络中选 择当前预测网络,当前预测网络根据人脸特征向量得到当前预测结果,然后 基于当前预测结果和样本人脸图像的标签更新骨干网络,直至遍历所有的预 测网络。由于用于计算人脸特征向量的骨干网络是根据上一个当前预测网络 的预测结果更新的,因此,本发明实施例的方案可以采用多个预测网络迭代 地更新骨干网络,使得骨干网络能够充分学习到样本人脸图像的人脸特征信 息,从而可以提高训练后的人脸识别模型提取人脸特征信息的性能。
参考图3,图3示出了训练后的人脸识别模型的应用场景示意图。训练后 的人脸识别模型可以包括更新后的骨干网络30,还可以包括相似度计算单元 31和判断单元32。其中,更新后的骨干网络30可以与相似度计算单元31连 接,相似度计算单元31可以与判断单元32连接,但并不限于此。训练后的 人脸识别模型可以用于识别待测人脸图像中的人脸身份。
具体而言,待测人脸图像可以是终端获取的,例如,可以是终端实时采 集到的待测人脸图像,也可以是实时从外部接收到的待测人脸图像,还可以 是预先存储在本地的待测人脸图像,但并不限于此。
进一步地,可以将待测人脸图像33输入至更新后的骨干网络30,更新后 的骨干网络30用于计算待测人脸图像的人脸特征向量。其中,此处更新后的 骨干网络30可以是满足预设停止条件时得到的骨干网络。
进一步地,将更新后的骨干网络30计算得到的待测人脸图像的人脸特征 向量传输至相似度计算单元31,相似度计算单元31可以根据待测人脸图像的 人脸特征向量计算待测人脸图像的人脸特征向量与预设用户的人脸特征向量 的相似度。其中,预设用户的人脸特征向量可以是预先存储在终端本地的, 也可以是终端从外部获取的,但并不限于此。
需要说明的是,预设用户可以是一个或多个。具体而言,当预设用户只 有一个时,训练后的人脸识别模型用于判断待测人脸图像是否为该预设用户 的人脸图像;当预设用户有多个时,训练后的人脸识别模型用于判断待测人 脸图像是否为多个预设用户中任意一个预设用户的人脸图像,但并不限于此。
进一步地,可以将相似度计算单元31计算得到的相似度传输至判断单元 32,所述判断单元32可以根据相似度确定待测人脸图像的识别结果。
具体而言,如果预设用户只有一个,可以判断相似度是否超过预设相似 度阈值,如果是,可以判断待测人脸图像为该预设用户的人脸图像,否则, 判断待测人脸图像不是该预设用户的人脸图像。如果预设用户有多个,可以 从待测人脸图像的人脸特征向量和各个预设用户的人脸特征向量的相似度中 选择最高相似度,并判断最高相似度是否超过预设相似度阈值,如果是,则 可以判断待测人脸图像为最高相似度对应的预设用户的人脸图像,否则,可 以判断待测人脸图像所属的用户不在多个预设用户的范围内。其中,预设相似度阈值可以是预先设置的。
可以理解的是,由于本发明实施例的方案中训练后的人脸识别模型具有 较高的提取人脸特征信息的性能,因此采用本发明实施例中训练后的人脸识 别模型可以提高人脸识别的准确性。
参考图4,图4是本发明实施例中另一种人脸识别模型的训练方法的流程 示意图。图4示出的人脸识别模型的训练方法可以包括如下步骤:
步骤S401:获取样本人脸图像,所述样本人脸图像具有人脸身份标签;
步骤S402:令i=1,其中,i为正整数,1≤i≤N,N为所述多个预测网络 的数量;
步骤S403:选择第i个预测网络作为所述当前预测网络,采用骨干网络 计算所述样本人脸图像的人脸特征向量,将所述人脸特征向量输入至所述当 前预测网络,以得到当前预测结果,并根据所述人脸身份标签和所述当前预 测结果更新所述骨干网络,其中,所述当前预测结果为所述当前预测网络对 所述样本人脸图像的预测结果;
步骤S404:判断是否遍历所述多个预测网络;如果是,则继续执行步骤 S406;否则,继续执行步骤S405;
步骤S405:令i=i+1,并返回至步骤S403;
步骤S406:判断是否满足预设停止条件,如果是,则继续执行步骤S408, 否则,继续执行步骤S407;
步骤S407:获取下一张样本人脸图像,并将所述下一张样本人脸图像作 为所述样本人脸图像,并返回至步骤S402;
步骤S408:得到训练后的人脸识别模型,所述训练后的人脸识别模型包 括训练后的骨干网络。
具体而言,图4示出的人脸识别模型的训练方法中,每个预测网络可以 具有编号,多个预设网络的编号可以是预先设置的。首次执行步骤S403时, 选择第1个预测网络作为当前预测网络,每次从步骤S404返回至步骤S403 时,选择第i+1个预测网络作为所述当前预测网络,其中,第i个预测网络为 前一次执行步骤二时的当前预测网络。也即,可以按照预先设置的编号次序 选择当前预测网络,直至遍历所有的预测网络。由于可以按照实际的训练场 景预先设置预测网络的编号,采用这种训练方法可以满足不同的训练需求。
更多关于图4示出的另一种人脸识别模型的训练方法的工作原理、工作 方式和有益效果可以参照图1至图3的相关描述,在此不再赘述。
参考图5,图5是本发明实施例中一种人脸识别模型的训练装置的结构示 意图。图5示出的训练装置可以包括获取模块51、训练模块52、第一判断模 块53和第二判断模块54。
其中,获取模块51可以用于获取样本人脸图像,所述样本人脸图像具有 人脸身份标签;训练模块52可以用于从多个预测网络中选择当前预测网络, 采用骨干网络计算所述样本人脸图像的人脸特征向量,将所述人脸特征向量 输入至所述当前预测网络,以得到当前预测结果,并根据所述人脸身份标签 和所述当前预测结果更新所述骨干网络,其中,所述当前预测结果为所述当 前预测网络对所述样本人脸图像的预测结果;第一判断模块53可以用于判断 是否遍历所述多个预测网络,如果是,则继续执行步骤四,否则返回至步骤二,直至遍历所述多个预测网络;第二判断模块54可以用于判断是否满足预 设停止条件,如果是,则得到训练后的人脸识别模型,所述训练后的人脸识 别模型包括更新后的骨干网络。
关于上述一种人脸识别模型的训练装置的工作原理、工作方式和有益效 果等更多内容,可以参照上文关于图1至图4的相关描述,在此不再赘述。
本发明实施例还提供一种存储介质,其上存储有计算机程序,所述计算 机程序被处理器运行时执行上述人脸识别模型的训练方法的步骤。所述存储 介质可以包括ROM、RAM、磁盘或光盘等。所述存储介质还可以包括非挥发 性存储器(non-volatile)或者非瞬态(non-transitory)存储器等。
本发明实施例还公开了一种终端,所述终端可以包括存储器和处理器, 所述存储器上存储有可在所述处理器上运行的计算机程序。所述处理器运行 所述计算机程序时可以执行上述人脸识别模型的训练方法的步骤。所述终端 包括但不限于手机、计算机、平板电脑等终端设备。
应理解,本申请实施例中,所述处理器可以为中央处理单元(central processingunit,简称CPU),该处理器还可以是其他通用处理器、数字信号处 理器(digital signalprocessor,简称DSP)、专用集成电路(application specific integrated circuit,简称ASIC)、现成可编程门阵列(field programmable gate array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、 分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常 规的处理器等。
还应理解,本申请实施例中的存储器可以是易失性存储器或非易失性存 储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以 是只读存储器(read-only memory,简称ROM)、可编程只读存储器 (programmable ROM,简称PROM)、可擦除可编程只读存储器(erasable PROM,简称EPROM)、电可擦除可编程只读存储器(electricallyEPROM, 简称EEPROM)或闪存。易失性存储器可以是随机存取存储器(random accessmemory,简称RAM),其用作外部高速缓存。通过示例性但不是限制性说明, 许多形式的随机存取存储器(random access memory,简称RAM)可用,例 如静态随机存取存储器(staticRAM,简称SRAM)、动态随机存取存储器 (DRAM)、同步动态随机存取存储器(synchronousDRAM,简称SDRAM)、 双倍数据速率同步动态随机存取存储器(double data rate SDRAM,简称DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM,简称 ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM,简称SLDRAM) 和直接内存总线随机存取存储器(direct rambus RAM,简称DR RAM)。
上述实施例,可以全部或部分地通过软件、硬件、固件或其他任意组合 来实现。当使用软件实现时,上述实施例可以全部或部分地以计算机程序产 品的形式实现。所述计算机程序产品包括一个或多个计算机指令或计算机程 序。在计算机上加载或执行所述计算机指令或计算机程序时,全部或部分地 产生按照本申请实施例所述的流程或功能。所述计算机可以为通用计算机、 专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储 在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机 可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、 服务器或数据中心通过有线或无线方式向另一个网站站点、计算机、服务器 或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任 何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据 存储设备。所述可用介质可以是磁性介质(例如,软盘、硬盘、磁带)、光介 质(例如,DVD)、或者半导体介质。半导体介质可以是固态硬盘。
在本申请所提供的几个实施例中,应该理解到,所揭露的方法、装置和 系统,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示 意性的;例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可 以有另外的划分方式;例如多个单元或组件可以结合或者可以集成到另一个 系统,或一些特征可以忽略,或不执行。所述作为分离部件说明的单元可以 是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不 是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可 以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目 的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中, 也可以是各个单元单独物理包括,也可以两个或两个以上单元集成在一个单 元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件 功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机 可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指 令用以使得一台终端设备(可以是个人计算机,服务器,或者网络设备等) 执行本发明各个实施例所述方法的部分步骤。
应理解,本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表 示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在 A和B,单独存在B这三种情况。另外,本文中字符“/”,表示前后关联对象 是一种“或”的关系。
本申请实施例中出现的“多个”是指两个或两个以上。
本申请实施例中出现的第一、第二等描述,仅作示意与区分描述对象之 用,没有次序之分,也不表示本申请实施例中对设备个数的特别限定,不能 构成对本申请实施例的任何限制。
虽然本发明披露如上,但本发明并非限定于此。任何本领域技术人员, 在不脱离本发明的精神和范围内,均可作各种更动与修改,因此本发明的保 护范围应当以权利要求所限定的范围为准。

Claims (12)

1.一种人脸识别模型的训练方法,其特征在于,所述方法包括:
步骤一:获取样本人脸图像,所述样本人脸图像具有人脸身份标签;
步骤二:从多个预测网络中选择当前预测网络,采用骨干网络计算所述样本人脸图像的人脸特征向量,将所述人脸特征向量输入至所述当前预测网络,以得到当前预测结果,并根据所述人脸身份标签和所述当前预测结果更新所述骨干网络,其中,所述当前预测结果为所述当前预测网络对所述样本人脸图像的预测结果;
步骤三:判断是否遍历所述多个预测网络,如果是,则继续执行步骤四,否则返回至步骤二,直至遍历所述多个预测网络;
步骤四:判断是否满足预设停止条件,如果是,则得到训练后的人脸识别模型,所述训练后的人脸识别模型包括更新后的骨干网络;
其中,每当从所述步骤三返回至所述步骤二时,所述样本人脸图像是同一张样本人脸图像;
所述方法还包括:
如果不满足所述预设停止条件,则获取下一张样本人脸图像,并将所述下一张样本人脸图像作为所述样本人脸图像,并返回至步骤二,直至满足所述预设停止条件。
2.根据权利要求1所述的人脸识别模型的训练方法,其特征在于,获取样本人脸图像之前,所述方法还包括:
采用互不相同的多组随机数分别初始化多个彼此相同的预测网络,以得到多个彼此不同的预测网络。
3.根据权利要求1所述的人脸识别模型的训练方法,其特征在于,从所述多个预测网络中选择当前预测网络包括:
首次执行步骤二时,从所述多个预测网络中随机选择任一预测网络作为所述当前预测网络;
步骤二被再次执行时,从未被选择过的预测网络中随机选择任一预测网络作为所述当前预测网络。
4.根据权利要求1所述的人脸识别模型的训练方法,其特征在于,从所述多个预测网络中选择当前预测网络包括:
首次执行步骤二时,选择第1个预测网络作为所述当前预测网络;
每次从步骤三返回至步骤二时,选择第i+1个预测网络作为所述当前预测网络,其中,第i个预测网络为前一次执行步骤二时的当前预测网络,i为正整数,1≤i≤N,N为所述多个预测网络的数量。
5.根据权利要求1所述的人脸识别模型的训练方法,其特征在于,所述预设停止条件包括:所述多个预测网络被遍历的次数达到预设阈值。
6.根据权利要求1所述的人脸识别模型的训练方法,其特征在于,所述步骤二还包括:
根据所述人脸身份标签和所述当前预测结果,更新所述当前预测网络。
7.根据权利要求1所述的人脸识别模型的训练方法,其特征在于,所述骨干网络的数量为1。
8.根据权利要求1所述的人脸识别模型的训练方法,其特征在于,所述多个预测网络的数量为2。
9.根据权利要求1所述的人脸识别模型的训练方法,其特征在于,所述训练后的人脸识别模型还包括:相似度计算单元和判断单元,
所述更新后的骨干网络用于计算待测人脸图像的人脸特征向量,
所述相似度计算单元用于根据所述待测人脸图像的人脸特征向量计算所述待测人脸图像的人脸特征向量与预设用户的人脸特征向量的相似度,
所述判断单元用于根据所述相似度确定所述待测人脸图像的识别结果。
10.一种人脸识别模型的训练装置,其特征在于,所述装置包括:
获取模块,用于获取样本人脸图像,所述样本人脸图像具有人脸身份标签;
训练模块,用于从多个预测网络中选择当前预测网络,采用骨干网络计算所述样本人脸图像的人脸特征向量,将所述人脸特征向量输入至所述当前预测网络,以得到当前预测结果,并根据所述人脸身份标签和所述当前预测结果更新所述骨干网络,其中,所述当前预测结果为所述当前预测网络对所述样本人脸图像的预测结果;
第一判断模块,用于判断是否遍历所述多个预测网络,如果是,则继续执行步骤四,否则返回至步骤二,直至遍历所述多个预测网络;
第二判断模块,用于判断是否满足预设停止条件,如果是,则得到训练后的人脸识别模型,所述训练后的人脸识别模型包括更新后的骨干网络;
其中,每当从步骤三返回至步骤二时,所述样本人脸图像是同一张样本人脸图像;
所述训练模块还用于如果不满足所述预设停止条件,则通过所述获取模块获取下一张样本人脸图像,并将所述下一张样本人脸图像作为所述样本人脸图像,并返回至步骤二,直至满足所述预设停止条件;
其中,所述步骤二是指:从所述多个预测网络中选择当前预测网络,采用所述骨干网络计算所述样本人脸图像的人脸特征向量,将所述人脸特征向量输入至所述当前预测网络,以得到当前预测结果,并根据所述人脸身份标签和所述当前预测结果更新所述骨干网络;
所述步骤三是指:判断是否遍历所述多个预测网络,如果是,则继续执行步骤四,否则返回至步骤二,直至遍历所述多个预测网络;
所述步骤四是指:判断是否满足预设停止条件,如果是,则得到训练后的人脸识别模型,所述训练后的人脸识别模型包括更新后的骨干网络。
11.一种存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器运行时执行权利要求1至9中任一项所述人脸识别模型的训练方法的步骤。
12.一种终端,包括存储器和处理器,所述存储器上存储有可在所述处理器上运行的计算机程序,其特征在于,所述处理器运行所述计算机程序时执行权利要求1至9中任一项所述人脸识别模型的训练方法的步骤。
CN202110402109.8A 2021-04-14 2021-04-14 人脸识别模型的训练方法及装置、存储介质、终端 Active CN113221662B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110402109.8A CN113221662B (zh) 2021-04-14 2021-04-14 人脸识别模型的训练方法及装置、存储介质、终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110402109.8A CN113221662B (zh) 2021-04-14 2021-04-14 人脸识别模型的训练方法及装置、存储介质、终端

Publications (2)

Publication Number Publication Date
CN113221662A CN113221662A (zh) 2021-08-06
CN113221662B true CN113221662B (zh) 2022-09-27

Family

ID=77087197

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110402109.8A Active CN113221662B (zh) 2021-04-14 2021-04-14 人脸识别模型的训练方法及装置、存储介质、终端

Country Status (1)

Country Link
CN (1) CN113221662B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117151722B (zh) * 2023-10-30 2024-02-23 山东大学 一种基于联盟区块链的人脸识别密码验证方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111275171A (zh) * 2020-01-19 2020-06-12 合肥工业大学 一种基于参数共享的多尺度超分重建的小目标检测方法
CN112115826A (zh) * 2020-09-08 2020-12-22 成都奥快科技有限公司 一种基于双边分支网络的人脸活体检测方法及系统
CN112329696A (zh) * 2020-11-18 2021-02-05 携程计算机技术(上海)有限公司 人脸活体检测方法、系统、设备及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110096964B (zh) * 2019-04-08 2021-05-04 厦门美图之家科技有限公司 一种生成图像识别模型的方法
CN111046780A (zh) * 2019-12-06 2020-04-21 北京市商汤科技开发有限公司 神经网络训练及图像识别方法、装置、设备和存储介质
CN111340195B (zh) * 2020-03-09 2023-08-22 创新奇智(上海)科技有限公司 网络模型的训练方法及装置、图像处理方法及存储介质
CN111666905B (zh) * 2020-06-10 2022-12-02 重庆紫光华山智安科技有限公司 模型训练方法、行人属性识别方法和相关装置
CN111898547B (zh) * 2020-07-31 2024-04-16 平安科技(深圳)有限公司 人脸识别模型的训练方法、装置、设备及存储介质
CN112016559A (zh) * 2020-08-26 2020-12-01 北京推想科技有限公司 实例分割模型的训练方法及装置,图像处理的方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111275171A (zh) * 2020-01-19 2020-06-12 合肥工业大学 一种基于参数共享的多尺度超分重建的小目标检测方法
CN112115826A (zh) * 2020-09-08 2020-12-22 成都奥快科技有限公司 一种基于双边分支网络的人脸活体检测方法及系统
CN112329696A (zh) * 2020-11-18 2021-02-05 携程计算机技术(上海)有限公司 人脸活体检测方法、系统、设备及存储介质

Also Published As

Publication number Publication date
CN113221662A (zh) 2021-08-06

Similar Documents

Publication Publication Date Title
CN110866140B (zh) 图像特征提取模型训练方法、图像搜索方法及计算机设备
CN111797893B (zh) 一种神经网络的训练方法、图像分类系统及相关设备
WO2019228122A1 (zh) 模型的训练方法、存储介质及计算机设备
WO2021203863A1 (zh) 基于人工智能的物体检测方法、装置、设备及存储介质
EP3757905A1 (en) Deep neural network training method and apparatus
CN109993102B (zh) 相似人脸检索方法、装置及存储介质
US20210241034A1 (en) Method of and system for generating training images for instance segmentation machine learning algorithm
CN109948149B (zh) 一种文本分类方法及装置
WO2018214713A1 (zh) 人脸检测方法、装置、计算机设备及存储介质
CN108073902B (zh) 基于深度学习的视频总结方法、装置及终端设备
CN111860398B (zh) 遥感图像目标检测方法、系统及终端设备
CN110096938B (zh) 一种视频中的动作行为的处理方法和装置
CN111914908B (zh) 一种图像识别模型训练方法、图像识别方法及相关设备
CN110738102A (zh) 一种人脸识别方法及系统
CN112330684A (zh) 对象分割方法、装置、计算机设备及存储介质
CN114266897A (zh) 痘痘类别的预测方法、装置、电子设备及存储介质
CN111694954B (zh) 图像分类方法、装置和电子设备
CN114299304B (zh) 一种图像处理方法及相关设备
CN113221662B (zh) 人脸识别模型的训练方法及装置、存储介质、终端
CN113011532A (zh) 分类模型训练方法、装置、计算设备及存储介质
CN111814653B (zh) 一种视频中异常行为的检测方法、装置、设备及存储介质
CN113407820A (zh) 模型训练方法及相关系统、存储介质
CN112183513B (zh) 一种图像中文字的识别方法、装置、电子设备及存储介质
CN113822291A (zh) 一种图像处理方法、装置、设备及存储介质
CN113704528A (zh) 聚类中心确定方法、装置和设备及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 200331 room e176, 1f, 406 Gulang Road, Putuo District, Shanghai

Applicant after: Shanghai Xinyi Intelligent Technology Co.,Ltd.

Address before: 200434 7th floor, No.137 Haining Road, Hongkou District, Shanghai

Applicant before: Shanghai Xinyi Intelligent Technology Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant