CN113420731A - 模型训练方法、电子设备及计算机可读存储介质 - Google Patents

模型训练方法、电子设备及计算机可读存储介质 Download PDF

Info

Publication number
CN113420731A
CN113420731A CN202110964796.2A CN202110964796A CN113420731A CN 113420731 A CN113420731 A CN 113420731A CN 202110964796 A CN202110964796 A CN 202110964796A CN 113420731 A CN113420731 A CN 113420731A
Authority
CN
China
Prior art keywords
image
training
face
model
initial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110964796.2A
Other languages
English (en)
Other versions
CN113420731B (zh
Inventor
江坤
浦煜
陈智超
保长存
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Dilusense Technology Co Ltd
Original Assignee
Beijing Dilusense Technology Co Ltd
Hefei Dilusense Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dilusense Technology Co Ltd, Hefei Dilusense Technology Co Ltd filed Critical Beijing Dilusense Technology Co Ltd
Priority to CN202110964796.2A priority Critical patent/CN113420731B/zh
Publication of CN113420731A publication Critical patent/CN113420731A/zh
Application granted granted Critical
Publication of CN113420731B publication Critical patent/CN113420731B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例涉及计算机技术领域，公开了一种模型训练方法、电子设备及计算机可读存储介质。本申请部分实施例中，模型训练方法包括：获取训练图像集，以及训练图像集中各训练图像的标签数据；训练图像包括未遮挡图像和遮挡图像，标签数据包括第一标签和第二标签；第一标签指示训练图像中的人脸对应的身份信息，第二标签指示训练图像中的人脸是否被遮挡；根据训练图像集和标签数据，利用损失函数，训练人脸识别模型和隐变量模型，以优化人脸识别模型。本申请实施例提供的技术方案可以优化人脸识别模型，使得优化后的人脸识别模型可以在人脸存在遮挡的情况下进行人脸识别，提高人脸存在遮挡的情况下的识别准确性。

Description

模型训练方法、电子设备及计算机可读存储介质
技术领域
本发明实施例涉及计算机技术领域，特别涉及一种模型训练方法、电子设备及计算机可读存储介质。
背景技术
人脸识别技术是生物识别技术中的一种。它以人的面部特征进行识别，是未来发展趋势的新技术。人脸识别技术应用广泛，例如，最为热门的刷脸技术，尤其是在支付、安检等等有着广泛应用，极大的方便了人们的生活。目前，在公共场所，戴口罩已成为一种预防流行病的一种手段。但是，戴口罩给人脸识别带来了新的挑战，原有的人脸识别模型不适用于戴口罩场景。
发明内容
本发明实施方式的目的在于提供一种模型训练方法、电子设备及计算机可读存储介质，可以优化人脸识别模型，使得优化后的人脸识别模型可以在人脸存在遮挡的情况下进行人脸识别，提高人脸存在遮挡的情况下的识别准确性。
为解决上述技术问题，第一方面，本发明实施例提供了一种模型训练方法，包括：获取训练图像集，以及训练图像集中各训练图像的标签数据；训练图像包括未遮挡图像和遮挡图像，标签数据包括第一标签和第二标签；第一标签指示训练图像中的人脸对应的身份信息，第二标签指示训练图像中的人脸是否被遮挡；根据训练图像集和标签数据，利用损失函数，训练人脸识别模型和隐变量模型，以优化人脸识别模型；其中，人脸识别模型的输出连接隐变量模型的输入，隐变量模型用于学习遮挡图像的隐变量和未遮挡图像的隐变量。
第二方面，本发明实施例提供了一种电子设备，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述实施例提及的模型训练方法。
第三方面，本发明实施例提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，实现上述实施例提及的模型训练方法。
本发明实施例相对于现有技术而言，使用隐变量模型学习遮挡图像和未遮挡图像的隐变量，在隐变量模型中学习它们的不变特征，基于隐变量模型学习不变特征的过程，优化人脸识别模型，使得优化后的人脸识别模型可以在人脸存在遮挡和人脸不存在遮挡的情况下进行人脸识别，提高人脸存在遮挡的情况下的识别准确性。
在部分实施例中，损失函数包括：隐变量损失函数、人脸识别模型对应的第一分类损失函数和隐变量模型对应的第二分类损失函数；根据训练图像集和标签数据，利用损失函数，训练人脸识别模型和隐变量模型，以优化人脸识别模型，包括：根据训练图像集和各训练图像的第二标签，利用隐变量损失函数和第二分类损失函数，训练隐变量模型；根据训练图像集和标签数据，利用隐变量损失函数、第一分类损失函数和第二分类损失函数，同时训练隐变量模型和人脸识别模型。
在部分实施例中，遮挡图像的隐变量基于遮挡图像的人脸特征向量的均值和遮挡图像的人脸特征向量的方差确定，未遮挡图像的隐变量基于未遮挡图像的人脸特征向量的均值和未遮挡图像的人脸特征向量的方差确定。
在部分实施例中，隐变量损失函数用于约束遮挡图像的人脸特征向量的均值和遮挡图像对应的未遮挡图像的人脸特征向量的均值的差值，以及遮挡图像的人脸特征向量的方差和遮挡图像对应的未遮挡图像的人脸特征向量的方差之间的差值。
在部分实施例中，根据训练图像集和各训练图像的第二标签，利用隐变量损失函数和第二分类损失函数，训练隐变量模型，包括：将图像训练集输入人脸识别模型，得到各训练图像的人脸特征向量；将各训练图像的人脸特征向量和各训练图像的第二标签作为训练数据；利用训练数据、隐变量损失函数和第二分类损失函数，训练隐变量模型。
在部分实施例中，获取训练图像集，包括：获取未被遮挡的初始人脸图像；在初始人脸图像上叠加模拟遮挡物；根据模拟遮挡物的颜色值，调整初始人脸图像的颜色值，得到初始遮挡图像；基于初始人脸图像，得到未遮挡图像，并基于初始遮挡图像，得到遮挡图像。
在部分实施例中，基于初始人脸图像，得到未遮挡图像，并基于初始遮挡图像，得到遮挡图像，包括：基于初始人脸图像的第一指定关键点和预设的第一标准人脸图像的第一指定关键点，计算初始人脸图像的第一仿射矩阵；根据第一仿射矩阵，对初始人脸图像进行裁剪，得到未遮挡图像；基于初始遮挡图像的第二指定关键点和预设的第二标准人脸图像的第二指定关键点，计算初始遮挡图像的第二仿射矩阵；根据第二仿射矩阵，对初始遮挡图像进行裁剪，得到遮挡图像。
在部分实施例中，根据模拟遮挡物的颜色值，调整初始人脸图像的颜色值，得到初始遮挡图像，包括：确定初始人脸图像中被覆盖的关键点；将被覆盖的关键点的颜色值调整为模拟遮挡物的颜色值，得到初始遮挡图像。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1是本发明一实施例中模型训练方法的流程图；
图2a-图2f是本发明一实施例中模拟口罩和初始人脸图像中68个关键点的位置关系的示意图；
图3是本发明一实施例中人脸识别模型和隐变量模型的连接示意图；
图4是本发明另一实施例中模型训练方法的流程图；
图5是本发明一实施例中电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。以下各个实施例的划分是为了描述方便，不应对本发明的具体实现方式构成任何限定，各个实施例在不矛盾的前提下可以相互结合相互引用。
在本发明公开的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明公开的描述中，除非另有说明，“多个”的含义是两个或两个以上。
本申请实施例中，如图1所示的模型训练方法，应用于电子设备，包括如下步骤。
步骤101：获取训练图像集，以及训练图像集中各训练图像的标签数据。其中，训练图像包括未遮挡图像和遮挡图像，标签数据包括第一标签和第二标签；第一标签指示训练图像中的人脸对应的身份信息，第二标签指示训练图像中的人脸是否被遮挡。
步骤102：根据训练图像集和标签数据，利用损失函数，训练人脸识别模型和隐变量模型，以优化人脸识别模型。其中，人脸识别模型的输出连接隐变量模型的输入，隐变量模型用于学习遮挡图像的隐变量和未遮挡图像的隐变量。
本申请实施例中，使用隐变量模型学习遮挡图像和未遮挡图像的隐变量，在隐变量模型中学习它们的不变特征，基于隐变量模型学习不变特征的过程，优化人脸识别模型，使得优化后的人脸识别模型可以在人脸存在遮挡和人脸不存在遮挡的情况下进行人脸识别，提高人脸存在遮挡的情况下的识别准确性。
在一个实施例中，获取训练图像集，包括：获取未被遮挡的初始人脸图像；在初始人脸图像上叠加模拟遮挡物；根据模拟遮挡物的颜色值，调整初始人脸图像的颜色值，得到初始遮挡图像；基于初始人脸图像，得到未遮挡图像，并基于初始遮挡图像，得到遮挡图像。具体地，模拟遮挡物可以是不同形状的不同遮挡比例的模拟口罩的数据。该模拟口罩可以是纯色口罩，例如，黑色口罩或浅蓝色口罩。
值得一提的是，通过对不存在遮挡的初始人脸图像进行处理，合成遮挡图像，可以减少采集遮挡图像的时间成本和人工成本。
可选择的，根据模拟遮挡物的颜色值，调整初始人脸图像的颜色值，得到初始遮挡图像，包括：确定初始人脸图像中被覆盖的关键点；将被覆盖的关键点的颜色值调整为模拟遮挡物的颜色值，得到初始遮挡图像。
例如，遮挡物为口罩，模拟遮挡物为模拟口罩的数据。电子设备获取初始人脸图像中68个关键点的关键点信息，确定68个关键点中被模拟口罩覆盖。例如，模拟口罩和初始人脸图像中68个关键点的位置关系如图2a-图2f所示。将被覆盖的关键点的颜色值调整为模拟口罩的颜色值。如，若模拟口罩为黑色，则将被覆盖的关键点的颜色值（RGB值）调整为[0，0，0]，若模拟口罩为浅蓝色，则将被覆盖的关键点的RGB值调整为[200，228，242]。
可选择的，基于初始人脸图像，得到未遮挡图像，并基于初始遮挡图像，得到遮挡图像，包括：基于初始人脸图像的第一指定关键点和预设的第一标准人脸图像的第一指定关键点，计算初始人脸图像的第一仿射矩阵；根据第一仿射矩阵，对初始人脸图像进行裁剪，得到未遮挡图像；基于初始遮挡图像的第二指定关键点和预设的第二标准人脸图像的第二指定关键点，计算初始遮挡图像的第二仿射矩阵；根据第二仿射矩阵，对初始遮挡图像进行裁剪，得到遮挡图像。具体地，电子设备设有人脸预处理模块，针对初始人脸图像，人脸预处理模块根据人脸检测器获取初始人脸图像中的第一指定关键点。根据第一指定关键点与第一标准人脸图像计算仿射矩阵。根据仿射矩阵，裁剪得到固定尺寸的未遮挡图像。针对初始遮挡图像，人脸预处理模块根据人脸检测器获取初始遮挡图像中的第二指定关键点。根据第二指定关键点与第二标准人脸图像计算仿射矩阵。根据仿射矩阵，裁剪得到固定尺寸的遮挡图像。
例如，第一指定关键点和第二指定关键点相同，数量均是5个，即标识人脸的嘴角的两个关键点、标识眼睛的两个关键点和标识鼻子的一个关键点。
需要说明的是，本领域技术人员可以理解，第一指定关键点和第二指定关键点可以是相同关键点，也可以是不同关键点。本实施例不做限制。
需要说明的是，本领域技术人员可以理解，第一指定关键点和第二指定关键点的数量大于等于3即可，例如，第一指定关键点和第二指定关键点为标识眼睛的一个关键点、标识鼻子的一个关键点和标识嘴巴的一个关键点。本实施例不做限制。
值得一提的是，当模拟遮挡物为口罩时，通过隐变量模型学习戴口罩的人脸图像和不带口罩的人脸图像的不变特征。基于初步训练后的隐变量模型优化人脸识别模型，使得优化后的人脸识别模型对戴口罩的人脸图像的识别准确性提高，进而提高了戴口罩的情况下人脸检测的通过速度。
在一个实施例中，损失函数包括：隐变量损失函数（L1）、人脸识别模型对应的第一分类损失函数（Lcls1）和隐变量模型对应的第二分类损失函数（Lcls2）。根据训练图像集和标签数据，利用损失函数，训练人脸识别模型和隐变量模型，以优化人脸识别模型，包括：根据训练图像集和各训练图像的第二标签，利用隐变量损失函数和第二分类损失函数，训练隐变量模型；根据训练图像集和标签数据，利用隐变量损失函数、第一分类损失函数和第二分类损失函数，同时训练隐变量模型和人脸识别模型。具体地，人脸识别模型用于识别人脸特征向量，将人脸识别模型识别的人脸特征向量输入隐变量模型，以便隐变量模型学习遮挡图像的隐变量和未遮挡图像的隐变量。
可选的，第一分类损失函数Lcls1=SoftmaxLoss(xN,y|W)+SoftmaxLoss(xM,y|W)，第二分类损失函数Lcls2=SoftmaxLoss(
Figure 283409DEST_PATH_IMAGE001
,y|W,θ)+SoftmaxLoss(
Figure 506580DEST_PATH_IMAGE002
,y|W,θ)。其中，xN表示未遮挡图像经过人脸识别模型后输出的特征，xM表示遮挡图像经过人脸识别模型后输出的特征，y表示人脸识别模型输出的身份标签，W表示人脸识别模型中待学习的参数，θ表示隐变量模型中待学习的参数，
Figure 978013DEST_PATH_IMAGE003
表示xN经过隐变量模型重构的特征，
Figure 235819DEST_PATH_IMAGE004
表示xM经过隐变量模型重构的特征。
可选择的，遮挡图像的隐变量基于遮挡图像的人脸特征向量的均值（uM）和遮挡图像的人脸特征向量的方差（σM）确定，未遮挡图像的隐变量基于未遮挡图像的人脸特征向量的均值（uN）和未遮挡图像的人脸特征向量的方差（σN）确定。具体地，均值可以是身份信息，即遮挡图像或非遮挡图像中的人物的身份信息，方差可以是建模过程中的噪声。
例如，z(i)=u(i)+εσ(i)，其中，z(i)表示随机采样得到的遮挡图像的隐变量或随机采样得到的未遮挡图像的隐变量，u(i)表示遮挡图像的人脸特征向量的均值或未遮挡图像的人脸特征向量的均值，ε表示随机参数，ε∈N(0,1)，σ(i)表示遮挡图像的人脸特征向量的方差或未遮挡图像的人脸特征向量的方差。
在一个例子中，以模拟遮挡物为模拟口罩为例，人脸识别模型和隐变量模型的连接示意如图3所示。其中，人脸识别模型是预先训练好的针对未戴口罩的人脸识别模型。将该预先训练好的人脸识别模型中的各参数作为该人脸识别模型的初始参数。人脸识别模型301的输入是人脸RGB图像，输出是人脸RGB图像的人脸特征向量。例如，人脸识别模型301输入的人脸RGB图像的可以是224*224*3的图像，其中，224*224为人脸RGB图像的宽和高，3为人脸RGB图像的通道数。人脸识别模型301的核心网络（backbone网络）可以采用常用的人脸识别网络。具体的，常见的人脸识别网络包括但不限于VGGNet网络、ResNet网络、DenseNet网络、MobileNet网络和ShuffleNet网络等。人脸识别模型301输出的人脸特征向量是128维度的向量。将遮挡图像（即戴口罩的人脸图像）和未遮挡图像（即不戴口罩的人脸图像）分别输入人脸识别模型，得到遮挡图像的128维的人脸特征向量，以及未遮挡图像的128维的人脸特征向量。隐变量模型302可以是变分自编码器（VAE），通过四个神经网络，分别为第一神经网络、第二神经网络、第三神经网络和第四神经网络，第一神经网络用于预测遮挡图像的人脸特征向量的均值，第二神经网络用于预测遮挡图像的人脸特征向量的方差，第三神经网络用于预测未遮挡图像的人脸特征向量的均值，第四神经网络用于预测未遮挡图像的人脸特征向量的方差。针对第一神经网络和第二神经网络形成了遮挡图像的人脸特征向量的均值和遮挡图像的人脸特征向量的方差的高斯分布。针对第三神经网络和第四神经网络形成了未遮挡图像的人脸特征向量的均值和未遮挡图像的人脸特征向量的方差的高斯分布。对各高斯分布采用重采样技术，得到遮挡图像和未遮挡图像的隐变量。即通过添加服从0~1分布的高斯噪声（ε），利用u(i)+εσ(i)来得到隐变量。这样网络就可以优化参数uN、σN、uM和σM。得到隐变量后，基于隐变量再去生成对应于该分布下的输出数据，恢复为128维的特征。
可选择的，隐变量损失函数用于约束遮挡图像的人脸特征向量的均值和遮挡图像对应的未遮挡图像的人脸特征向量的均值的差值，以及遮挡图像的人脸特征向量的方差和遮挡图像对应的未遮挡图像的人脸特征向量的方差之间的差值。
可选择的，根据训练图像集和各训练图像的第二标签，利用隐变量损失函数和第二分类损失函数，训练隐变量模型，包括：将图像训练集输入人脸识别模型，得到各训练图像的人脸特征向量；将各训练图像的人脸特征向量和各训练图像的第二标签作为训练数据；利用训练数据、隐变量损失函数和第二分类损失函数，训练隐变量模型。
例如，以图3为例，由于戴口罩和不戴口罩提取的特征主要差异来自于方差，所以构造一个正交矩阵P，使得σN=PσM。因此，隐变量损失函数的部分约束为：
Figure 649351DEST_PATH_IMAGE005
根据拉格朗日乘子，上式可以改写为：
Figure 359819DEST_PATH_IMAGE006
其中，
Figure 103784DEST_PATH_IMAGE007
表示隐变量约束，
Figure 481675DEST_PATH_IMAGE008
表示第i个遮挡图像的人脸特征向量的第j个维度的方差，
Figure 551262DEST_PATH_IMAGE009
表示第i个遮挡图像的人脸特征向量的第j个维度的均值，
Figure 14605DEST_PATH_IMAGE010
表示第i个未遮挡图像的人脸特征向量的第j个维度的方差，
Figure 578573DEST_PATH_IMAGE011
表示第i个未遮挡图像的人脸特征向量的第j个维度的均值，
Figure 545391DEST_PATH_IMAGE012
表示第i个遮挡图像的人脸特征向量，
Figure 51459DEST_PATH_IMAGE013
表示隐变量模型生成后的第i个遮挡图像的人脸特征向量，
Figure 736518DEST_PATH_IMAGE014
表示第i个未遮挡图像的人脸特征向量，
Figure 87865DEST_PATH_IMAGE015
表示隐变量模型生成后的第i个未遮挡图像的人脸特征向量，
Figure 174770DEST_PATH_IMAGE016
表示第一权重，用来控制同一人的遮挡图像的人脸特征向量和未遮挡图像的人脸特征向量经过VAE分解后的均值接近的程度，
Figure 101007DEST_PATH_IMAGE017
表示遮挡图像的人脸特征向量的均值，
Figure 7783DEST_PATH_IMAGE018
表示未遮挡图像的人脸特征向量的均值，
Figure 162821DEST_PATH_IMAGE019
表示第二权重，用来控制同一人的遮挡图像的人脸特征向量和未遮挡图像的人脸特征向量经过VAE分解后的标准差通过正交变换后对齐的程度，
Figure 369811DEST_PATH_IMAGE020
表示未遮挡图像的人脸特征向量的方差，
Figure 952102DEST_PATH_IMAGE021
表示遮挡图像的人脸特征向量的方差，
Figure 611754DEST_PATH_IMAGE022
表示第三权重，用来约束矩阵P，以使P正交，P表示构造的正交矩阵，I表示单位矩阵，第一权重、第二权重和第三权重通过经验调参确定。
以上各实施例可以相互结合相互引用，例如下面是各实施例结合后的例子，然并不以此为限；各实施例在不矛盾的前提下可以任意结合成为一个新的实施例。
在一个实施例中，如图4所示为电子设备执行的模型训练方法，包括如下步骤。
步骤401：获取未被遮挡的初始人脸图像。
步骤402：在初始人脸图像上叠加模拟遮挡物。
步骤403：根据模拟遮挡物的颜色值，调整初始人脸图像的颜色值，得到初始遮挡图像。
可选择的，根据模拟遮挡物的颜色值，调整初始人脸图像的颜色值，得到初始遮挡图像，包括：确定初始人脸图像中被覆盖的关键点；将被覆盖的关键点的颜色值调整为模拟遮挡物的颜色值，得到初始遮挡图像。
步骤404：基于初始人脸图像，得到未遮挡图像，并基于初始遮挡图像，得到遮挡图像。
可选择的，基于初始人脸图像，得到未遮挡图像，并基于初始遮挡图像，得到遮挡图像，包括：基于初始人脸图像的第一指定关键点和预设的第一标准人脸图像的第一指定关键点，计算初始人脸图像的第一仿射矩阵；根据第一仿射矩阵，对初始人脸图像进行裁剪，得到未遮挡图像；基于初始遮挡图像的第二指定关键点和预设的第二标准人脸图像的第二指定关键点，计算初始遮挡图像的第二仿射矩阵；根据第二仿射矩阵，对初始遮挡图像进行裁剪，得到遮挡图像。
步骤405：根据训练图像集和各训练图像的第二标签，利用隐变量损失函数和第二分类损失函数，训练隐变量模型。
可选择的，根据训练图像集和各训练图像的第二标签，利用隐变量损失函数和第二分类损失函数，训练隐变量模型，包括：将图像训练集输入人脸识别模型，得到各训练图像的人脸特征向量；将各训练图像的人脸特征向量和各训练图像的第二标签作为训练数据；利用训练数据、隐变量损失函数和第二分类损失函数，训练隐变量模型。
可选择的，遮挡图像的隐变量基于遮挡图像的人脸特征向量的均值和遮挡图像的人脸特征向量的方差确定，未遮挡图像的隐变量基于未遮挡图像的人脸特征向量的均值和未遮挡图像的人脸特征向量的方差确定。
可选择的，隐变量损失函数用于约束遮挡图像的人脸特征向量的均值和遮挡图像对应的未遮挡图像的人脸特征向量的均值的差值，以及遮挡图像的人脸特征向量的方差和遮挡图像对应的未遮挡图像的人脸特征向量的方差之间的差值。
步骤406：根据训练图像集和标签数据，利用隐变量损失函数、第一分类损失函数和第二分类损失函数，同时训练隐变量模型和人脸识别模型。
上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。
本申请实施例还提供一种电子设备，如图5所示，包括：至少一个处理器501；以及与所述至少一个处理器501通信连接的存储器502；其中，所述存储器存储有可被所述至少一个处理器501执行的指令，所述指令被所述至少一个处理器501执行，以使所述至少一个处理器501能够执行上述方法实施例。
其中，存储器502和处理器501采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器501和存储器502的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器501处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器501。
处理器501负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器502可以被用于存储处理器501在执行操作时所使用的数据。
本申请实施例还提供一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。
即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备（可以是单片机，芯片等）或处理器（processor）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-OnlyMemory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (10)

1.一种模型训练方法，其特征在于，包括：
获取训练图像集，以及所述训练图像集中各训练图像的标签数据；所述训练图像包括未遮挡图像和遮挡图像，所述标签数据包括第一标签和第二标签；所述第一标签指示所述训练图像中的人脸对应的身份信息，所述第二标签指示所述训练图像中的人脸是否被遮挡；
根据所述训练图像集和所述标签数据，利用损失函数，训练人脸识别模型和隐变量模型，以优化所述人脸识别模型；其中，所述人脸识别模型的输出连接所述隐变量模型的输入，所述隐变量模型用于学习所述遮挡图像的隐变量和所述未遮挡图像的隐变量。
2.根据权利要求1所述的模型训练方法，其特征在于，所述损失函数包括：隐变量损失函数、所述人脸识别模型对应的第一分类损失函数和所述隐变量模型对应的第二分类损失函数；
所述根据所述训练图像集和所述标签数据，利用损失函数，训练人脸识别模型和隐变量模型，以优化所述人脸识别模型，包括：
根据所述训练图像集和各所述训练图像的第二标签，利用所述隐变量损失函数和所述第二分类损失函数，训练所述隐变量模型；
根据所述训练图像集和所述标签数据，利用所述隐变量损失函数、所述第一分类损失函数和所述第二分类损失函数，同时训练所述隐变量模型和所述人脸识别模型。
3.根据权利要求2所述的模型训练方法，其特征在于，所述遮挡图像的隐变量基于所述遮挡图像的人脸特征向量的均值和所述遮挡图像的人脸特征向量的方差确定，所述未遮挡图像的隐变量基于所述未遮挡图像的人脸特征向量的均值和所述未遮挡图像的人脸特征向量的方差确定。
4.根据权利要求3所述的模型训练方法，其特征在于，所述隐变量损失函数用于约束所述遮挡图像的人脸特征向量的均值和所述遮挡图像对应的未遮挡图像的人脸特征向量的均值的差值，以及所述遮挡图像的人脸特征向量的方差和所述遮挡图像对应的未遮挡图像的人脸特征向量的方差之间的差值。
5.根据权利要求2所述的模型训练方法，其特征在于，所述根据所述训练图像集和各所述训练图像的第二标签，利用所述隐变量损失函数和所述第二分类损失函数，训练所述隐变量模型，包括：
将所述图像训练集输入所述人脸识别模型，得到各所述训练图像的人脸特征向量；
将各所述训练图像的人脸特征向量和各所述训练图像的第二标签作为训练数据；
利用所述训练数据、所述隐变量损失函数和所述第二分类损失函数，训练所述隐变量模型。
6.根据权利要求1至5中任一项所述的模型训练方法，其特征在于，所述获取训练图像集，包括：
获取未被遮挡的初始人脸图像；
在所述初始人脸图像上叠加模拟遮挡物；
根据所述模拟遮挡物的颜色值，调整所述初始人脸图像的颜色值，得到初始遮挡图像；
基于所述初始人脸图像，得到所述未遮挡图像，并基于所述初始遮挡图像，得到所述遮挡图像。
7.根据权利要求6所述的模型训练方法，其特征在于，所述基于所述初始人脸图像，得到所述未遮挡图像，并基于所述初始遮挡图像，得到所述遮挡图像，包括：
基于所述初始人脸图像的第一指定关键点和预设的第一标准人脸图像的第一指定关键点，计算所述初始人脸图像的第一仿射矩阵；
根据所述第一仿射矩阵，对所述初始人脸图像进行裁剪，得到所述未遮挡图像；
基于所述初始遮挡图像的第二指定关键点和预设的第二标准人脸图像的第二指定关键点，计算所述初始遮挡图像的第二仿射矩阵；
根据所述第二仿射矩阵，对所述初始遮挡图像进行裁剪，得到所述遮挡图像。
8.根据权利要求6所述的模型训练方法，其特征在于，所述根据所述模拟遮挡物的颜色值，调整所述初始人脸图像的颜色值，得到初始遮挡图像，包括：
确定所述初始人脸图像中被覆盖的关键点；
将所述被覆盖的关键点的颜色值调整为所述模拟遮挡物的颜色值，得到所述初始遮挡图像。
9.一种电子设备，其特征在于，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至8中任一项所述的模型训练方法。
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1至8中任一项所述的模型训练方法。
CN202110964796.2A 2021-08-23 2021-08-23 模型训练方法、电子设备及计算机可读存储介质 Active CN113420731B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110964796.2A CN113420731B (zh) 2021-08-23 2021-08-23 模型训练方法、电子设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110964796.2A CN113420731B (zh) 2021-08-23 2021-08-23 模型训练方法、电子设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN113420731A true CN113420731A (zh) 2021-09-21
CN113420731B CN113420731B (zh) 2021-11-16

Family

ID=77719057

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110964796.2A Active CN113420731B (zh) 2021-08-23 2021-08-23 模型训练方法、电子设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113420731B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113947803A (zh) * 2021-12-22 2022-01-18 北京的卢深视科技有限公司 模型训练、用于人脸识别的样本数据生成方法及电子设备
CN113963428A (zh) * 2021-12-23 2022-01-21 北京的卢深视科技有限公司 模型训练方法、遮挡检测方法、系统、电子设备及介质
CN113963183A (zh) * 2021-12-22 2022-01-21 北京的卢深视科技有限公司 模型训练、人脸识别方法、电子设备及存储介质
CN114550235A (zh) * 2022-01-17 2022-05-27 合肥的卢深视科技有限公司 姿态角检测方法、系统、电子设备及存储介质
CN114937300A (zh) * 2022-05-20 2022-08-23 北京数美时代科技有限公司 一种遮挡人脸识别方法和系统
CN115527254A (zh) * 2022-09-21 2022-12-27 北京的卢深视科技有限公司 人脸识别、模型训练方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210097387A1 (en) * 2019-09-26 2021-04-01 Naver Corporation Semi-Supervised Variational Autoencoder for Indoor Localization
CN112990052A (zh) * 2021-03-28 2021-06-18 南京理工大学 基于人脸修复的部分遮挡人脸识别方法及装置
CN113221732A (zh) * 2021-05-10 2021-08-06 精点视界(深圳)科技有限公司 基于人脸识别的大数据精准制作智能证卡的实现方法
CN113239907A (zh) * 2021-07-12 2021-08-10 北京远鉴信息技术有限公司 一种人脸识别的检测方法、装置、电子设备及存储介质
CN113269137A (zh) * 2021-06-18 2021-08-17 常州信息职业技术学院 一种结合PCANet和遮挡定位的非配合人脸识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210097387A1 (en) * 2019-09-26 2021-04-01 Naver Corporation Semi-Supervised Variational Autoencoder for Indoor Localization
CN112990052A (zh) * 2021-03-28 2021-06-18 南京理工大学 基于人脸修复的部分遮挡人脸识别方法及装置
CN113221732A (zh) * 2021-05-10 2021-08-06 精点视界(深圳)科技有限公司 基于人脸识别的大数据精准制作智能证卡的实现方法
CN113269137A (zh) * 2021-06-18 2021-08-17 常州信息职业技术学院 一种结合PCANet和遮挡定位的非配合人脸识别方法
CN113239907A (zh) * 2021-07-12 2021-08-10 北京远鉴信息技术有限公司 一种人脸识别的检测方法、装置、电子设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
FEIFEI DING 等: ""Masked Face Recognition with Latent Part Detection"", 《MM "20: PROCEEDINGS OF THE 28TH ACM INTERNATIONAL CONFERENCE ON MULTIMEDIA》 *
董艳花 等: ""有遮挡人脸识别方法综述"", 《计算机工程与应用》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113947803A (zh) * 2021-12-22 2022-01-18 北京的卢深视科技有限公司 模型训练、用于人脸识别的样本数据生成方法及电子设备
CN113963183A (zh) * 2021-12-22 2022-01-21 北京的卢深视科技有限公司 模型训练、人脸识别方法、电子设备及存储介质
CN113947803B (zh) * 2021-12-22 2022-03-25 北京的卢深视科技有限公司 模型训练、用于人脸识别的样本数据生成方法及电子设备
CN113963183B (zh) * 2021-12-22 2022-05-31 合肥的卢深视科技有限公司 模型训练、人脸识别方法、电子设备及存储介质
CN113963428A (zh) * 2021-12-23 2022-01-21 北京的卢深视科技有限公司 模型训练方法、遮挡检测方法、系统、电子设备及介质
CN114550235A (zh) * 2022-01-17 2022-05-27 合肥的卢深视科技有限公司 姿态角检测方法、系统、电子设备及存储介质
CN114937300A (zh) * 2022-05-20 2022-08-23 北京数美时代科技有限公司 一种遮挡人脸识别方法和系统
CN115527254A (zh) * 2022-09-21 2022-12-27 北京的卢深视科技有限公司 人脸识别、模型训练方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN113420731B (zh) 2021-11-16

Similar Documents

Publication Publication Date Title
CN113420731B (zh) 模型训练方法、电子设备及计算机可读存储介质
US20190102603A1 (en) Method and apparatus for determining image quality
CN110728330A (zh) 基于人工智能的对象识别方法、装置、设备及存储介质
US11501563B2 (en) Image processing method and system
CN111444881A (zh) 伪造人脸视频检测方法和装置
KR102400609B1 (ko) 딥러닝 네트워크를 이용한 배경 및 얼굴 합성 방법 및 장치
CN111340013B (zh) 人脸识别方法、装置、计算机设备及存储介质
CN113449704B (zh) 人脸识别模型训练方法、装置、电子设备及存储介质
CN111914748B (zh) 人脸识别方法、装置、电子设备及计算机可读存储介质
CN112149500B (zh) 一种部分遮挡的人脸识别小样本学习方法
CN111931628B (zh) 人脸识别模型的训练方法、装置及相关设备
CN107832721A (zh) 用于输出信息的方法和装置
CN114333011B (zh) 网络训练、人脸识别方法、电子设备及存储介质
CN115798056A (zh) 人脸对抗样本生成方法、装置、系统及存储介质
CN115147261A (zh) 图像处理方法、装置、存储介质、设备及产品
CN113642479B (zh) 人脸图像的评价方法、装置、电子设备及存储介质
CN109670285A (zh) 面部识别登陆方法、装置、计算机设备及存储介质
CN116978061A (zh) 一种基于多特征融合的遮挡行人再识别方法
CN113033305A (zh) 活体检测方法、装置、终端设备和存储介质
CN110675312A (zh) 图像数据处理方法、装置、计算机设备以及存储介质
CN114549921B (zh) 目标识别方法、电子设备及计算机可读存储介质
CN115410257A (zh) 图像保护方法及相关设备
CN115115910A (zh) 图像处理模型的训练方法、使用方法、装置、设备及介质
CN115131858A (zh) 模型训练方法、人脸识别方法、电子设备及存储介质
CN115035562A (zh) 一种基于FaceNet改进的口罩遮挡下的人脸识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20210921

Assignee: Anhui Xingtai Financial Leasing Co.,Ltd.

Assignor: Hefei lushenshi Technology Co.,Ltd.

Contract record no.: X2022980006062

Denomination of invention: Model training method, electronic equipment and computer readable storage medium

Granted publication date: 20211116

License type: Exclusive License

Record date: 20220523

PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Model training method, electronic equipment and computer readable storage medium

Effective date of registration: 20220525

Granted publication date: 20211116

Pledgee: Anhui Xingtai Financial Leasing Co.,Ltd.

Pledgor: Hefei lushenshi Technology Co.,Ltd.

Registration number: Y2022980006214

PC01 Cancellation of the registration of the contract for pledge of patent right
PC01 Cancellation of the registration of the contract for pledge of patent right

Date of cancellation: 20230719

Granted publication date: 20211116

Pledgee: Anhui Xingtai Financial Leasing Co.,Ltd.

Pledgor: Hefei lushenshi Technology Co.,Ltd.

Registration number: Y2022980006214

EC01 Cancellation of recordation of patent licensing contract
EC01 Cancellation of recordation of patent licensing contract

Assignee: Anhui Xingtai Financial Leasing Co.,Ltd.

Assignor: Hefei lushenshi Technology Co.,Ltd.

Contract record no.: X2022980006062

Date of cancellation: 20230720

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230807

Address after: 230091 room 611-217, R & D center building, China (Hefei) international intelligent voice Industrial Park, 3333 Xiyou Road, high tech Zone, Hefei, Anhui Province

Patentee after: Hefei lushenshi Technology Co.,Ltd.

Address before: 100083 room 3032, North B, bungalow, building 2, A5 Xueyuan Road, Haidian District, Beijing

Patentee before: BEIJING DILUSENSE TECHNOLOGY CO.,LTD.

Patentee before: Hefei lushenshi Technology Co.,Ltd.