CN113963428A - 模型训练方法、遮挡检测方法、系统、电子设备及介质 - Google Patents

模型训练方法、遮挡检测方法、系统、电子设备及介质 Download PDF

Info

Publication number
CN113963428A
CN113963428A CN202111584655.4A CN202111584655A CN113963428A CN 113963428 A CN113963428 A CN 113963428A CN 202111584655 A CN202111584655 A CN 202111584655A CN 113963428 A CN113963428 A CN 113963428A
Authority
CN
China
Prior art keywords
face
training
shielding
occlusion
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111584655.4A
Other languages
English (en)
Other versions
CN113963428B (zh
Inventor
颜茂春
户磊
朱海涛
付贤强
何武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Dilusense Technology Co Ltd
Original Assignee
Beijing Dilusense Technology Co Ltd
Hefei Dilusense Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dilusense Technology Co Ltd, Hefei Dilusense Technology Co Ltd filed Critical Beijing Dilusense Technology Co Ltd
Priority to CN202111584655.4A priority Critical patent/CN113963428B/zh
Publication of CN113963428A publication Critical patent/CN113963428A/zh
Application granted granted Critical
Publication of CN113963428B publication Critical patent/CN113963428B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Abstract

本申请实施例涉及数据处理领域,公开了一种模型训练方法、遮挡检测方法、系统、电子设备及介质。上述模型训练方法包括:获取训练数据集,训练数据集包含各人脸训练图像和各人脸训练图像对应的各遮挡标签,各遮挡标签包含各人脸训练图像中各指定区域的遮挡状态;将各人脸训练图像输入预训练模型中进行处理,获取各人脸训练图像的各预测遮挡标签,各预测遮挡标签包含各人脸训练图像中各指定区域的预测遮挡状态;基于各遮挡标签和各预测遮挡标签构建的损失函数对预训练模型进行训练,生成人脸遮挡检测模型。从而降低人脸遮挡检测模型的计算量和模型复杂度以及提升计算速度,使得人脸遮挡检测模型可以部署在低成本、低算力的嵌入式设备上。

Description

模型训练方法、遮挡检测方法、系统、电子设备及介质
技术领域
本申请实施例涉及数据处理技术领域,特别涉及一种模型训练方法、遮挡检测方法、系统、电子设备及介质。
背景技术
人脸质量评价对于人脸识别的整个过程有着极大的作用,通过滤除质量较差的人脸图像,可以明显提升人脸识别的准确率。在人脸质量评价过程中,人脸遮挡区域、遮挡比例的识别判断非常重要的环节。
目前基于人脸关键点及五官来判断人脸是否被遮挡。常用的方法是设定密集的覆盖人脸的关键点来区分五官,每个关键点有相应的二维坐标值,同时通过预测每一个关键点是否被遮挡,进而综合预测五官及人脸遮挡比例。类似的方法,在准确率上确实也能满足人脸质量评价的需求,但对于低成本、低算力的嵌入式设备来说,要么因模型太大而无法部署,要么因模型的计算量大、耗时极长而无法部署,使得人脸识别整体体验降低或成本过高难以落地部署。
发明内容
本申请实施例的目的在于提供一种模型训练方法、遮挡检测方法、系统、电子设备及介质,使得降低人脸遮挡检测模型的计算量和模型复杂度以及提升计算速度,从而可以部署在低成本、低算力的嵌入式设备上。
为解决上述技术问题,本申请的实施例提供了一种模型训练方法,包括:获取训练数据集,所述训练数据集包含各人脸训练图像和各所述人脸训练图像对应的各遮挡标签,各所述遮挡标签包含各所述人脸训练图像中各指定区域的遮挡状态;将各所述人脸训练图像输入预训练模型中进行处理,获取各所述人脸训练图像的各预测遮挡标签,各所述预测遮挡标签包含各所述人脸训练图像中各所述指定区域的预测遮挡状态;基于各所述遮挡标签和各所述预测遮挡标签构建的损失函数对所述预训练模型进行训练,生成人脸遮挡检测模型。
本申请的实施例还提供了一种遮挡检测方法,包括:获取待检测的人脸图像;采用如上所述的模型训练方法训练得到的人脸遮挡检测模型对所述人脸图像进行检测,获取所述人脸图像的遮挡标签,所述遮挡标签包含所述人脸图像中各指定区域的遮挡状态;根据所述遮挡标签获取所述人脸图像的遮挡情况。
本申请的实施例还提供了一种模型训练系统,包括:第一获取模块、第二获取模块和训练模块;所述第一获取模块,用于获取训练数据集,所述训练数据集包含各人脸训练图像和各所述人脸训练图像对应的各遮挡标签,各所述遮挡标签包含各所述人脸训练图像中各指定区域的遮挡状态;所述第二获取模块,用于将各所述人脸训练图像输入预训练模型中进行处理,获取各所述人脸训练图像的各预测遮挡标签,各所述预测遮挡标签包含各所述人脸训练图像中各所述指定区域的预测遮挡状态;所述训练模块,用于基于各所述遮挡标签和各所述预测遮挡标签构建的损失函数对所述预训练模型进行训练,生成人脸遮挡检测模型。
本申请的实施例还提供了一种遮挡检测系统,包括:第一获取模块、上述的人脸遮挡检测模型和第二获取模块;所述第一获取模块,用于获取待检测的人脸图像;所述人脸遮挡检测模型,用于对所述人脸图像进行检测,获取所述人脸图像的遮挡标签,所述遮挡标签包含所述人脸图像中各指定区域的遮挡状态;所述第二获取模块,用于根据所述遮挡标签获取所述人脸图像的遮挡情况。
本申请的实施例还提供了一种电子设备,包括:至少一个处理器;以及,与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述模型训练方法或遮挡检测方法。
本申请的实施例还提供了一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时实现上述模型训练方法或遮挡检测方法。
本申请实施例中,在模型训练过程中,获取训练数据集,所述训练数据集包含各人脸训练图像和各所述人脸训练图像对应的各遮挡标签,各所述遮挡标签包含各所述人脸训练图像中各指定区域的遮挡状态;将各所述人脸训练图像输入预训练模型中进行处理,获取各所述人脸训练图像的各预测遮挡标签,各所述预测遮挡标签包含各所述人脸训练图像中各所述指定区域的预测遮挡状态;基于各所述遮挡标签和各所述预测遮挡标签构建的损失函数对所述预训练模型进行训练,生成人脸遮挡检测模型。使得本申请只预测指定区域的遮挡状态,无需进行关键点检测和或区域检测等任务,在模型训练过程中能够自行学习到区域状态与预测区域位置的对应关系;从而降低了人脸遮挡检测模型的计算量和模型复杂度,提升了模型计算速度,使得人脸遮挡检测模型可以部署在低成本、低算力的嵌入式设备上,解决了由于现有模型的高计算量、高存储量和高耗时所导致的现有模型无法部署在嵌入式设备上,使得人脸识别整体体验降低或成本过高难以落地部署的技术问题。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明,这些示例性说明并不构成对实施例的限定。
图1是本申请实施例提供的模型训练方法的流程图;
图2是本申请实施例提供的人脸图像上各指定区域的示意图;
图3是本申请实施例提供的第一卷积处理的流程示意图;
图4是本申请实施例提供的第二卷积处理的流程示意图;
图5是本申请实施例提供的模型训练方法的流程图;
图6是本申请实施例提供的遮挡检测方法的流程图;
图7是本申请实施例提供的模型训练系统的结构示意图;
图8是本申请实施例提供的遮挡检测系统的结构示意图;
图9是本申请实施例提供的电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合附图对本申请的各实施例进行详细的阐述。然而,本领域的普通技术人员可以理解,在本申请各实施例中,为了使读者更好地理解本申请而提出了许多技术细节。但是,即使没有这些技术细节和基于以下各实施例的种种变化和修改,也可以实现本申请所要求保护的技术方案。以下各个实施例的划分是为了描述方便,不应对本申请的具体实现方式构成任何限定,各个实施例在不矛盾的前提下可以相互结合相互引用。
本申请的实施例涉及一种模型训练方法,如图1所示,具体包括以下步骤。
步骤101,获取训练数据集,训练数据集包含各人脸训练图像和各人脸训练图像对应的各遮挡标签,各遮挡标签包含各人脸训练图像中各指定区域的遮挡状态。
在一实施中,训练数据集中包含大量的人脸训练图像(可以是2万张人脸训练图像),人脸训练图像是经过标注的人脸遮挡图像,图像遮挡样例可以是墨镜、围巾、手机、手部、发梢和或书本等,训练数据集中还包括各人脸训练图像的遮挡标签,遮挡标签包含的是人脸训练图像中各指定区域的遮挡状态,如图2所示,人脸训练图像上的指定区域可以是区域1至区域20,在获取遮挡标签时,只需要各指定区域的顺序位置,依次获取各指定区域的遮挡状态,各指定区域的遮挡状态可以用0或1表示,0表示未遮挡,1表示遮挡;最终所生成的遮挡标签可以为00100000010000000110,表示区域3、区域10、区域18和区域19为遮挡,其余区域为未遮挡;所生产的遮挡标签是根据区域的排序生成的,遮挡标签中的每个数据并不关注区域的区域位置,只关注该区域是遮挡1还是未遮挡0。
步骤102,将各人脸训练图像输入预训练模型中进行处理,获取各人脸训练图像的各预测遮挡标签,各预测遮挡标签包含各人脸训练图像中各指定区域的预测遮挡状态。
在一实施中,预训练模型包括卷积与最大池化模块、第一深度可分离卷积模块、第二深度可分离卷积模块、卷积与平均池化模块和全连接模块;其中,第一深度可分离卷积模块包含a次第一卷积处理和b次第二卷积处理,第二深度可分离包含c次第一卷积处理和d次第二卷积处理,a、b、c和d均为大于1的正整数。
在一实施中,卷积与最大池化模块用于对人脸训练图像依次进行卷积处理(卷积核大小优选为3*3*24)和最大池化处理(步长优先为2);第一深度可分离卷积模块用于对卷积与最大池化模块输出的特征图进行a次第一卷积处理和b次第二卷积处理(a值和b值优选为1);第二深度可分离卷积模块用于对第一深度可分离卷积模块输出的特征图进行c次第一卷积处理和d次第二卷积处理(c值优选为1,d值优先为3);卷积与平均池化模块用于对第二深度可分离卷积模块输出的特征图依次进行卷积处理(卷积核优选为1*1*128)和平均池化处理;全连接模块用于对卷积与平均池化模块输出的特征图进行全连接处理,并结合激活函数对全连接处理之后的特征进行归一化处理,生成最终的预测遮挡标签;其中,以输入图像的大小为112*112*3为例说明预训练模型的各模块的示例参数:(1)卷积与最大池化模块中的卷积处理的卷积核大小为3*3*24、步长为2和输出大小为56*56*24,最大池化处理的卷积核大小为3*3*24、步长为2和输出大小为28*28*24;(2)第一深度可分离卷积模块的第一卷积处理的步长为2和输出大小为14*14*24,第二卷积处理的步长为1和输出大小为14*14*48;(3)第二深度可分离卷积模块的第一卷积处理的步长为2和输出大小为7*7*48,第二卷积处理的步长为1和输出大小为7*7*96;(4)卷积与平均池化模块中的卷积处理的卷积核大小为1*1*128、步长为1和输出大小为7*7*128,平均池化处理的卷积核大小为7*7*128和输出大小为1*1*128;(5)全连接模块的输出为与各指定区域数量相同的数组。
在一实施中,第一深度可分离卷积模块和第二深度可分离卷积模块第一卷积处理的处理过程大致相同,只是输入数据存在一定的差异,图3为第一卷积处理的流程示意图,第一卷积处理的流程包括:对输入图像进行深度可分离卷积处理,生成第一特征图;对输入图像先进行卷积处理后进行深度可分离卷积处理,生成第二特征图;对第一特征图和第二特征图进行拼接,生成第一拼接特征图;对第一拼接特征图进行图像通道乱序,生成第三卷积特征图;其中,拼接是指将两张特征图在第四个维度上进行拼接,拼接实际上是将两个特征图侧边缘连接起来。
在一实施中,第一深度可分离卷积模块和第二深度可分离卷积模块第二卷积处理的处理过程大致相同,只是输入数据存在一定的差异,图4为第二卷积处理的流程示意图,第二卷积处理的流程包括:根据预设的拆分规则对第三卷积特征图进行拆分,生成第三特征图和第四特征图;对第四特征图先进行卷积处理后进行深度可分离卷积处理,生成第五特征图;对第三特征图和第五特征图进行拼接,生成第二拼接特征图;对第二拼接特征图进行图像通道乱序,生成第四卷积特征图;其中,对第一卷积处理之后的第一拼接特征图进行拆分时可以根据第一拼接特征图的最后一个维度进行拆分。
步骤103,基于各遮挡标签和各预测遮挡标签构建的损失函数对预训练模型进行训练,生成人脸遮挡检测模型。
在一实施中,所构建损失函数为L=(1/N)*∑-[Yi*log(Pi)+(1-Yi)*log(1-Pi)]其中,L为损失函数的值,N为各人脸训练图像的数量,Yi为各遮挡标签的值,Pi为各预测遮挡标签的值,i为1至A之间的正整数,A为各指定区域的数量。
在一实施中,在获取到损失函数的损失值后,当损失值过大时,采用梯度下降方法不断迭代模型参数,进行下一轮的模型训练,直至损失函数的值满足要求。
本申请实施例,在模型训练过程中,获取训练数据集,训练数据集包含各人脸训练图像和各人脸训练图像对应的各遮挡标签,各遮挡标签包含各人脸训练图像中各指定区域的遮挡状态;将各人脸训练图像输入预训练模型中进行处理,获取各人脸训练图像的各预测遮挡标签,各预测遮挡标签包含各人脸训练图像中各指定区域的预测遮挡状态;基于各遮挡标签和各预测遮挡标签构建的损失函数对预训练模型进行训练,生成人脸遮挡检测模型。使得本申请只预测指定区域的遮挡状态,无需进行关键点检测和或区域检测等任务,在模型训练过程中能够自行学习到区域状态与预测区域位置的对应关系;从而降低了人脸遮挡检测模型的计算量和模型复杂度,提升了模型计算速度,使得人脸遮挡检测模型可以部署在低成本、低算力的嵌入式设备上,解决了由于现有模型的高计算量、高存储量和高耗时所导致的现有模型无法部署在嵌入式设备上,使得人脸识别整体体验降低或成本过高难以落地部署的技术问题。
本申请的实施例涉及一种模型训练方法,如图5所示,具体包括以下步骤。
步骤201,获取训练数据集,训练数据集包含各人脸训练图像和各人脸训练图像对应的各遮挡标签,各遮挡标签包含各人脸训练图像中各指定区域的遮挡状态。
在一实施中,本步骤与本申请实施例的步骤101大致相同,此处不一一赘述。
步骤202,将各人脸训练图像输入预训练模型中进行处理,获取各人脸训练图像的各预测遮挡标签,各预测遮挡标签包含各人脸训练图像中各指定区域的预测遮挡状态。
在一实施中,本步骤与本申请实施例的步骤102大致相同,此处不一一赘述。
步骤203,基于各遮挡标签和各预测遮挡标签构建的损失函数对预训练模型进行训练,生成人脸遮挡检测模型。
在一实施中,本步骤与本申请实施例的步骤103大致相同,此处不一一赘述。
步骤204,获取验证数据集,验证数据集包含各人脸验证图像和各人脸验证图像对应的各验证遮挡标签。
在一实施中,所获取的验证数据集的整体样式与训练数据集的样式大致相同,也可以说验证数据集是训练数据集的一部分数据;验证数据集和训练数据集中的人脸图像的类型也不受限制,可以是红外图像、灰度图、RGB彩色图像或者深度图等等。
步骤205,将各人脸验证图像输入人脸遮挡检测模型中进行处理,获取各人脸验证图像的各预测验证遮挡标签。
在一实施中,人脸遮挡检测模型的处理流程与步骤102提及的预训练模型的处理步骤相同,处理之后便可以获取到各人脸验证图像的各预测验证遮挡标签。
步骤206,基于损失函数,根据各验证遮挡标签和各预测验证遮挡标签获取人脸遮挡检测模型的验证损失值。
在一实施中,基于损失函数L=(1/N)*∑-[Yi*log(Pi)+(1-Yi)*log(1-Pi)]获取各人脸验证图像的各预测验证遮挡标签与各人脸验证图像的各验证遮挡标签之间的验证损失值。
步骤207,检测验证损失值是否满足预设验证条件。
在一实施中,预设的验证条件可以为是否与模型训练时所获取的损失值间的差距小于预设阈值;当验证损失值满足验证条件时,执行步骤208;当验证损失值不满足验证条件时,执行步骤209。
步骤208,保存人脸遮挡检测模型。
在一实施中,当验证损失值满足验证条件时,说明此时的人脸遮挡检测模型的精度已满足一定的条件,人脸遮挡检测模型不需要在进行训练,可以将人脸遮挡检测模型保存下来,并投入实际使用中。
步骤209,对训练数据集进行数据增广处理,并使用增广处理后的训练数据集对人脸遮挡检测模型进行训练。
在一实施中,当验证损失值不满足验证条件时,则说明此时的人脸遮挡检测模型的精度较差,还需要继续进行训练,此时可以获取新的训练数据集,也可以对原有的训练数据集进行数据增广处理,使用数据增广处理后的训练数据集对人脸遮挡检测模型继续进行训练。
在一实施中,所采用的数据增广方式,可以包括:(1)在生成训练数据送入模型训练前,将人脸图像顺时针随机旋转区间[-15,15]内的一个角度。因遮挡标签与图像旋转角度无关,而无需修改标签值;(2)随机调整训练前数据的亮度、对比度、色相,是一个样本有更多的表现形式,达到丰富训练样本的目的;(3)使用常见的遮挡物(手部、手机、围巾、胡须、发梢、书本等)制作成带透明度的干扰贴图,在训练前的图像样本随机贴在任意位置,然后遍历关键区域的透明度,判断指定区域内是否发生新的遮挡状态改变,修改遮挡标签即可。以此,可以获得多样化的遮挡状态的训练样本。
本申请实施例,在其他实施例的基础上还可以利用验证数据集对生成的人脸遮挡检测模型进行验证,只有在验证通过的情况下,才会将人脸遮挡检测模型保存并投入使用;否则会对人脸遮挡检测模型再进行训练,直至人脸遮挡检测模型达到未过拟合。
本申请的实施例涉及一种遮挡检测方法,如图6所示,具体包括以下步骤。
步骤301,获取待检测的人脸图像。
在一实施中,待检测的人脸图像的获取方式不受限制,可以是采用拍摄装置拍摄获取的,也可以是通过互联网等方式获取的;人脸图像的类型也不受限制,可以是红外图像、灰度图、RGB彩色图像或者深度图等等。
步骤302,采用上述模型训练方法训练得到的人脸遮挡检测模型对人脸图像进行检测,获取人脸图像的遮挡标签,遮挡标签包含人脸图像中各指定区域的遮挡状态。
在一实施中,人脸遮挡检测模型的处理流程与步骤102提及的预训练模型的处理步骤相同,处理之后便可以获取到人脸图像的遮挡标签。
步骤303,根据遮挡标签获取人脸图像的遮挡情况。
在一实施中,所获取的遮挡情况包括遮挡部位和遮挡状况两部分;遮挡状况在确定时可以根据遮挡标签中遮挡状态为遮挡的遮挡状态的数量和遮挡标签中遮挡状态为未遮挡的遮挡状态的数量的比值来确定,当比值满足预设阈值时,确定人脸图像的遮挡状况为遮挡,反之,则为未遮挡;之后可以根据遮挡状态为遮挡的遮挡状态对应的指定区域的区域位置确定人脸图像的遮挡部位。遮挡标签中的各遮挡状态是按区域顺序存放的,因此可以根据顺序确定出遮挡状态为遮挡的遮挡状态对应的指定区域,从而获取到对应的遮挡部位;如待检测的人脸图像的遮挡标签为11111111111100000000,遮挡状态为遮挡的为12个,未遮挡为8个,比值为12/8=1.5,若阈值为0.5,则确定待检测的人脸图像的遮挡状况为遮挡,遮挡状态为遮挡的为区域1至区域12,根据在确定区域顺序时,根据图2所示的区域位置,则说明待检测的人脸图像的遮挡部位为眉毛和眼镜。
本申请实施例,在人脸遮挡检测过程中,采用训练好的人脸遮挡检测模型对指定区域的遮挡状态,无需进行关键点检测和或区域检测等任务;从而降低了人脸遮挡检测模型的计算量和模型复杂度,提升了模型计算速度,使得人脸遮挡检测模型可以部署在低成本、低算力的嵌入式设备上。
上面各种方法的步骤划分,只是为了描述清楚,实现时可以合并为一个步骤或者对某些步骤进行拆分,分解为多个步骤,只要包括相同的逻辑关系,都在本专利的保护范围内;对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计,但不改变其算法和流程的核心设计都在该专利的保护范围内。
本申请的实施例涉及一种模型训练系统,其特征在于,下面对本实施例的模型训练系统的细节进行具体的说明,以下内容仅为方便理解提供的实现细节,并非实施本例的必须,图7是本实施例的模型训练系统的示意图,包括:第一获取模块401、第二获取模块402和训练模块403。
其中,第一获取模块401,用于获取训练数据集,训练数据集包含各人脸训练图像和各人脸训练图像对应的各遮挡标签,各遮挡标签包含各人脸训练图像中各指定区域的遮挡状态。
第二获取模块402,用于将各人脸训练图像输入预训练模型中进行处理,获取各人脸训练图像的各预测遮挡标签,各预测遮挡标签包含各人脸训练图像中各指定区域的预测遮挡状态。
训练模块403,用于基于各遮挡标签和各预测遮挡标签构建的损失函数对预训练模型进行训练,生成人脸遮挡检测模型。
本申请的实施例涉及一种遮挡检测系统,其特征在于,下面对本实施例的遮挡检测系统的细节进行具体的说明,以下内容仅为方便理解提供的实现细节,并非实施本例的必须,图8是本实施例的遮挡检测系统的示意图,包括:第一获取模块501、上述方法实施例中提及的人脸遮挡检测模型502和第二获取模块503。
其中,第一获取模块501,用于获取待检测的人脸图像。
人脸遮挡检测模型502,用于对人脸图像进行检测,获取人脸图像的遮挡标签,遮挡标签包含人脸图像中各指定区域的遮挡状态。
第二获取模块503,用于根据遮挡标签获取人脸图像的遮挡情况。
不难发现,本实施例为与上述方法实施例对应的系统实施例,本实施例可以与上述方法实施例互相配合实施。上述实施例中提到的相关技术细节和技术效果在本实施例中依然有效,为了减少重复,这里不再赘述。相应地,本实施例中提到的相关技术细节也可应用在上述实施例中。
本申请实施例涉及一种服务器,如图9所示,包括:至少一个处理器601 ;以及,与所述至少一个处理器601通信连接的存储器602;其中,所述存储器602存储有可被所述至少一个处理器601执行的指令,所述指令被所述至少一个处理器601执行,以使所述至少一个处理器601能够执行上述各实施例中的模型训练方法或遮挡检测方法。
其中,存储器和处理器采用总线方式连接,总线可以包括任意数量的互联的总线和桥,总线将一个或多个处理器和存储器的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起,这些都是本领域所公知的,因此,本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件,也可以是多个元件,比如多个接收器和发送器,提供用于在传输介质上与各种其他装置通信的单元。经处理器处理的数据通过天线在无线介质上进行传输,进一步,天线还接收数据并将数据传送给处理器。
处理器负责管理总线和通常的处理,还可以提供各种功能,包括定时,外围接口,电压调节、电源管理以及其他控制功能。而存储器可以被用于存储处理器在执行操作时所使用的数据。
本申请实施例涉及一种计算机可读存储介质,存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。
即,本领域技术人员可以理解,实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解,上述各实施例是实现本申请的具体实施例,而在实际应用中,可以在形式上和细节上对其作各种改变,而不偏离本申请的精神和范围。

Claims (13)

1.一种模型训练方法,其特征在于,所述方法包括:
获取训练数据集,所述训练数据集包含各人脸训练图像和各所述人脸训练图像对应的各遮挡标签,各所述遮挡标签包含各所述人脸训练图像中各指定区域的遮挡状态;
将各所述人脸训练图像输入预训练模型中进行处理,获取各所述人脸训练图像的各预测遮挡标签,各所述预测遮挡标签包含各所述人脸训练图像中各所述指定区域的预测遮挡状态;
基于各所述遮挡标签和各所述预测遮挡标签构建的损失函数对所述预训练模型进行训练,生成人脸遮挡检测模型。
2.根据权利要求1所述的模型训练方法,其特征在于,所述预训练模型包括卷积与最大池化模块、第一深度可分离卷积模块、第二深度可分离卷积模块、卷积与平均池化模块和全连接模块;其中,所述第一深度可分离卷积模块包含a次第一卷积处理和b次第二卷积处理,所述第二深度可分离模块包含c次所述第一卷积处理和d次所述第二卷积处理,a、b、c和d均为大于1的正整数。
3.根据权利要求2所述的模型训练方法,其特征在于,所述第一卷积处理的处理过程,具体包括:
对输入图像进行深度可分离卷积处理,生成第一特征图;
对所述输入图像先进行卷积处理后进行所述深度可分离卷积处理,生成第二特征图;
对所述第一特征图和所述第二特征图进行拼接,生成第一拼接特征图;
对所述第一拼接特征图进行图像通道乱序,生成第三卷积特征图。
4.根据权利要求3所述的模型训练方法,其特征在于,所述第二卷积处理的处理过程,具体包括:
根据预设的拆分规则对所述第三卷积特征图进行拆分,生成第三特征图和第四特征图;
对所述第四特征图先进行所述卷积处理后进行所述深度可分离卷积处理,生成第五特征图;
对所述第三特征图和所述第五特征图进行拼接,生成第二拼接特征图;
对所述第二拼接特征图进行所述图像通道乱序,生成第四卷积特征图。
5.根据权利要求1至权利要求4中任一项所述的模型训练方法,其特征在于,在所述基于各所述遮挡标签和各所述预测遮挡标签构建的损失函数对所述预训练模型进行训练,生成人脸遮挡检测模型,之后包括:
获取验证数据集,所述验证数据集包含各人脸验证图像和各所述人脸验证图像对应的各验证遮挡标签;
将各所述人脸验证图像输入所述人脸遮挡检测模型中进行处理,获取各所述人脸验证图像的各预测验证遮挡标签;
基于所述损失函数,根据各所述验证遮挡标签和各所述预测验证遮挡标签获取所述人脸遮挡检测模型的验证损失值;
当所述验证损失值满足预设验证条件时,则保存所述人脸遮挡检测模型;
当所述验证损失值不满足所述验证条件时,则对所述训练数据集进行数据增广处理,并使用增广处理后的所述训练数据集对所述人脸遮挡检测模型进行训练。
6.根据权利要求1至权利要求4中任一项所述的模型训练方法,其特征在于,所述基于各所述遮挡标签和各所述预测遮挡标签构建的损失函数对所述预训练模型进行训练,包括:
根据如下公式构建所述损失函数:L=(1/N)*∑-[Yi*log(Pi)+(1-Yi)*log(1-Pi)];
其中,L为所述损失函数的值,N为各所述人脸训练图像的数量,Yi为各所述遮挡标签的值,Pi为各所述预测遮挡标签的值,i为1至A之间的正整数,A为各所述指定区域的数量。
7.一种遮挡检测方法,其特征在于,所述方法包括:
获取待检测的人脸图像;
采用如权利要求1至权利要求6中任一项所述的模型训练方法训练得到的人脸遮挡检测模型对所述人脸图像进行检测,获取所述人脸图像的遮挡标签,所述遮挡标签包含所述人脸图像中各指定区域的遮挡状态;
根据所述遮挡标签获取所述人脸图像的遮挡情况。
8.根据权利要求7所述的遮挡检测方法,其特征在于,在所述采用如权利要求1至权利要求6中任一项所述的模型训练方法训练得到的人脸遮挡检测模型对所述人脸图像进行检测,之前包括:对所述人脸图像进行人脸框剪裁处理、尺寸变化处理和归一化处理。
9.根据权利要求7或权利要求8所述的遮挡检测方法,其特征在于,所述遮挡情况包括遮挡部位和遮挡状况;
所述根据所述遮挡标签获取所述人脸图像的遮挡情况,包括:
当所述遮挡标签中所述遮挡状态为遮挡的遮挡状态数量和所述遮挡标签中所述遮挡状态为未遮挡的遮挡状态数量的比值满足预设阈值时,确定所述人脸图像的所述遮挡状况为遮挡,反之,则为未遮挡;
根据所述为遮挡的遮挡状态对应的指定区域确定所述人脸图像的遮挡部位。
10.一种模型训练系统,其特征在于,所述系统包括:第一获取模块、第二获取模块和训练模块;
所述第一获取模块,用于获取训练数据集,所述训练数据集包含各人脸训练图像和各所述人脸训练图像对应的各遮挡标签,各所述遮挡标签包含各所述人脸训练图像中各指定区域的遮挡状态;
所述第二获取模块,用于将各所述人脸训练图像输入预训练模型中进行处理,获取各所述人脸训练图像的各预测遮挡标签,各所述预测遮挡标签包含各所述人脸训练图像中各所述指定区域的预测遮挡状态;
所述训练模块,用于基于各所述遮挡标签和各所述预测遮挡标签构建的损失函数对所述预训练模型进行训练,生成人脸遮挡检测模型。
11.一种遮挡检测系统,其特征在于,所述系统包括:第一获取模块、如权利要求1至权利要求6中任一项所述的人脸遮挡检测模型和第二获取模块;
所述第一获取模块,用于获取待检测的人脸图像;
所述人脸遮挡检测模型,用于对所述人脸图像进行检测,获取所述人脸图像的遮挡标签,所述遮挡标签包含所述人脸图像中各指定区域的遮挡状态;
所述第二获取模块,用于根据所述遮挡标签获取所述人脸图像的遮挡情况。
12.一种电子设备,其特征在于,包括:至少一个处理器;以及,与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1至权利要求6中任一项所述的模型训练方法或权利要求7至权利要求9中任一项所述的遮挡检测方法。
13.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至权利要求6中任一项所述的模型训练方法或权利要求7至权利要求9中任一项所述的遮挡检测方法。
CN202111584655.4A 2021-12-23 2021-12-23 模型训练方法、遮挡检测方法、系统、电子设备及介质 Active CN113963428B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111584655.4A CN113963428B (zh) 2021-12-23 2021-12-23 模型训练方法、遮挡检测方法、系统、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111584655.4A CN113963428B (zh) 2021-12-23 2021-12-23 模型训练方法、遮挡检测方法、系统、电子设备及介质

Publications (2)

Publication Number Publication Date
CN113963428A true CN113963428A (zh) 2022-01-21
CN113963428B CN113963428B (zh) 2022-03-25

Family

ID=79473673

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111584655.4A Active CN113963428B (zh) 2021-12-23 2021-12-23 模型训练方法、遮挡检测方法、系统、电子设备及介质

Country Status (1)

Country Link
CN (1) CN113963428B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117372818A (zh) * 2023-12-06 2024-01-09 深圳须弥云图空间科技有限公司 目标重识别方法及装置

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070199567A1 (en) * 2006-01-25 2007-08-30 Kanzer Steve H Droplet collection devices and methods to detect and control airborne communicable diseases utilizing rfid
CN106372581A (zh) * 2016-08-25 2017-02-01 中国传媒大学 构建及训练人脸识别特征提取网络的方法
CN106485215A (zh) * 2016-09-29 2017-03-08 西交利物浦大学 基于深度卷积神经网络的人脸遮挡检测方法
CN106910176A (zh) * 2017-03-02 2017-06-30 中科视拓(北京)科技有限公司 一种基于深度学习的人脸图像去遮挡方法
CN107292240A (zh) * 2017-05-24 2017-10-24 深圳市深网视界科技有限公司 一种基于人脸与人体识别的找人方法及系统
CN107516083A (zh) * 2017-08-29 2017-12-26 电子科技大学 一种面向识别的远距离人脸图像增强方法
CN108205661A (zh) * 2017-12-27 2018-06-26 浩云科技股份有限公司 一种基于深度学习的atm机异常人脸检测方法
CN108345885A (zh) * 2018-01-18 2018-07-31 浙江大华技术股份有限公司 一种目标遮挡检测的方法及装置
CN109086711A (zh) * 2018-07-27 2018-12-25 华南理工大学 人脸特征分析方法、装置、计算机设备和存储介质
CN111160269A (zh) * 2019-12-30 2020-05-15 广东工业大学 一种人脸关键点检测方法及装置
CN111191616A (zh) * 2020-01-02 2020-05-22 广州织点智能科技有限公司 一种人脸遮挡检测方法、装置、设备及存储介质
CN112016464A (zh) * 2020-08-28 2020-12-01 中移(杭州)信息技术有限公司 检测人脸遮挡的方法、装置、电子设备及存储介质
CN113420731A (zh) * 2021-08-23 2021-09-21 北京的卢深视科技有限公司 模型训练方法、电子设备及计算机可读存储介质

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070199567A1 (en) * 2006-01-25 2007-08-30 Kanzer Steve H Droplet collection devices and methods to detect and control airborne communicable diseases utilizing rfid
CN106372581A (zh) * 2016-08-25 2017-02-01 中国传媒大学 构建及训练人脸识别特征提取网络的方法
CN106485215A (zh) * 2016-09-29 2017-03-08 西交利物浦大学 基于深度卷积神经网络的人脸遮挡检测方法
CN106910176A (zh) * 2017-03-02 2017-06-30 中科视拓(北京)科技有限公司 一种基于深度学习的人脸图像去遮挡方法
CN107292240A (zh) * 2017-05-24 2017-10-24 深圳市深网视界科技有限公司 一种基于人脸与人体识别的找人方法及系统
CN107516083A (zh) * 2017-08-29 2017-12-26 电子科技大学 一种面向识别的远距离人脸图像增强方法
CN108205661A (zh) * 2017-12-27 2018-06-26 浩云科技股份有限公司 一种基于深度学习的atm机异常人脸检测方法
CN108345885A (zh) * 2018-01-18 2018-07-31 浙江大华技术股份有限公司 一种目标遮挡检测的方法及装置
CN109086711A (zh) * 2018-07-27 2018-12-25 华南理工大学 人脸特征分析方法、装置、计算机设备和存储介质
CN111160269A (zh) * 2019-12-30 2020-05-15 广东工业大学 一种人脸关键点检测方法及装置
CN111191616A (zh) * 2020-01-02 2020-05-22 广州织点智能科技有限公司 一种人脸遮挡检测方法、装置、设备及存储介质
CN112016464A (zh) * 2020-08-28 2020-12-01 中移(杭州)信息技术有限公司 检测人脸遮挡的方法、装置、电子设备及存储介质
CN113420731A (zh) * 2021-08-23 2021-09-21 北京的卢深视科技有限公司 模型训练方法、电子设备及计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李阳: "基于深度学习的有遮挡人脸五官定位算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117372818A (zh) * 2023-12-06 2024-01-09 深圳须弥云图空间科技有限公司 目标重识别方法及装置
CN117372818B (zh) * 2023-12-06 2024-04-12 深圳须弥云图空间科技有限公司 目标重识别方法及装置

Also Published As

Publication number Publication date
CN113963428B (zh) 2022-03-25

Similar Documents

Publication Publication Date Title
CN110414526B (zh) 语义分割网络的训练方法、训练装置、服务器和存储介质
JP2019087181A (ja) 画像検査装置および方法
CN110930296B (zh) 图像处理方法、装置、设备及存储介质
DE102019135474A1 (de) Zuordnung und quantifizierung des einflusses von features neuronaler netze für explainable artificial intelligence
CN113743417B (zh) 语义分割方法和语义分割装置
CN110866872B (zh) 一种路面裂缝图片预处理智能选择方法、装置及电子设备
CN111067522A (zh) 大脑成瘾结构图谱评估方法及装置
CN111862040B (zh) 人像图片质量评价方法、装置、设备及存储介质
CN113963428B (zh) 模型训练方法、遮挡检测方法、系统、电子设备及介质
CN112819096A (zh) 一种基于复合卷积神经网络的化石图像分类模型的构建方法
CN110852385B (zh) 图像处理方法、装置、设备和存储介质
CN116050501A (zh) 用于压缩卷积神经网络的系统和方法
CN112257751A (zh) 神经网络剪枝方法
CN110991412A (zh) 人脸识别的方法、装置、存储介质及电子设备
CN112836756B (zh) 图像识别模型训练方法、系统和计算机设备
EP3686809A1 (en) Method and device for transforming cnn layers to optimize cnn parameter quantization to be used for mobile devices or compact networks with high precision via hardware optimization
CN106530286A (zh) 确定清晰度级别的方法及装置
CN111222558A (zh) 图像处理方法及存储介质
CN116740567A (zh) 用于泡桐幼苗栽培的土壤含水率检测方法及系统
CN114998172A (zh) 图像处理方法及相关系统
CN115578624A (zh) 农业病虫害模型构建方法、检测方法及装置
CN114926876A (zh) 图像关键点检测方法、装置、计算机设备和存储介质
CN117693754A (zh) 训练用于图像修复的经掩模的自动编码器
CN114004974A (zh) 对弱光环境下拍摄的图像的优化方法及装置
CN110135413B (zh) 一种字符识别图像的生成方法、电子设备和可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230322

Address after: 230091 room 611-217, R & D center building, China (Hefei) international intelligent voice Industrial Park, 3333 Xiyou Road, high tech Zone, Hefei, Anhui Province

Patentee after: Hefei lushenshi Technology Co.,Ltd.

Address before: 100083 room 3032, North B, bungalow, building 2, A5 Xueyuan Road, Haidian District, Beijing

Patentee before: BEIJING DILUSENSE TECHNOLOGY CO.,LTD.

Patentee before: Hefei lushenshi Technology Co.,Ltd.

TR01 Transfer of patent right