CN115116122A - 一种基于双分支协同监督的口罩识别方法和系统 - Google Patents

一种基于双分支协同监督的口罩识别方法和系统 Download PDF

Info

Publication number
CN115116122A
CN115116122A CN202211045278.1A CN202211045278A CN115116122A CN 115116122 A CN115116122 A CN 115116122A CN 202211045278 A CN202211045278 A CN 202211045278A CN 115116122 A CN115116122 A CN 115116122A
Authority
CN
China
Prior art keywords
mask
branch
loss function
component
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211045278.1A
Other languages
English (en)
Other versions
CN115116122B (zh
Inventor
李来
王东
陈白洁
宋鸿飞
何昊驰
张江峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Moredian Technology Co ltd
Original Assignee
Hangzhou Moredian Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Moredian Technology Co ltd filed Critical Hangzhou Moredian Technology Co ltd
Priority to CN202211045278.1A priority Critical patent/CN115116122B/zh
Publication of CN115116122A publication Critical patent/CN115116122A/zh
Application granted granted Critical
Publication of CN115116122B publication Critical patent/CN115116122B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Abstract

本申请涉及一种基于双分支协同监督的口罩识别方法和系统，其中，该方法包括：基于新型的视野混合注意力模块，构建包含基础网络、辅助分支和部件分割分支的口罩识别模型；创建第一损失函数、第二损失函数和协同监督惩罚函数，进而得到口罩识别模型的目标损失函数；基于目标损失函数反向传播更新模型参数；将训练好的口罩识别模型部署在设备中进行口罩佩戴情况的识别，口罩佩戴情况包括无遮挡、口罩遮挡规范、口罩遮挡不规范和非口罩遮挡，通过本申请，解决了口罩识别精确度低，难以实现对口罩佩戴情况精细划分的问题，基于辅助分支和部件分割分支的协同监督，强化难样本与易错样本学习，实现了对口罩佩戴情况的精细划分识别。

Description

一种基于双分支协同监督的口罩识别方法和系统
技术领域
本申请涉及机器学习技术领域，特别是涉及一种基于双分支协同监督的口罩识别方法和系统。
背景技术
在日常生活中，佩戴口罩可以有效隔绝飞沫、阻断呼吸道相关传染病的传播，出行时主动选择佩戴口罩可以一定程度上降低各类疫情传播风险，一些防疫要求比较严格的公共场所一般会要求出入人员规范佩戴口罩，而对于口罩佩戴是否规范，实际场景中大多通过人工对口罩佩戴情况进行核验，少数使用智能识别技术实现无人核验口罩佩戴情况。
现有智能识别技术中，主要有两种方案：基于口罩人脸检测的方案，但该方案只能检测是否佩戴口罩，无法判定口罩是否佩戴规范；基于口罩人脸分类的方案，可由于分类任务是粗粒度任务，对口罩佩戴是否规范无法做到精细区分，同时非口罩物体（手部、衣物等）的遮挡也容易误判。
目前针对相关技术中口罩识别精确度低，难以实现对口罩佩戴情况精细划分的问题，尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种基于双分支协同监督的口罩识别方法和系统，以至少解决相关技术中口罩识别精确度低，难以实现对口罩佩戴情况精细划分的问题。
第一方面，本申请实施例提供了一种基于双分支协同监督的口罩识别方法，所述方法包括：
构建视野混合注意力模块；
基于所述视野混合注意力模块，构建口罩识别模型，其中，所述口罩识别模型中包含基础网络、辅助分支和部件分割分支；
基于所述辅助分支创建第一损失函数，基于所述部件分割分支创建第二损失函数，基于所述辅助分支和所述部件分割分支创建协同监督惩罚函数；
根据所述第一损失函数、所述第二损失函数和所述协同监督惩罚函数，得到所述口罩识别模型的目标损失函数；
将训练数据输入所述口罩识别模型进行训练，通过所述目标损失函数反向传播更新参数；
将训练好的口罩识别模型部署在设备中进行口罩佩戴情况的识别，所述口罩佩戴情况包括无遮挡、口罩遮挡规范、口罩遮挡不规范和非口罩遮挡。
在其中一些实施例中，构建视野混合注意力模块包括：
构建视野混合注意力模块，所述视野混合注意力模块包含通道拆分层、第一卷积层、第二卷积层、第三卷积层、注意力叠加层、池化激活层和通道拼接层；
所述通道拆分层，用于拆分输入所述野混合注意力模块的特征图；
所述第一卷积层，用于接收经所述通道拆分层拆分的特征图，并进行特征提取；
所述第二卷积层，用于接收经所述通道拆分层拆分的特征图，并进行特征提取；
所述池化激活层，用于接收经所述通道拆分层拆分的特征图，并进行通道重要性提取；
所述注意力叠加层，用于将所述第一卷积层提取的特征与所述池化激活层提取的通道重要性进行点乘，将所述第二卷积层提取的特征与所述池化激活层提取的通道重要性进行点乘；
所述通道拼接层，用于拼接所述注意力叠加层的输出的特征；
所述第三卷积层，用于对所述通道拼接层的输出进行特征提取。
在其中一些实施例中，基于所述辅助分支创建第一损失函数包括：
创建第一损失函数
Figure 289552DEST_PATH_IMAGE001
，其 中， mask k 为图像分类的类别数，mask i 和mask j 为图像分类的类别索引，Y为图像类别的真实 标签，
Figure 562401DEST_PATH_IMAGE002
为预测人脸遮挡情况属于mask i 的概率。
在其中一些实施例中，基于所述部件分割分支创建第二损失函数包括：
创建第二损失函数
Figure 760165DEST_PATH_IMAGE003
，其中，
Figure 42241DEST_PATH_IMAGE004
，
Figure 212323DEST_PATH_IMAGE005
，S为批次训练数据的像素数目，k为 批次训练数据的像素索引，M为部件分割的类别数，m为部件分割的类别索引，r m 为类别索引m的惩罚权重，T为训练数据集的总像素数目，T m=i 为类别索引m具体值为i时的像素数目，N为 训练数据集的总样本数目，H为训练图像的高度，W为训练图像的宽度，g k 为像素点k的真实 分割类别，
Figure 187232DEST_PATH_IMAGE006
为像素点k的预测分割类别为m的概率。
在其中一些实施例中，基于所述辅助分支和所述部件分割分支创建协同监督惩罚函数包括：
基于所述辅助分支和所述部件分割分支，创建协同监督惩罚函数
Figure 341133DEST_PATH_IMAGE007
，其中，α为口罩遮 挡错分惩罚权重系数，β为非口罩遮挡错分惩罚权重系数，Z mask 为错分成口罩遮挡的像素数 目，Z occ 为错分成其他遮挡的像素数目，Q为批次训练数据的大小，Q err_mask 为辅助分支将批次 训练数据中错分成口罩的样本数目，Q err_occ 为辅助分支将批次训练数据中错分成其他遮挡 的样本数目。
在其中一些实施例中，根据所述第一损失函数、所述第二损失函数和所述协同监督惩罚函数，得到所述口罩识别模型的目标损失函数包括：
创建所述口罩识别模型的目标损失函数loss=loss1+loss2+δloss3，其中loss1为所述第一损失函数，loss2为所述第二损失函数，loss3为所述协同监督惩罚函数，δ为平衡权重系数。
在其中一些实施例中，将训练好的口罩识别模型部署在设备中进行口罩佩戴情况的识别包括：
拆分训练好的口罩识别模型中的辅助分支和部件分割分支，将所述部件分割分支单独部署在设备中对待识别人脸图像的口罩佩戴情况进行识别，或者，将所述辅助分支和所述部件分割分支联合部署在设备中对待识别人脸图像的口罩佩戴情况进行识别。
在其中一些实施例中，将所述部件分割分支单独部署在设备中对待识别人脸图像的口罩佩戴情况进行识别包括：
将所述部件分割分支单独部署在设备；
在进行待识别人脸图像的口罩识别中，所述部件分割分支输出所述待识别人脸图像的部件和部件连通域；
基于预设判定规则求出所述部件连通域间的包含关系，根据所述部件和部件连通域的包含关系，判断出口罩佩戴情况。
在其中一些实施例中，将所述辅助分支和所述部件分割分支联合部署在设备中对待识别人脸图像的口罩佩戴情况进行识别包括：
将所述辅助分支和所述部件分割分支联合部署在设备；
在进行待识别人脸图像的口罩识别中，所述辅助分支直接输出口罩佩戴情况，所述部件分割分支输出部件划分情况，并基于所述部件划分情况判断出口罩佩戴情况；
若所述辅助分支输出的口罩佩戴情况与所述部件分割分支判断出的口罩佩戴情况一致，则识别结果正确，否则识别错误。
第二方面，本申请实施例提供了一种基于双分支协同监督的口罩识别系统，所述系统包括模型构建模块、模型训练模块和模型应用模块；
所述模型构建模块，用于构建视野混合注意力模块；基于所述视野混合注意力模块，构建口罩识别模型，其中，所述口罩识别模型中包含基础网络、辅助分支和部件分割分支；
所述模型训练模块，用于基于所述辅助分支创建第一损失函数，基于所述部件分割分支创建第二损失函数，基于所述辅助分支和所述部件分割分支创建协同监督惩罚函数；根据所述第一损失函数、所述第二损失函数和所述协同监督惩罚函数，得到所述口罩识别模型的目标损失函数；将训练数据输入所述口罩识别模型进行训练，通过所述目标损失函数反向传播更新参数；
所述模型应用模块，用于将训练好的口罩识别模型部署在设备中进行口罩佩戴情况的识别，所述口罩佩戴情况包括无遮挡、口罩遮挡规范、口罩遮挡不规范和非口罩遮挡。
相比于相关技术，本申请实施例提供的一种基于双分支协同监督的口罩识别方法和系统，通过构建视野混合注意力模块，基于视野混合注意力模块，构建基础网络、辅助分支和部件分割分支的口罩识别模型；创建第一损失函数、第二损失函数和协同监督惩罚函数，进而得到口罩识别模型的目标损失函数；将训练数据输入口罩识别模型进行训练，通过目标损失函数反向传播更新参数；将训练好的口罩识别模型部署在设备中进行口罩佩戴情况的识别，口罩佩戴情况包括无遮挡、口罩遮挡规范、口罩遮挡不规范和非口罩遮挡，解决了口罩识别精确度低，难以实现对口罩佩戴情况精细划分的问题，基于辅助分支和部件分割分支的协同监督，强化难样本与易错样本学习，提高口罩识别的精度，实现了对口罩佩戴情况的精细划分识别。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的基于双分支协同监督的口罩识别方法的步骤流程图；
图2是根据本申请实施例的视野混合注意力模块的结构示意图；
图3是根据本申请实施例的口罩识别模型的结构示意图；
图4是根据本申请实施例的基于双分支协同监督的口罩识别系统的结构框图；
图5是根据本申请实施例的电子设备的内部结构示意图。
附图说明：41、模型构建模块；42、模型训练模块；43、模型应用模块。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块（单元）的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
本申请实施例提供了一种基于双分支协同监督的口罩识别方法，图1是根据本申请实施例的基于双分支协同监督的口罩识别方法的步骤流程图，如图1所示，该方法包括以下步骤：
步骤S102，构建视野混合注意力模块；
具体地，为了满足实时识别的需求，在边缘设备端部署的模型，一般会移植轻量小网络，但是网络越轻量、容量越有限，其精度也会随之下降，为了改善端侧轻量小网络精准度不足问题，本实施例提出并构建一种新的基础模块：视野混合注意力模块，图2是根据本申请实施例的视野混合注意力模块的结构示意图，如图2所示，该视野混合注意力模块包含通道拆分层、第一卷积层、第二卷积层、第三卷积层、注意力叠加层、池化激活层和通道拼接层：
通道拆分层21，用于拆分输入野混合注意力模块的特征图，例如，将输入为K*K*2C的特征图进行对半分组，拆分为K*K*C的特征图。通过拆分分组操作可以降低运算量，减少端侧设备推理功耗；
第一卷积层22，用于接收经通道拆分层拆分的特征图，并进行特征提取；第二卷积层23，用于接收经通道拆分层拆分的特征图，并进行特征提取；需要说明的是，第一卷积层22的卷积核尺寸与第二卷积层23的卷积核尺寸不同，例如，第一卷积层22的卷积核尺寸为3*3，第二卷积层23的卷积核尺寸5*5，通过选择不同尺寸的卷积核，可以捕获不同的感受野信息，更好的进行特征融合交互。
池化激活层24，用于接收经通道拆分层拆分的特征图，并进行通道重要性提取，对经通道拆分层21拆分分组后的特征图进行gap全局池化+ sigmoid激活操作，实现对通道重要性提取，需要说明的是，池化激活层24中的池化激活并不限于gap全局池化、sigmoid激活，还可以是最大池化、平均池化、tanh激活、ReLU激活等等，在此便不一一赘述。
注意力叠加层25，用于将第一卷积层提取的特征与池化激活层提取的通道重要性进行点乘（element-wise乘积），将第二卷积层提取的特征与池化激活层提取的通道重要性进行点乘（element-wise乘积）；对第一卷积层22和第二卷积层23提取的特征叠加注意力，增强有益信息前传。
通道拼接层26，用于拼接注意力叠加层的输出的特征，第三卷积层27，用于对通道拼接层的输出进行特征提取，例如，在第三卷积层27中，用1*1的卷积核对通道拼接层26拼接得到的特征进行提取，实现特征通道内的信息汇聚与融合，增强模型的特征表达。
进一步地，该视野混合注意力模块的具体公式描述如下：
Figure 161321DEST_PATH_IMAGE008
其中，X为视野混合注意力模块的输入，Y为视野混合注意力模块的输出，i为通道拆分分组索引，在本实施例中拆分为两组，即分别为0,1，f split 为通道拆分操作，f gap+sigmoid 为池化激活操作，f conv 为卷积操作，f cat 为通道拼接操作，map split 为进行通道拆分后的输出特征图，map mix 为注意力叠加后输出的特征图，map cat 为进行通道拼接操作后输出的特征图，*为element-wise乘积操作
步骤S104，基于视野混合注意力模块，构建口罩识别模型，其中，口罩识别模型中包含基础网络、辅助分支和部件分割分支；
具体地，图3是根据本申请实施例的口罩识别模型的结构示意图，基于步骤S102中的视野混合注意力模块，以及其他网络基础层搭建基础网络（Base Network）、辅助分支（Auxiliary Branch）和部件分割分支（Seg Branch），进而构建口罩识别模型，其中，其他网络基础层包括卷积层、ReLU激活层、最大池化层、全连接层、上采样层、softmax层和element-wise求和层。
步骤S106，基于辅助分支创建第一损失函数，基于部件分割分支创建第二损失函数，基于辅助分支和部件分割分支创建协同监督惩罚函数；
具体地，第一损失函数
Figure 982647DEST_PATH_IMAGE001
，其中，loss1为辅助分支（Auxiliary Branch）的分支损失；mask k 为图像分类的类别数，分 别为无遮挡、口罩遮挡规范、口罩遮挡不规范和非口罩遮挡；mask i 和mask j 为图像分类的类 别索引；Y为图像类别的真实标签，同样分别为无遮挡、口罩遮挡规范、口罩遮挡不规范和非 口罩遮挡，且优选采用one-hot编码；
Figure 128457DEST_PATH_IMAGE002
为预测人脸遮挡情况属于mask i 的概率。
具体地，第二损失函数
Figure 766724DEST_PATH_IMAGE003
，其中，
Figure 390604DEST_PATH_IMAGE004
，
Figure 332015DEST_PATH_IMAGE005
；loss2为部件分割分支（Seg Branch）的分支损失；S为批次训练数据的像素数目，即Batch size*图像宽*图像高；k为批 次训练数据的像素索引，范围为1到S；M为部件分割的类别数，分别为头发、眉毛、眼睛、鼻 子、嘴巴、人脸、脖子、口罩、非口罩遮挡和其他；m为部件分割的类别索引；r m 为类别索引m的 惩罚权重；T为训练数据集的总像素数目；T m=i 为类别索引m具体值为i时的像素数目；N为训 练数据集的总样本数目；H为训练图像的高度；W为训练图像的宽度；g k 为像素点k的真实分 割类别；
Figure 648727DEST_PATH_IMAGE006
为像素点k的预测分割类别为m的概率。
具体地，基于辅助分支和部件分割分支，创建协同监督惩罚函数
Figure 42799DEST_PATH_IMAGE007
，其中，loss3为基 于辅助分支和部件分割分支的协同监督惩罚函数；α为口罩遮挡错分惩罚权重系数，
Figure 470369DEST_PATH_IMAGE009
；β为非口罩遮挡错分惩罚权重系数，
Figure 735129DEST_PATH_IMAGE010
；Z mask 为错分成口罩遮挡的像素数目；Z occ 为错 分成其他遮挡的像素数目；Q为批次训练数据的大小；Q err_mask 为辅助分支将批次训练数据中 错分成口罩的样本数目；Q err_occ 为辅助分支将批次训练数据中错分成其他遮挡的样本数 目。需要说明的是，基于协同监督惩罚函数对分支间的互监督，如果出现错分，通过不同的 权重系数对其惩罚，纠正网络的学习方向，逐步提升模型结果的可靠性。
步骤S108，根据第一损失函数、第二损失函数和协同监督惩罚函数，得到口罩识别模型的目标损失函数；
具体地，创建口罩识别模型的目标损失函数loss=loss1+loss2+δloss3，其中loss1为第一损失函数；loss2为第二损失函数；loss3为协同监督惩罚函数；δ为平衡权重系数。
步骤S110，将训练数据输入口罩识别模型进行训练，通过目标损失函数反向传播更新参数；
具体地，训练数据可以为对齐的112x112x3图像数据，依据头发、眉毛、眼睛、鼻子、嘴巴、人脸、脖子、口罩、非口罩遮挡和其他，并对图像数据标注出该10个部件标签；在构建好的数据上执行口罩识别模型的训练。
步骤S112，将训练好的口罩识别模型部署在设备中进行口罩佩戴情况的识别，口罩佩戴情况包括无遮挡、口罩遮挡规范、口罩遮挡不规范和非口罩遮挡。
具体地，拆分训练好的口罩识别模型中的辅助分支和部件分割分支，将部件分割分支单独部署在设备中对待识别人脸图像的口罩佩戴情况进行识别，或者，将辅助分支和部件分割分支联合部署在设备中对待识别人脸图像的口罩佩戴情况进行识别。
优选地，低算力设备资源有限，对模型运行计算资源占用有严格要求。通过网络分支解偶，灵活保留部件分割分支（Seg Branch），压缩资源消耗，更加适合低算力的边缘设备部署；将部件分割分支单独部署在设备，在进行待识别人脸图像的口罩识别中，部件分割分支输出待识别人脸图像的部件和部件连通域，基于预设判定规则求出部件连通域间的包含关系，预设判定规则如以下公式所示：
Figure 954233DEST_PATH_IMAGE011
其中，A表示部件连通域；B也表示部件连通域；f 1表示连通域求交集操作；f 2表示连通域求面积操作；D表示部件连通域的包含关系，存在完全包含（数值为-1），存在部分包含（数值为0），不存在包含（数值为+1）。
根据部件和部件连通域的包含关系，判断出口罩佩戴情况，具体判断规则如以下公式所示：
Figure 38863DEST_PATH_IMAGE012
其中，A mask 表示口罩连通域；A occ 表示其他遮挡连通域；A mouth 表示嘴巴连通域；A nose 表示鼻子连通域；f 2表示连通域求面积操作；D表示部件连通域的包含关系；face_status表示人脸预测结果，具体包括人脸干净（无遮挡，数值为0），人脸存在非口罩物品遮挡（非口罩遮挡，数值为1），人脸口罩佩戴不规范（口罩遮挡不规范，数值为2），人脸口罩佩戴规范（口罩遮挡规范，数值为3）。
优选地，中高算力设备资源较为充裕，通过双分支网络协同工作输出口罩佩戴结果，可以进一步降低误识别风险，提升口罩佩戴识别精准度。部件分割分支（Seg Branch）输出结果同单分支部署方案。辅助分支（Auxiliary Branch）直接输出人脸面部情况：0-无遮挡，1-口罩遮挡规范，2-口罩遮挡不规范，3-非口罩遮挡。分支之间结果呈正相关。基于该条件：如果两个分支预测结果一致，则认为结果正确，否则丢弃该帧图像判定结果。
本申请实施例通过步骤S102提出并构建一种新型的视野混合注意力模块，该模块对通道拆分，用以对不同感受野信息进行表征，同时匹配通道注意力，实现对不同上下文信息抽取与交互，扩增模型能力与容量；通过步骤104到步骤110提出并搭建一种分支联动协同监督网络（口罩识别模型），该网络包含高精部件分割分支和互监督辅助分支，强化难样本与易错样本学习，提升口罩识别精度；通过步骤S112实现一种分支解偶部署方案，自适应平台算力，灵活部署，解决落地难题。
需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例提供了一种基于双分支协同监督的口罩识别系统，图4是根据本申请实施例的基于双分支协同监督的口罩识别系统的结构框图，如图4所示，该系统包括模型构建模块41、模型训练模块42和模型应用模块43；
模型构建模块41，用于构建视野混合注意力模块；基于视野混合注意力模块，构建口罩识别模型，其中，口罩识别模型中包含基础网络、辅助分支和部件分割分支；
模型训练模块42，用于基于辅助分支创建第一损失函数，基于部件分割分支创建第二损失函数，基于辅助分支和部件分割分支创建协同监督惩罚函数；根据第一损失函数、第二损失函数和协同监督惩罚函数，得到口罩识别模型的目标损失函数；将训练数据输入口罩识别模型进行训练，通过目标损失函数反向传播更新参数；
模型应用模块43，用于将训练好的口罩识别模型部署在设备中进行口罩佩戴情况的识别，口罩佩戴情况包括无遮挡、口罩遮挡规范、口罩遮挡不规范和非口罩遮挡。
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
本实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
另外，结合上述实施例中的基于双分支协同监督的口罩识别方法，本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种基于双分支协同监督的口罩识别方法。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于双分支协同监督的口罩识别方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
在一个实施例中，图5是根据本申请实施例的电子设备的内部结构示意图，如图5所示，提供了一种电子设备，该电子设备可以是服务器，其内部结构图可以如图5所示。该电子设备包括通过内部总线连接的处理器、网络接口、内存储器和非易失性存储器，其中，该非易失性存储器存储有操作系统、计算机程序和数据库。处理器用于提供计算和控制能力，网络接口用于与外部的终端通过网络连接通信，内存储器用于为操作系统和计算机程序的运行提供环境，计算机程序被处理器执行时以实现一种基于双分支协同监督的口罩识别方法，数据库用于存储数据。
本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
本领域的技术人员应该明白，以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于双分支协同监督的口罩识别方法，其特征在于，所述方法包括：
构建视野混合注意力模块；
基于所述视野混合注意力模块，构建口罩识别模型，其中，所述口罩识别模型中包含基础网络、辅助分支和部件分割分支；
基于所述辅助分支创建第一损失函数，基于所述部件分割分支创建第二损失函数，基于所述辅助分支和所述部件分割分支创建协同监督惩罚函数；
根据所述第一损失函数、所述第二损失函数和所述协同监督惩罚函数，得到所述口罩识别模型的目标损失函数；
将训练数据输入所述口罩识别模型进行训练，通过所述目标损失函数反向传播更新参数；
将训练好的口罩识别模型部署在设备中进行口罩佩戴情况的识别，所述口罩佩戴情况包括无遮挡、口罩遮挡规范、口罩遮挡不规范和非口罩遮挡。
2.根据权利要求1所述的方法，其特征在于，构建视野混合注意力模块包括：
构建视野混合注意力模块，所述视野混合注意力模块包含通道拆分层、第一卷积层、第二卷积层、第三卷积层、注意力叠加层、池化激活层和通道拼接层；
所述通道拆分层，用于拆分输入所述野混合注意力模块的特征图；
所述第一卷积层，用于接收经所述通道拆分层拆分的特征图，并进行特征提取；
所述第二卷积层，用于接收经所述通道拆分层拆分的特征图，并进行特征提取；
所述池化激活层，用于接收经所述通道拆分层拆分的特征图，并进行通道重要性提取；
所述注意力叠加层，用于将所述第一卷积层提取的特征与所述池化激活层提取的通道重要性进行点乘，将所述第二卷积层提取的特征与所述池化激活层提取的通道重要性进行点乘；
所述通道拼接层，用于拼接所述注意力叠加层的输出的特征；
所述第三卷积层，用于对所述通道拼接层的输出进行特征提取。
3.根据权利要求1所述的方法，其特征在于，基于所述辅助分支创建第一损失函数包括：
创建第一损失函数
Figure DEST_PATH_IMAGE001
，其中， mask k 为图像分类的类别数，mask i 和mask j 为图像分类的类别索引，Y为图像类别的真实标 签，
Figure 671642DEST_PATH_IMAGE002
为预测人脸遮挡情况属于mask i 的概率。
4.根据权利要求1所述的方法，其特征在于，基于所述部件分割分支创建第二损失函数包括：
创建第二损失函数
Figure DEST_PATH_IMAGE003
，其中，
Figure 464149DEST_PATH_IMAGE004
，
Figure DEST_PATH_IMAGE005
，S为批次训练数据的像素数目，k为 批次训练数据的像素索引，M为部件分割的类别数，m为部件分割的类别索引，r m 为类别索引m的惩罚权重，T为训练数据集的总像素数目，T m=i 为类别索引m具体值为i时的像素数目，N为 训练数据集的总样本数目，H为训练图像的高度，W为训练图像的宽度，g k 为像素点k的真实 分割类别，
Figure 853673DEST_PATH_IMAGE006
为像素点k的预测分割类别为m的概率。
5.根据权利要求1所述的方法，其特征在于，基于所述辅助分支和所述部件分割分支创建协同监督惩罚函数包括：
基于所述辅助分支和所述部件分割分支，创建协同监督惩罚函数
Figure DEST_PATH_IMAGE007
，其中，α为口罩遮 挡错分惩罚权重系数，β为非口罩遮挡错分惩罚权重系数，Z mask 为错分成口罩遮挡的像素数 目，Z occ 为错分成其他遮挡的像素数目，Q为批次训练数据的大小，Q err_mask 为辅助分支将批次 训练数据中错分成口罩的样本数目，Q err_occ 为辅助分支将批次训练数据中错分成其他遮挡 的样本数目。
6.根据权利要求1所述的方法，其特征在于，根据所述第一损失函数、所述第二损失函数和所述协同监督惩罚函数，得到所述口罩识别模型的目标损失函数包括：
创建所述口罩识别模型的目标损失函数loss=loss1+loss2+δloss3，其中loss1为所述第一损失函数，loss2为所述第二损失函数，loss3为所述协同监督惩罚函数，δ为平衡权重系数。
7.根据权利要求1所述的方法，其特征在于，将训练好的口罩识别模型部署在设备中进行口罩佩戴情况的识别包括：
拆分训练好的口罩识别模型中的辅助分支和部件分割分支，将所述部件分割分支单独部署在设备中对待识别人脸图像的口罩佩戴情况进行识别，或者，将所述辅助分支和所述部件分割分支联合部署在设备中对待识别人脸图像的口罩佩戴情况进行识别。
8.根据权利要求7所述的方法，其特征在于，将所述部件分割分支单独部署在设备中对待识别人脸图像的口罩佩戴情况进行识别包括：
将所述部件分割分支单独部署在设备；
在进行待识别人脸图像的口罩识别中，所述部件分割分支输出所述待识别人脸图像的部件和部件连通域；
基于预设判定规则求出所述部件连通域间的包含关系，根据所述部件和部件连通域的包含关系，判断出口罩佩戴情况。
9.根据权利要求7所述的方法，其特征在于，将所述辅助分支和所述部件分割分支联合部署在设备中对待识别人脸图像的口罩佩戴情况进行识别包括：
将所述辅助分支和所述部件分割分支联合部署在设备；
在进行待识别人脸图像的口罩识别中，所述辅助分支直接输出口罩佩戴情况，所述部件分割分支输出部件划分情况，并基于所述部件划分情况判断出口罩佩戴情况；
若所述辅助分支输出的口罩佩戴情况与所述部件分割分支判断出的口罩佩戴情况一致，则识别结果正确，否则识别错误。
10.一种基于双分支协同监督的口罩识别系统，其特征在于，所述系统包括模型构建模块、模型训练模块和模型应用模块；
所述模型构建模块，用于构建视野混合注意力模块；基于所述视野混合注意力模块，构建口罩识别模型，其中，所述口罩识别模型中包含基础网络、辅助分支和部件分割分支；
所述模型训练模块，用于基于所述辅助分支创建第一损失函数，基于所述部件分割分支创建第二损失函数，基于所述辅助分支和所述部件分割分支创建协同监督惩罚函数；根据所述第一损失函数、所述第二损失函数和所述协同监督惩罚函数，得到所述口罩识别模型的目标损失函数；将训练数据输入所述口罩识别模型进行训练，通过所述目标损失函数反向传播更新参数；
所述模型应用模块，用于将训练好的口罩识别模型部署在设备中进行口罩佩戴情况的识别，所述口罩佩戴情况包括无遮挡、口罩遮挡规范、口罩遮挡不规范和非口罩遮挡。
CN202211045278.1A 2022-08-30 2022-08-30 一种基于双分支协同监督的口罩识别方法和系统 Active CN115116122B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211045278.1A CN115116122B (zh) 2022-08-30 2022-08-30 一种基于双分支协同监督的口罩识别方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211045278.1A CN115116122B (zh) 2022-08-30 2022-08-30 一种基于双分支协同监督的口罩识别方法和系统

Publications (2)

Publication Number Publication Date
CN115116122A true CN115116122A (zh) 2022-09-27
CN115116122B CN115116122B (zh) 2022-12-16

Family

ID=83336229

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211045278.1A Active CN115116122B (zh) 2022-08-30 2022-08-30 一种基于双分支协同监督的口罩识别方法和系统

Country Status (1)

Country Link
CN (1) CN115116122B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112183471A (zh) * 2020-10-28 2021-01-05 西安交通大学 一种现场人员防疫口罩规范佩戴的自动检测方法及系统
CN112966684A (zh) * 2021-03-15 2021-06-15 北湾科技(武汉)有限公司 一种注意力机制下的协同学习文字识别方法
CN113780480A (zh) * 2021-11-11 2021-12-10 深圳佑驾创新科技有限公司 基于YOLOv5的多目标检测及类别识别模型的构建方法
CN114120430A (zh) * 2022-01-26 2022-03-01 杭州魔点科技有限公司 基于双分支权重融合同源性自监督的口罩人脸识别方法
CN114267077A (zh) * 2022-03-03 2022-04-01 杭州魔点科技有限公司 口罩佩戴识别的方法、系统、装置和介质
CN114783021A (zh) * 2022-04-07 2022-07-22 广州杰赛科技股份有限公司 一种口罩佩戴智能检测方法、装置、设备及介质
WO2022160202A1 (zh) * 2021-01-28 2022-08-04 深圳市锐明技术股份有限公司 佩戴口罩的检测方法、装置、终端设备及可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112183471A (zh) * 2020-10-28 2021-01-05 西安交通大学 一种现场人员防疫口罩规范佩戴的自动检测方法及系统
WO2022160202A1 (zh) * 2021-01-28 2022-08-04 深圳市锐明技术股份有限公司 佩戴口罩的检测方法、装置、终端设备及可读存储介质
CN112966684A (zh) * 2021-03-15 2021-06-15 北湾科技(武汉)有限公司 一种注意力机制下的协同学习文字识别方法
CN113780480A (zh) * 2021-11-11 2021-12-10 深圳佑驾创新科技有限公司 基于YOLOv5的多目标检测及类别识别模型的构建方法
CN114120430A (zh) * 2022-01-26 2022-03-01 杭州魔点科技有限公司 基于双分支权重融合同源性自监督的口罩人脸识别方法
CN114267077A (zh) * 2022-03-03 2022-04-01 杭州魔点科技有限公司 口罩佩戴识别的方法、系统、装置和介质
CN114783021A (zh) * 2022-04-07 2022-07-22 广州杰赛科技股份有限公司 一种口罩佩戴智能检测方法、装置、设备及介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHEN JU 等: "Adaptive Mutual Supervision for Weakly-Supervised Temporal Action Localization", 《ARXIV》 *
张修宝等: "全天候自然场景下的人脸佩戴口罩识别技术", 《中国科学:信息科学》 *
赵永强等: "深度学习目标检测方法综述", 《中国图象图形学报》 *

Also Published As

Publication number Publication date
CN115116122B (zh) 2022-12-16

Similar Documents

Publication Publication Date Title
Yang et al. Uncertainty-guided transformer reasoning for camouflaged object detection
CN110188635B (zh) 一种基于注意力机制和多层次卷积特征的植物病虫害识别方法
CN112085010B (zh) 一种基于图像识别的口罩检测和部署系统及方法
CN110163236B (zh) 模型的训练方法和装置、存储介质、电子装置
Mapp et al. Otolith shape and size: the importance of age when determining indices for fish-stock separation
CN111597870B (zh) 一种基于注意力机制与多任务学习的人体属性识别方法
CN109800789A (zh) 基于图网络的糖尿病视网膜病变分类方法及装置
Mansour et al. Internet of things and synergic deep learning based biomedical tongue color image analysis for disease diagnosis and classification
US10949653B2 (en) Intelligent persona generation
CN109801260A (zh) 牲畜个数的识别方法及装置
CN112633297B (zh) 目标对象的识别方法、装置、存储介质以及电子装置
CN112488034A (zh) 基于轻量化人脸口罩检测模型的视频处理方法
CN114648680A (zh) 图像识别模型的训练方法、装置、设备、介质及程序产品
CN111783543B (zh) 一种基于多任务学习的面部活动单元检测方法
CN109829484B (zh) 一种服饰分类方法、设备及计算机可读存储介质
Kaufman et al. Cognitive differences in human and AI explanation
CN115116122B (zh) 一种基于双分支协同监督的口罩识别方法和系统
Jemimah Recognition of handwritten characters based on deep learning with tensorflow
Raja Kumar et al. Novel segmentation and classification algorithm for detection of tomato leaf disease
Valdez et al. Medicinal plant classification using convolutional neural network and transfer learning
Francis et al. Live detection of text in the natural environment using convolutional neural network
CN111161861A (zh) 用于医院后勤运维的短文本数据处理方法、装置
CN113065512A (zh) 人脸微表情识别方法、装置、设备及存储介质
Bennur et al. Face Mask Detection and Face Recognition of Unmasked People in Organizations
Dandeniya et al. A Web-based Application for Snake Species Identification using Vision Transformer and CNN-based Ensemble Meta Classifier

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant