CN112149500A - 一种部分遮挡的人脸识别小样本学习方法 - Google Patents
一种部分遮挡的人脸识别小样本学习方法 Download PDFInfo
- Publication number
- CN112149500A CN112149500A CN202010817727.4A CN202010817727A CN112149500A CN 112149500 A CN112149500 A CN 112149500A CN 202010817727 A CN202010817727 A CN 202010817727A CN 112149500 A CN112149500 A CN 112149500A
- Authority
- CN
- China
- Prior art keywords
- face recognition
- recognition model
- face
- sample
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000012549 training Methods 0.000 claims abstract description 21
- 239000013598 vector Substances 0.000 claims description 126
- 238000013528 artificial neural network Methods 0.000 claims description 88
- 230000006870 function Effects 0.000 claims description 63
- 238000013527 convolutional neural network Methods 0.000 claims description 47
- 238000010586 diagram Methods 0.000 claims description 25
- 238000011478 gradient descent method Methods 0.000 claims description 15
- 230000004913 activation Effects 0.000 claims description 10
- 238000011176 pooling Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 230000005484 gravity Effects 0.000 claims description 6
- 238000012935 Averaging Methods 0.000 claims description 5
- 230000003213 activating effect Effects 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 2
- 238000005457 optimization Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 241000282414 Homo sapiens Species 0.000 description 5
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种部分遮挡的人脸识别小样本学习方法,用于未遮挡或部分遮挡的人脸图像识别,本发明的部分遮挡的人脸识别小样本学习方法,能利用数量较少的带标注样本实现对未遮挡或部分遮挡的人脸进行准确识别,而不必对海量样本进行繁重的标注,不必应用海量新样本对神经网络进行重新训练。与现有技术方案相比能够大幅减少训练时间,在同样的训练工作量的情况下具备更好的识别准确率。
Description
技术领域
本申请属于图像识别技术领域,具体涉及一种部分遮挡的人脸识别小样本学习方法。
背景技术
随着深度学习在图像领域内的飞速发展,计算机对图像的识别已经接近甚至超越人类的表现。然而,计算机在遇到与训练数据有较大偏差的图像时,往往难以表现如意,例如戴口罩或眼部打马赛克照片就是一种常见的干扰图像,若训练数据中从未出现此类图像,则图像识别将出现识别率大幅下降的情况。
在人为判断图像内容时,如果遇到戴口罩或眼部马赛克人脸图像,通常会将注意力自动聚焦于遮挡部位以外的特征,忽略口罩或马赛克的噪音干扰。因此将注意力机制引入人脸识别符合人们的直觉,是具有深远应用潜力的技术。此外,需注意到人脸识别中尽管照片的类别数目可能较多,但每一个人的照片数量十分有限,这与小样本学习的场景设置较为接近,如何将小样本学习方法与人脸识别较好地结合是技术上的挑战。
目前针对照片数量有限的情况,常规的技术方案是数据增强方式。具体来说,需要在原数据集中添加大量(几百万张)眼部带马赛克处理或带口罩的人脸照片,重新训练,使得神经网络能进一步泛化,以适应这些部分遮挡的人脸图像的识别。
显然,现有的技术方案存在如下缺点:
1、需大量生成新的眼部打马赛克的人脸图片或戴口罩的人脸图片,数据处理和训练耗时长。
2、神经网络的模型结构未改变,对新任务适应性差。
发明内容
本申请的目的在于提供一种部分遮挡的人脸识别小样本学习方法,在减少适应新任务所需的训练时间的同时保持较高的识别准确率。
为实现上述目的,本申请所采取的技术方案为:
一种部分遮挡的人脸识别小样本学习方法,所述部分遮挡的人脸识别小样本学习方法,包括:
步骤1、从人脸图库的所有人脸类别中随机抽取A类,在A类对应的每类中抽取若干个带标注样本形成样本集S,在A类对应的每类剩余的带标注样本中随机抽取一个或多个带标注样本形成样本集Q;
步骤2、取样本集S中每一类带标注样本输入人脸识别模型中,根据人脸识别模型输出的每个类对应的带标注样本的特征向量计算得到每个类对应的典型向量;
步骤3、将样本集Q中的所有带标注样本分别输入人脸识别模型中,根据人脸识别模型输出的特征向量计算总损失函数,利用随机梯度下降法优化总损失函数,得到优化后的人脸识别模型;
步骤4、取优化后的人脸识别模型,对待分类的人脸图像输出待分类特征向量,计算待分类特征向量与各典型向量的欧式距离,根据欧式距离取所属概率最大的类别作为分类预测结果输出;
所述人脸识别模型包括前部分CNN神经网络、注意力模块、后部分CNN神经网络,输入人脸识别模型中的图像,作为所述前部分CNN神经网络的输入,所述前部分CNN神经网络输出前特征图,所述前特征图作为所述注意力模块的输入,所述注意力模块的输出与所述前特征图叠加后作为所述后部分CNN神经网络的输入,所述后部分CNN神经网络输出的特征向量即为人脸识别模型输出的特征向量。
以下还提供了若干可选方式,但并不作为对上述总体方案的额外限定,仅仅是进一步的增补或优选,在没有技术或逻辑矛盾的前提下,各可选方式可单独针对上述总体方案进行组合,还可以是多个可选方式之间进行组合。
作为优选,所述人脸图库包括未遮挡的人脸图库和部分遮挡的人脸图库,所述部分遮挡的人脸图库包括佩戴口罩的人脸图库和眼部打马赛克的人脸图库;
若步骤1中的所述人脸图库为未遮挡的人脸图库,则步骤3中优化后的人脸识别模型为正常人脸识别模型;若步骤1中的所述人脸图库为佩戴口罩的人脸图库,则步骤3中优化后的人脸识别模型为佩戴口罩人脸识别模型;若步骤1中的所述人脸图库为眼部打马赛克的人脸图库,则步骤3中优化后的人脸识别模型为眼部马赛克人脸识别模型。
作为优选,所述步骤4还包括:
获取待分类的人脸图像输入判别网络;
由判别网络检测待分类的人脸图像的遮挡情况,若待分类的人脸图像的遮挡情况为未遮挡的人脸图像,则所取的优化后的人脸识别模型为正常人脸识别模型;若待分类的人脸图像的遮挡情况为佩戴口罩的人脸图像,则所取的优化后的人脸识别模型为佩戴口罩人脸识别模型;若待分类的人脸图像的遮挡情况为眼部打马赛克的人脸图像,则所取的优化后的人脸识别模型为眼部马赛克人脸识别模型。
作为优选,所述根据人脸识别模型输出的特征向量计算总损失函数,利用随机梯度下降法优化总损失函数,得到优化后的人脸识别模型,包括:
计算样本集Q中带标注样本x所对应的特征向量ZQ,x与样本集S中类别k的典型向量ck的欧式距离d(ZQ,x,ck),其中d()表示欧式度量函数;
采用Softmax激活函数将欧式距离转化为概率:
其中,p(y=k|x)表示样本集Q中的带标注样本x属于类别k的softmax概率,k′表示样本集Q中除类别k之外的其余类别,k′不包含k;
获得带标注样本x属于类别k的概率后,采用如下损失函数计算当前神经网络参数下的损失:
针对样本集Q中的每一个带标注样本均根据所述损失函数计算当前神经网络参数下的损失,并将所有带标注样本在当前神经网络参数下的损失相加得到总损失函数,对总损失函数使用随机梯度下降法进行优化;
重复步骤1~步骤3,不断训练神经网络参数,直至优化至总损失函数的总损失最小,得到最优的神经网络参数,确定优化后的人脸识别模型。
作为优选,所述根据人脸识别模型输出的特征向量计算总损失函数,利用随机梯度下降法优化总损失函数,得到优化后的人脸识别模型,包括:
将样本集S中每个类别的典型向量作为一个有质量的点,将样本集Q中每个带标注样本的特征向量也作为一个有质量的点,每个类别的典型向量都会对每个带标注样本的特征向量产生一个引力;
对于样本集Q中带标注样本q的特征向量而言,若带标注样本q属于类别k,则类别k的典型向量所产生的引力为正,其他类别的典型向量所产生的引力为负,则所有类别的典型向量对每个带标注样本的特征向量所产生的总引力如下:
其中,Ms,k表示样本集S中类别k的典型向量的质量,Ms,k′表示样本集S中类别k′的典型向量的质量,mQ,q表示样本集Q中带标注样本q的质量;ck表示样本集S中类别k的典型向量,ck′表示样本集S中类别k′的典型向量,ZQ,q表示样本集Q中带标注样本q的特征向量,d()表示欧式度量函数,d2()表示欧式距离的平方,d2(ck,ZQ,q)表ck与ZQ,q之间的欧氏距离的平方;d2(ck′,ZQ,q)表示ck′与Zm之间的欧氏距离的平方,k′表示样本集S中除类别k之外的其余类别,k′不包含k;
则总损失函数为样本集Q中所有带标注样本的总引力之和再取反:
对总损失函数使用随机梯度下降法进行优化;
重复步骤1~步骤3,不断训练神经网络参数,直至优化至总损失函数的总损失最小,得到最优的神经网络参数,确定优化后的人脸识别模型。
作为优选,所述前部分CNN神经网络和后部分CNN神经网络均由3个卷积块串接而成,并且每个卷积块包括一个卷积核为3*3的卷积层、一个批量正则化处理、一个ReLU激活函数、一个池化核为2*2的最大池化层。
作为优选,所述注意力模块,包括:
利用图像内部空间点之间的相关性,构建注意力模块的输出公式如下:
其中,x表示前部分CNN神经网络输出的前特征图,y表示注意力模块输出的注意力特征图,所述前特征图与注意力特征图的尺寸相同,xi表示前特征图中位置i的元素,xj表示前特征图中与位置i关联的位置j的元素,yi表示注意力特征图中位置i的元素,f(xi,xj)表示前特征图中xi和xj之间的关联关系,g(xj)表示前特征图在位置j的特征值,C(x)为归一化参数;
其中,f(xi,xj)、g(xj)和C(x)的计算方式如下:
g(xj)=Wgxj
其中,θ(xi)T=Wθxi、δ(xj)=Wδxj,其中Wg、Wθ、Wδ分别为权重系数;
得到注意力模块输出的注意力特征图,与前部分CNN神经网络的输出叠加后作为后部分CNN神经网络的输入,叠加方式如下:
zi=Wzyi+xi
其中,zi为叠加后的特征图中位置i的元素,Wz为叠加权重系数,xi为前部分CNN神经网络输出前特征图中位置i的元素,yi为注意力模块输出的注意力特征图中位置i的元素。
作为优选,所述注意力模块,包括:
所述注意力模块接收前特征图后,先经过卷积核为5*5的卷积层,填充数量为2使输出特征图尺寸保持不变,并使用ReLU激活;随后进入卷积核为1*1的卷积层,输出通道数仅为1,并使用Sigmoid函数激活,最后将输出特征图沿通道方向广播后,与原来的前特征图进行元素乘积后作为注意力模块的输出。
本申请提供的部分遮挡的人脸识别小样本学习方法,能利用数量较少的带标注样本实现对未遮挡或部分遮挡的人脸进行准确识别,而不必对海量样本进行繁重的标注,不必应用海量新样本对神经网络进行重新训练。与现有技术方案相比能够大幅减少训练时间,在同样的训练工作量的情况下具备更好的识别准确率。
附图说明
图1为本申请的部分遮挡的人脸识别小样本学习方法的流程图;
图2为本申请一种注意力模块的结构示意图;
图3为本申请另一种注意力模块的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的,不是在于限制本申请。
在一实施例中,提供一种部分遮挡的人脸识别小样本学习方法,用于未遮挡或/和部分遮挡的人脸图像识别。即本申请能够对正常未遮挡的人脸图像进行识别,同时也能够对部分遮挡的人脸图像进行识别。对于部分遮挡的人脸图像而言其遮挡部位可以是随意的,但是需要保证遮挡部位占人脸总面积的比值小于一定的阈值,例如小于50%,以保证具有足够的人脸识别特征。
根据实际应用场景的普遍性,本实施例主要以佩戴口罩或者眼睛部位打马赛克的部分遮挡的人脸图像为例进行说明。
如图1所示,本实施例的部分遮挡的人脸识别小样本学习方法,包括以下步骤:
步骤1、从人脸图库的所有人脸类别中随机抽取A类,在A类对应的每类中抽取若干个带标注样本形成样本集S,在A类对应的每类剩余的带标注样本中随机抽取一个或多个带标注样本形成样本集Q。
人脸图库可以是取自现有的数据集,也可以是自行采集图像数据形成人脸图库。对应于本申请可以用于识别未遮挡或部分遮挡的人脸图像而言,本实施例中的人脸图库包括未遮挡的人脸图库和部分遮挡的人脸图库,并且部分遮挡的人脸图库包括佩戴口罩的人脸图库和眼部打马赛克的人脸图库。
在人脸图库中,同一个人的照片作为一类,所得到的样本集S用于计算每个类的典型向量计算,样本集Q用于神经网络的训练。并且为了便于数据的统一利于处理,本实施例将每一带标注样本(人脸图像)均预缩放成190*190像素,缩放的大小可根据实际获取的人脸图像质量以及设备处理能力进行调整。
步骤2、取样本集S中每一类带标注样本输入人脸识别模型中,根据人脸识别模型输出的每个类对应的带标注样本的特征向量计算得到每个类对应的典型向量。
典型向量作为一类带标注样本的代表性特征,对人脸图像的识别分类具有重要意义。对于任何一张人脸图像,其特征向量与哪个典型向量距离最近,则判定该人脸图片属于哪个类(即属于哪个人)。
根据取均值的原理,本实施例提供的典型向量计算方法如下:
在每个带标注样本的质量相同的情况下,将样本集S对应的每个类的带标注样本的特征向量求均值,获得每个类的典型向量:
其中,ck表示类别k的典型向量,Zs,k,i表示样本集S中为类别k的第i个带标注样本的特征向量,N表示样本集S中为类别k的带标注样本的总个数。
对于人脸识别模型而言,可以采用现有技术中公开的人脸识别模型获取特征向量,但由于常规的人脸识别模型对部分遮挡的人脸图像识别率低,因此本实施例提供一种可训练性强,且训练所需样本数量少、训练速度快的人脸识别模型如下。
本实施例的人脸识别模型包括前部分CNN神经网络、注意力模块、后部分CNN神经网络。输入人脸识别模型中的图像,作为前部分CNN神经网络的输入,前部分CNN神经网络输出前特征图,该前特征图作为注意力模块的输入,注意力模块的输出与前特征图叠加后作为后部分CNN神经网络的输入,后部分CNN神经网络输出的特征向量即为人脸识别模型输出的特征向量。
本实施例在小样本学习中增加注意力机制,使得针对部分遮挡的人脸识别时能够将识别的注意力集中在未遮挡的特征上,以有效提高人脸识别的准确率。
其中的前后部分CNN神经网络以及注意力模块基于现有的网络模块也可以实现,但本申请为了充分提取人脸图像中的有效特征,以便于实现在小样本环境下的高准确率识别,提供了优选的网络模块如下。
其中,前部分CNN神经网络和后部分CNN神经网络均由3个卷积块串接而成,并且每个卷积块包括一个卷积核为3*3的卷积层、一个批量正则化处理、一个ReLU激活函数、一个池化核为2*2的最大池化层。定义形式如下:
一、前部分CNN神经网络
前部分CNN神经网络由3个卷积块串接而成。以人脸灰色图为例,第一个卷积块输入为1个通道,输出为64个通道;第二个卷积块输入为64个通道,输出为64个通道;第三个卷积块输入为64个通道,输出为64个通道。定义形式如下:
由于卷积核为3*3,池化核为2*2,所以,190*190的灰色人脸图经过三个卷积块,最终输出为22*22的特征图。
二、注意力模块
图片经过前部分CNN神经网络,获得22*22的特征图。我们设计一个注意力模块,使特征图经过注意力模块的融合计算之后依旧为22*22的特征图,从而不影响原先网络架构的设计。如图2所示,本实施例提供的一种注意力模块如下。
利用图像内部空间点之间的相关性,构建注意力模块的输出公式如下:
其中,x表示前部分CNN神经网络输出的前特征图,y表示注意力模块输出的注意力特征图,所述前特征图与注意力特征图的尺寸相同,xi表示前特征图中位置i的元素,xj表示前特征图中与位置i关联的位置j的元素,yi表示注意力特征图中位置i的元素,f(xi,xj)表示前特征图中xi和xj之间的关联关系,这种关系包括:i和j的位置距离越远则f值越小,也会包含遮挡区域对重点区域的影响较小。g(xj)表示前特征图在位置j的特征值,C(x)为归一化参数。
本实施例提供的注意力模块相较于传统的CNN神经网络,传统的CNN神经网络只能进行局部邻域内的特征值加权求和,而本实施例提供的注意力模块会体现出远距离范围内的信息的相关性。而相较于传统的全连接操作,传统的全连接操作只能利用学习到的权重计算输入到输出的映射,xi和xj的关系并不会影响到输出,一定程度上损失了位置的相关性,而本实施例提供的注意力模块很好的利用了位置的相关性。
其中,f(xi,xj)、g(xj)和C(x)的计算方式如下:
g(xj)=Wgxj (3)
其中,θ(xi)T=Wθxi、δ(xj)=Wδxj,Wg、Wθ、Wδ分别为权重系数,各权重系数可以是一个预设的固定系数,也可以是一个预设的可调系数。本实施例为了保证针对不同遮挡情况下的人脸图像均具有较优的识别率,设置Wg为一个可学习的权重矩阵,通过空间域的1*1的conv卷积层实现,Wθ和Wδ也可以利用相同的方式实现。
为了便于注意力模块能够灵活的插入到任何神经网络中配合使用,本实施例将注意力模块输出的注意力特征图,与前部分CNN神经网络的输出叠加后作为后部分CNN神经网络的输入,叠加方式如下:
zi=Wzyi+xi (6)
其中,zi为叠加后的特征图中位置i的元素,Wz为叠加权重系数,xi为前部分CNN神经网络输出前特征图中位置i的元素,yi为注意力模块输出的注意力特征图中位置i的元素。如此叠加,使得叠加后的特征图与原先的特征图保持一致的尺寸。同时,当Wz=0相当于未引入注意力机制。
本实施例设计了空间区域关联的注意力机制,驱动神经网络更关注遮挡区域以外的特征;并且利用注意力机制进行加权平均效果,代替了取平均值时的加权,从而有效提高识别准确率。
如图3所示,本实施例还提供了另一种注意力模块的实现,该注意力模块接收前特征图后,先经过卷积核为5*5的卷积层,填充数量为2使输出特征图尺寸保持不变,并使用ReLU激活;随后进入卷积核为1*1的卷积层,输出通道数仅为1,并使用Sigmoid函数激活,最后将输出特征图沿通道方向广播后,与原来的前特征图进行元素乘积后作为注意力模块的输出。
本申请提供的两种注意力模块对人脸识别均具有较好的效果,在实际使用过程中可以随机选择一种进行使用,也可以根据运行设备的性能或者计算能力等选择适宜的注意力模块使用。
三、后部分CNN神经网络
后部分CNN神经网络由3个卷积块串接而成。第一个卷积块输入为64个通道,输出为64个通道;第二个卷积块输入为64个通道,输出为64个通道;第三个卷积块输入为64个通道,输出为64个通道。定义形式如下:
由于卷积核为3*3,池化核为2*2,所以,22*22的灰色人脸图经过三个卷积块,最终输出为1*1的特征图。将64通道的1*1合并可以获得64维的特征向量。
步骤3、将样本集Q中的所有带标注样本分别输入人脸识别模型中,根据人脸识别模型输出的特征向量计算总损失函数,利用随机梯度下降法优化总损失函数,得到优化后的人脸识别模型。
对于不同应用场景(例如正常未遮挡人脸识别、部分遮挡人脸识别)而言,每个应用场景对应人脸识别模型不同的最佳网络参数,因此在需要对人脸识别模型中进行优化,以得到具有针对性的神经网络参数。
对于本实施例中人脸图库的多样性而言,若步骤1中的人脸图库为未遮挡的人脸图库,则步骤3中优化后的人脸识别模型为正常人脸识别模型;若步骤1中的人脸图库为佩戴口罩的人脸图库,则步骤3中优化后的人脸识别模型为佩戴口罩人脸识别模型;若步骤1中的人脸图库为眼部打马赛克的人脸图库,则步骤3中优化后的人脸识别模型为眼部马赛克人脸识别模型。即在相同结构的情况下,根据不同的训练样本,能够得到不同场景下的识别模型,由此可见本实施例提供的人脸识别模型具有很强的可塑性。
在对人脸识别模型优化过程中,通常结合损失函数进行神经网络参数的优化,本实施例为了保证算法的灵活性以及普适性,提供两种优化方式如下。
其中一种优化过程为,根据人脸识别模型输出的特征向量计算总损失函数,利用随机梯度下降法优化总损失函数,得到优化后的人脸识别模型,包括:
计算样本集Q中带标注样本x所对应的特征向量ZQ,x与样本集S中类别k的典型向量ck的欧式距离d(ZQ,x,ck),其中d()表示欧式度量函数;
采用Softmax激活函数将欧式距离转化为概率:
其中,p(y=k|x)表示样本集Q中的带标注样本x属于类别k的softmax概率,k′表示样本集Q中除类别k之外的其余类别,k′不包含k。分子表示样本x的特征向量与类别k的典型向量的欧氏距离的负值,并作e的幂运算,距离越近,则分子越大。分母表示样本x的特征向量与样本集Q中其余类别的典型向量的欧氏距离的负值,并作e的幂运算,再求和,距离越远,则分子越小。显然,当样本x与类k的典型向量间的欧式距离越小,同时与其余类的典型向量间的距离越大,则p越大,置信度越高。
获得带标注样本x属于类别k的概率后,采用如下损失函数计算当前神经网络参数下的损失:
样本集Q中的每一个样本均可以产生公式(8)的形式,显然,覆盖多个训练样本,整体最优,才是我们的目标。因此针对样本集Q中的每一个带标注样本均根据损失函数计算当前神经网络参数下的损失,将对应的多个公式(8)相加,即将所有带标注样本在当前神经网络参数下的损失相加得到总损失函数。
对总损失函数使用随机梯度下降法进行优化,得到本次优化后的神经网络参数作为当前最新的神经网络参数。
另一种优化过程为,根据人脸识别模型输出的特征向量计算总损失函数,利用随机梯度下降法优化总损失函数,得到优化后的人脸识别模型,包括:
将样本集S中每个类别的典型向量作为一个有质量的点,将样本集Q中每个带标注样本的特征向量也作为一个有质量的点,并且将样本集Q中的每个带标注样本也作为一个有质量的点,每个类别的典型向量都会对每个带标注样本的特征向量产生一个引力。
对于样本集Q中带标注样本q的特征向量而言,若带标注样本q属于类别k,则类别k的典型向量所产生的引力为正,其他类别的典型向量所产生的引力为负,则所有类别的典型向量对每个带标注样本的特征向量所产生的总引力如下:
其中,Ms,k表示样本集S中类别k的典型向量的质量,Ms,k′表示样本集S中类别k′的典型向量的质量,mQ,q表示样本集Q中带标注样本q的质量;ck表示样本集S中类别k的典型向量,ck′表示样本集S中类别k′的典型向量,ZQ,q表示样本集Q中带标注样本q的特征向量,d()表示欧式度量函数,d2()表示欧式距离的平方,d2(ck,ZQ,q)表ck与ZQ,q之间的欧氏距离的平方;d2(ck′,ZQ,q)表示ck′与Zm之间的欧氏距离的平方,k′表示样本集S中除类别k之外的其余类别,k′不包含k;
典型向量的质量是样本集S中该类所有特征向量的质量平均值。假设每个样本的质量是1,也可以设定每个样本的质量不同,例如有些样本比较清晰则质量高,有些模糊则质量低,质量信息在标注时就记录在样本中;当各样本的质量不同时,典型向量的计算不能取均值,而应该增加权重,则ck的计算公式更改如下:
其中,Mi表示类k中第i个样本的特征向量的质量,Mk总表示类k的样本集S中所有样本的特征向量的质量总和。这个公式表达的含义是,质量越大的样本,其特征在典型向量加权平均时所在的分量就越重。
则总损失函数为样本集Q中所有带标注样本的总引力之和再取反:
对总损失函数使用随机梯度下降法进行优化,得到本次优化后的神经网络参数作为当前最新的神经网络参数。
需要说明的是,两种优化方式均能够得到最优的神经网络参数,因此可随机选择一种进行使用。当然也可以根据运行环境或指定需求进行选择。
执行步骤1~3后得到优化后的人脸识别模型,该人脸识别模型用于对待分类人脸图像进行处理,得到分类预测结果。由于本实施例中的人脸识别模型输出的是特征向量,因此需要对特征向量进一步处理后得到分类预测结果,具体处理过程如步骤4所示。
步骤4、取优化后的人脸识别模型,对待分类的人脸图像输出待分类特征向量,计算待分类特征向量与各典型向量的欧式距离,根据欧式距离取所属概率最大的类别作为分类预测结果输出。
容易理解的是,对待分类人脸图像进行识别是为了识别出人脸图像中的人脸具体为哪一个人,因此步骤4中提及的典型向量为某一特定环境中所有类别的典型向量。例如人脸识别应用环境为小区监控,则步骤4中的待分类的人脸图像为小区监控所获取的人脸图像,典型向量为该小区中根据每个已知人员计算得到的典型向量,计算方法与步骤2中相同,以此判断待分类的人脸图像是否小区中的哪一人员。
在根据欧式距离取所属概率最大的类别作为分类预测结果输出时,可以采用Softmax激活函数将欧式距离转化为概率,得到待分类特征向量属于各个类别的概率,然后取概率值最大的类别作为分类预测结果输出。其中采用Softmax激活函数将欧式距离转化为概率在步骤3中提及,这里就不再重复描述。
从神经网络运行层面来看,步骤1~3相当于神经网络的训练优化,步骤4相当于神经网络的执行,其执行的具体步骤可以是:
1)计算每个类的典型向量:从每个类中选取带标注样本图片,输入优化后的人脸识别模型,先经过前部分CNN网络得到特征图,随后经过注意力模块并与原特征图叠加后形成新的特征图,再经过后部分CNN网络,获得特征向量。按公式(1)对特征向量中属于统一类别的所有特征向量求均值作为典型向量。
2:计算待分类人脸图像的特征向量:选取一个待分类的人脸图像,输入优化后的人脸识别模型;先经过前部分CNN网络得到特征图,随后经过注意力模块并与原特征图叠加后形成新的特征图,再经过后部分CNN网络,获得特征向量。
3:预测类别:求出待分类的人脸图像的特征向量与各个典型向量的欧式距离,并使用公式(7)计算属于各类别的概率,选取最大的概率对应的类别作为分类预测结果输出。
基于本实施例训练得到的人脸识别模型,可进一步优化得到一个更加完整的系统识别模型,在神经网络的执行中,为了同时适应带口罩的人脸识别和眼部打马赛克的人脸识别,增加一个判别网络,即系统识别模型包括一个判断网络以及连接在判断网络输出位置的三个分支网络,这三个分支网络为针对不同人脸图库训练得到的正常人脸识别模型、佩戴口罩人脸识别模型、眼部马赛克人脸识别模型。
因此步骤4在获取待分类的人脸图像后先输入判别网络。
由判别网络检测待分类的人脸图像的遮挡情况,若待分类的人脸图像的遮挡情况为未遮挡的人脸图像,则所取的优化后的人脸识别模型为正常人脸识别模型;若待分类的人脸图像的遮挡情况为佩戴口罩的人脸图像,则所取的优化后的人脸识别模型为佩戴口罩人脸识别模型;若待分类的人脸图像的遮挡情况为眼部打马赛克的人脸图像,则所取的优化后的人脸识别模型为眼部马赛克人脸识别模型。
最后根据所取的人脸识别模型,对待分类的人脸图像输出待分类特征向量,计算待分类特征向量与各典型向量的欧式距离,根据欧式距离取所属概率最大的类别作为分类预测结果输出。
针对整个系统识别网络而言,其可以增加或减少分支,以适应不同的应用场景,并且不同的遮挡情况由对应的人脸识别模型进行识别,以有效提高识别的准确性,实现了自适应不同部位遮挡的人脸识别处理机制。
应该理解的是,虽然图1的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图1中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (9)
1.一种部分遮挡的人脸识别小样本学习方法,其特征在于,所述部分遮挡的人脸识别小样本学习方法,包括:
步骤1、从人脸图库的所有人脸类别中随机抽取A类,在A类对应的每类中抽取若干个带标注样本形成样本集S,在A类对应的每类剩余的带标注样本中随机抽取一个或多个带标注样本形成样本集Q;
步骤2、取样本集S中每一类带标注样本输入人脸识别模型中,根据人脸识别模型输出的每个类对应的带标注样本的特征向量计算得到每个类对应的典型向量;
步骤3、将样本集Q中的所有带标注样本分别输入人脸识别模型中,根据人脸识别模型输出的特征向量计算总损失函数,利用随机梯度下降法优化总损失函数,得到优化后的人脸识别模型;
步骤4、取优化后的人脸识别模型,对待分类的人脸图像输出待分类特征向量,计算待分类特征向量与各典型向量的欧式距离,根据欧式距离取所属概率最大的类别作为分类预测结果输出;
所述人脸识别模型包括前部分CNN神经网络、注意力模块、后部分CNN神经网络,输入人脸识别模型中的图像,作为所述前部分CNN神经网络的输入,所述前部分CNN神经网络输出前特征图,所述前特征图作为所述注意力模块的输入,所述注意力模块的输出与所述前特征图叠加后作为所述后部分CNN神经网络的输入,所述后部分CNN神经网络输出的特征向量即为人脸识别模型输出的特征向量。
2.如权利要求1所述的部分遮挡的人脸识别小样本学习方法,其特征在于,所述人脸图库包括未遮挡的人脸图库和部分遮挡的人脸图库,所述部分遮挡的人脸图库包括佩戴口罩的人脸图库和眼部打马赛克的人脸图库;
若步骤1中的所述人脸图库为未遮挡的人脸图库,则步骤3中优化后的人脸识别模型为正常人脸识别模型;若步骤1中的所述人脸图库为佩戴口罩的人脸图库,则步骤3中优化后的人脸识别模型为佩戴口罩人脸识别模型;若步骤1中的所述人脸图库为眼部打马赛克的人脸图库,则步骤3中优化后的人脸识别模型为眼部马赛克人脸识别模型。
4.如权利要求2所述的部分遮挡的人脸识别小样本学习方法,其特征在于,所述步骤4还包括:
获取待分类的人脸图像输入判别网络;
由判别网络检测待分类的人脸图像的遮挡情况,若待分类的人脸图像的遮挡情况为未遮挡的人脸图像,则所取的优化后的人脸识别模型为正常人脸识别模型;若待分类的人脸图像的遮挡情况为佩戴口罩的人脸图像,则所取的优化后的人脸识别模型为佩戴口罩人脸识别模型;若待分类的人脸图像的遮挡情况为眼部打马赛克的人脸图像,则所取的优化后的人脸识别模型为眼部马赛克人脸识别模型。
5.如权利要求1所述的部分遮挡的人脸识别小样本学习方法,其特征在于,所述根据人脸识别模型输出的特征向量计算总损失函数,利用随机梯度下降法优化总损失函数,得到优化后的人脸识别模型,包括:
计算样本集Q中带标注样本x所对应的特征向量ZQ,x与样本集S中类别k的典型向量ck的欧式距离d(ZQ,x,ck),其中d()表示欧式度量函数;
采用Softmax激活函数将欧式距离转化为概率:
其中,p(y=k|x)表示样本集Q中的带标注样本x属于类别k的softmax概率,k′表示样本集Q中除类别k之外的其余类别,k′不包含k;
获得带标注样本x属于类别k的概率后,采用如下损失函数计算当前神经网络参数下的损失:
针对样本集Q中的每一个带标注样本均根据所述损失函数计算当前神经网络参数下的损失,并将所有带标注样本在当前神经网络参数下的损失相加得到总损失函数,对总损失函数使用随机梯度下降法进行优化;
重复步骤1~步骤3,不断训练神经网络参数,直至优化至总损失函数的总损失最小,得到最优的神经网络参数,确定优化后的人脸识别模型。
6.如权利要求1所述的部分遮挡的人脸识别小样本学习方法,其特征在于,所述根据人脸识别模型输出的特征向量计算总损失函数,利用随机梯度下降法优化总损失函数,得到优化后的人脸识别模型,包括:
将样本集S中每个类别的典型向量作为一个有质量的点,将样本集Q中每个带标注样本的特征向量也作为一个有质量的点,每个类别的典型向量都会对每个带标注样本的特征向量产生一个引力;
对于样本集Q中带标注样本q的特征向量而言,若带标注样本q属于类别k,则类别k的典型向量所产生的引力为正,其他类别的典型向量所产生的引力为负,则所有类别的典型向量对每个带标注样本的特征向量所产生的总引力如下:
其中,Ms,k表示样本集S中类别k的典型向量的质量,Ms,k′表示样本集S中类别k′的典型向量的质量,mQ,q表示样本集Q中带标注样本q的质量;ck表示样本集S中类别k的典型向量,ck′表示样本集S中类别k′的典型向量,ZQ,q表示样本集Q中带标注样本q的特征向量,d()表示欧式度量函数,d2()表示欧式距离的平方,d2(ck,ZQ,q)表ck与ZQ,q之间的欧氏距离的平方;d2(ck′,ZQ,q)表示ck′与Zm之间的欧氏距离的平方,k′表示样本集S中除类别k之外的其余类别,k′不包含k;
则总损失函数为样本集Q中所有带标注样本的总引力之和再取反:
对总损失函数使用随机梯度下降法进行优化;
重复步骤1~步骤3,不断训练神经网络参数,直至优化至总损失函数的总损失最小,得到最优的神经网络参数,确定优化后的人脸识别模型。
7.如权利要求1所述的部分遮挡的人脸识别小样本学习方法,其特征在于,所述前部分CNN神经网络和后部分CNN神经网络均由3个卷积块串接而成,并且每个卷积块包括一个卷积核为3*3的卷积层、一个批量正则化处理、一个ReLU激活函数、一个池化核为2*2的最大池化层。
8.如权利要求1所述的部分遮挡的人脸识别小样本学习方法,其特征在于,所述注意力模块,包括:
利用图像内部空间点之间的相关性,构建注意力模块的输出公式如下:
其中,x表示前部分CNN神经网络输出的前特征图,y表示注意力模块输出的注意力特征图,所述前特征图与注意力特征图的尺寸相同,xi表示前特征图中位置i的元素,xj表示前特征图中与位置i关联的位置j的元素,yi表示注意力特征图中位置i的元素,f(xi,xj)表示前特征图中xi和xj之间的关联关系,g(xj)表示前特征图在位置j的特征值,C(x)为归一化参数;
其中,f(xi,xj)、g(xj)和C(x)的计算方式如下:
g(xj)=Wgxj
其中,θ(xi)T=Wθxi、δ(xj)=Wδxj,其中Wg、Wθ、Wδ分别为权重系数;
得到注意力模块输出的注意力特征图,与前部分CNN神经网络的输出叠加后作为后部分CNN神经网络的输入,叠加方式如下:
zi=Wzyi+xi
其中,zi为叠加后的特征图中位置i的元素,Wz为叠加权重系数,xi为前部分CNN神经网络输出前特征图中位置i的元素,yi为注意力模块输出的注意力特征图中位置i的元素。
9.如权利要求1所述的部分遮挡的人脸识别小样本学习方法,其特征在于,所述注意力模块,包括:
所述注意力模块接收前特征图后,先经过卷积核为5*5的卷积层,填充数量为2使输出特征图尺寸保持不变,并使用ReLU激活;随后进入卷积核为1*1的卷积层,输出通道数仅为1,并使用Sigmoid函数激活,最后将输出特征图沿通道方向广播后,与原来的前特征图进行元素乘积后作为注意力模块的输出。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010817727.4A CN112149500B (zh) | 2020-08-14 | 2020-08-14 | 一种部分遮挡的人脸识别小样本学习方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010817727.4A CN112149500B (zh) | 2020-08-14 | 2020-08-14 | 一种部分遮挡的人脸识别小样本学习方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112149500A true CN112149500A (zh) | 2020-12-29 |
CN112149500B CN112149500B (zh) | 2023-11-17 |
Family
ID=73888815
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010817727.4A Active CN112149500B (zh) | 2020-08-14 | 2020-08-14 | 一种部分遮挡的人脸识别小样本学习方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112149500B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113111804A (zh) * | 2021-04-16 | 2021-07-13 | 北京房江湖科技有限公司 | 一种人脸检测的方法、装置、电子设备及存储介质 |
CN113469111A (zh) * | 2021-07-16 | 2021-10-01 | 中国银行股份有限公司 | 图像关键点检测方法及系统、电子设备、存储介质 |
CN113743363A (zh) * | 2021-09-17 | 2021-12-03 | 中国人民解放军国防科技大学 | 一种基于无人机系统小样本的遮挡目标识别方法 |
CN113971737A (zh) * | 2021-10-20 | 2022-01-25 | 国网上海市电力公司 | 用于机器人的物体识别方法、电子设备、介质和程序产品 |
CN115153572A (zh) * | 2022-06-30 | 2022-10-11 | 华中科技大学 | 一种小样本场景下的心电异常检测与识别方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107463920A (zh) * | 2017-08-21 | 2017-12-12 | 吉林大学 | 一种消除局部遮挡物影响的人脸识别方法 |
US20190258925A1 (en) * | 2018-02-20 | 2019-08-22 | Adobe Inc. | Performing attribute-aware based tasks via an attention-controlled neural network |
WO2019169816A1 (zh) * | 2018-03-09 | 2019-09-12 | 中山大学 | 一种用于精细化识别车辆属性的深度神经网络及训练方法 |
CN111369442A (zh) * | 2020-03-10 | 2020-07-03 | 西安电子科技大学 | 基于模糊核分类与注意力机制的遥感图像超分辨重建方法 |
-
2020
- 2020-08-14 CN CN202010817727.4A patent/CN112149500B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107463920A (zh) * | 2017-08-21 | 2017-12-12 | 吉林大学 | 一种消除局部遮挡物影响的人脸识别方法 |
US20190258925A1 (en) * | 2018-02-20 | 2019-08-22 | Adobe Inc. | Performing attribute-aware based tasks via an attention-controlled neural network |
WO2019169816A1 (zh) * | 2018-03-09 | 2019-09-12 | 中山大学 | 一种用于精细化识别车辆属性的深度神经网络及训练方法 |
CN111369442A (zh) * | 2020-03-10 | 2020-07-03 | 西安电子科技大学 | 基于模糊核分类与注意力机制的遥感图像超分辨重建方法 |
Non-Patent Citations (2)
Title |
---|
张家瑜;周迪斌;魏东亮;金秉文;解利军;: "基于双线性CNN与DenseBlock的导光板标记线缺陷检测", 计算机系统应用, no. 07 * |
朱烨;陈世平;: "最近邻注意力和卷积神经网络的文本分类模型", 小型微型计算机系统, no. 02 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113111804A (zh) * | 2021-04-16 | 2021-07-13 | 北京房江湖科技有限公司 | 一种人脸检测的方法、装置、电子设备及存储介质 |
CN113111804B (zh) * | 2021-04-16 | 2024-06-04 | 贝壳找房(北京)科技有限公司 | 一种人脸检测的方法、装置、电子设备及存储介质 |
CN113469111A (zh) * | 2021-07-16 | 2021-10-01 | 中国银行股份有限公司 | 图像关键点检测方法及系统、电子设备、存储介质 |
CN113743363A (zh) * | 2021-09-17 | 2021-12-03 | 中国人民解放军国防科技大学 | 一种基于无人机系统小样本的遮挡目标识别方法 |
CN113971737A (zh) * | 2021-10-20 | 2022-01-25 | 国网上海市电力公司 | 用于机器人的物体识别方法、电子设备、介质和程序产品 |
CN115153572A (zh) * | 2022-06-30 | 2022-10-11 | 华中科技大学 | 一种小样本场景下的心电异常检测与识别方法及系统 |
CN115153572B (zh) * | 2022-06-30 | 2024-09-13 | 华中科技大学 | 一种小样本场景下的心电异常检测与识别方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN112149500B (zh) | 2023-11-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2022036777A1 (zh) | 基于卷积神经网络的人体动作姿态智能估计方法及装置 | |
CN111639692B (zh) | 一种基于注意力机制的阴影检测方法 | |
CN112149500A (zh) | 一种部分遮挡的人脸识别小样本学习方法 | |
CN107358626B (zh) | 一种利用条件生成对抗网络计算视差的方法 | |
CN107203753B (zh) | 一种基于模糊神经网络和图模型推理的动作识别方法 | |
CN108830157B (zh) | 基于注意力机制和3d卷积神经网络的人体行为识别方法 | |
CN107529650B (zh) | 闭环检测方法、装置及计算机设备 | |
CN113221663B (zh) | 一种实时手语智能识别方法、装置及系统 | |
CN109410247A (zh) | 一种多模板和自适应特征选择的视频跟踪算法 | |
CN111166290A (zh) | 一种健康状态检测方法、设备和计算机存储介质 | |
CN114463677B (zh) | 一种基于全局注意力的安全帽配戴检测方法 | |
Mac et al. | Learning motion in feature space: Locally-consistent deformable convolution networks for fine-grained action detection | |
CN107194344B (zh) | 自适应骨骼中心的人体行为识别方法 | |
CN112507920B (zh) | 一种基于时间位移和注意力机制的考试异常行为识别方法 | |
CN115661943A (zh) | 一种基于轻量级姿态评估网络的跌倒检测方法 | |
CN111414875B (zh) | 基于深度回归森林的三维点云头部姿态估计系统 | |
CN112418032A (zh) | 一种人体行为识别方法、装置、电子设备及存储介质 | |
CN111091102B (zh) | 一种视频分析装置、服务器、系统及保护身份隐私的方法 | |
CN113763417A (zh) | 一种基于孪生网络和残差结构的目标跟踪方法 | |
CN116543433A (zh) | 一种基于改进YOLOv7模型的口罩佩戴检测方法和装置 | |
CN106447691A (zh) | 基于加权多示例学习的加权极限学习机视频目标跟踪方法 | |
Chen et al. | Gradtail: Learning long-tailed data using gradient-based sample weighting | |
CN113313133A (zh) | 一种生成对抗网络的训练方法、动画图像生成方法 | |
CN114005157B (zh) | 一种基于卷积神经网络的像素位移向量的微表情识别方法 | |
Kunchala et al. | Smpl-based 3d pedestrian pose prediction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |