CN108985135A - 一种人脸检测器训练方法、装置及电子设备 - Google Patents

一种人脸检测器训练方法、装置及电子设备 Download PDF

Info

Publication number
CN108985135A
CN108985135A CN201710406726.9A CN201710406726A CN108985135A CN 108985135 A CN108985135 A CN 108985135A CN 201710406726 A CN201710406726 A CN 201710406726A CN 108985135 A CN108985135 A CN 108985135A
Authority
CN
China
Prior art keywords
training sample
sample
class
human
batch data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710406726.9A
Other languages
English (en)
Inventor
王浩
李志锋
季兴
王同
王一同
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201710406726.9A priority Critical patent/CN108985135A/zh
Priority to CN201910834138.4A priority patent/CN110490177A/zh
Priority to MA048806A priority patent/MA48806A/fr
Priority to JP2019525952A priority patent/JP6855098B2/ja
Priority to PCT/CN2018/079281 priority patent/WO2018219016A1/zh
Priority to KR1020197026337A priority patent/KR102236046B1/ko
Priority to EP18810647.0A priority patent/EP3633549A4/en
Priority to TW107113594A priority patent/TWI665613B/zh
Publication of CN108985135A publication Critical patent/CN108985135A/zh
Priority to US16/392,270 priority patent/US10929644B2/en
Priority to US17/109,574 priority patent/US11594070B2/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Abstract

本发明实施例提供一种人脸检测器训练方法、装置及电子设备，该方法包括：获取当前次迭代的批数据训练样本；确定各训练样本对应的中心损失值；根据各训练样本对应的中心损失值，确定批数据训练样本对应的中心损失值；至少根据批数据训练样本对应的中心损失值，确定人脸检测器的目标损失值；若人脸检测器的目标损失值未达到收敛条件，根据人脸检测器的目标损失值，更新CNN模型中的网络参数，并进入下一次迭代；若人脸检测器的目标损失值达到收敛条件，输出人脸检测器。本发明实施例能够使得人脸检测器在保证对人脸和非人脸具有较高的类间检测性能的同时，对于人脸的类内差异具有不变性，提升人脸检测的鲁棒性。

Description

一种人脸检测器训练方法、装置及电子设备
技术领域
本发明涉及图像处理技术领域，具体涉及一种人脸检测器训练方法、装置及电子设备。
背景技术
人脸检测是通过人脸检测器从图像中检测出人脸的技术，人脸检测器的训练好坏，直接影响到人脸的检测效果，因此如何优化人脸检测器的训练过程一直是本领域技术人员研究的重点。
随着深度学习的发展，基于CNN(Convolutional Neural Network，卷积神经网络)的人脸检测器训练已成为人脸检测器的一种主流训练方式，例如使用Faster RCNN(FasterRegion-based Convolutional Neural Network)的卷积神经网络进行人脸检测器的训练等；基于CNN的人脸检测器的训练过程主要是：构建CNN模型，通过训练样本进行迭代的训练，以在每次迭代时更新CNN模型的网络参数，实现人脸检测器的训练优化；其中，每次迭代时更新CNN模型的网络参数的过程，可以认为是人脸检测器的优化过程。
本发明的发明人发现，目前的人脸检测器的优化目标主要是最大化人脸和非人脸的差异(即最大化类间差异)，然而对于人脸和人脸之间的差异则没有太多的关注，这使得人脸检测器在应对不同场景下的人脸变化时，人脸检测的判别能力较弱，鲁棒性较差。
发明内容
有鉴于此，本发明实施例提供一种人脸检测器训练方法、装置及电子设备，以提升人脸检测器的人脸检测判别能力，提升人脸检测器的鲁棒性。
为实现上述目的，本发明实施例提供如下技术方案：
一种人脸检测器训练方法，包括：
获取当前次迭代的批数据训练样本，所述批数据训练样本包括多个训练样本，所述多个训练样本的样本类包括：正类和负类；
分别根据各训练样本的特征向量，及各训练样本所属的样本类的中心特征向量，确定各训练样本对应的中心损失值；
根据所述各训练样本对应的中心损失值，确定所述批数据训练样本对应的中心损失值；
至少根据所述批数据训练样本对应的中心损失值，确定人脸检测器的目标损失值；
若所述人脸检测器的目标损失值未达到设定的训练收敛条件，根据所述人脸检测器的目标损失值，更新卷积神经网络CNN模型的网络参数，并进入下一次迭代；
若所述人脸检测器的目标损失值达到设定的训练收敛条件，输出人脸检测器。
本发明实施例还提供一种人脸检测器训练装置，包括：
样本获取模块，用于获取当前次迭代的批数据训练样本，所述批数据训练样本包括多个训练样本，所述多个训练样本的样本类包括：正类和负类；
样本中心损失值确定模块，用于分别根据各训练样本的特征向量，及各训练样本所属的样本类的中心特征向量，确定各训练样本对应的中心损失值；
批样本中心损失值确定模块，用于根据所述各训练样本对应的中心损失值，确定所述批数据训练样本对应的中心损失值；
检测器目标损失值确定模块，用于至少根据所述批数据训练样本对应的中心损失值，确定人脸检测器的目标损失值；
参数更新模块，用于若所述人脸检测器的目标损失值未达到设定的训练收敛条件，根据所述人脸检测器的目标损失值，更新卷积神经网络CNN模型的网络参数，并进入下一次迭代；
检测器输出模块，用于若所述人脸检测器的目标损失值达到设定的训练收敛条件，输出人脸检测器。
本发明实施例还提供一种电子设备，包括：存储器和处理器；
所述存储器存储有程序，所述处理器调用所述程序，所述程序用于：
获取当前次迭代的批数据训练样本，所述批数据训练样本包括多个训练样本，所述多个训练样本的样本类包括：正类和负类；
分别根据各训练样本的特征向量，及各训练样本所属的样本类的中心特征向量，确定各训练样本对应的中心损失值；
根据所述各训练样本对应的中心损失值，确定所述批数据训练样本对应的中心损失值；
至少根据所述批数据训练样本对应的中心损失值，确定人脸检测器的目标损失值；
若所述人脸检测器的目标损失值未达到设定的训练收敛条件，根据所述人脸检测器的目标损失值，更新卷积神经网络CNN模型的网络参数，并进入下一次迭代；
若所述人脸检测器的目标损失值达到设定的训练收敛条件，输出人脸检测器。
基于上述技术方案，本发明实施例提供的人脸检测器训练流程可以包括：获取当前次迭代的批数据训练样本，所述批数据训练样本包括多个训练样本，所述多个训练样本的样本类包括：正类和负类；分别根据各训练样本的特征向量，及各训练样本所属的样本类的中心特征向量，确定各训练样本对应的中心损失值；根据所述各训练样本对应的中心损失值，确定所述批数据训练样本对应的中心损失值；至少根据所述批数据训练样本对应的中心损失值，确定人脸检测器的目标损失值；如果所述人脸检测器的目标损失值未达到设定的训练收敛条件，则根据所述人脸检测器的目标损失值，更新CNN模型中的网络参数，并进入下一次迭代，直至人脸检测器的目标损失值达到设定的训练收敛条件；如果所述人脸检测器的目标损失值达到设定的训练收敛条件，则可输出人脸检测器，完成人脸检测器的训练。
本发明实施例中，人脸检测器的训练优化目标结合了批数据训练样本对应的中心损失值，可使得人脸检测器对于人脸和人脸之间的类内差异具有不变性，因此结合批数据训练样本对应的中心损失值进行人脸检测器的优化的训练，可使优化训练后的人脸检测器能够在保证对人脸和非人脸具有较高的类间检测性能的同时，对于人脸的类内差异具有不变性，提升人脸检测的鲁棒性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为CNN模型的结构；
图2为CNN模型的另一结构；
图3为电子设备的硬件结构框图；
图4为本发明实施例提供的人脸检测器训练方法的流程图；
图5为基于CNN模型的人脸检测器训练示意图；
图6为人脸框坐标回归损失值的确定方法流程图；
图7为批数据训练样本的获取方法流程图；
图8为本发明实施例提供的人脸检测器训练装置的结构框图；
图9为本发明实施例提供的人脸检测器训练装置的另一结构框图；
图10为本发明实施例提供的人脸检测器训练装置的再一结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例基于CNN所构建的一种可选的CNN模型可以如图1所示，包括：基础网络层，候选框预测层，人脸检测层；
其中，基础网络层可以是由一系列的卷积层(Convolution)和池化层(Pooling)依次连接构成的子网络，基础网络层可以通过一系列的卷积层对每一训练样本(训练样本可以是图像形式的样本)进行逐层的卷积处理，其中下一卷积层卷积处理上一卷积层输出的卷积处理结果；这里面，多层卷积层处理的图像特征中，浅层特征能够表示丰富的边缘角点、纹理结构等特征，深层特征是基于浅层特征的进一步抽象映射，通过多层卷积层的逐层卷积处理，可以实现不同层次的图像特征的提取；而针对每一训练样本，基础网络层输出的是最后一层的卷积层卷积处理后的特征图(Feature map)，特征图可以是图像特征的一种表示；
候选框预测层可以是全卷积结构的子网络，建立在基础网络层输出的图像特征之上，候选框预测层可以通过卷积层对每一训练样本的特征进行映射，从而通过映射的结点建立候选框分类器和候选框回归器，形成候选框检测器；候选框分类器可用于进行候选框(Proposals)的概率预测，候选框回归器可用于进行候选框的坐标预测，从而输出候选框(Proposals)，候选框预测层输出的候选框可以输入到人脸检测层；
人脸检测层可以是包含关注区域池化层(RoI Pooling)的子网络，建立在基础网络层输出的图像特征，和候选框预测层输出的候选框的基础上；针对每一训练样本，人脸检测层可以基于候选框(Proposals)对基础网络层的输出的训练样本的图像特征做降维的采样，得到固定尺寸的特征图，将特征图中所有的结点连接映射到固定长度的特征向量，从而得到每一训练样本的特征向量，基于每一训练样本的特征向量建立人脸分类器和人脸回归器，人脸分类器和人脸回归器联合构成了人脸检测器，其中，人脸分类器能够预测人脸和非人脸的概率，人脸回归器可基于候选框进行更为准确的人脸框的坐标回归。
进一步，图1所示CNN模型的进一步可选细化可通过基于Faster RCNN的CNN模型实现，Faster RCNN是一种人脸检测的经典算法，分为RPN(Region Proposal Networks)层和Fast RCNN层，RPN层生成候选框，Fast RCNN层可基于候选框得到最终的检测结果；
如图2所示，基于Faster RCNN的CNN模型可以包括：基础网络层，RPN层，Fast RCNN层；其中，RPN层可以认为是候选框预测层的一种可选实现，Fast RCNN层可以认为是人脸检测层的一种可选实现；
在本发明实施例中，RPN层的目标是基于基础网络层输出的图像特征产生候选框，在这个过程中，本发明实施例可预先定义多个锚框，该多个锚框覆盖不同尺度与长宽比，通过该预先定义的多个锚框可确定训练样本中的子框，通过该子框预测候选框(如利用该子框可以训练候选框检测器，从而通过候选框检测器进行候选框的预测)；
可选的，锚框是用来定义和建立候选框(Proposal)的分类器和回归器的，是RPN层里面的。RPN可以看出是候选框检测器。具体来说，每个锚框都关联一个检测器(分类加回归)，分类和回归有预测值和目标值才能进行训练和学习。RPN里面，分类目标值的确定(也就是如何定义这个输出是正类还是负类)是根据锚框和真实框的重叠率。类似，Fast RCNN里面，分类目标值的确定是根据候选框与真实框的重叠率。因此，RPN用到的锚框与FastRCNN用到的候选框在建立分类器时有相似的作用，锚框可看成候选框的候选框。RPN可对图像特征经过卷积处理后的每个结点都建立多个候选框检测器(每个候选框检测器关联一个锚框)。
Fast RCNN层的目标是基于候选框和基础网络层输出的图像特征，生成训练样本的特征向量，从而以训练样本的特征向量建立人脸分类器和人脸回归器，人脸分类器和人脸回归器联合构成人脸检测器。
为使得人脸检测器具有更好的检测效果，可通过随机梯度下降算法(StochasticGradient Descent，SGD)等模型优化算法，进行迭代训练，在每一次迭代时，通过从训练样本集合中选取批数据训练样本进行训练，然后在每一次迭代中视人脸检测器的优化目标是否达成，来更新CNN模型的网络参数；
目前主要是以最大化人脸和非人脸的差异作为人脸检测器的优化目标，而忽视了人脸和人脸之间在不同场景下的人脸变化差异，例如忽视了人脸在不同的拍摄角度、分辨率、光照条件、表情变化、遮挡等场景下的变化差异，导致训练出的人脸检测器的判别能力较弱，鲁棒性较差；例如，类内人脸和人脸(例如有光照和无光照)的差异太大，就会被判别为不同类，而实际上应该是同类，因此本发明实施例需要使得类内差异尽可能小，保证人脸检测器对类内差异具有不变性；
基于此，本发明实施例对人脸检测器的迭代训练优化过程进行了改进，提出新的人脸检测器训练方法，以保证人脸检测器在对人脸和非人脸具有较高检测性能的同时，减小人脸和人脸之间的类内差异，提升人脸检测器的判别能力。
本发明实施例提供的人脸检测器训练方法可通过程序形式装载在用于实施人脸检测器训练的电子设备上，该电子设备可以是网络侧的服务器，也可能是用户侧的PC(个人计算机)等终端设备，该电子设备的形式可视人脸检测器的实际训练需求而定；
可选的，用于实施人脸检测器训练的电子设备的硬件结构可以如图3所示，包括：至少一个处理器1，至少一个通信接口2，至少一个存储器3和至少一个通信总线4；
在本发明实施例中，处理器1、通信接口2、存储器3、通信总线4的数量为至少一个，且处理器1、通信接口2、存储器3通过通信总线4完成相互间的通信；显然，图3所示的处理器1、通信接口2、存储器3和通信总线4的通信连接示意仅是可选的；
可选的，通信接口2可以为通信模块的接口，如GSM模块的接口；
处理器1可能是一个中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。
存储器3可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。
其中，存储器3存储有程序，处理器1调用存储器3所存储的程序，该程序可用于执行本发明实施例提供的人脸检测器训练方法。
本发明实施例可通过随机梯度下降算法(Stochastic Gradient Descent，SGD)等模型优化算法进行人脸检测器的迭代训练，SGD是常用的卷积神经网络优化算法，对解决大规模机器学习问题有效，SGD在每次迭代时，会使用从训练样本集合中随机抽取的批数据训练样本(Minibatch)进行梯度下降优化。
以一次迭代涉及的人脸检测器训练为例，本发明实施例提供的人脸检测器训练方法的流程可以如图4所示，每次迭代涉及的人脸检测器训练流程均可参照图4所示，参照图4，本发明实施例提供的人脸检测器训练方法可以包括：
步骤S100、获取当前次迭代的批数据训练样本，所述批数据训练样本包括多个训练样本，所述多个训练样本的样本类包括：正类和负类。
可选的，批数据训练样本(Minibatch)为从包含所有训练样本的训练样本集合中选取的；
人脸检测器可以认为是实现二分类任务(人脸和非人脸)，在每次迭代时，可以从训练样本集合中获取多个人脸图像作为正类的训练样本，获取多个非人脸图像作为负类的训练样本，将获取的正类的训练样本和负类的训练样本构成每次迭代的批数据训练样本；
相应的，当前次迭代使用的批数据训练样本可以包括：多个训练样本，该多个训练样本的样本类可以分为正类(即对应以人脸图像作为的正类的训练样本)和负类(即对应以非人脸图像作为的负类的训练样本)。
步骤S110、分别根据各训练样本的特征向量，及各训练样本所属的样本类的中心特征向量，确定各训练样本对应的中心损失值。
对于所述批数据训练样本中的一训练样本，本发明实施例可确定该训练样本的特征向量，及该训练样本所属的样本类在所述批数据训练样本中对应的中心特征向量，从而确定出该训练样本对应的中心损失值，对于所述批数据训练样本中的每一训练样本均进行此处理，可得到所述批数据训练样本中各训练样本对应的中心损失值；
可选的，所述批数据训练样本中一样本类的中心特征向量可以通过，当前次迭代中所述批数据训练样本中属于该样本类的训练样本的特征向量的均值对应的更新；
可选的，对于一样本类，本发明实施例可确定所述批数据训练样本中属于该样本类的各训练样本；根据所述批数据训练样本中属于该样本类的各训练样本的特征向量，确定属于该样本类的各训练样本的特征向量的均值，得到所述批数据训练样本中该样本类的中心特征向量的更新变量；根据所述更新变量和设定学习率，得到所述批数据训练样本中该样本类的中心特征向量，以实现根据所述批数据训练样本中一样本类的各训练样本的特征向量的均值，更新该样本类的中心特征向量；
可选的，本发明实施例可根据如下公式确定批数据训练样本中一样本类的中心特征向量：
其中，α表示设定学习率，表示更新变量，表示第j样本类在第t次迭代中所使用的批数据训练样本对应的中心特征向量，表示第j样本类在第t+1次迭代中所使用的批数据训练样本对应的中心特征向量；
即可选的，对于一样本类，本发明实施例可将上一次迭代时批数据训练样本在该样本类对应的中心特征向量，减去，所述更新变量和设定学习率的乘积，得到当前次迭代时批数据训练样本在该样本类对应的中心特征向量。
可选的，对于所述批数据训练样本中正类的样本类，本发明实施例可确定所述批数据训练样本中属于正类的各训练样本的特征向量，确定属于正类的各训练样本的特征向量的均值，从而更新正类的样本类的中心特征向量；相应的，对于所述批数据训练样本中负类的样本类，本发明实施例可确定所述批数据训练样本中属于负类的各训练样本的特征向量，确定属于负类的各训练样本的特征向量的均值，从而更新负类的样本类的中心特征向量；
可选的，进一步，对于所述批数据训练样本中正类的各训练样本，本发明实施例可分别根据正类的各训练样本的特征向量，与正类的样本类的中心特征向量，确定出正类的各训练样本对应的中心损失值；对于所述批数据训练样本中负类的各训练样本，本发明实施例可分别根据负类的各训练样本的特征向量，与负类的样本类的中心特征向量，确定出负类的各训练样本对应的中心损失值。
可选的，一训练样本的中心损失值可以通过该训练样本的特征向量，与该训练样本所属的样本类的中心特征向量的距离表示；假设xi表示批数据训练样本中的第i个训练样本，yi表示xi所属于样本类(可设yi＝1表示正类，yi＝0表示负类，当然，也可设置yi＝0表示负类，yi＝1表示正类，只要正类和负类对应的yi值不同即可)，cyi表示xi所属于样本类yi的中心特征向量，则xi样本的中心损失值可以定义为：
需要说明的是，一训练样本的特征向量的确定过程可以是：基础网络层输出训练样本的图像特征后，人脸检测层根据候选框(Proposals)确定训练样本中的关注区域，从而人脸检测层对训练样本的关注区域的图像特征做降维的采样，得到固定尺寸的特征图，将特征图中所有的结点连接映射到固定长度的特征向量，得到训练样本的特征向量。
步骤S120、根据所述各训练样本对应的中心损失值，确定所述批数据训练样本对应的中心损失值。
可选的，本发明实施例可根据各训练样本对应的中心损失值，确定各训练样本对应的中心损失值的均值，根据各训练样本对应的中心损失值的均值确定出所述批数据训练样本对应的中心损失值；
可选的，本发明实施例可直接将各训练样本对应的中心损失值的均值作为所述批数据训练样本对应的中心损失值，也可以将各训练样本对应的中心损失值的均值乘以设定数值(如乘以1/2)，得到所述批数据训练样本对应的中心损失值。
假设批数据训练样本有共m个训练样本，则批数据训练样本对应的中心损失值可以表示为
步骤S130、至少根据所述批数据训练样本对应的中心损失值，确定人脸检测器的目标损失值。
人脸检测器的目标损失值是人脸检测器迭代训练过程中的优化目标的表示，目标损失值达到设定的训练收敛条件(如最小)，则可结束迭代训练，输出人脸检测器；在每一次迭代中，本发明实施例可将现有的人脸检测器的优化目标，与所使用的批数据训练样本对应的中心损失值相结合，作为本发明实施例人脸检测器的优化目标，得到人脸检测器的目标损失值。
可选的，本发明实施例可根据所述批数据训练样本对应的中心损失值，所述批数据训练样本对应的分类损失值，以及所述批数据训练样本对应的人脸框坐标回归损失值确定人脸检测器的目标损失值；
其中，批数据训练样本对应的分类损失值可以根据批数据训练样本中各训练样本的分类预测概率和分类目标概率(分类真实概率)的差值确定；
如对于批数据训练样本的每一训练样本，在获取到训练样本的特征向量后，本发明实施例可通过Softmax函数等预测该训练样本所属的样本类，得到该训练样本的分类预测概率，从而可根据该训练样本的分类预测概率和该训练样本真实的分类目标概率，确定出该训练样本对应的分类损失值(如取该训练样本的分类预测概率和分类目标概率的差值)，进而可根据批数据训练样本中各训练样本对应的分类损失值，确定出批数据训练样本对应的分类损失值(如取各训练样本的分类损失值的均值等)。
可见，批数据训练样本对应的分类损失值是人脸检测器对于人脸和非人脸的类间分类的指标，批数据训练样本对应的分类损失值，可以对人脸和非人脸的差异(类间差异)进行表示，将批数据训练样本对应的分类损失值作为人脸检测器的优化目标的部分，可使得优化后的人脸检测器对于人脸和非人脸的类间区分具有较高的性能；
在此基础上，批数据训练样本对应的中心损失值对训练样本的特征向量和训练样本所属的样本类的中心特征向量的距离进行了表示，因此批数据训练样本对应的中心损失值，可以说明训练样本的特征向量与其所属的样本类的中心特征向量的差异，可以对每一样本类中的训练样本的类内的特征向量差异进行表示，因此将批数据训练样本对应的中心损失值作为人脸检测器的优化目标的部分，可使得优化后的人脸检测器对于人脸的类内差异具有不变性(如不同场景下的人脸和人脸之间的类内差异)，提升人脸检测的鲁棒性。
可选的，人脸检测器的训练可以包含分类训练和回归训练，是联合训练的过程；一次迭代中批数据训练样本对应的中心损失值和分类损失值构成的损失值，可以认为是分类训练的优化目标，如使批数据训练样本对应的中心损失值和分类损失值构成的损失值最小，来作为人脸检测器训练中分类训练的优化目标；
而每一次迭代中，人脸检测器训练中回归训练的优化目标可以由批数据训练样本对应的人脸框坐标回归损失值构成；
通过联合一次迭代中批数据训练样本对应的中心损失值，分类损失值和人脸框坐标回归损失值，可形成人脸检测器的目标损失值，来表示人脸检测器训练的优化目标。
可选的，本发明实施例可将所述批数据训练样本对应的中心损失值和第一设定权重的乘积，所述批数据训练样本对应的人脸框坐标回归损失值和第二设定权重的乘积，及，所述批数据训练样本对应的分类损失值进行求和，得到人脸检测器的目标损失值；
设Lcls表示批数据训练样本对应的分类损失值，Lc表示批数据训练样本对应的中心损失值，则人脸检测器的目标损失值可以表示为：Lcls+μLc+λLreg；μ和λ表示设定权重系数，其中μ为第一设定权重，λ为第二设定权重。
可选的，本发明实施例也可直接将所述批数据训练样本对应的中心损失值，分类损失值和人脸框坐标回归损失值进行求和，得到人脸检测器的目标损失值。
步骤S140、判断所述人脸检测器的目标损失值是否达到设定的训练收敛条件，若否，执行步骤S150，若是，执行步骤S160。
可选的，设定的训练收敛条件可以认为是人脸检测器的目标损失值最小；
具体的，批数据训练样本对应的分类损失值越小，说明人脸检测器对于人脸和非人脸分类的效果越好，人脸检测器可实现最大化的人脸和非人脸的差异区分(即最大化类间差异)；而批数据训练样本对应的中心损失值越小，说明每一样本类中的训练样本的类内的特征向量差异越小，可使得同一样本类的训练样本的差异减小，进而降低样本类中人脸和人脸之间的差异，即通过迭代训练，使得批数据训练样本的每个训练样本的特征向量与该训练样本所归属的样本类的中心特征向量的距离最小。
可见，通过结合批数据训练样本对应的中心损失值，确定人脸检测器的目标损失值，从而以人脸检测器的目标损失值判断训练收敛条件，可使得人脸检测器在最小化的批数据训练样本对应的中心损失值的情况下，保证人脸检测器对于人脸的类内差异具有不变性(如不同场景下的人脸和人脸之间的类内差异)，提升人脸检测的鲁棒性。
步骤S150、根据所述人脸检测器的目标损失值，更新CNN模型中与人脸检测器相关的网络参数，并进入下一次迭代，返回步骤S100。
可选的，如果人脸检测器的目标损失值未达到设定的训练收敛条件(如人脸检测器的目标损失值未达到最小)，则本发明实施例可根据所述人脸检测器的目标损失值，对CNN模型中的网络参数进行更新；同时，按照迭代训练流程进行下一次迭代，返回步骤S100，以更新网络参数后的CNN模型循环执行步骤S100至步骤S140，直至步骤S140的判断结果为人脸检测器的目标损失值达到设定的训练收敛条件；
可选的，本发明实施例可根据随机梯度下降方法进入下一次迭代，返回步骤S100。
步骤S160、输出人脸检测器。
可选的，如果人脸检测器的目标损失值达到设定的训练收敛条件(如人脸检测器的目标损失值达到最小)，则可输出通过CNN模型训练得到的人脸检测器，完成人脸检测器的迭代训练优化过程。
本发明实施例提供的人脸检测器训练流程可以包括：获取当前次迭代的批数据训练样本，所述批数据训练样本包括多个训练样本，所述多个训练样本的样本类包括：正类和负类；分别根据各训练样本的特征向量，及各训练样本所属的样本类的中心特征向量，确定各训练样本对应的中心损失值；根据所述各训练样本对应的中心损失值，确定所述批数据训练样本对应的中心损失值；至少根据所述批数据训练样本对应的中心损失值，确定人脸检测器的目标损失值；如果所述人脸检测器的目标损失值未达到设定的训练收敛条件，则根据所述人脸检测器的目标损失值，更新CNN模型中的网络参数，并进入下一次迭代，直至人脸检测器的目标损失值达到设定的训练收敛条件；如果所述人脸检测器的目标损失值达到设定的训练收敛条件，则可输出人脸检测器，完成人脸检测器的训练。
本发明实施例中，人脸检测器的训练优化目标结合了批数据训练样本对应的中心损失值，可使得人脸检测器对于人脸和人脸之间的类内差异具有不变性，因此结合批数据训练样本对应的中心损失值进行人脸检测器的优化的训练，可使优化训练后的人脸检测器能够在保证对人脸和非人脸具有较高的类间检测性能的同时，对于人脸的类内差异具有不变性，提升人脸检测的鲁棒性。
可选的，在根据人脸检测器的目标损失值，更新CNN模型中的网络参数时，本发明实施例可根据人脸检测器的目标损失值通过反向传播方式，更新CNN模型中的网络参数；
可选的，本发明实施例可根据所述人脸检测器的目标损失值，以及上一次迭代的CNN模型中的网络参数，确定人脸检测器的参数更新值，从而根据该人脸检测器的参数更新值对上一次迭代的CNN模型中的网络参数进行更新；
可选的，假设人脸检测器的目标损失值为Loss，Loss＝Lls+μLc+λLreg，上一次迭代后的CNN模型中的网络参数为W1，则人脸检测器的参数更新值可以表示为：
根据人脸检测器的参数更新值对上一次迭代后的CNN模型中的网络参数进行更新可通过如下公式实现：
W2＝kW1-α(ΔW+sW1)
其中，W2为更新后的CNN模型的网络参数，k为动量，α为学习率，s为权重衰减系数。
可选的，如图5所示，本发明实施例可在人脸检测层(如Fast RCNN层)设置中心损失函数(Center Loss)，该中心损失函数可作用于人脸检测层的全连接特征表示层，该全连接特征表示层可通过全连接形式将特征图中所有的结点连接映射到固定长度的特征向量，得到各训练样本的特征向量；从而在每一次迭代训练中，中心损失函数可根据当前次迭代使用的批数据训练样本的各训练样本的特征向量，确定出批数据训练样本的各训练样本对应的中心损失值，并相应确定出批数据训练样本对应的中心损失值Lc；
同时，可在人脸检测层(如Fast RCNN层)设置Softmax函数，Softmax函数可作用于人脸检测层的全连接特征表示层，在迭代训练的每一次训练中，Softmax函数可对各训练样本的特征向量进行处理，确定出各训练样本的分类预测概率；进而通过Softmax Loss(分类损失函数)表示出训练样本的分类预测概率和分类目标概率(分类真实概率)的差值，且确定出批数据训练样本对应的分类损失值Lcls；
即Softmax函数的输入是训练样本的特征向量，输出是训练样本属于每个样本类的预测概率；而Softmax Loss(分类损失函数)是输入训练样本的p(分类预测概率)和p*(分类目标概率)，输出是损失值(Loss)，Loss越小表示分类越准确；本发明实施例中，CenterLoss与Softmax Loss作用在同一层之上(即输入的特征向量是相同的)，Center Loss作为人脸检测器优化的辅助监督信号，Center Loss越小表示人脸检测器所检测的类内的特征的差异越小，Softmax Loss则驱使人脸检测器所检测的类间的特征相互分离，保证类间具有可分辨差异；
可选的，进一步，本发明实施例可在人脸检测层(如Fast RCNN层)设置人脸框回归预测函数SmoothL1(平滑一范数函数)，通过SmoothL1基于候选框，确定批数据训练样本中各训练样本对应的人脸框预测坐标；进而通过SmoothL1Loss确定各训练样本对应的人脸框坐标回归损失值，其输入是训练样本对应的人脸框预测坐标和人脸框目标坐标，输出是损失值(Loss)，进而以此确定出批数据训练样本对应的人脸框坐标回归损失值Lreg；
可选的，本发明实施例可确定出人脸检测器的目标损失值Loss＝Lls+μLc+λLreg，通过每次迭代得到的目标损失值Loss，更新CNN模型中的网络参数，直至目标损失值Loss达到最小。
可选的，一次迭代中批数据训练样本对应的分类损失值的确定过程可以如下：
分别根据批数据训练样本中各训练样本对应的分类预测概率和分类目标概率，确定所述批数据训练样本中各训练样本对应的分类损失值；
根据所述批数据训练样本中各训练样本对应的分类损失值，确定所述批数据训练样本对应的分类损失值。
可选的，一次迭代中批数据训练样本对应的人脸框坐标回归损失值的确定过程，可以如图6所示，包括：
步骤S200、根据候选框确定批数据训练样本中各训练样本对应的人脸框预测坐标。
可选的，本发明实施例可根据候选框预测层输出的候选框，确定当前次迭代中批数据训练样本的各训练样本的关注区域，得到各训练样本对应的人脸框预测坐标；一训练样本的人脸框预测坐标可以通过左上顶点横坐标、左上顶点纵坐标，右下顶点横坐标、右下顶点纵坐标等表示；
可选的，本发明实施例可在人脸检测层(如Fast RCNN层)设置人脸框回归预测函数SmoothL1(平滑一范数函数)，通过SmoothL1基于候选框，确定出各训练样本对应的人脸框预测坐标。
步骤S210、分别根据各训练样本对应的人脸框预测坐标，以及各训练样本对应的人脸框目标坐标，确定各训练样本对应的人脸框坐标回归损失值。
可选的，训练样本对应的人脸框目标坐标可以是训练样本中人脸框真实对应的坐标；对于每一训练样本，本发明实施例可通过该训练样本对应的人脸框预测坐标以及人脸框目标坐标的差值，确定出该训练样本对应的人脸框坐标回归损失值，从而对于每一训练样本均作此处理，可得到各训练样本对应的人脸框坐标回归损失值。
可选的，本发明实施例可通过SmoothL1Loss表示人脸框坐标回归损失值，其输入是训练样本对应的人脸框预测坐标和人脸框目标坐标，输出是损失值(Loss)，Loss越小表示人脸框的回归越准确。
步骤S220、根据各训练样本对应的人脸框坐标回归损失值，确定所述批数据训练样本对应的人脸框坐标回归损失值。
可选的，本发明实施例可根据批数据训练样本中各训练样本对应的人脸框坐标回归损失值，确定各训练样本对应的人脸框坐标回归损失值的均值，根据该均值确定批数据训练样本对应的人脸框坐标回归损失值(SmoothL1Loss)。
可选的，本发明实施例进行人脸检测器迭代训练的过程使用了多损失函数联合训练，包括人脸分类和回归两个联合任务，分类训练使用Center Loss和Softmax Loss联合优化，回归训练使用SmoothL1Loss优化；人脸检测器最终优化目标是批数据训练样本对应的Center Loss，Softmax Loss和SmoothL1Loss的三损失值的加权和最小；
可选的，本发明实施例可以对通用大规模人脸识别任务(ImageNet)上预训练好的模型进行微调(Finetuning)；通过引入中心损失值作为人脸检测器的辅助优化目标，引导CNN模型的优化、训练，提升人脸检测器对于人脸与人脸之间的类内差异的判别能力。
可选的，在迭代训练的过程中，本发明实施例可基于上一次迭代的CNN模型，确定训练样本集合中人脸检测器较难检测的训练样本，来确定下一次迭代所使用的批数据训练样本，以加强人脸检测器对这些较难检测的训练样本的检测能力；训练样本是否较难检测可通过测量训练样本对应的目标损失值确定，目标损失值越高则说明训练样本距离优化目标越远，检测的难度也就越大；
相应的，图7示出了本发明实施例提供的获取当前次迭代的批数据训练样本的方法流程图，参照图7，该方法可以包括：
步骤S300、固定上一次迭代的CNN模型，以上一次迭代的CNN模型获取训练样本集合中各训练样本对应的中心损失值，分类损失值和人脸框坐标回归损失值。
步骤S310、分别根据训练样本集合中各训练样本对应的中心损失值，分类损失值和人脸框坐标回归损失值，确定训练样本集合中各训练样本的目标损失值。
可选的，对于一训练样本，本发明实施例可对该训练样本的中心损失值，分类损失值和人脸框坐标回归损失值进行加权求和，得到该训练样本的目标损失值；对于每一训练样本均进行如此处理，则可得到各训练样本的目标损失值；
可选的，对于一训练样本，其目标损失值可以表示为：分类损失值+μ中心损失值+λ人脸框坐标回归损失值。
可选的，对于一训练样本，本发明实施例也可将该训练样本的中心损失值，分类损失值和人脸框坐标回归损失值进行求和，得到该训练样本的目标损失值。
步骤S320、根据训练样本集合中正类的样本类中各训练样本的目标损失值，选取正类的样本类中目标损失值最大的第一数量的训练样本；及根据训练样本集合中负类的样本类中各训练样本的目标损失值，选取负类的样本类中目标损失值最大的第二数量的训练样本，所述第一数量和所述第二数量的比值与设定比例相应。
可选的，在得到训练样本集合中各训练样本的目标损失值后，本发明实施例可将训练样本集合中各训练样本按照正类和负类的样本类进行分类，从而可确定出训练样本集合中属于正类的样本类中各训练样本的目标损失值，以及训练样本集合中属于负类的样本类中各训练样本的目标损失值；同时，可根据正类的样本类中各训练样本的目标损失值，对属于正类的训练样本进行排序(可以是按照目标损失值从大到小排序，也可以是按照目标损失值从小到大排序)，及根据负类的样本类中各训练样本的目标损失值，对属于负类的训练样本进行排序；
进而根据批数据训练样本中正类的训练样本和负类的训练样本的设定比例，根据训练样本集合中正类的样本类中各训练样本的目标损失值，选取正类的样本类中目标损失值最大的第一数量的训练样本，根据训练样本集合中负类的样本类中各训练样本的目标损失值，选取负类的样本类中目标损失值最大的第二数量的训练样本，使得第一数量和所述第二数量的比值与批数据训练样本中要求的正、负类样本数量的设定比例相应。
可选的，基于Center Loss对正样本(人脸)和负样本(非人脸)的数据平衡要求的考虑，本发明实施例可以使得设定比例为1:1，即第一数量和第二数量相同。
步骤S330、根据从正类的样本类中选取的训练样本，和从负类的样本类中选取的训练样本，构成当前次迭代的批数据训练样本。
可见，本发明实施例提供的人脸检测器训练方法中，在将上一次迭代的批数据训练样本送入CNN模型中进行训练后，可根据上一次迭代的批数据训练样本的Center Loss和Softmax Loss，更新优化人脸检测器，根据上一次迭代的批数据训练样本的SmoothL1Loss更新优化人脸回归器，使得人脸检测器往Center Loss、Softmax Loss和SmoothL1Loss的加权和最小的方向优化；
而上一次迭代可决定下一次迭代所使用的批数据训练样本，通过上一次迭代后的CNN模型，可确定训练样本集合中的各训练样本的Center Loss、Softmax Loss和SmoothL1Loss的目标损失值，从而从训练样本集合中选取出目标损失值最大的第一数量的正类的训练样本，和目标损失值最大的第二数量的负类的训练样本，构建出下一次迭代的Minibatch(即批数据训练样本)；
从而进入下一次的迭代，在下一次的迭代中，将该Minibatch送入CNN模型中进行训练，以此循环迭代的进行训练，直至在某一次的迭代中，批数据训练样本的SmoothL1Loss、Softmax Loss和SmoothL1Loss的加权和达到最小。
采用上述描述的训练样本集合中，上一次迭代训练后的人脸检测器较难检测的训练样本作为下一次迭代所使用的Minibatch，可使得每一次迭代能够更好的进行centerloss的估计，从而更好的监督学习训练样本中具有类内差异辨识力的特征。
这里需要说明的是，与常规的利用随机梯度下降算法进行人脸检测器的迭代训练不同的是，本发明实施例并不是单纯使用随机抽取的批数据训练样本(Minibatch)进行梯度下降优化，而是结合上一次迭代时，训练样本集合中较难检测的训练样本来确定下一次迭代所使用的Minibatch。
可见，本发明实施例提出了一种鲁棒的人脸检测器训练方法。该方法基于神经网络实现，在迭代训练的每一次训练过程中，引入批数据训练样本对应的Center Loss(中心损失值)作为人脸和非人脸的二分类任务的辅助损失函数，与批数据训练样本对应的Softmax Loss(分类损失值)联合监督人脸检测器的优化训练；可引导人脸检测器的学习过程，使得人脸检测器保持人脸与非分类的类间差异可区分的同时，减小人脸和人脸之间的类内差异，提升人脸检测器对于人脸的判别能力。
并且利用困难样本在线挖掘算法(OHEM)，根据训练样本的总损失值，对上一次训练时，较难检测的正类训练样本和负类训练样本进行挖掘，并保持正负样本的比例是1:1，从而增强人脸检测器对于较难检测的训练样本的分类能力，提升人脸检测的整体性能。
此外，本发明采用更适合人脸目标的锚框(覆盖多个尺寸、多个长宽比)以及多尺度训练的策略，提升对于不同分辨率人脸目标的判别性，可使得候选框的生成适用于不同的人脸，而使用本发明实施例提供的人脸检测器训练方法训练的人脸检测器能够有效提升准确率，增强鲁棒性。本发明实施例的人脸检测器与采用其他方式训练的人脸检测器的性能比对可如下表1所示：
表1
可见，本发明实施例能够提升人脸检测器的人脸检测判别能力，提升人脸检测器的鲁棒性。
下面对本发明实施例提供的人脸检测器训练装置进行介绍，下文描述的人脸检测器训练装置内容，可以认为是实施人脸检测器训练的电子设备为实现本发明实施例提供的人脸检测器训练方法，所需设置的程序模块；下文描述的人脸检测器训练装置内容可与上文描述的人脸检测器训练方法内容相互对应参照。
图8为本发明实施例提供的人脸检测器训练装置的结构框图，参照图8，该人脸检测器训练装置可以包括：
样本获取模块100，用于获取当前次迭代的批数据训练样本，所述批数据训练样本包括多个训练样本，所述多个训练样本的样本类包括：正类和负类；
样本中心损失值确定模块200，用于分别根据各训练样本的特征向量，及各训练样本所属的样本类的中心特征向量，确定各训练样本对应的中心损失值；
批样本中心损失值确定模块300，用于根据所述各训练样本对应的中心损失值，确定所述批数据训练样本对应的中心损失值；
检测器目标损失值确定模块400，用于至少根据所述批数据训练样本对应的中心损失值，确定人脸检测器的目标损失值；
参数更新模块500，用于若所述人脸检测器的目标损失值未达到设定的训练收敛条件，根据所述人脸检测器的目标损失值，更新CNN模型的网络参数，并进入下一次迭代；
检测器输出模块600，用于若所述人脸检测器的目标损失值达到设定的训练收敛条件，输出人脸检测器。
可选的，检测器目标损失值确定模块400，用于至少根据所述批数据训练样本对应的中心损失值，确定人脸检测器的目标损失值，具体包括：
根据所述批数据训练样本对应的中心损失值，所述批数据训练样本对应的分类损失值，以及所述批数据训练样本对应的人脸框坐标回归损失值确定人脸检测器的目标损失值。
可选的，检测器目标损失值确定模块400，用于根据所述批数据训练样本对应的中心损失值，所述批数据训练样本对应的分类损失值，以及所述批数据训练样本对应的人脸框坐标回归损失值确定人脸检测器的目标损失值，具体包括：
将所述批数据训练样本对应的中心损失值和第一设定权重的乘积，所述批数据训练样本对应的人脸框坐标回归损失值和第二设定权重的乘积，及，所述批数据训练样本对应的分类损失值进行求和，得到人脸检测器的目标损失值。
可选的，样本获取模块100，用于获取当前次迭代的批数据训练样本，具体包括：
以上一次迭代的CNN模型确定训练样本集合中各训练样本对应的目标损失值；
根据训练样本集合中正类的样本类中各训练样本的目标损失值，选取正类的样本类中目标损失值最大的第一数量的训练样本；及根据训练样本集合中负类的样本类中各训练样本的目标损失值，选取负类的样本类中目标损失值最大的第二数量的训练样本，所述第一数量和所述第二数量的比值与设定比例相应；
根据从正类的样本类中选取的训练样本，和从负类的样本类中选取的训练样本，构成当前次迭代的批数据训练样本。
可选的，样本获取模块100，用于以上一次迭代的CNN模型确定训练样本集合中各训练样本对应的目标损失值，具体包括：
以上一次迭代的CNN模型，获取训练样本集合中各训练样本对应的中心损失值，分类损失值和人脸框坐标回归损失值；其中，一训练样本对应的分类损失值根据该训练样本对应的分类预测概率和分类目标概率确定，一训练样本对应的人脸框坐标回归损失值根据该训练样本对应的人脸框预测坐标和人脸框目标坐标确定；
分别根据训练样本集合中各训练样本对应的中心损失值，分类损失值和人脸框坐标回归损失值，确定训练样本集合中各训练样本的目标损失值。
可选的，图9示出了本发明实施例提供的人脸检测器训练装置的另一结构，结合图8和图9所示，该人脸检测器训练装置还可以包括：
批样本分类损失值确定模块700，用于分别根据所述批数据训练样本中各训练样本对应的分类预测概率和分类目标概率，确定所述批数据训练样本中各训练样本对应的分类损失值；根据所述批数据训练样本中各训练样本对应的分类损失值，确定所述批数据训练样本对应的分类损失值。
可选的，样本中心损失值确定模块200，用于分别根据各训练样本的特征向量，及各训练样本所属的样本类的中心特征向量，确定各训练样本对应的中心损失值，具体包括：
确定所述批数据训练样本中各训练样本的特征向量，及所述批数据训练样本中各样本类的中心特征向量；
对于所述批数据训练样本中的一训练样本，确定该训练样本的特征向量，与所述批数据训练样本中该训练样本所属的样本类的中心特征向量的距离，得到该训练样本对应的中心损失值。
可选的，样本中心损失值确定模块200，用于确定所述批数据训练样本中各样本类的中心特征向量，具体包括：
对于一样本类，确定所述批数据训练样本中属于该样本类的各训练样本；
根据所述批数据训练样本中属于该样本类的各训练样本的特征向量，确定属于该样本类的各训练样本的特征向量的均值，得到所述批数据训练样本中该样本类的中心特征向量的更新变量；
根据所述更新变量和设定学习率，得到所述批数据训练样本中该样本类的中心特征向量。
可选的，图10示出了本发明实施例提供的人脸检测器训练装置的再一结构，结合图9和图10所示，该人脸检测器训练装置还可以包括：
批样本人脸框坐标回归损失值确定模块800，用于根据候选框回归器确定各所述批数据训练样本中各训练样本对应的人脸框预测坐标；分别根据各训练样本对应的人脸框预测坐标，以及各训练样本对应的人脸框目标坐标，确定各训练样本对应的人脸框坐标回归损失值；根据各训练样本对应的人脸框坐标回归损失值，确定所述批数据训练样本对应的人脸框坐标回归损失值。
可选的，参数更新模块500，用于根据所述人脸检测器的目标损失值，更新CNN模型的网络参数，具体包括：
根据人脸检测器的目标损失值通过反向传播方式，更新CNN模型中的网络参数。
可选的，参数更新模块500，用于根据人脸检测器的目标损失值通过反向传播方式，更新CNN模型中的网络参数，具体包括：
根据所述人脸检测器的目标损失值，以及上一次迭代的CNN模型中的网络参数，确定人脸检测器的参数更新值；
根据该人脸检测器的参数更新值，对上一次迭代的CNN模型中的网络参数进行更新。
可选的，本发明实施例提供的人脸检测器训练装置还可用于：
预先定义多个锚框，该多个锚框覆盖不同尺度与长宽比；
通过该预先定义的多个锚框确定训练样本中的子框，通过该子框预测候选框。
本发明实施例还提供一种电子设备，该电子设备的硬件结构可以如图3所示，包括：至少一个存储器和至少一个处理器；
所述存储器存储有程序，所述处理器调用所述程序，所述程序用于：
获取当前次迭代的批数据训练样本，所述批数据训练样本包括多个训练样本，所述多个训练样本的样本类包括：正类和负类；
分别根据各训练样本的特征向量，及各训练样本所属的样本类的中心特征向量，确定各训练样本对应的中心损失值；
根据所述各训练样本对应的中心损失值，确定所述批数据训练样本对应的中心损失值；
至少根据所述批数据训练样本对应的中心损失值，确定人脸检测器的目标损失值；
若所述人脸检测器的目标损失值未达到设定的训练收敛条件，根据所述人脸检测器的目标损失值，更新卷积神经网络CNN模型的网络参数，并进入下一次迭代；
若所述人脸检测器的目标损失值达到设定的训练收敛条件，输出人脸检测器。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的核心思想或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (15)

1.一种人脸检测器训练方法，其特征在于，包括：
获取当前次迭代的批数据训练样本，所述批数据训练样本包括多个训练样本，所述多个训练样本的样本类包括：正类和负类；
分别根据各训练样本的特征向量，及各训练样本所属的样本类的中心特征向量，确定各训练样本对应的中心损失值；
根据所述各训练样本对应的中心损失值，确定所述批数据训练样本对应的中心损失值；
至少根据所述批数据训练样本对应的中心损失值，确定人脸检测器的目标损失值；
若所述人脸检测器的目标损失值未达到设定的训练收敛条件，根据所述人脸检测器的目标损失值，更新卷积神经网络CNN模型的网络参数，并进入下一次迭代；
若所述人脸检测器的目标损失值达到设定的训练收敛条件，输出人脸检测器。
2.根据权利要求1所述的人脸检测器训练方法，其特征在于，所述至少根据所述批数据训练样本对应的中心损失值，确定人脸检测器的目标损失值包括：
根据所述批数据训练样本对应的中心损失值，所述批数据训练样本对应的分类损失值，以及所述批数据训练样本对应的人脸框坐标回归损失值确定人脸检测器的目标损失值。
3.根据权利要求2所述的人脸检测器训练方法，其特征在于，所述根据所述批数据训练样本对应的中心损失值，所述批数据训练样本对应的分类损失值，以及所述批数据训练样本对应的人脸框坐标回归损失值确定人脸检测器的目标损失值包括：
将所述批数据训练样本对应的中心损失值和第一设定权重的乘积，所述批数据训练样本对应的人脸框坐标回归损失值和第二设定权重的乘积，及，所述批数据训练样本对应的分类损失值进行求和，得到人脸检测器的目标损失值。
4.根据权利要求1所述的人脸检测器训练方法，其特征在于，所述获取当前次迭代的批数据训练样本包括：
以上一次迭代的CNN模型确定训练样本集合中各训练样本对应的目标损失值；
根据训练样本集合中正类的样本类中各训练样本的目标损失值，选取正类的样本类中目标损失值最大的第一数量的训练样本；及根据训练样本集合中负类的样本类中各训练样本的目标损失值，选取负类的样本类中目标损失值最大的第二数量的训练样本，所述第一数量和所述第二数量的比值与设定比例相应；
根据从正类的样本类中选取的训练样本，和从负类的样本类中选取的训练样本，构成当前次迭代的批数据训练样本。
5.根据权利要求4所述的人脸检测器训练方法，其特征在于，所述以上一次迭代的CNN模型确定训练样本集合中各训练样本对应的目标损失值包括：
以上一次迭代的CNN模型，获取训练样本集合中各训练样本对应的中心损失值，分类损失值和人脸框坐标回归损失值；其中，一训练样本对应的分类损失值根据该训练样本对应的分类预测概率和分类目标概率确定，一训练样本对应的人脸框坐标回归损失值根据该训练样本对应的人脸框预测坐标和人脸框目标坐标确定；
分别根据训练样本集合中各训练样本对应的中心损失值，分类损失值和人脸框坐标回归损失值，确定训练样本集合中各训练样本的目标损失值。
6.根据权利要求2所述的人脸检测器训练方法，其特征在于，所述批数据训练样本对应的分类损失值的确定过程包括：
分别根据所述批数据训练样本中各训练样本对应的分类预测概率和分类目标概率，确定所述批数据训练样本中各训练样本对应的分类损失值；
根据所述批数据训练样本中各训练样本对应的分类损失值，确定所述批数据训练样本对应的分类损失值。
7.根据权利要求2所述的人脸检测器训练方法，其特征在于，所述批数据训练样本对应的人脸框坐标回归损失值的确定过程包括：
确定所述批数据训练样本中各训练样本对应的人脸框预测坐标；
分别根据各训练样本对应的人脸框预测坐标，以及各训练样本对应的人脸框目标坐标，确定各训练样本对应的人脸框坐标回归损失值；
根据各训练样本对应的人脸框坐标回归损失值，确定所述批数据训练样本对应的人脸框坐标回归损失值。
8.根据权利要求1所述的人脸检测器训练方法，其特征在于，所述分别根据各训练样本的特征向量，及各训练样本所属的样本类的中心特征向量，确定各训练样本对应的中心损失值包括：
确定所述批数据训练样本中各训练样本的特征向量，及所述批数据训练样本中各样本类的中心特征向量；
对于所述批数据训练样本中的一训练样本，确定该训练样本的特征向量，与所述批数据训练样本中该训练样本所属的样本类的中心特征向量的距离，得到该训练样本对应的中心损失值。
9.根据权利要求8所述的人脸检测器训练方法，其特征在于，所述确定所述批数据训练样本中各样本类的中心特征向量包括：
对于一样本类，确定所述批数据训练样本中属于该样本类的各训练样本；
根据所述批数据训练样本中属于该样本类的各训练样本的特征向量，确定属于该样本类的各训练样本的特征向量的均值，得到所述批数据训练样本中该样本类的中心特征向量的更新变量；
根据所述更新变量与设定学习率，得到所述批数据训练样本中该样本类的中心特征向量。
10.根据权利要求1-3任一项所述的人脸检测器训练方法，其特征在于，所述根据所述人脸检测器的目标损失值，更新CNN模型中的网络参数包括：
根据人脸检测器的目标损失值通过反向传播方式，更新CNN模型中的网络参数。
11.根据权利要求10所述的人脸检测器训练方法，其特征在于，所述根据人脸检测器的目标损失值通过反向传播方式，更新CNN模型中的网络参数包括：
根据所述人脸检测器的目标损失值，以及上一次迭代的CNN模型中的网络参数，确定人脸检测器的参数更新值；
根据该人脸检测器的参数更新值，对上一次迭代的CNN模型中的网络参数进行更新。
12.根据权利要求1所述的人脸检测器训练方法，其特征在于，所述方法还包括：
预先定义多个锚框，该多个锚框覆盖不同尺度与长宽比；
通过该预先定义的多个锚框确定训练样本中的子框，通过该子框预测候选框。
13.一种人脸检测器训练装置，其特征在于，包括：
样本获取模块，用于获取当前次迭代的批数据训练样本，所述批数据训练样本包括多个训练样本，所述多个训练样本的样本类包括：正类和负类；
样本中心损失值确定模块，用于分别根据各训练样本的特征向量，及各训练样本所属的样本类的中心特征向量，确定各训练样本对应的中心损失值；
批样本中心损失值确定模块，用于根据所述各训练样本对应的中心损失值，确定所述批数据训练样本对应的中心损失值；
检测器目标损失值确定模块，用于至少根据所述批数据训练样本对应的中心损失值，确定人脸检测器的目标损失值；
参数更新模块，用于若所述人脸检测器的目标损失值未达到设定的训练收敛条件，根据所述人脸检测器的目标损失值，更新卷积神经网络CNN模型的网络参数，并进入下一次迭代；
检测器输出模块，用于若所述人脸检测器的目标损失值达到设定的训练收敛条件，输出人脸检测器。
14.根据权利要求13所述的人脸检测器训练装置，其特征在于，所述样本获取模块，用于获取当前次迭代的批数据训练样本，具体包括：
以上一次迭代的CNN模型确定训练样本集合中各训练样本对应的目标损失值；
根据训练样本集合中正类的样本类中各训练样本的目标损失值，选取正类的样本类中目标损失值最大的第一数量的训练样本；及根据训练样本集合中负类的样本类中各训练样本的目标损失值，选取负类的样本类中目标损失值最大的第二数量的训练样本，所述第一数量和所述第二数量的比值与设定比例相应；
根据从正类的样本类中选取的训练样本，和从负类的样本类中选取的训练样本，构成当前次迭代的批数据训练样本。
15.一种电子设备，其特征在于，包括：存储器和处理器；
所述存储器存储有程序，所述处理器调用所述程序，所述程序用于：
获取当前次迭代的批数据训练样本，所述批数据训练样本包括多个训练样本，所述多个训练样本的样本类包括：正类和负类；
分别根据各训练样本的特征向量，及各训练样本所属的样本类的中心特征向量，确定各训练样本对应的中心损失值；
根据所述各训练样本对应的中心损失值，确定所述批数据训练样本对应的中心损失值；
至少根据所述批数据训练样本对应的中心损失值，确定人脸检测器的目标损失值；
若所述人脸检测器的目标损失值未达到设定的训练收敛条件，根据所述人脸检测器的目标损失值，更新卷积神经网络CNN模型的网络参数，并进入下一次迭代；
若所述人脸检测器的目标损失值达到设定的训练收敛条件，输出人脸检测器。
CN201710406726.9A 2017-06-02 2017-06-02 一种人脸检测器训练方法、装置及电子设备 Pending CN108985135A (zh)

Priority Applications (10)

Application Number Priority Date Filing Date Title
CN201710406726.9A CN108985135A (zh) 2017-06-02 2017-06-02 一种人脸检测器训练方法、装置及电子设备
CN201910834138.4A CN110490177A (zh) 2017-06-02 2017-06-02 一种人脸检测器训练方法及装置
KR1020197026337A KR102236046B1 (ko) 2017-06-02 2018-03-16 얼굴 검출 훈련 방법, 장치 및 전자 장치
JP2019525952A JP6855098B2 (ja) 2017-06-02 2018-03-16 顔検出トレーニング方法、装置及び電子機器
PCT/CN2018/079281 WO2018219016A1 (zh) 2017-06-02 2018-03-16 一种人脸检测训练方法、装置及电子设备
MA048806A MA48806A (fr) 2017-06-02 2018-03-16 Procédé d'apprentissage de détection faciale, appareil et dispositif électronique
EP18810647.0A EP3633549A4 (en) 2017-06-02 2018-03-16 FACIAL DETECTION LEARNING PROCESS, APPARATUS AND ELECTRONIC DEVICE
TW107113594A TWI665613B (zh) 2017-06-02 2018-04-20 人臉辨識訓練方法、裝置、電子設備、電腦可讀儲存介質及電腦程式產品
US16/392,270 US10929644B2 (en) 2017-06-02 2019-04-23 Face detection training method and apparatus, and electronic device
US17/109,574 US11594070B2 (en) 2017-06-02 2020-12-02 Face detection training method and apparatus, and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710406726.9A CN108985135A (zh) 2017-06-02 2017-06-02 一种人脸检测器训练方法、装置及电子设备

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201910834138.4A Division CN110490177A (zh) 2017-06-02 2017-06-02 一种人脸检测器训练方法及装置

Publications (1)

Publication Number Publication Date
CN108985135A true CN108985135A (zh) 2018-12-11

Family

ID=64426184

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910834138.4A Pending CN110490177A (zh) 2017-06-02 2017-06-02 一种人脸检测器训练方法及装置
CN201710406726.9A Pending CN108985135A (zh) 2017-06-02 2017-06-02 一种人脸检测器训练方法、装置及电子设备

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201910834138.4A Pending CN110490177A (zh) 2017-06-02 2017-06-02 一种人脸检测器训练方法及装置

Country Status (8)

Country Link
US (2) US10929644B2 (zh)
EP (1) EP3633549A4 (zh)
JP (1) JP6855098B2 (zh)
KR (1) KR102236046B1 (zh)
CN (2) CN110490177A (zh)
MA (1) MA48806A (zh)
TW (1) TWI665613B (zh)
WO (1) WO2018219016A1 (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109829893A (zh) * 2019-01-03 2019-05-31 武汉精测电子集团股份有限公司 一种基于注意力机制的缺陷目标检测方法
CN109948478A (zh) * 2019-03-06 2019-06-28 中国科学院自动化研究所 基于神经网络的大规模非均衡数据的人脸识别方法、系统
CN110059707A (zh) * 2019-04-25 2019-07-26 北京小米移动软件有限公司 图像特征点的优化方法、装置和设备
CN110070107A (zh) * 2019-03-26 2019-07-30 华为技术有限公司 物体识别方法及装置
CN110414550A (zh) * 2019-06-14 2019-11-05 北京迈格威科技有限公司 人脸识别模型的训练方法、装置、系统和计算机可读介质
CN110432895A (zh) * 2019-08-09 2019-11-12 上海鹰瞳医疗科技有限公司 训练数据处理、心电波形检测方法及电子设备
CN110443366A (zh) * 2019-07-30 2019-11-12 上海商汤智能科技有限公司 神经网络的优化方法及装置、目标检测方法及装置
CN110443280A (zh) * 2019-07-05 2019-11-12 北京达佳互联信息技术有限公司 图像检测模型的训练方法、装置及存储介质
CN110490115A (zh) * 2019-08-13 2019-11-22 北京达佳互联信息技术有限公司 人脸检测模型的训练方法、装置、电子设备及存储介质
CN111191782A (zh) * 2018-11-14 2020-05-22 普天信息技术有限公司 卷积网络训练方法和装置
CN111325232A (zh) * 2018-12-13 2020-06-23 财团法人工业技术研究院 相位图像生成器的训练方法及相位图像分类器的训练方法
CN111522228A (zh) * 2019-02-02 2020-08-11 北京京东尚科信息技术有限公司 一种飞行器的检测方法及装置
WO2020173135A1 (zh) * 2019-02-28 2020-09-03 北京市商汤科技开发有限公司 神经网络训练及眼睛睁闭状态检测方法、装置及设备
CN111814553A (zh) * 2020-06-08 2020-10-23 浙江大华技术股份有限公司 人脸检测方法、模型的训练方法及其相关装置
CN111985439A (zh) * 2020-08-31 2020-11-24 中移（杭州）信息技术有限公司 人脸检测方法、装置、设备和存储介质
CN113673357A (zh) * 2021-07-27 2021-11-19 浙江大华技术股份有限公司 停车场寻车方法、设备及存储介质

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110490177A (zh) * 2017-06-02 2019-11-22 腾讯科技（深圳）有限公司 一种人脸检测器训练方法及装置
CN108694401B (zh) * 2018-05-09 2021-01-12 北京旷视科技有限公司 目标检测方法、装置及系统
CN110889487A (zh) * 2018-09-10 2020-03-17 富士通株式会社 神经网络架构搜索装置和方法及计算机可读记录介质
US11620555B2 (en) * 2018-10-26 2023-04-04 Samsung Electronics Co., Ltd Method and apparatus for stochastic inference between multiple random variables via common representation
TWI684959B (zh) * 2018-11-16 2020-02-11 國立雲林科技大學 口鼻異物遮蔽檢測方法及其系統
US10891845B2 (en) 2018-11-28 2021-01-12 National Yunlin University Of Science And Technology Mouth and nose occluded detecting method and system thereof
CN111325223B (zh) * 2018-12-13 2023-10-24 中国电信股份有限公司 深度学习模型的训练方法、装置和计算机可读存储介质
CN111477212B (zh) * 2019-01-04 2023-10-24 阿里巴巴集团控股有限公司 内容识别、模型训练、数据处理方法、系统及设备
US10423860B1 (en) * 2019-01-22 2019-09-24 StradVision, Inc. Learning method and learning device for object detector based on CNN to be used for multi-camera or surround view monitoring using image concatenation and target object merging network, and testing method and testing device using the same
US10430691B1 (en) * 2019-01-22 2019-10-01 StradVision, Inc. Learning method and learning device for object detector based on CNN, adaptable to customers' requirements such as key performance index, using target object merging network and target region estimating network, and testing method and testing device using the same to be used for multi-camera or surround view monitoring
CN109801636A (zh) * 2019-01-29 2019-05-24 北京猎户星空科技有限公司 声纹识别模型的训练方法、装置、电子设备及存储介质
CN109934198B (zh) * 2019-03-22 2021-05-14 北京市商汤科技开发有限公司 人脸识别方法及装置
CN110033332A (zh) * 2019-04-23 2019-07-19 杭州智趣智能信息技术有限公司 一种人脸识别方法、系统及电子设备和存储介质
TWI712961B (zh) * 2019-08-07 2020-12-11 瑞昱半導體股份有限公司 全連接卷積神經網路影像處理方法與電路系統
CN110263774B (zh) * 2019-08-19 2019-11-22 珠海亿智电子科技有限公司 一种人脸检测方法
CN110532985B (zh) * 2019-09-02 2022-07-22 北京迈格威科技有限公司 目标检测方法、装置及系统
TWI719696B (zh) * 2019-11-01 2021-02-21 財團法人工業技術研究院 臉部影像重建方法與系統
CN114424253A (zh) * 2019-11-08 2022-04-29 深圳市欢太科技有限公司 模型训练方法、装置、存储介质及电子设备
CN110956255B (zh) * 2019-11-26 2023-04-07 中国医学科学院肿瘤医院 难样本挖掘方法、装置、电子设备及计算机可读存储介质
WO2021125434A1 (ko) * 2019-12-19 2021-06-24 주식회사 노타 딥러닝 기반 실시간 온-디바이스 얼굴 인증을 위한 방법 및 장치
US11277626B2 (en) 2020-02-21 2022-03-15 Alibaba Group Holding Limited Region of interest quality controllable video coding techniques
CN111275011B (zh) * 2020-02-25 2023-12-19 阿波罗智能技术(北京)有限公司 移动红绿灯检测方法、装置、电子设备和存储介质
US11388423B2 (en) 2020-03-23 2022-07-12 Alibaba Group Holding Limited Region-of-interest based video encoding
CN111563541B (zh) * 2020-04-21 2023-04-18 北京百度网讯科技有限公司 图像检测模型的训练方法和装置
CN113673272B (zh) * 2020-05-13 2023-04-28 北京君正集成电路股份有限公司 一种基于宠物检测的双层标注二级级联计算损失值的方法
CN111598185B (zh) * 2020-05-27 2021-11-19 深圳市铁越电气有限公司 一种基于深度学习的训练数据平衡方法、设备和系统
WO2021252940A1 (en) * 2020-06-12 2021-12-16 University Of Washington Eye tracking in near-eye displays
JP2022544635A (ja) * 2020-06-29 2022-10-20 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド 危険運転行動認識方法、装置、電子機器および記憶媒体
CN112070205A (zh) * 2020-07-30 2020-12-11 华为技术有限公司 一种多损失模型获取方法以及装置
CN112016599B (zh) * 2020-08-13 2023-09-15 驭势科技（浙江）有限公司 用于图像检索的神经网络训练方法、装置及电子设备
CN111930980B (zh) * 2020-08-21 2023-07-07 深圳市升幂科技有限公司 图像检索模型的训练方法及图像检索方法、装置、及介质
KR20220073914A (ko) * 2020-11-27 2022-06-03 연세대학교 산학협력단 경량화 신경망을 이용한 얼굴 인식 장치 및 방법
KR20220098503A (ko) * 2021-01-04 2022-07-12 오드컨셉 주식회사 중복 이미지 검출 방법 및 장치
CN112766104A (zh) * 2021-01-07 2021-05-07 湖北公众信息产业有限责任公司 保险新零售服务平台
CN112734740B (zh) * 2021-01-18 2024-02-23 推想医疗科技股份有限公司 训练目标检测模型的方法、目标检测的方法及其装置
CN113822111A (zh) * 2021-01-19 2021-12-21 北京京东振世信息技术有限公司 人群检测模型训练方法、装置以及人群计数方法、装置
KR102444495B1 (ko) * 2021-01-21 2022-09-19 순천향대학교 산학협력단 영상 인식 검출기 및 그 동작방법
CN112861671B (zh) * 2021-01-27 2022-10-21 电子科技大学 一种对深度伪造人脸图像和视频的鉴别方法
CN112890572B (zh) * 2021-02-07 2021-08-17 广州一盒科技有限公司 一种食材烹调智能控制系统及方法
CN112884040A (zh) * 2021-02-19 2021-06-01 北京小米松果电子有限公司 训练样本数据的优化方法、系统、存储介质及电子设备
CN112949855B (zh) * 2021-02-26 2023-08-25 平安科技（深圳）有限公司 人脸识别模型训练方法、识别方法、装置、设备及介质
CN113057647B (zh) * 2021-03-25 2022-04-22 山东省人工智能研究院 一种心电信号的质量评估方法
CN113221655B (zh) * 2021-04-12 2022-09-30 重庆邮电大学 基于特征空间约束的人脸欺骗检测方法
CN113129337B (zh) * 2021-04-14 2022-07-19 桂林电子科技大学 背景感知跟踪方法、计算机可读存储介质及计算机设备
CN113221530B (zh) * 2021-04-19 2024-02-13 杭州火石数智科技有限公司 一种文本相似度匹配方法、装置、计算机设备和储存介质
CN113239975B (zh) * 2021-04-21 2022-12-20 国网甘肃省电力公司白银供电公司 一种基于神经网络的目标检测方法和装置
CN113139462A (zh) * 2021-04-23 2021-07-20 杭州魔点科技有限公司 无监督的人脸图像质量评估方法、电子设备和存储介质
CN113192646B (zh) * 2021-04-25 2024-03-22 北京易华录信息技术股份有限公司 目标检测模型构建方法及不同目标间距离监控方法、装置
US20220383522A1 (en) * 2021-05-26 2022-12-01 Nec Laboratories America, Inc. Semi-automatic data collection and association for multi-camera tracking
CN113191461B (zh) * 2021-06-29 2021-09-17 苏州浪潮智能科技有限公司 一种图片识别方法、装置、设备及可读存储介质
CN113807237B (zh) * 2021-09-15 2022-11-08 河南星环众志信息科技有限公司 活体检测模型的训练、活体检测方法、计算机设备及介质
CN114743665A (zh) * 2022-03-21 2022-07-12 平安科技（深圳）有限公司 患病风险估计网络的优化方法、装置、介质及设备
CN115661909A (zh) * 2022-12-14 2023-01-31 深圳大学 人脸图像处理方法、设备及计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105069430A (zh) * 2015-08-05 2015-11-18 杭州南江机器人股份有限公司 一种基于msnrd特征的多姿态人脸检测器的设计方法
CN106326815A (zh) * 2015-06-30 2017-01-11 芋头科技（杭州）有限公司 一种人脸图像识别方法
CN106446768A (zh) * 2015-08-10 2017-02-22 三星电子株式会社 用于脸部识别的方法和设备
CN106485230A (zh) * 2016-10-18 2017-03-08 中国科学院重庆绿色智能技术研究院 基于神经网络的人脸检测模型的训练、人脸检测方法及系统
CN106682734A (zh) * 2016-12-30 2017-05-17 中国科学院深圳先进技术研究院 一种提升卷积神经网络泛化能力的方法及装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6219142B1 (en) * 1997-10-17 2001-04-17 Southwest Sciences Incorporated Method and apparatus for determining wave characteristics from wave phenomena
JPH11161786A (ja) * 1997-11-25 1999-06-18 Toshiba Corp パターン認識方法および記録媒体
US6466685B1 (en) * 1998-07-14 2002-10-15 Kabushiki Kaisha Toshiba Pattern recognition apparatus and method
KR100729273B1 (ko) * 2005-02-04 2007-06-15 오병주 Pca와 역전파 알고리즘을 이용한 얼굴인식 방법
US7471378B2 (en) * 2005-06-30 2008-12-30 Dbm Optical Technologies, Inc. Method and system for determining a polarization dependent characteristics of optical and opto-electrical devices
CN100587708C (zh) * 2008-01-25 2010-02-03 华中科技大学 一种分类器集成方法
JP5207870B2 (ja) * 2008-08-05 2013-06-12 日立コンピュータ機器株式会社 次元削減方法、パターン認識用辞書生成装置、及びパターン認識装置
JPWO2012098854A1 (ja) * 2011-01-20 2014-06-09 日本電気株式会社 画像処理システム、画像処理方法および画像処理用プログラム
CN102663370B (zh) * 2012-04-23 2013-10-09 苏州大学 一种人脸识别的方法及系统
CN104680121B (zh) * 2013-11-27 2022-06-03 腾讯科技（深圳）有限公司 一种人脸图像的处理方法及装置
US10462450B2 (en) * 2014-04-28 2019-10-29 Autodesk, Inc. Combining two-dimensional images with depth data to detect junctions or edges
CN104063865B (zh) * 2014-06-27 2017-08-01 小米科技有限责任公司 分类模型创建方法、图像分割方法及相关装置
CN110490177A (zh) * 2017-06-02 2019-11-22 腾讯科技（深圳）有限公司 一种人脸检测器训练方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106326815A (zh) * 2015-06-30 2017-01-11 芋头科技（杭州）有限公司 一种人脸图像识别方法
CN105069430A (zh) * 2015-08-05 2015-11-18 杭州南江机器人股份有限公司 一种基于msnrd特征的多姿态人脸检测器的设计方法
CN106446768A (zh) * 2015-08-10 2017-02-22 三星电子株式会社 用于脸部识别的方法和设备
CN106485230A (zh) * 2016-10-18 2017-03-08 中国科学院重庆绿色智能技术研究院 基于神经网络的人脸检测模型的训练、人脸检测方法及系统
CN106682734A (zh) * 2016-12-30 2017-05-17 中国科学院深圳先进技术研究院 一种提升卷积神经网络泛化能力的方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ABHINAV SHRIVASTAVA 等: "Training Region-based Object Detectors with Online Hard Example Mining", 《IEEE》 *
YANDONG WEN 等: "A Discriminative Feature Learning Approach for Deep Face Recognition", 《SPRINGER》 *
YUNZHU LI 等: "Face Detection with End-to-End Integration of a ConvNet and a 3D Model", 《ARXIV》 *

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111191782A (zh) * 2018-11-14 2020-05-22 普天信息技术有限公司 卷积网络训练方法和装置
CN111325232B (zh) * 2018-12-13 2024-01-02 财团法人工业技术研究院 相位图像生成器的训练方法及相位图像分类器的训练方法
CN111325232A (zh) * 2018-12-13 2020-06-23 财团法人工业技术研究院 相位图像生成器的训练方法及相位图像分类器的训练方法
CN109829893A (zh) * 2019-01-03 2019-05-31 武汉精测电子集团股份有限公司 一种基于注意力机制的缺陷目标检测方法
CN111522228B (zh) * 2019-02-02 2023-09-22 北京京东乾石科技有限公司 一种飞行器的检测方法及装置
CN111522228A (zh) * 2019-02-02 2020-08-11 北京京东尚科信息技术有限公司 一种飞行器的检测方法及装置
WO2020173135A1 (zh) * 2019-02-28 2020-09-03 北京市商汤科技开发有限公司 神经网络训练及眼睛睁闭状态检测方法、装置及设备
CN109948478B (zh) * 2019-03-06 2021-05-11 中国科学院自动化研究所 基于神经网络的大规模非均衡数据的人脸识别方法、系统
CN109948478A (zh) * 2019-03-06 2019-06-28 中国科学院自动化研究所 基于神经网络的大规模非均衡数据的人脸识别方法、系统
CN110070107A (zh) * 2019-03-26 2019-07-30 华为技术有限公司 物体识别方法及装置
CN110059707A (zh) * 2019-04-25 2019-07-26 北京小米移动软件有限公司 图像特征点的优化方法、装置和设备
CN110414550A (zh) * 2019-06-14 2019-11-05 北京迈格威科技有限公司 人脸识别模型的训练方法、装置、系统和计算机可读介质
CN110414550B (zh) * 2019-06-14 2022-07-29 北京迈格威科技有限公司 人脸识别模型的训练方法、装置、系统和计算机可读介质
CN110443280A (zh) * 2019-07-05 2019-11-12 北京达佳互联信息技术有限公司 图像检测模型的训练方法、装置及存储介质
CN110443280B (zh) * 2019-07-05 2022-06-03 北京达佳互联信息技术有限公司 图像检测模型的训练方法、装置及存储介质
CN110443366A (zh) * 2019-07-30 2019-11-12 上海商汤智能科技有限公司 神经网络的优化方法及装置、目标检测方法及装置
CN110443366B (zh) * 2019-07-30 2022-08-30 上海商汤智能科技有限公司 神经网络的优化方法及装置、目标检测方法及装置
CN110432895B (zh) * 2019-08-09 2022-02-11 上海鹰瞳医疗科技有限公司 训练数据处理、心电波形检测方法及电子设备
CN110432895A (zh) * 2019-08-09 2019-11-12 上海鹰瞳医疗科技有限公司 训练数据处理、心电波形检测方法及电子设备
CN110490115B (zh) * 2019-08-13 2021-08-13 北京达佳互联信息技术有限公司 人脸检测模型的训练方法、装置、电子设备及存储介质
CN110490115A (zh) * 2019-08-13 2019-11-22 北京达佳互联信息技术有限公司 人脸检测模型的训练方法、装置、电子设备及存储介质
CN111814553A (zh) * 2020-06-08 2020-10-23 浙江大华技术股份有限公司 人脸检测方法、模型的训练方法及其相关装置
CN111814553B (zh) * 2020-06-08 2023-07-11 浙江大华技术股份有限公司 人脸检测方法、模型的训练方法及其相关装置
CN111985439A (zh) * 2020-08-31 2020-11-24 中移（杭州）信息技术有限公司 人脸检测方法、装置、设备和存储介质
CN113673357A (zh) * 2021-07-27 2021-11-19 浙江大华技术股份有限公司 停车场寻车方法、设备及存储介质

Also Published As

Publication number Publication date
US10929644B2 (en) 2021-02-23
CN110490177A (zh) 2019-11-22
WO2018219016A1 (zh) 2018-12-06
KR102236046B1 (ko) 2021-04-02
JP6855098B2 (ja) 2021-04-07
EP3633549A4 (en) 2021-03-10
TWI665613B (zh) 2019-07-11
US20210089752A1 (en) 2021-03-25
JP2020501238A (ja) 2020-01-16
US20190251333A1 (en) 2019-08-15
KR20190116397A (ko) 2019-10-14
EP3633549A1 (en) 2020-04-08
US11594070B2 (en) 2023-02-28
TW201832134A (zh) 2018-09-01
MA48806A (fr) 2020-04-08

Similar Documents

Publication Publication Date Title
CN108985135A (zh) 一种人脸检测器训练方法、装置及电子设备
CN110580445B (zh) 一种基于GIoU和加权NMS改进的人脸关键点检测方法
CN109614985A (zh) 一种基于密集连接特征金字塔网络的目标检测方法
CN111091105A (zh) 基于新的边框回归损失函数的遥感图像目标检测方法
CN109670452A (zh) 人脸检测方法、装置、电子设备和人脸检测模型
CN109166094A (zh) 一种基于深度学习的绝缘子故障定位识别方法
CN110738101A (zh) 行为识别方法、装置及计算机可读存储介质
CN110378297A (zh) 一种基于深度学习的遥感图像目标检测方法
CN112183153A (zh) 一种基于视频分析的对象行为检测方法及装置
CN106295591A (zh) 基于人脸图像的性别识别方法及装置
CN106295601A (zh) 一种改进的安全带检测方法
CN110716792B (zh) 一种目标检测器及其构建方法和应用
CN106295531A (zh) 一种手势识别方法和装置以及虚拟现实终端
CN109903339B (zh) 一种基于多维融合特征的视频群体人物定位检测方法
CN110222780A (zh) 物体检测方法、装置、设备和存储介质
CN110059646A (zh) 训练动作规划模型的方法及目标搜索方法
CN108416458A (zh) 一种基于bp神经网络的隧道富水岩体综合超前地质预报方法
CN109919246A (zh) 基于自适应特征聚类和多重损失融合的行人重识别方法
CN111815582B (zh) 改进背景先验和前景先验的二维码区域检测方法
CN110084211A (zh) 一种动作识别方法
CN112206541A (zh) 游戏外挂识别方法、装置、存储介质及计算机设备
CN111783716A (zh) 基于姿态信息的行人检测方法、系统、装置
CN109671055A (zh) 肺结节检测方法及装置
CN107480627A (zh) 行为识别方法、装置、存储介质和处理器
CN111352926A (zh) 数据处理的方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181211