CN108038474A - 人脸检测方法、卷积神经网络参数的训练方法、装置及介质 - Google Patents

人脸检测方法、卷积神经网络参数的训练方法、装置及介质 Download PDF

Info

Publication number
CN108038474A
CN108038474A CN201711462096.3A CN201711462096A CN108038474A CN 108038474 A CN108038474 A CN 108038474A CN 201711462096 A CN201711462096 A CN 201711462096A CN 108038474 A CN108038474 A CN 108038474A
Authority
CN
China
Prior art keywords
face
training
image
training sample
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711462096.3A
Other languages
English (en)
Other versions
CN108038474B (zh
Inventor
严蕤
牟永强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Li Fei Technology Co., Ltd.
Original Assignee
Shenzhen Intellifusion Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Intellifusion Technologies Co Ltd filed Critical Shenzhen Intellifusion Technologies Co Ltd
Priority to CN201711462096.3A priority Critical patent/CN108038474B/zh
Publication of CN108038474A publication Critical patent/CN108038474A/zh
Priority to PCT/CN2018/119188 priority patent/WO2019128646A1/zh
Application granted granted Critical
Publication of CN108038474B publication Critical patent/CN108038474B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种人脸检测方法,该人脸检测方法包括:获取待检测图像;将所述待检测图像输入至训练得到的卷积神经网络,识别所述待检测图像中是否包含人脸并对人脸姿态进行估计,其中训练所述卷积神经网络的训练样本集中的训练样本图像包括人脸的位置数据及姿态数据;输出所述待检测图像是否包含人脸的检测结果;若所述待检测图像包含人脸,输出所述待检测图像中人脸的姿态信息。本发明还公开了一种人脸检测装置、卷积神经网络参数的训练方法、计算机装置和计算机可读存储介质。本发明可以在人脸检测时,同步估计人脸姿态,进而提高人脸识别的效率。

Description

人脸检测方法、卷积神经网络参数的训练方法、装置及介质
技术领域
本发明涉及图像识别技术领域,具体涉及一种人脸检测方法、卷积神经网络参数的训练方法、装置及介质。
背景技术
随着信息技术的发展,人脸识别技术的应用逐渐广泛,在教育、交通、金融等各领域,通过人脸识别技术,能够帮助人们解决很多现实问题。人脸识别技术的基础是人脸检测技术,人脸检测的准确率以及人脸姿态的变化都会对人脸识别的准确率等方面产生重大的影响。
现有的人脸识别技术中,一般先通过人脸检测算法检测图片中的人脸,然后判断所截取的人脸图片的姿态,然后筛选姿态合适的图片用于人脸识别。但这需要重复计算图片的向量特征,耗时较多,进而降低人脸识别的效率。
发明内容
鉴于此,有必要提供一种人脸检测方法及装置、卷积神经网络参数的训练方法、计算机装置和计算机可读存储介质,能够在人脸检测时,同步估计人脸姿态,进而提高人脸识别的效率。
本发明一方面提供了一种人脸检测方法,所述人脸检测方法包括:
所述方法包括:
获取待检测图像;
将所述待检测图像输入至训练得到的卷积神经网络,识别所述待检测图像中是否包含人脸并对人脸姿态进行估计,其中训练所述卷积神经网络的训练样本集中的训练样本图像包括人脸的位置数据及姿态数据;
若所述待检测图像包含人脸,输出所述待检测图像中人脸的姿态信息。
可选地,所述人脸检测方法还包括:
通过用于训练的卷积神经网络模型的卷积层提取训练样本图像的特征,得到特征图,所述特征图由若干特征单元组成;
根据所述训练样本图像中人脸的位置数据和聚类算法获取所述若干特征单元中每一特征单元的锚框。
可选地,所述根据所述训练样本图像中人脸的位置数据和聚类算法获取所述若干特征单元中每一特征单元的锚框,包括:
初始化特征单元的待确定锚框的长和宽;
计算所述待确定锚框与所述训练样本图像的位置数据所确定的标准框的交集与并集的比值,根据所述比值确定聚类算法中的距离参数;
迭代所述待确定锚框的长和宽,获取所述聚类算法对应的迭代结束条件到达时所述待确定锚框的长和宽,得到所述特征单元的锚框。
可选地,所述人脸检测方法还包括:
根据预设损失函数和训练算法训练预设卷积神经网络模型,获得所述预设卷积神经网络模型的网络参数的值,得到所述训练得到的卷积神经网络,所述预设损失函数用于计算训练样本图像中人脸存在与否的损失、训练样本图像中人脸姿态的损失以及训练样本图像中人脸的位置数据所确定的区域的偏置量的损失。
可选地,所述人脸检测方法还包括:
根据所述训练得到的卷积神经网络获取所述待检测图像中人脸的位置数据;
若所述人脸的位置数据包含至少两组位置数据,通过非极大值抑制算法获取所述待检测图像中人脸的准确位置;
输出所述待检测图像中人脸在所述准确位置时的人脸姿态信息。
本发明另一方面还提供了一种卷积神经网络参数的训练方法,所述卷积神经网络参数的训练方法包括:
获取训练样本集,所述训练样本集中的训练样本图像包括人脸的位置数据及姿态数据;
根据所述训练样本集训练、训练算法和预设损失函数训练预设卷积神经网络模型,得到所述预设卷神经网络模型的网络参数的值,所述预设损失函数用于计算训练样本图像中人脸存在与否的损失、训练样本图像中人脸姿态的损失以及训练样本图像中人脸的位置数据所确定的区域的偏置量的损失。
本发明另一方面还提供了一种人脸检测装置,所述人脸检测装置包括:
图像获取模块,用于获取待检测图像;
处理模块,用于将所述待检测图像输入至训练得到的卷积神经网络,识别所述待检测图像中是否包含人脸并对人脸姿态进行估计,其中训练所述卷积神经网络的训练样本集中的训练样本图像包括人脸的位置数据及姿态数据;
输出模块,用于若所述待检测图像包含人脸,输出所述待检测图像中人脸的姿态信息。
可选地,所述人脸检测装置还包括:
特征提取模块,用于通过用于训练的卷积神经网络模型的卷积层提取训练样本图像的特征,得到特征图,所述特征图由若干特征单元组成;
计算模块,用于根据所述训练样本图像中人脸的位置数据和聚类算法获取所述若干特征单元中每一特征单元的锚框。
可选地,所述计算模块具体用于:
初始化特征单元的待确定锚框的长和宽;
计算所述待确定锚框与所述训练样本图像的位置数据所确定的标准框的交集与并集的比值,根据所述比值确定聚类算法中的距离参数;
迭代所述待确定锚框的长和宽,获取所述聚类算法对应的迭代结束条件到达时所述待确定锚框的长和宽,得到所述特征单元的锚框。
可选地,所述人脸检测装置还包括:
参数获取模块,用于根据预设损失函数和训练算法训练预设卷积神经网络模型,获得所述预设卷积神经网络模型的网络参数的值,得到所述训练得到的卷积神经网络,所述预设损失函数用于计算训练样本图像中人脸存在与否的损失、训练样本图像中人脸姿态的损失以及训练样本图像中人脸的位置数据所确定的区域的偏置量的损失。
可选地,所述人脸检测装置还包括:
位置获取模块,用于根据所述训练得到的卷积神经网络获取所述待检测图像中人脸的位置数据;
去重复模块,用于若所述人脸的位置数据包含至少两组位置数据,通过非极大值抑制算法获取所述待检测图像中人脸的准确位置;
姿态获取模块,用于输出所述待检测图像中人脸在所述准确位置时的人脸姿态信息。
本发明另一方面还提供了一种卷积神经网络参数的训练装置,所述卷积神经网络参数的训练装置包括:
样本获取模块,用于获取训练样本集,所述训练样本集中的训练样本图像包括人脸的位置数据及姿态数据;
训练模块,用于根据所述训练样本集训练、训练算法和预设损失函数训练预设卷积神经网络模型,得到所述预设卷神经网络模型的网络参数的值,所述预设损失函数用于计算训练样本图像中人脸存在与否的损失、训练样本图像中人脸姿态的损失以及训练样本图像中人脸的位置数据所确定的区域的偏置量的损失。
本发明再一方面还提供一种计算机装置,所述计算机装置包括:存储器,用于存储至少一个指令;及处理器,用于执行所述存储器中存储的指令以实现上述人脸检测方法和/或卷积神经网络参数的训练方法。
本发明再一方面还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一个指令,所述至少一个指令被计算机装置中的处理器执行以实现上述人脸检测方法和/或卷积神经网络参数的训练方法。
本发明又一方面还提供一种集成电路,所述集成电路安装于计算机装置中,使所述计算机装置发挥上述的人脸检测方法和/或卷积神经网络参数的训练方法能实现的功能。
本发明获取待检测图像;将所述待检测图像输入至训练得到的卷积神经网络,识别所述待检测图像中是否包含人脸并对人脸姿态进行估计,其中训练所述卷积神经网络的训练样本集中的训练样本图像包括人脸的位置数据及姿态数据;若所述待检测图像包含人脸,输出所述待检测图像中人脸的姿态信息。由于训练得到的卷积网络的训练样本集中的训练样本图像包括人脸的位置数据及姿态数据,因此训练得到的卷积网络可以识别待检测图像中是否包含人脸,以及待检测图像中人脸的姿态数据,通过卷积神经网络模型,不仅可以对人脸进行检测还能同步估计人脸姿态,无需通过多个模型重复提取图像特征,在人脸识别过程中,避免了繁琐的运算过程,提高了人脸识别的效率。
附图说明
为了更清楚地说明本发明实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种人脸检测方法的流程图;
图2是本发明实施例中对图像进行非极大值抑制算法处理之前与之后的示意图;
图3本发明实施例提供的一种卷积神经网络参数的训练方法的流程图
图4是本发明实施例提供的人脸检测装置的功能模块图;
图5是本发明实施例提供的卷积神经网络参数的训练装置的功能模块图;
图6是本发明实施例提供的计算机装置的示意图。
如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点,下面结合附图和具体实施例对本发明进行详细描述。需要说明的是,在不冲突的情况下,本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本发明。
图1为本发明实施例提供的人脸检测方法的示意流程图。如图1所示,人脸检测方法可包括以下步骤:
S10,获取待检测图像。
本发明所述的人脸检测方法可应用于计算机装置中,所述计算机装置可以为网络摄像机、笔记本等计算机装置。
上述待检测图像可以是计算机装置采集到的图像,或者是接收到的来自于其他计算机装置发送的图像。
同时,上述待检测图像可以为人脸图像,也可以为非人脸图像。
S11,将所述待检测图像输入至训练得到的卷积神经网络,识别所述待检测图像中是否包含人脸并对人脸姿态进行估计,其中训练所述卷积神经网络的训练样本集中的训练样本图像包括人脸的位置数据及姿态数据。
其中,卷积神经网络(Convolutional Neural Network,CNN)是深度学习技术中具代表的网络结构之一,通常由输入层、卷积层、池化层和全连接层组成。例如,卷积神经网络模型有VGG-16,GoogleNet、ResNet50等。
本发明实施例中所述的训练得到的卷积神经网络可以为任意卷积神经网络模型经过训练得到的。
训练的过程是利用训练数据(用于得到模型的输入值和输出值)和训练算法,来得到卷积神经网络模型的网络参数,此时得到的卷积神经网络可称为训练得到的卷积神经网络,训练得到的卷积神经网络可根据输入值来预测输出值,即根据输入的图像,输出对应的结果。
在本实施例中,训练卷积神经网络模型的训练样本集包括训练样本图像,训练样本图像可以包括人脸图像与非人脸图像,且人脸图像的样本越多,则训练得到的卷积神经网络输出结果的准确率越高。
训练卷积神经网络的训练样本集中的训练样本图像包括人脸的位置数据及姿态数据,即在训练卷积神经网络模型时,可获取训练样本图像的人脸的位置数据和姿态数据,在训练过程中获取训练样本图像的人脸的位置数据和姿态数据须先对样本图像进行特征提取获取人脸,再进行人脸的位置数据和姿态数据的获取。其中,人脸的位置数据可以是人脸的脸框中心的横坐标与纵坐标,以及人脸的长度与宽度,人脸的姿态数据可以是人脸的俯仰角pitch、偏航角yaw和翻滚角roll,pitch代表人脸上下翻转的角度,yaw代表人脸左右翻转的角度,roll代表人脸平面内旋转的角度。
在从训练样本图像中获取所需的数据,可以称为对训练样本图像进行标注。在进行标注时,可以对数据进行归一化操作。例如,将人脸的脸框中心的横坐标与人脸的长度分别除以训练样本图像的长,将人脸的脸框中心的纵坐标与人脸的宽度分别除以训练样本图像的宽,将人脸的pitch、yaw和roll分别除以π。
卷积神经网络模型的输入值可以为训练样本图像,对卷积神经网络模型进行训练的目的是学习是根据输入的训练样本图像获取训练样本图像中人脸的位置数据及姿态数据,则该模型训练后,可以用于获取任意一张图像的人脸的位置数据及姿态数据。
若训练样本图像中不存在人脸,则人脸的位置数据和姿态数据可以为空。
在本发明中,还可以包括对训练得到的卷积神经网络进行训练的方法,在训练卷积神经网络时可以通过以下方法对训练样本图像进行处理:
(1)通过用于训练的卷积神经网络模型的卷积层提取训练样本图像的特征,得到特征图,所述特征图由若干特征单元组成;
(2)根据所述训练样本图像中人脸的位置数据和聚类算法获取所述若干特征单元中每一特征单元的锚框。
上述用于训练的卷积神经网络是指在具体实施时所使用的卷积神经网络模型,不同的卷积神经网络模型有不同的卷积层,每个卷积层有其对应的卷积核(矩阵)。例如,用于训练的卷积神经网络模型是VGG-16,在VGG-16中有16层网络层,其中,卷积层有13层。
通过用于训练的卷积神经网络模型的卷积层提取训练样本图像的特征得到的特征图,是提取训练样本图像特征的过程,得到的特征图用于表示该训练样本图像。
通过卷积层提取训练样本图像的特征,具体是通过卷积层进行卷积操作来提取训练样本图像的特征。卷积操作是将卷积核与训练样本图像的对应位置相乘再求和的过程,卷积操作之后得到另一矩阵,若卷积神经网络模型有多个卷积层,则可以进行多次卷积操作。
上述所述特征图由若干特征单元组成是指,特征图可以将特征图按照预设比例划分为几部分,每部分可称为特征单元,则特征图由这几个特征单元组成。例如,将特征图像按照3*3划分为9部分,则特征图由9个特征单元组成。
上述聚类算法可以为K-means算法、FCM聚类算法、SOM聚类算法等,具体是具体通过聚类算法获取锚框的长和宽,且一个特征单元可以对应多个锚框。
在现有技术中,锚框的获取通常由人工标注,而本实施例中通过聚类算法获取锚框的长度,能根据每个特征单元的尺度,确定每个特征单元的锚框,从而准确反应待检测人脸的长宽比例,减少了人工先验的干扰,同时也使检测更加精确。
可选的,还可以将判断锚框是否存在人脸,将存在人脸的锚框输出至用于训练的卷积神经网络模型的卷积层的下一层,例如VGG-16的全连接层。此时可以通过线性分类器(如线性SVM分类器)来判断锚框中是否存在人脸。
然后在用于训练的卷积神经网络下一层可以再判断当前锚框中是否都包含人脸,若存在,则提取锚框中的图像特征。
由于通过卷积层提取的特征向量是粗略的提取,提取到的特征简单,第二次再次提取到的特征表达的内容更为精确和丰富,使得二次提取特征后得到的表示训练样本图像更为准确,有利于提高训练结果的准确度。
可选地,在本发明另一实施例中,所述根据所述训练样本图像中人脸的位置数据和聚类算法获取所述若干特征单元中每一特征单元的锚框可包括:
(1)初始化特征单元的待确定锚框的长和宽;
(2)计算所述待确定锚框与所述训练样本图像的位置数据所确定的标准框的交集与并集的比值,根据所述比值确定聚类算法中的距离参数;
(3)迭代所述待确定锚框的长和宽,获取所述聚类算法对应的迭代结束条件达到时所述待确定锚框的长和宽,得到所述特征单元的锚框。
其中,锚框也可称为Anchor box,由于待确定锚框的长和宽为未知的,因此可以对待确定锚框的长和宽分别初始化一个值(可随机初始化赋值)。
然后,再计算待确定锚框与训练样本图像的标准框(即根据训练样本图像的位置数据所确定的区域)的交集与并集的比值,根据所述比值确定聚类算法中的距离参数。具体的,在本实施例中,聚类算法中的距离可以表示为以下:
d(tbox,abox)=1-IOU(tbox,abox)
其中,tbox表示训练样本图像中的标准框(即根据训练样本图像的位置数据所确定的区域),abox表示待确定锚框的长和宽,IOU(tbox,abox)表示tbox与abox的交集与并集的比值,定义为:
然后迭代待确定锚框的长和宽,则根据不同的长和宽可以确定不同的待确定锚框,持续迭代,直至聚类算法对应的迭代结束条件达到,获取此时待确定锚框的长和宽的值。例如,持续迭代,直至锚框的长度均不再发生变化。当锚框的长度均不在发生变化时,可能获取到多个长和宽的值,根据多个长和宽的值,可以确定多个锚框。
可以理解的,对若干特征单元中的每一个特征单元都可以通过以上所述方法获取锚框。
在现有的聚类算法中,若要对若干对象进行聚类,通常定义一个距离,两个对象的距离越近,相似性越大,则归为一类。而在本实施例中,待确定锚框与训练样本图像的标准框的比值可以确定待确定锚框与训练样本图像的标准框的重叠的面积,相比通过点对点的距离来进行聚类,本实施例中的聚类方法可以更准确的反应要解决的问题(将锚框中可能存在人脸的区域标记出来),运算效率更高,而且得到的结果更准确。
可选地,在本发明另一实施例中,还可以通过以下方法训练卷积神经网络:
根据预设损失函数和训练算法训练预设卷积神经网络模型,获得所述预设卷积神经网络模型的网络参数的值,得到所述训练得到的卷积神经网络,所述预设损失函数用于计算训练样本图像中人脸存在与否的损失、训练样本图像中人脸姿态的损失以及训练样本图像中人脸的位置数据所确定的区域的偏置量的损失。
上述预设卷积神经模型即为用于训练的卷积神经网络模型,例如VGG-16。
在对卷积神经模型进行训练时,训练的目的是为了得到卷积神经模型的网络参数,使该卷积神经网络得到的输出值能尽可能的接近实际值,从而能准确的对输入的数据进行预测。因此在训练时,通过损失函数来计算训练过程中卷积神经网络的输出值是否接近实际值,若损失函数的值越小,表明卷积神经网络的输出值越接近实际值。
具体的,本实施例中预设损失函数用于计算训练样本图像中人脸存在与否的损失、训练样本图像中人脸姿态的损失以及训练样本图像中人脸标注区域的偏置量的损失。在实现时,判断训练样本图像中人脸存在与否的损失,由于将训练样本图像由若干特征单元组成,且获取了每一特征单元的锚框。因此,可以通过获取每个锚框中人脸存在与否的损失来获取训练样本图像中人脸存在与否的损失,锚框中人脸存在与否的损失可以表示为:
其中,N表示样本的数量,根据每次选择的样本的数量而异;x表示锚框与标准框匹配是否匹配,具体的,xi,j={0,1}表示第i个通过聚类算法获取到的锚框与第j个样本图像的标准框是否匹配,当第i个锚框与第j个标准框的IOU值大于0.5时,xi,j=1,否则xi,j=0;c表示置信度,具体的,表示第i个锚框中包含人脸的置信度,表示第i个锚框中不包含人脸的置信度;i∈Pos表示第i个锚框中包含人脸,i∈Neg表示第i个锚框中不包含人脸。
同样的,可以通过锚框与训练样本图像中人脸的标准框的偏置量的损失来来获取训练样本中人脸的位置数据所确定的区域的偏置量的损失,锚框与训练样本图像中人脸的标准框的偏置量的损失为:
其中,x,N表示的内容同前面所述,l表示锚框的位置信息,cx、cy、w、h表示锚框的中心点横纵坐标、长度与宽度,g表示标准框的位置信息,smoothL1表示L1范数映射,并且有:
可以通过获取每个锚框中人脸姿态与标准框中的姿态的损失来获取训练样本中人脸姿态的损失,锚框中人脸姿态与标准框中的姿态的损失可以表示为:
其中,φ=(φ123)表示锚框中人脸的pitch,yaw,roll三种角度信息,θ=(θ123)表示标准中人脸的pitch,yaw,roll三种角度信息。
则,预设损失函数可以为以下:
同时,在对进行训练时,训练算法可以为梯度下降算法、牛顿算法、共轭梯度算法等。具体的训练算法可以从现有技术中获取,这里不再赘述。
本发明在计算神经网络的网络损失中增加了对人脸姿态信息的计算,能够在检测人脸的同时,直接输出人脸的姿态。并且由于损失函数可以用于对神经外模型进行评价,人脸姿态越准确,损失会越小。因此,在计算神经网络的网络损失中增加对人脸姿态的计算使得人脸检测与姿态估计取得相互促进的效果,进一步提高人脸检测与姿态估计的准确率。
S12,输出所述待检测图像是否包含人脸的检测结果。
根据步骤S11,可以获取待检测图像是否包含人脸。当待检测图像不包含人脸时,可以输出不包含人脸的信息,例如,输出no表示待检测图像中不包含人脸。当待检测图像包含人脸时,可以输出包含人脸的信息,例如,输出yes表示待检测图像中包含人脸。
由于本发明训练得到的卷积神经网络通过训练卷积神经网络模型学习识别人脸的位置及姿态数据,而是否存在人脸是学习人脸的位置以及姿态的基础,则在训练过程中通过提取图像的特征并学习就可以学习到识别图像是否寻在人脸,故训练得到的卷积神经网络可以输出待检测图像是否包含人脸的检测结果。
S13,若所述待检测图像包含人脸,输出所述待检测图像中人脸的姿态信息。
当待检测图像包含人脸时,由于训练得到的卷积神经网络在训练时,也训练了获取图像的中人脸的姿态数据。因此,可以输出待检测图像中人脸的姿态数据,可通过人脸的俯仰角pitch、偏航角yaw和翻滚角roll来表示人脸的姿态。
在具体实现时,步骤S12与步骤S13可以是同步输出。即若待检测图像中包含人脸,输出待检测图像包含人脸的检测结果以及人脸的姿态,若待检测图像中不包含人脸,可直接输出不包含人脸的检测结果,且不输出姿态信息,或者输出姿态信息为空值。
同时,在具体实现时,还可以是仅输出人脸的姿态信息而不输出是否包含人脸的检测结果。由于若得到了人脸的姿态信息且姿态信息不为空值,则表明待检测图像中是存在人脸的,因此仅通过姿态信息的输出就可以直观的了解到是否包含人脸,以及人脸的姿态是怎样的。
可选地,在本发明另一实施例中,所述人脸检测方法还可包括:
根据所述训练得到的卷积神经网络获取所述待检测图像中人脸的位置数据;
若所述人脸的位置数据包含至少两组位置数据,通过非极大值抑制算法获取所述待检测图像中人脸的准确位置;
输出所述待检测图像中人脸在所述准确位置时的人脸姿态信息。
其中,非极大值抑制算法(Non-maximum suppression,NMS)是搜索图像局部极大值,抑制非极大值元素。具体的非极大值抑制算法处理过程这里不再赘述,可以从现有技术中获取。
如图2所示,图2为对图像进行非极大值抑制算法处理之前与之后的示意图。图2左边的图显示的是检测到人脸,并根据人脸位置标识了人脸存在的区域(人脸框中为人脸存在的区域)的示意图。图2右边的图为经过非极大值抑制算法处理后,获取的图像的准确位置,此时去除了图像中多余的人脸框,可以准确的得到人脸的位置。
当待检测图像包含人脸时,由于训练得到的卷积神经网络在训练时,也训练了获取图像的中人脸的位置数据。因此,可以输出待检测图像中人脸的位置数据。在进行人脸检测时,可能得到多组人脸的位置数据,此时,通过非极大值抑制算法获取待检测图像中人脸的准确位置。当检测到人脸在某一位置时,可以检测到人脸在该位置的一组姿态数据(人脸的俯仰角pitch、偏航角yaw和翻滚角roll),因此在确定人脸的准确位置之后,可以获取在该准确位置时人脸的姿态信息。
通过非极大值抑制算法获取待检测图像中人脸的准确位置及姿态,可以提供待检测图像中更准确的人脸信息,以便后续进一步的进行图像处理(如图像识别)提高处理的准确率。
本发明提供的人脸检测方法通过获取待检测图像;将所述待检测图像输入至训练得到的卷积神经网络,识别所述待检测图像中是否包含人脸并对人脸姿态进行估计,其中训练所述卷积神经网络的训练样本集中的训练样本图像包括人脸的位置数据及姿态数据;输出所述待检测图像是否包含人脸的检测结果;若所述待检测图像包含人脸,输出所述待检测图像中人脸的姿态信息。由于训练得到的卷积网络的训练样本集中的训练样本图像包括人脸的位置数据及姿态数据,因此训练得到的卷积网络可以识别待检测图像中是否包含人脸,以及待检测图像中人脸的姿态数据,通过卷积神经网络模型,不仅可以对人脸进行检测还能同步估计人脸姿态,无需通过多个模型重复提取图像特征,在人脸识别过程中,避免了繁琐的运算过程,提高了人脸识别的效率。
图3为本发明实施例提供的卷积神经网络参数的训练方法的示意流程图。如图3所示,卷积神经网络参数的训练方法可包括以下步骤:
S20,获取训练样本集,所述训练样本集中的训练样本图像包括人脸的位置数据及姿态数据。
本发明所述的训练方法可用于训练任意卷积神经网络。
训练样本集用于对卷积神经网络模型进行训练,具体的训练样本集的类型和对训练样本集的处理可以参见上述实施例中相关描述,此处不再赘述。
S21,根据所述训练样本集训练、训练算法和预设损失函数训练预设卷积神经网络模型,得到所述预设卷神经网络模型的网络参数的值,所述预设损失函数用于计算训练样本图像中人脸存在与否的损失、训练样本图像中人脸姿态的损失以及训练样本图像中人脸标注区域的偏置量的损失。
训练的过程是利用训练数据(用于得到模型的输入值和输出值)和训练算法,来得到卷积神经网络模型的网络参数,此时得到的卷积神经网络可称为训练得到的卷积神经网络,训练得到的卷积神经网络可根据输入值来预测输出值,即根据输入的图像,输出对应的结果。
在进行训练时,可以通过预设卷积神经网络模型的卷积层提取训练样本图像的特征,得到表示训练样本图像的特征图。然后将特征图按照预设比例划分为若干特征单元,再根据聚类算法获取每个特征单元中的多个锚框。在得到多个锚框之后将存在人脸的锚框输入至预设卷积神经网络模型的下一层网络中,再次判断锚框中是否存在人脸,并对存在人脸的锚框进行特征提取。
然后,将此时提取到的特征及特征反应的信息(位置及姿态)与训练样本图像的包括的人脸的位置数据及姿态数据进行比较,并根据预设的损失函数来训练,获得预设卷积神经网络模型的网络参数。
具体的,可以参见前述实施例中有关模型训练的内容,此处不再赘述。
本发明提供的卷积神经网络参数的训练方法可以通过训练使训练得到的卷积神经网络,进行人脸检测,以及能够获取图像中人脸的位置及姿态信息。并且,在训练时,通过在网络损失中增加对人脸姿态的计算,使得人脸检测与姿态估计取得相互促进的效果,进一步提高人脸检测与姿态估计的准确率。
图4为本发明实施例提供的人脸检测装置的结构图,如图4所示,人脸检测装置可以包括:图像获取模块310、处理模块320和输出模块330。
图像获取模块310,用于获取待检测图像。
上述待检测图像可以是计算机装置采集到的图像,或者是接收到的来自于其他计算机装置发送的图像。
同时,上述待检测图像可以为人脸图像,也可以为非人脸图像。
处理模块320,用于将所述待检测图像输入至训练得到的卷积神经网络,识别所述待检测图像中是否包含人脸并对人脸姿态进行估计,其中训练所述卷积神经网络的训练样本集中的训练样本图像包括人脸的位置数据及姿态数据。
其中,卷积神经网络(Convolutional Neural Network,CNN)是深度学习技术中具代表的网络结构之一,通常由输入层、卷积层、池化层和全连接层组成。例如,卷积神经网络模型有VGG-16,GoogleNet、ResNet50等。
本发明实施例中所述的训练得到的卷积神经网络可以为任意卷积神经网络模型经过训练得到的。
训练的过程是利用训练数据(用于得到模型的输入值和输出值)和训练算法,来得到卷积神经网络模型的网络参数,此时得到的卷积神经网络可称为训练得到的卷积神经网络,训练得到的卷积神经网络可根据输入值来预测输出值,即根据输入的图像,输出对应的结果。
在本实施例中,训练卷积神经网络模型的训练样本集包括训练样本图像,训练样本图像可以包括人脸图像与非人脸图像,且人脸图像的样本越多,则训练得到的卷积神经网络输出结果的准确率越高。
训练卷积神经网络的训练样本集中的训练样本图像包括人脸的位置数据及姿态数据,即在训练卷积神经网络模型时,可获取训练样本图像的人脸的位置数据和姿态数据。在训练过程中获取训练样本图像的人脸的位置数据和姿态数据须先对样本图像进行特征提取获取人脸,再进行人脸的位置数据和姿态数据的获取。其中,人脸的位置数据可以是人脸的脸框中心的横坐标与纵坐标,以及人脸的长度与宽度,人脸的姿态数据可以是人脸的俯仰角pitch、偏航角yaw和翻滚角roll,pitch代表人脸上下翻转的角度,yaw代表人脸左右翻转的角度,roll代表人脸平面内旋转的角度。
在从训练样本图像中获取所需的数据,可以称为对训练样本图像进行标注。在进行标注时,可以对数据进行归一化操作,例如,将人脸的脸框中心的横坐标与人脸的长度分别除以训练样本图像的长,将人脸的脸框中心的纵坐标与人脸的宽度分别除以训练样本图像的宽。将人脸的pitch、yaw和roll分别除以π。
卷积神经网络模型的输入值可以为训练样本图像,对卷积神经网络模型进行训练的目是学习根据输入的训练样本图像获取训练样本图像中人脸的位置数据及姿态数据,则该模型训练后,可以用于获取任意一张图像的人脸的位置数据及姿态数据。
若训练样本图像中不存在人脸,则人脸的位置数据和姿态数据可以为空。
在本发明中,还可包括对训练得到的卷积神经网络进行训练的模块,在训练卷积神经网络时可通过特征提取模块及计算模块对训练样本图像进行处理:
特征提取模块,用于通过用于训练的卷积神经网络模型的卷积层提取训练样本图像的特征,得到特征图,所述特征图由若干特征单元组成。
计算模块,用于根据所述训练样本图像中人脸的位置数据和聚类算法获取所述若干特征单元中每一特征单元的锚框。
上述用于训练的卷积神经网络是指在具体实施时所使用的卷积神经网络模型,不同的卷积神经网络模型有不同的卷积层,每个卷积层有其对应的卷积核(矩阵)。例如,用于训练的卷积神经网络模型是VGG-16,在VGG-16中有16层网络层,其中,卷积层有13层。
通过用于训练的卷积神经网络模型的卷积层提取训练样本图像的特征得到的特征图,是提取训练样本图像特征的过程,得到的特征图用于表示该训练样本图像。
通过卷积层提取训练样本图像的特征,具体是通过卷积层进行卷积操作来提取训练样本图像的特征。卷积操作是将卷积核与训练样本图像的对应位置相乘再求和的过程,卷积操作之后得到另一矩阵,若卷积神经网络模型有多个卷积层,则可以进行多次卷积操作。
上述所述特征图由若干特征单元组成是指,特征图可以将特征图按照预设比例划分为几部分,每部分可称为特征单元,则特征图由这几个特征单元组成。例如,将特征图像按照3*3划分为9部分,则特征图由9个特征单元组成。
上述聚类算法可以为K-means算法、FCM聚类算法、SOM聚类算法等,具体是具体通过聚类算法获取锚框的长和宽,且一个特征单元可以对应多个锚框。
在现有技术中,锚框的获取通常由人工标注,而本实施例中通过聚类算法获取锚框的长度,能根据每个特征单元的尺度,确定每个特征单元的锚框,从而准确反应待检测人脸的长宽比例,减少了人工先验的干扰,同时也使检测更加精确。
可选的,还可以将判断锚框是否存在人脸,将存在人脸的锚框输出至用于训练的卷积神经网络模型的卷积层的下一层,例如VGG-16的全连接层。此时可以通过线性分类器(如线性SVM分类器)来判断锚框中是否存在人脸。
然后在用于训练的卷积神经网络下一层可以再判断当前锚框中是否都包含人脸,若存在,则提取锚框中的图像特征。
由于通过卷积层提取的特征向量是粗略的提取,提取到的特征简单,第二次再次提取到的特征表达的内容更为精确和丰富,使得二次提取特征后得到的表示训练样本图像更为准确,有利于提高训练结果的准确度。
可选地,在本发明另一实施例中,所述计算模块可具体用于:
(1)初始化特征单元的待确定锚框的长和宽;
(2)计算所述待确定锚框与所述训练样本图像的位置数据所确定的标准框的交集与并集的比值,根据所述比值确定聚类算法中的距离参数;
(3)迭代所述待确定锚框的长和宽,获取所述聚类算法对应的迭代结束条件达到时所述待确定锚框的长和宽,得到所述特征单元的锚框。
其中,锚框也可称为Anchor box,由于待确定锚框的长和宽为未知的,因此可以对待确定锚框的长和宽分别初始化一个值(可随机初始化赋值)。
然后,再计算待确定锚框与训练样本图像的标准框(即根据训练样本图像的位置数据所确定的区域)的交集与并集的比值,根据所述比值确定聚类算法中的距离参数。具体的,在本实施例中,聚类算法中的距离可以表示为以下:
d(tbox,abox)=1-IOU(tbox,abox)
其中,tbox表示训练样本图像中的标准框(即根据训练样本图像的位置数据所确定的区域),abox表示待确定锚框的长和宽,IOU(tbox,abox)表示tbox与abox的交集与并集的比值,定义为:
然后迭代待确定锚框的长和宽,则根据不同的长和宽可以确定不同的待确定锚框,持续迭代,直至聚类算法对应的迭代结束条件达到,获取此时待确定锚框的长和宽的值。例如,持续迭代,直至锚框的长度均不再发生变化。当锚框的长度均不在发生变化时,可能获取到多个长和宽的值,根据多个长和宽的值,可以确定多个锚框。
可以理解的,对若干特征单元中的每一个特征单元都可以通过计算模块获取锚框。
在现有的聚类算法中,若要对若干对象进行聚类,通常定义一个距离,两个对象的距离越近,相似性越大,则归为一类。而在本实施例中,待确定锚框与训练样本图像的标准框的比值可以确定待确定锚框与训练样本图像的标准框的重叠的面积,相比通过点对点的距离来进行聚类,本实施例中的聚类方法可以更准确的反应要解决的问题(将锚框中可能存在人脸的区域标记出来),运算效率更高,而且得到的结果更准确。
可选地,在本发明另一实施例中,还可以通过参数获取模块得到所述训练得到的卷积神经网络:
参数获取模块,用于根据预设损失函数和训练算法训练预设卷积神经网络模型,获得所述预设卷积神经网络模型的网络参数的值,得到所述训练得到的卷积神经网络,所述预设损失函数用于计算训练样本图像中人脸存在与否的损失、训练样本图像中人脸姿态的损失以及训练样本图像中人脸的位置数据所确定的区域的偏置量的损失。
上述预设卷积神经模型即为用于训练的卷积神经网络模型,例如VGG-16。
在对卷积神经模型进行训练时,训练的目的是为了得到卷积神经模型的网络参数,使该卷积神经网络得到的输出值能尽可能的接近实际值,从而能准确的对输入的数据进行预测。因此在训练时,通过损失函数来计算训练过程中卷积神经网络的输出值是否接近实际值,若损失函数的值越小,表明卷积神经网络的输出值越接近实际值。
具体的,本实施例中预设损失函数用于计算训练样本图像中人脸存在与否的损失、训练样本图像中人脸姿态的损失以及训练样本图像中人脸标注区域的偏置量的损失。在实现时,判断训练样本图像中人脸存在与否的损失,由于将训练样本图像由若干特征单元组成,且获取了每一特征单元的锚框。因此,可以通过获取每个锚框中人脸存在与否的损失来获取训练样本图像中人脸存在与否的损失,锚框中人脸存在与否的损失可以表示为:
其中,N表示样本的数量,根据每次选择的样本的数量而异;x表示锚框与标准框匹配是否匹配,具体的,xi,j={0,1}表示第i个通过聚类算法获取到的锚框与第j个样本图像的标准框是否匹配,当第i个锚框与第j个标准框的IOU值大于0.5时,xi,j=1,否则xi,j=0;c表示置信度,具体的,表示第i个锚框中包含人脸的置信度,表示第i个锚框中不包含人脸的置信度;i∈Pos表示第i个锚框中包含人脸,i∈Neg表示第i个锚框中不包含人脸。
同样的,可以通过锚框与训练样本图像中人脸的标准框的偏置量的损失来来获取训练样本中人脸的位置数据所确定的区域的偏置量的损失,锚框与训练样本图像中人脸的标准框的偏置量的损失为:
其中,x,N表示的内容同前面所述,l表示锚框的位置信息,cx、cy、w、h表示锚框的中心点横纵坐标、长度与宽度,g表示标准框的位置信息,smoothL1表示L1范数映射,并且有:
可以通过获取每个锚框中人脸姿态与标准框中的姿态的损失来获取训练样本中人脸姿态的损失,锚框中人脸姿态与标准框中的姿态的损失可以表示为:
其中,φ=(φ123)表示锚框中人脸的pitch,yaw,roll三种角度信息,θ=(θ123)表示标准中人脸的pitch,yaw,roll三种角度信息。
则,预设损失函数可以为以下:
同时,在对进行训练时,训练算法可以为梯度下降算法、牛顿算法、共轭梯度算法等。具体的训练算法可以从现有技术中获取,这里不再赘述。
本发明在计算神经网络的网络损失中增加了对人脸姿态信息的计算,能够在检测人脸的同时,直接输出人脸的姿态。并且由于损失函数可以用于对神经外模型进行评价,人脸姿态越准确,损失会越小。因此,在计算神经网络的网络损失中增加对人脸姿态的计算使得人脸检测与姿态估计取得相互促进的效果,进一步提高人脸检测与姿态估计的准确率。
输出模块330,用于输出所述待检测图像是否包含人脸的检测结果。
根据处理模块320,可以获取待检测图像是否包含人脸。当待检测图像不包含人脸时,可以输出不包含人脸的信息,例如,输出no表示待检测图像中不包含人脸。当待检测图像包含人脸时,可以输出包含人脸的信息,例如,输出yes表示待检测图像中包含人脸。
由于本发明训练得到的卷积神经网络通过训练卷积神经网络模型学习识别人脸的位置及姿态数据,而是否存在人脸是学习人脸的位置以及姿态的基础,则在训练过程中通过提取图像的特征并学习就可以学习到识别图像是否寻在人脸,故训练得到的卷积神经网络可以输出待检测图像是否包含人脸的检测结果。
输出模块330,还用于若所述待检测图像包含人脸,输出所述待检测图像中人脸的姿态信息。
当待检测图像包含人脸时,由于训练得到的卷积神经网络在训练时,也训练了获取图像的中人脸的姿态数据。因此,可以输出待检测图像中人脸的姿态数据,可通过人脸的俯仰角pitch、偏航角yaw和翻滚角roll来表示人脸的姿态。
在具体实现时,输出模块330可以是同步输出是否包含人脸的检测结果以及人脸的姿态信息。即若待检测图像中包含人脸,输出待检测图像包含人脸的检测结果以及人脸的姿态,若待检测图像中不包含人脸,可直接输出不包含人脸的检测结果,且不输出姿态信息,或者输出姿态信息为空值。
同时,在具体实现时,还可以是仅输出人脸的姿态信息而不输出是否包含人脸的检测结果。由于若得到了人脸的姿态信息且姿态信息不为空值,则表明待检测图像中是存在人脸的,因此仅通过姿态信息的输出就可以直观的了解到是否包含人脸,以及人脸的姿态是怎样的。
可选地,在本发明另一实施例中,所述人脸检测装置还可包括:
位置获取模块,用于根据所述训练得到的卷积神经网络获取所述待检测图像中人脸的位置数据。
去重复模块,用于若所述人脸的位置数据包含至少两组位置数据,通过非极大值抑制算法获取所述待检测图像中人脸的准确位置。
姿态获取模块,用于输出所述待检测图像中人脸在所述准确位置时的人脸姿态信息。
其中,非极大值抑制算法(Non-maximum suppression,NMS)是搜索图像局部极大值,抑制非极大值元素。具体的非极大值抑制算法处理过程这里不再赘述,可以从现有技术中获取。
如图2所示,图2为对图像进行非极大值抑制算法处理之前与之后的示意图。图2左边的图显示的是检测到人脸,并根据人脸位置标识了人脸存在的区域(人脸框中为人脸存在的区域)的示意图。图2右边的图为经过非极大值抑制算法处理后,获取的图像的准确位置,此时去除了图像中多余的人脸框,可以准确的得到人脸的位置。
当待检测图像包含人脸时,由于训练得到的卷积神经网络在训练时,也训练了获取图像的中人脸的位置数据。因此,可以输出待检测图像中人脸的位置数据。在进行人脸检测时,可能得到多组人脸的位置数据,此时,通过非极大值抑制算法获取待检测图像中人脸的准确位置。当检测到人脸在某一位置时,可以检测到人脸在该位置的一组姿态数据(人脸的俯仰角pitch、偏航角yaw和翻滚角roll),因此在确定人脸的准确位置之后,可以获取在该准确位置时人脸的姿态信息。
通过非极大值抑制算法获取待检测图像中人脸的准确位置及姿态,可以提供待检测图像中更准确的人脸信息,以便后续进一步的进行图像处理(如图像识别)提高处理的准确率。
本发明提供的人脸检测装置通过图像获取模块获取待检测图像;处理模块将所述待检测图像输入至训练得到的卷积神经网络,识别所述待检测图像中是否包含人脸并对人脸姿态进行估计,其中训练所述卷积神经网络的训练样本集中的训练样本图像包括人脸的位置数据及姿态数据;输出模块输出所述待检测图像是否包含人脸的检测结果;若所述待检测图像包含人脸,以及输出所述待检测图像中人脸的姿态信息。由于训练得到的卷积网络的训练样本集中的训练样本图像包括人脸的位置数据及姿态数据,因此训练得到的卷积网络可以识别待检测图像中是否包含人脸,以及待检测图像中人脸的姿态数据,通过卷积神经网络模型,不仅可以对人脸进行检测还能同步估计人脸姿态,无需通过多个模型重复提取图像特征,在人脸识别过程中,避免了繁琐的运算过程,提高了人脸识别的效率。
图5为本发明实施例提供的卷积神经网络参数的训练装置的结构图,卷积神经网络参数的训练装置可以包括:样本获取模块410和训练模块420。
样本获取模块410,用于获取训练样本集,所述训练样本集中的训练样本图像包括人脸的位置数据及姿态数据。
本发明所述的训练装置可用于训练任意卷积神经网络。
训练样本集用于对卷积神经网络模型进行训练,具体的训练样本集的类型和对训练样本集的处理可以参见上述实施例中相关描述,此处不再赘述。
训练模块420,用于根据所述训练样本集训练、训练算法和预设损失函数训练预设卷积神经网络模型,得到所述预设卷神经网络模型的网络参数的值,所述预设损失函数用于计算训练样本图像中人脸存在与否的损失、训练样本图像中人脸姿态的损失以及训练样本图像中人脸的位置数据所确定的区域的偏置量的损失。
训练的过程是利用训练数据(用于得到模型的输入值和输出值)和训练算法,来得到卷积神经网络模型的网络参数,此时得到的卷积神经网络可称为训练得到的卷积神经网络,训练得到的卷积神经网络可根据输入值来预测输出值,即根据输入的图像,输出对应的结果。
在进行训练时,可以通过预设卷积神经网络模型的卷积层提取训练样本图像的特征,得到表示训练样本图像的特征图。然后将特征图按照预设比例划分为若干特征单元,再根据聚类算法获取每个特征单元中的多个锚框。在得到多个锚框之后将存在人脸的锚框输入至预设卷积神经网络模型的下一层网络中,再次判断锚框中是否存在人脸,并对存在人脸的锚框进行特征提取。
然后,将此时提取到的特征及特征反应的信息(位置及姿态)与训练样本图像的包括的人脸的位置数据及姿态数据进行比较,并根据预设的损失函数来训练,获得预设卷积神经网络模型的网络参数。
具体的,可以参见前述实施例中有关模型训练的内容,此处不再赘述。
本发明提供的卷积神经网络参数的训练装置可以通过训练使训练得到的卷积神经网络,进行人脸检测,以及能够获取图像中人脸的位置及姿态信息。并且,在训练时,通过在网络损失中增加对人脸姿态的计算,使得人脸检测与姿态估计取得相互促进的效果,进一步提高人脸检测与姿态估计的准确率。
请参照图6,图6是本发明实施例提供的计算机装置1的示意图。所述计算机装置1包括存储器20、处理器30以及存储在所述存储器20中并可在所述处理器30上运行的计算机程序40,例如人脸检测的程序。所述处理器30执行所述计算机程序40时实现上述人脸检测方法实施例中的步骤,或上述卷积神经网络参数的训练方法实施例中的步骤,例如图1所示的步骤S10~S13,或图2所示的步骤S20~S21。或者,所述处理器30执行所述计算机程序40时实现上述装置实施例中各模块/单元的功能,例如模块310~330,或模块410~420。
示例性的,所述计算机程序40可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器20中,并由所述处理器30执行,以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序40在所述计算机装置1中的执行过程。例如,所述计算机程序40可以被分割成图4中的图像获取模块310、处理模块320和输出模块330,或者被分割成图5中的样本获取模块410和训练模块420,各模块具体功能参见前述实施例。
所述计算机装置1可以是嵌入式网络摄像机等嵌入式监控设备。本领域技术人员可以理解,所述示意图6仅仅是计算机装置1的示例,并不构成对计算机装置1的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述计算机装置1还可以包括输入输出设备、网络接入设备、总线等。
所称处理器30可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器30也可以是任何常规的处理器等,所述处理器30是所述计算机装置1的控制中心,利用各种接口和线路连接整个计算机装置1的各个部分。
所述存储器20可用于存储所述计算机程序40和/或模块/单元,所述处理器30通过运行或执行存储在所述存储器20内的计算机程序和/或模块/单元,以及调用存储在存储器20内的数据,实现所述计算机装置1的各种功能。所述存储器20可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序等;存储数据区可存储根据计算机装置1的使用所创建的数据(比如音频数据、图像数据等)等。此外,存储器20可以包括高速随机存取存储器,还可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
所述计算机装置1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
以上说明的本发明的特征性的手段可以通过集成电路来实现,并控制实现上述任意实施例中所述人脸检测方法的功能和/或所述卷积神经网络参数的训练方法的功能。
在任意实施例中所述人脸检测方法以及卷积神经网络参数的训练方法所能实现的功能都能通过本发明的集成电路安装于所述计算机装置中,使所述计算机装置发挥任意实施例中所述人脸检测方法的功能和/或所述卷积神经网络参数的训练方法所能实现的功能,在此不再详述。
在本发明所提供的几个实施例中,应该理解到,所揭露的方法和装置,也可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。装置权利要求中陈述的多个装置也可以由同一个装置或系统通过软件或者硬件来实现。第一,第二等词语用来表示名称,而并不表示任何特定的顺序。
最后应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或等同替换,而不脱离本发明技术方案的精神和范围。

Claims (10)

1.一种人脸检测方法,其特征在于,所述方法包括:
获取待检测图像;
将所述待检测图像输入至训练得到的卷积神经网络,识别所述待检测图像中是否包含人脸并对人脸姿态进行估计,其中训练所述卷积神经网络的训练样本集中的训练样本图像包括人脸的位置数据及姿态数据;
若所述待检测图像包含人脸,输出所述待检测图像中人脸的姿态信息。
2.如权利要求1所述的方法,其特征在于,所述方法还包括:
通过用于训练的卷积神经网络模型的卷积层提取训练样本图像的特征,得到特征图,所述特征图由若干特征单元组成;
根据所述训练样本图像中人脸的位置数据和聚类算法获取所述若干特征单元中每一特征单元的锚框。
3.如权利要求2所述的方法,其特征在于,所述根据所述训练样本图像中人脸的位置数据和聚类算法获取所述若干特征单元中每一特征单元的锚框,包括:
初始化特征单元的待确定锚框的长和宽;
计算所述待确定锚框与所述训练样本图像的位置数据所确定的标准框的交集与并集的比值,根据所述比值确定聚类算法中的距离参数;
迭代所述待确定锚框的长和宽,获取所述聚类算法对应的迭代结束条件到达时所述待确定锚框的长和宽,得到所述特征单元的锚框。
4.如权利要求1所述的方法,其特征在于,所述方法还包括:
根据预设损失函数和训练算法训练预设卷积神经网络模型,获得所述预设卷积神经网络模型的网络参数的值,得到所述训练得到的卷积神经网络,所述预设损失函数用于计算训练样本图像中人脸存在与否的损失、训练样本图像中人脸姿态的损失以及训练样本图像中人脸的位置数据所确定的区域的偏置量的损失。
5.如权利要求1至4中任一项所述的方法,其特征在于,所述方法还包括:
根据所述训练得到的卷积神经网络获取所述待检测图像中人脸的位置数据;
若所述人脸的位置数据包含至少两组位置数据,通过非极大值抑制算法获取所述待检测图像中人脸的准确位置;
输出所述待检测图像中人脸在所述准确位置时的人脸姿态信息。
6.一种卷积神经网络参数的训练方法,其特征在于,所述方法包括:
获取训练样本集,所述训练样本集中的训练样本图像包括人脸的位置数据及姿态数据;
根据所述训练样本集训练、训练算法和预设损失函数训练预设卷积神经网络模型,得到所述预设卷神经网络模型的网络参数的值,所述预设损失函数用于计算训练样本图像中人脸存在与否的损失、训练样本图像中人脸姿态的损失以及训练样本图像中人脸的位置数据所确定的区域的偏置量的损失。
7.一种人脸检测装置,其特征在于,所述装置包括:
图像获取模块,用于获取待检测图像;
处理模块,用于将所述待检测图像输入至训练得到的卷积神经网络,识别所述待检测图像中是否包含人脸并对人脸姿态进行估计,其中训练所述卷积神经网络的训练样本集中的训练样本图像包括人脸的位置数据及姿态数据;
输出模块,用于若所述待检测图像包含人脸,输出所述待检测图像中人脸的姿态信息。
8.一种卷积神经网络参数的训练装置,其特征在于,所述方法还包括:
样本获取模块,用于获取训练样本集,所述训练样本集中的训练样本图像包括人脸的位置数据及姿态数据;
训练模块,用于根据所述训练样本集训练、训练算法和预设损失函数训练预设卷积神经网络模型,得到所述预设卷神经网络模型的网络参数的值,所述预设损失函数用于计算训练样本图像中人脸存在与否的损失、训练样本图像中人脸姿态的损失以及训练样本图像中人脸的位置数据所确定的区域的偏置量的损失。
9.一种计算机装置,其特征在于,所述计算机装置包括:
存储器,用于存储至少一个指令;及
处理器,用于执行所述存储器中存储的指令以实现如权利要求1-5中任意一项所述人脸检测方法和/或权利要求6所述卷积神经网络参数的训练方法。
10.一种计算机可读存储介质,其上存储有计算机指令,其特征在于:所述计算机指令被处理器执行时实现如权利要求1-5中任意一项所述人脸检测方法和/或权利要求6所述卷积神经网络参数的训练方法。
CN201711462096.3A 2017-12-28 2017-12-28 人脸检测方法、卷积神经网络参数的训练方法、装置及介质 Active CN108038474B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201711462096.3A CN108038474B (zh) 2017-12-28 2017-12-28 人脸检测方法、卷积神经网络参数的训练方法、装置及介质
PCT/CN2018/119188 WO2019128646A1 (zh) 2017-12-28 2018-12-04 人脸检测方法、卷积神经网络参数的训练方法、装置及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711462096.3A CN108038474B (zh) 2017-12-28 2017-12-28 人脸检测方法、卷积神经网络参数的训练方法、装置及介质

Publications (2)

Publication Number Publication Date
CN108038474A true CN108038474A (zh) 2018-05-15
CN108038474B CN108038474B (zh) 2020-04-14

Family

ID=62097610

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711462096.3A Active CN108038474B (zh) 2017-12-28 2017-12-28 人脸检测方法、卷积神经网络参数的训练方法、装置及介质

Country Status (2)

Country Link
CN (1) CN108038474B (zh)
WO (1) WO2019128646A1 (zh)

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109359526A (zh) * 2018-09-11 2019-02-19 深圳大学 一种人脸姿态估计方法、装置和设备
CN109376693A (zh) * 2018-11-22 2019-02-22 四川长虹电器股份有限公司 人脸检测方法及系统
CN109598267A (zh) * 2018-11-15 2019-04-09 北京天融信网络安全技术有限公司 图像数据防泄漏方法、装置及设备
CN109902603A (zh) * 2019-02-18 2019-06-18 苏州清研微视电子科技有限公司 基于红外图像的驾驶员身份识别认证方法和系统
WO2019128646A1 (zh) * 2017-12-28 2019-07-04 深圳励飞科技有限公司 人脸检测方法、卷积神经网络参数的训练方法、装置及介质
CN110197113A (zh) * 2019-03-28 2019-09-03 杰创智能科技股份有限公司 一种高精度锚点匹配策略的人脸检测方法
CN110197109A (zh) * 2018-08-17 2019-09-03 平安科技(深圳)有限公司 神经网络模型训练、人脸识别方法、装置、设备及介质
CN110210314A (zh) * 2019-05-06 2019-09-06 深圳市华付信息技术有限公司 人脸检测方法、装置、计算机设备及存储介质
CN110321821A (zh) * 2019-06-24 2019-10-11 深圳爱莫科技有限公司 基于三维投影的人脸对齐初始化方法及装置、存储介质
CN110321844A (zh) * 2019-07-04 2019-10-11 北京万里红科技股份有限公司 一种基于卷积神经网络的快速虹膜检测方法
CN110458225A (zh) * 2019-08-08 2019-11-15 北京深醒科技有限公司 一种车辆检测和姿态分类联合识别方法
CN110795976A (zh) * 2018-08-03 2020-02-14 华为技术有限公司 一种训练物体检测模型的方法、装置以及设备
CN110796029A (zh) * 2019-10-11 2020-02-14 北京达佳互联信息技术有限公司 人脸校正及模型训练方法、装置、电子设备及存储介质
CN110879972A (zh) * 2019-10-24 2020-03-13 深圳云天励飞技术有限公司 一种人脸检测方法及装置
CN111050271A (zh) * 2018-10-12 2020-04-21 北京微播视界科技有限公司 用于处理音频信号的方法和装置
CN111209822A (zh) * 2019-12-30 2020-05-29 南京华图信息技术有限公司 一种热红外图像的人脸检测方法
CN111241998A (zh) * 2020-01-09 2020-06-05 中移(杭州)信息技术有限公司 人脸识别的方法、装置、电子设备和存储介质
CN111274848A (zh) * 2018-12-04 2020-06-12 北京嘀嘀无限科技发展有限公司 一种图像检测方法、装置、电子设备及存储介质
CN111563502A (zh) * 2020-05-09 2020-08-21 腾讯科技(深圳)有限公司 图像的文本识别方法、装置、电子设备及计算机存储介质
CN111950567A (zh) * 2020-08-18 2020-11-17 创新奇智(成都)科技有限公司 一种提取器训练方法、装置、电子设备及存储介质
CN112307900A (zh) * 2020-09-27 2021-02-02 北京迈格威科技有限公司 面部图像质量的评估方法、装置和电子设备
CN112418074A (zh) * 2020-11-20 2021-02-26 重庆邮电大学 一种基于自注意力的耦合姿态人脸识别方法
CN112487852A (zh) * 2019-09-12 2021-03-12 上海齐感电子信息科技有限公司 嵌入式设备的人脸检测方法及装置、存储介质、终端
CN112712022A (zh) * 2020-12-29 2021-04-27 华南理工大学 基于图像识别的压力检测方法、系统、装置及存储介质
CN112784858A (zh) * 2019-11-01 2021-05-11 搜狗(杭州)智能科技有限公司 一种图像数据的处理方法、装置及电子设备
CN112911393A (zh) * 2018-07-24 2021-06-04 广州虎牙信息科技有限公司 部位识别方法、装置、终端及存储介质
CN113688887A (zh) * 2021-08-13 2021-11-23 百度在线网络技术(北京)有限公司 图像识别模型的训练与图像识别方法、装置
CN114548132A (zh) * 2022-02-22 2022-05-27 广东奥普特科技股份有限公司 条形码检测模型的训练方法、装置及条形码检测方法、装置
CN114581652A (zh) * 2020-12-01 2022-06-03 北京四维图新科技股份有限公司 目标对象的检测方法、装置、电子设备以及存储介质

Families Citing this family (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112241664A (zh) * 2019-07-18 2021-01-19 顺丰科技有限公司 人脸识别方法、装置、服务器及存储介质
CN110516576B (zh) * 2019-08-20 2022-12-06 西安电子科技大学 基于深度神经网络的近红外活体人脸识别方法
CN112446376B (zh) * 2019-09-05 2023-08-01 中国科学院沈阳自动化研究所 一种工业图像智能分割压缩方法
CN110633689B (zh) * 2019-09-23 2023-08-04 天津天地伟业信息系统集成有限公司 基于半监督注意力网络的人脸识别模型
CN110826402B (zh) * 2019-09-27 2024-03-29 深圳市华付信息技术有限公司 一种基于多任务的人脸质量估计方法
CN110647865B (zh) * 2019-09-30 2023-08-08 腾讯科技(深圳)有限公司 人脸姿态的识别方法、装置、设备及存储介质
CN110705478A (zh) * 2019-09-30 2020-01-17 腾讯科技(深圳)有限公司 人脸跟踪方法、装置、设备及存储介质
CN112307860A (zh) * 2019-10-10 2021-02-02 北京沃东天骏信息技术有限公司 图像识别模型训练方法和装置、图像识别方法和装置
CN110941986B (zh) * 2019-10-10 2023-08-01 平安科技(深圳)有限公司 活体检测模型的训练方法、装置、计算机设备和存储介质
CN110866471A (zh) * 2019-10-31 2020-03-06 Oppo广东移动通信有限公司 人脸图像质量评价方法及装置、计算机可读介质、通信终端
CN110781856B (zh) * 2019-11-04 2023-12-19 浙江大华技术股份有限公司 异质人脸识别模型训练方法、人脸识别方法及相关装置
CN112766028B (zh) * 2019-11-06 2024-05-03 深圳云天励飞技术有限公司 人脸模糊处理方法、装置、电子设备及存储介质
CN110826519B (zh) * 2019-11-14 2023-08-18 深圳华付技术股份有限公司 人脸遮挡检测方法、装置、计算机设备及存储介质
CN111008576B (zh) * 2019-11-22 2023-09-01 高创安邦(北京)技术有限公司 行人检测及其模型训练、更新方法、设备及可读存储介质
CN111160094A (zh) * 2019-11-26 2020-05-15 苏州方正璞华信息技术有限公司 一种跑步抓拍照片中选手识别方法及装置
CN111046757B (zh) * 2019-11-27 2024-03-05 西安电子科技大学 人脸画像生成模型的训练方法、装置及相关设备
CN112989869B (zh) * 2019-12-02 2024-05-07 深圳云天励飞技术有限公司 人脸质量检测模型的优化方法、装置、设备及存储介质
CN112906446B (zh) * 2019-12-04 2024-07-05 深圳云天励飞技术有限公司 人脸检测方法、装置、电子设备及计算机可读存储介质
CN110826538B (zh) * 2019-12-06 2023-05-02 合肥科大智能机器人技术有限公司 一种用于电力营业厅的异常离岗识别系统
CN111160108B (zh) * 2019-12-06 2023-03-31 华侨大学 一种无锚点的人脸检测方法及系统
CN111079617B (zh) * 2019-12-10 2024-03-08 上海信联信息发展股份有限公司 家禽识别方法、装置、可读存储介质及电子设备
CN111062324A (zh) * 2019-12-17 2020-04-24 上海眼控科技股份有限公司 人脸检测方法、装置、计算机设备和存储介质
CN111160368A (zh) * 2019-12-24 2020-05-15 中国建设银行股份有限公司 图像中目标检测方法、装置、设备及存储介质
CN113065379B (zh) * 2019-12-27 2024-05-07 深圳云天励飞技术有限公司 融合图像质量的图像检测方法、装置、电子设备
CN111191599B (zh) * 2019-12-27 2023-05-30 平安国际智慧城市科技股份有限公司 姿态识别方法、装置、设备及存储介质
CN110942072B (zh) * 2019-12-31 2024-02-02 北京迈格威科技有限公司 基于质量评估的质量分、检测模型训练、检测方法及装置
CN111275005B (zh) * 2020-02-21 2023-04-07 腾讯科技(深圳)有限公司 绘制人脸图像识别方法、计算机可读存储介质和相关设备
CN111428609A (zh) * 2020-03-19 2020-07-17 辽宁石油化工大学 一种基于深度学习的人体姿态识别方法及系统
CN111401456B (zh) * 2020-03-20 2023-08-22 杭州涂鸦信息技术有限公司 人脸姿态识别模型的训练方法及其系统和装置
CN113449539A (zh) * 2020-03-24 2021-09-28 顺丰科技有限公司 动物体信息提取模型的训练方法、装置、设备及存储介质
CN111401299A (zh) * 2020-04-03 2020-07-10 上海应用技术大学 人脸识别方法
CN111428682B (zh) * 2020-04-09 2023-04-18 上海东普信息科技有限公司 快件分拣方法、装置、设备及存储介质
CN111680546A (zh) * 2020-04-26 2020-09-18 北京三快在线科技有限公司 注意力检测方法、装置、电子设备及存储介质
CN111553420B (zh) * 2020-04-28 2023-08-15 北京邮电大学 一种基于神经网络的x线影像识别方法及装置
CN113657136B (zh) * 2020-05-12 2024-02-13 阿里巴巴集团控股有限公司 识别方法及装置
CN111652798B (zh) * 2020-05-26 2023-09-29 浙江大华技术股份有限公司 人脸姿态迁移方法和计算机存储介质
CN111695609B (zh) * 2020-05-26 2024-06-28 平安科技(深圳)有限公司 目标物损伤程度判定方法、装置、电子设备及存储介质
CN111639596B (zh) * 2020-05-29 2023-04-28 上海锘科智能科技有限公司 基于注意力机制和残差网络的抗眼镜遮挡人脸识别方法
CN111583159B (zh) * 2020-05-29 2024-01-05 北京金山云网络技术有限公司 一种图像补全方法、装置及电子设备
CN111783608B (zh) * 2020-06-24 2024-03-19 南京烽火星空通信发展有限公司 一种换脸视频检测方法
CN111753961B (zh) * 2020-06-26 2023-07-28 北京百度网讯科技有限公司 模型训练方法和装置、预测方法和装置
CN111814646B (zh) * 2020-06-30 2024-04-05 深圳平安智慧医健科技有限公司 基于ai视觉的监控方法、装置、设备及介质
CN113781544B (zh) * 2020-07-14 2024-05-24 北京沃东天骏信息技术有限公司 平面检测方法及装置
CN111881804B (zh) * 2020-07-22 2023-07-28 汇纳科技股份有限公司 基于联合训练的姿态估计模型训练方法、系统、介质及终端
CN112101088B (zh) * 2020-07-27 2023-10-27 长江大学 一种无人机电力自动巡检方法、装置及系统
CN112115783B (zh) * 2020-08-12 2023-11-14 中国科学院大学 基于深度知识迁移的人脸特征点检测方法、装置及设备
CN111985374B (zh) * 2020-08-12 2022-11-15 汉王科技股份有限公司 人脸定位方法、装置、电子设备及存储介质
CN112767303B (zh) * 2020-08-12 2023-11-28 腾讯科技(深圳)有限公司 一种图像检测方法、装置、设备及计算机可读存储介质
CN111914812B (zh) * 2020-08-20 2022-09-16 腾讯科技(深圳)有限公司 图像处理模型训练方法、装置、设备及存储介质
CN111986255B (zh) * 2020-09-07 2024-04-09 凌云光技术股份有限公司 一种图像检测模型的多尺度anchor初始化方法与装置
CN112052805B (zh) * 2020-09-10 2023-12-12 深圳数联天下智能科技有限公司 人脸检测框显示方法、图像处理装置、设备和存储介质
CN112101185B (zh) * 2020-09-11 2024-05-28 深圳数联天下智能科技有限公司 一种训练皱纹检测模型的方法、电子设备及存储介质
CN111985458B (zh) * 2020-09-16 2023-12-08 深圳数联天下智能科技有限公司 一种检测多目标的方法、电子设备及存储介质
CN112347843A (zh) * 2020-09-18 2021-02-09 深圳数联天下智能科技有限公司 一种训练皱纹检测模型的方法及相关装置
CN112132040B (zh) * 2020-09-24 2024-03-15 明见(厦门)软件开发有限公司 基于视觉的安全带实时监测方法、终端设备及存储介质
CN112418344B (zh) * 2020-12-07 2023-11-21 汇纳科技股份有限公司 一种训练方法、目标检测方法、介质及电子设备
CN112528858A (zh) * 2020-12-10 2021-03-19 北京百度网讯科技有限公司 人体姿态估计模型的训练方法、装置、设备、介质及产品
CN112528903B (zh) * 2020-12-18 2023-10-31 平安银行股份有限公司 人脸图像获取方法、装置、电子设备及介质
CN113139419B (zh) * 2020-12-28 2024-05-31 西安天和防务技术股份有限公司 一种无人机检测方法及装置
JP2023511242A (ja) * 2020-12-31 2023-03-17 商▲湯▼国▲際▼私人有限公司 画像内関連対象検出方法、装置、デバイス、及び記録媒体
CN112766186B (zh) * 2021-01-22 2024-05-28 北京工业大学 一种基于多任务学习的实时人脸检测及头部姿态估计方法
CN113743176A (zh) * 2021-01-29 2021-12-03 北京沃东天骏信息技术有限公司 一种图像识别方法、设备和计算机可读存储介质
CN113191195A (zh) * 2021-04-01 2021-07-30 珠海全志科技股份有限公司 基于深度学习的人脸检测方法及系统
CN113034602B (zh) * 2021-04-16 2023-04-07 电子科技大学中山学院 一种朝向角度分析方法、装置、电子设备及存储介质
CN113011387B (zh) * 2021-04-20 2024-05-24 上海商汤科技开发有限公司 网络训练及人脸活体检测方法、装置、设备及存储介质
CN113210264B (zh) * 2021-05-19 2023-09-05 江苏鑫源烟草薄片有限公司 烟草杂物剔除方法及装置
CN113283345B (zh) * 2021-05-27 2023-11-24 新东方教育科技集团有限公司 板书书写行为检测方法、训练方法、装置、介质及设备
CN113239885A (zh) * 2021-06-04 2021-08-10 新大陆数字技术股份有限公司 一种人脸检测与识别方法及系统
CN113705690B (zh) * 2021-08-30 2024-02-27 平安科技(深圳)有限公司 正脸定位方法、装置、电子设备及计算机可读存储介质
CN116092264A (zh) * 2021-10-29 2023-05-09 青岛海尔科技有限公司 跌倒提示方法及装置
CN116264016A (zh) * 2021-12-10 2023-06-16 中国科学院软件研究所 一种轻量的实时人脸检测和头部姿态估计方法及系统
CN114036594B (zh) * 2022-01-10 2022-04-08 季华实验室 一种工艺图像的生成方法、装置和电子设备
CN115147902B (zh) * 2022-06-30 2023-11-07 北京百度网讯科技有限公司 人脸活体检测模型的训练方法、装置及计算机程序产品
CN116310669B (zh) * 2022-11-21 2024-02-06 湖北工业大学 基于多模态特征提取网络的目标检测方法、系统及设备
CN116403080B (zh) * 2023-06-09 2023-08-11 江西云眼视界科技股份有限公司 一种人脸聚类评价方法、系统、计算机及可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104504376A (zh) * 2014-12-22 2015-04-08 厦门美图之家科技有限公司 一种人脸图像的年龄分类方法和系统
CN105760836A (zh) * 2016-02-17 2016-07-13 厦门美图之家科技有限公司 基于深度学习的多角度人脸对齐方法、系统及拍摄终端
CN107491771A (zh) * 2017-09-21 2017-12-19 百度在线网络技术(北京)有限公司 人脸检测方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108038474B (zh) * 2017-12-28 2020-04-14 深圳励飞科技有限公司 人脸检测方法、卷积神经网络参数的训练方法、装置及介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104504376A (zh) * 2014-12-22 2015-04-08 厦门美图之家科技有限公司 一种人脸图像的年龄分类方法和系统
CN105760836A (zh) * 2016-02-17 2016-07-13 厦门美图之家科技有限公司 基于深度学习的多角度人脸对齐方法、系统及拍摄终端
CN107491771A (zh) * 2017-09-21 2017-12-19 百度在线网络技术(北京)有限公司 人脸检测方法和装置

Cited By (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019128646A1 (zh) * 2017-12-28 2019-07-04 深圳励飞科技有限公司 人脸检测方法、卷积神经网络参数的训练方法、装置及介质
CN112911393A (zh) * 2018-07-24 2021-06-04 广州虎牙信息科技有限公司 部位识别方法、装置、终端及存储介质
CN110795976A (zh) * 2018-08-03 2020-02-14 华为技术有限公司 一种训练物体检测模型的方法、装置以及设备
CN110795976B (zh) * 2018-08-03 2023-05-05 华为云计算技术有限公司 一种训练物体检测模型的方法、装置以及设备
US11605211B2 (en) 2018-08-03 2023-03-14 Huawei Cloud Computing Technologies Co., Ltd. Object detection model training method and apparatus, and device
US11423634B2 (en) 2018-08-03 2022-08-23 Huawei Cloud Computing Technologies Co., Ltd. Object detection model training method, apparatus, and device
CN110796154A (zh) * 2018-08-03 2020-02-14 华为技术有限公司 一种训练物体检测模型的方法、装置以及设备
CN110197109B (zh) * 2018-08-17 2023-11-24 平安科技(深圳)有限公司 神经网络模型训练、人脸识别方法、装置、设备及介质
CN110197109A (zh) * 2018-08-17 2019-09-03 平安科技(深圳)有限公司 神经网络模型训练、人脸识别方法、装置、设备及介质
CN109359526B (zh) * 2018-09-11 2022-09-27 深圳大学 一种人脸姿态估计方法、装置和设备
CN109359526A (zh) * 2018-09-11 2019-02-19 深圳大学 一种人脸姿态估计方法、装置和设备
US11425524B2 (en) 2018-10-12 2022-08-23 Beijing Bytedance Network Technology Co., Ltd. Method and device for processing audio signal
CN111050271A (zh) * 2018-10-12 2020-04-21 北京微播视界科技有限公司 用于处理音频信号的方法和装置
CN109598267A (zh) * 2018-11-15 2019-04-09 北京天融信网络安全技术有限公司 图像数据防泄漏方法、装置及设备
CN109376693A (zh) * 2018-11-22 2019-02-22 四川长虹电器股份有限公司 人脸检测方法及系统
CN111274848A (zh) * 2018-12-04 2020-06-12 北京嘀嘀无限科技发展有限公司 一种图像检测方法、装置、电子设备及存储介质
CN109902603A (zh) * 2019-02-18 2019-06-18 苏州清研微视电子科技有限公司 基于红外图像的驾驶员身份识别认证方法和系统
CN110197113B (zh) * 2019-03-28 2021-06-04 杰创智能科技股份有限公司 一种高精度锚点匹配策略的人脸检测方法
CN110197113A (zh) * 2019-03-28 2019-09-03 杰创智能科技股份有限公司 一种高精度锚点匹配策略的人脸检测方法
CN110210314A (zh) * 2019-05-06 2019-09-06 深圳市华付信息技术有限公司 人脸检测方法、装置、计算机设备及存储介质
CN110321821B (zh) * 2019-06-24 2022-10-25 深圳爱莫科技有限公司 基于三维投影的人脸对齐初始化方法及装置、存储介质
CN110321821A (zh) * 2019-06-24 2019-10-11 深圳爱莫科技有限公司 基于三维投影的人脸对齐初始化方法及装置、存储介质
CN110321844B (zh) * 2019-07-04 2021-09-03 北京万里红科技股份有限公司 一种基于卷积神经网络的快速虹膜检测方法
CN110321844A (zh) * 2019-07-04 2019-10-11 北京万里红科技股份有限公司 一种基于卷积神经网络的快速虹膜检测方法
CN110458225A (zh) * 2019-08-08 2019-11-15 北京深醒科技有限公司 一种车辆检测和姿态分类联合识别方法
CN112487852A (zh) * 2019-09-12 2021-03-12 上海齐感电子信息科技有限公司 嵌入式设备的人脸检测方法及装置、存储介质、终端
CN110796029B (zh) * 2019-10-11 2022-11-11 北京达佳互联信息技术有限公司 人脸校正及模型训练方法、装置、电子设备及存储介质
CN110796029A (zh) * 2019-10-11 2020-02-14 北京达佳互联信息技术有限公司 人脸校正及模型训练方法、装置、电子设备及存储介质
CN110879972A (zh) * 2019-10-24 2020-03-13 深圳云天励飞技术有限公司 一种人脸检测方法及装置
CN112784858B (zh) * 2019-11-01 2024-04-30 北京搜狗科技发展有限公司 一种图像数据的处理方法、装置及电子设备
CN112784858A (zh) * 2019-11-01 2021-05-11 搜狗(杭州)智能科技有限公司 一种图像数据的处理方法、装置及电子设备
CN111209822A (zh) * 2019-12-30 2020-05-29 南京华图信息技术有限公司 一种热红外图像的人脸检测方法
CN111241998B (zh) * 2020-01-09 2023-04-28 中移(杭州)信息技术有限公司 人脸识别的方法、装置、电子设备和存储介质
CN111241998A (zh) * 2020-01-09 2020-06-05 中移(杭州)信息技术有限公司 人脸识别的方法、装置、电子设备和存储介质
CN111563502A (zh) * 2020-05-09 2020-08-21 腾讯科技(深圳)有限公司 图像的文本识别方法、装置、电子设备及计算机存储介质
CN111563502B (zh) * 2020-05-09 2023-12-15 腾讯科技(深圳)有限公司 图像的文本识别方法、装置、电子设备及计算机存储介质
CN111950567A (zh) * 2020-08-18 2020-11-17 创新奇智(成都)科技有限公司 一种提取器训练方法、装置、电子设备及存储介质
CN111950567B (zh) * 2020-08-18 2024-04-09 创新奇智(成都)科技有限公司 一种提取器训练方法、装置、电子设备及存储介质
CN112307900A (zh) * 2020-09-27 2021-02-02 北京迈格威科技有限公司 面部图像质量的评估方法、装置和电子设备
CN112418074A (zh) * 2020-11-20 2021-02-26 重庆邮电大学 一种基于自注意力的耦合姿态人脸识别方法
CN112418074B (zh) * 2020-11-20 2022-08-23 重庆邮电大学 一种基于自注意力的耦合姿态人脸识别方法
CN114581652A (zh) * 2020-12-01 2022-06-03 北京四维图新科技股份有限公司 目标对象的检测方法、装置、电子设备以及存储介质
CN112712022A (zh) * 2020-12-29 2021-04-27 华南理工大学 基于图像识别的压力检测方法、系统、装置及存储介质
CN113688887A (zh) * 2021-08-13 2021-11-23 百度在线网络技术(北京)有限公司 图像识别模型的训练与图像识别方法、装置
CN114548132A (zh) * 2022-02-22 2022-05-27 广东奥普特科技股份有限公司 条形码检测模型的训练方法、装置及条形码检测方法、装置

Also Published As

Publication number Publication date
WO2019128646A1 (zh) 2019-07-04
CN108038474B (zh) 2020-04-14

Similar Documents

Publication Publication Date Title
CN108038474A (zh) 人脸检测方法、卷积神经网络参数的训练方法、装置及介质
JP7375006B2 (ja) 画像セマンティックセグメンテーションネットワークのトレーニング方法、装置、機器及びコンピュータプログラム
CN107133616A (zh) 一种基于深度学习的无分割字符定位与识别方法
CN106358444B (zh) 用于面部验证的方法和系统
US8238660B2 (en) Hybrid graph model for unsupervised object segmentation
CN110084173A (zh) 人头检测方法及装置
CN108229330A (zh) 人脸融合识别方法及装置、电子设备和存储介质
CN108229479A (zh) 语义分割模型的训练方法和装置、电子设备、存储介质
CN109214273A (zh) 人脸图像比对方法、装置、计算机设备及存储介质
CN108647588A (zh) 物品类别识别方法、装置、计算机设备和存储介质
CN108985232A (zh) 人脸图像比对方法、装置、计算机设备及存储介质
CN107679490A (zh) 用于检测图像质量的方法和装置
CN110490177A (zh) 一种人脸检测器训练方法及装置
CN107480730A (zh) 电力设备识别模型构建方法和系统、电力设备的识别方法
CN107016409A (zh) 一种基于图像显著区域的图像分类方法和系统
CN110443239A (zh) 文字图像的识别方法及其装置
CN106372666B (zh) 一种目标识别方法及装置
CN106295591A (zh) 基于人脸图像的性别识别方法及装置
CN109086711A (zh) 人脸特征分析方法、装置、计算机设备和存储介质
CN109934196A (zh) 人脸姿态参数评估方法、装置、电子设备及可读存储介质
CN106326857A (zh) 基于人脸图像的性别识别方法及装置
CN105069774B (zh) 基于多示例学习与图割优化的目标分割方法
CN108805016A (zh) 一种头肩区域检测方法及装置
CN103942535B (zh) 多目标跟踪方法及装置
CN107463865A (zh) 人脸检测模型训练方法、人脸检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20181203

Address after: Room D24, Pilot Youth Community, 2nd Floor, Peihong Building, Nanshan Street Science Park, Nanshan District, Shenzhen City, Guangdong Province

Applicant after: Shenzhen Li Fei Technology Co., Ltd.

Address before: 518000 Shenzhen Science Museum, 1003 Shangbuzhong Road, Futian District, Shenzhen City, Guangdong Province, 7th Floor

Applicant before: The skies, Shenzhen Li Fei Technology Co., Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant