CN107748858A - 一种基于级联卷积神经网络的多姿态眼睛定位方法 - Google Patents

一种基于级联卷积神经网络的多姿态眼睛定位方法 Download PDF

Info

Publication number
CN107748858A
CN107748858A CN201710454105.8A CN201710454105A CN107748858A CN 107748858 A CN107748858 A CN 107748858A CN 201710454105 A CN201710454105 A CN 201710454105A CN 107748858 A CN107748858 A CN 107748858A
Authority
CN
China
Prior art keywords
net
face
eyes
pose
window
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710454105.8A
Other languages
English (en)
Inventor
秦华标
刘青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201710454105.8A priority Critical patent/CN107748858A/zh
Publication of CN107748858A publication Critical patent/CN107748858A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194—References adjustable by an adaptive method, e.g. learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Geometry (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于级联卷积神经网络的多姿态眼睛定位算法，属于机器学习和计算机视觉领域，适用于人脸识别、视线跟踪、驾驶员疲劳检测等智能系统。该方法包括：收集标注了多种信息的人脸图片，形成一个训练数据集合；构造一个多任务的级联卷积神经网络；利用训练数据集合训练该网络，并得到该网络模型；最后利用该网络模型，检测图片中的人脸以及人脸关键点，从而选取包含眼睛关键点的最小矩形框作为眼睛定位的结果。本发明通过多任务的级联卷积神网络来完成人脸检测和人脸关键点检测，使得多姿态眼睛定位的效果明显提高。

Description

一种基于级联卷积神经网络的多姿态眼睛定位方法
技术领域
本发明属于机器学习和计算机视觉领域，具体是一种基于级联卷积神经网络 的多姿态眼睛定位方法。
背景技术
人脸图像中包含了丰富的信息，对人脸图像的研究与分析是计算机视觉领域 的重要方向和研究热点。而眼睛是人类最主要的感官，其包含了独特的生物特征 和丰富的情感信息，通过对眼睛的分析，能够了解人类的情感以及行为，比如在 人机交互方面，通过眼睛的视线来实现非接触式的交互，在疲劳驾驶检测方面， 通过眼睛的状态来判断驾驶员是否疲劳等等。
近十几年来，已有大量的学者对眼睛定位进行了研究，总体来说，眼睛定位 算法主要分为以下四类：基于眼睛外形特征，基于眼睛模板的方法，基于统计外 观的方法和基于空间结构信息的方法。基于眼睛外形特征是将眼睛看做脸部的成 分，眼睛外形特征包含眼睛固有形状、眼睑边缘信息和眼白的强烈灰度对比，通 过检测这些固有的眼睛外形特征就可以定位眼睛，然而这种方法依赖好的成像条 件，在实际应用中有很多不可控因素，因此很难满足实际要求；基于眼睛模板的 方法是利用提供的眼睛模板来进行眼睛定位，然而人脸模式变化多端，眼睛模板 有限，因此在某些情况下会失效；基于统计外观的方法是利用大量的眼睛训练数 据提取眼睛外观特征描述子，然后训练得到相应的判别模型，这种方法利用了一 些潜在的眼睛信息，相比于眼睛外形特征效果会更好，但是，没有任何一种单一 的特征描述子可以满足所有的要求；基于空间结构信息的方法是利用眼睛和脸部 其他特征点构成的空间信息来进行眼睛定位，其受外界的影响较小。
基于传统的机器学习框架存在以下几个问题：1)眼睛定位算法的第一步都 要利用现有的人脸检测算法粗略的定位人脸后再进行，而多姿态人脸检测本身就 是一个比较难解决的问题，所以多姿态的眼睛定位效果不佳；2)传统的机器学 习方法依赖人工设计的特征，而单一的特征不能适应多姿态的眼睛定位，因此泛 化能力不强。
因此，需要提出一种有效的多姿态人脸检测算法和眼睛定位算法，以增强多 姿态眼睛定位算法的鲁棒性。
发明内容
本发明的目的是解决传统的眼睛定位易受到头部姿势变化影响的问题。首先 利用收集并处理的训练数据训练一个多任务的级联卷积神经网络模型，然后根据 该网络模型检测人脸和人脸关键点，最后将包围眼睛关键点的最小矩形框作为输 出。本发明通过如下技术方案实现。
基于级联卷积神经网络的多姿态眼睛定位算法，该方法包括以下几个步骤：
(1)收集标注了多种信息的人脸图片，形成一个训练数据集合；
(2)构造一个可以完成人脸检测和人脸关键点检测的多任务级联卷积神经网络；
(3)利用训练数据集合训练该网络，并得到该网络模型；
(4)最后利用该网络模型，检测图片中的人脸以及人脸关键点，从而选取包含 眼睛关键点的最小矩形框作为眼睛定位的结果。
上述方法中，所述的步骤(1)，包括：将数据库预处理为三个不同尺寸的子 训练数据集，其分别为：12×12、24×24、48×48三种分辨率的图片。每种尺寸的 子训练数据集含有四种类型的数据：人脸图像，部分人脸图像，背景图像以及含 15个关键点信息的图像。其中人脸图像和部分人脸图像包含平动角(pitch)、转 动角(yaw)、滚动角(roll)三个方向0到75度的转动。标签信息含有三个：是 否为人脸，边界框的位置坐标增量，关键点的位置坐标。
上述方法中，所述的步骤(2)，包括：多任务级联卷积神经网络结构包含三 个卷积神经网络：P-Net、R-Net、O-Net。其中P-Net的输入尺寸为12×12，R-Net 的输入尺寸为24×24，O-Net的输入尺寸为48×48；每个Net有三个任务分别是： 人脸分类，边界框回归，关键点位置回归；对于人脸分类这个任务，损失函数采 用交叉熵损失函数，为了降低对异常样本的敏感性并且防止梯度爆炸，边界框回 归和关键点位置回归都采用平滑的(smooth)L1损失函数，因此整个网络的损 失函数为三种损失函数的加权之和。
上述方法中，所述的方法(3)，包括：首先将大小为12×12的子训练数据集 输入P-Net网络中，采用随机梯度下降法更新网络的参数，迭代多次，来得到 P-Net网络模型；然后利用得到的P-Net模型初始化R-Net并预测人脸候选窗作 为硬样本，将硬样本和大小为24×24的子训练数据集来训练R-Net网络，从而得 到R-Net网络模型；最后将R-Net模型初始化O-Net并利用P-Net和R-Net级联 模型预测出人脸候选窗作为硬样本，将硬样本和大小为48×48的子训练数据集来 训练O-Net网络，从而得到O-Net网络模型。
上述方法中，所述的步骤(4)，包括：输入一张新的图片，对图片进行金字 塔尺度变换，将变换后的图片依次输入训练得到的P-Net网络模型中，产生大量 的人脸候选窗和边界框回归向量，通过改进的非极大值抑制算法筛选人脸候选窗 并利用边界框回归向量校准人脸候选窗的位置；然后将人脸候选窗输入训练得到 的R-Net网络模型中，同样利用改进的非极大值抑制算法筛选人脸候选窗和边界 框回归向量校准人脸候选窗的位置；最后将人脸候选窗输入训练得到的O-Net 网络模型中，输出人脸框和人脸关键点位置，最终利用包含眼睛关键点的最小矩 形框作为眼睛定位的结果。
与现有技术相比，本发明具有如下优点和效果：本发明通过引入多任务的级 联卷积神经网络，既能有效进行的多姿态人脸检测，又能利用眼睛与人脸其他特 征点的空间结构信息进行人脸关键点检测，从而实现多姿态眼睛定位；本发明采 用卷积神经网络自己学习特征，不需要人工设计特征。因此，本发明的模型在多 姿态下的效果更好。
附图说明
图1a为实例中基于级联卷积神经网络的多姿态眼睛定位方法总流程示意图。
图1b、图1c分别为训练阶段和测试阶段的流程图。
图2是15个人脸关键点示意图。
图3是多任务的级联卷积神经网络结构图。
具体实施方式
下面结合附图对本发明的具体实施方式做进一步说明。
本实施方式中，所提出的基于级联卷积神经网络的多姿态眼睛定位方法能克服头部偏转带来的眼睛定位精度下降的问题。如图1a，多任务的级联卷积神经网络 模型建立：收集人脸图片并对人脸图片进行预处理，得到不同任务对应的标注数 据，形成一个数据集合；构造一个多任务级联的卷积神经网络；将得到的训练数 据集合输入网络并采用快速训练方法来得到该网络模型；首先将输入图片进行金 字塔尺度变换，利用得到的模型和改进的非极大值抑制算法进行预测，以实现多 姿态的眼睛定位。
本实施方式中，在训练阶段，如图1b所示，首先将现有的人脸数据集剪切 成四种类型的子图像块：人脸图、部分人脸图、背景图、包含15个关键点的人 脸图，对数据进行尺度变换并标注标签信息，形成12×12、24×24、48×48三种 分辨率的子训练数据集；然后将大小为12×12的子训练数据集输入P-Net网络中， 采用随机梯度下降法更新网络的参数，迭代多次，来得到P-Net网络模型；利用 得到的P-Net模型初始化R-Net并预测人脸候选窗作为硬样本，将硬样本和大小 为24×24的子训练数据集来训练R-Net网络，从而得到R-Net网络模型；最后将 R-Net模型初始化O-Net并利用P-Net和R-Net级联模型预测出人脸候选窗作为 硬样本，将硬样本和大小为48×48的子训练数据集来训练O-Net网络，从而得到 O-Net网络模型。因此，就得到了多任务的级联卷积神经网络模型。
本实施方法中，15个关键点如图2所示，分别含有眉毛两端点，眼睛周围的 特征点，鼻尖和嘴角点。多任务的级联卷积神经网络结构如图3所示，P-Net输 入12×12×3的图像，3表示图像的三通道，卷积核的大小为3×3，池化采用的 是最大池化，窗口大小为2×2，本网络结构图中所有卷积核的步长为1，池化的 步长为2，所有的卷积层和全连接层之后连接的是激励层，激活函数是PReLU， 特征图5×5×10表示10个5×5大小的特征图，图3中箭头上方写了池化的才 有池化操作，P-Net是全卷积网络。R-Net比P-Net多了一个全连接层。而O-Net 比R-Net多了一个卷积层。整个网络的目标函数为：
其中N表示训练样本的个数，j为1表示分类任务，j为2表示边界框回归任务， j为3表示人脸关键点回归任务，αj表示不同任务的权重，βi j∈{0,1}表示样本 i的类型指示，表示不同任务的损失函数，如下(2)为分类任务的损失，(3) 为边界框回归任务的损失，(4)为人脸关键点回归任务的损失。
其中表示样本xi的真实标签，其值为0或1，0表示非人脸，1表示人脸，pi表示网络将样本xi判定为人脸的概率。
公式(3)中的表示网络预测的每个候选窗的边界框位置增量，
表示真实的边界框位置增量，
公式(4)中的表示网络预测的人脸关键点位置向量，表示真实值，其由 如图2中的15个关键点位置坐标组成，
本实施方式中，测试阶段，如图1c所示，输入一张新的图片，对图片进行 金字塔尺度变换，将变换后的图片依次输入训练得到的P-Net网络模型中，产生 大量的人脸候选窗和边界框回归向量，通过改进的非极大值抑制算法筛选人脸候 选窗并利用边界框回归向量校准人脸候选窗的位置；然后将人脸候选窗输入训练 得到的R-Net网络模型中，同样利用改进的非极大值抑制算法筛选人脸候选窗和 边界框回归向量校准人脸候选窗的位置；最后将人脸候选窗输入训练得到的 O-Net网络模型中，输出人脸框和人脸关键点位置，最终利用包含眼睛关键点的 最小矩形框作为眼睛定位的结果。
本实施方法中，改进的非极大值抑制算法，其步骤如下：首先滤除掉置信分 数小于0.2的候选窗；然后根据候选窗之间的欧氏距离将剩下的窗口做一个初步 的分类，得到每个窗口的类别标签，同时滤除掉每类窗口中小于一定阈值的窗口； 最后计算每一类别剩下的平均窗口位置，将平均窗口位置作为输出。边界框回归 向量校准人脸候选窗位置是指人脸候选窗位置加上边界框回归产生的位置增量。
传统的眼睛定位方法通常都是通过提取Haar特征加Adaboost算法进行人脸 检测，然后将得到的人脸框再利用团块检测等方法进行眼睛定位。而在多角度的 情况下，这种人脸检测方法漏检率高而且眼睛的形状和尺度都发生变化，从而导 致眼睛定位过程中容易将很多背景定位成眼睛。在本发明中利用多任务的级联卷 积神经网络框架进行多姿态眼睛定位，采用了20万张左右的多姿态人脸样本进 行训练，通过将人脸检测和人脸关键点定位用一个级联网络实现，利用人脸关键 点的空间结构信息得到眼睛定位结果，多任务互相约束，从而使得网络自主提取 更加有效的特征，因此得到的模型对多姿态的鲁棒性会提高。

Claims (7)

1.一种基于级联卷积神经网络的多姿态眼睛定位方法，其特征在于包括：
（1）多任务的级联卷积神经网络模型建立：收集人脸图片并对人脸图片进行预处理，得到不同任务对应的标注数据，形成一个数据集合；构造一个多任务级联的卷积神经网络；将得到的训练数据集合输入网络并采用快速训练方法来得到该网络模型；
（2）多姿态眼睛定位：首先将输入图片进行金字塔尺度变换，利用步骤（1）得到的模型和改进的非极大值抑制算法进行预测，以实现多姿态的眼睛定位。
2.如权利要求1所述的基于级联卷积神经网络的多姿态眼睛定位方法，其特征在于步骤（1）中训练数据的处理，训练数据包括不同尺寸的子训练数据集；每种尺寸的子训练数据集含有四种类型的数据：人脸图像，部分人脸图像，背景图像以及含15个关键点信息的图像；其中人脸图像和部分人脸图像包含平动角（pitch）、转动角（yaw）、滚动角（roll）三个方向0到75度的转动；标签信息含有三个：是否为人脸，边界框（bounding-box）的位置坐标增量，关键点的位置坐标。
3. 如权利要求1所述的基于级联卷积神经网络的多姿态眼睛定位方法，其特征在于步骤（1）中，多任务的级联卷积神经网络结构包含三个卷积神经网络：P-Net、R-Net、O-Net；其中P-Net的输入尺寸为12×12，R-Net的输入尺寸为24×24，O-Net的输入尺寸为48×48；每个Net有三个任务分别是：人脸分类，边界框回归，关键点位置回归；对于人脸分类这个任务，损失函数采用交叉熵损失函数，为了降低对异常样本的敏感性并且防止梯度爆炸，边界框回归和关键点位置回归都采用平滑的（smooth ）L1损失函数，因此整个网络的损失函数为三种损失函数的加权之和。
4.最终利用得到的训练数据集合采用快速训练方法来训练这三个级联Net，通过随机梯度下降迭代更新网络参数，直到整个网络的损失很小并趋于稳定，于是得到该多任务的级联卷积神经网络模型。
5.如权利要求3所述的基于级联卷积神经网络的多姿态眼睛定位方法，其特征在于三个级联Net的快速训练方法为：首先将大小为12×12的子训练数据集训练得到P-Net模型；再利用已得到的P-Net模型初始化R-Net网络并调整学习率使其寻找最优参数的速度加快，将大小为24×24的子训练数据集输入R-Net网络训练得到R-Net模型，以此类推；用已得到的R-Net模型初始化O-Net网络并用大小为48×48的子训练数据集训练，从而提高整个网络的训练速度。
6.如权利要求1所述的基于级联卷积神经网络的多姿态眼睛定位方法，其特征在于步骤（2）所述多姿态眼睛定位中，首先将输入图像作金字塔多尺度变换，输入P-Net网络中得到大量的人脸候选窗，并利用改进的非极大值抑制对这些候选窗进行筛选，同时利用边界框回归来校准候选窗的位置；然后将候选窗的尺寸变换为24×24的大小，输入R-Net网络中，同样得到一些候选窗，再经过最后一个网络O-Net输出人脸的位置以及15个关键点的位置；最后利用包含眼睛关键点的最小矩形框作为整体的输出，以实现多姿态眼睛定位。
7.如权利要求5所述的基于级联卷积神经网络的多姿态眼睛定位方法，其特征在于改进的非极大值抑制算法为：利用预测得到较大概率的人脸候选窗的位置均值作为输出，其步骤包括：先滤除掉置信分数很低的候选窗；然后根据候选窗之间的欧氏距离将剩下的窗口做一个初步的分类，得到每个窗口的类别标签，同时滤除掉每类窗口中小于设定阈值的窗口；最后计算每一类别剩下的平均窗口位置，将平均窗口位置作为输出。
CN201710454105.8A 2017-06-15 2017-06-15 一种基于级联卷积神经网络的多姿态眼睛定位方法 Pending CN107748858A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710454105.8A CN107748858A (zh) 2017-06-15 2017-06-15 一种基于级联卷积神经网络的多姿态眼睛定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710454105.8A CN107748858A (zh) 2017-06-15 2017-06-15 一种基于级联卷积神经网络的多姿态眼睛定位方法

Publications (1)

Publication Number Publication Date
CN107748858A true CN107748858A (zh) 2018-03-02

Family

ID=61255440

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710454105.8A Pending CN107748858A (zh) 2017-06-15 2017-06-15 一种基于级联卷积神经网络的多姿态眼睛定位方法

Country Status (1)

Country Link
CN (1) CN107748858A (zh)

Cited By (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108416772A (zh) * 2018-03-07 2018-08-17 汕头大学 一种基于级联卷积神经网络的斜眼检测方法
CN108492282A (zh) * 2018-03-09 2018-09-04 天津工业大学 基于线结构光与多任务级联卷积神经网络的三维涂胶检测
CN108537272A (zh) * 2018-04-08 2018-09-14 上海天壤智能科技有限公司 用于检测和分析仓位的方法和装置
CN108573226A (zh) * 2018-04-08 2018-09-25 浙江大学 基于级联姿势回归的果蝇幼虫体节关键点定位方法
CN108664885A (zh) * 2018-03-19 2018-10-16 杭州电子科技大学 基于多尺度级联HourGlass网络的人体关键点检测方法
CN108710839A (zh) * 2018-05-08 2018-10-26 中山大学 一种基于深度学习计算机视觉的哨兵瞌睡智能监控系统
CN108875624A (zh) * 2018-06-13 2018-11-23 华南理工大学 基于多尺度的级联稠密连接神经网络的人脸检测方法
CN108960076A (zh) * 2018-06-08 2018-12-07 东南大学 基于卷积神经网络的耳朵识别与跟踪方法
CN109034134A (zh) * 2018-09-03 2018-12-18 深圳市尼欧科技有限公司 基于多任务深度卷积神经网络的异常驾驶行为检测方法
CN109034119A (zh) * 2018-08-27 2018-12-18 苏州广目信息技术有限公司 一种基于优化的全卷积神经网络的人脸检测方法
CN109101869A (zh) * 2018-06-14 2018-12-28 深圳市博威创盛科技有限公司 多任务学习深度网络的测试方法、设备及存储介质
CN109146843A (zh) * 2018-07-11 2019-01-04 北京飞搜科技有限公司 基于深度神经网络的目标检测方法及装置
CN109284698A (zh) * 2018-09-03 2019-01-29 深圳市尼欧科技有限公司 一种基于图像识别技术的疲劳驾驶行为检测方法
CN109284782A (zh) * 2018-09-13 2019-01-29 北京地平线机器人技术研发有限公司 用于检测特征的方法和装置
CN109299669A (zh) * 2018-08-30 2019-02-01 清华大学 基于双智能体的视频人脸关键点检测方法及装置
CN109305096A (zh) * 2018-11-15 2019-02-05 深圳市尼欧科技有限公司 一种汽车远近灯光自动切换及转向跟随的智能控制方法
CN109345770A (zh) * 2018-11-14 2019-02-15 深圳市尼欧科技有限公司 一种孩童遗留车内报警系统及孩童遗留车内报警方法
CN109376659A (zh) * 2018-10-26 2019-02-22 北京陌上花科技有限公司 用于人脸关键点网络检测模型的训练方法、人脸关键点检测方法、装置
CN109389160A (zh) * 2018-09-27 2019-02-26 南京理工大学 基于深度学习的电力绝缘端子缺陷检测方法
CN109447053A (zh) * 2019-01-09 2019-03-08 江苏星云网格信息技术有限公司 一种基于双重限制注意力神经网络模型的人脸识别方法
CN109460704A (zh) * 2018-09-18 2019-03-12 厦门瑞为信息技术有限公司 一种基于深度学习的疲劳检测方法、系统和计算机设备
CN109472360A (zh) * 2018-10-30 2019-03-15 北京地平线机器人技术研发有限公司 神经网络的更新方法、更新装置和电子设备
CN109501807A (zh) * 2018-08-15 2019-03-22 初速度（苏州）科技有限公司 自动驾驶注意力检测系统及方法
CN109543545A (zh) * 2018-10-25 2019-03-29 北京陌上花科技有限公司 快速人脸检测方法及装置
CN109598207A (zh) * 2018-11-14 2019-04-09 华南理工大学 一种基于卷积神经网络的快速人眼跟踪方法
CN109657548A (zh) * 2018-11-13 2019-04-19 深圳神目信息技术有限公司 一种基于深度学习的人脸检测方法及系统
CN109684972A (zh) * 2018-12-18 2019-04-26 贵州大学 一种无人智能监护系统
CN109829354A (zh) * 2018-11-29 2019-05-31 四川商通实业有限公司 一种基于深度学习的人脸识别方法
CN109858466A (zh) * 2019-03-01 2019-06-07 北京视甄智能科技有限公司 一种基于卷积神经网络的人脸关键点检测方法及装置
CN109872279A (zh) * 2018-12-19 2019-06-11 东莞理工学院 一种基于神经网络的智能云平台人脸识别并局部加密方法
CN109871760A (zh) * 2019-01-15 2019-06-11 北京奇艺世纪科技有限公司 一种人脸定位方法、装置、终端设备及存储介质
CN109886241A (zh) * 2019-03-05 2019-06-14 天津工业大学 基于长短期记忆网络的驾驶员疲劳检测
CN110111316A (zh) * 2019-04-26 2019-08-09 广东工业大学 基于眼部图像识别弱视的方法及系统
CN110119676A (zh) * 2019-03-28 2019-08-13 广东工业大学 一种基于神经网络的驾驶员疲劳检测方法
CN110135361A (zh) * 2019-05-19 2019-08-16 北京深醒科技有限公司 一种基于红外摄像头下的多姿态人脸识别方法
CN110188730A (zh) * 2019-06-06 2019-08-30 山东大学 基于mtcnn的人脸检测与对齐方法
CN110232352A (zh) * 2019-06-12 2019-09-13 东北大学 一种用于人脸识别的多任务级联卷积神经网络模型的改进方法
CN110263603A (zh) * 2018-05-14 2019-09-20 桂林远望智能通信科技有限公司 基于中心损失和残差视觉仿真网络的人脸识别方法及装置
CN110320999A (zh) * 2018-03-30 2019-10-11 托比股份公司 用于三维(3d)注视预测的深度学习
CN110321844A (zh) * 2019-07-04 2019-10-11 北京万里红科技股份有限公司 一种基于卷积神经网络的快速虹膜检测方法
CN110427795A (zh) * 2019-01-28 2019-11-08 厦门瑞为信息技术有限公司 一种基于头部照片的属性分析方法、系统和计算机设备
CN110598554A (zh) * 2019-08-09 2019-12-20 中国地质大学（武汉） 基于对抗学习的多人姿态估计方法
CN110659582A (zh) * 2019-08-29 2020-01-07 深圳云天励飞技术有限公司 图像转换模型训练方法、异质人脸识别方法、装置及设备
CN110659631A (zh) * 2018-06-30 2020-01-07 华为技术有限公司 车牌识别方法和终端设备
WO2020042345A1 (zh) * 2018-08-28 2020-03-05 初速度（苏州）科技有限公司 一种单相机采集人眼视线方向的方法及系统
CN110889446A (zh) * 2019-11-22 2020-03-17 高创安邦(北京)技术有限公司 人脸图像识别模型训练及人脸图像识别方法和装置
CN111079625A (zh) * 2019-12-11 2020-04-28 江苏国光信息产业股份有限公司 一种摄像头自动跟随人脸转动的控制方法
CN111104823A (zh) * 2018-10-25 2020-05-05 北京奇虎科技有限公司 人脸识别方法、装置及存储介质、终端设备
CN111259713A (zh) * 2019-09-16 2020-06-09 浙江工业大学 一种基于自适应加权的视线跟踪方法
CN111310705A (zh) * 2020-02-28 2020-06-19 深圳壹账通智能科技有限公司 图像识别方法、装置、计算机设备及存储介质
CN111339941A (zh) * 2020-02-26 2020-06-26 苏州瓴图智能科技有限公司 一种头部姿态检测方法
CN111556337A (zh) * 2020-05-15 2020-08-18 腾讯科技（深圳）有限公司 一种媒体内容植入方法、模型训练方法以及相关装置
CN111626152A (zh) * 2020-05-13 2020-09-04 闽江学院 一种基于Few-shot的时空视线方向估计原型设计
CN111652016A (zh) * 2019-03-27 2020-09-11 上海铼锶信息技术有限公司 一种人脸识别训练数据的增广方法
CN111723926A (zh) * 2019-03-22 2020-09-29 北京地平线机器人技术研发有限公司 用于确定图像视差的神经网络模型的训练方法和训练装置
CN111739070A (zh) * 2020-05-28 2020-10-02 复旦大学 一种基于渐进校准式网络的实时多姿态人脸检测算法
CN111770299A (zh) * 2020-04-20 2020-10-13 厦门亿联网络技术股份有限公司 一种智能视频会议终端的实时人脸摘要服务的方法及系统
CN111898454A (zh) * 2020-07-02 2020-11-06 中国地质大学（武汉） 权重二值化神经网络与迁移学习人眼状态检测方法及设备
CN112001268A (zh) * 2020-07-31 2020-11-27 中科智云科技有限公司 人脸校准方法及设备
US10866635B2 (en) 2018-09-13 2020-12-15 Toyota Research Institute, Inc. Systems and methods for capturing training data for a gaze estimation model
CN112232204A (zh) * 2020-10-16 2021-01-15 中科智云科技有限公司 基于红外图像的活体检测方法
CN112837281A (zh) * 2021-01-27 2021-05-25 湘潭大学 基于级联卷积神经网络的销钉缺陷识别方法、装置和设备
CN113361452A (zh) * 2021-06-24 2021-09-07 中国科学技术大学 一种基于深度学习的驾驶员疲劳驾驶实时检测方法及系统
CN113537132A (zh) * 2021-07-30 2021-10-22 西安电子科技大学 基于双流卷积神经网络的视觉疲劳检测方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106682598A (zh) * 2016-12-14 2017-05-17 华南理工大学 一种基于级联回归的多姿态的人脸特征点检测方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106682598A (zh) * 2016-12-14 2017-05-17 华南理工大学 一种基于级联回归的多姿态的人脸特征点检测方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
HYEONSEOB NAM AND BOHYUNG HAN: "Learning Mult-Domain Convolutional Neural Networks for Visual Tracking", 《2016 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
KAIPENG ZHANG ET AL.: "Joint Face Detection and Alignment Using Multitask Cascaded Convolutional Networks", 《IEEE SIGNAL PROCESSING LETTERS》 *
SHUO YANG ET AL.: "WIDER FACE: A Face Detection Benchmark", 《2016 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
YI ZHOU ET AL.: "Eye Localization Based on Face Alignment", 《2016 8TH INTERNATIONAL CONFERENCE ON INTELLIGENT HUMAN-MACHINE SYSTEMS AND CYBERNETICS》 *
黑建业 等: "基于欧氏距离的人脸检测窗口合并方法", 《计算机应用》 *

Cited By (91)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108416772A (zh) * 2018-03-07 2018-08-17 汕头大学 一种基于级联卷积神经网络的斜眼检测方法
CN108492282A (zh) * 2018-03-09 2018-09-04 天津工业大学 基于线结构光与多任务级联卷积神经网络的三维涂胶检测
CN108492282B (zh) * 2018-03-09 2021-08-06 天津工业大学 基于线结构光与多任务级联卷积神经网络的三维涂胶检测
CN108664885A (zh) * 2018-03-19 2018-10-16 杭州电子科技大学 基于多尺度级联HourGlass网络的人体关键点检测方法
CN108664885B (zh) * 2018-03-19 2021-08-31 杭州电子科技大学 基于多尺度级联HourGlass网络的人体关键点检测方法
CN110320999A (zh) * 2018-03-30 2019-10-11 托比股份公司 用于三维(3d)注视预测的深度学习
CN110320999B (zh) * 2018-03-30 2024-02-20 托比股份公司 用于三维(3d)注视预测的深度学习的方法和系统
CN108573226B (zh) * 2018-04-08 2021-10-08 浙江大学 基于级联姿势回归的果蝇幼虫体节关键点定位方法
CN108537272A (zh) * 2018-04-08 2018-09-14 上海天壤智能科技有限公司 用于检测和分析仓位的方法和装置
CN108573226A (zh) * 2018-04-08 2018-09-25 浙江大学 基于级联姿势回归的果蝇幼虫体节关键点定位方法
CN108710839A (zh) * 2018-05-08 2018-10-26 中山大学 一种基于深度学习计算机视觉的哨兵瞌睡智能监控系统
CN110263603B (zh) * 2018-05-14 2021-08-06 桂林远望智能通信科技有限公司 基于中心损失和残差视觉仿真网络的人脸识别方法及装置
CN110263603A (zh) * 2018-05-14 2019-09-20 桂林远望智能通信科技有限公司 基于中心损失和残差视觉仿真网络的人脸识别方法及装置
CN108960076A (zh) * 2018-06-08 2018-12-07 东南大学 基于卷积神经网络的耳朵识别与跟踪方法
CN108875624A (zh) * 2018-06-13 2018-11-23 华南理工大学 基于多尺度的级联稠密连接神经网络的人脸检测方法
CN109101869A (zh) * 2018-06-14 2018-12-28 深圳市博威创盛科技有限公司 多任务学习深度网络的测试方法、设备及存储介质
CN110659631B (zh) * 2018-06-30 2023-12-15 华为技术有限公司 车牌识别方法和终端设备
CN110659631A (zh) * 2018-06-30 2020-01-07 华为技术有限公司 车牌识别方法和终端设备
CN109146843A (zh) * 2018-07-11 2019-01-04 北京飞搜科技有限公司 基于深度神经网络的目标检测方法及装置
CN109501807A (zh) * 2018-08-15 2019-03-22 初速度（苏州）科技有限公司 自动驾驶注意力检测系统及方法
CN109034119A (zh) * 2018-08-27 2018-12-18 苏州广目信息技术有限公司 一种基于优化的全卷积神经网络的人脸检测方法
WO2020042345A1 (zh) * 2018-08-28 2020-03-05 初速度（苏州）科技有限公司 一种单相机采集人眼视线方向的方法及系统
CN109299669A (zh) * 2018-08-30 2019-02-01 清华大学 基于双智能体的视频人脸关键点检测方法及装置
CN109299669B (zh) * 2018-08-30 2020-11-13 清华大学 基于双智能体的视频人脸关键点检测方法及装置
CN109034134A (zh) * 2018-09-03 2018-12-18 深圳市尼欧科技有限公司 基于多任务深度卷积神经网络的异常驾驶行为检测方法
CN109284698A (zh) * 2018-09-03 2019-01-29 深圳市尼欧科技有限公司 一种基于图像识别技术的疲劳驾驶行为检测方法
US10866635B2 (en) 2018-09-13 2020-12-15 Toyota Research Institute, Inc. Systems and methods for capturing training data for a gaze estimation model
CN109284782A (zh) * 2018-09-13 2019-01-29 北京地平线机器人技术研发有限公司 用于检测特征的方法和装置
CN109460704A (zh) * 2018-09-18 2019-03-12 厦门瑞为信息技术有限公司 一种基于深度学习的疲劳检测方法、系统和计算机设备
CN109460704B (zh) * 2018-09-18 2020-09-15 厦门瑞为信息技术有限公司 一种基于深度学习的疲劳检测方法、系统和计算机设备
CN109389160A (zh) * 2018-09-27 2019-02-26 南京理工大学 基于深度学习的电力绝缘端子缺陷检测方法
CN109543545B (zh) * 2018-10-25 2023-07-28 北京陌上花科技有限公司 快速人脸检测方法及装置
CN111104823A (zh) * 2018-10-25 2020-05-05 北京奇虎科技有限公司 人脸识别方法、装置及存储介质、终端设备
CN109543545A (zh) * 2018-10-25 2019-03-29 北京陌上花科技有限公司 快速人脸检测方法及装置
CN109376659A (zh) * 2018-10-26 2019-02-22 北京陌上花科技有限公司 用于人脸关键点网络检测模型的训练方法、人脸关键点检测方法、装置
CN109472360A (zh) * 2018-10-30 2019-03-15 北京地平线机器人技术研发有限公司 神经网络的更新方法、更新装置和电子设备
US11328180B2 (en) 2018-10-30 2022-05-10 Beijing Horizon Robotics Technology Research And Development Co., Ltd. Method for updating neural network and electronic device
CN109657548A (zh) * 2018-11-13 2019-04-19 深圳神目信息技术有限公司 一种基于深度学习的人脸检测方法及系统
CN109598207B (zh) * 2018-11-14 2021-08-10 华南理工大学 一种基于卷积神经网络的快速人眼跟踪方法
CN109345770A (zh) * 2018-11-14 2019-02-15 深圳市尼欧科技有限公司 一种孩童遗留车内报警系统及孩童遗留车内报警方法
CN109598207A (zh) * 2018-11-14 2019-04-09 华南理工大学 一种基于卷积神经网络的快速人眼跟踪方法
CN109305096A (zh) * 2018-11-15 2019-02-05 深圳市尼欧科技有限公司 一种汽车远近灯光自动切换及转向跟随的智能控制方法
CN109829354B (zh) * 2018-11-29 2023-05-23 四川商通实业有限公司 一种基于深度学习的人脸识别方法
CN109829354A (zh) * 2018-11-29 2019-05-31 四川商通实业有限公司 一种基于深度学习的人脸识别方法
CN109684972A (zh) * 2018-12-18 2019-04-26 贵州大学 一种无人智能监护系统
CN109872279A (zh) * 2018-12-19 2019-06-11 东莞理工学院 一种基于神经网络的智能云平台人脸识别并局部加密方法
CN109447053A (zh) * 2019-01-09 2019-03-08 江苏星云网格信息技术有限公司 一种基于双重限制注意力神经网络模型的人脸识别方法
CN109871760A (zh) * 2019-01-15 2019-06-11 北京奇艺世纪科技有限公司 一种人脸定位方法、装置、终端设备及存储介质
CN110427795A (zh) * 2019-01-28 2019-11-08 厦门瑞为信息技术有限公司 一种基于头部照片的属性分析方法、系统和计算机设备
CN109858466A (zh) * 2019-03-01 2019-06-07 北京视甄智能科技有限公司 一种基于卷积神经网络的人脸关键点检测方法及装置
CN109886241A (zh) * 2019-03-05 2019-06-14 天津工业大学 基于长短期记忆网络的驾驶员疲劳检测
CN111723926B (zh) * 2019-03-22 2023-09-12 北京地平线机器人技术研发有限公司 用于确定图像视差的神经网络模型的训练方法和训练装置
CN111723926A (zh) * 2019-03-22 2020-09-29 北京地平线机器人技术研发有限公司 用于确定图像视差的神经网络模型的训练方法和训练装置
CN111652016B (zh) * 2019-03-27 2023-06-30 上海铼锶信息技术有限公司 一种人脸识别训练数据的增广方法
CN111652016A (zh) * 2019-03-27 2020-09-11 上海铼锶信息技术有限公司 一种人脸识别训练数据的增广方法
CN110119676B (zh) * 2019-03-28 2023-02-03 广东工业大学 一种基于神经网络的驾驶员疲劳检测方法
CN110119676A (zh) * 2019-03-28 2019-08-13 广东工业大学 一种基于神经网络的驾驶员疲劳检测方法
CN110111316A (zh) * 2019-04-26 2019-08-09 广东工业大学 基于眼部图像识别弱视的方法及系统
CN110135361A (zh) * 2019-05-19 2019-08-16 北京深醒科技有限公司 一种基于红外摄像头下的多姿态人脸识别方法
CN110188730B (zh) * 2019-06-06 2022-12-23 山东大学 基于mtcnn的人脸检测与对齐方法
CN110188730A (zh) * 2019-06-06 2019-08-30 山东大学 基于mtcnn的人脸检测与对齐方法
CN110232352A (zh) * 2019-06-12 2019-09-13 东北大学 一种用于人脸识别的多任务级联卷积神经网络模型的改进方法
CN110321844A (zh) * 2019-07-04 2019-10-11 北京万里红科技股份有限公司 一种基于卷积神经网络的快速虹膜检测方法
CN110321844B (zh) * 2019-07-04 2021-09-03 北京万里红科技股份有限公司 一种基于卷积神经网络的快速虹膜检测方法
CN110598554A (zh) * 2019-08-09 2019-12-20 中国地质大学（武汉） 基于对抗学习的多人姿态估计方法
CN110659582A (zh) * 2019-08-29 2020-01-07 深圳云天励飞技术有限公司 图像转换模型训练方法、异质人脸识别方法、装置及设备
CN111259713B (zh) * 2019-09-16 2023-07-21 浙江工业大学 一种基于自适应加权的视线跟踪方法
CN111259713A (zh) * 2019-09-16 2020-06-09 浙江工业大学 一种基于自适应加权的视线跟踪方法
CN110889446A (zh) * 2019-11-22 2020-03-17 高创安邦(北京)技术有限公司 人脸图像识别模型训练及人脸图像识别方法和装置
CN111079625A (zh) * 2019-12-11 2020-04-28 江苏国光信息产业股份有限公司 一种摄像头自动跟随人脸转动的控制方法
CN111079625B (zh) * 2019-12-11 2023-10-27 江苏国光信息产业股份有限公司 一种摄像头自动跟随人脸转动的控制方法
CN111339941A (zh) * 2020-02-26 2020-06-26 苏州瓴图智能科技有限公司 一种头部姿态检测方法
CN111310705A (zh) * 2020-02-28 2020-06-19 深圳壹账通智能科技有限公司 图像识别方法、装置、计算机设备及存储介质
CN111770299A (zh) * 2020-04-20 2020-10-13 厦门亿联网络技术股份有限公司 一种智能视频会议终端的实时人脸摘要服务的方法及系统
CN111770299B (zh) * 2020-04-20 2022-04-19 厦门亿联网络技术股份有限公司 一种智能视频会议终端的实时人脸摘要服务的方法及系统
CN111626152A (zh) * 2020-05-13 2020-09-04 闽江学院 一种基于Few-shot的时空视线方向估计原型设计
CN111626152B (zh) * 2020-05-13 2023-05-30 闽江学院 一种基于Few-shot的时空视线方向估计原型设计方法
CN111556337A (zh) * 2020-05-15 2020-08-18 腾讯科技（深圳）有限公司 一种媒体内容植入方法、模型训练方法以及相关装置
CN111556337B (zh) * 2020-05-15 2021-09-21 腾讯科技（深圳）有限公司 一种媒体内容植入方法、模型训练方法以及相关装置
CN111739070A (zh) * 2020-05-28 2020-10-02 复旦大学 一种基于渐进校准式网络的实时多姿态人脸检测算法
CN111739070B (zh) * 2020-05-28 2022-07-22 复旦大学 一种基于渐进校准式网络的实时多姿态人脸检测算法
CN111898454A (zh) * 2020-07-02 2020-11-06 中国地质大学（武汉） 权重二值化神经网络与迁移学习人眼状态检测方法及设备
CN112001268B (zh) * 2020-07-31 2024-01-12 中科智云科技有限公司 人脸校准方法及设备
CN112001268A (zh) * 2020-07-31 2020-11-27 中科智云科技有限公司 人脸校准方法及设备
CN112232204A (zh) * 2020-10-16 2021-01-15 中科智云科技有限公司 基于红外图像的活体检测方法
CN112837281B (zh) * 2021-01-27 2022-10-28 湘潭大学 基于级联卷积神经网络的销钉缺陷识别方法、装置和设备
CN112837281A (zh) * 2021-01-27 2021-05-25 湘潭大学 基于级联卷积神经网络的销钉缺陷识别方法、装置和设备
CN113361452B (zh) * 2021-06-24 2023-06-20 中国科学技术大学 一种基于深度学习的驾驶员疲劳驾驶实时检测方法及系统
CN113361452A (zh) * 2021-06-24 2021-09-07 中国科学技术大学 一种基于深度学习的驾驶员疲劳驾驶实时检测方法及系统
CN113537132A (zh) * 2021-07-30 2021-10-22 西安电子科技大学 基于双流卷积神经网络的视觉疲劳检测方法
CN113537132B (zh) * 2021-07-30 2022-12-02 西安电子科技大学 基于双流卷积神经网络的视觉疲劳检测方法

Similar Documents

Publication Publication Date Title
CN107748858A (zh) 一种基于级联卷积神经网络的多姿态眼睛定位方法
Yuliang et al. Detecting curve text in the wild: New dataset and new solution
CN108875674B (zh) 一种基于多列融合卷积神经网络的驾驶员行为识别方法
Yuan et al. Gated CNN: Integrating multi-scale feature layers for object detection
Huynh et al. Detection of driver drowsiness using 3D deep neural network and semi-supervised gradient boosting machine
Yang et al. Layered object models for image segmentation
CN103605972B (zh) 一种基于分块深度神经网络的非限制环境人脸验证方法
CN108416266B (zh) 一种利用光流提取运动目标的视频行为快速识别方法
Neverova et al. A multi-scale approach to gesture detection and recognition
CN104361313B (zh) 一种基于多核学习异构特征融合的手势识别方法
CN106709568A (zh) 基于深层卷积网络的rgb‑d图像的物体检测和语义分割方法
CN107292246A (zh) 基于hog‑pca和迁移学习的红外人体目标识别方法
CN108830237B (zh) 一种人脸表情的识别方法
CN106651915A (zh) 基于卷积神经网络的多尺度表达的目标跟踪方法
CN104050460B (zh) 多特征融合的行人检测方法
Zhang et al. A fully convolutional tri-branch network (fctn) for domain adaptation
CN113435335B (zh) 微观表情识别方法、装置、电子设备及存储介质
Xu et al. Deep regionlets: Blended representation and deep learning for generic object detection
Pei et al. Localized traffic sign detection with multi-scale deconvolution networks
Hu et al. Deep learning for distinguishing computer generated images and natural images: A survey
CN114758382A (zh) 基于自适应补丁学习的面部au检测模型建立方法及应用
Mosayyebi et al. Gender recognition in masked facial images using EfficientNet and transfer learning approach
Wang et al. Gazecaps: Gaze estimation with self-attention-routed capsules
Zhou et al. Feature extraction based on local directional pattern with svm decision-level fusion for facial expression recognition
Thu et al. Pyramidal Part‐Based Model for Partial Occlusion Handling in Pedestrian Classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180302