CN111695392A - 基于级联的深层卷积神经网络的人脸识别方法及系统 - Google Patents

基于级联的深层卷积神经网络的人脸识别方法及系统 Download PDF

Info

Publication number
CN111695392A
CN111695392A CN201910201162.4A CN201910201162A CN111695392A CN 111695392 A CN111695392 A CN 111695392A CN 201910201162 A CN201910201162 A CN 201910201162A CN 111695392 A CN111695392 A CN 111695392A
Authority
CN
China
Prior art keywords
network
face
face recognition
output
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910201162.4A
Other languages
English (en)
Other versions
CN111695392B (zh
Inventor
翟新刚
张楠赓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canaan Bright Sight Co Ltd
Original Assignee
Canaan Creative Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canaan Creative Co Ltd filed Critical Canaan Creative Co Ltd
Priority to CN201910201162.4A priority Critical patent/CN111695392B/zh
Priority to PCT/CN2020/079281 priority patent/WO2020187160A1/zh
Publication of CN111695392A publication Critical patent/CN111695392A/zh
Application granted granted Critical
Publication of CN111695392B publication Critical patent/CN111695392B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于级联的深层卷积神经网络的人脸识别方法及系统，其中，所述基于级联的深层卷积神经网络的人脸识别方法包括：利用级联的深层卷积神经网络提取人脸特征；以及根据提取的所述人脸特征进行人脸识别。本发明基于级联的深层卷积神经网络的人脸识别方法及系统控制简单，计算量小，便于加速。

Description

基于级联的深层卷积神经网络的人脸识别方法及系统
技术领域
本发明人工智能技术领域，特别涉及一种基于级联的深层卷积神经网络的人脸识别方法及系统。
背景技术
人脸识别技术，是基于人的脸部特征信息进行身份识别的一种生物识别技术。人脸识别过程主要是用摄像头采集视频流，自动在图像中检测和跟踪人脸，进而对检测到的人脸进行人像识别。随着人脸识别技术的迅速发展，人脸识别系统已经广泛应用于各个领域，例如小区门禁、公司考勤、司法刑侦等。但是，目前，在特征提取过程中，传统的机器学习算法提取的都是手工特征，例如，局部二值模式(Local Binary Pattern，简称为LBP)特征、梯度直方图(Histogram of Oriented Gradient，简称为HOG)特征、哈尔(Haar)特征等，这些手工特征因为加入了设计者的先验知识，所以只能针对某些特定背景下的人脸有较高的准确率，难以应用于一些复杂条件下的人脸识别，因此难以胜任形式多样的人脸识别任务。
发明内容
(一)要解决的技术问题
鉴于上述问题，本发明的主要目的在于提供一种基于级联的深层卷积神经网络的人脸识别方法及系统，以便解决上述问题的至少之一。
(二)技术方案
根据本发明的一个方面，提供了一种基于级联的深层卷积神经网络的人脸识别方法，包括：
利用级联的深层卷积神经网络提取人脸特征；以及
根据提取的所述人脸特征进行人脸识别。
在一些实施例中，所述利用级联的深层卷积神经网络提取人脸特征，包括：
将人脸图像数据发送至第一网络，预测人脸边框回归；
将第一网络的输出发送至第二网络，预测面部关键点位置；
将第二网络的输出发送至第三网络，提取人脸特征。
在一些实施例中，所述将第一网络的输出发送至第二网络，预测面部关键点位置，包括：
将第一网络的输出进行边框截取及尺寸变换操作之后再发送至所述第二网络；以及
利用第二网络预测面部关键点位置。
在一些实施例中，所述将第二网络的输出发送至第三网络，提取人脸特征，包括，
将第二网络的输出进行相似变换、映射及尺寸变换操作之后再发送至第三网络；以及
利用第三网络提取人脸特征。
在一些实施例中，所述第一网络为人脸检测网络(Face Detection Network，简称为FDNet)，第二网络为关键点检测网络(Key-point Detection Network，简称为KDNet)，第三网络为特征提取网络(Feature Extraction Network，简称为FENet)。
在一些实施例中，在利用级联的深层卷积神经网络提取人脸特征之前，还包括：采集人脸图像数据。
根据本发明的另一个方面，提供了一种基于级联的深层卷积神经网络的人脸识别系统，包括：
特征提取模块，用于利用级联的深层卷积神经网络提取人脸特征；以及
人脸识别模块，与所述特征提取模块连接，用于根据提取的所述人脸特征进行人脸识别。
在一些实施例中，所述特征提取模块包括：
第一网络，用于接收人脸图像数据，预测人脸边框回归；
边框截取单元，用于接收第一网络的输出，并进行边框截取及尺寸变换操作；
第二网络，用于接收所述边框截取单元的输出，并预测面部关键点位置；
相似变换单元，用于接收所述第二网络的输出，并进行相似变换、映射及尺寸变换操作；以及
第三网络，用于接收所述相似变换单元的输出，并提取人脸特征。
在一些实施例中，所述第一网络为人脸检测网络(Face Detection Network，简称为FDNet)，第二网络为关键点检测网络(Key-point Detection Network，简称为KDNet)，第三网络为特征提取网络(Feature Extraction Network，简称为FENet)。
在一些实施例中，还包括采集模块，用于采集人脸图像数据。
(三)有益效果
从上述技术方案可以看出，本发明一种基于级联的深层卷积神经网络的人脸识别方法及系统至少具有以下有益效果其中之一：
(1)本发明利用级联的深层卷积神经网络进行特征提取，根据提取的特征进行人脸识别，级联的深层卷积神经网络中的每一级网络对于每一个人而言只需执行一次，控制简单，计算量小，便于加速；而且通过深度学习提取人脸特征进行人脸识别可以轻松应对各种安全等级的人脸识别任务。
(2)本发明采用相似变换，进一步降低了因边框尺寸不一所带来的背景效应，降低了对网络的需求。
附图说明
为了更清楚地说明本发明技术方案和实施例，下面将对现有技术方案和实施案例所需要使用的附图进行说明，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明人脸识别方法流程示意图。
图2为图1所示人脸识别方法中边框截取示意图。
图3为本发明人脸识别方法流程图。
图4为本发明人脸识别方法另一流程图。
图5为本发明人提取人脸特征流程图。
图6为本发明预测面部关键点位置流程图。
图7为本发明提取人脸特征另一流程图。
图8为本发明人脸识别系统结构示意图。
图9为本发明人脸识别系统另一结构示意图。
图10为本发明特征提取模块结构示意图。
图11为本发明实施例人脸识别方法又一流程图。
具体实施方式
在此先简单介绍人脸识别过程以利于对本发明技术方案的理解。
人脸识别通常包括人脸检测、人脸特征提取、对提取的人脸特征进行分类，从而完成人脸识别。
1.人脸检测
所谓人脸检测，就是给定任意一张图片，找到其中是否存在一个或多个人脸，并返回图片中每个人脸的位置和范围。人脸检测算法分为基于知识的、基于特征的、基于模板匹配的、基于外观的四类方法。随着DPM(Direct Part Model)算法(可变部件模型)和深度学习卷积神经网络(Convolutional Neural Networks，简称为CNN)的运用，人脸检测所有算法可以总分为两类：(1)基于模板匹配(Based on rigid templates)：其中，代表有算法(Boosting)+特征(Features)和CNN；(2)基于部件模型(Based on parts model)。
2.人脸特征提取
人脸特征提取是在人脸检测的基础上，在人脸所在区域中获取人脸面部特征信息的过程。人脸特征提取方法包括：特征脸法(Eigenface)、主成分分析法(PrincipalComponentAnalysis，简称为PAC)。深度学习特征提取：softmax作为代价函数，抽取神经网络中的某一层作为特征。
3.分类
分类，是指按照种类、等级或性质分别归类，对提取的特进行分类，从而完成人脸识别。分类方法主要包括：决策树方法、贝叶斯方法、人工神经网络。
以下介绍本发明人脸识别方法，概括而言，本发明人脸识别方法过程为：将一张新的图片进行金字塔尺度变换，将变换后的图片输入一网络中，产生大量的人脸分类得分和人脸矩形框(也称方框、边框、边界框、窗、窗体等)回归向量，淘汰得分较低(例如低于一阈值M1)的人脸矩形框，将剩下的人脸矩形框进行非极大值抑制从而得到最终预测结果；然后将预测的结果输入到另一网络中，同样淘汰得分较低(例如低于阈值M2)的人脸矩形框，再利用非极大值抑制算法筛选重叠较大的人脸矩形框，显示面部关键点位置，进行特征提取及人脸识别。
此处以人脸网络(FaceNet)为例介绍所述人脸识别方法。如图1-2所示，所述人脸识别方法包括以下步骤：
利用FaceNet提取人脸特征；以及
根据提取的人脸特征进行人脸识别。
具体的，所述FaceNet分为两步提取人脸特征：
利用多任务级联卷积网络(Multi-task Cascaded Convolutional Networks，简称为MTCNN)预测人脸的边框(Bounding Box)；以及
从原始图片中对Bounding Box加入边缘(Margin)截取，并变换尺寸(Resize)至固定尺寸送入特征提取网络。
其中，所述MTCNN预测人脸的Bounding Box，如图1所示，包括以下子步骤：
将输入原始图像缩放成各种不同的大小，也即对原始图片进行不同Scale的Resize操作，建立图像金字塔，每一层金字塔分别送入浅层的CNN候选框网络(ProposalNetwork，简称为PNet)并进行边框回归(Bounding Box Regression)和非极大值抑制(Non-maximum suppression，简称为NMS)快速产生候选窗体；
对第一阶段筛选下来的每个Bounding Box，截取出来并Resize至固定尺寸，通过更复杂的CNN校准网络(Refine Network，简称为RNet)精炼候选窗体，并进行Bounding BoxRegression和非极大值抑制(Non-Maximum Suppression，简称为NMS)丢弃大量的重叠窗体；
对第二阶段筛选下来的每个Bounding Box，使用更加强大的CNN输出网络(Outputnetwork，简称为ONet)，实现候选窗体去留，同时显示五个面部关键点定位。
如图2所示，对Bounding Box加入Margin，截取出来，Resize至固定尺寸，并送入人脸特征提取网络，图2中白色方框为Bounding Box，灰色线段长度Margin/2，黑色方框为最终截取出来的人脸，所述人脸Resize至固定尺寸送入人脸特征提取网络。
可以看出，以上方法利用MTCNN预测Bounding Box需要多次重复PNet和RNet，控制相对复杂，运算量较大。而且利用MTCNN预测的Bounding Box加入固定长度的Margin，送入特征提取网络，由于图中的人脸的Bounding Box会有各种尺寸，如果对于不同尺寸的人脸加入固定的Margin，则不同尺寸的人脸所带的背景信息则会大为不一样，因此会弱化特征提取网络的泛化能力。
在此基础上，本发明还提供了一种基于级联的深层卷积神经网络的人脸识别方法，如图3所示，所述基于级联的深层卷积神经网络的人脸识别方法包括以下步骤：
S1，利用级联的深层卷积神经网络提取人脸特征；以及
S2，根据提取的所述人脸特征进行人脸识别。
本发明利用级联的深层卷积神经网络进行特征提取，根据提取的特征进行人脸识别，级联的深层卷积神经网络中的每一级网络对于每一个人而言只需执行一次，控制简单，计算量小，便于加速。
进一步的，如图4所示，在利用级联的深层卷积神经网络提取人脸特征之前，所述人脸识别方法还可包括：S0，采集人脸图像数据。
具体的，如图5所示，所述利用级联的深层卷积神经网络提取人脸特征包括：
S11，将人脸图像数据发送至第一网络，预测人脸边框回归；
S12，将第一网络的输出发送至第二网络，预测面部关键点位置；
S13，将第二网络的输出发送至第三网络，提取人脸特征。
也就是说，所述级联的深层卷积神经网络可以包括三个网络，三个网络构成一个三级级联的深层卷积神经网络；其中，所述第一网络为人脸检测网络(Face DetectionNetwork，简称为FDNet)，第二网络为关键点检测网络(Key-point Detection Network，简称为KDNet)，第三网络为特征提取网络(Feature Extraction Network，简称为FENet)。
更具体而言，如图6所示，所述将第一网络的输出发送至第二网络，预测面部关键点位置，包括：
S121，将第一网络的输出进行边框截取及尺寸变换操作之后再发送至所述第二网络；以及
S122，利用第二网络预测面部关键点位置。
如图7所示，所述将第二网络的输出发送至第三网络，提取人脸特征包括，
S131，将第二网络的输出进行相似变换、映射及尺寸变换操作之后再发送至第三网络；以及
S132，利用第三网络提取人脸特征。
本发明采用相似变换，进一步降低了因边框尺寸不一所带来的背景效应，降低了对于FDNet的需求，提高了特征提取的精度。
此外，本发明还提供了一种基于级联的深层卷积神经网络的人脸识别系统，如图8所示，所述基于级联的深层卷积神经网络的人脸识别系统包括：
特征提取模块11，用于利用级联的深层卷积神经网络提取人脸特征；以及
人脸识别模块12，与所述特征提取模块11连接，用于根据提取的所述人脸特征进行人脸识别。
进一步的，如图9所示，所述人脸识别系统还可包括采集模块10，用于采集人脸图像数据。相应的，所述特征提取模块11与所述采集模块10连接，用于接收所述采集模块10发送的人脸图像数据，并利用级联的深层卷积神经网络提取人脸特征。
具体的，如图10所示，所述特征提取模块包括：
第一网络110，用于接收所述人脸图像数据，预测人脸边框回归；
边框截取单元111，用于接收第一网络110的输出，并进行边框截取及尺寸变换操作；
第二网络112，用于接收所述边框截取单元111的输出，并预测面部关键点位置；
相似变换单元113，用于接收所述第二网络112的输出，并进行相似变换、映射及尺寸变换操作；以及
第三网络114，用于接收所述相似变换单元113的输出，并提取人脸特征。
其中，所述第一网络为人脸检测网络(Face Detection Network，简称为FDNet)，第二网络为关键点检测网络(Key-point Detection Network，简称为KDNet)，第三网络为特征提取网络(Feature Extraction Network，简称为FENet)。
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明基于级联的深层卷积神经网络的人脸识别方法作进一步的详细说明。
如图11所示，在一实施例中，所述基于级联的深层卷积神经网络的人脸识别方法具体包括以下步骤：
网络FDNet基于YOLO的设计思路，以移动网(MobileNet)为骨干(backbone)，直接对人脸的边框回归(Bounding Box Regression)，并同时预测置信度；
基于网络FDNet的输出，将边框(Bounding Box)截取出来，变换尺寸(Resize)至固定尺寸，送入网络KDNet(Keypoints Detection Net)直接预测五个面部关键点位置。
基于网络KDNet中五个面部关键点的输出，将整帧图像进行五点的相似变换，映射至固定黄金(Golden)位置的五点，将映射后的人脸图像变换尺寸(Resize)至固定尺寸送入网络FENet(Feature Extraction Net，简称为FENet)，提取人脸特征。
本实施例所述基于级联的深层卷积神经网络的人脸识别方法，利用三个网络级联的深度卷积神经网络(Cascaded-Deep CNN，简称为CDCNN)来提取人脸特征，进行人脸识别。CDCNN的每一级网络对于每一个人而言只需执行一次，控制简单，计算量小，便于加速；而且相较于前述的Bounding Box加入Margin的方法，本实施例采用五点的相似变换，进一步降低了Bounding Box尺寸不一带来的背景效应，且降低了对于FDNet的需求(只要面部五个关键点准确无误，人脸检测框并不一定要用MTCNN网络产生)。
至此，已经结合附图对本发明基于级联的深层卷积神经网络的人脸识别方法及系统进行了详细描述。依据以上描述，本领域技术人员应当对本发明有了清楚的认识。
需要说明的是，在附图或说明书正文中，未绘示或描述的实现方式，均为所属技术领域中普通技术人员所知的形式，并未进行详细说明。此外，上述对各元件的定义并不仅限于实施例中提到的各种具体结构、形状或方式，本领域普通技术人员可对其进行简单地更改或替换。
当然，根据实际需要，本发明基于级联的深层卷积神经网络的人脸识别方法及系统还可以包含其他的部分，由于同本发明的创新之处无关，此处不再赘述。
类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该发明的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面发明的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中发明的所有特征以及如此发明的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中发明的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的相关设备中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
再者，说明书与权利要求中所使用的序数例如“第一”、“第二”、“第三”等的用词，以修饰相应的元件，其本身并不意含及代表该元件有任何的序数，也不代表某一元件与另一元件的顺序、或是制造方法上的顺序，该些序数的使用仅用来使具有某命名的一元件得以和另一具有相同命名的元件能作出清楚区分。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于级联的深层卷积神经网络的人脸识别方法，其特征在于，包括：
利用级联的深层卷积神经网络提取人脸特征；以及
根据提取的所述人脸特征进行人脸识别。
2.根据权利要求1所述的人脸识别方法，其特征在于，所述利用级联的深层卷积神经网络提取人脸特征，包括：
将人脸图像数据发送至第一网络，预测人脸边框回归；
将第一网络的输出发送至第二网络，预测面部关键点位置；
将第二网络的输出发送至第三网络，提取人脸特征。
3.根据权利要求2所述的人脸识别方法，其特征在于，所述将第一网络的输出发送至第二网络，预测面部关键点位置，包括：
将第一网络的输出进行边框截取及尺寸变换操作之后再发送至所述第二网络；以及
利用第二网络预测面部关键点位置。
4.根据权利要求2所述的人脸识别方法，其特征在于，所述将第二网络的输出发送至第三网络，提取人脸特征，包括，
将第二网络的输出进行相似变换、映射及尺寸变换操作之后再发送至第三网络；以及
利用第三网络提取人脸特征。
5.根据权利要求2所述的人脸识别方法，其特征在于，所述第一网络为人脸检测网络(Face Detection Network，简称为FDNet)，第二网络为关键点检测网络(Key-pointDetection Network，简称为KDNet)，第三网络为特征提取网络(Feature ExtractionNetwork，简称为FENet)。
6.根据权利要求1所述的人脸识别方法，其特征在于，在利用级联的深层卷积神经网络提取人脸特征之前，还包括：采集人脸图像数据。
7.一种基于级联的深层卷积神经网络的人脸识别系统，其特征在于，包括：
特征提取模块，用于利用级联的深层卷积神经网络提取人脸特征；以及
人脸识别模块，与所述特征提取模块连接，用于根据提取的所述人脸特征进行人脸识别。
8.根据权利要求7所述的人脸识别系统，其特征在于，所述特征提取模块包括：
第一网络，用于接收人脸图像数据，预测人脸边框回归；
边框截取单元，用于接收第一网络的输出，并进行边框截取及尺寸变换操作；
第二网络，用于接收所述边框截取单元的输出，并预测面部关键点位置；
相似变换单元，用于接收所述第二网络的输出，并进行相似变换、映射及尺寸变换操作；以及
第三网络，用于接收所述相似变换单元的输出，并提取人脸特征。
9.根据权利要求8所述的人脸识别系统，其特征在于，所述第一网络为人脸检测网络(Face Detection Network，简称为FDNet)，第二网络为关键点检测网络(Key-pointDetection Network，简称为KDNet)，第三网络为特征提取网络(Feature ExtractionNetwork，简称为FENet)。
10.根据权利要求7所述的人脸识别系统，其特征在于，还包括采集模块，用于采集人脸图像数据。
CN201910201162.4A 2019-03-15 2019-03-15 基于级联的深层卷积神经网络的人脸识别方法及系统 Active CN111695392B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910201162.4A CN111695392B (zh) 2019-03-15 2019-03-15 基于级联的深层卷积神经网络的人脸识别方法及系统
PCT/CN2020/079281 WO2020187160A1 (zh) 2019-03-15 2020-03-13 基于级联的深层卷积神经网络的人脸识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910201162.4A CN111695392B (zh) 2019-03-15 2019-03-15 基于级联的深层卷积神经网络的人脸识别方法及系统

Publications (2)

Publication Number Publication Date
CN111695392A true CN111695392A (zh) 2020-09-22
CN111695392B CN111695392B (zh) 2023-09-15

Family

ID=72475529

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910201162.4A Active CN111695392B (zh) 2019-03-15 2019-03-15 基于级联的深层卷积神经网络的人脸识别方法及系统

Country Status (2)

Country Link
CN (1) CN111695392B (zh)
WO (1) WO2020187160A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112395393A (zh) * 2020-11-27 2021-02-23 华东师范大学 一种基于多任务多示例的远程监督关系抽取方法
CN113160171A (zh) * 2021-04-20 2021-07-23 中日友好医院(中日友好临床医学研究所) 一种弹性超声成像图像处理的方法和装置
CN116309710A (zh) * 2023-02-27 2023-06-23 荣耀终端有限公司 目标追踪方法和电子设备

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112818772A (zh) * 2021-01-19 2021-05-18 网易（杭州）网络有限公司 一种面部参数的识别方法、装置、电子设备及存储介质
CN112749687A (zh) * 2021-01-31 2021-05-04 云知声智能科技股份有限公司 一种图片质量和静默活体检测多任务训练方法和设备
CN113362110A (zh) * 2021-06-03 2021-09-07 中国电信股份有限公司 营销信息的推送方法、装置、电子设备和可读介质
CN114723756B (zh) * 2022-06-09 2022-08-12 北京理工大学 基于双监督网络的低分时序遥感目标检测方法及装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06301820A (ja) * 1992-08-31 1994-10-28 Internatl Business Mach Corp <Ibm> 光学式文字認識に用いる神経細胞的ネツトワーク・アーキテクチヤ、光学式文字認識方法及び装置
US20020028021A1 (en) * 1999-03-11 2002-03-07 Jonathan T. Foote Methods and apparatuses for video segmentation, classification, and retrieval using image class statistical models
CN103824054A (zh) * 2014-02-17 2014-05-28 北京旷视科技有限公司 一种基于级联深度神经网络的人脸属性识别方法
CN104463172A (zh) * 2014-12-09 2015-03-25 中国科学院重庆绿色智能技术研究院 基于人脸特征点形状驱动深度模型的人脸特征提取方法
CN106951867A (zh) * 2017-03-22 2017-07-14 成都擎天树科技有限公司 基于卷积神经网络的人脸识别方法、装置、系统及设备
CN107832700A (zh) * 2017-11-03 2018-03-23 全悉科技（北京）有限公司 一种人脸识别方法与系统
CN107967456A (zh) * 2017-11-27 2018-04-27 电子科技大学 一种基于人脸关键点的多神经网络级联识别人脸方法
CN108304788A (zh) * 2018-01-18 2018-07-20 陕西炬云信息科技有限公司 基于深度神经网络的人脸识别方法
CN108564049A (zh) * 2018-04-22 2018-09-21 北京工业大学 一种基于深度学习的快速人脸检测识别方法
CN109447053A (zh) * 2019-01-09 2019-03-08 江苏星云网格信息技术有限公司 一种基于双重限制注意力神经网络模型的人脸识别方法
CN109448707A (zh) * 2018-12-18 2019-03-08 北京嘉楠捷思信息技术有限公司 一种语音识别方法及装置、设备、介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105868689B (zh) * 2016-02-16 2019-03-29 杭州景联文科技有限公司 一种基于级联卷积神经网络的人脸遮挡检测方法
CN106339680B (zh) * 2016-08-25 2019-07-23 北京小米移动软件有限公司 人脸关键点定位方法及装置
CN106485215B (zh) * 2016-09-29 2020-03-06 西交利物浦大学 基于深度卷积神经网络的人脸遮挡检测方法
CN108875833B (zh) * 2018-06-22 2021-07-16 北京儒博科技有限公司 神经网络的训练方法、人脸识别方法及装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06301820A (ja) * 1992-08-31 1994-10-28 Internatl Business Mach Corp <Ibm> 光学式文字認識に用いる神経細胞的ネツトワーク・アーキテクチヤ、光学式文字認識方法及び装置
US20020028021A1 (en) * 1999-03-11 2002-03-07 Jonathan T. Foote Methods and apparatuses for video segmentation, classification, and retrieval using image class statistical models
CN103824054A (zh) * 2014-02-17 2014-05-28 北京旷视科技有限公司 一种基于级联深度神经网络的人脸属性识别方法
CN104463172A (zh) * 2014-12-09 2015-03-25 中国科学院重庆绿色智能技术研究院 基于人脸特征点形状驱动深度模型的人脸特征提取方法
CN106951867A (zh) * 2017-03-22 2017-07-14 成都擎天树科技有限公司 基于卷积神经网络的人脸识别方法、装置、系统及设备
CN107832700A (zh) * 2017-11-03 2018-03-23 全悉科技（北京）有限公司 一种人脸识别方法与系统
CN107967456A (zh) * 2017-11-27 2018-04-27 电子科技大学 一种基于人脸关键点的多神经网络级联识别人脸方法
CN108304788A (zh) * 2018-01-18 2018-07-20 陕西炬云信息科技有限公司 基于深度神经网络的人脸识别方法
CN108564049A (zh) * 2018-04-22 2018-09-21 北京工业大学 一种基于深度学习的快速人脸检测识别方法
CN109448707A (zh) * 2018-12-18 2019-03-08 北京嘉楠捷思信息技术有限公司 一种语音识别方法及装置、设备、介质
CN109447053A (zh) * 2019-01-09 2019-03-08 江苏星云网格信息技术有限公司 一种基于双重限制注意力神经网络模型的人脸识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
聂超: "《卷积神经网络在人脸识别上的研究》", 《哈尔滨商业 大学学报》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112395393A (zh) * 2020-11-27 2021-02-23 华东师范大学 一种基于多任务多示例的远程监督关系抽取方法
CN112395393B (zh) * 2020-11-27 2022-09-30 华东师范大学 一种基于多任务多示例的远程监督关系抽取方法
CN113160171A (zh) * 2021-04-20 2021-07-23 中日友好医院(中日友好临床医学研究所) 一种弹性超声成像图像处理的方法和装置
CN113160171B (zh) * 2021-04-20 2023-09-05 中日友好医院(中日友好临床医学研究所) 一种弹性超声成像图像处理的方法和装置
CN116309710A (zh) * 2023-02-27 2023-06-23 荣耀终端有限公司 目标追踪方法和电子设备

Also Published As

Publication number Publication date
WO2020187160A1 (zh) 2020-09-24
CN111695392B (zh) 2023-09-15

Similar Documents

Publication Publication Date Title
CN111695392B (zh) 基于级联的深层卷积神经网络的人脸识别方法及系统
CN109086756B (zh) 一种基于深度神经网络的文本检测分析方法、装置及设备
CN109492643B (zh) 基于ocr的证件识别方法、装置、计算机设备及存储介质
Luo et al. Traffic sign recognition using a multi-task convolutional neural network
US8792722B2 (en) Hand gesture detection
US8750573B2 (en) Hand gesture detection
CN110348319B (zh) 一种基于人脸深度信息和边缘图像融合的人脸防伪方法
US10445602B2 (en) Apparatus and method for recognizing traffic signs
WO2020182121A1 (zh) 表情识别方法及相关装置
CN111950424B (zh) 一种视频数据处理方法、装置、计算机及可读存储介质
CN112801146B (zh) 一种目标检测方法及系统
US20230082906A1 (en) Liveness detection method
CN114092938B (zh) 图像的识别处理方法、装置、电子设备及存储介质
Shah et al. Efficient portable camera based text to speech converter for blind person
Lahiani et al. Hand pose estimation system based on Viola-Jones algorithm for android devices
Pandey Automated gesture recognition and speech conversion tool for speech impaired
Rasel et al. An efficient framework for hand gesture recognition based on histogram of oriented gradients and support vector machine
Verma et al. Enhanced character recognition using surf feature and neural network technique
CN111199050B (zh) 一种用于对病历进行自动脱敏的系统及应用
CN111967289A (zh) 一种非配合式人脸活体检测方法及计算机存储介质
CN112200080A (zh) 一种人脸识别方法、装置、电子设备及存储介质
Saranya et al. The Proficient ML method for Vehicle Detection and Recognition in Video Sequence
KR101884874B1 (ko) 부분 이미지 기반 객체 판별 방법 및 장치
Mustafina et al. Identity document recognition: neural network approach
SINGH ATTENDANCE SYSTEM USING ONE-SHOT LEARNING

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20201125

Address after: Room 206, 2 / F, building C, phase I, Zhongguancun Software Park, No. 8, Dongbei Wangxi Road, Haidian District, Beijing 100094

Applicant after: Canaan Bright Sight Co.,Ltd.

Address before: 100094, No. 3, building 23, building 8, northeast Wang Xi Road, Beijing, Haidian District, 307

Applicant before: Canaan Creative Co.,Ltd.

GR01 Patent grant
GR01 Patent grant