CN108363962A - 一种基于多层次特征深度学习的人脸检测方法及系统 - Google Patents
一种基于多层次特征深度学习的人脸检测方法及系统 Download PDFInfo
- Publication number
- CN108363962A CN108363962A CN201810071146.3A CN201810071146A CN108363962A CN 108363962 A CN108363962 A CN 108363962A CN 201810071146 A CN201810071146 A CN 201810071146A CN 108363962 A CN108363962 A CN 108363962A
- Authority
- CN
- China
- Prior art keywords
- layer
- convolutional
- face
- image
- convolutional layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 21
- 238000013135 deep learning Methods 0.000 title claims abstract description 20
- 238000012549 training Methods 0.000 claims abstract description 45
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 41
- 238000012795 verification Methods 0.000 claims abstract description 36
- 238000012360 testing method Methods 0.000 claims abstract description 10
- 230000001815 facial effect Effects 0.000 claims abstract description 9
- 238000005286 illumination Methods 0.000 claims abstract description 9
- 238000005070 sampling Methods 0.000 claims description 13
- 238000001514 detection method Methods 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 6
- 238000007689 inspection Methods 0.000 claims description 3
- 239000012141 concentrate Substances 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 6
- 238000013528 artificial neural network Methods 0.000 abstract description 2
- 238000005259 measurement Methods 0.000 abstract 1
- 238000011897 real-time detection Methods 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000003475 lamination Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多层次特征深度学习的人脸检测方法及系统。该方法包括获取训练集和验证集图像及图像的标签信息；将图像及标签输入深度卷积神经网络中，对网络进行训练和调优，得到人脸检测模型；将测试图像输入到训练好的模型进行人脸检测。其中神经网络包括用于提取第一层次特征的第一网络模块，用于提取第二层次特征的第二网络模块，以及包括两个支路，分别用于完成人脸分类任务和人脸位置坐标回归任务的第三网络模块。本发明在不同层次的特征图上进行检测，解决了现有方法中采用分阶段方式存在的效率慢、步骤繁琐和泛化能力差的问题，在保证高检测精度的同时也达到了实时检测的效果，并且对人脸图像的光照与遮挡问题具有很好的鲁棒性。
Description
技术领域
本发明涉及图像处理领域，特别是一种基于多层次特征深度学习的人脸检测方法及系统。
背景技术
人脸检测是指对任意输入图像中进行搜索以确定是否包含人脸，如果包含人脸就返回所有人脸的位置、大小等信息。它是人脸信息处理的前提和基础，检测性能的好坏直接影响到人脸信息处理的结果。人脸检测对于人来说非常简单，但是图片存储在机器中不过就是一个由0和1组成的二进制串，由数列排成的阵列，因此对于机器来说，人脸检测是一件很复杂的任务。机器检测人脸的主要目标就是在低计算量的前提下保证高的正确率。人脸检测问题的研究源于人脸识别问题，最早的人脸识别是在假设人脸位置已经获得的前提下进行的，然而随着应用要求的提高，往往需要首先从实际的复杂背景中检测和定位出人脸。
目前人脸检测算法普遍采用的是科研工作者Paul Viola和Michael Jones设计的人脸检测器，利用特征的快速计算方法——积分图，有效的分类器学习方法——AdaBoost，以及高效的分类策略——级联结构的设计来实现人脸检测，但是面对复杂的外部环境，传统的人脸检测器往往会出现大量的误检与漏检。
随着深度学习在机器视觉领域的兴起，涌现了一些基于深度学习的人脸检测方法，如北京飞搜科技有限公司提出的专利申请“一种基于三级卷积神经网络的人脸检测方法及系统”(专利申请号201710078431.3，公开号CN106874868 A)，公开了采用三级卷积神经网络进行人脸检测，通过多级性能逐渐增强的网路进行逐级训练并且将前n级的训练结果作为后一级的输入，但是该三级卷积神经网络需要采取分阶段的方式训练，存在效率慢、训练步骤繁琐、不能进行联合任务的问题，网络的泛化能力较差，具有一定的局限性。
发明内容
发明目的：针对现有技术的不足，本发明目的在于提供一种基于多层次特征深度学习的人脸检测方法及系统，通过在不同层次的卷积输出特征图上进行检测，解决现有的人脸检测算法中存在训练步骤繁琐、效率慢和网络泛化能力差的缺点。
技术方案：本发明为实现上述发明目的采用以下技术方案：
一种基于多层次特征深度学习的人脸检测方法，包括如下步骤：
(1)获取训练集图像和验证集图像，所述训练集和验证集中图像包括具有光照变化和场景变化的尺寸归一化处理后的人脸图像；
(2)获取训练集图像和验证集图像的标签信息，所述标签信息包括图像中是否包含人脸的分类标签以及包含人脸时图像中人脸位置的右上顶点坐标和左下顶点坐标；
(3)将训练集和验证集图像以及相应的标签输入深度卷积神经网络中，对网络进行训练和调优，得到基于深度卷积神经网络的人脸检测模型；所述深度卷积神经网络包括：
第一网络模块，包括至少一个卷积层和池化层，采用3D卷积核对归一化后的训练集和验证集中的彩色图像进行卷积操作，输出若干特征图，用于提取输入图像的第一层次特征；
第二网络模块，包括至少三个级联的卷积层，采用3D卷积核对第一网络模块输出的特征图进行卷积操作，各卷积层输出不同尺度的特征图，用于提取输入图像的第二层次特征；
第三网络模块，包括第一支路和第二支路，所述第一支路包括第一串接层、分类层和至少两个并列的卷积层，用于完成人脸或非人脸的分类任务，其中各个卷积层的输入连接至所述第二网络模块中的不同的卷积层，各第一支路的卷积层输出的特征图通过第一串接层进行串接；所述分类层将第一串接层输出的特征列向量全连接到表示输入样本的类别的节点；所述第二支路包括第二串接层、回归层和至少两个并列的卷积层，用于完成人脸位置坐标回归任务，其中各个卷积层的输入连接至所述第二网络模块中的不同的卷积层，各第二支路的卷积层输出的特征图通过第二串接层进行串接；所述回归层将第二串接层输出的特征列向量全连接到表示输入样本人脸位置坐标的节点；
(4)将测试图像输入到训练好的基于深度卷积神经网络的人脸检测模型进行人脸检测，得到人脸检测结果。
作为优选，所述深度卷积神经网络的第一网络模块中各卷积层采用若干k×k×ma的3D卷积核对输入的图像序列或前一层输出的特征图序列进行3D卷积操作，其中k在1、3、5、7数值中选取，对于第一层卷积层ma为3，其余卷积层ma在64、128、256数值中选取，为前一层卷积层采用的卷积核个数；各池化层采用预设尺寸为l×l的滑动窗口对卷积层输出的特征图进行下采样，其中l在1、2数值中选取。
作为优选，所述深度卷积神经网络的第二网络模块中各卷积层采用若干k×k×mb的3D卷积核对前一层输出的特征图序列进行3D卷积操作，其中k在1、3、5、7数值中选取，mb在128、256、512数值中选取，为前一层卷积层采用的卷积核个数。
作为优选，所述深度卷积神经网络的第三网络模块中各卷积层采用若干k×k×mc的3D卷积核对所连接的第二网络模块中相应卷积层输出的特征图序列进行3D卷积操作，其中k在1、3、5、7数值中选取，mc为所连接的第二网络模块中卷积层采用的卷积核个数，第三网络模块中各卷积层所采用的卷积核的个数为2或4。
一种基于多层次特征深度学习的人脸检测系统，包括：
第一获取模块，用于获取训练集图像和验证集图像，所述训练集和验证集中图像包括具有光照变化和场景变化的尺寸归一化处理后的人脸图像；
第二获取模块，用于获取训练集图像和验证集图像的标签信息，所述标签信息包括图像中是否包含人脸的分类标签以及包含人脸时图像中人脸位置的右上顶点坐标和左下顶点坐标；
训练模块，用于将训练集和验证集图像以及相应的标签输入深度卷积神经网络中，对网络进行训练和调优，得到基于深度卷积神经网络的人脸检测模型；
以及检测模块，用于将测试图像输入到基于深度卷积神经网络的人脸检测模型进行人脸检测，得到人脸检测结果；
所述深度卷积神经网络包括：
第一网络模块，包括至少一个卷积层和池化层，采用3D卷积核对归一化后的训练集和验证集中的彩色图像进行卷积操作，输出若干特征图，用于提取输入图像的第一层次特征；
第二网络模块，包括至少三个级联的卷积层，采用3D卷积核对第一网络模块输出的特征图进行卷积操作，各卷积层输出不同尺度的特征图，用于提取输入图像的第二层次特征；
以及，第三网络模块，包括第一支路和第二支路，所述第一支路包括第一串接层、分类层和至少两个并列的卷积层，用于完成人脸或非人脸的分类任务，其中各个卷积层的输入连接至所述第二网络模块中的不同的卷积层，各第一支路的卷积层输出的特征图通过第一串接层进行串接；所述分类层将第一串接层输出的特征列向量全连接到表示输入样本的类别的节点；所述第二支路包括第二串接层、回归层和至少两个并列的卷积层，用于完成人脸位置坐标回归任务，其中各个卷积层的输入连接至所述第二网络模块中的不同的卷积层，各第二支路的卷积层输出的特征图通过第二串接层进行串接；所述回归层将第二串接层输出的特征列向量全连接到表示输入样本人脸位置坐标的节点。
有益效果：与现有技术相比，本发明具有以下技术效果：
1.通过人脸或非人脸的分类任务以及人脸位置坐标回归任务的联合学习实现人脸检测，简化了人脸检测的训练步骤，提高了人脸检测的效率；
2.深度卷积神经网络中较低层次的卷积输出特征图对图像中尺寸较小的人脸检测效果好，而较高层次的卷积输出特征图对图像中尺寸较大的人脸检测效果好，故利用不同层次的卷积输出特征图进行检测综合可以提高人脸检测的精度；
3.深度卷积神经网络可以接受任意尺度大小的测试图像，提高了人脸检测的鲁棒性和泛化能力。
附图说明
图1是本发明的一种基于多层次特征深度学习的人脸检测方法流程图。
图2是本发明中所构建的深度卷积神经网络结构图。
图3是本发明示例性实施例构建的深度卷积神经网络详细结构图。
图4是深度卷积神经网络中第一网络模块的详细结构图。
具体实施方式
下面结合说明书附图对本发明的具体实施方式做进一步详细的说明。
如图1所示，本发明实施例提供的一种基于多层次特征深度学习的人脸检测方法，主要包括如下步骤：
(1)获取训练集图像和验证集图像，其中训练集和验证集中图像包括具有光照变化和场景变化的尺寸归一化处理后的人脸图像。训练集图像和验证集图像可来源于celebA(Celeb Faces Attributes Dataset)数据库，在该人脸数据库上挑选具有光照变化和场景变化的人脸图像构成人脸图像数据库，对数据库中的样本进行尺寸归一化的预处理操作，得到N×N像素大小的图像，并将预处理后的图像划分为训练集和验证集，其中N取正整数。
(2)获取训练集图像和验证集图像的标签信息，其中标签信息包括图像中是否包含人脸的分类标签以及包含人脸时图像中人脸位置的右上顶点坐标和左下顶点坐标。
(3)构建深度卷积神经网络，将训练集和验证集图像以及相应的标签输入深度卷积神经网络中，对网络进行训练和调优，得到基于深度卷积神经网络的人脸检测模型。
(4)将测试图像输入到训练好的基于深度卷积神经网络的人脸检测模型进行人脸检测，得到人脸检测结果，若检测到人脸，则返回人脸位置坐标，若未检测到人脸，则不返回人脸位置坐标。
其中所构建的深度卷积神经网络的结构如图2所示，主要包括第一网络模块、第二网络模块、第三网络模块三个模块。
第一网络模块，包括至少一个卷积层和池化层，用于提取输入图像的第一层次特征，即较低层次的特征，采用3D卷积核对输入的归一化后的训练集和验证集中的彩色图像进行卷积操作，输出若干特征图。各卷积层可采用若干k×k×ma的3D卷积核对输入的图像序列或前一层输出的特征图序列进行3D卷积操作，其中k在1、3、5、7等数值中选取，对于第一层卷积层ma为3，其余卷积层ma在64、128、256等数值中选取，为前一层卷积层采用的卷积核个数；各池化层采用预设尺寸为l×l的滑动窗口对卷积层输出的特征图进行下采样，其中l在1、2等数值中选取。
第二网络模块，包括至少三个级联的卷积层，用于提取输入图像的第二层次特征，即较高层次的特征，采用3D卷积核对输入的第一网络模块输出的特征图堆叠得到的特征图序列进行卷积操作，各卷积层输出不同尺度的特征图。各卷积层可采用若干k×k×mb的3D卷积核对前一层输出的特征图序列进行3D卷积操作，其中k在1、3、5、7等数值中选取，mb在128、256、512等数值中选取，为前一层卷积层采用的卷积核个数。
第三网络模块，包括第一支路和第二支路，第一支路包括第一串接层、分类层和至少两个并列的卷积层，用于完成人脸或非人脸的分类任务，其中各个卷积层的输入连接至第二网络模块中的不同的卷积层，各第一支路的卷积层输出的特征图通过第一串接层进行串接；分类层将第一串接层输出的特征列向量全连接到表示输入样本的类别的节点；第二支路包括第二串接层、回归层和至少两个并列的卷积层，用于完成人脸位置坐标回归任务，其中各个卷积层的输入连接至第二网络模块中的不同的卷积层，各第二支路的卷积层输出的特征图通过第二串接层进行串接；回归层将第二串接层输出的特征列向量全连接到表示输入样本人脸位置坐标的节点。各卷积层可采用若干k×k×mc的3D卷积核对所连接的第二网络模块中相应卷积层输出的特征图序列进行3D卷积操作，其中k在1、3、5、7等数值中选取，mc为所连接的第二网络模块中卷积层采用的卷积核个数，第三网络模块中各卷积层所采用的卷积核的个数可为2或4等。
如图3、4为本发明优选实施例的深度卷积神经网络，其中第一网络模块A由13个卷积层和5个池化层构成，用于提取输入图像的较低层次的特征，由输入开始，依次所包括各个层如下：
第一层为卷积层1，采用m1个k1×k1×3的3D卷积核对输入彩色图像的R、G、B三个分量堆叠得到的N×N×3图像序列进行3D卷积操作，得到m1个N×N的特征图，其中k1取正整数，一般取1，3，5，7等，m1取正整数，一般取64，128，256等；
第二层为卷积层2，采用m1个k1×k1×m1的3D卷积核对卷积层1输出的m1个特征图堆叠得到的N×N×m1特征图序列进行3D卷积操作，得到m1个N×N的特征图；
第三层为池化层1，采用预设尺寸为l×l的滑动窗口对卷积层2输出的m1个特征图进行下采样，得到m1个s1×s1的特征图，其中l取正整数，一般取2，3，4等，s1取正整数；
第四层为卷积层3，采用m2个k1×k1×m1的3D卷积核对池化层1输出的m1个特征图堆叠得到的s1×s1×m1特征图序列进行3D卷积操作，得到m2个s1×s1的特征图，其中m2取正整数，一般取64，128，256等；
第五层为卷积层4，采用m2个k1×k1×m2的3D卷积核对卷积层3输出的m2个特征图堆叠得到的s1×s1×m2特征图序列进行3D卷积操作，得到m2个s1×s1的特征图；
第六层为池化层2，采用预设尺寸为l×l的滑动窗口对卷积层4输出的m2个特征图进行下采样，得到m2个s2×s2的特征图，其中s2取正整数；
第七层为卷积层5，采用m3个k1×k1×m2的3D卷积核对池化层2输出的m2个特征图堆叠得到的s2×s2×m2特征图序列进行3D卷积操作，得到m3个s2×s2的特征图，其中m3取正整数，一般取64，128，256等；
第八层为卷积层6，采用m3个k1×k1×m3的3D卷积核对卷积层5输出的m3个特征图堆叠得到的s2×s2×m3特征图序列进行3D卷积操作，得到m3个s2×s2的特征图；
第九层为卷积层7，采用m3个k1×k1×m3的3D卷积核对卷积层6输出的m3个特征图堆叠得到的s2×s2×m3特征图序列进行3D卷积操作，得到m3个s2×s2的特征图；
第十层为池化层3，采用预设尺寸为l×l的滑动窗口对卷积层7输出的m3个特征图进行下采样，得到m3个s3×s3的特征图，其中s3取正整数；
第十一层为卷积层8，采用m4个k1×k1×m3的3D卷积核对池化层3输出的m3个特征图堆叠得到的s3×s3×m3特征图序列进行3D卷积操作，得到m4个s3×s3的特征图，其中m4取正整数，一般取64，128，256等；
第十二层为卷积层9，采用m4个k1×k1×m4的3D卷积核对卷积层8输出的m4个特征图堆叠得到的s3×s3×m4特征图序列进行3D卷积操作，得到m4个s3×s3的特征图；
第十三层为卷积层10，采用m4个k1×k1×m4的3D卷积核对卷积层9输出的m4个特征图堆叠得到的s3×s3×m4特征图序列进行3D卷积操作，得到m4个s3×s3的特征图；
第十四层为池化层4，采用预设尺寸为l×l的滑动窗口对卷积层10输出的m4个特征图进行下采样，得到m4个s4×s4的特征图，其中s4取正整数；
第十五层为卷积层11，采用m4个k1×k1×m4的3D卷积核对池化层4输出的m4个特征图堆叠得到的s4×s4×m4特征图序列进行3D卷积操作，得到m4个s4×s4的特征图；
第十六层为卷积层12，采用m4个k1×k1×m4的3D卷积核对卷积层11输出的m4个特征图堆叠得到的s4×s4×m4特征图序列进行3D卷积操作，得到m4个s4×s4的特征图；
第十七层为卷积层13，采用m4个k1×k1×m4的3D卷积核对卷积层12输出的m4个特征图堆叠得到的s4×s4×m4特征图序列进行3D卷积操作，得到m4个s4×s4的特征图；
第十八层为池化层5，采用预设尺寸为l×l的滑动窗口对卷积层13输出的m4个特征图进行下采样，得到m4个s5×s5的特征图，其中s5取正整数；
第二网络模块由9个卷积层构成，用于提取输入图像的较高层次的特征，依次所包括各个层如下：
第一层为卷积层14，采用m5个k1×k1×m4的3D卷积核对池化层5输出的m4个特征图堆叠得到的s5×s5×m4特征图序列进行3D卷积操作，得到m5个s5×s5的特征图，其中m5取正整数，一般取128，256，512等；
第二层为卷积层15，采用m6个k2×k2×m5的3D卷积核对卷积层14输出的m5个特征图堆叠得到的s5×s5×m5特征图序列进行3D卷积操作，得到m6个s5×s5的特征图，其中k2取正整数，一般取1，3，5，7等，m6取正整数，一般取128，256，512等；
第三层为卷积层16，采用m7个k1×k1×m6的3D卷积核对卷积层15输出的m6个特征图堆叠得到的s5×s5×m6特征图序列进行3D卷积操作，得到m7个s6×s6的特征图，其中m7取正整数，一般取128，256，512等，s6取正整数；
第四层为卷积层17，采用m8个k2×k2×m7的3D卷积核对卷积层16输出的m7个特征图堆叠得到的s6×s6×m7特征图序列进行3D卷积操作，得到m8个s6×s6的特征图，其中m8取正整数，一般取128，256，512等；
第五层为卷积层18，采用m9个k1×k1×m8的3D卷积核对卷积层17输出的m8个特征图堆叠得到的s6×s6×m7特征图序列进行3D卷积操作，得到m9个s7×s7的特征图，其中m9取正整数，一般取128，256，512等，s7取正整数；
第六层为卷积层19，采用m10个k2×k2×m9的3D卷积核对卷积层18输出的m9个特征图堆叠得到的s7×s7×m9特征图序列进行3D卷积操作，得到m10个s7×s7的特征图，其中m10取正整数，一般取128，256，512等；
第七层为卷积层20，采用m11个k1×k1×m10的3D卷积核对卷积层19输出的m10个特征图堆叠得到的s7×s7×m10特征图序列进行3D卷积操作，得到m11个s8×s8的特征图，其中m11取正整数，一般取128，256，512等，s8取正整数；
第八层为卷积层21，采用m12个k2×k2×m11的3D卷积核对卷积层20输出的m11个特征图堆叠得到的s8×s8×m11特征图序列进行3D卷积操作，得到m12个s8×s8的特征图，其中m12取正整数，一般取128，256，512等；
第九层为卷积层22，采用m13个k1×k1×m12的3D卷积核对卷积层21输出的m12个特征图堆叠得到的s8×s8×m12特征图序列进行3D卷积操作，得到m13个s9×s9的特征图，其中m13取正整数，一般取128，256，512等，s9取正整数；
第三网络模块包含两个并行的支路，第一支路用于完成人脸或非人脸的分类任务，第二支路用于完成人脸位置坐标回归任务，第一支路和第二支路的具体结构如下：
第一支路由5个卷积层、1个串接层和1个分类层构成，具体结构如下：
第一层为卷积层23，采用m14个大小为k1×k1×m5的3D卷积核对卷积层14输出的m5个特征图堆叠得到的s5×s5×m5特征图序列进行3D卷积操作，得到m14个s5×s5的特征图，其中m14取正整数，一般取2，4等；
第二层为卷积层24，采用m14个大小为k1×k1×m7的3D卷积核对卷积层16输出的m7个特征图堆叠得到的s6×s6×m7特征图序列进行3D卷积操作，得到m14个s6×s6的特征图；
第三层为卷积层25，采用m14个大小为k1×k1×m9的3D卷积核对卷积层18输出的m9个特征图堆叠得到的s7×s7×m9特征图序列进行3D卷积操作，得到m14个s7×s7的特征图；
第四层为卷积层26，采用m14个大小为k1×k1×m11的3D卷积核对卷积层20输出的m11个特征图堆叠得到的s8×s8×m11特征图序列进行3D卷积操作，得到m14个s8×s8的特征图；
第五层为卷积层27，采用m14个大小为k1×k1×m13的3D卷积核对卷积层22输出的m13个特征图堆叠得到的s9×s9×m13特征图序列进行3D卷积操作，得到m14个s9×s9的特征图；
第六层为串接层1，将卷积层23，卷积层24，卷积层25，卷积层26和卷积层27的输出特征图通过串接层1进行串接，得到一个n1维的特征列向量，其中n1取正整数；
第七层为分类层，采用Softmax分类器将串接层1输出的特征列向量全连接到n2个输出节点，每个节点对应输入样本的类别，其中n2取正整数，一般取2，4等；
第二支路由5个卷积层、1个串接层和1个回归层构成，具体结构如下：
第一层为卷积层28，采用m15个大小为k1×k1×m5的3D卷积核对卷积层14输出的m5个特征图堆叠得到的s5×s5×m5特征图序列进行3D卷积操作，得到m15个s5×s5的特征图，其中m15取正整数，一般取2，4等；
第二层为卷积层29，采用m15个大小为k1×k1×m7的3D卷积核对卷积层16输出的m7个特征图堆叠得到的s6×s6×m7特征图序列进行3D卷积操作，得到m15个s6×s6的特征图；
第三层为卷积层30，采用m15个大小为k1×k1×m9的3D卷积核对卷积层18输出的m9个特征图堆叠得到的s7×s7×m9特征图序列进行3D卷积操作，得到m15个s7×s7的特征图；
第四层为卷积层31，采用m15个大小为k1×k1×m11的3D卷积核对卷积层20输出的m11个特征图堆叠得到的s8×s8×m11特征图序列进行3D卷积操作，得到m15个s8×s8的特征图；
第五层为卷积层32，采用m15个大小为k1×k1×m13的3D卷积核对卷积层22输出的m13个特征图堆叠得到的s9×s9×m13特征图序列进行3D卷积操作，得到m15个s9×s9的特征图；
第六层为串接层2，将卷积层28，卷积层29，卷积层30，卷积层31和卷积层32的输出特征图通过串接层2进行串接，得到一个n3维的特征列向量，其中n3取正整数；
第七层为回归层，采用Euclidean回归器将串接层2输出的特征列向量全连接到n4个输出节点，每个节点对应输入样本人脸位置坐标，其中n4取正整数，一般取2，4等。
具体的，本发明提供的一个示例性实施例以在celebA数据库上共挑选12800张具有光照变化和场景变化的人脸图像作为深度卷积神经网络的训练集和验证集样本图像，样本进行尺度归一化的预处理操作后得到512×512像素大小的图像，然后任意选取其中70％的图像作为训练集，剩下的30％作为验证集。对训练集和验证集图像进行标注，给出标签，若包含人脸，则标定图像中人脸位置坐标(xmin，ymin，xmax，ymax)，其中(xmin，ymin)表示图像中人脸位置的右上顶点坐标，(xmax，ymax)表示图像中人脸位置的左下顶点坐标，xmin，ymin，xmax，ymax取值均为非负实数。
所构建的深度卷积神经网络，各模块的具体结构如下：
第一网络模块由输入开始，依次所包括各个层如下：
第一层为卷积层1，采用64个3×3×3的3D卷积核对输入彩色图像的R、G、B三个分量堆叠得到的512×512×3图像序列进行3D卷积操作，得到64个512×512的特征图；
第二层为卷积层2，采用64个3×3×64的3D卷积核对卷积层1输出的64个特征图堆叠得到的512×512×64特征图序列进行3D卷积操作，得到64个512×512的特征图；
第三层为池化层1，采用预设尺寸为2×2的滑动窗口对卷积层2输出的64个特征图进行下采样，得到64个256×256的特征图；
第四层为卷积层3，采用128个3×3×64的3D卷积核对池化层1输出的64个特征图堆叠得到的256×256×64特征图序列进行3D卷积操作，得到128个256×256的特征图；
第五层为卷积层4，采用128个3×3×128的3D卷积核对卷积层3输出的128个特征图堆叠得到的256×256×128特征图序列进行3D卷积操作，得到128个256×256的特征图；
第六层为池化层2，采用预设尺寸为2×2的滑动窗口对卷积层4输出的128个特征图进行下采样，得到128个128×128的特征图；
第七层为卷积层5，采用256个3×3×128的3D卷积核对池化层2输出的128个特征图堆叠得到的128×128×128特征图序列进行3D卷积操作，得到256个128×128的特征图；
第八层为卷积层6，采用256个3×3×256的3D卷积核对卷积层5输出的256个特征图堆叠得到的128×128×256特征图序列进行3D卷积操作，得到256个128×128的特征图；
第九层为卷积层7，采用256个3×3×256的3D卷积核对卷积层6输出的256个特征图堆叠得到的128×128×256特征图序列进行3D卷积操作，得到256个128×128的特征图；
第十层为池化层3，采用预设尺寸为2×2的滑动窗口对卷积层7输出的256个特征图进行下采样，得到256个64×64的特征图；
第十一层为卷积层8，采用512个3×3×256的3D卷积核对池化层3输出的256个特征图堆叠得到的64×64×256特征图序列进行3D卷积操作，得到512个64×64的特征图；
第十二层为卷积层9，采用512个3×3×512的3D卷积核对卷积层8输出的512个特征图堆叠得到的64×64×512特征图序列进行3D卷积操作，得到512个64×64的特征图；
第十三层为卷积层10，采用512个3×3×512的3D卷积核对卷积层9输出的512个特征图堆叠得到的64×64×512特征图序列进行3D卷积操作，得到512个64×64的特征图；
第十四层为池化层4，采用预设尺寸为2×2的滑动窗口对卷积层10输出的512个特征图进行下采样，得到512个32×32的特征图；
第十五层为卷积层11，采用512个32×32×512的3D卷积核对池化层4输出的512个特征图堆叠得到的32×32×512特征图序列进行3D卷积操作，得到512个32×32的特征图；
第十六层为卷积层12，采用512个3×3×512的3D卷积核对卷积层11输出的512个特征图堆叠得到的32×32×512特征图序列进行3D卷积操作，得到512个32×32的特征图；
第十七层为卷积层13，采用512个3×3×512的3D卷积核对卷积层12输出的512个特征图堆叠得到的32×32×512特征图序列进行3D卷积操作，得到512个32×32的特征图；
第十八层为池化层5，采用预设尺寸为2×2的滑动窗口对卷积层13输出的512个特征图进行下采样，得到512个16×16的特征图；
第二网络模块依次所包括各个层如下：
第一层为卷积层14，采用1024个3×3×512的3D卷积核对池化层5输出的512个特征图堆叠得到的16×16×512特征图序列进行3D卷积操作，得到1024个16×16的特征图；
第二层为卷积层15，采用256个1×1×1024的3D卷积核对卷积层14输出的1024个特征图堆叠得到的16×16×1024特征图序列进行3D卷积操作，得到256个16×16的特征图；
第三层为卷积层16，采用512个3×3×256的3D卷积核对卷积层15输出的256个特征图堆叠得到的16×16×256特征图序列进行3D卷积操作，得到512个9×9的特征图；
第四层为卷积层17，采用128个1×1×512的3D卷积核对卷积层16输出的512个特征图堆叠得到的9×9×512特征图序列进行3D卷积操作，得到128个9×9的特征图；
第五层为卷积层18，采用256个3×3×128的3D卷积核对卷积层17输出的128个特征图堆叠得到的9×9×128特征图序列进行3D卷积操作，得到256个5×5的特征图；
第六层为卷积层19，采用128个1×1×256的3D卷积核对卷积层18输出的256个特征图堆叠得到的5×5×256特征图序列进行3D卷积操作，得到128个5×5的特征图；
第七层为卷积层20，采用256个3×3×128的3D卷积核对卷积层19输出的128个特征图堆叠得到的5×5×128特征图序列进行3D卷积操作，得到256个3×3的特征图；
第八层为卷积层21，采用128个1×1×256的3D卷积核对卷积层20输出的256个特征图堆叠得到的3×3×256特征图序列进行3D卷积操作，得到128个3×3的特征图；
第九层为卷积层22，采用256个3×3×128的3D卷积核对卷积层21输出的128个特征图堆叠得到的3×3×128特征图序列进行3D卷积操作，得到256个1×1的特征图；
第三网络模块的第一支路，具体结构如下：
第一层为卷积层23，采用2个大小为3×3×1024的3D卷积核对卷积层14输出的1024个特征图堆叠得到的16×16×1024特征图序列进行3D卷积操作，得到2个16×16的特征图；
第二层为卷积层24，采用2个大小为3×3×512的3D卷积核对卷积层16输出的512个特征图堆叠得到的9×9×512特征图序列进行3D卷积操作，得到2个9×9的特征图；
第三层为卷积层25，采用2个大小为3×3×256的3D卷积核对卷积层18输出的256个特征图堆叠得到的5×5×256特征图序列进行3D卷积操作，得到2个5×5的特征图；
第四层为卷积层26，采用2个大小为3×3×256的3D卷积核对卷积层20输出的256个特征图堆叠得到的3×3×256特征图序列进行3D卷积操作，得到2个3×3的特征图；
第五层为卷积层27，采用2个大小为3×3×256的3D卷积核对卷积层22输出的256个特征图堆叠得到的1×1×256特征图序列进行3D卷积操作，得到256个1×1的特征图；
第六层为串接层1，将卷积层23，卷积层24，卷积层25，卷积层26和卷积层27的输出特征图通过串接层1进行串接，得到一个744维的特征列向量；
第七层为分类层，采用Softmax分类器将串接层1输出的特征列向量全连接到2个输出节点，每个节点对应输入样本的类别；
第三网络模块的第二支路，具体结构如下：
第一层为卷积层28，采用4个大小为3×3×1024的3D卷积核对卷积层14输出的1024个特征图堆叠得到的16×16×1024特征图序列进行3D卷积操作，得到4个16×16的特征图；
第二层为卷积层29，采用4个大小为3×3×512的3D卷积核对卷积层16输出的512个特征图堆叠得到的9×9×512特征图序列进行3D卷积操作，得到4个9×9的特征图；
第三层为卷积层30，采用4个大小为3×3×256的3D卷积核对卷积层18输出的256个特征图堆叠得到的5×5×256特征图序列进行3D卷积操作，得到4个5×5的特征图；
第四层为卷积层31，采用4个大小为3×3×256的3D卷积核对卷积层20输出的256个特征图堆叠得到的3×3×256特征图序列进行3D卷积操作，得到4个3×3的特征图；
第五层为卷积层32，采用4个大小为3×3×256的3D卷积核对卷积层22输出的256个特征图堆叠得到的1×1×256特征图序列进行3D卷积操作，得到4个1×1的特征图；
第六层为串接层2，将卷积层28，卷积层29，卷积层30，卷积层31和卷积层32的输出特征图通过串接层2进行串接，得到一个1488维的特征列向量；
第七层为回归层，采用Euclidean回归器将串接层2输出的特征列向量全连接到4个输出节点，每个节点对应输入样本人脸位置坐标。
将训练集和验证集图像以及相应的标签输入深度卷积神经网络中，对网络进行训练、调优。最后利用训练好的深度卷积神经网络模型对输入的测试图像进行人脸检测。
本发明另一实施例公开了一种基于多层次特征深度学习的人脸检测系统，包括：第一获取模块，用于获取训练集图像和验证集图像，所述训练集和验证集中图像包括具有光照变化和场景变化的尺寸归一化处理后的人脸图像；第二获取模块，用于获取训练集图像和验证集图像的标签信息，所述标签信息包括图像中是否包含人脸的分类标签以及包含人脸时图像中人脸位置的右上顶点坐标和左下顶点坐标；训练模块，用于将训练集和验证集图像以及相应的标签输入深度卷积神经网络中，对网络进行训练和调优，得到基于深度卷积神经网络的人脸检测模型；以及检测模块，用于将测试图像输入到基于深度卷积神经网络的人脸检测模型进行人脸检测，得到人脸检测结果。
上述基于多层次特征深度学习的人脸检测系统实施例可以用于执行上述基于多层次特征深度学习的人脸检测方法实施例，其技术原理、所解决的技术问题及产生的技术效果相似，上述描述的基于多层次特征深度学习的人脸检测的具体工作过程及有关说明，可以参考前述多基于多层次特征深度学习的人脸检测方法实施例中的对应过程，在此不再赘述。
本领域技术人员可以理解，可以对实施例中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个系统中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。
以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。
Claims (5)
1.一种基于多层次特征深度学习的人脸检测方法，其特征在于，包括如下步骤：
(1)获取训练集图像和验证集图像，所述训练集和验证集中图像包括具有光照变化和场景变化的尺寸归一化处理后的人脸图像；
(2)获取训练集图像和验证集图像的标签信息，所述标签信息包括图像中是否包含人脸的分类标签以及包含人脸时图像中人脸位置的右上顶点坐标和左下顶点坐标；
(3)将训练集和验证集图像以及相应的标签输入深度卷积神经网络中，对网络进行训练和调优，得到基于深度卷积神经网络的人脸检测模型；所述深度卷积神经网络包括：
第一网络模块，包括至少一个卷积层和池化层，采用3D卷积核对归一化后的训练集和验证集中的彩色图像进行卷积操作，输出若干特征图，用于提取输入图像的第一层次特征；
第二网络模块，包括至少三个级联的卷积层，采用3D卷积核对第一网络模块输出的特征图进行卷积操作，各卷积层输出不同尺度的特征图，用于提取输入图像的第二层次特征；
第三网络模块，包括第一支路和第二支路，所述第一支路包括第一串接层、分类层和至少两个并列的卷积层，用于完成人脸或非人脸的分类任务，其中各个卷积层的输入连接至所述第二网络模块中的不同的卷积层，各第一支路的卷积层输出的特征图通过第一串接层进行串接；所述分类层将第一串接层输出的特征列向量全连接到表示输入样本的类别的节点；所述第二支路包括第二串接层、回归层和至少两个并列的卷积层，用于完成人脸位置坐标回归任务，其中各个卷积层的输入连接至所述第二网络模块中的不同的卷积层，各第二支路的卷积层输出的特征图通过第二串接层进行串接；所述回归层将第二串接层输出的特征列向量全连接到表示输入样本人脸位置坐标的节点；
(4)将测试图像输入到训练好的基于深度卷积神经网络的人脸检测模型进行人脸检测，得到人脸检测结果。
2.根据权利要求1所述的基于多层次特征深度学习的人脸检测方法，其特征在于，所述深度卷积神经网络的第一网络模块中各卷积层采用若干k×k×ma的3D卷积核对输入的图像序列或前一层输出的特征图序列进行3D卷积操作，其中k在1、3、5、7数值中选取，对于第一层卷积层ma为3，其余卷积层ma在64、128、256数值中选取，为前一层卷积层采用的卷积核个数；各池化层采用预设尺寸为l×l的滑动窗口对卷积层输出的特征图进行下采样，其中l在1、2数值中选取。
3.根据权利要求1所述的基于多层次特征深度学习的人脸检测方法，其特征在于，所述深度卷积神经网络的第二网络模块中各卷积层采用若干k×k×mb的3D卷积核对前一层输出的特征图序列进行3D卷积操作，其中k在1、3、5、7数值中选取，mb在128、256、512数值中选取，为前一层卷积层采用的卷积核个数。
4.根据权利要求1所述的基于多层次特征深度学习的人脸检测方法，其特征在于，所述深度卷积神经网络的第三网络模块中各卷积层采用若干k×k×mc的3D卷积核对所连接的第二网络模块中相应卷积层输出的特征图序列进行3D卷积操作，其中k在1、3、5、7数值中选取，mc为所连接的第二网络模块中卷积层采用的卷积核个数，第三网络模块中各卷积层所采用的卷积核的个数为2或4。
5.一种基于多层次特征深度学习的人脸检测系统，其特征在于，包括：
第一获取模块，用于获取训练集图像和验证集图像，所述训练集和验证集中图像包括具有光照变化和场景变化的尺寸归一化处理后的人脸图像；
第二获取模块，用于获取训练集图像和验证集图像的标签信息，所述标签信息包括图像中是否包含人脸的分类标签以及包含人脸时图像中人脸位置的右上顶点坐标和左下顶点坐标；
训练模块，用于将训练集和验证集图像以及相应的标签输入深度卷积神经网络中，对网络进行训练和调优，得到基于深度卷积神经网络的人脸检测模型；
以及检测模块，用于将测试图像输入到基于深度卷积神经网络的人脸检测模型进行人脸检测，得到人脸检测结果；
所述深度卷积神经网络包括：
第一网络模块，包括至少一个卷积层和池化层，采用3D卷积核对归一化后的训练集和验证集中的彩色图像进行卷积操作，输出若干特征图，用于提取输入图像的第一层次特征；
第二网络模块，包括至少三个级联的卷积层，采用3D卷积核对第一网络模块输出的特征图进行卷积操作，各卷积层输出不同尺度的特征图，用于提取输入图像的第二层次特征；
以及，第三网络模块，包括第一支路和第二支路，所述第一支路包括第一串接层、分类层和至少两个并列的卷积层，用于完成人脸或非人脸的分类任务，其中各个卷积层的输入连接至所述第二网络模块中的不同的卷积层，各第一支路的卷积层输出的特征图通过第一串接层进行串接；所述分类层将第一串接层输出的特征列向量全连接到表示输入样本的类别的节点；所述第二支路包括第二串接层、回归层和至少两个并列的卷积层，用于完成人脸位置坐标回归任务，其中各个卷积层的输入连接至所述第二网络模块中的不同的卷积层，各第二支路的卷积层输出的特征图通过第二串接层进行串接；所述回归层将第二串接层输出的特征列向量全连接到表示输入样本人脸位置坐标的节点。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810071146.3A CN108363962B (zh) | 2018-01-25 | 2018-01-25 | 一种基于多层次特征深度学习的人脸检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810071146.3A CN108363962B (zh) | 2018-01-25 | 2018-01-25 | 一种基于多层次特征深度学习的人脸检测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108363962A true CN108363962A (zh) | 2018-08-03 |
| CN108363962B CN108363962B (zh) | 2021-01-26 |
Family
ID=63006826
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810071146.3A Active CN108363962B (zh) | 2018-01-25 | 2018-01-25 | 一种基于多层次特征深度学习的人脸检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108363962B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110188720A (zh) * | 2019-06-05 | 2019-08-30 | 上海云绅智能科技有限公司 | 一种基于卷积神经网络的目标检测方法及系统 |
| CN110378865A (zh) * | 2019-04-28 | 2019-10-25 | 湖南师范大学 | 一种复杂背景下的雾天能见度智能分级识别方法及系统 |
| CN111079643A (zh) * | 2019-12-13 | 2020-04-28 | 三一重工股份有限公司 | 基于神经网络的人脸检测方法、装置和电子设备 |
| CN112115783A (zh) * | 2020-08-12 | 2020-12-22 | 中国科学院大学 | 基于深度知识迁移的人脸特征点检测方法、装置及设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130266177A1 (en) * | 2012-04-06 | 2013-10-10 | Stmicroelectronics (Grenoble 2) Sas | Method and Device for Detecting an Object in an Image |
| CN103745237A (zh) * | 2013-12-26 | 2014-04-23 | 暨南大学 | 光照变化条件下的人脸识别算法 |
| CN107145833A (zh) * | 2017-04-11 | 2017-09-08 | 腾讯科技（上海）有限公司 | 人脸区域的确定方法和装置 |
-
2018
- 2018-01-25 CN CN201810071146.3A patent/CN108363962B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130266177A1 (en) * | 2012-04-06 | 2013-10-10 | Stmicroelectronics (Grenoble 2) Sas | Method and Device for Detecting an Object in an Image |
| CN103745237A (zh) * | 2013-12-26 | 2014-04-23 | 暨南大学 | 光照变化条件下的人脸识别算法 |
| CN107145833A (zh) * | 2017-04-11 | 2017-09-08 | 腾讯科技（上海）有限公司 | 人脸区域的确定方法和装置 |
Non-Patent Citations (4)
| Title |
|---|
| KAIPENG ZHANG ET AL.: ""Joint Face Detection and Alignment Using Multitask Cascaded Convolutional Networks"", 《IEEE SIGNAL PROCESSING LETTERS》 * |
| SHIFENG ZHANG ET AL: ""S^3FD: Single Shot Scale-Invariant Face Detector"", 《2017 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV)》 * |
| TSUNG-YI LIN ET AL: ""Feature Pyramid Networks for Object Detection"", 《ARXIV:1612.03144V2》 * |
| WEILIU ET AL: ""SSD:Single Shot MultiBox Detector"", 《ARXIV:1512.02325V5》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110378865A (zh) * | 2019-04-28 | 2019-10-25 | 湖南师范大学 | 一种复杂背景下的雾天能见度智能分级识别方法及系统 |
| CN110188720A (zh) * | 2019-06-05 | 2019-08-30 | 上海云绅智能科技有限公司 | 一种基于卷积神经网络的目标检测方法及系统 |
| CN111079643A (zh) * | 2019-12-13 | 2020-04-28 | 三一重工股份有限公司 | 基于神经网络的人脸检测方法、装置和电子设备 |
| CN111079643B (zh) * | 2019-12-13 | 2023-04-07 | 三一重工股份有限公司 | 基于神经网络的人脸检测方法、装置和电子设备 |
| CN112115783A (zh) * | 2020-08-12 | 2020-12-22 | 中国科学院大学 | 基于深度知识迁移的人脸特征点检测方法、装置及设备 |
| CN112115783B (zh) * | 2020-08-12 | 2023-11-14 | 中国科学院大学 | 基于深度知识迁移的人脸特征点检测方法、装置及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108363962B (zh) | 2021-01-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109584248B (zh) | 基于特征融合和稠密连接网络的红外面目标实例分割方法 | |
| CN108363962A (zh) | 一种基于多层次特征深度学习的人脸检测方法及系统 | |
| CN104115074B (zh) | 全息图处理方法和系统 | |
| CN102663391B (zh) | 一种图像的多特征提取与融合方法及系统 | |
| CN107871102A (zh) | 一种人脸检测方法及装置 | |
| CN104462494B (zh) | 一种基于无监督特征学习的遥感图像检索方法及系统 | |
| CN108010045A (zh) | 基于orb的视觉图像特征点误匹配提纯方法 | |
| CN112801169B (zh) | 一种基于改进yolo算法的伪装目标检测方法、系统、装置及存储介质 | |
| CN107256246A (zh) | 基于卷积神经网络的印花织物图像检索方法 | |
| CN107808129A (zh) | 一种基于单个卷积神经网络的面部多特征点定位方法 | |
| CN111738344A (zh) | 一种基于多尺度融合的快速目标检测方法 | |
| CN103235947B (zh) | 一种手写体数字识别方法及装置 | |
| CN105574161B (zh) | 一种商标图形要素识别方法、装置和系统 | |
| Fan et al. | Urban informal settlements classification via a transformer-based spatial-temporal fusion network using multimodal remote sensing and time-series human activity data | |
| CN104715481A (zh) | 基于随机森林的多尺度印刷品缺陷检测方法 | |
| CN109977834B (zh) | 从深度图像中分割人手与交互物体的方法和装置 | |
| CN114140665A (zh) | 一种基于改进YOLOv5的密集小目标检测方法 | |
| CN117237808A (zh) | 基于odc-yolo网络的遥感图像目标检测方法及系统 | |
| Xi et al. | Ai-generated image detection using a cross-attention enhanced dual-stream network | |
| Wang et al. | Encoder-and decoder-based networks using multiscale feature fusion and nonlocal block for remote sensing image semantic segmentation | |
| CN110334775A (zh) | 一种基于宽度学习的无人机线路故障识别方法和装置 | |
| Cui et al. | Hand gesture segmentation against complex background based on improved atrous spatial pyramid pooling | |
| CN111797704B (zh) | 一种基于相关物体感知的动作识别方法 | |
| Jiang et al. | MANet: An Efficient Multi-Dimensional Attention-Aggregated Network for Remote Sensing Image Change Detection | |
| Yu et al. | Long-range correlation supervision for land-cover classification from remote sensing images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20180803 Assignee: NANJING NANYOU INSTITUTE OF INFORMATION TECHNOVATION Co.,Ltd. Assignor: NANJING University OF POSTS AND TELECOMMUNICATIONS Contract record no.: X2021980014141 Denomination of invention: A face detection method and system based on multi-level feature depth learning Granted publication date: 20210126 License type: Common License Record date: 20211206 |
|
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EC01 | Cancellation of recordation of patent licensing contract |
Assignee: NANJING NANYOU INSTITUTE OF INFORMATION TECHNOVATION Co.,Ltd. Assignor: NANJING University OF POSTS AND TELECOMMUNICATIONS Contract record no.: X2021980014141 Date of cancellation: 20231107 |
|
| EC01 | Cancellation of recordation of patent licensing contract |