CN112200161A - 一种基于混合注意力机制的人脸识别检测方法 - Google Patents

一种基于混合注意力机制的人脸识别检测方法 Download PDF

Info

Publication number
CN112200161A
CN112200161A CN202011392413.0A CN202011392413A CN112200161A CN 112200161 A CN112200161 A CN 112200161A CN 202011392413 A CN202011392413 A CN 202011392413A CN 112200161 A CN112200161 A CN 112200161A
Authority
CN
China
Prior art keywords
attention module
feature
target
feature map
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011392413.0A
Other languages
English (en)
Other versions
CN112200161B (zh
Inventor
刘晨
杨涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Telecom Easiness Information Technology Co Ltd
Original Assignee
Beijing Telecom Easiness Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Telecom Easiness Information Technology Co Ltd filed Critical Beijing Telecom Easiness Information Technology Co Ltd
Priority to CN202011392413.0A priority Critical patent/CN112200161B/zh
Publication of CN112200161A publication Critical patent/CN112200161A/zh
Application granted granted Critical
Publication of CN112200161B publication Critical patent/CN112200161B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于混合注意力机制的人脸识别检测方法，包括：构建人脸目标图像数据集；采用所述人脸目标图像数据集的训练集和验证集训练设计的深度神经网络模型；将人脸目标图像数据集中的测试集用于训练好的深度神经网络模型中以检测图像中的人类面部目标。本发明采用混合注意力模块提炼关键检测特征，将该关键特征传递至后面的层，提高检测准确率；建立基于FPN的Faster RCNN网络，采用多尺度特征融合技术提取丰富的细节信息，增强了网络对人脸特征的表征能力；构建并将SENet注意力模块嵌入FPN，有助于网络过滤冗余的特征信息，并将关键特征传递至RPN网络，提高了人脸识别检测精度。

Description

一种基于混合注意力机制的人脸识别检测方法
技术领域
本发明涉及图像处理技术领域，具体而言，涉及一种基于混合注意力机制的人脸识别检测方法。
背景技术
随着计算机技术的飞速发展，生物特征识别作为计算机视觉领域内的一个独立的研究课题得到广泛研究，而人脸识别检测则作为生物特征识别的一大分支成为热门研究方向。人脸识别检测是指对于任意一幅给定的图像，采用一定的策略对其进行搜索以确定其中是否含有一个或多个人脸，如果是，则返回人脸所在位置的检测任务（王飞龙.人脸识别技术及其安全性综述[J].信息记录材料,2018,19(12):229-230.）；该技术目前已在图像搜索、身份认证以及安全防护等多个领域得到广泛的应用（严陈. 人脸识别检测算法研究及验证[D].扬州大学,2019.）。由于人脸属于非刚性目标，且长相、年龄、表情、装扮等原因导致其个体差异较大，分辨和提取有效的面部特征难度大，在车站、公路等复杂背景下由于拍摄距离的影响增加了检测难度，这使得人脸识别检测成为生物特征识别领域的研究热点及难点。
多尺度特征融合技术作为一种有效的特征增强机制，可得到兼具语义信息与细节信息的融合特征，从而有效提升神经网络对目标的定位效果和检测精度（任坤,黄泷,范春奇,高学金.基于多尺度像素特征融合的实时小交通标志检测算法[J/OL].信号处理:1-9）。但仅充分提取目标特征信息，而不对所提取到的丰富信息进行关键特征筛选，仍难以实现准确识别复杂检测背景下的人脸目标。因此，探索能实现人脸精确识别和定位的技术途径，具有重要的研究意义和应用价值。
在人脸识别检测这一复杂检测任务中，极大的个体特征信息差异和变化的视觉检测面积，使得现有人脸识别检测的深度神经网络难以提取到有效特征信息，从而导致目标漏检和定位错误，因此有效捕捉人脸目标的关键识别特征极其重要。
发明内容
鉴于此，本发明针对人脸目标的识别检测难点，将多尺度特征融合技术的特征提取能力与注意力机制的关键信息感知能力相结合，设计了基于特征金字塔 (FeaturePyramid Network, FPN)的Faster R-CNN网络结构，针对整张图像数据进行人脸识别检测，并在该网络中嵌入多种注意力模块分别基于空间域和通道域，有效提取人脸关键特征信息，提高深度神经网络对人脸识别检测的准确率。
本发明提供了一种基于混合注意力机制的人脸识别检测方法，包括以下步骤：
S1、构建人脸目标图像数据集；
首先利用网络爬虫获取包含人脸的图像数据并进行预处理；其次采用Labellmg软件进行图像标注，得到xml格式的标注文件；接下来，采用仿射变换对人脸图像进行数量扩充，得到人脸图像数据集；最后，将数据集分为训练集和测试集，为训练集中的数据制作标签，测试集中的数据不作处理；
S2、采用所述人脸目标图像数据集的训练集和验证集训练设计的深度神经网络模型；
S3、将人脸目标图像数据集中的测试集用于训练好的深度神经网络模型中以检测图像中的人类面部目标；
其中，所述S2步骤，包括以下步骤：
S21、构建混合注意力模块，并嵌入Faster R-CNN网络结构的ResNet101中；
S22、将FPN应用在Faster R-CNN网络结构的ResNets101中；
S23、构建SENet注意力模块，并将SENet注意力模块嵌入所述S22步骤已经得到的网络结构中，得到金字塔注意力网络；
S24、采用人脸目标图像数据集进行金字塔注意力网络训练及参数优化，直至达到人脸识别检测的准确率参数。
进一步地，所述S1步骤中，所述构建人脸目标图像数据集的方法包括：先采用Labellmg软件进行图像标注，然后采用仿射变换对人脸图像进行数量扩充。
进一步地，所述S21步骤中，所述ResNet101由五个卷积模块conv1、conv2、conv3、conv4、conv5组成；采用其中前4个模块的输出特征图，表示为C2、C3、C4、C5，分别经过卷积核1×1的卷积层，采用多尺度特征融合方式，将上一层低分辨率强语义信息的特征图通过2倍缩放上采样得到与下层同尺寸的特征图，C2至C5特征图的分辨率大小依次为：256×256×256、128×128×512、64×64×1024、32×32×2048。
进一步地，所述S22步骤中，所述FPN网络结构为一个3×3卷积层和两个输出支路：第一个输出支路输出候选区域为目标的可能性概率，第二个输出支路输出候选区域边框bounding box的左上角坐标和宽高。
进一步地，所述混合注意力模块的构建方法包括：
S211、设计空间域注意力模块结构；
S212、设计通道域注意力模块结构；
S213、设计基于FPN的Faster R-CNN结构。
进一步地，所述空间域注意力模块的构建方法包括：对输入特征图基于通道维度分别进行全局最大池化和全局平均池化，基于通道维度进行拼接，卷积降维，经过sigmoid激活函数生成空间域注意力特征图，计算公式为：
Figure 519701DEST_PATH_IMAGE001
，
其中X表示注意力模块的输入特征图，Y为输出特征图，f^(7*7)表示卷积核大小为7*7的卷积层，σ为sigmoid激活函数。
进一步地，所述通道域注意力模块的构建方法包括：将经过所述空间域注意力模块后的输出特征图，经过全局最大池化和全局平均池化，经过多层感知器，将多层感知器的输出特征图进行元素级的加和操作，经过sigmoid激活函数进行激活，生成通道域注意力特征图，计算公式为：
Figure 258200DEST_PATH_IMAGE002
，
其中X表示注意力模块的输入特征图，Y为输出特征图，MLP表示多层感知器，σ为sigmoid激活函数。
进一步地，所述S22步骤中，所述将FPN应用在Faster R-CNN网络结构的ResNets101的方法包括：基于3×3大小的滑动锚框遍历特征映射图，生成anchor boxes与Proposals，进行目标候选框预测，在提取候选框网络RPN训练过程中，与真实的标注框的交并比IOU大于0.7的目标为以人脸目标为目标的正标签，IOU小于0.3的目标则为以背景为目标的负标签；
其中，生成Proposals的方法包括：根据每个Proposals框的面积w×h大小，分别将Proposals框映射到对应的特征层Pk进行ROI Pooling特征提取，k值计算公式如下：
Figure 234246DEST_PATH_IMAGE003
（
Figure 306108DEST_PATH_IMAGE004
值为2、3、4、5），
式中k0=4，w和h为Proposals框的宽和高。
进一步地，所述将Proposals框映射到对应的特征层Pk进行ROI Pooling特征提取的方法包括：利用分类损失函数进行背景和人脸目标的分类，确定proposal区域是否为人脸；利用Smooth L1loss完成边框回归操作后获得人脸目标的定位信息，对网络模型进行训练，计算损失函数，并进行整个网络的参数更新，最终得到训练模型，训练损失包括两个部分，即分类损失和回归损失，计算公式如下：
Figure 215158DEST_PATH_IMAGE005
，
式中，
Figure 97794DEST_PATH_IMAGE006
表示每一个样本的下标，
Figure 889033DEST_PATH_IMAGE007
和
Figure 764585DEST_PATH_IMAGE008
均为归一化参数，
Figure 42988DEST_PATH_IMAGE009
为权重的平衡参数。
Figure 80214DEST_PATH_IMAGE010
表示分类损失。
Figure 827591DEST_PATH_IMAGE011
表示该样本被预测为人脸的概率，
Figure 241254DEST_PATH_IMAGE012
是已标注的真实数据标签。
进一步地，所述S23步骤中，所述构建SENet注意力模块，并将SENet注意力模块嵌入所述S22步骤已经得到的网络结构中，得到金字塔注意力网络，是通过对输入特征图基于通道维度进行全局平均池化，输入一个全连接层将通道数缩减为原来的r分之一，采用ReLU激活函数对此特征图进行激活操作，输入第二个全连接层将通道数扩充回原数，经过Sigmoid函数将k层特征图的权重限制到[0，1]的范围；输出特征图的k个通道与该输出权重1×1×k相乘，从而输出包含通道域注意力信息的特征图，SENet注意力模块的计算公式如下：
Figure 875629DEST_PATH_IMAGE013
，
其中，X表示注意力模块的输入特征图，Y为输出特征图，FC表示全连接层，
Figure 83757DEST_PATH_IMAGE014
为sigmoid激活函数。
SENet注意力模块不改变特征图的分辨率大小，因此将该注意力模块分别嵌入到FPN网络的各层特征图之后，即P2、P3、P4、P5、P6之后，有助于网络筛选各层特征经过FPN后所提取到的过量特征信息，并将筛选到的关键特征传递至RPN网络，从而提高对人脸检测的精度。
进一步地，采用人脸图像数据集进行模型的训练及参数优化，最后进行模型测试。
与现有技术相比，本发明的有益效果是：
（1）通过采用混合注意力模块筛除conv1所提取到的过量特征信息，提炼关键检测特征，并将该关键特征传递至后面的层，从而提高对人脸识别检测的准确率。
（2）通过建立基于FPN的Faster RCNN网络，多尺度特征融合可提取丰富的细节信息，从而增强了网络对人脸特征的表征能力。
（3）通过构建SENet注意力模块，并将SENet注意力模块嵌入FPN网络，得到金字塔注意力网络，有助于网络筛选各层特征经过FPN后所提取到的过量特征信息，并将关键特征传递至RPN网络，从而提高人脸识别检测精度。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。
在附图中：
图1为本发明一种基于混合注意力机制的人脸识别检测方法的流程图；
图2为本发明的算法流程图；
图3为本发明卷积神经网络的结构示意图；
图4为本发明实施例S2步骤的流程示意图；
图5为本发明实施例混合注意力模块的构建方法流程图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
本发明实施例提供了一种基于混合注意力机制的人脸识别检测方法，参阅图2所示算法流程图；参阅图1所示，包括以下步骤：
S1、构建人脸目标图像数据集；
首先利用网络爬虫获取包含人脸的图像数据并进行预处理；其次采用Labellmg软件进行图像标注，标签类别为‘face’，得到xml格式的标注文件；接下来，采用仿射变换对人脸图像进行数量扩充，包括随机裁剪、翻转等，从而得到人脸图像数据集；最后，将数据集以7:3比例划分，图像数据集与xml标注文件做成VOC2007数据集格式并生成trainval、train、val和test的txt文件；
所述构建人脸目标图像数据集，采用Labellmg软件进行图像标注，采用仿射变换对人脸图像进行数量扩充。
S2、采用所述人脸目标图像数据集的训练集和验证集训练构建的深度神经网络模型；
S3、将人脸目标图像数据集中的测试集用于训练好的深度神经网络模型中以检测图像中的人类面部目标；
其中，所述S2步骤，参阅图4所示，包括以下步骤：
S21、构建混合注意力模块，并嵌入Faster R-CNN网络结构的ResNet101中；
所述S21步骤中，参阅图3所示，所述ResNet101由五个卷积模块conv1、conv2、conv3、conv4、conv5组成；采用其中前4个模块的输出特征图，表示为C2、C3、C4、C5，分别经过卷积核1×1的卷积层，采用多尺度特征融合方式，将上一层低分辨率强语义信息的特征图通过2倍缩放上采样得到与下层同尺寸的特征图，C2至C5特征图的分辨率大小依次为：256×256×256、128×128×512、64×64×1024、32×32×2048；
本实施例中，将C2、C3、C4、C5分别经过卷积核1×1的卷积层，该卷积层目的是不改变特征图大小，并统一通道数为256，采用多尺度特征融合方式，将上一层低分辨率强语义信息的特征图通过2倍缩放上采样得到与下层同尺寸的特征图，并与下层的高分辨率特征图进行元素级相加，从而得到P2、P3、P4层。将P2、P3、P4层经过3×3卷积，得到最终的P2、P3、P4层。P5层为直接得到，无需上采样和3×3卷积操作。P6层在P5层基础上通过下采样所得，大小为16×16×256；
构建混合注意力模块，并将其嵌入conv1与conv2之间，以便使后续特征图都包含注意力模块所感知的关键信息；以本发明实施例输入含人脸图像512×512为例，如图3所示，其经过conv1后输出特征图尺寸为256×256，该特征图作为混合注意力模块的输入，展示混合注意力模块的设计过程：首先设计空间域注意力模块结构，将经过conv1后输出的特征图作为本模块的输入特征图；
S22、将FPN应用在Faster R-CNN网络结构的ResNets101中；
所述S22步骤中，所述FPN网络结构为一个3×3卷积层和两个输出支路：第一个支路输出候选区域为目标的可能性概率，第二个支路输出候选区域边框bounding box的左上角坐标和宽高；
S23、构建SENet注意力模块，并将SENet注意力模块嵌入所述S22步骤已经得到的网络结构中，得到金字塔注意力网络；
S24、采用人脸目标图像数据集进行金字塔注意力网络训练及参数优化，直至达到人脸识别检测的准确率参数。
所述混合注意力模块的构建方法，参见图5所示，包括：
S211、设计空间域注意力模块结构；
S212、设计通道域注意力模块结构；
S213、设计基于FPN的Faster R-CNN结构。
所述空间域注意力模块的构建方法包括：对输入特征图基于通道维度分别进行全局最大池化和全局平均池化，基于通道维度进行拼接，卷积降维，经过sigmoid激活函数生成空间域注意力特征图，计算公式为：
Figure 52850DEST_PATH_IMAGE015
，
其中X表示注意力模块的输入特征图，Y为输出特征图，f^(7*7)表示卷积核大小为7*7的卷积层，σ为sigmoid激活函数；
优选地，参阅图3所示，将经过conv1后输出的特征图作为本模块的输入特征图。首先对该特征图基于通道维度分别进行全局最大池化操作和全局平均池化操作，得到两个尺寸相同的特征图。然后将两个输入特征图基于通道维度进行拼接操作。然后输入卷积层进行卷积操作，卷积降维后特征图通道数为1，再经过sigmoid激活函数生成空间域注意力特征图。最后将输出特征图和经过conv1后输出的特征图进行元素级相乘，从而输出特征图。
所述通道域注意力模块的构建方法包括：将经过所述空间域注意力模块后的输出特征图，经过全局最大池化和全局平均池化，经过多层感知器，将多层感知器的输出特征图进行元素级的加和操作，经过sigmoid激活函数进行激活，生成通道域注意力特征图，计算公式为：
Figure 270204DEST_PATH_IMAGE002
，
其中X表示注意力模块的输入特征图，Y为输出特征图，MLP表示多层感知器，σ为sigmoid激活函数。
将经过空间域注意力模块后输出的特征图，分别通过全局最大池化层和全局平均池化层进行池化操作，然后分别经过所设计的多层感知器。将多层感知器输出的两个特征图进行元素级的加和操作，再输入到sigmoid激活层进行激活，生成最终的通道域注意力特征图。将生成的通道域注意力特征图和经过空间域注意力模块后输出的特征图进行元素级的乘法操作，从而输出包含注意力感知信息的特征图。
所述S22步骤中，所述将FPN应用在Faster R-CNN网络结构的ResNets101的方法包括：采用基于3×3大小的滑动锚框遍历特征映射图，生成anchor boxes与Proposals，进行目标候选框预测，在提取候选框网络RPN训练过程中，与真实的标注框的交并比IOU大于0.7的目标为以人脸目标为目标的正标签，IOU小于0.3的目标则为以背景为目标的负标签；
其中，生成Proposals的方法包括：根据每个Proposals框的面积w×h大小，分别将Proposals框映射到对应的特征层Pk进行ROI Pooling特征提取，k值计算公式如下：
Figure 994971DEST_PATH_IMAGE003
（
Figure 639579DEST_PATH_IMAGE004
值为2、3、4、5），
式中k0=4，w和h为Proposals框的宽和高。
所述将Proposals框映射到对应的特征层Pk进行ROI Pooling特征提取的方法包括：利用分类损失函数进行背景和人脸目标的分类，确定proposal区域是否为人脸；利用Smooth L1 Loss完成边框回归操作后获得人脸目标的定位信息，对网络模型进行训练，计算损失函数，并进行整个网络的参数更新，最终得到训练模型，训练损失包括两个部分，即分类损失和回归损失，计算公式如下：
Figure 95968DEST_PATH_IMAGE005
，
式中，
Figure 851435DEST_PATH_IMAGE006
表示每一个样本的下标，
Figure 460402DEST_PATH_IMAGE007
和
Figure 275911DEST_PATH_IMAGE008
均为归一化参数，
Figure 954017DEST_PATH_IMAGE009
为权重的平衡参数。
Figure 513174DEST_PATH_IMAGE010
表示分类损失。
Figure 475183DEST_PATH_IMAGE011
表示该样本被预测为人脸的概率，
Figure 727173DEST_PATH_IMAGE012
是已标注的真实数据标签。
优选地，将所得Proposals输入ROI Pooling层进行特征提取，均输出统一大小为7×7的Proposals特征图，以便于下一步输入全连接层。各特征图样本经过两层1024维度的全连接层后，通过Faster RCNN的两个检测分支分别计算：利用分类损失函数进行背景和人脸目标的分类，确定proposal区域是否为人脸；利用Smooth L1 Loss完成边框回归操作后获得人脸目标的定位信息。对网络模型进行训练，计算损失函数，并进行整个网络的参数更新，最终得到训练模型。
所述S23步骤中，所述构建SENet注意力模块，并将SENet注意力模块嵌入所述S22步骤已经得到的网络结构中，得到金字塔注意力网络，通过对输入特征图基于通道维度进行全局平均池化，输入一个全连接层将通道数缩减为原来的r分之一，采用ReLU激活函数对此特征图进行激活操作，输入第二个全连接层将通道数扩充回原数，经过Sigmoid函数将k层特征图的权重限制到[0，1]的范围；输出特征图的k个通道与该输出权重1×1×k相乘，从而输出包含通道域注意力信息的特征图，SENet注意力模块的计算公式如下：
Figure 158154DEST_PATH_IMAGE016
，
其中，X表示注意力模块的输入特征图，Y为输出特征图，FC表示全连接层，
Figure 989844DEST_PATH_IMAGE014
为sigmoid激活函数。
SENet注意力模块不改变特征图的分辨率大小，因此将该注意力模块分别嵌入到FPN网络的各层特征图之后，即P2、P3、P4、P5、P6之后，有助于网络筛选各层特征经过FPN后所提取到的过量特征信息，并将筛选到的关键特征传递至RPN网络，从而提高对人脸检测的精度；
优选地，首先进行SENet注意力模块的构建，以本发明实施例输入含人脸图像512×512为例，如图3所示，其经过P2后输出特征图尺寸为128×128，通道数为256，该特征图作为SENet注意力模块的输入，展示SENet注意力模块的设计过程：将经过P2后输出的特征图（尺寸为128×128×256）作为本模块的输入特征图，首先对该特征图基于通道维度进行全局平均池化操作，得到尺寸为1×1×256的特征图。然后将该特征图输入一个全连接层，该全连接层的作用是将尺寸为1×1×256的特征图的通道数缩减为原来的r分之一，减少全连接层的计算量，即输出尺寸为1×1×256/r的特征图。采用ReLU激活函数对此特征图进行激活操作后，再次采用第二个全连接层将特征图从1×1×256/r扩充为1×1×256大小，最终经过Sigmoid函数将256层特征图的权重限制到[0，1]的范围。经过P2后输出特征图的256个通道与该输出权重1×1×256相乘，从而输出包含通道域注意力信息的特征图。
SENet注意力模块不改变特征图的分辨率大小，因此如图3所示，将SENet注意力模块分别嵌入到FPN网络的各层特征图之后，即P2、P3、P4、P5、P6之后，有助于网络筛选各层特征经过FPN后所提取到的过量特征信息，并将筛选到的关键特征传递至RPN网络，从而提高对人脸检测的精度。
（4）在人脸数据库的训练集及验证集上对以上步骤所得到的深度神经网络进行端对端训练，对于每一张输入神经网络的图片，执行前向传播及反向传播步骤，基于损失函数L（{pi }，{ti }）更新模型内部参数，得到人脸检测模型。
采用人脸图像数据集进行模型的训练及参数优化，最后进行模型测试；
采用人脸数据集的测试集作为测试实例，输入到训练好的深度神经网络模型中，检测图像的人类面部目标，具体过程如下：
（1）输入一组待测试的人脸图像，限制输入图最大边长为512，经过ResNet网络和FPN网络的特征提取后，通过RPN得到图中400个候选目标区域Proposals；
（2）ROI Pooling以原图特征图和各个候选目标区域为输入，提取候选目标区域的特征图并输出统一尺寸的7×7特征图，用于下一步检测框回归及目标类别是否为人脸；
（3）Proposal的特征信息经过全连接层和边框回归与类别判定得到各人脸目标检测框所在精确的矩形位置信息。最终在原始图像中标出所有被标记为人脸目标的外接矩形；
（4）进行结果评测所用指标为平均精度AP及平均精度均值mAP。真反例(TureNegative, TN)：被判定为负样本，事实上也是负样本；真正例(Ture Positve, TP)：被判定为正样本，事实上也是正样本；假反例(False Negative, FN)：被判定为负样本，但实为正样本；假正例(False Positive, FP)：被判定为正样本，但实为负样本。召回率(Recall)=TP/(TP+FN)，准确率(Precision)=TP/(TP+FP)，Precision-Recall(P-R)曲线为以Precision和Recall作为纵、横轴坐标的二维曲线。平均精度AP为每个类别对应的P-R曲线围起来的面积，平均精度均值mAP为每个类别AP值的平均值。
采用人脸图像数据集进行模型的训练及参数优化，最后进行模型测试。
与现有技术相比，本发明的有益效果是：
（1）通过采用混合注意力模块筛除conv1所提取到的过量特征信息，提炼关键检测特征，并将该关键特征传递至后面的层，从而提高对人脸识别检测的准确率；
（2）通过建立基于FPN的Faster RCNN网络，多尺度特征融合可提取丰富的细节信息，从而增强了网络对人脸特征的表征能力；
（3）通过构建SENet注意力模块，并将SENet注意力模块嵌入FPN网络，得到金字塔注意力网络，有助于网络筛选各层特征经过FPN后所提取到的过量特征信息，并将关键特征传递至RPN网络，从而提高人脸识别检测精度。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
以上所述仅为本发明的优选实施例，并不用于限制本发明；对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于混合注意力机制的人脸识别检测方法，其特征在于，包括以下步骤：
S1、构建人脸目标图像数据集；
S2、采用所述人脸目标图像数据集的训练集和验证集训练构建的深度神经网络模型；
S3、将人脸目标图像数据集中的测试集用于训练好的深度神经网络模型中以检测图像中的人类面部目标；
其中，所述S2步骤，包括以下步骤：
S21、构建混合注意力模块，并嵌入Faster R-CNN网络结构的ResNet101中；
S22、将FPN应用在Faster R-CNN网络结构的ResNets101中；
S23、构建SENet注意力模块，并将SENet注意力模块嵌入所述S22步骤已经得到的网络结构中，得到金字塔注意力网络；
S24、采用人脸目标图像数据集进行金字塔注意力网络的训练及参数优化，直至达到人脸识别检测的准确率参数。
2.根据权利要求1所述的人脸识别检测方法，其特征在于，所述S1步骤中，所述构建人脸目标图像数据集的方法包括：先采用Labellmg软件进行图像标注，然后采用仿射变换对人脸图像进行数量扩充。
3.根据权利要求1所述的人脸识别检测方法，其特征在于，所述S21步骤中，所述ResNet101由五个卷积模块conv1、conv2、conv3、conv4、conv5组成；采用其中前4个模块的输出特征图，表示为C2、C3、C4、C5，分别经过卷积核1×1的卷积层，采用多尺度特征融合方式，将上一层低分辨率强语义信息的特征图通过2倍缩放上采样得到与下层同尺寸的特征图，C2至C5特征图的分辨率大小依次为：256×256×256、128×128×512、64×64×1024、32×32×2048。
4.根据权利要求1所述的人脸识别检测方法，其特征在于，所述S22步骤中，所述FPN网络结构为一个3×3卷积层和两个输出支路：第一个输出支路输出候选区域为目标的可能性概率，第二个输出支路输出候选区域边框bounding box的左上角坐标和宽高。
5.根据权利要求1所述的人脸识别检测方法，其特征在于，所述混合注意力模块的构建方法包括：
S211、设计空间域注意力模块结构；
S212、设计通道域注意力模块结构；
S213、设计基于FPN的Faster R-CNN结构。
6.根据权利要求5所述的人脸识别检测方法，其特征在于，所述空间域注意力模块的构建方法包括：对输入特征图基于通道维度分别进行全局最大池化和全局平均池化，基于通道维度进行拼接，卷积降维，经过sigmoid激活函数生成空间域注意力特征图，计算公式为：
Figure 261742DEST_PATH_IMAGE002
，
其中X表示注意力模块的输入特征图，Y为输出特征图，f^(7*7)表示卷积核大小为7*7的卷积层，σ为sigmoid激活函数。
7.根据权利要求5所述的人脸识别检测方法，其特征在于，所述通道域注意力模块的构建方法包括：将经过所述空间域注意力模块后的输出特征图，经过全局最大池化和全局平均池化，经过多层感知器，将多层感知器的输出特征图进行元素级的加和操作，经过sigmoid激活函数进行激活，生成通道域注意力特征图，计算公式为：
Figure 419054DEST_PATH_IMAGE004
，
其中X表示注意力模块的输入特征图，Y为输出特征图，MLP表示多层感知器，σ为sigmoid激活函数。
8.根据权利要求1所述的人脸识别检测方法，其特征在于，所述S22步骤中，所述将FPN应用在Faster R-CNN网络结构的ResNets101的方法包括：基于3×3大小的滑动锚框遍历特征映射图，生成anchor boxes与Proposals，进行目标候选框预测，在提取候选框网络RPN训练过程中，与真实的标注框的交并比IOU大于0.7的目标为以人脸目标为目标的正标签，IOU小于0.3的目标则为以背景为目标的负标签；
其中，生成Proposals的方法包括：根据每个Proposals框的面积w×h大小，分别将Proposals框映射到对应的特征层Pk进进行ROI Pooling特征提取，k值计算公式如下：
Figure DEST_PATH_IMAGE005
（
Figure 849249DEST_PATH_IMAGE006
值为2、3、4、5），
式中k0=4，w和h为Proposals框的宽和高。
9.根据权利要求8所述的人脸识别检测方法，其特征在于，所述将Proposals框映射到对应的特征层Pk进进行ROI Pooling特征提取的方法包括：利用分类损失函数进行背景和人脸目标的分类，确定proposal区域是否为人脸；利用Smooth L1loss完成边框回归操作后获得人脸目标的定位信息，对网络模型进行训练，计算损失函数，并进行整个网络的参数更新，最终得到训练模型，训练损失包括两个部分，即分类损失和回归损失，计算公式如下：
Figure DEST_PATH_IMAGE007
，
式中，
Figure 281367DEST_PATH_IMAGE008
表示每一个样本的下标，
Figure DEST_PATH_IMAGE009
和
Figure 250591DEST_PATH_IMAGE010
均为归一化参数，
Figure DEST_PATH_IMAGE011
为权重的平衡参数,
Figure 109963DEST_PATH_IMAGE012
表示分类损失,
Figure DEST_PATH_IMAGE013
表示该样本被预测为人脸的概率，
Figure 30383DEST_PATH_IMAGE014
是已标注的真实数据标签。
10.根据权利要求1所述的人脸识别检测方法，其特征在于，所述S23步骤中，所述构建SENet注意力模块，并将SENet注意力模块嵌入所述S22步骤已经得到的网络结构中，得到金字塔注意力网络，是通过对输入特征图基于通道维度进行全局平均池化，输入一个全连接层将通道数缩减为原来的r分之一，采用ReLU激活函数对此特征图进行激活操作，输入第二个全连接层将通道数扩充回原数，经过Sigmoid函数将k层特征图的权重限制到[0，1]的范围；输出特征图的k个通道与该输出权重1×1×k相乘，从而输出包含通道域注意力信息的特征图，SENet注意力模块的计算公式如下：
Figure 735034DEST_PATH_IMAGE016
，
其中，X表示注意力模块的输入特征图，Y为输出特征图，FC表示全连接层，
Figure DEST_PATH_IMAGE017
为sigmoid激活函数。
CN202011392413.0A 2020-12-03 2020-12-03 一种基于混合注意力机制的人脸识别检测方法 Active CN112200161B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011392413.0A CN112200161B (zh) 2020-12-03 2020-12-03 一种基于混合注意力机制的人脸识别检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011392413.0A CN112200161B (zh) 2020-12-03 2020-12-03 一种基于混合注意力机制的人脸识别检测方法

Publications (2)

Publication Number Publication Date
CN112200161A true CN112200161A (zh) 2021-01-08
CN112200161B CN112200161B (zh) 2021-03-02

Family

ID=74033659

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011392413.0A Active CN112200161B (zh) 2020-12-03 2020-12-03 一种基于混合注意力机制的人脸识别检测方法

Country Status (1)

Country Link
CN (1) CN112200161B (zh)

Cited By (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112818862A (zh) * 2021-02-02 2021-05-18 南京邮电大学 基于多源线索与混合注意力的人脸篡改检测方法与系统
CN112926506A (zh) * 2021-03-24 2021-06-08 重庆邮电大学 一种基于卷积神经网络的非受控人脸检测方法及系统
CN112949841A (zh) * 2021-05-13 2021-06-11 德鲁动力科技(成都)有限公司 一种基于Attention的CNN神经网络的训练方法
CN113052006A (zh) * 2021-02-19 2021-06-29 中南大学 一种基于卷积神经网络的图像目标检测方法，系统及可读存储介质
CN113095185A (zh) * 2021-03-31 2021-07-09 新疆爱华盈通信息技术有限公司 人脸表情识别方法、装置、设备及存储介质
CN113095265A (zh) * 2021-04-21 2021-07-09 西安电子科技大学 基于特征融合和注意力的真菌目标检测方法
CN113128564A (zh) * 2021-03-23 2021-07-16 武汉泰沃滋信息技术有限公司 一种基于深度学习的复杂背景下典型目标检测方法及系统
CN113158862A (zh) * 2021-04-13 2021-07-23 哈尔滨工业大学（深圳） 一种基于多任务的轻量级实时人脸检测方法
CN113158738A (zh) * 2021-01-28 2021-07-23 中南大学 一种基于注意力机制的港口环境下目标检测方法、系统、终端及可读存储介质
CN113222064A (zh) * 2021-05-31 2021-08-06 苏州晗林信息技术发展有限公司 一种图像目标对象实时检测方法、系统、终端及存储介质
CN113239866A (zh) * 2021-05-31 2021-08-10 西安电子科技大学 一种时空特征融合与样本注意增强的人脸识别方法及系统
CN113255759A (zh) * 2021-05-20 2021-08-13 广州广电运通金融电子股份有限公司 基于注意力机制的目标内特征检测系统、方法和存储介质
CN113392696A (zh) * 2021-04-06 2021-09-14 四川大学 基于分数阶微积分的智慧法庭监控人脸识别系统及方法
CN113435376A (zh) * 2021-07-05 2021-09-24 宝鸡文理学院 基于离散小波变换的双向特征融合深度卷积神经网络构建方法
CN113537013A (zh) * 2021-07-06 2021-10-22 哈尔滨理工大学 一种多尺度自注意力特征融合的行人检测方法
CN113591795A (zh) * 2021-08-19 2021-11-02 西南石油大学 一种基于混合注意力特征金字塔结构的轻量化人脸检测方法和系统
CN113610144A (zh) * 2021-08-02 2021-11-05 合肥市正茂科技有限公司 一种基于多分支局部注意力网络的车辆分类方法
CN113627258A (zh) * 2021-07-12 2021-11-09 河南理工大学 一种苹果叶部病理检测方法
CN113705342A (zh) * 2021-07-16 2021-11-26 国家石油天然气管网集团有限公司 一种基于人体上下文注意力机制的人脸检测方法
CN113743402A (zh) * 2021-08-31 2021-12-03 华动泰越科技有限责任公司 狗脸检测方法及装置
CN113743521A (zh) * 2021-09-10 2021-12-03 中国科学院软件研究所 一种基于多尺度上下文感知的目标检测方法
CN113822372A (zh) * 2021-10-20 2021-12-21 中国民航大学 基于YOLOv5神经网络的无人机检测方法
CN113850883A (zh) * 2021-10-14 2021-12-28 北京航空航天大学 基于注意力机制的磁粒子成像重建方法
CN113902958A (zh) * 2021-10-12 2022-01-07 广东电网有限责任公司广州供电局 基于锚点自适应的基建现场人员检测方法
CN114067186A (zh) * 2021-09-26 2022-02-18 北京建筑大学 一种行人检测方法、装置、电子设备及存储介质
CN114121269A (zh) * 2022-01-26 2022-03-01 北京鹰之眼智能健康科技有限公司 一种基于人脸特征检测的中医面诊辅助诊断方法、装置和存储介质
CN114202672A (zh) * 2021-12-09 2022-03-18 南京理工大学 一种基于注意力机制的小目标检测方法
CN114267069A (zh) * 2021-12-25 2022-04-01 福州大学 基于数据泛化与特征增强的人脸检测方法
CN114419503A (zh) * 2022-01-14 2022-04-29 北京商海文天科技发展有限公司 一种基于视频数据的无照游商游贩分析方法
CN114758424A (zh) * 2022-06-14 2022-07-15 众旅联(浙江)生态科技有限公司 基于多重校验机制的智能支付设备及其支付方法
CN114863236A (zh) * 2022-05-27 2022-08-05 浙江中烟工业有限责任公司 基于双重注意力机制的图像目标检测方法
CN114943251A (zh) * 2022-05-20 2022-08-26 电子科技大学 一种基于融合注意力机制的无人机目标识别方法
CN114973386A (zh) * 2022-08-01 2022-08-30 成都市威虎科技有限公司 一种深度挖掘混合特征的工地场景人脸目标检测方法
CN114972976A (zh) * 2022-07-29 2022-08-30 之江实验室 基于频域自注意力机制的夜间目标检测、训练方法及装置
CN115115887A (zh) * 2022-07-07 2022-09-27 中国科学院合肥物质科学研究院 基于TSD-Faster RCNN的农作物害虫检测方法及其网络
CN115240240A (zh) * 2022-04-29 2022-10-25 清远蓄能发电有限公司 基于yolo网络的红外人脸识别方法及系统
CN115457360A (zh) * 2022-09-17 2022-12-09 海南大学 一种基于双注意力机制多源融合的水上目标检测方法
CN115984949A (zh) * 2023-03-21 2023-04-18 威海职业学院(威海市技术学院) 一种带有注意力机制的低质量人脸图像识别方法及设备
CN116052110A (zh) * 2023-03-28 2023-05-02 四川公路桥梁建设集团有限公司 一种路面标线缺损智能定位方法及系统
CN116563909A (zh) * 2023-03-15 2023-08-08 包头市易慧信息科技有限公司 基于融合注意力机制的视觉语义交互模块的人脸识别方法
CN116883681A (zh) * 2023-08-09 2023-10-13 北京航空航天大学 一种基于对抗生成网络的域泛化目标检测方法
CN117011724A (zh) * 2023-05-22 2023-11-07 中国人民解放军国防科技大学 一种无人机目标检测定位方法
CN117727104A (zh) * 2024-02-18 2024-03-19 厦门瑞为信息技术有限公司 基于双边注意力的近红外活体检测装置与方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110765841A (zh) * 2019-09-03 2020-02-07 上海交通大学 基于混合注意力机制的群组行人重识别系统及终端
CN110781805A (zh) * 2019-10-23 2020-02-11 上海极链网络科技有限公司 一种目标物体检测方法、装置、计算设备和介质
US10713794B1 (en) * 2017-03-16 2020-07-14 Facebook, Inc. Method and system for using machine-learning for object instance segmentation
CN111428709A (zh) * 2020-03-13 2020-07-17 平安科技（深圳）有限公司 图像处理方法、装置、计算机设备和存储介质
CN111625675A (zh) * 2020-04-12 2020-09-04 南京理工大学 基于注意力机制下特征金字塔的深度哈希图像检索方法
CN111639692A (zh) * 2020-05-25 2020-09-08 南京邮电大学 一种基于注意力机制的阴影检测方法
CN111985370A (zh) * 2020-08-10 2020-11-24 华南农业大学 一种基于改进混合注意力模块的农作物病虫害的细粒度识别方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10713794B1 (en) * 2017-03-16 2020-07-14 Facebook, Inc. Method and system for using machine-learning for object instance segmentation
CN110765841A (zh) * 2019-09-03 2020-02-07 上海交通大学 基于混合注意力机制的群组行人重识别系统及终端
CN110781805A (zh) * 2019-10-23 2020-02-11 上海极链网络科技有限公司 一种目标物体检测方法、装置、计算设备和介质
CN111428709A (zh) * 2020-03-13 2020-07-17 平安科技（深圳）有限公司 图像处理方法、装置、计算机设备和存储介质
CN111625675A (zh) * 2020-04-12 2020-09-04 南京理工大学 基于注意力机制下特征金字塔的深度哈希图像检索方法
CN111639692A (zh) * 2020-05-25 2020-09-08 南京邮电大学 一种基于注意力机制的阴影检测方法
CN111985370A (zh) * 2020-08-10 2020-11-24 华南农业大学 一种基于改进混合注意力模块的农作物病虫害的细粒度识别方法

Cited By (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113158738A (zh) * 2021-01-28 2021-07-23 中南大学 一种基于注意力机制的港口环境下目标检测方法、系统、终端及可读存储介质
CN112818862B (zh) * 2021-02-02 2022-08-26 南京邮电大学 基于多源线索与混合注意力的人脸篡改检测方法与系统
CN112818862A (zh) * 2021-02-02 2021-05-18 南京邮电大学 基于多源线索与混合注意力的人脸篡改检测方法与系统
CN113052006B (zh) * 2021-02-19 2024-05-28 中南大学 一种基于卷积神经网络的图像目标检测方法，系统及可读存储介质
CN113052006A (zh) * 2021-02-19 2021-06-29 中南大学 一种基于卷积神经网络的图像目标检测方法，系统及可读存储介质
CN113128564A (zh) * 2021-03-23 2021-07-16 武汉泰沃滋信息技术有限公司 一种基于深度学习的复杂背景下典型目标检测方法及系统
CN112926506A (zh) * 2021-03-24 2021-06-08 重庆邮电大学 一种基于卷积神经网络的非受控人脸检测方法及系统
CN112926506B (zh) * 2021-03-24 2022-08-12 重庆邮电大学 一种基于卷积神经网络的非受控人脸检测方法及系统
CN113095185A (zh) * 2021-03-31 2021-07-09 新疆爱华盈通信息技术有限公司 人脸表情识别方法、装置、设备及存储介质
CN113392696A (zh) * 2021-04-06 2021-09-14 四川大学 基于分数阶微积分的智慧法庭监控人脸识别系统及方法
CN113158862A (zh) * 2021-04-13 2021-07-23 哈尔滨工业大学（深圳） 一种基于多任务的轻量级实时人脸检测方法
CN113158862B (zh) * 2021-04-13 2023-08-22 哈尔滨工业大学（深圳） 一种基于多任务的轻量级实时人脸检测方法
CN113095265A (zh) * 2021-04-21 2021-07-09 西安电子科技大学 基于特征融合和注意力的真菌目标检测方法
CN113095265B (zh) * 2021-04-21 2023-03-24 西安电子科技大学 基于特征融合和注意力的真菌目标检测方法
CN112949841A (zh) * 2021-05-13 2021-06-11 德鲁动力科技(成都)有限公司 一种基于Attention的CNN神经网络的训练方法
CN113255759A (zh) * 2021-05-20 2021-08-13 广州广电运通金融电子股份有限公司 基于注意力机制的目标内特征检测系统、方法和存储介质
CN113255759B (zh) * 2021-05-20 2023-08-22 广州广电运通金融电子股份有限公司 基于注意力机制的目标内特征检测系统、方法和存储介质
CN113239866B (zh) * 2021-05-31 2022-12-13 西安电子科技大学 一种时空特征融合与样本注意增强的人脸识别方法及系统
CN113239866A (zh) * 2021-05-31 2021-08-10 西安电子科技大学 一种时空特征融合与样本注意增强的人脸识别方法及系统
CN113222064A (zh) * 2021-05-31 2021-08-06 苏州晗林信息技术发展有限公司 一种图像目标对象实时检测方法、系统、终端及存储介质
CN113435376A (zh) * 2021-07-05 2021-09-24 宝鸡文理学院 基于离散小波变换的双向特征融合深度卷积神经网络构建方法
CN113537013A (zh) * 2021-07-06 2021-10-22 哈尔滨理工大学 一种多尺度自注意力特征融合的行人检测方法
CN113627258A (zh) * 2021-07-12 2021-11-09 河南理工大学 一种苹果叶部病理检测方法
CN113627258B (zh) * 2021-07-12 2023-09-26 河南理工大学 一种苹果叶部病理检测方法
CN113705342A (zh) * 2021-07-16 2021-11-26 国家石油天然气管网集团有限公司 一种基于人体上下文注意力机制的人脸检测方法
CN113610144A (zh) * 2021-08-02 2021-11-05 合肥市正茂科技有限公司 一种基于多分支局部注意力网络的车辆分类方法
CN113591795B (zh) * 2021-08-19 2023-08-08 西南石油大学 一种基于混合注意力特征金字塔结构的轻量化人脸检测方法和系统
CN113591795A (zh) * 2021-08-19 2021-11-02 西南石油大学 一种基于混合注意力特征金字塔结构的轻量化人脸检测方法和系统
CN113743402A (zh) * 2021-08-31 2021-12-03 华动泰越科技有限责任公司 狗脸检测方法及装置
CN113743521A (zh) * 2021-09-10 2021-12-03 中国科学院软件研究所 一种基于多尺度上下文感知的目标检测方法
CN113743521B (zh) * 2021-09-10 2023-06-27 中国科学院软件研究所 一种基于多尺度上下文感知的目标检测方法
CN114067186B (zh) * 2021-09-26 2024-04-16 北京建筑大学 一种行人检测方法、装置、电子设备及存储介质
CN114067186A (zh) * 2021-09-26 2022-02-18 北京建筑大学 一种行人检测方法、装置、电子设备及存储介质
CN113902958A (zh) * 2021-10-12 2022-01-07 广东电网有限责任公司广州供电局 基于锚点自适应的基建现场人员检测方法
CN113850883A (zh) * 2021-10-14 2021-12-28 北京航空航天大学 基于注意力机制的磁粒子成像重建方法
CN113822372A (zh) * 2021-10-20 2021-12-21 中国民航大学 基于YOLOv5神经网络的无人机检测方法
CN114202672A (zh) * 2021-12-09 2022-03-18 南京理工大学 一种基于注意力机制的小目标检测方法
CN114267069A (zh) * 2021-12-25 2022-04-01 福州大学 基于数据泛化与特征增强的人脸检测方法
CN114267069B (zh) * 2021-12-25 2024-07-02 福州大学 基于数据泛化与特征增强的人脸检测方法
CN114419503A (zh) * 2022-01-14 2022-04-29 北京商海文天科技发展有限公司 一种基于视频数据的无照游商游贩分析方法
CN114121269A (zh) * 2022-01-26 2022-03-01 北京鹰之眼智能健康科技有限公司 一种基于人脸特征检测的中医面诊辅助诊断方法、装置和存储介质
CN114121269B (zh) * 2022-01-26 2022-07-15 北京鹰之眼智能健康科技有限公司 一种基于人脸特征检测的中医面诊辅助诊断方法、装置和存储介质
CN115240240A (zh) * 2022-04-29 2022-10-25 清远蓄能发电有限公司 基于yolo网络的红外人脸识别方法及系统
CN114943251A (zh) * 2022-05-20 2022-08-26 电子科技大学 一种基于融合注意力机制的无人机目标识别方法
CN114943251B (zh) * 2022-05-20 2023-05-02 电子科技大学 一种基于融合注意力机制的无人机目标识别方法
CN114863236B (zh) * 2022-05-27 2024-09-03 浙江中烟工业有限责任公司 基于双重注意力机制的图像目标检测方法
CN114863236A (zh) * 2022-05-27 2022-08-05 浙江中烟工业有限责任公司 基于双重注意力机制的图像目标检测方法
CN114758424B (zh) * 2022-06-14 2022-09-02 众旅联(浙江)生态科技有限公司 基于多重校验机制的智能支付设备及其支付方法
CN114758424A (zh) * 2022-06-14 2022-07-15 众旅联(浙江)生态科技有限公司 基于多重校验机制的智能支付设备及其支付方法
CN115115887A (zh) * 2022-07-07 2022-09-27 中国科学院合肥物质科学研究院 基于TSD-Faster RCNN的农作物害虫检测方法及其网络
CN115115887B (zh) * 2022-07-07 2023-09-12 中国科学院合肥物质科学研究院 基于TSD-Faster RCNN的农作物害虫检测方法及其网络
CN114972976B (zh) * 2022-07-29 2022-12-20 之江实验室 基于频域自注意力机制的夜间目标检测、训练方法及装置
CN114972976A (zh) * 2022-07-29 2022-08-30 之江实验室 基于频域自注意力机制的夜间目标检测、训练方法及装置
CN114973386B (zh) * 2022-08-01 2022-11-04 成都市威虎科技有限公司 一种深度挖掘混合特征的工地场景人脸目标检测方法
CN114973386A (zh) * 2022-08-01 2022-08-30 成都市威虎科技有限公司 一种深度挖掘混合特征的工地场景人脸目标检测方法
CN115457360A (zh) * 2022-09-17 2022-12-09 海南大学 一种基于双注意力机制多源融合的水上目标检测方法
CN116563909A (zh) * 2023-03-15 2023-08-08 包头市易慧信息科技有限公司 基于融合注意力机制的视觉语义交互模块的人脸识别方法
CN115984949B (zh) * 2023-03-21 2023-07-04 威海职业学院(威海市技术学院) 一种带有注意力机制的低质量人脸图像识别方法及设备
CN115984949A (zh) * 2023-03-21 2023-04-18 威海职业学院(威海市技术学院) 一种带有注意力机制的低质量人脸图像识别方法及设备
CN116052110A (zh) * 2023-03-28 2023-05-02 四川公路桥梁建设集团有限公司 一种路面标线缺损智能定位方法及系统
CN117011724A (zh) * 2023-05-22 2023-11-07 中国人民解放军国防科技大学 一种无人机目标检测定位方法
CN116883681B (zh) * 2023-08-09 2024-01-30 北京航空航天大学 一种基于对抗生成网络的域泛化目标检测方法
CN116883681A (zh) * 2023-08-09 2023-10-13 北京航空航天大学 一种基于对抗生成网络的域泛化目标检测方法
CN117727104A (zh) * 2024-02-18 2024-03-19 厦门瑞为信息技术有限公司 基于双边注意力的近红外活体检测装置与方法
CN117727104B (zh) * 2024-02-18 2024-05-07 厦门瑞为信息技术有限公司 基于双边注意力的近红外活体检测装置与方法

Also Published As

Publication number Publication date
CN112200161B (zh) 2021-03-02

Similar Documents

Publication Publication Date Title
CN112200161B (zh) 一种基于混合注意力机制的人脸识别检测方法
CN111080629B (zh) 一种图像拼接篡改的检测方法
CN111931684B (zh) 一种基于视频卫星数据鉴别特征的弱小目标检测方法
CN111401201B (zh) 一种基于空间金字塔注意力驱动的航拍图像多尺度目标检测方法
Molina-Cabello et al. Vehicle type detection by ensembles of convolutional neural networks operating on super resolved images
Zhang et al. CDNet: A real-time and robust crosswalk detection network on Jetson nano based on YOLOv5
CN111461039B (zh) 基于多尺度特征融合的地标识别方法
CN105160309A (zh) 基于图像形态学分割及区域生长的三车道检测方法
CN113255589B (zh) 一种基于多卷积融合网络的目标检测方法及系统
JP2022025008A (ja) テキスト行識別に基づくナンバープレート識別方法
CN112232371A (zh) 一种基于YOLOv3与文本识别的美式车牌识别方法
CN114519819B (zh) 一种基于全局上下文感知的遥感图像目标检测方法
Chen et al. Contrast limited adaptive histogram equalization for recognizing road marking at night based on YOLO models
CN113361528B (zh) 一种多尺度目标检测方法及系统
CN110659601A (zh) 基于中心点的深度全卷积网络遥感图像密集车辆检测方法
CN113239753A (zh) 基于YOLOv4改进的交通标志检测与识别方法
CN117152414A (zh) 一种基于尺度注意力辅助学习方法的目标检测方法及系统
CN115376019A (zh) 一种异源遥感影像对象级变化检测方法
Yu et al. SignHRNet: Street-level traffic signs recognition with an attentive semi-anchoring guided high-resolution network
CN117911697A (zh) 基于大模型分割的高光谱目标跟踪方法、系统、介质和设备
Dong et al. Intelligent pixel-level pavement marking detection using 2D laser pavement images
Valiente et al. Robust perception and visual understanding of traffic signs in the wild
CN112418207A (zh) 一种基于自注意力蒸馏的弱监督文字检测方法
CN116935249A (zh) 一种无人机场景下三维特征增强的小目标检测方法
CN114494893B (zh) 基于语义重用上下文特征金字塔的遥感图像特征提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A facial recognition detection method based on mixed attention mechanism

Granted publication date: 20210302

Pledgee: Beijing technology intellectual property financing Company limited by guarantee

Pledgor: BEIJING TELECOMMUNICATION YITONG INFORMATION TECHNOLOGY Co.,Ltd.

Registration number: Y2024990000068

PE01 Entry into force of the registration of the contract for pledge of patent right
PC01 Cancellation of the registration of the contract for pledge of patent right

Granted publication date: 20210302

Pledgee: Beijing technology intellectual property financing Company limited by guarantee

Pledgor: BEIJING TELECOMMUNICATION YITONG INFORMATION TECHNOLOGY Co.,Ltd.

Registration number: Y2024990000068

PC01 Cancellation of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A facial recognition detection method based on hybrid attention mechanism

Granted publication date: 20210302

Pledgee: Beijing technology intellectual property financing Company limited by guarantee

Pledgor: BEIJING TELECOMMUNICATION YITONG INFORMATION TECHNOLOGY Co.,Ltd.

Registration number: Y2024990000218

PE01 Entry into force of the registration of the contract for pledge of patent right