CN109670429B - 一种基于实例分割的监控视频多目标人脸检测方法及系统 - Google Patents

一种基于实例分割的监控视频多目标人脸检测方法及系统 Download PDF

Info

Publication number
CN109670429B
CN109670429B CN201811504897.6A CN201811504897A CN109670429B CN 109670429 B CN109670429 B CN 109670429B CN 201811504897 A CN201811504897 A CN 201811504897A CN 109670429 B CN109670429 B CN 109670429B
Authority
CN
China
Prior art keywords
image
face
face detection
detection system
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811504897.6A
Other languages
English (en)
Other versions
CN109670429A (zh
Inventor
林凯瀚
赵慧民
吕巨建
詹瑾
陈荣军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Polytechnic Normal University
Original Assignee
Guangdong Polytechnic Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Polytechnic Normal University filed Critical Guangdong Polytechnic Normal University
Priority to CN201811504897.6A priority Critical patent/CN109670429B/zh
Publication of CN109670429A publication Critical patent/CN109670429A/zh
Application granted granted Critical
Publication of CN109670429B publication Critical patent/CN109670429B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G06V40/173—Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于实例分割的监控视频多目标人脸检测方法及系统，其中，所述方法包括：采集待训练的人脸图像数据集，基于标注工具对人脸图像数据集进行标注，获取训练数据集；基于监控设备条件设置用于训练人脸检测系统的模型参数；基于标记后的人脸图像数据集和模型参数对所述人脸检测系统进行训练，获取训练后的人脸检测系统；将监控视频中的每一帧图像输入训练后的人脸检测系统中，对输入的每一帧图像进行多目标人脸检测，获取检测结果。在本发明实施例中，提高了对人脸目标图像的识别准确率。

Description

一种基于实例分割的监控视频多目标人脸检测方法及系统
技术领域
本发明涉及多目标人脸检测技术领域，尤其涉及一种基于实例分割的监控视频多目标人脸检测方法及系统。
背景技术
随着科技的迅速发展，生物特征(人脸、指纹、虹膜等)检测识别技术被广泛应用于安防监控、身份认证、信息安全等领域，其中多目标人脸检测技术是生物特征检测识别技术领域的一个主流研究方向；在安防监控领域，有文献表明，专业人员在监视两个监视画面的情况下，22分钟后将会错过95％的监控画面中的行为；而多目标人脸检测技术在安防监控的应用可以达到解放人力、提高检测准确率的效果；此外，通过多目标人脸检测技术检测到的人脸图像，可通过图像处理技术(如：跟踪、重构、识别等)，从监控视频中获得更为重要的信息；因此，多目标人脸检测技术在安防监控领域有很好的应用价值。
现阶段的多目标人脸检测技术主要包括基于传统机器学习算法的人脸检测方法和基于深度学习的人脸检测方法；基于传统机器学习的人脸检测算法多是基于滑动窗口的框架或是根据特征点进行匹配，具有明显的速度优势；而基于深度学习的人脸检测方法主要是利用卷积神经网络进行特征提取，在准确率及多目标检测方面具有很好的实现效果，并且相对于传统的机器学习算法能够以较少的时间花费换取大幅度的准确率提升，因此基于深度学习的人脸检测算法已成为多目标人脸检测的主流研究方向。
现有的多目标人脸检测算法主要实现了人脸的检测及人脸目标框的定位，其提取的人脸目标特征维度大，空间量化较为粗糙，无法准确定位，具有一定的背景噪声，不利于进一步的图像处理，导致部分高效、实用的图像处理技术(如：人脸图像超分辨率重构、人脸图像矫正等)在监控视频上的应用难以实现。因此，急需一种面向监控视频的多目标人脸检测分割方法。
发明内容
本发明的目的在于克服现有技术的不足，本发明提供了一种基于实例分割的监控视频多目标人脸检测方法及系统，减少训练时间，提高了对人脸目标图像的识别准确率，能够在复杂的监控画面上获取精确的人脸信息，将为监控视频的人脸图像超分辨率重构、人脸图像矫正等技术提供了一种新思路。
为了解决上述技术问题，本发明实施例提供了一种基于实例分割的监控视频多目标人脸检测方法，所述方法包括：
采集待训练的人脸图像数据集，基于标注工具对人脸图像数据集进行标注，获取训练数据集；
基于监控设备条件设置用于训练人脸检测系统的模型参数；
基于标记后的人脸图像数据集和模型参数对所述人脸检测系统进行训练，获取训练后的人脸检测系统；
将监控视频中的每一帧图像输入训练后的人脸检测系统中，对输入的每一帧图像进行多目标人脸检测，获取检测结果。
可选的，所述基于标注工具对人脸图像数据集进行标注，包括：
基于最近邻域差值算法将所述人脸图像数据集中的图像放缩至统一的尺寸；
基于所述标注工具对尺寸统一的人脸图像数据集中绘出人脸图像的二值掩码和目标的类别进行标注，获取标注人脸图像数据集；
将所述人脸图像数据集保存至Image文件，将所述标注人脸图像数据集保存至JSON文件中；所述JSON文件为标注文件信息的存储格式文件，所述JSON文件包括图像的尺寸信息、各点的位置信息和标签信息。
可选的，所述基于监控设备条件设置用于训练人脸检测系统的模型参数，包括：
设置模型图像规格大小，使所述模型图像与所述人脸图像数据集中的图像大小相同；
基于监控设备条件设置GPU数目，所述人脸检测系统的训练类别标签、迭代次数和学习率；
设置训练数据集的路径，将训练数据集导入待训练的人脸检测系统。
可选的，所述基于标记后的人脸图像数据集和模型参数对所述人脸检测系统进行训练，获取训练后的人脸检测系统，包括：
基于COCO物体检测数据集预训练所述人脸检测系统，对所述人脸检测系统进行泛化，初始化所述人脸检测系统的系统参数；
将所述训练数据集输入所述泛化的人脸检测系统；
基于卷积神经网络对输入的训练数据集中的每一张图像进行特征提取，获取特征图像；
基于区域建议网络对所述特征图像生成候选区域，获取候选区域特征图像；
对候选区域特征图像进行候选区域匹配，获得固定尺寸的特征图像；
将所述固定尺寸的特征图像输入分类分支和二值掩码分支，进行人脸图像的目标框定位、分类并描绘出对应的二值掩码，获得特征图像中人脸图像的目标框和二值掩码；
根据所述特征图像中人脸图像的目标框和二值掩码进行掩码占比计算，获取占比结果；
对每个候选区域设置损失函数；
基于所述模型参数对所述人脸检测系统进行迭代训练，并根据训练过程调整学习率和迭代次数，获取训练后的人脸检测系统。
可选的，所述对候选区域特征图像进行候选区域匹配，获得固定尺寸的特征图像，包括：
基于双线差值算法对候选区域特征图像进行候选区域匹配，获得固定尺寸的特征图像。
可选的，所述对每个候选区域设置损失函数的损失函数公式为：
L＝Lcls+Lbox+Lmask；
其中，Lcls表示分类的损失值，Lbox表示定位框的损失值，Lmask表示二值掩码的损失值。
可选的，所述将监控视频中的每一帧图像输入训练后的人脸检测系统中，对输入的每一帧图像进行多目标人脸检测，获取检测结果，包括：
将监控视频中的每一帧图像输入训练后的人脸检测系统中；
基于卷积神经网络对输入的监控视频中的每一帧图像进行特征提取，获取监控特征图像；
基于区域建议网络对所述监控特征图像生成候选区域，获取候选区域监控特征图像；
对候选区域监控特征图像进行候选区域匹配，从所述候选区域监控特征图像中提取固定尺寸的监控特征图像；
将所述固定尺寸的监控特征图像输入分类分支和二值掩码分支，进行人脸图像的目标框定位、分类并描绘出对应的二值掩码，获得监控图像特征中人脸图像的目标框和二值掩码；
基于所述监控图像特征中人脸图像的目标框和二值掩码进行多目标人脸检测，获取检测结果。
可选的，所述基于所述监控图像特征中人脸图像的目标框和二值掩码进行多目标人脸检测，获取检测结果，包括：
根据所述监控图像特征中人脸图像的目标框和二值掩码进行掩码占比计算，获取计算结果；
判断所述计算结果是否大于或等于预设阈值，若是，则检测到的监控图像为人脸目标图像；若否，则检测到的监控图像为非人脸目标图像；
输出检测结果。
另外，本发明实施例还提供了一种基于实例分割的监控视频多目标人脸检测系统，所述系统包括：
训练数据获取模块：用于采集待训练的人脸图像数据集，基于标注工具对人脸图像数据集进行标注，获取训练数据集；
参数设置模块：用于基于监控设备条件设置用于训练人脸检测系统的模型参数；
训练模块：用于基于标记后的人脸图像数据集和模型参数对所述人脸检测系统进行训练，获取训练后的人脸检测系统；
检测模块：用于将监控视频中的每一帧图像输入训练后的人脸检测系统中，对输入的每一帧图像进行多目标人脸检测，获取检测结果。
在本发明实施例中，提高了识别精度，并使多目标人脸检测后图像像素点定位精准度达到像素级，从而满足了实例分割技术对像素点精准度的要求；可以对监控视频的多目标人脸图像进行实例分割，画出人脸二值掩码，将人脸图像与背景图像分割开，从而减少背景噪声的干扰，能够在复杂的监控画面上获取精确的人脸信息；通过MOB(Mask ofbounding box,掩码占比)算法，进行了预测结果的筛选，提高了识别准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见的，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本发明实施例中的基于实例分割的监控视频多目标人脸检测方法的流程示意图；
图2是本发明实施例中的检测算法流程图；
图3是本发明实施例中的区域建议网络的流程示意图；
图4是本发明实施例中的候选区域匹配的流程示意图；
图5是本发明实施例中的双线性插值的流程示意图；
图6是本发明实施例中的基于实例分割的监控视频多目标人脸检测系统的结构组成示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
实施例
请参阅图1，图1是本发明实施例中的基于实例分割的监控视频多目标人脸检测方法的流程示意图。
如图1所示，一种基于实例分割的监控视频多目标人脸检测方法，所述方法包括：
S11：采集待训练的人脸图像数据集，基于标注工具对人脸图像数据集进行标注，获取训练数据集；
在本发明具体实施过程中，所述基于标注工具对人脸图像数据集进行标注，包括：基于最近邻域差值算法将所述人脸图像数据集中的图像放缩至统一的尺寸；基于所述标注工具对尺寸统一的人脸图像数据集中绘出人脸图像的二值掩码和目标的类别进行标注，获取标注人脸图像数据集；将所述人脸图像数据集保存至Image文件，将所述标注人脸图像数据集保存至JSON文件中；所述JSON文件为标注文件信息的存储格式文件，所述JSON文件包括图像的尺寸信息、各点的位置信息和标签信息。
具体的，在多目标人脸数据库中采集待训练的人脸图像数据集，采用最近邻域插值算法将人脸图像数据集中的图像放缩至统一的尺寸，其中公式如下：
Figure BDA0001899194050000061
其中，缩放前的像素点坐标分别用xold和yold表示，图像的高度用hold表示，宽度用wold表示，缩放后的像素点坐标分别用xnew和ynew表示，图像的高度用hnew表示，宽度用wnew表示；f(xold,yold),f(xnew,ynew)分别表示缩放前后该点的像素值。
基于所述标注工具对尺寸统一的人脸图像数据集中绘出人脸图像的二值掩码和目标的类别进行标注，获取标注人脸图像数据集；利用标注工具对多目标人脸数据集进行标注，绘出人脸图像的二值掩码，对目标的类别进行标注，并最终保存到JSON文件中，JSON文件为标注文件信息存储格式文件，其中包含了图像的尺寸信息、各点的位置信息、标签信息等；将所有的图像存放到文件夹中，并将文件夹名字修改为Image，同理，将所有标注文件存放在新建立的JSON文件夹中，并保证图像命名与标注文件命名相同。
S12：基于监控设备条件设置用于训练人脸检测系统的模型参数；
在本发明具体实施过程中，所述基于监控设备条件设置用于训练人脸检测系统的模型参数，包括：设置模型图像规格大小，使所述模型图像与所述人脸图像数据集中的图像大小相同；基于监控设备条件设置GPU数目，所述人脸检测系统的训练类别标签、迭代次数和学习率；设置训练数据集的路径，将训练数据集导入待训练的人脸检测系统。
具体的，设置图像规格大小，使其与数据集的图像相同；根据监控设备条件，设置GPU数目，训练类别标签、迭代次数及学习率；设置训练数据集的路径，将训练数据集导入待训练的人脸检测系统。
S13：基于标记后的人脸图像数据集和模型参数对所述人脸检测系统进行训练，获取训练后的人脸检测系统；
在本发明具体实施过程中，所述基于标记后的人脸图像数据集和模型参数对所述人脸检测系统进行训练，获取训练后的人脸检测系统，包括：基于COCO物体检测数据集预训练所述人脸检测系统，对所述人脸检测系统进行泛化，初始化所述人脸检测系统的系统参数；将所述训练数据集输入所述泛化的人脸检测系统；基于卷积神经网络对输入的训练数据集中的每一张图像进行特征提取，获取特征图像；基于区域建议网络对所述特征图像生成候选区域，获取候选区域特征图像；对候选区域特征图像进行候选区域匹配，获得固定尺寸的特征图像；将所述固定尺寸的特征图像输入分类分支和二值掩码分支，进行人脸图像的目标框定位、分类并描绘出对应的二值掩码，获得特征图像中人脸图像的目标框和二值掩码；根据所述特征图像中人脸图像的目标框和二值掩码进行掩码占比计算，获取占比结果；对每个候选区域设置损失函数；基于所述模型参数对所述人脸检测系统进行迭代训练，并根据训练过程调整学习率和迭代次数，获取训练后的人脸检测系统。
具体的，利用微软公司发布的COCO物体检测数据集预训练人脸检测系统，对人脸检测系统进行泛化，初始化人脸检测系统，这样子可有有效的减少训练时长，即可实现人脸检测系统的收敛；将训练数据集输入泛化的人脸检测系统；利用卷积神经网络对输入的训练数据集中的每一张图像进行特征提取，获取特征图像；利用RPN(Region ProposalNetwork，区域建议网络)在特征图像上迅速生成候选区域，每张图片生成300个建议候选区域。RPN是通过倍数和长宽比例不同的窗口在特征图上进行滑窗从而提取特征；算法流程如附图3所示，图中背景图像表示经卷积神经网络提取特征后的特征图，虚线表示窗口为基准窗口，基准窗口大小为16个像素点，其包含的三个窗口分别表示长宽比例为0.5、1、2的三种窗口；点划线及实线分别表示8和32像素点大小的窗口，同理，其各有三个长宽比例为0.5、1、2的窗口；RPN利用上述三种倍数和三种比例的共九种尺度的对特征图进行滑窗，当IOU0.5时，认为其为候选框；IOU(Intersection over Union,检测评价函数)计算公式如下：
Figure BDA0001899194050000081
其中，A,B分别为RPN网络生成的候选框及训练集中正确的目标框，SA∩B为A、B的相重叠处面积，SA∪B为A、B并集面积。
进一步的，所述对候选区域特征图像进行候选区域匹配，获得固定尺寸的特征图像，包括：基于双线差值算法对候选区域特征图像进行候选区域匹配，获得固定尺寸的特征图像。
具体的，将卷积神经网络及RPN网络生成的特征图，通过ROIAlign(Region ofInterest Align,候选区域匹配)，得到固定尺寸的特征图输出。ROIAlign算法的流程如附图4所示。其在生成的ROI(Region of Interest，候选区域)特征图上使用双线性插值算法，避免了量化误差，可以使原图像像素与特征图像素相匹配。双线性插值算法公式如下：
对x方向进行线性插值：
Figure BDA0001899194050000091
当R1＝(x,y1)；
Figure BDA0001899194050000092
当R2＝(x,y2)；
再对y方向进行线性插值：
Figure BDA0001899194050000093
如附图5所示，其中，f(x,y)为待求解点P的像素值，f(Q11)、f(Q12)、f(Q21)、f(Q22)分别为已知四点Q11＝(x1,y1),Q12＝(x1,y2),Q21＝(x2,y1)及Q22＝(x2,y2)的像素值，f(R1)、f(R2)为x的插值得到的像素值。
将ROIAlign生成的特征图输入分类分支和二值掩码分支，进行人脸的图像的目标框定位、分类并绘出对应的二值掩码；其中，二值掩码是指在图像上对感兴趣区域绘出单一颜色的半透明掩盖膜；而实例分割是指通过二值掩码将感兴趣区域与背景分割开来，并且同类别区域可由不同颜色标记出的一项操作；在分类分支，利用全连接层和Softmax分类器，用于回归更精确的目标检测框并预测每个目标框的所属类别；在二值掩码分支，利用FCN(Fully Convolutional Networks,全卷积网络)，针对每个ROI(候选框)做出了像素级的实例分割；由ROIAlign生成的ROI(候选框)特征图经四层连续卷积运算后进行反卷积操作，然后通过上采样，得到28x28x80的二值掩码，其中28x28为图像规格，80为图像通道数。
进一步的，所述对每个候选区域设置损失函数的损失函数公式为：
L＝Lcls+Lbox+Lmask；
其中，Lcls表示分类的损失值，Lbox表示定位框的损失值，Lmask表示二值掩码的损失值。
具体的，进行预测结果的筛选，通过生成的二值掩码及目标框，计算MOB(Mask ofbounding box,掩码占比)，MOB算法公式如下：
Figure BDA0001899194050000101
其中，Smask为预测的二值掩码面积，Sbox为预测的候选区域框面积，当MOB≥0.6时认为预测的结果为人脸目标。
对于每个采样的ROI(候选框)设置其损失函数L如下：
L＝Lcls+Lbox+Lmask；
其中，Lcls表示分类的损失值，Lbox表示定位框的损失值，Lmask表示二值掩码的损失值。
根据设置的参数值进行迭代训练，并由训练结果调整学习率和迭代次数，得到较优的训练后的人脸检测系统，保存训练后的人脸检测系统。
S14：将监控视频中的每一帧图像输入训练后的人脸检测系统中，对输入的每一帧图像进行多目标人脸检测，获取检测结果。
在本发明具体实施过程中，所述将监控视频中的每一帧图像输入训练后的人脸检测系统中，对输入的每一帧图像进行多目标人脸检测，获取检测结果，包括：将监控视频中的每一帧图像输入训练后的人脸检测系统中；基于卷积神经网络对输入的监控视频中的每一帧图像进行特征提取，获取监控特征图像；基于区域建议网络对所述监控特征图像生成候选区域，获取候选区域监控特征图像；对候选区域监控特征图像进行候选区域匹配，从所述候选区域监控特征图像中提取固定尺寸的监控特征图像；将所述固定尺寸的监控特征图像输入分类分支和二值掩码分支，进行人脸图像的目标框定位、分类并描绘出对应的二值掩码，获得监控图像特征中人脸图像的目标框和二值掩码；基于所述监控图像特征中人脸图像的目标框和二值掩码进行多目标人脸检测，获取检测结果。
具体的，算法整体流程如附图2所示；首先将监控视频每帧图像传入已训练的检测系统，通过卷积神经网络对整张图像进行特征的提取，得到对应的特征图，利用RPN(RegionProposal Network，区域建议网络)在特征图上迅速生成候选区域，再通过ROIAlign(Region of Interest Align,候选区域匹配)，得到固定尺寸的特征图输出，然后在分类分支做出目标框的定位及分类，在掩码分支通过全卷积网络对人脸图像绘出相应的二值掩码，最后输出系统预测的图像。
具体的，输入监控视频每帧图像；利用卷积神经网络对整张图像进行特征的提取；利用RPN(区域建议网络)在特征图上生成候选区域；通过ROIAlign(候选区域匹配)从每个ROI提取小特征图；将ROIAlign生成的特征图输入分类分支和二值掩码分支，进行人脸的图像的目标框定位和分类，并在掩码分支通过全卷积网络对人脸图像绘出相应的二值掩码；进行预测结果的筛选，通过生成的二值掩码及目标框，计算MOB，当MOB≥0.6时，认为预测的结果为人脸目标，最后输出系统预测的图像。
进一步的，所述基于所述监控图像特征中人脸图像的目标框和二值掩码进行多目标人脸检测，获取检测结果，包括：根据所述监控图像特征中人脸图像的目标框和二值掩码进行掩码占比计算，获取计算结果；判断所述计算结果是否大于或等于预设阈值，若是，则检测到的监控图像为人脸目标图像；若否，则检测到的监控图像为非人脸目标图像；输出检测结果。
具体的，本发明在公开数据集ChokePoint监控人脸数据集做了测试实验(ChokePoint是为研究人脸检测、识别任务所开发的公开数据集，该数据集利用监控摄像头采集了29个人通过门口时的视频数据)，实验准确率可达98.57％，其中预设阈值为0.6，可以看出本发明实现了精准的多目标人脸的检测及实例分割效果。
在本发明实施例中，提高了识别精度，并使多目标人脸检测后图像像素点定位精准度达到像素级，从而满足了实例分割技术对像素点精准度的要求；可以对监控视频的多目标人脸图像进行实例分割，画出人脸二值掩码，将人脸图像与背景图像分割开，从而减少背景噪声的干扰，能够在复杂的监控画面上获取精确的人脸信息；通过MOB(Mask ofbounding box,掩码占比)算法，进行了预测结果的筛选，提高了识别准确率。
实施例
请参阅图6，图6是本发明实施例中的基于实例分割的监控视频多目标人脸检测系统的结构组成示意图。
如图6所示，一种基于实例分割的监控视频多目标人脸检测系统，所述系统包括：
训练数据获取模块11：用于采集待训练的人脸图像数据集，基于标注工具对人脸图像数据集进行标注，获取训练数据集；
在本发明具体实施过程中，所述基于标注工具对人脸图像数据集进行标注，包括：基于最近邻域差值算法将所述人脸图像数据集中的图像放缩至统一的尺寸；基于所述标注工具对尺寸统一的人脸图像数据集中绘出人脸图像的二值掩码和目标的类别进行标注，获取标注人脸图像数据集；将所述人脸图像数据集保存至Image文件，将所述标注人脸图像数据集保存至JSON文件中；所述JSON文件为标注文件信息的存储格式文件，所述JSON文件包括图像的尺寸信息、各点的位置信息和标签信息。
具体的，在多目标人脸数据库中采集待训练的人脸图像数据集，采用最近邻域插值算法将人脸图像数据集中的图像放缩至统一的尺寸，其中公式如下：
Figure BDA0001899194050000121
其中，缩放前的像素点坐标分别用xold和yold表示，图像的高度用hold表示，宽度用wold表示，缩放后的像素点坐标分别用xnew和ynew表示，图像的高度用hnew表示，宽度用wnew表示；f(xold,yold),f(xnew,ynew)分别表示缩放前后该点的像素值。
基于所述标注工具对尺寸统一的人脸图像数据集中绘出人脸图像的二值掩码和目标的类别进行标注，获取标注人脸图像数据集；利用标注工具对多目标人脸数据集进行标注，绘出人脸图像的二值掩码，对目标的类别进行标注，并最终保存到JSON文件中，JSON文件为标注文件信息存储格式文件，其中包含了图像的尺寸信息、各点的位置信息、标签信息等；将所有的图像存放到文件夹中，并将文件夹名字修改为Image，同理，将所有标注文件存放在新建立的JSON文件夹中，并保证图像命名与标注文件命名相同。
参数设置模块12：用于基于监控设备条件设置用于训练人脸检测系统的模型参数；
在本发明具体实施过程中，所述基于监控设备条件设置用于训练人脸检测系统的模型参数，包括：设置模型图像规格大小，使所述模型图像与所述人脸图像数据集中的图像大小相同；基于监控设备条件设置GPU数目，所述人脸检测系统的训练类别标签、迭代次数和学习率；设置训练数据集的路径，将训练数据集导入待训练的人脸检测系统。
具体的，设置图像规格大小，使其与数据集的图像相同；根据监控设备条件，设置GPU数目，训练类别标签、迭代次数及学习率；设置训练数据集的路径，将训练数据集导入待训练的人脸检测系统。
训练模块13：用于基于标记后的人脸图像数据集和模型参数对所述人脸检测系统进行训练，获取训练后的人脸检测系统；
在本发明具体实施过程中，所述基于标记后的人脸图像数据集和模型参数对所述人脸检测系统进行训练，获取训练后的人脸检测系统，包括：基于COCO物体检测数据集预训练所述人脸检测系统，对所述人脸检测系统进行泛化，初始化所述人脸检测系统的系统参数；将所述训练数据集输入所述泛化的人脸检测系统；基于卷积神经网络对输入的训练数据集中的每一张图像进行特征提取，获取特征图像；基于区域建议网络对所述特征图像生成候选区域，获取候选区域特征图像；对候选区域特征图像进行候选区域匹配，获得固定尺寸的特征图像；将所述固定尺寸的特征图像输入分类分支和二值掩码分支，进行人脸图像的目标框定位、分类并描绘出对应的二值掩码，获得特征图像中人脸图像的目标框和二值掩码；根据所述特征图像中人脸图像的目标框和二值掩码进行掩码占比计算，获取占比结果；对每个候选区域设置损失函数；基于所述模型参数对所述人脸检测系统进行迭代训练，并根据训练过程调整学习率和迭代次数，获取训练后的人脸检测系统。
具体的，利用微软公司发布的COCO物体检测数据集预训练人脸检测系统，对人脸检测系统进行泛化，初始化人脸检测系统，这样子可有有效的减少训练时长，即可实现人脸检测系统的收敛；将训练数据集输入泛化的人脸检测系统；利用卷积神经网络对输入的训练数据集中的每一张图像进行特征提取，获取特征图像；利用RPN(Region ProposalNetwork，区域建议网络)在特征图像上迅速生成候选区域，每张图片生成300个建议候选区域。RPN是通过倍数和长宽比例不同的窗口在特征图上进行滑窗从而提取特征；算法流程如附图3所示，图中背景图像表示经卷积神经网络提取特征后的特征图，虚线表示窗口为基准窗口，基准窗口大小为16个像素点，其包含的三个窗口分别表示长宽比例为0.5、1、2的三种窗口；点划线及实线分别表示8和32像素点大小的窗口，同理，其各有三个长宽比例为0.5、1、2的窗口；RPN利用上述三种倍数和三种比例的共九种尺度的对特征图进行滑窗，当IOU0.5时，认为其为候选框；IOU(Intersection over Union,检测评价函数)计算公式如下：
Figure BDA0001899194050000141
其中，A,B分别为RPN网络生成的候选框及训练集中正确的目标框，SA∩B为A、B的相重叠处面积，SA∪B为A、B并集面积。
进一步的，所述对候选区域特征图像进行候选区域匹配，获得固定尺寸的特征图像，包括：基于双线差值算法对候选区域特征图像进行候选区域匹配，获得固定尺寸的特征图像。
具体的，将卷积神经网络及RPN网络生成的特征图，通过ROIAlign(Region ofInterest Align,候选区域匹配)，得到固定尺寸的特征图输出。ROIAlign算法的流程如附图4所示。其在生成的ROI(Region of Interest，候选区域)特征图上使用双线性插值算法，避免了量化误差，可以使原图像像素与特征图像素相匹配。双线性插值算法公式如下：
对x方向进行线性插值：
Figure BDA0001899194050000142
当R1＝(x,y1)；
Figure BDA0001899194050000143
当R2＝(x,y2)；
再对y方向进行线性插值：
Figure BDA0001899194050000151
如附图5所示，其中，f(x,y)为待求解点P的像素值，f(Q11)、f(Q12)、f(Q21)、f(Q22)分别为已知四点Q11＝(x1,y1),Q12＝(x1,y2),Q21＝(x2,y1)及Q22＝(x2,y2)的像素值，f(R1)、f(R2)为x的插值得到的像素值。
将ROIAlign生成的特征图输入分类分支和二值掩码分支，进行人脸的图像的目标框定位、分类并绘出对应的二值掩码；其中，二值掩码是指在图像上对感兴趣区域绘出单一颜色的半透明掩盖膜；而实例分割是指通过二值掩码将感兴趣区域与背景分割开来，并且同类别区域可由不同颜色标记出的一项操作；在分类分支，利用全连接层和Softmax分类器，用于回归更精确的目标检测框并预测每个目标框的所属类别；在二值掩码分支，利用FCN(Fully Convolutional Networks,全卷积网络)，针对每个ROI(候选框)做出了像素级的实例分割；由ROIAlign生成的ROI(候选框)特征图经四层连续卷积运算后进行反卷积操作，然后通过上采样，得到28x28x80的二值掩码，其中28x28为图像规格，80为图像通道数。
进一步的，所述对每个候选区域设置损失函数的损失函数公式为：
L＝Lcls+Lbox+Lmask；
其中，Lcls表示分类的损失值，Lbox表示定位框的损失值，Lmask表示二值掩码的损失值。
具体的，进行预测结果的筛选，通过生成的二值掩码及目标框，计算MOB(Mask ofbounding box,掩码占比)，MOB算法公式如下：
Figure BDA0001899194050000152
其中，Smask为预测的二值掩码面积，Sbox为预测的候选区域框面积，当MOB≥0.6时认为预测的结果为人脸目标。
对于每个采样的ROI(候选框)设置其损失函数L如下：
L＝Lcls+Lbox+Lmask；
其中，Lcls表示分类的损失值，Lbox表示定位框的损失值，Lmask表示二值掩码的损失值。
根据设置的参数值进行迭代训练，并由训练结果调整学习率和迭代次数，得到较优的训练后的人脸检测系统，保存训练后的人脸检测系统。
检测模块14：用于将监控视频中的每一帧图像输入训练后的人脸检测系统中，对输入的每一帧图像进行多目标人脸检测，获取检测结果。
在本发明具体实施过程中，所述将监控视频中的每一帧图像输入训练后的人脸检测系统中，对输入的每一帧图像进行多目标人脸检测，获取检测结果，包括：将监控视频中的每一帧图像输入训练后的人脸检测系统中；基于卷积神经网络对输入的监控视频中的每一帧图像进行特征提取，获取监控特征图像；基于区域建议网络对所述监控特征图像生成候选区域，获取候选区域监控特征图像；对候选区域监控特征图像进行候选区域匹配，从所述候选区域监控特征图像中提取固定尺寸的监控特征图像；将所述固定尺寸的监控特征图像输入分类分支和二值掩码分支，进行人脸图像的目标框定位、分类并描绘出对应的二值掩码，获得监控图像特征中人脸图像的目标框和二值掩码；基于所述监控图像特征中人脸图像的目标框和二值掩码进行多目标人脸检测，获取检测结果。
具体的，算法整体流程如附图2所示；首先将监控视频每帧图像传入已训练的检测系统，通过卷积神经网络对整张图像进行特征的提取，得到对应的特征图，利用RPN(RegionProposal Network，区域建议网络)在特征图上迅速生成候选区域，再通过ROIAlign(Region of Interest Align,候选区域匹配)，得到固定尺寸的特征图输出，然后在分类分支做出目标框的定位及分类，在掩码分支通过全卷积网络对人脸图像绘出相应的二值掩码，最后输出系统预测的图像。
具体的，输入监控视频每帧图像；利用卷积神经网络对整张图像进行特征的提取；利用RPN(区域建议网络)在特征图上生成候选区域；通过ROIAlign(候选区域匹配)从每个ROI提取小特征图；将ROIAlign生成的特征图输入分类分支和二值掩码分支，进行人脸的图像的目标框定位和分类，并在掩码分支通过全卷积网络对人脸图像绘出相应的二值掩码；进行预测结果的筛选，通过生成的二值掩码及目标框，计算MOB，当MOB≥0.6时，认为预测的结果为人脸目标，最后输出系统预测的图像。
进一步的，所述基于所述监控图像特征中人脸图像的目标框和二值掩码进行多目标人脸检测，获取检测结果，包括：根据所述监控图像特征中人脸图像的目标框和二值掩码进行掩码占比计算，获取计算结果；判断所述计算结果是否大于或等于预设阈值，若是，则检测到的监控图像为人脸目标图像；若否，则检测到的监控图像为非人脸目标图像；输出检测结果。
具体的，本发明在公开数据集ChokePoint监控人脸数据集做了测试实验(ChokePoint是为研究人脸检测、识别任务所开发的公开数据集，该数据集利用监控摄像头采集了29个人通过门口时的视频数据)，实验准确率可达98.57％，其中预设阈值为0.6，可以看出本发明实现了精准的多目标人脸的检测及实例分割效果。
在本发明实施例中，提高了识别精度，并使多目标人脸检测后图像像素点定位精准度达到像素级，从而满足了实例分割技术对像素点精准度的要求；可以对监控视频的多目标人脸图像进行实例分割，画出人脸二值掩码，将人脸图像与背景图像分割开，从而减少背景噪声的干扰，能够在复杂的监控画面上获取精确的人脸信息；通过MOB(Mask ofbounding box,掩码占比)算法，进行了预测结果的筛选，提高了识别准确率。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁盘或光盘等。
另外，以上对本发明实施例所提供的一种基于实例分割的监控视频多目标人脸检测方法及系统进行了详细介绍，本文中应采用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种基于实例分割的监控视频多目标人脸检测方法，其特征在于，所述方法包括：
采集待训练的人脸图像数据集，基于标注工具对人脸图像数据集进行标注，获取训练数据集；
基于监控设备条件设置用于训练人脸检测系统的模型参数；
基于标记后的人脸图像数据集和模型参数对所述人脸检测系统进行训练，获取训练后的人脸检测系统；
将监控视频中的每一帧图像输入训练后的人脸检测系统中，对输入的每一帧图像进行多目标人脸检测，获取检测结果；
所述基于标记后的人脸图像数据集和模型参数对所述人脸检测系统进行训练，获取训练后的人脸检测系统，包括：
基于COCO物体检测数据集预训练所述人脸检测系统，对所述人脸检测系统进行泛化，初始化所述人脸检测系统的系统参数；
将所述训练数据集输入所述泛化的人脸检测系统；
基于卷积神经网络对输入的训练数据集中的每一张图像进行特征提取，获取特征图像；
基于区域建议网络对所述特征图像生成候选区域，获取候选区域特征图像；
对候选区域特征图像进行候选区域匹配，获得固定尺寸的特征图像；
将所述固定尺寸的特征图像输入分类分支和二值掩码分支，进行人脸图像的目标框定位、分类并描绘出对应的二值掩码，获得特征图像中人脸图像的目标框和二值掩码；
根据所述特征图像中人脸图像的目标框和二值掩码进行掩码占比计算，获取占比结果；
对每个候选区域设置损失函数；
基于所述模型参数对所述人脸检测系统进行迭代训练，并根据训练过程调整学习率和迭代次数，获取训练后的人脸检测系统；
根据所述特征图像中人脸图像的目标框和二值掩码进行掩码占比计算的计算公式如下：
Figure FDA0002858843110000021
其中，Smask为预测的二值掩码面积，Sbox为预测的候选区域框面积，当MOB≥0.6时认为预测的结果为人脸目标。
2.根据权利要求1所述的监控视频多目标人脸检测方法，其特征在于，所述基于标注工具对人脸图像数据集进行标注，包括：
基于最近邻域差值算法将所述人脸图像数据集中的图像放缩至统一的尺寸；
基于所述标注工具对尺寸统一的人脸图像数据集中所描绘出的人脸图像中的二值掩码和目标的类别分别进行标注，获取标注人脸图像数据集；
将所述人脸图像数据集保存至Image文件，将所述标注人脸图像数据集保存至JSON文件中；所述JSON文件为标注文件信息的存储格式文件，所述JSON文件包括图像的尺寸信息、各点的位置信息和标签信息。
3.根据权利要求1所述的监控视频多目标人脸检测方法，其特征在于，所述基于监控设备条件设置用于训练人脸检测系统的模型参数，包括：
设置模型图像规格大小，使所述模型图像与所述人脸图像数据集中的图像大小相同；
基于监控设备条件设置GPU数目，设置所述人脸检测系统的训练类别标签、迭代次数和学习率；
设置训练数据集的路径，将训练数据集导入待训练的人脸检测系统。
4.根据权利要求1所述的监控视频多目标人脸检测方法，其特征在于，所述对候选区域特征图像进行候选区域匹配，获得固定尺寸的特征图像，包括：
基于双线差值算法对候选区域特征图像进行候选区域匹配，获得固定尺寸的特征图像。
5.根据权利要求1所述的监控视频多目标人脸检测方法，其特征在于，所述对每个候选区域设置损失函数的损失函数公式为：
L＝Lcls+Lbox+Lmask；
其中，Lcls表示分类的损失值，Lbox表示定位框的损失值，Lmask表示二值掩码的损失值。
6.根据权利要求1所述的监控视频多目标人脸检测方法，其特征在于，所述将监控视频中的每一帧图像输入训练后的人脸检测系统中，对输入的每一帧图像进行多目标人脸检测，获取检测结果，包括：
将监控视频中的每一帧图像输入训练后的人脸检测系统中；
基于卷积神经网络对输入的监控视频中的每一帧图像进行特征提取，获取监控特征图像；
基于区域建议网络对所述监控特征图像生成候选区域，获取候选区域监控特征图像；
对候选区域监控特征图像进行候选区域匹配，从所述候选区域监控特征图像中提取固定尺寸的监控特征图像；
将所述固定尺寸的监控特征图像输入分类分支和二值掩码分支，进行人脸图像的目标框定位、分类并描绘出对应的二值掩码，获得监控特征图像中人脸图像的目标框和二值掩码；
基于所述监控特征图像中人脸图像的目标框和二值掩码进行多目标人脸检测，获取检测结果。
7.根据权利要求6所述的监控视频多目标人脸检测方法，其特征在于，所述基于所述监控特征图像中人脸图像的目标框和二值掩码进行多目标人脸检测，获取检测结果，包括：
根据所述监控特征图像中人脸图像的目标框和二值掩码进行掩码占比计算，获取计算结果；
判断所述计算结果是否大于或等于预设阈值，若是，则检测到的监控图像为人脸目标图像；若否，则检测到的监控图像为非人脸目标图像；
输出检测结果。
8.一种基于实例分割的监控视频多目标人脸检测系统，其特征在于，所述系统包括：
训练数据获取模块：用于采集待训练的人脸图像数据集，基于标注工具对人脸图像数据集进行标注，获取训练数据集；
参数设置模块：用于基于监控设备条件设置用于训练人脸检测系统的模型参数；
训练模块：用于基于标记后的人脸图像数据集和模型参数对所述人脸检测系统进行训练，获取训练后的人脸检测系统；
检测模块：用于将监控视频中的每一帧图像输入训练后的人脸检测系统中，对输入的每一帧图像进行多目标人脸检测，获取检测结果；
训练模块：还用于基于COCO物体检测数据集预训练所述人脸检测系统，对所述人脸检测系统进行泛化，初始化所述人脸检测系统的系统参数；将所述训练数据集输入所述泛化的人脸检测系统；基于卷积神经网络对输入的训练数据集中的每一张图像进行特征提取，获取特征图像；基于区域建议网络对所述特征图像生成候选区域，获取候选区域特征图像；对候选区域特征图像进行候选区域匹配，获得固定尺寸的特征图像；将所述固定尺寸的特征图像输入分类分支和二值掩码分支，进行人脸图像的目标框定位、分类并描绘出对应的二值掩码，获得特征图像中人脸图像的目标框和二值掩码；根据所述特征图像中人脸图像的目标框和二值掩码进行掩码占比计算，获取占比结果；对每个候选区域设置损失函数；基于所述模型参数对所述人脸检测系统进行迭代训练，并根据训练过程调整学习率和迭代次数，获取训练后的人脸检测系统；
根据所述特征图像中人脸图像的目标框和二值掩码进行掩码占比计算的计算公式如下：
Figure FDA0002858843110000051
其中，Smask为预测的二值掩码面积，Sbox为预测的候选区域框面积，当MOB≥0.6时认为预测的结果为人脸目标。
CN201811504897.6A 2018-12-10 2018-12-10 一种基于实例分割的监控视频多目标人脸检测方法及系统 Active CN109670429B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811504897.6A CN109670429B (zh) 2018-12-10 2018-12-10 一种基于实例分割的监控视频多目标人脸检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811504897.6A CN109670429B (zh) 2018-12-10 2018-12-10 一种基于实例分割的监控视频多目标人脸检测方法及系统

Publications (2)

Publication Number Publication Date
CN109670429A CN109670429A (zh) 2019-04-23
CN109670429B true CN109670429B (zh) 2021-03-19

Family

ID=66144702

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811504897.6A Active CN109670429B (zh) 2018-12-10 2018-12-10 一种基于实例分割的监控视频多目标人脸检测方法及系统

Country Status (1)

Country Link
CN (1) CN109670429B (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110189340B (zh) * 2019-06-03 2022-01-21 北京达佳互联信息技术有限公司 图像分割方法、装置、电子设备及存储介质
CN112084812B (zh) * 2019-06-12 2023-08-01 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备及存储介质
CN110363172A (zh) * 2019-07-22 2019-10-22 曲靖正则软件开发有限公司 一种视频处理方法、装置、电子设备及可读存储介质
CN110490146A (zh) * 2019-08-22 2019-11-22 北博（厦门）智能科技有限公司 基于深度学习的人工智能周界安防方法及服务端
CN110660050A (zh) * 2019-09-20 2020-01-07 科大国创软件股份有限公司 一种基于语义分割算法的分光器尾纤标签检测方法和系统
CN110728330A (zh) * 2019-10-23 2020-01-24 腾讯科技（深圳）有限公司 基于人工智能的对象识别方法、装置、设备及存储介质
CN111310731B (zh) * 2019-11-15 2024-04-09 腾讯科技（深圳）有限公司 基于人工智能的视频推荐方法、装置、设备及存储介质
CN111027474B (zh) * 2019-12-09 2024-03-15 Oppo广东移动通信有限公司 人脸区域获取方法、装置、终端设备和存储介质
CN111179287A (zh) * 2020-01-03 2020-05-19 厦门美图之家科技有限公司 人像实例分割方法、装置、设备及存储介质
CN111292329B (zh) * 2020-01-15 2023-06-06 北京字节跳动网络技术有限公司 视频分割网络的训练方法、装置及电子设备
CN111339874A (zh) * 2020-02-18 2020-06-26 广州麦仑信息科技有限公司 一种单级人脸分割的方法
CN111368766B (zh) * 2020-03-09 2023-08-18 云南安华防灾减灾科技有限责任公司 一种基于深度学习的牛脸检测与识别方法
CN111739027B (zh) * 2020-07-24 2024-04-26 腾讯科技（深圳）有限公司 一种图像处理方法、装置、设备及可读存储介质
CN112069993B (zh) * 2020-09-04 2024-02-13 西安西图之光智能科技有限公司 基于五官掩膜约束的密集人脸检测方法及系统和存储介质
CN111814776B (zh) * 2020-09-10 2020-12-15 平安国际智慧城市科技股份有限公司 一种图像处理方法、设备、服务器及存储介质
CN112200115B (zh) * 2020-10-21 2024-04-19 平安国际智慧城市科技股份有限公司 人脸识别训练方法、识别方法、装置、设备及存储介质
CN112464893A (zh) * 2020-12-10 2021-03-09 山东建筑大学 一种复杂环境下的拥挤度分类方法
CN112580786B (zh) * 2020-12-22 2021-09-28 之江实验室 一种用于ReID的神经网络构造方法及其训练方法
CN113111698B (zh) * 2020-12-30 2022-04-01 无锡乐骐科技股份有限公司 一种基于语义感知损失的人脸标志点检测方法
CN112946436A (zh) * 2021-02-02 2021-06-11 成都国铁电气设备有限公司 一种车载接触网绝缘器消弧缺断在线智能检测方法
CN112990012A (zh) * 2021-03-15 2021-06-18 深圳喜为智慧科技有限公司 一种遮挡条件下的工装颜色识别方法及系统
CN113378842A (zh) * 2021-05-18 2021-09-10 浙江大学 基于分割图像特征提取的推荐方法
CN115147598B (zh) * 2022-06-02 2023-07-14 粤港澳大湾区数字经济研究院(福田) 目标检测分割方法、装置、智能终端及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018013438A1 (en) * 2016-07-09 2018-01-18 Grabango Co. Visually automated interface integration
CN107871134A (zh) * 2016-09-23 2018-04-03 北京眼神科技有限公司 一种人脸检测方法及装置
CN108717531B (zh) * 2018-05-21 2021-06-08 西安电子科技大学 基于Faster R-CNN的人体姿态估计方法

Also Published As

Publication number Publication date
CN109670429A (zh) 2019-04-23

Similar Documents

Publication Publication Date Title
CN109670429B (zh) 一种基于实例分割的监控视频多目标人脸检测方法及系统
Yuan et al. A robust and efficient approach to license plate detection
CN110097568B (zh) 一种基于时空双分支网络的视频对象检测与分割方法
CN111080628B (zh) 图像篡改检测方法、装置、计算机设备和存储介质
Lee et al. SNIDER: Single noisy image denoising and rectification for improving license plate recognition
CN111914698B (zh) 图像中人体的分割方法、分割系统、电子设备及存储介质
Vanetti et al. Gas meter reading from real world images using a multi-net system
CN108629286B (zh) 一种基于主观感知显著模型的遥感机场目标检测方法
CN111145209A (zh) 一种医学图像分割方法、装置、设备及存储介质
CN107967480B (zh) 一种基于标签语义的显著对象提取方法
CN111339975A (zh) 基于中心尺度预测与孪生神经网络的目标检测识别跟踪方法
Lu et al. Learning attention map from images
CN113435319B (zh) 一种联合多目标跟踪和行人角度识别的分类方法
Xing et al. Traffic sign recognition using guided image filtering
CN116129291A (zh) 一种面向无人机畜牧的图像目标识别方法及其装置
CN113033558A (zh) 一种用于自然场景的文本检测方法及装置、存储介质
Shit et al. An encoder‐decoder based CNN architecture using end to end dehaze and detection network for proper image visualization and detection
CN110910497B (zh) 实现增强现实地图的方法和系统
CN110827327B (zh) 一种基于融合的长期目标跟踪方法
Sanmiguel et al. Pixel-based colour contrast for abandoned and stolen object discrimination in video surveillance
Ardelean et al. High-Fidelity Zero-Shot Texture Anomaly Localization Using Feature Correspondence Analysis
CN107704864A (zh) 基于图像对象性语义检测的显著目标检测方法
CN112906707B (zh) 一种表面缺陷图像的语义分割方法、装置及计算机设备
Rani et al. Object Detection in Natural Scene Images Using Thresholding Techniques
Singh et al. Cloud-Based License Plate Recognition for Smart City Using Deep Learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 510000 No. 293 Shipai Zhongshan Avenue, Tianhe District, Guangzhou City, Guangdong Province

Applicant after: GUANGDONG POLYTECHNIC NORMAL University

Address before: No. 293, Zhongshan Avenue, Shipai, Tianhe District, Guangzhou, Guangdong 510630

Applicant before: GUANGDONG POLYTECHNIC NORMAL University

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant