CN113095199A - 一种高速行人识别方法及装置 - Google Patents

一种高速行人识别方法及装置 Download PDF

Info

Publication number
CN113095199A
CN113095199A CN202110367156.3A CN202110367156A CN113095199A CN 113095199 A CN113095199 A CN 113095199A CN 202110367156 A CN202110367156 A CN 202110367156A CN 113095199 A CN113095199 A CN 113095199A
Authority
CN
China
Prior art keywords
pedestrian
image
camera
face
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110367156.3A
Other languages
English (en)
Other versions
CN113095199B (zh
Inventor
殷杰飞
刘天弼
冯瑞
徐卫东
朱善邦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fudan University
Original Assignee
Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fudan University filed Critical Fudan University
Priority to CN202110367156.3A priority Critical patent/CN113095199B/zh
Publication of CN113095199A publication Critical patent/CN113095199A/zh
Application granted granted Critical
Publication of CN113095199B publication Critical patent/CN113095199B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2321Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Probability & Statistics with Applications (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种能够快速识别行人身份并捕捉该行人全身像图的高速行人身份识别方法及装置,其特征在于,高速行人身份识别方法包括以下步骤:步骤S1,获取摄像头的识别号以及各个摄像头的道路连通关系;步骤S2,识别出目标行人的人脸图像以及全身图像作为目标行人信息进行存储;步骤S3,获取与识别出目标行人的摄像头具有对应的道路连通关系的摄像头作为待识别摄像头,步骤S4,从待识别摄像头中获取图像帧;步骤S5,将图像帧输入行人检测算法模型;步骤S6,对图像帧进行目标行人识别;步骤S7,根据行人识别结果获取待匹配人脸图像并进行人脸识别;步骤S8,将目标行人的全身图像与相应的识别号对应存入输出缓存队列;步骤S9,重复步骤S3至步骤S7。

Description

一种高速行人识别方法及装置
技术领域
本发明属于深度学习领域,涉及一种行人识别方法,特别涉及一种高速行人识别方法。
背景技术
行人检测与身份识别技术在当今互联网与社会生活中发挥着重要的作用,因此具有许多的应用场景及商业价值。
行人检测是将目标检测算法模型中的识别目标设置为行人。目标检测从应用角度分为两种:一种是generalobjectdetection,即以一种能够模拟人的眼睛和直觉的统一框架来检测物体类别;另一种是detectionapplications,即在特定应用情景下的检测(如行人检测、人脸检测、文本检测等)。
目标检测在过去的研究过程中主要经历两个历史时期:传统目标检测和基于深度学习的目标检测。传统目标检测是基于手工制作的特征,例如VJ检测器,HOG检测器;而在深度学习时代,目标检测可以被分为两种流派:即Two-stagedetection:“coarse-to-fine”process 和One-stagedetection:“completeinonestep”。
对于二阶检测器Two-stage,首先使用候选框生成器生成稀疏的候选框集,然后使用深度卷积网络编码生成候选框的特征向量,最后使用区域分类器预测候选框区域类别。以R-CNN算法为代表的 twostage的方法由于RPN结构的存在,虽然检测精度越来越高,但是其速度却遇到瓶颈,比较难于满足部分场景实时性的需求。因此出现一种基于回归方法的onestage的目标检测算法,不同于twostage 的方法的分步训练共享检测结果,onestage的方法能实现完整单次训练共享特征,且在保证一定准确率的前提下,速度得到极大提升。
身份识别中的人脸识别技术更是近些年来,模式识别和图像处理中的热门研究主题之一。一个人脸识别系统一般包括以下几个方面:
(1)人脸检测(Detection):即从各种不同的场景中检测出人脸的存在并确定其位置。(2)人脸规范化(Normalization):校正人脸在尺度、光照和旋转等方面的变化。或者叫做alignment,人脸对齐,人脸校准(3)人脸校验(Faceverification):采取某种方式表示检测出人脸和数据库中的已知人脸,确认两张脸是否是同一个人。(4)人脸识别(Recognition):将待识别的人脸与数据库中的已知人脸比较,得出人脸的身份。
而随着场景越来越复杂,算法对精度的要求越来越高,算法之间的结合和配合也越来越多,为了给行人重识别等算法提供行人图像数据进行识别,需要先行算法来预处理视频数据,将原始的视频处理成可供后续算法使用的数据能够加快整个流程的运行时间。
发明内容
为解决上述问题,提供一种快速识别行人身份并捕捉该行人全身像图的高速行人身份识别方法及装置,本发明采用了如下技术方案:
本发明提供了一种高速行人身份识别方法,通过设置在监控区域中的多个摄像头对目标行人进行高速身份识别,其特征在于,包括以下步骤:步骤S1,预先获取每个摄像头的识别号以及各个摄像头对应的位置在监控区域中的道路连通关系;步骤S2,通过设置在监控区域入口处的摄像头对进入监控区域的行人进行人脸识别,并将识别为目标行人的行人的人脸图像以及全身图像作为目标行人信息进行存储;步骤S3,获取与识别出目标行人的摄像头具有对应的道路连通关系的摄像头作为待识别摄像头,步骤S4,根据预定时间间隔从待识别摄像头拍摄到的视频中截取图像帧,并将图像帧按照待识别摄像头的识别号按序存入输入缓存队列中;步骤S5,预先加载一次预存的行人检测算法模型,并将输入缓存队列中的图像帧按序输入到行人检测算法模型中进行处理,图像帧存入输入缓存队列和行人检测算法模型的运行通过多线程处理同时进行;步骤S6,当行人检测算法模型从视频帧识别出目标行人时,获取行人检测算法模型输出的人脸框和行人框并获取对应的图像帧作为行人原图像;步骤S7,根据人脸框对行人原图像进行裁剪得到待匹配人脸图像,并将该待匹配人脸图像与目标行人信息中的人脸图像进行人脸识别;步骤S8,当人脸识别的结果为匹配时,根据行人框对行人原图像进行裁剪得到新的全身图像,并将该新的全身图像与拍摄行人原图像的待识别摄像头的识别号对应存入输出缓存队列;步骤S9,重复步骤S3至步骤S7直至各个待识别摄像头拍摄的视频中无法识别出目标行人。
本发明提供的高速行人身份识别方法,还可以具有这样的技术特征,其中,输入缓存队列用于平衡图像帧的采集速度以及行人检测算法模型的运行效率之间的速度差异。
本发明提供的高速行人身份识别方法,还可以具有这样的技术特征,其中,数据库采用轻量级的sqlite用于数据的存取,全身图像以及人脸图像预先通过处理得到特征值并分别在步骤S5以及步骤S7 中被一次性加载。
本发明提供的高速行人身份识别方法,还可以具有这样的技术特征,其中,行人检测算法模型采用以darknet-53为主干网络的单阶段网络yolov3模型,主干网络由多个残差单元叠加而成,张量的尺寸变换通过改变卷积核的步长实现。
本发明提供的高速行人身份识别方法,还可以具有这样的技术特征,其中,行人检测算法模型的边框的初始尺寸采用k-means聚类的方式得到。
本发明提供的高速行人身份识别方法,还可以具有这样的技术特征,其中,行人检测算法模型采用用于多标签多分类的Logistic分类器。
本发明还提供了一种高速行人身份识别装置,通过设置在监控区域中的多个摄像头对目标行人进行高速身份识别,其特征在于,包括:摄像头信息存储部,预先获取每个摄像头的识别号以及各个摄像头对应的位置在监控区域中的道路连通关系;目标行人识别存储部,通过设置在监控区域入口处的摄像头对进入监控区域的行人进行人脸识别,并将识别为目标行人的行人的人脸图像以及全身图像作为目标行人信息进行存储;待识别摄像头获取部,获取与识别出目标行人的摄像头具有对应的道路连通关系的摄像头作为待识别摄像头;图像帧获取部,根据预定时间间隔从待识别摄像头拍摄到的视频中截取图像帧,并将图像帧按照待识别摄像头的识别号按序存入输入缓存队列中;行人检测部,预先加载一次预存的行人检测算法模型,并将输入缓存队列中的图像帧按序输入到行人检测算法模型中进行处理,图像帧存入输入缓存队列和行人检测算法模型的运行通过多线程处理同时进行;检测结果获取部,当行人检测算法模型从视频帧识别出目标行人时,获取行人检测算法模型输出的人脸框和行人框并获取对应的图像帧作为行人原图像;人脸识别部,根据人脸框对行人原图像进行裁剪得到待匹配人脸图像,并将该待匹配人脸图像与目标行人信息中的人脸图像进行人脸识别;输出部,当人脸识别的结果为匹配时,根据行人框对行人原图像进行裁剪得到新的全身图像,并将该新的全身图像与拍摄行人原图像的待识别摄像头的识别号对应存入输出缓存队列;以及目标行人识别控制部,控制待识别摄像头获取部根据输出缓存队列中的识别号获取新的待识别摄像头直至各个待识别摄像头拍摄的视频中无法识别出目标行人。
发明作用与效果
根据本发明的高速行人身份识别方法及装置,由于预先获取有各个摄像头之间的道路连通关系,在识别出目标行人时,会获取与识别出目标行人的摄像头具有道路连通关系的摄像头作为待识别摄像头,并根据这些待识别摄像头的拍摄到的图像帧进行目标人员的行人识别,因此,在获取图像帧是过滤掉了不具有道路连通关系的摄像头,大大减少了需要处理的图像帧的数量,提高了行人识别的速度。还由于通过输入缓存队列作为缓冲空间对图象帧进行暂存,因此即使处理多路视频,发生网络阻塞或者算法模型的运行缓慢也不会造成中间流程的中断,并且考虑到了每个视频流的网络带宽不一样导致的传输速度差异而可能发生的传输速度快的视频流占据大量计算资源,而传输速度慢的视频流的数据得不到处理的情况,在队列设计时加入了根据视频源的不同而设置的位置次序,每个视频流截取的帧只有在属于自己的次序时才能够将视频帧存入队列中在后续的算法中送入模型处理。
附图说明
图1是本发明实施例中高速行人身份识别方法的流程图;以及
图2是本发明实施例中高速行人身份识别方法的工作原理示意图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解,以下结合实施例及附图对本发明的高速行人身份识别方法及装置作具体阐述。
<实施例>
本实施例的高速行人身份识别方法在一台计算机上运行实现,该计算机的操作系统为ubuntu16.04,使用Python 3.7语言实现,神经网络框架使用pytorch 1.3版本,CUDA版本为10.0,计算加速单元使用NVIDIA 1080Ti GPU,数据库使用sqlite,web框架使用Django,消息队列zmq,websocket。
本实施例中,高速行人身份识别方法应用的监控区域为一个校园区域,该校园区域中设置有多个用于对道路上的行人进行拍摄的摄像头。特别地,在校园区域的出入口(如校园门口)设有用于对进入校园区域的行人进行人脸图像和全身图像拍摄的摄像头以及一个人脸识别装置,该人脸识别装置中预先存储有各种登记过的登记人脸图像,用于根据这些登记人脸图像对摄像头拍摄到的人脸图像进行人脸识别从而识别出目标行人。
图1是本发明实施例中高速行人身份识别方法的结构框图。
如图1所示,高速行人身份识别方法具体包括步骤S1至步骤S8。
步骤S1,预先获取每个摄像头的识别号以及各个摄像头对应的位置在监控区域中的道路连通关系。
本实施例中,识别号为摄像头的id,每个摄像头对应有各自拍摄的位置区域,如摄像头A用于对路口a进行拍摄,道路连通关系为各个摄像头拍摄的位置区域之间的是否通过道路连通,即行人是否能够从一个位置区域直接移动到另一个位置区域,若能够,则表示这两个位置区域对应的摄像头存在道路连通关系。
步骤S2,通过设置在监控区域入口处的摄像头对进入监控区域的行人进行人脸识别,并将识别为目标行人的行人的人脸图像以及全身图像作为目标行人信息进行存储。
本实施例中,为方便在不同的服务器上部署算法模型,数据库采用了轻量级的sqlite用于数据的存取,被识别出的目标行人的目标行人信息就存储在sqlite数据库中。在目标行人信息中,人脸图像以及全身图像为设置在监控区域的出入口的摄像头所拍摄得到的图像。
另外,本实施例中,数据库中目标行人的全身图像以及人脸图像预先通过算法处理得到特征值后存入硬盘上。
步骤S3,获取与识别出目标行人的摄像头具有对应的道路连通关系的摄像头作为待识别摄像头。
步骤S4,根据预定时间间隔从待识别摄像头拍摄到的视频中截取图像帧,并将图像帧按照待识别摄像头的识别号按序存入输入缓存队列中。
本实施例中,以COCO数据集为处理对象,深度学习模型需要先经过训练并测试通过得以成型,然后应用到实际场景中。深度卷积神经网络的设计与数据集的具体情况相关。有关深度学习模型的训练、测试和实际应用与通用深度学习应用并无差异。
在本实施例的步骤S4中,首先将离线视频文件或者实时的在线视频流按照每5帧截取一帧的时间间隔截取图像帧。
接下来,本实施例没有采用串行的方法来采集数据,而是兼顾了算法的运行效率和源文件或视频流的视频帧的采集速度,使用缓存队列来平衡两者之间的速度差异,将截取好的视频帧按照不同摄像头的 id号打包按序存入输入缓存队列中。本实施例中,计算机根据自然数增长求余数的方法将数据按序存入输入缓存队列,该缓存队列长度的预设值定为100。
步骤S5,预先加载一次预存的行人检测算法模型,并将输入缓存队列中的图像帧按序输入到行人检测算法模型中进行处理,图像帧存入输入缓存队列和行人检测算法模型的运行通过多线程处理同时进行。
本实施例的步骤S5中,将数据库中所有目标行人的全身图像的特征值一次性加载入内存中用作数据对比。
步骤S6,当行人检测算法模型从视频帧识别出目标行人时,获取行人检测算法模型输出的人脸框和行人框并获取对应的图像帧作为行人原图像。
本实施例中,行人检测算法模型采用以darknet-53为主干网络的单阶段网络yolov3。首先将输送进算法模型的图像进行标准化处理,然后将经过标准化处理过的图像送进预先用数据集训练过的行人检测算法模型中进行处理,从而得到预测结果。如果图像中有行人目标,并且模型成功对该目标进行了识别,最终的结果会包含该行人目标的检测框(即行人框)和人脸位置的检测框(即人脸框)。
接下来,对本实施例的行人检测算法模型做具体介绍:
在行人检测算法模型中,作为主干网络即特征提取网络的 darknet-53卷积网络由残差单元叠加而成,张量的尺寸变换通过改变卷积核的步长实现。其中,卷积的步长为2,每次经过卷积之后,图像边长缩小一半。53层卷积网络中有5次卷积的步长为2。经过5次缩小,特征图缩小为原输入尺寸的1/32。所以网络输入图片的尺寸为32的倍数,取为416×416。另外,网络采用了ResNet那样的残差结构,使得训练深层网络的难度大大减小。
关于边框的初始尺寸采用k-means聚类的方式来做,这种先验知识对于边框的初始化帮助还是很大的。选择的默认框有9个,其尺寸通过k-means算法在数据集上聚类得到。在COCO数据集上,9个聚类是:(10×13);(16×30);(33×23);(30×61);(62×45);(59×119);(116 ×90);(156×198);(373×326)。默认框与不同尺寸特征图的对应关系是:13×13的featuremap对应[(116×90),(156×198),(373×326)],26 ×26的featuremap对应[(30×61),(62×45),(59×119)],52×52的 featuremap对应[(10×13),(16×30),(33×23)]。其原因是:特征图越大,感受野越小。对小目标越敏感,所以选用小的anchorbox。特征图越小,感受野越大。对大目标越敏感,所以选用大的anchorbox。本实施例中,行人检测算法模型采用直接预测相对位置的方法,预测出b-box 中心点相对于网格单元左上角的相对坐标,直接预测出(tx,ty,tw,th,t0),然后通过以下坐标偏移公式计算得到b-box的位置大小和confidence:
bx=ρ(tx)+cx
by=ρ(ty)+cy
bw=pw(e)^(tx)
bh=ph(e)^(th)
式中,tx,ty,tw,th是行人检测算法模型的预测输出;cx和cy表示 gridcell的坐标,比如某层的featuremap大小是13×13,那么gridcell 就有13×13个,第0行第1列的gridcell的坐标cx就是0,cy就是1;pw和ph表示预测前boundingbox的size;bx、by、bw和bh就是预测得到的boundingbox的中心的坐标和size。
在训练上述这几个坐标值的时候采用了sumofsquarederrorloss(平方和距离误差损失),因为这种方式的误差可以很快的计算出来。使用逻辑回归预测每个边界框的分数。如果边界框与真实框的重叠度比之前的任何其他边界框都要好,则该值应该为1。如果边界框不是最好的,但确实与真实对象的重叠超过某个阈值(本实施例中阈值设定为0.5),那么就忽略这次预测。只为每个真实对象分配一个边界框, 如果边界框与真实对象不吻合,则不会产生坐标或类别预测损失,只会产生物体预测损失。
在类别预测方面,主要是将原来的单标签分类改进为多标签分类, 即,在网络结构上将原来用于单标签多分类的softmax层换成用于多标签多分类的Logistic分类器。v2网络中的Softmax分类器,认为一个目标只属于一个类别,通过输出Score大小,使得每个框分配到Score 最大的一个类别。但在一些复杂场景下,一个目标可能属于多个类(有重叠的类别标签),因此v3用多个独立的Logistic分类器替代Softmax 层解决多标签分类问题,且准确率不会下降。举例说明,原来分类网络中的softmax层都是假设一张图像或一个object只属于一个类别, 但是在一些复杂场景下,一个object可能属于多个类,比如你的类别中有woman和person这两个类,那么如果一张图像中有一个woman,那么检测的结果中类别标签就要同时有woman和person两个类,这就是多标签分类,需要用Logistic分类器来对每个类别做二分类。Logistic分类器主要用到sigmoid函数,该函数可以将输入约束在0 到1的范围内,因此当一张图像经过特征提取后的某一类输出经过 sigmoid函数约束后如果大于0.5,就表示该边界框负责的目标属于该类。
另外,本实施例的行人检测算法模型用多个scale融合的方式做预测。原来的v2模型有一个层叫:passthroughlayer,该层作用是为了加强yolo算法对小目标检测的精确度。本实施例中的行人检测算法模型中采用类似FPN(featurepyramidnetworks)的upsample和融合做法 (最后融合了3个scale,其他两个scale的大小分别是26×26和52× 52),在多个scale的featuremap上做检测,越精细的gridcell就可以检测出越精细的物体,这样处理后对于小目标的检测效果提升明显。算法设定的是每个网格单元预测3个box,所以每个box需要有 (x,y,w,h,confidence)五个基本参数。行人检测算法模型输出了3个不同尺度的featuremap,y1,y2,y3。y1,y2和y3的深度都是255,边长的规律是13:26:52。每个预测任务得到的特征大小都为N×N×[3× (4+1+80)],N为格子大小,3为每个格子得到的边界框数量,4是边界框坐标数量,1是目标预测值,80是类别数量。对于COCO类别而言,有80个类别的概率,所以每个box应该对每个种类都输出一个概率。所以3×(5+80)=255,上述255就是这么来的,行人检测算法模型用上采样的方法来实现这种多尺度的featuremap。在Darknet-53得到的特征图的基础上,经过六个DBL结构和最后一层卷积层得到第一个特征图谱,在这个特征图谱上做第一次预测。y1支路上,从后向前的倒数第3个卷积层的输出,经过一个DBL结构和一次(2,2)上采样,将上采样特征与第2个Res8结构输出的卷积特征张量连接,经过六个DBL结构和最后一层卷积层得到第二个特征图谱,在这个特征图谱上做第二次预测。y2支路上,从后向前倒数第3个卷积层的输出,经过一个 DBL结构和一次(2,2)上采样,将上采样特征与第1个Res8结构输出的卷积特征张量连接,经过六个DBL结构和最后一层卷积层得到第三个特征图谱,在这个特征图谱上做第三次预测。就整个网络而言,行人检测算法模型多尺度预测输出的featuremap尺寸为y1:13× 13,y2:26×26,y3:52×52。网络接收一张416×416的图,经过5个步长为2的卷积来进行降采样416/25=13,y1输出13×13。从y1的倒数第二层的卷积层上采样(x2,upsampling)再与最后一个26×26大小的特征图张量连接,y2输出(26×26)。从y2的倒数第二层的卷积层上采样(x2,upsampling)再与最后一个52×52大小的特征图张量连接, y3输出(52×52)。
步骤S7,根据人脸框对行人原图像进行裁剪得到待匹配人脸图像,并将该待匹配人脸图像与目标行人信息中的人脸图像进行人脸识别。具体地:
首先根据上一阶段输出的人脸框的边框坐标值,对行人原图像中相应目标行人的人脸进行裁剪,上一阶段得到人脸框的坐标为: x1,y1,x2,y2,输入模型的人脸图像为原图像相应的位置图像: image=image[y1:y2,x1:x2]。然后将处理以后的人脸图像送进算法模型做人脸对齐,首先找到人脸的若干个基准关键点的坐标(N,5,2),N 个人,每个人5个关键点,然后分别有两个坐标(x,y),即两个眼睛、一个鼻子、两个嘴角,然后利用这些关键点通过相似变换(旋转,平移,缩放等),将人脸尽可能变换到标准人脸。
接下来,将标准人脸送进预先经过训练的人脸识别模型中,通过特征建模得到向量化的人脸特征,维度为[N,512]。一次性将数据库中目标行人的人脸图像的特征值加载入内存,用矩阵存储充分利用服务器上gpu的并行的特性加速计算,与实时得到的人脸特征值做矩阵乘法,计算余弦距离(这样的处理方式与传统和每一个特征做比较的方法相比,效率是1:N,得到了很大的提升)。找到结果中的最大值,判断该行人目标与数据库中预存的人物目标的匹配度,如果超过设置的阈值,则的视为识别成功。
步骤S8,当人脸识别的结果为匹配时,根据行人框对行人原图像进行裁剪得到新的全身图像,并将该新的全身图像与拍摄行人原图像的待识别摄像头的识别号对应存入输出缓存队列。
步骤S9,重复步骤S3至步骤S7直至各个待识别摄像头拍摄的视频中无法识别出目标行人。
本实施例中,在重复步骤S3时,会根据步骤S8中存入输出缓存队列的识别号来对应地获取具有道路连通关系的新的待识别摄像头。
通过上述过程,输出缓存队列中会暂存有各个摄像头对某个目标行人拍摄的全身图像,这一系列全身图像与对应的摄像头识别号构成了目标行人的移动轨迹,这些暂存在输出缓存队列中的数据会通过 zmq发送给客户端给后续算法使用可以用于后续算法使用来实现目标行人的监控、分析等处理。
另外,本实施例中,上述高速行人身份识别方法的各个步骤也可以形成对应的计算机程序,存储在计算机中形成一种高速行人身份识别装置,该高速行人身份识别装置具有与高速行人身份识别方法的各个步骤一一对应的摄像头信息存储部、目标行人识别存储部、待识别摄像头获取部、图像帧获取部、行人检测部、检测结果获取部、人脸识别部、输出部以及目标行人识别控制部,上述各部的运行过程与高速行人身份识别方法中各个步骤的运行过程相同,在此不再赘述。
实施例作用与效果
根据本实施例提供的高速行人身份识别方法及装置,由于预先获取有各个摄像头之间的道路连通关系,在识别出目标行人时,会获取与识别出目标行人的摄像头具有道路连通关系的摄像头作为待识别摄像头,并根据这些待识别摄像头的拍摄到的图像帧进行目标人员的行人识别,因此,在获取图像帧是过滤掉了不具有道路连通关系的摄像头,大大减少了需要处理的图像帧的数量,提高了行人识别的速度。还由于通过输入缓存队列作为缓冲空间对图象帧进行暂存,因此即使处理多路视频,发生网络阻塞或者算法模型的运行缓慢也不会造成中间流程的中断,并且考虑到了每个视频流的网络带宽不一样导致的传输速度差异而可能发生的传输速度快的视频流占据大量计算资源,而传输速度慢的视频流的数据得不到处理的情况,在队列设计时加入了根据视频源的不同而设置的位置次序,每个视频流截取的帧只有在属于自己的次序时才能够将视频帧存入队列中在后续的算法中送入模型处理。
在本实施例中,为了降低时间开销,人脸识别中需要检测是否存在人脸的人脸框坐标的这一部分放到行人检测模型中处理,通过训练数据同时得出行人框和该行人的人脸框,减少了人脸识别中的边框检测步骤减少了时间开销。
在本实施例中,还由于在最后的结果输出中也使用了输出缓存队列,避免需要给多个接收端传数据其中的部分通信接口出错而导致流程中断或者串行时间开销成本大的问题。
上述实施例仅用于举例说明本发明的具体实施方式,而本发明不限于上述实施例的描述范围。

Claims (7)

1.一种高速行人身份识别方法,通过设置在监控区域中的多个摄像头对目标行人进行高速身份识别,其特征在于,包括以下步骤:
步骤S1,预先获取每个所述摄像头的识别号以及各个所述摄像头对应的位置在所述监控区域中的道路连通关系;
步骤S2,通过设置在所述监控区域入口处的所述摄像头对进入所述监控区域的行人进行人脸识别,并将识别为所述目标行人的所述行人的人脸图像以及全身图像作为目标行人信息进行存储;
步骤S3,获取与识别出所述目标行人的所述摄像头具有对应的所述道路连通关系的所述摄像头作为待识别摄像头,
步骤S4,根据预定时间间隔从所述待识别摄像头拍摄到的视频中截取图像帧,并将所述图像帧按照所述待识别摄像头的所述识别号按序存入输入缓存队列中;
步骤S5,预先加载一次预存的行人检测算法模型,并将所述输入缓存队列中的图像帧按序输入到所述行人检测算法模型中进行处理,所述图像帧存入所述输入缓存队列和所述行人检测算法模型的运行通过多线程处理同时进行;
步骤S6,当所述行人检测算法模型从所述视频帧识别出目标行人时,获取所述行人检测算法模型输出的人脸框和行人框并获取对应的所述图像帧作为行人原图像;
步骤S7,根据所述人脸框对所述行人原图像进行裁剪得到待匹配人脸图像,并将该待匹配人脸图像与所述目标行人信息中的人脸图像进行人脸识别;
步骤S8,当所述人脸识别的结果为匹配时,根据所述行人框对所述行人原图像进行裁剪得到新的全身图像,并将该新的全身图像与拍摄所述行人原图像的所述待识别摄像头的识别号对应存入输出缓存队列;
步骤S9,重复所述步骤S3至所述步骤S7直至各个所述待识别摄像头拍摄的视频中无法识别出所述目标行人。
2.根据权利要求1所述的高速行人身份识别方法,其特征在于:
其中,所述输入缓存队列用于平衡所述图像帧的采集速度以及所述行人检测算法模型的运行效率之间的速度差异。
3.根据权利要求1所述的高速行人身份识别方法,其特征在于:
其中,数据库采用轻量级的sqlite用于数据的存取,所述全身图像以及所述人脸图像预先通过处理得到特征值并分别在所述步骤S5以及所述步骤S7中被一次性加载。
4.根据权利要求1所述的高速行人身份识别方法,其特征在于:
其中,所述行人检测算法模型采用以darknet-53为主干网络的单阶段网络yolov3模型,
所述主干网络由多个残差单元叠加而成,张量的尺寸变换通过改变卷积核的步长实现。
5.根据权利要求4所述的高速行人身份识别方法,其特征在于:
其中,所述行人检测算法模型的边框的初始尺寸采用k-means聚类的方式得到。
6.根据权利要求1所述的高速行人身份识别方法,其特征在于:
其中,所述行人检测算法模型采用用于多标签多分类的Logistic分类器。
7.一种高速行人身份识别装置,通过设置在监控区域中的多个摄像头对目标行人进行高速身份识别,其特征在于,包括:
摄像头信息存储部,预先获取每个所述摄像头的识别号以及各个所述摄像头对应的位置在所述监控区域中的道路连通关系;
目标行人识别存储部,通过设置在所述监控区域入口处的所述摄像头对进入所述监控区域的行人进行人脸识别,并将识别为所述目标行人的所述行人的人脸图像以及全身图像作为目标行人信息进行存储;
待识别摄像头获取部,获取与识别出所述目标行人的所述摄像头具有对应的所述道路连通关系的所述摄像头作为待识别摄像头;
图像帧获取部,根据预定时间间隔从所述待识别摄像头拍摄到的视频中截取图像帧,并将所述图像帧按照所述待识别摄像头的所述识别号按序存入输入缓存队列中;
行人检测部,预先加载一次预存的行人检测算法模型,并将所述输入缓存队列中的图像帧按序输入到所述行人检测算法模型中进行处理,所述图像帧存入所述输入缓存队列和所述行人检测算法模型的运行通过多线程处理同时进行;
检测结果获取部,当所述行人检测算法模型从所述视频帧识别出目标行人时,获取所述行人检测算法模型输出的人脸框和行人框并获取对应的所述图像帧作为行人原图像;
人脸识别部,根据所述人脸框对所述行人原图像进行裁剪得到待匹配人脸图像,并将该待匹配人脸图像与所述目标行人信息中的人脸图像进行人脸识别;
输出部,当所述人脸识别的结果为匹配时,根据所述行人框对所述行人原图像进行裁剪得到新的全身图像,并将该新的全身图像与拍摄所述行人原图像的所述待识别摄像头的识别号对应存入输出缓存队列;以及
目标行人识别控制部,控制待识别摄像头获取部根据所述输出缓存队列中的所述识别号获取新的待识别摄像头直至各个所述待识别摄像头拍摄的视频中无法识别出所述目标行人。
CN202110367156.3A 2021-04-06 2021-04-06 一种高速行人识别方法及装置 Active CN113095199B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110367156.3A CN113095199B (zh) 2021-04-06 2021-04-06 一种高速行人识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110367156.3A CN113095199B (zh) 2021-04-06 2021-04-06 一种高速行人识别方法及装置

Publications (2)

Publication Number Publication Date
CN113095199A true CN113095199A (zh) 2021-07-09
CN113095199B CN113095199B (zh) 2022-06-14

Family

ID=76674119

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110367156.3A Active CN113095199B (zh) 2021-04-06 2021-04-06 一种高速行人识别方法及装置

Country Status (1)

Country Link
CN (1) CN113095199B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114677633A (zh) * 2022-05-26 2022-06-28 之江实验室 基于多部件特征融合的行人检测多目标跟踪系统及方法
CN115183763A (zh) * 2022-09-13 2022-10-14 南京北新智能科技有限公司 一种基于人脸识别和栅格法的人员地图定位方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018133666A1 (zh) * 2017-01-17 2018-07-26 腾讯科技(深圳)有限公司 视频目标跟踪方法和装置
CN108764065A (zh) * 2018-05-04 2018-11-06 华中科技大学 一种行人重识别特征融合辅助学习的方法
CN108875588A (zh) * 2018-05-25 2018-11-23 武汉大学 基于深度学习的跨摄像头行人检测跟踪方法
CN109446946A (zh) * 2018-10-15 2019-03-08 浙江工业大学 一种基于多线程的多摄像头实时检测方法
CN109902573A (zh) * 2019-01-24 2019-06-18 中国矿业大学 面向矿井下视频监控的多摄像机无标注行人重识别方法
CN110070010A (zh) * 2019-04-10 2019-07-30 武汉大学 一种基于行人重识别的人脸属性关联方法
CN110609920A (zh) * 2019-08-05 2019-12-24 华中科技大学 一种视频监控场景下的行人混合搜索方法及系统
CN110852219A (zh) * 2019-10-30 2020-02-28 广州海格星航信息科技有限公司 一种多行人跨摄像头在线跟踪系统
CN111291633A (zh) * 2020-01-17 2020-06-16 复旦大学 一种实时行人重识别方法及装置
CN111860168A (zh) * 2020-06-18 2020-10-30 汉王科技股份有限公司 行人重识别方法、装置、电子设备及存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018133666A1 (zh) * 2017-01-17 2018-07-26 腾讯科技(深圳)有限公司 视频目标跟踪方法和装置
CN108764065A (zh) * 2018-05-04 2018-11-06 华中科技大学 一种行人重识别特征融合辅助学习的方法
CN108875588A (zh) * 2018-05-25 2018-11-23 武汉大学 基于深度学习的跨摄像头行人检测跟踪方法
CN109446946A (zh) * 2018-10-15 2019-03-08 浙江工业大学 一种基于多线程的多摄像头实时检测方法
CN109902573A (zh) * 2019-01-24 2019-06-18 中国矿业大学 面向矿井下视频监控的多摄像机无标注行人重识别方法
CN110070010A (zh) * 2019-04-10 2019-07-30 武汉大学 一种基于行人重识别的人脸属性关联方法
CN110609920A (zh) * 2019-08-05 2019-12-24 华中科技大学 一种视频监控场景下的行人混合搜索方法及系统
CN110852219A (zh) * 2019-10-30 2020-02-28 广州海格星航信息科技有限公司 一种多行人跨摄像头在线跟踪系统
CN111291633A (zh) * 2020-01-17 2020-06-16 复旦大学 一种实时行人重识别方法及装置
CN111860168A (zh) * 2020-06-18 2020-10-30 汉王科技股份有限公司 行人重识别方法、装置、电子设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WENZHENG QU 等: "Pedestrian Re-identification Monitoring System Based on Deep Convolutional Neural Network", 《IEEE ACCESS》 *
焦珊珊等: "多目标跨摄像头跟踪技术", 《国防科技》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114677633A (zh) * 2022-05-26 2022-06-28 之江实验室 基于多部件特征融合的行人检测多目标跟踪系统及方法
CN115183763A (zh) * 2022-09-13 2022-10-14 南京北新智能科技有限公司 一种基于人脸识别和栅格法的人员地图定位方法

Also Published As

Publication number Publication date
CN113095199B (zh) 2022-06-14

Similar Documents

Publication Publication Date Title
US10019631B2 (en) Adapting to appearance variations when tracking a target object in video sequence
US20200012923A1 (en) Computer device for training a deep neural network
US20180114071A1 (en) Method for analysing media content
CN111767882A (zh) 一种基于改进yolo模型的多模态行人检测方法
KR101179497B1 (ko) 얼굴 검출 방법 및 장치
CN111079674B (zh) 一种基于全局和局部信息融合的目标检测方法
US20120093396A1 (en) Digital image analysis utilizing multiple human labels
AU2014240213A1 (en) System and Method for object re-identification
CN108875456B (zh) 目标检测方法、目标检测装置和计算机可读存储介质
CN111401202A (zh) 一种基于深度学习的行人口罩佩戴实时检测方法
CN113095199B (zh) 一种高速行人识别方法及装置
CN112949578B (zh) 车灯状态识别方法、装置、设备及存储介质
WO2021243947A1 (zh) 对象再识别方法及装置、终端和存储介质
Cao et al. Learning spatial-temporal representation for smoke vehicle detection
CN113780145A (zh) 精子形态检测方法、装置、计算机设备和存储介质
WO2023279799A1 (zh) 对象识别方法、装置和电子系统
CN116824641A (zh) 姿态分类方法、装置、设备和计算机存储介质
CN109657577B (zh) 一种基于熵和运动偏移量的动物检测方法
CN114943873B (zh) 一种工地人员异常行为分类方法及装置
Putro et al. Fast eye detector using CPU based lightweight convolutional neural network
Park et al. Intensity classification background model based on the tracing scheme for deep learning based CCTV pedestrian detection
CN116189286A (zh) 一种视频图像暴力行为检测模型及检测方法
CN115565146A (zh) 基于自编码器获取鸟瞰图特征的感知模型训练方法及系统
Bhattacharya HybridFaceMaskNet: A novel face-mask detection framework using hybrid approach
Kim et al. Development of a real-time automatic passenger counting system using head detection based on deep learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant