CN111126208A - 行人归档方法、装置、计算机设备及存储介质 - Google Patents
行人归档方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN111126208A CN111126208A CN201911277660.3A CN201911277660A CN111126208A CN 111126208 A CN111126208 A CN 111126208A CN 201911277660 A CN201911277660 A CN 201911277660A CN 111126208 A CN111126208 A CN 111126208A
- Authority
- CN
- China
- Prior art keywords
- pedestrian
- target image
- face
- image
- positioning frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000013441 quality evaluation Methods 0.000 claims abstract description 30
- 238000004590 computer program Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 10
- 238000001303 quality assessment method Methods 0.000 claims 1
- 230000006870 function Effects 0.000 description 10
- 238000001514 detection method Methods 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 206010000117 Abnormal behaviour Diseases 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/50—Maintenance of biometric data or enrolment thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Quality & Reliability (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及人脸匹配技术领域,提供了一种行人归档方法、装置、计算机设备及存储介质,该行人归档方法包括:从获取的行人图像中提取属于同一行人的目标图像;计算目标图像中人脸的质量评估系数,当质量评估系数小于第一预设阈值时,将目标图像归类为无人脸子集;计算无人脸子集中的目标图像与预先归档的用户图像的匹配程度;当匹配程度未达到第一预设要求时,提取目标图像的属性信息;将属性信息和目标图像添加至新增行人档案,并根据属性信息生成唯一归档标识。通过本发明的实施,能够解决现有的行人归档方法存在行人图像的信息利用率较低的问题。
Description
技术领域
本发明涉及人脸匹配技术领域,尤其涉及一种行人归档方法、装置、计算机设备及存储介质。
背景技术
随着科学经济水平的不断提升,逐渐使用物力来代替人力对站、机场、海关等公共场所进行监测,以提高监测效率。通常,在公共场所已安装有大量的行人卡口摄像机,以检测关键位置行人特征,主要是包括对图像中的行人进行人脸检测、人脸识别、黑名单预警、人流量统计等。然而,通过摄像头进行监测时,在摄像头像素足以达到人脸检测和识别需求的前提下,广泛存在后脑勺和侧脸的情况,使得行人正脸的人脸检测与识别比较难,从而导致人脸检测的检出率不足,直接制约了卡口的布控效果。
综上所述,由于通过摄像头检测行人时,需要获得行人的正脸图像,否则无法对行人实现有效地检测,同时,对行人图像归档时无法充分地利用图像中的其他信息,不能满足后续的行人属性分析。因此,现有的行人归档方法存在行人图像的信息利用率较低的问题。
发明内容
本发明提供一种行人归档方法、装置、计算机设备及存储介质,以解决现有的行人归档方法存在行人图像的信息利用率较低的问题。
本发明的第一实施例提供一种行人归档方法,包括:
从获取的行人图像中提取属于同一行人的目标图像;
计算目标图像中人脸的质量评估系数,当质量评估系数小于第一预设阈值时,将目标图像归类为无人脸子集;
计算无人脸子集中的目标图像与预先归档的用户图像的匹配程度;
当匹配程度未达到第一预设要求时,提取目标图像的属性信息;
将属性信息和目标图像添加至新增行人档案,并根据属性信息生成唯一归档标识。
本发明的第二实施例提供一种行人归档方法装置,包括:
目标图像获取模块,用于从获取的行人图像中提取属于同一行人的目标图像;
质量评估系数模块,用于计算目标图像中人脸的质量评估系数,当质量评估系数小于第一预设阈值时,将目标图像归类为无人脸子集;
匹配程度获取模块,用于计算无人脸子集中的目标图像与预先归档的用户图像的匹配程度;
属性信息获取模块,用于当匹配程度未达到第一预设要求时,提取目标图像的属性信息;
归档模块,用于将属性信息和目标图像添加至新增行人档案,并根据属性信息生成唯一归档标识。
本发明的第三实施例提供一种计算机设备,包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序,处理器执行计算机程序时实现本发明的第一实施例提供的一种行人归档方法的步骤。
本发明的第四实施例提供一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序被处理器执行时实现本发明的第一实施例提供的一种行人归档方法的步骤。
本申请提供的行人归档方法、装置、计算机设备及存储介质中,首先从获取的行人图像中提取属于同一行人的目标图像,然后计算目标图像中人脸的质量评估系数,当质量评估系数小于第一预设阈值时,将目标图像归类为无人脸子集,再计算无人脸子集中的目标图像与预先归档的用户图像的匹配程度,当匹配程度未达到第一预设要求时,提取目标图像的属性信息,最后将属性信息和目标图像添加至新增行人档案,并根据属性信息生成唯一归档标识。对行人图像归档的同时,添加行人图像的属性信息,通过本发明的实施,解决了现有的行人归档方法存在行人图像的信息利用率较低的问题。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明的第一实施例的行人归档方法的一应用环境示意图;
图2是本发明的第一实施例的行人归档方法的流程图;
图3是本发明的第一实施例的行人归档方法中步骤11的流程图;
图4是本发明的第一实施例的行人归档方法中的又一流程图;
图5是本发明的第一实施例的行人归档方法中步骤13的流程图;
图6是本发明的第二实施例的行人归档方法装置的又一模块示意图;
图7是本发明的第二实施例的行人归档方法装置的又一模块示意图;
图8是本发明的第三实施例的计算机设备的一模块示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的第一实施例提供的行人归档方法,可应用于如图1所示的应用环境中,其中,客户端(计算机设备)通过网络与服务端进行通信。客户端将获取的行人图像发送至服务器,服务器从获取的行人图像中提取属于同一行人的目标图像,计算目标图像中人脸的质量评估系数,当质量评估系数小于第一预设阈值时,将目标图像归类为无人脸子集,计算无人脸子集中的目标图像与预先归档的用户图像的匹配程度,当匹配程度未达到第一预设要求时,提取目标图像的属性信息,将属性信息和目标图像添加至新增行人档案,并根据属性信息生成唯一归档标识。其中,客户端(计算机设备)可以但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务端可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
需要注意的是,如图1仅示出了本实施例的一种应用环境示意图,本实施例还可以应用于其他环境,而不对本实施例的实施环境做任何限制。例如,摄像头可以获取行人图像,并将获得的行人图像发送至服务器处理以进行归档。
在本发明的第一实施例中,如图2所示,提供一种行人归档方法,以该方法应用在图1中的服务端为例进行说明,包括如下步骤11至步骤15。
步骤11:从获取的行人图像中提取属于同一行人的目标图像。
其中,行人图像可以摄像头直接拍摄的图像,也可以是经过处理的拍摄的图像。在本实施例中,目标图像中的行人应当属于同一个人。
步骤111:获取行人图像。
其中,具体可以通过多种方式获取行人图像。例如,可以从摄像头拍摄视频的连续帧图像中获取包含有人体的人脸的图像,可以是摄像头直接拍摄的包含人体的图像,也可以是从预先存储的图像中获取包含有人体的图像,还可以是网络中搜索获取包含有人体的图像,此处不做具体限制。
步骤112:对行人图像进行行人定位处理得到包含行人的行人定位框,对行人图像进行人脸定位处理得到包含人脸的人脸定位框。
其中,具体是在VGG16网络架构中采用refineNet作为行人定位网络,通过预先训练好的行人定位网络提取行人图像中在各个维度上的特征,获得行人图像的多尺度特征,并根据该多尺度特征回归获得行人定位框。通过预先训练好的MTCNN(Multi-TaskConvolutional Neural Networks,多任务卷积神经网络)网络模型中的三阶的级联卷积神经网络(分别是P-Net、R-Net和O-Net)对行人图像进行处理,每阶级联卷积神经网络均分别对行人图像进行人脸/非人脸判定、人脸框回归和特征点定位,从而获得人脸定位框。
需要注意的是,获得预先训练好的行人定位网络包括:获取多张第一行人样本图像,使用低通滤波器对多张第一行人样本图像进行平滑处理,然后对第一行人样本图像进行降采样,从而得到一系列尺寸缩小的第一行人样本图像,通过行人定位网络提取第一行人样本图像中在各个维度上的特征,获得第一行人样本图像的多尺度特征,并根据该多尺度特征回归获得预测行人定位框,判断多张第一行人样本图像的预测行人定位框与实际行人定位框是否达到第一训练要求,若未达到第一训练要求,调整行人定位网络中各特征权重的大小,重复通过行人定位网络进行预测获得预测行人定位框,直至多张第一行人样本图像的预测行人定位框与实际行人定位框达到第一训练要求,将当前的行人定位网络作为预先训练好的行人定位网络。
获得预先训练好的MTCNN网络模型包括:获取多张第二行人样本图像,分别将多张第二行人样本图像输入到MTCNN网络模型,分别通过级联卷积神经网络(P-Net、R-Net和O-Net)进行特征提取,经由MCTNN网络模型输出预测人脸定位框,判断多张第二行人样本图像的预测人脸定位框与实际人脸定位框是否达到第二训练要求,若未达到第二训练要求,调整MCTNN网络模型中级联卷积神经网络(P-Net、R-Net和O-Net)的各特征权重的大小,重复通过MTCNN网络模型进行预测获得预测人脸定位框,直至多张第二行人样本图像的预测人脸定位框与实际人脸定位框达到第二训练要求,将当前的MTCNN网络模型作为预先训练好的MTCNN网络模型。
在上述训练过程中,第一行人样本图像和第二行人样本图像的数量越多,训练的结果越准确。在本实施例中,第一行人样本图像和第二行人样本图像可以是相同的图像,也可以是不同的图像。
步骤113:计算行人定位框和人脸定位框的重叠度。
其中,具体是通过如下式(1)计算行人定位框和人脸定位框的IoU(重叠度,Intersection over Union):
其中,I代表行人定位框与人脸定位框重叠的区域面积,U代表行人定位框与人脸定位框形成的并集区域。
步骤114:当重叠度大于第二预设阈值时,将行人定位框和人脸定位框形成的并集区域作为目标图像。
其中,第二预设阈值的大小可以预先确定,重叠度越大,行人定位框框选的区域与人脸定位框框选的区域属于同一行人的概率越大。当重叠度大于第二预设阈值时,将行人定位框和人脸定位框形成的并集区域作为一个整体,并作为目标图像。
需要注意的是,在上述步骤113和步骤114之间,还可以包括:将人脸定位框框选的区域进行按照一定比例进行缩放,从而获得经过缩放的人脸定位框。其中,缩放比例可以按照经验设定。
通过上述步骤111至步骤114的实施,对人脸图像进行行人定位和人脸定位获得行人定位框和人脸定位框,将行人定位框和人脸定位框相结合能够较大限度的定位行人目标,去掉行人定位框和人脸定位框重叠部分的矩形框,解决了部分目标遮挡、行人检测检出率不足等问题,获得了精确的行人检测结果以得到目标图像。
步骤12:计算目标图像中人脸的质量评估系数,当质量评估系数小于第一预设阈值时,将目标图像归类为无人脸子集。
其中,具体是使用深度学习算法计算目标图像中人脸的质量评估系数,质量评估系数可以是一个数值,也可以包含多种与人脸相关的数值构成,例如:人脸区域的角度值、人脸大小、人脸模糊度、人脸遮挡范围、人脸光照范围等等。
需要注意的是,当质量评估系数为一个具体数值时,也应当是先获得人脸区域的角度值、人脸大小、人脸模糊度、人脸遮挡范围、人脸光照范围等相关的评分系数,再分配每类系数的权重值,从而获得质量评估系数。
进一步地,作为本实施例的一种实施方式,该行人归档方法还包括:当质量评估系数大于第一预设阈值,且目标图像符合第一预设要求时,将目标图像添加至有人脸子集。
其中,具体是将目标图像添加至有人脸子集中,将目标图像与目标图像对应的目标进行关联。
通过将目标图像添加至有人脸子集,能够将目标图像进行归档保存,便于后续分析查找。
进一步地,作为本实施例的一种实施方式,如图4所示,该行人归档方法还包括以下步骤21至步骤24。
步骤21:当目标图像的质量评估系数大于第一预设阈值时,提取目标图像的人脸特征。
其中,具体是先获取目标图像中人脸位置,获得人脸关键点,调整目标图像中人脸角度后获取目标图像中各个像素的像素信息,然后对像素信息进行分析,从而获得目标图像的人脸特征。
步骤22:将人脸特征与预先存储的用户图像进行对比,判断是否预先储存有与目标图像对应的人脸信息。
其中,具体可以通过相似度算法计算人脸特征与预先存储的用户图像的人脸特征的相似度,当相似度达到规定要求时,则视为预先储存有与目标图像对应的人脸信息,若相似度未达到规定要求时,则视为预先储存没有与目标图像对应的人脸信息。相似度算可以是欧氏距离算法、余弦相似度算法等等,此处不做具体限制。
步骤23:当预先存储有与图像对应的人脸信息时,目标图像符合第一预设要求,将目标图像添加至有人脸子集。
其中,当预先存储有与图像对应的人脸信息时,即代表目标图像符合第一预设要求。
步骤24:当预先未存储与图像对应的人脸信息时,将目标图像添加至无人脸子集。
其中,上述步骤23和步骤24的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定。
通过上述步骤21至步骤24的实施,能够针对目标图像不同情况对目标图像进行归档保存,便于后续分析查找。
步骤13:计算无人脸子集中的目标图像与预先归档的用户图像的匹配程度。
其中,用户图像应当已经预先归档,一个用户的用户图像可以是多个。具体是计算无人脸子集中的目标图像与预先归档的用户图像之间的匹配程度。
进一步地,作为本实施例的一种实施方式,如图4所示,上述步骤13具体包括:
步骤131:提取目标图像的特征信息,根据特征信息生成第一特征集。
其中,具体是对目标图像中各个像素进行分析,得到目标图像中各个特征信息,将各个特征信息转换为第一特征集。
步骤132:根据用户图像获得预先存储的各个行人的归档特征,并根据各个行人的归档特征获得与各个行人对应的第二特征集。
需要注意的是,步骤131提取特征信息的方法应当与步骤132提取归档特征的方法相同,同时每个行人的第二特征集的数量应当是一个。第二特征可以是与上述步骤131同时实施,还可以是在预先对行人的目标图像归档时就生成,此处不做具体限制。
另外,在一些示例中,当一个行人有多张用户图像时,可以将从预先存储的多张用户图像中提取归档特征融同时对应到第二特征集中。例如,某一行人预先归档的用户图像数量有三张,分别获得第一特征{0,0,0,0,0,0},第二特征{1,1,0,0,0,0},第三特征{1,0,0,1,0,0},其中,0代表不具有某一特征,1代表具有某一特征,最终获得的第三特征集为{1,1,0,1,0,0}。
步骤133:计算获得与第一特征集匹配程度最高的第二特征集。
其中,具体可以使用匈牙利算法计算第一特征集与各个第二特征集之间的距离,距离越近,匹配程度越高,以得到与第一特征集中的各特征匹配程度最高的第二特征集。
步骤134:计算匹配程度最高的第二特征集与第一特征集的相似度。
其中,具体可以通过余弦相似度的方式计算匹配程度最高的第二特征集与第一特征集的相似度,并将该相似度作为目标图像与预先归档的用户图像的匹配程度。
通过上述步骤131至步骤134的实施,实现先提取目标图像的特征,然后根据特征生成特征集,将特征形成统一形成,有利于后续的比较,并通过匈牙利算法和余弦相似度算法计算获得目标图像与预先归档的用户图像的匹配程度,先获得匹配程度最高的第二特征集再来计算相似度,减少了计算的数据量,有利于提高归档的速度,并提高了与预先归档的用户图像进行匹配的精准度。
步骤14:当匹配程度未达到第一预设要求时,提取目标图像的属性信息。
其中,当匹配程度未达到第一预设要求时,具体是提取目标图像中的各个属性。例如性别、发型、上衣类别、颜色、裤子类别、颜色、是否戴眼镜、是否戴口罩、是否背包等属性信息。
另外,在一些示例中,可以从目标图像中获得肉眼可见的浅层属性,然后对浅层属性进行分析,获得较为深层的深层属性,从而对属性信息的提取更加全面。
进一步地,作为本实施例的一种实施方式,当匹配程度达到第一预设要求时,将目标图像添加至有人脸子集。
其中,当匹配程度达到第一预设要求时,具体是将目标图像添加至有人脸子集中,将目标图像与目标图像对应的目标进行关联。
通过将目标图像添加至有人脸子集,能够将目标图像进行归档保存,便于后续分析查找。
步骤15:将属性信息和目标图像添加至新增行人档案,并根据属性信息生成唯一归档标识。
其中,新增新人档案中应当没有实名信息,但可以通过唯一归档标识获得档案中对应的目标图像。具体可以根据属性信息生成唯一归档标识,还可以将属性信息中的各个属性生成索引,便于后续直接搜索,减少后续数据分析的过程。
通过上述步骤11至步骤15的实施,能够对行人图像归档的同时,添加行人图像的属性信息,并对目标图像的各种情况按照不同的方式进行归档,使得目标图像中的信息利用更加全面,为后续进行模糊条件检索、行人跨镜头跟踪、异常行为分析等提供证据,解决了现有的行人归档方法存在行人图像的信息利用率较低的问题。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
本发明的第二实施例提供一种行人归档方法装置,该行人归档方法装置与上述第一实施例提供的行人归档方法一一对应。
进一步地,如图6所示,该行人归档方法装置包括目标图像获取模块41、质量评估系数模块42、匹配程度获取模块43、属性信息获取模块44和归档模块45。各功能模块详细说明如下:
目标图像获取模块41,用于从获取的行人图像中提取属于同一行人的目标图像;
质量评估系数模块42,用于计算目标图像中人脸的质量评估系数,当质量评估系数小于第一预设阈值时,将目标图像归类为无人脸子集;
匹配程度获取模块43,用于计算无人脸子集中的目标图像与预先归档的用户图像的匹配程度;
属性信息获取模块44,用于当匹配程度未达到第一预设要求时,提取目标图像的属性信息;
归档模块45,用于将属性信息和目标图像添加至新增行人档案,并根据属性信息生成唯一归档标识。
进一步地,作为本实施例的一种实施方式,如图7所示,该目标图像获取模块41包括行人图像获取单元411、定位框获取单元412、重叠度获取单元413和目标图像获取单元414。各功能单元详细功能如下:
行人图像获取单元411,用于获取行人图像;
定位框获取单元412,用于对行人图像进行行人定位处理得到包含行人的行人定位框,对行人图像进行人脸定位处理得到包含人脸的人脸定位框;
重叠度获取单元413,用于计算行人定位框和人脸定位框的重叠度;
目标图像获取单元414,用于当重叠度大于第二预设阈值时,将行人定位框和人脸定位框形成的并集区域作为目标图像。
进一步地,作为本实施例的一种实施方式,该行人归档方法装置还包括有人脸子集添加模块。有人脸子集添加模块的详细功能如下:
有人脸子集添加模块,用于将目标图像添加至有人脸子集。
进一步地,作为本实施例的一种实施方式,该行人归档方法装置还包括人脸特征获取模块、人脸信息判断模块、第一预设要求判断模块和无人脸子集添加模块。各功能模块详细功能如下:
人脸特征获取模块,用于当目标图像的质量评估系数大于第一预设阈值时,提取目标图像的人脸特征;
人脸信息判断模块,用于将人脸特征与预先存储的用户图像进行对比,判断是否预先储存有与目标图像对应的人脸信息;
第一预设要求判断模块,用于当预先存储有与图像对应的人脸信息时,目标图像符合第一预设要求,将目标图像添加至有人脸子集;
无人脸子集添加模块,用于当预先未存储与图像对应的人脸信息时,将目标图像添加至无人脸子集。
进一步地,作为本实施例的一种实施方式,该行人归档方法装置还包括第二预设要求判断模块。第二预设要求判断模块的详细功能如下:
第二预设要求判断模块,用于当匹配程度达到第二预设要求时,将目标图像添加至有人脸子集。
进一步地,作为本实施例的一种实施方式,该匹配程度获取模块43包括第一特征集获取单元、第二特征集获取单元、匹配程度获取单元和相似度获取单元。各功能单元详细功能如下:
第一特征集获取单元,用于提取目标图像的特征信息,根据特征信息生成第一特征集;
第二特征集获取单元,用于根据用户图像获得预先存储的各个行人的归档特征,并根据各个行人的归档特征获得与各个行人对应的第二特征集;
匹配程度获取单元,用于计算获得与第一特征集匹配程度最高的第二特征集;
相似度获取单元,用于计算匹配程度最高的第二特征集与第一特征集的相似度。
关于行人归档方法装置的具体限定可以参见上文中对于行人归档方法的限定,在此不再赘述。上述行人归档方法装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
本发明的第三实施例提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储行人归档方法中涉及到的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现本发明的第一实施例提供的行人归档方法。
本发明的第四实施例提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现本发明的第一实施例提供的行人归档方法的步骤,例如图2所示的步骤11至步骤15、如图3所示的步骤121至步骤124、如图4所示的步骤21至步骤24以及如图5所示的步骤31至步骤34。或者,计算机程序被处理器执行时实现上述第一实施例提供的行人归档方法的各模块/单元的功能。为避免重复,这里不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。
Claims (10)
1.一种行人归档方法,其特征在于,所述行人归档方法包括:
从获取的行人图像中提取属于同一行人的目标图像;
计算所述目标图像中人脸的质量评估系数,当所述质量评估系数小于第一预设阈值时,将所述目标图像归类为无人脸子集;
计算所述无人脸子集中的所述目标图像与预先归档的用户图像的匹配程度;
当所述匹配程度未达到第一预设要求时,提取所述目标图像的属性信息;
将所述属性信息和所述目标图像添加至新增行人档案,并根据所述属性信息生成唯一归档标识。
2.根据权利要求1所述的行人归档方法,其特征在于,所述从获取的行人图像中提取属于同一行人的目标图像包括:
获取行人图像;
对所述行人图像进行行人定位处理得到包含所述行人的行人定位框,对所述行人图像进行人脸定位处理得到包含所述人脸的人脸定位框;
计算所述行人定位框和所述人脸定位框的重叠度;
当所述重叠度大于第二预设阈值时,将所述行人定位框和所述人脸定位框形成的并集区域作为所述目标图像。
3.根据权利要求1所述的行人归档方法,其特征在于,当所述质量评估系数大于第一预设阈值,且所述目标图像符合第一预设要求时,所述方法还包括:
将所述目标图像添加至有人脸子集。
4.根据权利要求3所述的行人归档方法,其特征在于,包括:
当所述目标图像的质量评估系数大于所述第一预设阈值时,提取所述目标图像的人脸特征;
将所述人脸特征与预先存储的所述用户图像进行对比,判断是否预先储存有与所述目标图像对应的人脸信息;
当预先存储有与所述图像对应的人脸信息时,所述目标图像符合第一预设要求,将所述目标图像添加至有人脸子集;
当预先未存储与所述图像对应的人脸信息时,将所述目标图像添加至无人脸子集。
5.根据权利要求1所述的行人归档方法,其特征在于,所述计算所述无人脸子集中的所述目标图像与预先归档的用户图像的匹配程度包括:
提取所述目标图像的特征信息,根据所述特征信息生成第一特征集;
根据所述用户图像获得预先存储的各个行人的归档特征,并根据所述各个行人的归档特征获得与各个行人对应的第二特征集;
计算获得与所述第一特征集匹配程度最高的第二特征集;
计算所述匹配程度最高的第二特征集与所述第一特征集的相似度。
6.根据权利要求1所述的行人归档方法,其特征在于,包括:
当所述匹配程度达到第一预设要求时,将所述目标图像添加至所述有人脸子集。
7.一种行人归档方法装置,其特征在于,包括:
目标图像获取模块,用于从获取的行人图像中提取属于同一行人的目标图像;
质量评估系数模块,用于计算所述目标图像中人脸的质量评估系数,当所述质量评估系数小于第一预设阈值时,将所述目标图像归类为无人脸子集;
匹配程度获取模块,用于计算所述无人脸子集中的所述目标图像与预先归档的用户图像的匹配程度;
属性信息获取模块,用于当所述匹配程度未达到第一预设要求时,提取所述目标图像的属性信息;
归档模块,用于将所述属性信息和所述目标图像添加至新增行人档案,并根据所述属性信息生成唯一归档标识。
8.根据权利要求7所述的行人归档装置,其特征在于,所述目标图像获取模块包括:
行人图像获取单元,用于获取行人图像;
定位框获取单元,用于对所述行人图像进行行人定位处理得到包含所述行人的行人定位框,对所述行人图像进行人脸定位处理得到包含所述人脸的人脸定位框;
重叠度获取单元,用于计算所述行人定位框和所述人脸定位框的重叠度;
目标图像获取单元,用于当所述重叠度大于第二预设阈值时,将所述行人定位框和所述人脸定位框形成的并集区域作为所述目标图像。
9.一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述行人归档方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述行人归档方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911277660.3A CN111126208B (zh) | 2019-12-11 | 2019-12-11 | 行人归档方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911277660.3A CN111126208B (zh) | 2019-12-11 | 2019-12-11 | 行人归档方法、装置、计算机设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111126208A true CN111126208A (zh) | 2020-05-08 |
CN111126208B CN111126208B (zh) | 2022-12-16 |
Family
ID=70498537
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911277660.3A Active CN111126208B (zh) | 2019-12-11 | 2019-12-11 | 行人归档方法、装置、计算机设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111126208B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112001243A (zh) * | 2020-07-17 | 2020-11-27 | 广州紫为云科技有限公司 | 一种行人重识别数据标注方法、装置及设备 |
CN112183490A (zh) * | 2020-11-04 | 2021-01-05 | 北京澎思科技有限公司 | 一种人脸抓拍图片归档方法及装置 |
CN112528078A (zh) * | 2020-12-16 | 2021-03-19 | 杭州海康威视数字技术股份有限公司 | 一种图像归档方法、装置及设备 |
CN112686141A (zh) * | 2020-12-29 | 2021-04-20 | 杭州海康威视数字技术股份有限公司 | 人员归档方法、装置及电子设备 |
CN113157641A (zh) * | 2021-02-07 | 2021-07-23 | 北京卓视智通科技有限责任公司 | 无牌车辆归档和查询方法、装置、系统、设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109344271A (zh) * | 2018-09-30 | 2019-02-15 | 南京物盟信息技术有限公司 | 视频人像档案处理方法及其系统 |
CN109710780A (zh) * | 2018-12-28 | 2019-05-03 | 上海依图网络科技有限公司 | 一种归档方法及装置 |
US20190197364A1 (en) * | 2017-12-22 | 2019-06-27 | Google Llc | Functional image archiving |
CN110378314A (zh) * | 2019-05-31 | 2019-10-25 | 北京金山云网络技术有限公司 | 一种人脸区域图像归档方法、装置、电子设备及存储介质 |
-
2019
- 2019-12-11 CN CN201911277660.3A patent/CN111126208B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190197364A1 (en) * | 2017-12-22 | 2019-06-27 | Google Llc | Functional image archiving |
CN109344271A (zh) * | 2018-09-30 | 2019-02-15 | 南京物盟信息技术有限公司 | 视频人像档案处理方法及其系统 |
CN109710780A (zh) * | 2018-12-28 | 2019-05-03 | 上海依图网络科技有限公司 | 一种归档方法及装置 |
CN110378314A (zh) * | 2019-05-31 | 2019-10-25 | 北京金山云网络技术有限公司 | 一种人脸区域图像归档方法、装置、电子设备及存储介质 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112001243A (zh) * | 2020-07-17 | 2020-11-27 | 广州紫为云科技有限公司 | 一种行人重识别数据标注方法、装置及设备 |
CN112183490A (zh) * | 2020-11-04 | 2021-01-05 | 北京澎思科技有限公司 | 一种人脸抓拍图片归档方法及装置 |
CN112528078A (zh) * | 2020-12-16 | 2021-03-19 | 杭州海康威视数字技术股份有限公司 | 一种图像归档方法、装置及设备 |
CN112686141A (zh) * | 2020-12-29 | 2021-04-20 | 杭州海康威视数字技术股份有限公司 | 人员归档方法、装置及电子设备 |
CN113157641A (zh) * | 2021-02-07 | 2021-07-23 | 北京卓视智通科技有限责任公司 | 无牌车辆归档和查询方法、装置、系统、设备及存储介质 |
CN113157641B (zh) * | 2021-02-07 | 2023-07-04 | 北京卓视智通科技有限责任公司 | 无牌车辆归档和查询方法、装置、系统、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111126208B (zh) | 2022-12-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111126208B (zh) | 行人归档方法、装置、计算机设备及存储介质 | |
CN109035299B (zh) | 目标跟踪方法、装置、计算机设备及存储介质 | |
CN110569721B (zh) | 识别模型训练方法、图像识别方法、装置、设备及介质 | |
CN111950329B (zh) | 目标检测及模型训练方法、装置、计算机设备和存储介质 | |
CN109543627B (zh) | 一种判断驾驶行为类别的方法、装置、及计算机设备 | |
WO2020199480A1 (zh) | 一种人体动作的识别方法及设备 | |
CN111222423B (zh) | 基于作业区域的目标识别方法、装置、计算机设备 | |
CN110516712B (zh) | 虫害图像识别方法、虫害监控方法、装置、设备及介质 | |
CN109325429B (zh) | 一种关联特征数据的方法、装置、存储介质及终端 | |
CN110706261A (zh) | 车辆违章检测方法、装置、计算机设备和存储介质 | |
US11900676B2 (en) | Method and apparatus for detecting target in video, computing device, and storage medium | |
CN110620905A (zh) | 视频监控方法、装置、计算机设备和存储介质 | |
CN111191533B (zh) | 行人重识别的处理方法、装置、计算机设备和存储介质 | |
CN109977895B (zh) | 一种基于多特征图融合的野生动物视频目标检测方法 | |
CN110046577B (zh) | 行人属性预测方法、装置、计算机设备和存储介质 | |
CN109670383B (zh) | 视频遮蔽区域选取方法、装置、电子设备及系统 | |
CN112989962B (zh) | 轨迹生成方法、装置、电子设备及存储介质 | |
CN109255802B (zh) | 行人跟踪方法、装置、计算机设备及存储介质 | |
CN112560796A (zh) | 人体姿态实时检测方法、装置、计算机设备及存储介质 | |
CN112001932A (zh) | 人脸识别方法、装置、计算机设备和存储介质 | |
CN111488855A (zh) | 疲劳驾驶检测方法、装置、计算机设备和存储介质 | |
CN111159476B (zh) | 目标对象的搜索方法、装置、计算机设备及存储介质 | |
CN110930434A (zh) | 目标对象跟踪方法、装置、存储介质和计算机设备 | |
CN112989910A (zh) | 电力目标检测方法、装置、计算机设备和存储介质 | |
CN111967311B (zh) | 情绪识别方法、装置、计算机设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP03 | Change of name, title or address |
Address after: No. 205, Building B1, Huigu Science and Technology Industrial Park, No. 336 Bachelor Road, Bachelor Street, Yuelu District, Changsha City, Hunan Province, 410000 Patentee after: Wisdom Eye Technology Co.,Ltd. Address before: 410000 building 14, phase I, Changsha Zhongdian Software Park, No. 39, Jianshan Road, high tech Development Zone, Changsha City, Hunan Province Patentee before: Wisdom Eye Technology Co.,Ltd. |
|
CP03 | Change of name, title or address |