CN114648059A - 一种人像识别追踪方法及系统 - Google Patents
一种人像识别追踪方法及系统 Download PDFInfo
- Publication number
- CN114648059A CN114648059A CN202210204349.1A CN202210204349A CN114648059A CN 114648059 A CN114648059 A CN 114648059A CN 202210204349 A CN202210204349 A CN 202210204349A CN 114648059 A CN114648059 A CN 114648059A
- Authority
- CN
- China
- Prior art keywords
- portrait
- information
- tracking
- identified
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请提供了一种人像识别追踪方法及系统,在本申请提供的方法中,先获取待识别视频序列中的所有图像帧;再依次识别并提取所有图像帧中至少一个人像及对应的人像信息;将符合预设条件的人像信息存储至预先创建的追踪数据库,并基于依次提取到的人像信息对比追踪数据库信息更新追踪数据库以实现对待识别视频序列中的人像追踪,实现了在不受约束的视频序列中执行准确的多人识别,在面部遮挡或隐藏时仍能成功进行人像的追踪识别。
Description
技术领域
本申请涉及图像识别技术领域,特别是涉及一种人像识别追踪方法及系统。
背景技术
人像追踪识别主要应用于安防监控,传统方法已经能基于手工制作的功能来执行沿帧检测到的人之间的对应关系,现在随着技术的发展延伸,提出了一种具有特定相似性指标的网络流方法,以生成基于外观的模型,该模型用于估算候选对象之间的小轨迹相似性。
随着近年来,应用于面部识别的深度学习技术已导致多人重新识别性能的提高,其中包括深脸识别方法,使用卷积神经网络和三重损失功能对沿帧的脸部进行识别;而端到端的人脸检测方法,通过对于人脸技术的识别来进行视频中人像追踪。但是当面部在翻转时被遮挡或隐藏时,或者由于不同的姿势和方向或光照,阴影或模糊效果而使面部呈现出高度可变性时,它们的重新识别将会丢失,从而无法准确且有效的人像追踪。
发明内容
本申请的目的在于克服上述问题或者至少部分地解决或缓减解决上述问题。
根据本申请的一个方面,提供了一种人像识别追踪方法,包括:
获取待识别视频序列中的所有图像帧;
依次识别并提取所述所有图像帧中至少一个人像及对应的人像信息;其中,所述人像信息包括人物纹理信息、面部信息和姿势信息;
将符合预设条件的所述人像信息存储至预先创建的追踪数据库,并基于依次提取到的所述人像信息对比所述追踪数据库信息以更新所述追踪数据库;
利用更新后的所述追踪数据库实现对所述待识别视频序列中的人像追踪。
可选地,所述依次识别并提取所述所有图像帧中至少一个人像及对应的人像信息,包括:
基于各所述图像帧,依次利用卷积神经网络获取至少一个人像对应的纹理信息;
使用CNN-VGG人脸网络对各所述图像帧进行图像划分,识别各人像对应的面部特征向量,得到每个人像对应的面部信息;
提取识别出的各所述人像的2D姿势信息;所述2D姿势信息用于检测相邻连续两帧中的所述人像的姿势相似性。
可选地,所述基于各所述图像帧,依次利用卷积神经网络获取至少一个人像对应的纹理信息,包括:
对于各所述图像帧中属于字符掩码的每个像素,采用向量集的表示方法表示所述每个像素对应的颜色通道;
基于所述每个像素对应的颜色通道,采用3D模型纹理坐标对应关系表示所述每个像素所属人像的纹理图,从而获得各所述图像帧中至少一个人像对应的纹理信息。
可选地,所述提取识别出的各所述人像的2D姿势信息之后,所述方法还包括:
提取所述所有图像帧中识别出的各所述人像的2D姿势信息;其中,所述2D姿势信息包括所述人像的关节位置坐标;
对比相邻连续两帧中各所述人像的关节位置坐标的接近度,检测所述相邻连续两帧中各所述人像的姿势相似性,以确定相同人像。
可选地,所述将符合预设条件的所述人像信息存储至预先创建的追踪数据库,并基于依次提取到的所述人像信息对比所述追踪数据库信息以更新所述追踪数据库,包括:
按所述待识别视频序列中的图像帧顺序依次将所述人像作为候选追踪对象;
根据各所述候选追踪对象的所述人像信息计算各所述候选追踪对象之间的欧几里得距离并进行归一化,得到归一化结果;
根据归一化结果确定所述候选追踪对象中的目标追踪对象,并将所述目标追踪对象对应的人像信息存储至所述追踪数据库中。
根据本申请的另一个方面,提供了一种人像识别追踪系统,包括:
图像帧识别模块,其配置成获取待识别视频序列中的所有图像帧;
人像信息提取模块,其配置成依次识别并提取所述所有图像帧中至少一个人像及对应的人像信息;其中,所述人像信息包括人物纹理信息、面部信息和姿势信息;
追踪数据库更新模块,其配置成将符合预设条件的所述人像信息存储至预先创建的追踪数据库,并基于依次提取到的所述人像信息对比所述追踪数据库信息以更新所述追踪数据库;
人像追踪模块,其配置成利用更新后的所述追踪数据库实现对所述待识别视频序列中的人像追踪。
可选地,所述人像信息提取模块,其还配置成:
基于各所述图像帧,依次利用卷积神经网络获取至少一个人像对应的纹理信息;
使用CNN-VGG人脸网络对各所述图像帧进行图像划分,识别各人像对应的面部特征向量,得到每个人像对应的面部信息;
提取识别出的各所述人像的2D姿势信息;所述2D姿势信息用于检测相邻连续两帧中的所述人像的姿势相似性。
可选地,所述人像信息提取模块,其还配置成:
对于各所述图像帧中属于字符掩码的每个像素,采用向量集的表示方法表示所述每个像素对应的颜色通道;
基于所述每个像素对应的颜色通道,采用3D模型纹理坐标对应关系表示所述每个像素所属人像的纹理图,从而获得各所述图像帧中至少一个人像对应的纹理信息。
可选地,所述人像信息提取模块,其还配置成:
提取所述所有图像帧中识别出的各所述人像的2D姿势信息;其中,所述2D姿势信息包括所述人像的关节位置坐标;
对比相邻连续两帧中各所述人像的关节位置坐标的接近度,检测所述相邻连续两帧中各所述人像的姿势相似性,以确定相同人像。
可选地,所述追踪数据库更新模块,其还配置成:
按所述待识别视频序列中的图像帧顺序依次将所述人像作为候选追踪对象;
根据各所述候选追踪对象的所述人像信息计算各所述候选追踪对象之间的欧几里得距离并进行归一化,得到归一化结果;
根据归一化结果确定所述候选追踪对象中的目标追踪对象,并将所述目标追踪对象对应的人像信息存储至所述追踪数据库中。
本申请还提供了一种计算设备,包括存储器、处理器和存储在所述存储器内并能由所述处理器运行的计算机程序,其中,所述处理器执行所述计算机程序时实现如上述任一项所述的人像识别追踪方法。
本申请还提供了一种计算机可读存储介质,优选为非易失性可读存储介质,其内存储有计算机程序,所述计算机程序在由处理器执行时实现如上述任一项所述的人像识别追踪方法。
本申请提供了一种人像识别追踪方法及系统,在本申请提供的人像识别追踪方法中,通过对视频序列中的所有图像帧进行获取并识别至少一个人像对应的包括面部、纹理以及姿势信息的人像信息,将提取到的人像信息存储到追踪数据库中进行实时更新,进而实现待识别序列中的人像追踪,本申请提供的方法实现了在不受约束的视频序列中执行准确的多人识别,在面部遮挡或隐藏时仍能成功进行人像的追踪识别。通过面部与纹理信息的组合,实现对视频中人像的快速以及准确的识别追踪。
根据下文结合附图对本申请的具体实施例的详细描述,本领域技术人员将会更加明了本申请的上述以及其他目的、优点和特征。
附图说明
后文将参照附图以示例性而非限制性的方式详细描述本申请的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解,这些附图未必是按比例绘制的。附图中:
图1是根据本申请实施例的一种人像识别追踪方法流程示意图;
图2是根据本申请实施例的一种人像识别追踪系统结构示意图;
图3是根据本申请实施例的计算设备示意图;
图4是根据本申请实施例的计算机可读存储介质示意图。
具体实施方式
图1是根据本申请实施例的一种人像识别追踪方法流程示意图。参见图1所知,本申请实施例提供的一种人像识别追踪方法流程示意图至少可以包括以下步骤S101~S104。
步骤S101:获取待识别视频序列中的所有图像帧;
步骤S102:依次识别并提取所有图像帧中至少一个人像及对应的人像信息;
步骤S103:将符合预设条件的人像信息存储至预先创建的追踪数据库,并基于依次提取到的人像信息对比所述追踪数据库信息以更新追踪数据库;
步骤S104:利用更新后的追踪数据库实现对待识别视频序列中的人像追踪。
基于本申请提供的一种人像识别追踪方法,在本申请提供的人像识别追踪方法中,通过对视频序列中的所有图像帧进行获取并识别至少一个人像对应的包括面部、纹理以及姿势信息的人像信息,将提取到的人像信息存储到追踪数据库中进行实时更新,进而实现待识别序列中的人像追踪,本申请实施例提供的方法实现了在不受约束的视频序列中执行准确的多人识别,在面部遮挡或隐藏时仍能成功进行人像的追踪识别。
下面分别对上述实施例提及的电子印章认证授权方法进行详细说明。
首先,如步骤S101,获取待识别视频序列中的所有图像帧。
本申请实施例中,待识别视频序列是由多个连续的图像帧组成的任一类型的视频帧序列,如通过摄像头采集的连续的视频帧序列或者是预先创建的视频帧序列,待识别视频帧序列用于进行人像识别并进行追踪。
接下来执行步骤S102,依次识别并提取所有图像帧中至少一个人像及对应的人像信息。其中,人像信息包括人物纹理信息、面部信息和姿势信息。
在本实施例中,可以通过以下步骤S102-1~S102-3分别提取人像信息中的人物纹理信息、面部信息和姿势信息。
S102-1:基于各图像帧,依次利用卷积神经网络获取至少一个人像对应的纹理信息。
在本申请一可选实施例中,上述步骤S102-1基于各所述图像帧,依次利用卷积神经网络获取至少一个人像对应的纹理信息时可以包括:对于各图像帧中属于字符掩码的每个像素,采用向量集的表示方法表示图像帧中的每个像素对应的颜色通道,即(R,G,B)通道;再基于所述每个像素对应的颜色通道,采用3D模型纹理坐标对应关系表示每个像素所属人像的纹理图,从而获得各图像帧中至少一个人像对应的纹理信息。
获取人像对应的纹理信息,要先获得属于字符像素与3D模型纹理之间的对应关系。在本实施例中,字符像素与3D模型纹理之间的对应关系可以通过Densepose模型处理每一图像帧的密集姿势,以获取检测到的人像对应的纹理信息;其中,密集姿势可以是存在背景、有遮挡的人像,本申请实施例对此不做限定。
Densepose模型基础架构是CNN,是经过大量密集姿势数据集训练形成的成熟模型,是一个人体实时姿势识别系统,它在2D图像和人体3D模型之间建立映射,最终实现密集人群的实时姿态识别。具体来说,DensePose模型利用深度学习将2D RPG图像坐标映射到3D人体表面,把一个人分割成许多UV贴图(UV坐标),然后处理密集坐标,实现动态人物的精确定位和姿态估计。
S102-2:使用CNN-VGG人脸网络对各图像帧进行图像划分,识别各人像对应的面部特征向量,得到每个人像对应的面部信息。
在对各图像帧进行图像划分之前,要先使用语义分割来检测出现在图像帧中的所有的像素以及像素对应的人体或者或如汽车、建筑等个人对象。实际应用中,语义分割是一项高层次的任务,为实现场景的完整理解铺平了道路,采用CNN或其他模型进行像素分析和归类,是从粗推理到精推理的自然步骤如下:
(1)原点可以定位在分类,分类包括对整个输入进行预测;
(2)本地化检测,它不仅提供类,还提供关于这些类的空间位置的附加信息;
(3)通过对每个像素进行密集的预测、推断标签来实现细粒度的推理,从而使每个像素都被标记为区域的类别。
本实施例中主要针对人像对应的像素进行提取识别,对于基于各图像帧所识别处的人体来讲,还需要提取每个人像对应的头部区域,以利用该头部区域进行面部识别。可选地,获取到人像的头部区域后,使用CNN-VGG人脸网络获得每个人像面部的特征向量,即,根据图像像素的数据(位置、颜色、数据等)输入到CNN-VGG人脸网络中,以利用CNN-VGG人脸网络根据数据的图像像素的数据转换为对应的特征向量,以作为面部信息。CNN-VGG网络主要工作是证明了增加网络的深度能够在一定程度上影响网络最终的性能。本申请实施例提取该网络的全卷积层fc7,以得到具有人像特征的4096维矢量,该矢量将用于识别沿帧的面部。
S102-3:提取识别出的各人像的2D姿势信息,2D姿势信息可以用于检测相邻连续两帧中的人像的姿势相似性。
本实施例中的2D姿势信息可以包括人像的关节位置坐标,提取2D姿势可以采用很多方法,例如Openpose方法,提取2D姿势以用于从连续帧中检测到的像素之间的姿势相似性。人像的关节位置坐标是对应于图像上的位置坐标,该位置坐标可直接利用2D图像获得,具体地,包括至少五个关节对应的位置坐标。关节包括但不限于颈椎、左手关节、左腕关节、右手关节、右腕关节、左腿关节、右腿关节等等。
实际应用中,同一人像在相邻的两个帧之间可能由于遮挡或是光纤问题而表现出不同的纹理信息以及面部信息,因此,本实施例中,还可以先利用提取出的所述2D姿势信息检测相邻连续两帧中的所述人像的姿势相似性,根据相似性检测结果确定相同人像。也就是说,提取出2D姿势信息后,通过对比相邻连续两帧中人像的2D姿势信息的接近度,检测相邻连续两帧中各人像的姿势相似性以判断是否为同一人像,具体地,可以通过对比连续两帧中的人像的关节位置坐标来检测人像的姿势相似性,从而确定相同人像,以进一步提升人像追踪的准确性。本实施例中,仅考虑具有最小像素区域大小且至少检测到5个关节的位置坐标,这里的最小区域指的是包含最少5个关节的最小区域,例如站立人体情况下,会选择颈椎、左手关节、左腕关节、右手关节、右腕关节,而并非选择颈椎、左腿关节、左腕关节、右腿关节、右腕关节。
进一步地,在上述步骤S102识别并提取到人像信息后,如步骤S103所述,将符合预设条件的人像信息存储至预先创建的追踪数据库,并基于依次提取到的人像信息对比追踪数据库信息以更新追踪数据库。
在本申请一可选实施例中,上述步骤S103可以包括:
S103-1,按待识别视频序列中的图像帧顺序依次将人像作为候选追踪对象。本实施例中,只要是待识别视频序列中出现的人像均可作为候选追踪对象,或者是如果连续多帧(如5帧)检测到对应同一个人的人像,那么可以确定该人像为候选追踪对象,对于每一个候选追踪对象来讲,均有唯一对应的对象标识,并且对象标识可以可以和对应的人像信息、追踪信息进行关联。
可选地,本实施例可以预先创建一个用于存储被追踪人员相关数据的追踪数据库,追踪数据库中,各个被追踪对象及其唯一标识和对应的人像数据进行对应存储。对于所识别处的任一人像来讲,可以先确定追踪数据库中是否有对应的对象标识,如果有,则说明该人像的追踪任务已创建并具有关联的追踪数据,如果没有,则可以为该人像创建唯一对象标识,并建立追踪任务已存储追踪数据。与此同时,追踪数据库中各个被追踪对象关联的追踪数据可以包括具有该被追踪对象的至少一个视频序列、被追踪对象在各视频序列中出现的视频帧、在每个视频帧中的位姿信息等相关信息。
S103-2,根据各所述候选追踪对象的所述人像信息计算各所述候选追踪对象之间的欧几里得距离并进行归一化,得到归一化结果。
S103-3,根据归一化结果确定所述候选追踪对象中的目标追踪对象,并将所述目标追踪对象对应的人像信息存储至所述追踪数据库中。
确定候选追踪对象并取得各候选追踪对象对应的人像信息后,结合人像信息中的纹理信息和面部信息计算各个候选追踪对象的欧几里得距离,再将距离归一化得到归一化结果。具体地,可以分别根据纹理信息、面部信息和/或姿势信息单独计算欧几里得距离,或整理作为参数计算欧几里得距离,如果判断任意两个候选追踪对象标准化距离小于定义的阈值,即表示满足面部十分相似或者纹理十分相似,则确定这两个候选追踪对象匹配,即指向同一被追踪对象。
如果多个候选追踪对象匹配同一个被追踪对象,将与该被追踪对象平均距离最小的候选追踪对象建立最终匹配,正确执行匹配后,将使用相关候选追踪对象作为目标追踪对象,并将目标追踪对象对应的人像信息更新追踪数据库,通过保留90%的跟踪字符历史记录并使用新参数更新10%来执行此更新,之后候选追踪对象与任何被跟踪人无关的人都被视为在后续帧中要跟踪的潜在新对象。
本申请实施例数据库中的数据是实时更新的,当目标追踪对象的人像图像在数据库中没有检测到,便会存入数据库并开始建立追踪。
基于同一发明构思,本申请实施例还提供了一种人像识别追踪系统,如图2所示,本申请实施例提供的人像识别追踪系统可以包括:
图像帧识别模块210,其配置成获取待识别视频序列中的所有图像帧;
人像信息提取模块220,其配置成依次识别并提取所有图像帧中至少一个人像及对应的人像信息;其中,人像信息包括人物纹理信息、面部信息和姿势信息;
追踪数据库更新模块230,其配置成将符合预设条件的人像信息存储至预先创建的追踪数据库,并基于依次提取到的人像信息对比所述追踪数据库信息以更新所述追踪数据库;
人像追踪模块240,其配置成利用更新后的所述追踪数据库实现对所述待识别视频序列中的人像追踪。
本申请一可选实施例中,人像信息提取模块220,其还可以配置成:
基于各图像帧,依次利用卷积神经网络获取至少一个人像对应的纹理信息;
使用CNN-VGG人脸网络对各图像帧进行图像划分,识别各人像对应的面部特征向量,得到每个人像对应的面部信息;
提取识别出的各所述人像的2D姿势信息;所述2D姿势信息用于检测相邻连续两帧中的所述人像的姿势相似性。
本申请一可选实施例中,人像信息提取模块220,其还可以配置成:
对于各图像帧中属于字符掩码的每个像素,采用向量集的表示方法表示每个像素对应的颜色通道;
基于每个像素对应的颜色通道,采用3D模型纹理坐标对应关系表示所述每个像素所属人像的纹理图,从而获得各图像帧中至少一个人像对应的纹理信息。
本申请一可选实施例中,人像信息提取模块220,其还可以配置成:
提取所有图像帧中识别出的各人像的2D姿势信息;其中,2D姿势信息包括人像的关节位置坐标;
对比相邻连续两帧中各人像的关节位置坐标的接近度,检测相邻连续两帧中各人像的姿势相似性。
本申请一可选实施例中,追踪数据库更新模块230,其还可以配置成:
按所述待识别视频序列中的图像帧顺序依次将所述人像作为候选追踪对象;
根据各所述候选追踪对象的所述人像信息计算各所述候选追踪对象之间的欧几里得距离并进行归一化,得到归一化结果;
根据归一化结果确定所述候选追踪对象中的目标追踪对象,并将所述目标追踪对象对应的人像信息存储至所述追踪数据库中。
本申请还提供了一种计算设备,包括存储器、处理器和存储在所述存储器内并能由所述处理器运行的计算机程序,其中,所述处理器执行所述计算机程序时实现如上述实施例所述的人像识别追踪方法。
本申请还提供了一种计算机可读存储介质,优选为非易失性可读存储介质,其内存储有计算机程序,所述计算机程序在由处理器执行时实现如上述实施例所述的人像识别追踪方法。
基于本申请提供的一种人像识别追踪方法及系统,先获取待识别视频序列中的所有图像帧;再依次识别并提取所有图像帧中至少一个人像及对应的人像信息;将符合预设条件的人像信息存储至预先创建的追踪数据库,并基于依次提取到的人像信息对比追踪数据库信息更新追踪数据库以实现对待识别视频序列中的人像追踪,实现了在不受约束的视频序列中执行准确的多人识别,在面部遮挡或隐藏时仍能成功进行人像的追踪识别。
根据下文结合附图对本申请的具体实施例的详细描述,本领域技术人员将会更加明了本申请的上述以及其他目的、优点和特征。
本申请实施例还提供了一种计算设备,参照图3,该计算设备包括存储器320、处理器310和存储在所述存储器320内并能由所述处理器310运行的计算机程序,该计算机程序存储于存储器320中的用于程序代码的空间330,该计算机程序在由处理器310执行时实现用于执行任一项根据本申请实施例的方法步骤331。
本申请实施例还提供了一种计算机可读存储介质。参照图4,该计算机可读存储介质包括用于程序代码的存储单元,该存储单元设置有用于执行根据本申请实施例的方法步骤的程序331′,该程序被处理器执行。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、获取其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
专业人员应该还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令处理器完成,所述的程序可以存储于计算机可读存储介质中,所述存储介质是非短暂性(英文:non-transitory)介质,例如随机存取存储器,只读存储器,快闪存储器,硬盘,固态硬盘,磁带(英文:magnetic tape),软盘(英文:floppy disk),光盘(英文:optical disc)及其任意组合。
以上所述,仅为本申请较佳的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应该以权利要求的保护范围为准。
Claims (10)
1.一种人像识别追踪方法,包括:
获取待识别视频序列中的所有图像帧;
依次识别并提取所述所有图像帧中至少一个人像及对应的人像信息;其中,所述人像信息包括人像纹理信息、面部信息和姿势信息;
将符合预设条件的所述人像信息存储至预先创建的追踪数据库,并基于依次提取到的所述人像信息对比所述追踪数据库信息以更新所述追踪数据库;
利用更新后的所述追踪数据库实现对所述待识别视频序列中的人像追踪。
2.根据权利要求1所述的方法,其特征在于,所述依次识别并提取所述所有图像帧中至少一个人像及对应的人像信息,包括:
基于各所述图像帧,依次利用卷积神经网络获取至少一个人像对应的纹理信息;
使用CNN-VGG人脸网络对各所述图像帧进行图像划分,识别各人像对应的面部特征向量,得到每个人像对应的面部信息;
提取识别出的各所述人像的2D姿势信息;所述2D姿势信息用于检测相邻连续两帧中的所述人像的姿势相似性。
3.根据权利要求2所述的方法,其特征在于,所述基于各所述图像帧,依次利用卷积神经网络获取至少一个人像对应的纹理信息,包括:
对于各所述图像帧中属于字符掩码的每个像素,采用向量集的表示方法表示所述每个像素对应的颜色通道;
基于所述每个像素对应的颜色通道,采用3D模型纹理坐标对应关系表示所述每个像素所属人像的纹理图,从而获得各所述图像帧中至少一个人像对应的纹理信息。
4.根据权利要求2所述的方法,其特征在于,所述提取识别出的各所述人像的2D姿势信息之后,所述方法还包括:
提取所述所有图像帧中识别出的各所述人像的2D姿势信息;其中,所述2D姿势信息包括所述人像的关节位置坐标;
对比相邻连续两帧中各所述人像的关节位置坐标的接近度,检测所述相邻连续两帧中各所述人像的姿势相似性,以确定相同人像。
5.根据权利要求2所述的方法,其特征在于,所述将符合预设条件的所述人像信息存储至预先创建的追踪数据库,并基于依次提取到的所述人像信息对比所述追踪数据库信息以更新所述追踪数据库,包括:
按所述待识别视频序列中的图像帧顺序依次将所述人像作为候选追踪对象;
根据各所述候选追踪对象的所述人像信息计算各所述候选追踪对象之间的欧几里得距离并进行归一化,得到归一化结果;
根据归一化结果确定所述候选追踪对象中的目标追踪对象,并将所述目标追踪对象对应的人像信息存储至所述追踪数据库中。
6.一种人像识别追踪系统,包括:
图像帧识别模块,其配置成获取待识别视频序列中的所有图像帧;
人像信息提取模块,其配置成依次识别并提取所述所有图像帧中至少一个人像及对应的人像信息;其中,所述人像信息包括人物纹理信息、面部信息和姿势信息;
追踪数据库更新模块,其配置成将符合预设条件的所述人像信息存储至预先创建的追踪数据库,并基于依次提取到的所述人像信息对比所述追踪数据库信息以更新所述追踪数据库;
人像追踪模块,其配置成利用更新后的所述追踪数据库实现对所述待识别视频序列中的人像追踪。
7.根据权利要求6所述的系统,其特征在于,所述人像信息提取模块,其还配置成:
基于各所述图像帧,依次利用卷积神经网络获取至少一个人像对应的纹理信息;
使用CNN-VGG人脸网络对各所述图像帧进行图像划分,识别各人像对应的面部特征向量,得到每个人像对应的面部信息;
提取识别出的各所述人像的2D姿势信息;所述2D姿势信息用于检测相邻连续两帧中的所述人像的姿势相似性。
8.根据权利要求7所述的系统,其特征在于,所述人像信息提取模块,其还配置成:
对于各所述图像帧中属于字符掩码的每个像素,采用向量集的表示方法表示所述每个像素对应的颜色通道;
基于所述每个像素对应的颜色通道,采用3D模型纹理坐标对应关系表示所述每个像素所属人像的纹理图,从而获得各所述图像帧中至少一个人像对应的纹理信息。
9.一种计算设备,包括存储器、处理器和存储在所述存储器内并能由所述处理器运行的计算机程序,其中,所述处理器执行所述计算机程序时实现如权利要求1-7中任一项所述的人像识别追踪方法。
10.一种计算机可读存储介质,优选为非易失性可读存储介质,其内存储有计算机程序,所述计算机程序在由处理器执行时实现如权利要求1-7中任一项所述的人像识别追踪方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210204349.1A CN114648059A (zh) | 2022-03-03 | 2022-03-03 | 一种人像识别追踪方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210204349.1A CN114648059A (zh) | 2022-03-03 | 2022-03-03 | 一种人像识别追踪方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114648059A true CN114648059A (zh) | 2022-06-21 |
Family
ID=81992799
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210204349.1A Pending CN114648059A (zh) | 2022-03-03 | 2022-03-03 | 一种人像识别追踪方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114648059A (zh) |
-
2022
- 2022-03-03 CN CN202210204349.1A patent/CN114648059A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109657631B (zh) | 人体姿态识别方法及装置 | |
CN109558832B (zh) | 一种人体姿态检测方法、装置、设备及存储介质 | |
CN107563286B (zh) | 一种基于Kinect深度信息的动态手势识别方法 | |
Ahmed et al. | Vision based hand gesture recognition using dynamic time warping for Indian sign language | |
CN109685013B (zh) | 人体姿态识别中头部关键点的检测方法及装置 | |
Dagnes et al. | Occlusion detection and restoration techniques for 3D face recognition: a literature review | |
TW201828158A (zh) | 視頻目標跟蹤方法和裝置 | |
CN110705478A (zh) | 人脸跟踪方法、装置、设备及存储介质 | |
CN114187665B (zh) | 一种基于人体骨架热图的多人步态识别方法 | |
CN112883896B (zh) | 一种基于bert网络的微表情检测方法 | |
CN112101195B (zh) | 人群密度预估方法、装置、计算机设备和存储介质 | |
Bhuyan et al. | Trajectory guided recognition of hand gestures having only global motions | |
CN112116635A (zh) | 一种基于快速人体移动的视觉跟踪方法及装置 | |
CN111353385B (zh) | 一种基于掩膜对齐与注意力机制的行人再识别方法和装置 | |
CN114283265B (zh) | 一种基于3d旋转建模的无监督人脸转正方法 | |
CN116884045B (zh) | 身份识别方法、装置、计算机设备和存储介质 | |
CN117173792A (zh) | 一种基于三维人体骨架的多人步态识别系统 | |
CN112633222A (zh) | 基于对抗网络的步态识别方法、装置、设备及介质 | |
Bourbakis et al. | Skin-based face detection-extraction and recognition of facial expressions | |
CN114648059A (zh) | 一种人像识别追踪方法及系统 | |
CN112380966B (zh) | 基于特征点重投影的单眼虹膜匹配方法 | |
KR102540290B1 (ko) | 이종 센서 카메라 기반 사람 재식별 장치 및 방법 | |
CN114067394A (zh) | 人脸活体检测方法、装置、电子设备及存储介质 | |
Arsié et al. | Multiple camera person tracking in multiple layers combining 2d and 3d information | |
De Beugher et al. | Semi-automatic hand annotation making human-human interaction analysis fast and accurate |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |