CN109859234A - 一种视频人体轨迹跟踪方法、装置及存储介质 - Google Patents

一种视频人体轨迹跟踪方法、装置及存储介质 Download PDF

Info

Publication number
CN109859234A
CN109859234A CN201711228494.9A CN201711228494A CN109859234A CN 109859234 A CN109859234 A CN 109859234A CN 201711228494 A CN201711228494 A CN 201711228494A CN 109859234 A CN109859234 A CN 109859234A
Authority
CN
China
Prior art keywords
image
video
frame
sample
video image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711228494.9A
Other languages
English (en)
Other versions
CN109859234B (zh
Inventor
王甜甜
韦泽垠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen TCL New Technology Co Ltd
Original Assignee
Shenzhen TCL New Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen TCL New Technology Co Ltd filed Critical Shenzhen TCL New Technology Co Ltd
Priority to CN201711228494.9A priority Critical patent/CN109859234B/zh
Publication of CN109859234A publication Critical patent/CN109859234A/zh
Application granted granted Critical
Publication of CN109859234B publication Critical patent/CN109859234B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种视频人体轨迹跟踪方法、系统及存储介质,包括:用于对视频中需要的人体进行跟踪识别。利用SqueezeNet训练参数少的优点,使用RCNN(Regions with CNN)算法提取出人体模块的有效信息,Adaboost算法检测出人脸图像,LBP(Local Binary Pattern)算法获取人脸图像的纹理信息,并利用结合平均值距离算法思想优点,通过人体模块检测大体获取人体的视频帧,排除一些非重要的视频图像,再通过人脸检测,判断获得的视频帧是否为所需要的视频帧,最后将所有的视频帧图像集合,即可完成视频图像的人体检索功能。本发明相比较传统的算法,大大节约了视频中人体识别和跟踪的时间,大大缩短了计算时间,算法复杂度大大降低,同时识别精度大大提高。

Description

一种视频人体轨迹跟踪方法、装置及存储介质
技术领域
本发明涉及用于识别图形的数据识别技术,尤其涉及一种视频人体轨迹跟踪方法、系统及存储介质。
背景技术
视频人体跟踪是对需要得到的视频中的人体进行跟踪识别的方法。传统的视频跟踪方法需要提取出每一帧的视频,判断每一帧视频中的人体特点,根据不同人体的特点,利用相关的算法进行识别判断,若有不同的人体,则目标人体和所有不同的人体进行比较,大大增加了计算量,且在进行识别判断时,不同的人体特征会出现判断的失误;传统方法识别判断算法复杂、计算时间长、且易失误。
因此,现有技术还有待于改进和发展。
发明内容
鉴于上述现有技术的不足之处,本发明为解决现有技术缺陷和不足,提出了一种视频人体轨迹跟踪方法,通过利用SqueezeNet训练参数少的优点,结合RCNN能有效的提取出模型不同块的有效信息,并利用结合平均值距离算法思想优点,形成一种全新的人体跟踪方法,算法复杂度大大降低,计算时间大大缩短。
本发明解决技术问题所采用的技术方案如下:
一种视频人体轨迹跟踪方法,用于对视频中需要的人体进行跟踪识别,包括如下步骤:
A、读取样本图像,对所述样本图像处理,获取所述样本图像的人脸纹理信息,以及所述样本图像中的人体各模块的深度信息平均值;
B、对视频进行分解处理,获取每帧视频图像及其对应的时间序列,并对每帧视频图像处理,获取每帧视频图像的人脸纹理信息,以及获取每帧视频图像中的人体各模块的深度信息平均值;
C、计算所述每帧视频图像中的人体各模块的深度信息平均值与所述样本图像中的人体各模块的深度信息平均值差值的总和,分类出正样本视频图像帧与负样本视频图像帧,得到待检测的正样本视频图像帧集合;
D、获取所述正样本视频图像帧中所需视频图像帧,并根据获得的视频图像帧集合得到人体在视频中的轨迹。
作为进一步的改进技术方案,所述步骤A读取样本图像,对所述样本图像处理,获取所述样本图像的人脸纹理信息,以及所述样本图像中的人体各模块的深度信息平均值中,包括如下具体步骤:
利用Adaboost算法提所述样本图像中的人脸图像;
利用LBP算法获取所述样本图像中的人脸图像纹理信息;
利用RCNN算法提取所述样本图像中的人体模块信息;
将获得的所述样本图像中的人体模块信息输入到SqueezeNet模型中训练,得到所述样本图像对应的人体模块的分类信息,并获得所述样本图像每个人体模块的深度信息及每个人体模块的深度信息平均值。
作为进一步的改进技术方案,所述步骤B对视频进行分解处理,获取每帧视频图像及其对应的时间序列,并对每帧视频图像处理,获取每帧视频图像的人脸纹理信息,以及获取每帧视频图像中的人体各模块的深度信息平均值中,包括如下具体步骤:
利用FFmpeg算法对视频进行分解处理,获取所述视频的每帧视频图像,并获得所述视频的每帧视频图像的时间序列;
利用RCNN算法提取所述每帧视频图像中的人体模块信息;
将获得的所述每帧视频图像中的人体模块信息输入到SqueezeNet模型中训练,得到所述每帧视频图像对应的人体各个模块的分类信息,并获得所述每帧视频图像的人体各模块的深度信息及深度信息平均值;
利用Adaboost算法提取所述每帧视频图像中的人脸图像;
利用LBP算法获取所述每帧视频图像中的人脸图像纹理信息。
作为进一步的改进技术方案,所述步骤C计算所述每帧视频图像中的人体各模块的深度信息平均值与所述样本图像中的人体各模块的深度信息平均值差值的总和,分类出正样本视频图像帧与负样本视频图像帧,得到待检测的正样本视频图像帧集合中,具体包括如下步骤:
设置样本阈值;
计算所述每帧视频图像中的人体各模块的深度信息平均值与所述样本图像中的人体各模块的深度信息平均值之间差值的总和得到视频中每帧视频图像的样本值;
将所有每帧视频图像的样本值小于所述样本阈值的视频图像归类为正样本视频图像帧,其余归类为负样本视频图像帧,以得到待检测的正样本视频图像帧的集合。
作为进一步的改进技术方案,所述步骤D获取所述正样本视频图像帧中所需视频图像帧,并将获得的视频图像帧集合得到人体在视频中的轨迹中,具体包括如下步骤:
利用Adaboost算法获取所述正样本视频图像帧中的人脸图像;
利用LBP算法获取所述正样本视频图像帧中的人脸图像纹理信息;
判断所述正样本视频图像帧中的人脸图像纹理信息与所述样本图像的人脸图像纹理信息的相似度,将相似度高的所述正样本视频图像帧集合起来形成跟踪的人体轨迹。
本发明还提供一种视频人体轨迹跟踪系统,用于对视频中需要的人体进行跟踪识别,所述系统包括样本图像读取分析模块、视频图像获取及处理模块、正样本视频图像帧获取模块和人体轨迹跟踪模块;
所述样板图像读取分析模块用于读取样本图像,对所述样本图像处理,获取所述样本图像的人脸纹理信息,以及所述样本图像中的人体各模块的深度信息平均值;
所述视频图像获取及处理模块用于对视频进行分解处理,获取每帧视频图像及其对应的时间序列,并对每帧视频图像处理,获取每帧视频图像的人脸纹理信息,以及获取每帧视频图像中的人体各模块的深度信息平均值;
所述正样本视频图像帧获取模块用于计算所述每帧视频图像中的人体各模块的深度信息平均值与所述样本图像中的人体各模块的深度信息平均值差值的总和,分类出正样本视频图像帧与负样本视频图像帧,得到待检测的正样本视频图像帧集合;
所述人体轨迹跟踪模块用于获取所述正样本视频图像帧中所需视频图像帧,并根据获得的视频图像帧集合得到人体在视频中的轨迹。
作为进一步的改进技术方案,所述样板图像读取分析模块具体读取分析如下:
利用Adaboost算法提所述样本图像中的人脸图像;
利用LBP算法获取所述样本图像中的人脸图像纹理信息;
利用RCNN算法提取所述样本图像中的人体模块信息;
将获得的所述样本图像中的人体模块信息输入到SqueezeNet模型中训练,得到所述样本图像对应的人体模块的分类信息,并获得所述样本图像每个人体模块的深度信息及每个人体模块的深度信息平均值。
作为进一步的改进技术方案,所述视频图像获取及处理模块的获取及处理如下:
利用FFmpeg算法对视频进行分解处理,获取所述视频的每帧视频图像,并获得所述视频的每帧视频图像的时间序列;
利用RCNN算法提取所述每帧视频图像中的人体模块信息;
将获得的所述每帧视频图像中的人体模块信息输入到SqueezeNet模型中训练,得到所述每帧视频图像对应的人体各个模块的分类信息,并获得所述每帧视频图像的人体各模块的深度信息及深度信息平均值;
利用Adaboost算法提取所述每帧视频图像中的人脸图像;
利用LBP算法获取所述每帧视频图像中的人脸图像纹理信息。
作为进一步的改进技术方案,所述正样本视频图像帧获取模块的获取过程如下:
设置样本阈值;
计算所述每帧视频图像中的人体各模块的深度信息平均值与所述样本图像中的人体各模块的深度信息平均值之间差值的总和得到视频中每帧视频图像的样本值;
将所有每帧视频图像的样本值小于所述样本阈值的视频图像归类为正样本视频图像帧,其余归类为负样本视频图像帧,以得到待检测的正样本视频图像帧的集合。
作为进一步的改进技术方案,所述人体轨迹跟踪模块的处理过程为:
利用Adaboost算法获取所述正样本视频图像帧中的人脸图像;
利用LBP算法获取所述正样本视频图像帧中的人脸图像纹理信息;
判断所述正样本视频图像帧中的人脸图像纹理信息与所述样本图像的人脸图像纹理信息的相似度,将相似度高的所述正样本视频图像帧集合起来形成跟踪的人体轨迹。
本发明还提供一种存储介质,所述存储介质存储有视频人体轨迹跟踪程序,该视频人体轨迹跟踪程序被处理器执行时实现上述的视频人体轨迹跟踪方法的步骤。
与现有技术计算过程繁琐,算法复杂,计算时间长相比较,本发明利用现有的基于卷积神经网络模型的SqueezeNet网络模型训练参数少的优点,利用RCNN提取人体模块信息,计算每个模块信息的平均值,利用Adaboost检测出人脸图像,通过LBP算法获取样本图像人脸图像的纹理信息,利用FFmpeg提取每一帧所对应的时间和每一帧的图像信息,形成一个新的视频人体轨迹跟踪方法和系统,算法复杂度大大降低,大大缩短了计算时间,同时也提高跟踪了精度。
附图说明
图1是本发明一种视频人体轨迹跟踪方法优选实施例的流程图。
图2是本发明一种视频人体轨迹跟踪系统优选实施例的原理结构图。
图3是本发明一种视频人体轨迹跟踪方法中样本图像读取分析流程图。
图4是本发明一种视频人体轨迹跟踪方法中视频图像获取及处理流程图。
图5是本发明一种视频人体轨迹跟踪方法中正样本视频图像帧获取流程图。
图6是本发明一种视频人体轨迹跟踪方法中人体轨迹跟踪获取流程图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确,以下参照附图并举实施例对本发明进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
随着视频监控技术的发展,视频监控系统从家庭到单位及一些公众场合被广泛使用,甚至警察破案也大量依赖各种监控系统提供的视频信息,在海量视频资料中查找跟踪特定人员的视频信息已经成为一种经常的工作。传统的视频跟踪方法需要提取出每一帧的视频,判断每一帧视频中的人体特点,根据不同人体的特点,利用相关的算法进行识别判断;若有不同的人体,则目标人体和所有不同的人体进行比较,大大增加了计算量,且在进行识别判断时,不同的人体特征会出现判断的失误。针对现有技术的缺陷,本发明利用SqueezeNet网络模型训练参数少的优点,加上RCNN(Regions with CNN)、Adaboost、LBP(Local Binary Pattern)等先进算法,提出了一种视频人体轨迹跟踪方法及装置,首先判断出视频人体信息,然后根据人体信息再判断人脸是否是我们需要跟踪的人脸信息,根据这些信息跟踪人体,形成人体的跟踪方案。相比较传统的算法,本发明大大节约了识别和跟踪的时间,算法复杂度大大降低,识别跟踪精度得到提升,有效解决了人体跟踪问题。
本发明提供了一种视频人体轨迹跟踪方法,如图1本发明一种视频人体轨迹跟踪方法优选实施例的流程图所示,本发明优选实施例包括如下步骤:
步骤S100、读取样本图像,对所述样本图像处理,获取所述样本图像的人脸纹理信息,以及所述样本图像中的人体各模块的深度信息平均值;
具体而言,如图3本发明一种视频人体轨迹跟踪方法中样本图像读取分析流程图所示,读取样本图像,所述样本图像包含人脸图像和人体图像,对所述样本图像分析处理,具体步骤如下步骤s101-s104所示:
s101、利用Adaboost算法提所述取所述样本图像中的人脸图像;
s102、利用LBP算法获取所述样本图像中的人脸图像的纹理信息,所述纹理信息可表示为S_LBP;
s103、利用RCNN算法提取所述样本图像中的人体模块信息;一般而言,人体模块的划分可以将人体分为头、手臂、腿、上身四个模块,可分别表示为H、E、L、B;
s104、将获得的所述样本图像中的人体模块信息H、E、L、B输入到SqueezeNet模型中训练,得到所述样本图像对应的人体模块的分类信息,并获得所述样本图像每个人体模块的深度信息及每个人体模块的深度信息平均值,可以分别表述为:SH_avg、SE_avg、SL_avg、SB_avg。
步骤S200、对视频进行分解处理,获取每帧视频图像及其对应的时间序列,获取所述视频图像的人脸纹理信息,以及获取所述每帧视频图像中的人体各模块的深度信息平均值;
具体而言,如图4本发明一种视频人体轨迹跟踪方法中视频图像获取及处理流程图所示,对需要分析的视频进行分解处理,获取所述视频的每帧视频图像,并获得所述视频的每帧视频图像的时间序列,经算法处理获取所述视频图像的人体模块信息和人脸的纹理信息,对所述视频图像处理,获取所述视频图像各模块的深度信息平均值,具体步骤如下步骤s201-s205:
s201、利用FFmpeg算法对需要分析的视频进行分解处理,获取所述视频的每帧视频图像,并获得所述视频的每帧视频图像的时间序列,表示为t1、t2、t3……tw,w为所述视频的总视频图像帧数;
s202、利用RCNN算法提取所述视频的每帧视频图像中人体模块信息,同上述对样本图像的人体模块信息处理相同,将人体分为头、手臂、腿、上身四个模块,分别表示为H、E、L、B;
s203、将获得的所述每帧视频图像中的人体模块信息H、E、L、B输入到SqueezeNet模型中训练,得到所述视频的每帧视频图像对应的各个模块的分类信息,并获得所述视频的每帧视频图像人体每个模块的深度信息及深度信息平均值,可分别表述为:TH_avg、TE_avg、TL_avg、TB_avg;
s204、利用Adaboost算法提取所述每帧视频图像中的人脸图像;
s205、利用LBP算法获取所述每帧视频图像中的人脸图像的纹理信息,所述纹理信息可表示为T_LBP。
步骤S300、计算所述每帧视频图像中的人体各模块的深度信息平均值与所述样本图像中的人体各模块的深度信息平均值差值的总和,分类出正样本视频图像帧与负样本视频图像帧,得到待检测的正样本视频图像帧集合;具体而言,如图5本发明一种视频人体轨迹跟踪方法中正样本视频图像帧获取流程图所示,包括如下步骤s301-s303:
s301、设置样本阈值;
s302、计算所述每帧视频图像中的人体各模块的深度信息平均值与所述样本图像中的人体各模块的深度信息平均值之间差值的总和得到视频中每帧视频图像的样本值;
s303、将所有每帧视频图像的样本值小于所述样本阈值的视频图像归类为正样本视频图像帧,其余归类为负样本视频图像帧,以得到待检测的正样本视频图像帧的集合。
计算方法公式如下公式一:
公式一
公式一中,i表示所述每帧视频图像的时间序列点,若sum_i<样本阈值,则保存i值,即为正样本,若sum_i>阈值,则舍弃i值,即为负样本,由此得到待检测的正样本视频图像帧数,样本阈值根据不同的情况设置,样本阈值数值越大,则得到的正样本视频图像帧数越多,可设M为所获取的正样本视频图像总帧数,即为待检测的正样本视频图像帧的集合。
步骤S400、获取所述正样本视频图像帧中所需视频图像帧,并将获得的视频图像帧集合得到人体在视频中的轨迹;
具体而言,如图6本发明一种视频人体轨迹跟踪方法中人体轨迹跟踪获取流程图所示,判断所述获取的正样本视频图像帧是否是需要得到的视频图像帧,并集合得到视频中的人体轨迹包括如下步骤s401-s403:
s401、利用Adaboost算法获取所述正样本视频图像帧中的人脸图像;
s402、利用LBP算法获取所述正样本视频图像帧中的人脸图像纹理信息;
s403、判断所述正样本视频图像帧中的人脸图像纹理信息与所述样本图像的人脸图像纹理信息的相似度,将相似度高的所述正样本视频图像帧集合起来形成跟踪的人体轨迹。
判断所述正样本视频图像帧中的人脸图像纹理信息与所述样本图像的人脸图像纹理信息的相似度中,可根据获取的所述每帧视频图像中的人脸图像的纹理信息T_LBP(tx)和所述样本图像中的人脸图像的纹理信息S_LBP之间的相似性来进行判断,其中tx为所述视频图像帧对应的时间序列号,判断T_LBP(tx)和S_LBP相似性可表达为下述公式二:
公式二
公式二中,其中N为获取的人脸总的像素点数,若SUMLBP<0.05,则判断所述时间序列号tx所对应的视频图像帧为需要获取的视频图像帧,x数值小于等于M,M为所获取的正样本视频图像总帧数。
将所有的视频图像帧集合起来,根据每个视频图像帧对应的时间序列号找到所对应的视频,即为跟踪的人体轨迹的结果。
本发明还提供一种视频人体轨迹跟踪系统,用于对视频中需要的人体进行跟踪识别,如图2本发明一种视频人体轨迹跟踪系统优选实施例的原理结构图所示,所述系统包括样板图像读取分析模块10、视频图像获取及处理模块20、正样本视频图像帧获取模块30和人体轨迹跟踪模块40;
所述样板图像读取分析模块10用于读取样本图像,对所述样本图像处理,获取所述样本图像的人脸纹理信息,以及所述样本图像中的人体各模块的深度信息平均值。该模块功能与上述方法实施例中对应的步骤S100样本图像读取分析流程相同,功能可参考图3本发明一种视频人体轨迹跟踪方法中样本图像读取分析流程图,读取样本图像,所述样本图像包含人脸图像和人体图像,对所述样本图像分析处理,具体功能如下:
利用Adaboost算法提所述取所述样本图像中的人脸图像;
利用LBP算法获取所述样本图像中的人脸图像的纹理信息,所述纹理信息可表示为S_LBP;
利用RCNN算法提取所述样本图像中的人体模块信息;一般而言,人体模块的划分可以将人体分为头、手臂、腿、上身四个模块,可分别表示为H、E、L、B;
将获得的所述样本图像中的人体模块信息H、E、L、B输入到SqueezeNet模型中训练,得到所述样本图像对应的人体模块的分类信息,并获得所述样本图像每个人体模块的深度信息及每个人体模块的深度信息平均值,可以分别表述为:SH_avg、SE_avg、SL_avg、SB_avg。
所述视频图像获取及处理模块20用于对视频进行分解处理,获取每帧视频图像及其对应的时间序列,并对每帧视频图像处理,获取每帧视频图像的人脸纹理信息,以及获取每帧视频图像中的人体各模块的深度信息平均值。该模块功能与上述方法实施例中对应的步骤S200视频分解处理流程相同,功能可参考图4本发明一种视频人体轨迹跟踪方法中视频图像获取及处理流程图,对需要分析的视频进行处理,获取所述每帧视频图像,并获得所述视频的每帧视频图像的时间序列,经算法处理获取所述视频图像的人体模块信息和人脸的纹理信息,对所述视频图像处理,获取所述视频图像各模块的深度信息平均值,具体功能如下:
利用FFmpeg算法对需要分析的视频进行分解处理,获取所述视频的每帧视频图像,并获得所述视频的每帧视频图像的时间序列,表示为t1、t2、t3……tw,w为所述视频的总视频图像帧数;
利用RCNN算法提取所述视频的每帧视频图像中人体模块信息,同上述对样本图像的人体模块信息处理相同,将人体分为头、手臂、腿、上身四个模块,分别表示为H、E、L、B;
将获得的所述每帧视频图像中的人体模块信息H、E、L、B输入到SqueezeNet模型中训练,得到所述视频的每帧视频图像对应的各个模块的分类信息,并获得所述视频的每帧视频图像人体每个模块的深度信息及深度信息平均值,可分别表述为:TH_avg、TE_avg、TL_avg、TB_avg;
利用Adaboost算法提取所述每帧视频图像中的人脸图像;
利用LBP算法获取所述每帧视频图像中的人脸图像的纹理信息,所述纹理信息可表示为T_LBP。
所述正样本视频图像帧获取模块30用于计算所述每帧视频图像中的人体各模块的深度信息平均值与所述样本图像中的人体各模块的深度信息平均值差值的总和,分类出正样本视频图像帧与负样本视频图像帧,得到待检测的正样本视频图像帧集合。功能可参考图5本发明一种视频人体轨迹跟踪方法中正样本视频图像帧获取流程图,具体功能如下:
设置样本阈值;
计算所述每帧视频图像中的人体各模块的深度信息平均值与所述样本图像中的人体各模块的深度信息平均值之间差值的总和得到视频中每帧视频图像的样本值;
将所有每帧视频图像的样本值小于所述样本阈值的视频图像归类为正样本视频图像帧,其余归类为负样本视频图像帧,以得到待检测的正样本视频图像帧的集合。
计算方法公式如下公式一:
公式一
公式一中,i表示所述每帧视频图像的时间序列点,若sum_i<样本阈值,则保存i值,即为正样本,若sum_i>阈值,则舍弃i值,即为负样本,由此得到待检测的正样本视频图像帧数,样本阈值根据不同的情况设置,样本阈值数值越大,则得到的正样本视频图像帧数越多,可设M为所获取的正样本视频图像总帧数,即为待检测的正样本视频图像帧的集合。
所述人体轨迹跟踪模块40用于获取所述正样本视频图像帧中所需视频图像帧,并将获得的视频图像帧集合得到人体在视频中的轨迹。功能可参考图6本发明一种视频人体轨迹跟踪方法中人体轨迹跟踪获取流程图,具体功能如下:
利用Adaboost算法获取所述正样本视频图像帧中的人脸图像;
利用LBP算法获取所述正样本视频图像帧中的人脸图像纹理信息;
判断所述正样本视频图像帧中的人脸图像纹理信息与所述样本图像的人脸图像纹理信息的相似度,将相似度高的所述正样本视频图像帧集合起来形成跟踪的人体轨迹。
其中,判断所述正样本视频图像帧中的人脸图像纹理信息与所述样本图像的人脸图像纹理信息的相似度中,可根据获取的所述每帧视频图像中的人脸图像的纹理信息T_LBP(tx)和所述样本图像中的人脸图像的纹理信息S_LBP之间的相似性来进行判断,其中tx为所述视频图像帧对应的时间序列号,判断T_LBP(tx)和S_LBP相似性可表达为下述公式二:
公式二
公式二中,其中N为获取的人脸总的像素点数,若SUMLBP<0.05,则判断所述时间序列号tx所对应的视频图像帧为需要获取的视频图像帧,x数值小于等于M,M为所获取的正样本视频图像总帧数。将所有的视频图像帧集合起来,根据每个视频图像帧对应的时间序列号找到所对应的视频,即为跟踪的人体轨迹的结果。
本发明还提供存储介质,存储介质为计算机可读存储介质,所述存储介质存储有视频人体轨迹跟踪程序,该视频人体轨迹跟踪程序被处理器执行时实现上述的视频人体轨迹跟踪方法的步骤。
应当理解的是,以上所述仅为本发明的较佳实施例而已,并不足以限制本发明的技术方案,对本领域普通技术人员来说,在本发明的精神和原则之内,可以根据上述说明加以增减、替换、变换或改进,而所有这些增减、替换、变换或改进后的技术方案,都应属于本发明所附权利要求的保护范围。

Claims (11)

1.一种视频人体轨迹跟踪方法,用于对视频中目标人体进行跟踪识别,其特征在于包括如下步骤:
A、读取样本图像,对所述样本图像处理,获取所述样本图像的人脸纹理信息,以及所述样本图像中的人体各模块的深度信息平均值;
B、对视频进行分解处理,获取每帧视频图像及其对应的时间序列,并对每帧视频图像处理,获取每帧视频图像的人脸纹理信息,以及获取每帧视频图像中的人体各模块的深度信息平均值;
C、计算所述每帧视频图像中的人体各模块的深度信息平均值与所述样本图像中的人体各模块的深度信息平均值差值的总和,分类出正样本视频图像帧与负样本视频图像帧,得到待检测的正样本视频图像帧集合;
D、获取所述正样本视频图像帧中所需视频图像帧,并根据获得的视频图像帧集合得到人体在视频中的轨迹。
2.根据权利要求1所述的一种视频人体轨迹跟踪方法,其特征在于,所述步骤A读取样本图像,对所述样本图像处理,获取所述样本图像的人脸纹理信息,以及所述样本图像中的人体各模块的深度信息平均值中,包括如下具体步骤:
利用Adaboost算法提所述样本图像中的人脸图像;
利用LBP算法获取所述样本图像中的人脸图像纹理信息;
利用RCNN算法提取所述样本图像中的人体模块信息;
将获得的所述样本图像中的人体模块信息输入到SqueezeNet模型中训练,得到所述样本图像对应的人体模块的分类信息,并获得所述样本图像每个人体模块的深度信息及每个人体模块的深度信息平均值。
3.根据权利要求1所述的一种视频人体轨迹跟踪方法,其特征在于,所述步骤B对视频进行分解处理,获取每帧视频图像及其对应的时间序列,并对每帧视频图像处理,获取每帧视频图像的人脸纹理信息,以及获取每帧视频图像中的人体各模块的深度信息平均值中,包括如下具体步骤:
利用FFmpeg算法对视频进行分解处理,获取所述视频的每帧视频图像,并获得所述视频的每帧视频图像的时间序列;
利用RCNN算法提取所述每帧视频图像中的人体模块信息;
将获得的所述每帧视频图像中的人体模块信息输入到SqueezeNet模型中训练,得到所述每帧视频图像对应的人体各个模块的分类信息,并获得所述每帧视频图像的人体各模块的深度信息及深度信息平均值;
利用Adaboost算法提取所述每帧视频图像中的人脸图像;
利用LBP算法获取所述每帧视频图像中的人脸图像纹理信息。
4.根据权利要求1所述的一种视频人体轨迹跟踪方法,其特征在于,所述步骤C计算所述每帧视频图像中的人体各模块的深度信息平均值与所述样本图像中的人体各模块的深度信息平均值差值的总和,分类出正样本视频图像帧与负样本视频图像帧,得到待检测的正样本视频图像帧集合中,具体包括如下步骤:
设置样本阈值;
计算所述每帧视频图像中的人体各模块的深度信息平均值与所述样本图像中的人体各模块的深度信息平均值之间差值的总和得到视频中每帧视频图像的样本值;
将所有每帧视频图像的样本值小于所述样本阈值的视频图像归类为正样本视频图像帧,其余归类为负样本视频图像帧,以得到待检测的正样本视频图像帧的集合。
5.根据权利要求4所述的一种视频人体轨迹跟踪方法,其特征在于,所述步骤D获取所述正样本视频图像帧中所需视频图像帧,并将获得的视频图像帧集合得到人体在视频中的轨迹中,具体包括如下步骤:
利用Adaboost算法获取所述正样本视频图像帧中的人脸图像;
利用LBP算法获取所述正样本视频图像帧中的人脸图像纹理信息;
判断所述正样本视频图像帧中的人脸图像纹理信息与所述样本图像的人脸图像纹理信息的相似度,将相似度高的所述正样本视频图像帧集合起来形成跟踪的人体轨迹。
6.一种视频人体轨迹跟踪系统,用于对视频中需要的人体进行跟踪识别,其特征在于,所述系统包括样本图像读取分析模块、视频图像获取及处理模块、正样本视频图像帧获取模块和人体轨迹跟踪模块;
所述样板图像读取分析模块用于读取样本图像,对所述样本图像处理,获取所述样本图像的人脸纹理信息,以及所述样本图像中的人体各模块的深度信息平均值;
所述视频图像获取及处理模块用于对视频进行分解处理,获取每帧视频图像及其对应的时间序列,并对每帧视频图像处理,获取每帧视频图像的人脸纹理信息,以及获取每帧视频图像中的人体各模块的深度信息平均值;
所述正样本视频图像帧获取模块用于计算所述每帧视频图像中的人体各模块的深度信息平均值与所述样本图像中的人体各模块的深度信息平均值差值的总和,分类出正样本视频图像帧与负样本视频图像帧,得到待检测的正样本视频图像帧集合;
所述人体轨迹跟踪模块用于获取所述正样本视频图像帧中所需视频图像帧,并根据获得的视频图像帧集合得到人体在视频中的轨迹。
7.根据权利要求6所述的一种视频人体轨迹跟踪系统,其特征在于,所述样板图像读取分析模块具体读取分析如下:
利用Adaboost算法提所述样本图像中的人脸图像;
利用LBP算法获取所述样本图像中的人脸图像纹理信息;
利用RCNN算法提取所述样本图像中的人体模块信息;
将获得的所述样本图像中的人体模块信息输入到SqueezeNet模型中训练,得到所述样本图像对应的人体模块的分类信息,并获得所述样本图像每个人体模块的深度信息及每个人体模块的深度信息平均值。
8.根据权利要求6所述的一种视频人体轨迹跟踪系统,其特征在于,所述视频图像获取及处理模块的获取及处理如下:
利用FFmpeg算法对视频进行分解处理,获取所述视频的每帧视频图像,并获得所述视频的每帧视频图像的时间序列;
利用RCNN算法提取所述每帧视频图像中的人体模块信息;
将获得的所述每帧视频图像中的人体模块信息输入到SqueezeNet模型中训练,得到所述每帧视频图像对应的人体各个模块的分类信息,并获得所述每帧视频图像的人体各模块的深度信息及深度信息平均值;
利用Adaboost算法提取所述每帧视频图像中的人脸图像;
利用LBP算法获取所述每帧视频图像中的人脸图像纹理信息。
9.根据权利要求6所述的一种视频人体轨迹跟踪系统,其特征在于,所述正样本视频图像帧获取模块的获取过程如下:
设置样本阈值;
计算所述每帧视频图像中的人体各模块的深度信息平均值与所述样本图像中的人体各模块的深度信息平均值之间差值的总和得到视频中每帧视频图像的样本值;
将所有每帧视频图像的样本值小于所述样本阈值的视频图像归类为正样本视频图像帧,其余归类为负样本视频图像帧,以得到待检测的正样本视频图像帧的集合。
10.根据权利要求9所述的一种视频人体轨迹跟踪系统,其特征在于,所述人体轨迹跟踪模块的处理过程为:
利用Adaboost算法获取所述正样本视频图像帧中的人脸图像;
利用LBP算法获取所述正样本视频图像帧中的人脸图像纹理信息;
判断所述正样本视频图像帧中的人脸图像纹理信息与所述样本图像的人脸图像纹理信息的相似度,将相似度高的所述正样本视频图像帧集合起来形成跟踪的人体轨迹。
11.一种存储介质,所述存储介质存储有视频人体轨迹跟踪程序,该视频人体轨迹跟踪程序被处理器执行时实现权利要求1至5任一项所述的视频人体轨迹跟踪方法的步骤。
CN201711228494.9A 2017-11-29 2017-11-29 一种视频人体轨迹跟踪方法、装置及存储介质 Active CN109859234B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711228494.9A CN109859234B (zh) 2017-11-29 2017-11-29 一种视频人体轨迹跟踪方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711228494.9A CN109859234B (zh) 2017-11-29 2017-11-29 一种视频人体轨迹跟踪方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN109859234A true CN109859234A (zh) 2019-06-07
CN109859234B CN109859234B (zh) 2023-03-24

Family

ID=66887606

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711228494.9A Active CN109859234B (zh) 2017-11-29 2017-11-29 一种视频人体轨迹跟踪方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN109859234B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0717277D0 (en) * 2007-09-05 2007-10-17 Sony Corp Apparatus and method of object tracking
WO2008151577A1 (en) * 2007-06-14 2008-12-18 Tsinghua University Tracking method and device adopting a series of observation models with different lifespans
US20120274781A1 (en) * 2011-04-29 2012-11-01 Siemens Corporation Marginal space learning for multi-person tracking over mega pixel imagery
CN103116756A (zh) * 2013-01-23 2013-05-22 北京工商大学 一种人脸检测与跟踪方法及装置
WO2014205768A1 (zh) * 2013-06-28 2014-12-31 中国科学院自动化研究所 基于增量主成分分析的特征与模型互匹配人脸跟踪方法
CN104463117A (zh) * 2014-12-02 2015-03-25 苏州科达科技股份有限公司 一种基于视频方式的人脸识别样本采集方法及系统
CN105069408A (zh) * 2015-07-24 2015-11-18 上海依图网络科技有限公司 一种复杂场景下基于人脸识别的视频人像跟踪方法
CN105279772A (zh) * 2015-10-23 2016-01-27 中国运载火箭技术研究院 一种红外序列图像的可跟踪性判别方法
CN105931276A (zh) * 2016-06-15 2016-09-07 广州尚云在线科技有限公司 一种基于巡逻机器人智能云平台的长时间人脸跟踪方法
CN105976397A (zh) * 2016-04-28 2016-09-28 西安电子科技大学 基于半非负优化集成学习的目标跟踪方法
WO2017080196A1 (zh) * 2015-11-10 2017-05-18 深圳Tcl新技术有限公司 基于人脸图像的视频分类方法和装置
WO2017129020A1 (zh) * 2016-01-29 2017-08-03 中兴通讯股份有限公司 视频中人体行为识别的方法、装置和计算机存储介质

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008151577A1 (en) * 2007-06-14 2008-12-18 Tsinghua University Tracking method and device adopting a series of observation models with different lifespans
GB0717277D0 (en) * 2007-09-05 2007-10-17 Sony Corp Apparatus and method of object tracking
US20120274781A1 (en) * 2011-04-29 2012-11-01 Siemens Corporation Marginal space learning for multi-person tracking over mega pixel imagery
CN103116756A (zh) * 2013-01-23 2013-05-22 北京工商大学 一种人脸检测与跟踪方法及装置
WO2014205768A1 (zh) * 2013-06-28 2014-12-31 中国科学院自动化研究所 基于增量主成分分析的特征与模型互匹配人脸跟踪方法
CN104463117A (zh) * 2014-12-02 2015-03-25 苏州科达科技股份有限公司 一种基于视频方式的人脸识别样本采集方法及系统
CN105069408A (zh) * 2015-07-24 2015-11-18 上海依图网络科技有限公司 一种复杂场景下基于人脸识别的视频人像跟踪方法
WO2017016516A1 (zh) * 2015-07-24 2017-02-02 上海依图网络科技有限公司 一种复杂场景下基于人脸识别的视频人像跟踪方法
CN105279772A (zh) * 2015-10-23 2016-01-27 中国运载火箭技术研究院 一种红外序列图像的可跟踪性判别方法
WO2017080196A1 (zh) * 2015-11-10 2017-05-18 深圳Tcl新技术有限公司 基于人脸图像的视频分类方法和装置
WO2017129020A1 (zh) * 2016-01-29 2017-08-03 中兴通讯股份有限公司 视频中人体行为识别的方法、装置和计算机存储介质
CN105976397A (zh) * 2016-04-28 2016-09-28 西安电子科技大学 基于半非负优化集成学习的目标跟踪方法
CN105931276A (zh) * 2016-06-15 2016-09-07 广州尚云在线科技有限公司 一种基于巡逻机器人智能云平台的长时间人脸跟踪方法

Also Published As

Publication number Publication date
CN109859234B (zh) 2023-03-24

Similar Documents

Publication Publication Date Title
Zou et al. Occupancy detection in the office by analyzing surveillance videos and its application to building energy conservation
CN111783576B (zh) 基于改进型YOLOv3网络和特征融合的行人重识别方法
Zhang et al. Real-time sow behavior detection based on deep learning
CN111726586A (zh) 一种生产体系操作规范监测提醒系统
CN105069434B (zh) 一种视频中人体动作行为识别方法
CN104978567B (zh) 基于场景分类的车辆检测方法
CN109145708B (zh) 一种基于rgb和d信息融合的人流量统计方法
CN105740758A (zh) 基于深度学习的互联网视频人脸识别方法
CN108960047B (zh) 基于深度二次树的视频监控中人脸去重方法
CN109145742A (zh) 一种行人识别方法及系统
WO2020125057A1 (zh) 牲畜个数的识别方法及装置
CN111582092B (zh) 一种基于人体骨架的行人异常行为检测方法
CN105426828A (zh) 人脸检测方法、装置及系统
CN113536972B (zh) 一种基于目标域伪标签的自监督跨域人群计数方法
CN104933416A (zh) 基于光流场的微表情序列特征提取方法
CN110633643A (zh) 一种面向智慧社区的异常行为检测方法及系统
CN110991397B (zh) 一种行进方向确定方法及相关设备
CN113869276B (zh) 基于微表情的谎言识别方法及系统
CN112132873A (zh) 一种基于计算机视觉的多镜头行人识别与跟踪
CN112101114B (zh) 一种视频目标检测方法、装置、设备以及存储介质
CN103390151A (zh) 人脸检测方法及装置
CN113780145A (zh) 精子形态检测方法、装置、计算机设备和存储介质
Gasserm et al. Human activities monitoring at bus stops
CN108446639A (zh) 低功耗增强现实设备
Sommana et al. Development of a face mask detection pipeline for mask-wearing monitoring in the era of the COVID-19 pandemic: A modular approach

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant