CN111738096A - 一种基于骨架姿态的人物跟踪算法 - Google Patents

一种基于骨架姿态的人物跟踪算法 Download PDF

Info

Publication number
CN111738096A
CN111738096A CN202010471069.8A CN202010471069A CN111738096A CN 111738096 A CN111738096 A CN 111738096A CN 202010471069 A CN202010471069 A CN 202010471069A CN 111738096 A CN111738096 A CN 111738096A
Authority
CN
China
Prior art keywords
skeleton
character
image
training
stage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010471069.8A
Other languages
English (en)
Other versions
CN111738096B (zh
Inventor
吴渊
金城
张志远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fudan University
Original Assignee
Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fudan University filed Critical Fudan University
Priority to CN202010471069.8A priority Critical patent/CN111738096B/zh
Publication of CN111738096A publication Critical patent/CN111738096A/zh
Application granted granted Critical
Publication of CN111738096B publication Critical patent/CN111738096B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于骨架姿态的人物跟踪算法。本发明分为离线训练阶段、在线姿态识别阶段和在线跟踪阶段。离线训练阶段，先准备模型训练集，将OpenPose格式的骨架关键点坐标经过归一化后作为模型输入，再对模型进行训练。在线姿态识别阶段，将含有待跟踪人物的图像输入模型，提取出图像中所有人物的骨架。在线姿态识别阶段，先将图像中的人物骨架依次输入训练好的模型得到骨架姿态特征，再求出图像中每个人物骨架姿态特征与在库特征之间的欧式距离矩阵，用匈牙利算法求出每个人物特征匹配的id作为跟踪结果，最后更新在库id。本发明能够基于骨架姿态进行人物跟踪，扩展了人物跟踪的方法，在智能视频监控领域有广阔的应用可能。

Description

一种基于骨架姿态的人物跟踪算法
技术领域
本发明属于统计模式识别与图像处理技术领域，具体涉及一种基于骨架姿态的人物跟踪算法。
背景技术
近年来，智能视频监控的应用场景越来越广泛。如何跟踪视频多帧中相同的人物，即人物跟踪，是智能视频监控领域中一个重要问题。人物跟踪的一个实现方法是使用行人再识别技术。行人再识别的目标是将不同摄像机中拍摄到的同一个人物识别出来，它的实现方法是使用深度学习网络学习人物的深度特征，并设计损失函数增加特征对类内变化的鲁棒性，以准确识别不同环境下的同一人物。
发明内容
本发明的目的在于提供一种基于骨架姿态的人物跟踪模型，应用于智能视频监控，以解决视频中的人物识别问题。本发明的技术方案具体介绍如下。
一种基于骨架姿态的人物跟踪算法，分为三个阶段：离线训练阶段、在线姿态识别阶段和在线跟踪阶段；
在离线训练阶段，首先准备模型训练集，将OpenPose格式的骨架关键点坐标经过归一化后转化为36维向量作为输入，然后对OpenPose姿态识别模型进行训练；OpenPose姿态识别模型的网络结构包括生成模块和判别模块；
所述生成模块包括姿态编码器Es、动作编码器Ea、生成器G和判别器D四个子模块,每个子模块都各自由输入层、隐藏层和输出层组成；其中，姿态编码器Es和动作编码器Ea的输入层分别输入36维的骨架数据，输出层分别输出16维的姿态特征和196维的动作特征；生成器G的输入层的输入为一个212维向量，其第0到第15维为姿态特征，第16到第211维为动作特征，输出层输出36维的合成骨架；判别器D的输入层输入合成骨架，输出层输出36维的判别结果；
所述判别模块，其与生成模块共用姿态编码器Es，给定输入骨架，将Es输出的16维姿态特征作为该骨架的表示特征，在在线识别阶段中作为骨架数据所属人物的标识符id检索的依据；判别模块在Es输出层后加入一个长度为N的全连接层得到id概率分布向量，其中N为训练集中id类别的个数；id概率分布向量中最大分量的维数即为人物骨架的id；
在在线姿态识别阶段，将含有待跟踪人物的图像输入OpenPose姿态识别模型，提取出图像中所有人物的骨架；
在在线跟踪阶段，首先将图像中的人物骨架依次输入训练好的OpenPose姿态识别模型，得到骨架姿态特征，并进行归一化；其次求出图像中每个人物骨架姿态特征与在库特征之间的欧式距离矩阵，用匈牙利算法求出每个人物特征匹配的在库特征，若与其欧式距离小于识别阈值，则匹配特征的骨架数据所属人物的标识符id即为人物跟踪结果，否则跟踪结果为-1，表示人物未在先前图像中出现，最后更新在库骨架数据所属人物的标识符id。
本发明中，离线训练阶段，每个训练集样本包括骨架数据和骨架数据所属人物的标识符id，id是由一个0到N-1之间整数表示，其中N为训练集中id类别的个数；准备骨架数据的步骤如下所示：
第一步：采用OpenPose训练使用的骨架格式组织骨架数据，每个骨架包含18个人体关键点坐标，将18个关键点坐标由0到17编号，每个关键点所表示的人体位置如下所示：
0-鼻子,1-脖子，2-右肩，3-右肘，4-右手腕，5-左肩，6-左肘，7-左手腕，8-右臀，9-右膝盖，10-右脚踝，11-左臀，12-左膝盖，13-左脚踝，14-右眼，15-左眼，16-右耳，17-左耳；
第二步：将第一步得到的18个关键点坐标逐个进行归一化，归一化的公式如下所示：
Figure BDA0002514319020000021
其中，(x,y)表示归一化前的坐标，w表示提取骨架关键点的图像的宽，h表示提取骨架关键点的图像的高，(x′,y′)表示归一化后的坐标；
第三步：将第二步得到的18个关键点坐标(x0,y0),(x1,y1),…,(x17,y17)转化为36维的向量(x0,y0,x1,y1,…,x17,y17)。
和现有技术相比，本发明的有益效果在于：
现有的基于图像的人物跟踪方法容易受到图像中光照条件、背景、视角等因素的影响，导致识别结果不准确，而本发明基于骨架关键点进行人物跟踪，受照明条件、背景、视角等因素的影响较小，识别结果更准确。本发明扩展了人物跟踪的方法，在智能视频监控领域有广阔的应用可能。
附图说明
图1：本发明的基于骨架姿态的人物跟踪算法流程框图。
图2：基于骨架姿态的人物跟踪模型网络结构图。
具体实施方式
下面结合附图和实施例对本发明的技术方案进行详细阐述。
一种基于骨架姿态的人物跟踪算法，如图1所示，其分为三个阶段：离线训练阶段、在线姿态识别阶段和在线跟踪阶段。
在离线训练阶段，首先准备模型训练集，将OpenPose格式的骨架关键点坐标经过归一化后转化为36维向量作为模型输入，然后对模型进行训练。
在在线姿态识别阶段，将含有待跟踪人物的图像输入OpenPose模型，提取出图像中所有人物的骨架。
在在线跟踪阶段，首先将图像中的人物骨架依次输入训练好的模型，得到骨架姿态特征，并进行归一化。其次求出图像中每个人物骨架姿态特征与在库特征之间的欧式距离矩阵，用匈牙利算法求出每个人物特征匹配的在库特征，若与其欧式距离小于识别阈值，则匹配特征的id即为人物跟踪结果，否则跟踪结果为-1，表示人物未在先前图像中出现。最后更新在库id。
一、离线训练阶段，具体步骤为：
(1)准备训练集。每个训练集样本包括骨架数据和id。id是骨架数据所属人物的标识符，由一个0到N-1之间整数表示，其中N为训练集中id类别的个数。准备骨架数据的步骤如下所示：
第一步：采用OpenPose[1]训练使用的骨架格式组织骨架数据。每个骨架包含18个人体关键点坐标。将18个关键点坐标由0到17编号，每个关键点所表示的人体位置如下所示：
0-鼻子,1-脖子，2-右肩，3-右肘，4-右手腕，5-左肩，6-左肘，7-左手腕，8-右臀，9-右膝盖，10-右脚踝，11-左臀，12-左膝盖，13-左脚踝，14-右眼，15-左眼，16-右耳，17-左耳。
第二步：将第一步得到的18个关键点坐标逐个进行归一化。归一化的公式如下所示：
Figure BDA0002514319020000031
其中，(x,y)表示归一化前的坐标，w表示提取骨架关键点的图像的宽，h表示提取骨架关键点的图像的高，(x′,y′)表示归一化后的坐标。
第三步：将第二步得到的18个关键点坐标(x0,y0),(x1,y1),…,(x17,y17)转化为36维的向量(x0,y0,x1,y1,…,x17,y17)。
(2)训练模型
1、模型网络结构
基于骨架姿态的人物识别模型分生成模块和判别模块两部分，模型的网络结构如图2所示，网络参数如表1所示。
表1基于骨架姿态的人物识别模型的网络参数
Figure BDA0002514319020000032
Figure BDA0002514319020000041
生成模块主要由四个子模块组成：姿态编码器Es、动作编码器Ea、生成器G和判别器D。姿态和动作编码器的输入为36维的骨架数据，输出分别为16维的姿态特征和196维的动作特征。生成器G的输入为一个212维向量，其第0到第15维为姿态特征，第16到第211维为动作特征，输出为36维的合成骨架。最后，将合成骨架输入判别器D，判别器D输出36维的判别结果。
判别模块与生成模块共用姿态编码器Es。给定输入骨架，将Es输出的16维姿态特征作为该骨架的表示特征，在在线识别阶段中作为id检索的依据。判别模块在Es输出层后加入一个长度为N的全连接层得到id概率分布向量，其中N为训练集中id类的总数。id概率分布向量中最大分量的维数即为人物骨架的id。
2、模型损失函数
生成模块损失函数如下所示：
Figure BDA0002514319020000042
Figure BDA0002514319020000051
Figure BDA0002514319020000052
Figure BDA0002514319020000053
Figure BDA0002514319020000054
Ladv(xp,G(sp,aq))＝E[logD(xp)+log(1-D(G(sp,aq))] [式7]
判别模块损失函数如下所示：
Figure BDA0002514319020000055
Figure BDA0002514319020000056
其中，xp表示第p个样本中的骨架，sp和ap表示由xp提取的姿态和动作特征，姿态特征表示骨架的长度、形态等与人物身份特征相关的信息，动作特征表示骨架的动作等与人物身份特征无关的信息。G(sp,aq)表示由骨架xp的姿态特征sp和骨架xq的动作特征ap合成的骨架，Es(G(sp,aq))和Ea(G(sp,aq))分别表示由G(sp,aq)提取的姿态和动作特征。D(xp)表示判别器D对骨架xp的输出。
3、模型训练过程
在模型训练的每次迭代中，从训练集中随机取出四个骨架xi,xk,xm,xn，其中xi与xj属于不同id，xi与xm，xj与xn分别属于同一id。首先进行生成模块的训练，更新所有生成模块中的参数，再进行判别模块的训练，更新所有判别模块的参数。
生成模块的训练步骤如下所述：
第一步：分别通过Es与Ea提取xi的姿态特征si与动作特征ai。分别对xj,xm,xn进行与xi相同的操作，得到sj,aj,sm,am,sn,an。
第二步：将si与ai进行拼接,输入生成器G，得到G(si,ai)，分别对xj,xm,xn进行相同的操作，得到G(sj,aj)，G(sm,am),G(sn,an)。根据式2，计算
Figure BDA0002514319020000057
Figure BDA0002514319020000058
第三步：将sm和ai进行拼接,输入生成器G，得到G(sm,ai)。将sn和aj进行拼接,输入生成器G，得到G(sn,aj)。根据式3，计算
Figure BDA0002514319020000061
和
Figure BDA0002514319020000062
第四步：由G(si,aj)提取姿态特征Es(G(si,aj))和动作特征Ea(G(si,aj))，由G(sj,ai)提取姿态特征Es(G(sj,ai))和动作特征Ea(G(sj,ai))。根据式4,计算
Figure BDA0002514319020000063
Figure BDA0002514319020000064
根据式5,计算
Figure BDA0002514319020000065
第五步：将G(si,aj)和xi分别输入判别器D，输出D(G(si,aj))和D(xi)，将G(sj,ai)和xj分别输入判别器D，输出D(G(sj,ai))和D(xj)。根据式7，计算Ladv(xi,G(si,aj))和Ladv(xj,G(sj,ai))
判断模块的训练步骤如下所述：
将xi，xj，G(si,aj)，G(sj,ai)分别输入姿态编码器Es，Es输出姿态特征后通过全连接层得到id概率分布向量。根据式8，计算
Figure BDA0002514319020000066
根据式9，计算
Figure BDA0002514319020000067
Figure BDA0002514319020000068
二、在线姿态识别阶段，具体步骤为：
将含有待跟踪人物的图像输入OpenPose姿态识别模型，提取出图像中所有人物的骨架，每个骨架包含18个人体关键点坐标。
三、在线跟踪阶段，具体步骤为：
(1)在开始在线跟踪前，构建一个字典来保存人物特征。字典中每个键值对为人物id与人物最近一次出现时的骨架特征。第一个出现的人物id设置为0，接下来出现的人物id依次加1。
(2)将待跟踪图像中的所有人物骨架依次输入训练好的基于骨架姿态的人物识别模型，得到骨架特征，对特征按照式1进行归一化。
(3)求一个P*Q的矩阵W，P为在库特征的个数，Q为图像中人物骨架特征的个数，矩阵中(u,v)位置的元素值表示第u个在库特征与图像中第v个人物骨架特征的欧式距离，给定特征U＝(u1,u2,…,un)和特征V＝(v1,v2,…,vn)，U与V之间欧式距离的计算公式如下所示：
Figure BDA0002514319020000069
(4)使用匈牙利算法[2]对矩阵W进行计算，求出与图像中每个人物特征匹配的在库特征的id，并判断人物特征与匹配的在库特征间的距离是否小于识别阈值。若小于识别阈值，则将该id作为人物跟踪结果；若大于识别阈值，则将该id设为-1，表示先前图片中没有出现过该人物。阈值建议设置为0.2。
(5)更新在库特征。若图像中某人物的id等于-1，在字典中增加该人物id的条目；若id不等于-1，用当前图像中的人物特征替换字典中该人物id对应的特征。
下面结合具体实施例对本发明的技术方案进行详细阐述。
实施例1
一、训练模型
训练数据集采用主流跟踪数据集DukeMTMC，生成器G和判别器D的学习率设置为0.00001，姿态编码器Es输出层后的全连接层的学习率设置为0.002，网络其他部分的学习率设置为0.0002，训练的batchsize设置为8，总共进行10万次迭代。
二、实验结果
测试在主流跟踪数据集DukeMTMC上进行，作为对照的算法是TBA[3](该方法在CVPR2019上提出，是当时最优算法)。实验结果表明，模型的识别准确率高于既有的基于图像的人物跟踪方法，具备在实际中使用的可能性。
表2实验结果
IDF1 IDF2 IDR MOTA
TBA 82.4％ 86.1％ 79.0％ 79.6％
本发明方法 84.8％ 88.6％ 81.4％ 84.3％
参考文献
[1]Zhe Cao,Gines Hidalgo,Tomas Simon,Shih-En Wei,and YaserSheikh.OpenPose:realtime multi-person 3D pose estimation using Part AffinityFields.In arXiv preprint arXiv:1812.08008,2018.
[2]Harold W.Kuhn,"The Hungarian Method for the assignment problem",Naval Research Logistics Quarterly,2:83–97,1955.Kuhn's original publication.
[3]Zhen He,Jian Li,Daxue Liu,Hangen He,David Barber；The IEEEConference on Computer Vision and Pattern Recognition(CVPR),2019,pp.1318-1327。

Claims (5)

1.一种基于骨架姿态的人物跟踪算法，其特征在于，分为三个阶段：离线训练阶段、在线姿态识别阶段和在线跟踪阶段；
在离线训练阶段，首先准备模型训练集，将OpenPose格式的骨架关键点坐标经过归一化后转化为36维向量作为输入，然后对OpenPose姿态识别模型进行训练；OpenPose姿态识别模型的网络结构包括生成模块和判别模块；
所述生成模块包括姿态编码器Es、动作编码器Ea、生成器G和判别器D四个子模块,每个子模块都各自由输入层、隐藏层和输出层组成；其中，姿态编码器Es和动作编码器Ea的输入层分别输入36维的骨架数据，输出层分别输出16维的姿态特征和196维的动作特征；生成器G的输入层的输入为一个212维向量，其第0到第15维为姿态特征，第16到第211维为动作特征，输出层输出36维的合成骨架；判别器D的输入层输入合成骨架，输出层输出36维的判别结果；
所述判别模块，其与生成模块共用姿态编码器Es，给定输入骨架，将Es输出的16维姿态特征作为该骨架的表示特征，在在线识别阶段中作为骨架数据所属人物的标识符id检索的依据；判别模块在Es输出层后加入一个长度为N的全连接层得到id概率分布向量，其中N为训练集中id类别的个数；id概率分布向量中最大分量的维数即为人物骨架的id；
在在线姿态识别阶段，将含有待跟踪人物的图像输入OpenPose姿态识别模型，提取出图像中所有人物的骨架；
在在线跟踪阶段，首先将图像中的人物骨架依次输入训练好的OpenPose姿态识别模型，得到骨架姿态特征，并进行归一化；其次求出图像中每个人物骨架姿态特征与在库特征之间的欧式距离矩阵，用匈牙利算法求出每个人物特征匹配的在库特征，若与其欧式距离小于识别阈值，则匹配特征的骨架数据所属人物的标识符id即为人物跟踪结果，否则跟踪结果为-1，表示人物未在先前图像中出现，最后更新在库骨架数据所属人物的标识符id。
2.根据权利要求1所述的基于骨架姿态的人物跟踪算法，其特征在于，离线训练阶段，每个训练集样本包括骨架数据和骨架数据所属人物的标识符id，id是由一个0到N-1之间整数表示，其中N为训练集中id类别的个数；准备骨架数据的步骤如下所示：
第一步：采用OpenPose训练使用的骨架格式组织骨架数据，每个骨架包含18个人体关键点坐标，将18个关键点坐标由0到17编号，每个关键点所表示的人体位置如下所示：
0-鼻子,1-脖子，2-右肩，3-右肘，4-右手腕，5-左肩，6-左肘，7-左手腕，8-右臀，9-右膝盖，10-右脚踝，11-左臀，12-左膝盖，13-左脚踝，14-右眼，15-左眼，16-右耳，17-左耳；
第二步：将第一步得到的18个关键点坐标逐个进行归一化，归一化的公式如下所示：
Figure FDA0002514319010000021
其中，(x,y)表示归一化前的坐标，w表示提取骨架关键点的图像的宽，h表示提取骨架关键点的图像的高，(x′,y′)表示归一化后的坐标；
第三步：将第二步得到的18个关键点坐标(x0,y0),(x1,y1),…,(x17,y17)转化为36维的向量(x0,y0,x1,y1,…,x17,y17)。
3.根据权利要求1所述的基于骨架姿态的人物跟踪算法，其特征在于，OpenPose姿态识别模型中的生成模块损失函数如下所示：
Figure FDA0002514319010000022
Figure FDA0002514319010000023
Figure FDA0002514319010000024
Figure FDA0002514319010000025
Figure FDA0002514319010000026
Ladv(xp,G(sp,aq))＝E[logD(xp)+log(1-D(G(sp,aq))] [式7]
判别模块损失函数如下所示：
Figure FDA0002514319010000027
Figure FDA0002514319010000028
其中，xp表示第p个样本中的骨架，sp和ap分别表示由骨架xp提取的姿态特征和动作特征,G(sp,aq)表示由骨架xp的姿态特征sp和骨架xq的动作特征aq合成的骨架，Es(G(sp,aq))和Ea(G(sp,aq))分别表示由G(sp,aq)提取的姿态和动作特征，D(xp)表示判别器D对骨架xp的输出；
在模型训练的每次迭代中，从训练集中随机取出四个骨架xi,xj,xm,xn，其中xi与xj属于不同id，xi与xm，xj与xn分别属于同一id；首先进行生成模块的训练，更新所有生成模块中的参数，再进行判别模块的训练，更新所有判别模块的参数；其中：
生成模块的训练步骤如下所述：
第一步：分别通过Es与Ea提取xi的姿态特征si与动作特征ai，分别对xj,xm,xn进行与xi相同的操作，得到sj,aj,sm,am,sn,an；
第二步：将si与ai进行拼接,输入生成器G，得到G(si,ai)，分别对xj,xm,xn进行相同的操作，得到G(sj,aj)，G(sm,am),G(sn,an)；根据式2，计算
Figure FDA0002514319010000031
Figure FDA0002514319010000032
第三步：将sm和ai进行拼接,输入生成器G，得到G(sm,ai)，将sn和aj进行拼接,输入生成器G，得到G(sn,aj)；根据式3，计算
Figure FDA0002514319010000033
和
Figure FDA0002514319010000034
第四步：由G(si,aj)提取姿态特征Es(G(si,aj))和动作特征Ea(G(si,aj))，由G(sj,ai)提取姿态特征Es(G(sj,ai))和动作特征Ea(G(sj,ai))；根据式4,计算
Figure FDA0002514319010000035
Figure FDA0002514319010000036
根据式5,计算
Figure FDA0002514319010000037
第五步：将Es(G(si,aj))和Ea(G(sj,ai))输入生成器G,得到G(Es(G(si,aj)),Ea(G(sj,ai)))，将Es(G(sj,ai))和Ea(G(si,aj))输入生成器G，得到G(Es(G(sj,ai)),Ea(G(si,aj)))；根据式6，计算
Figure FDA0002514319010000038
和
Figure FDA0002514319010000039
第六步：将G(si,aj)和xi分别输入判别器D，输出D(G(si,aj))和D(xi)，将G(sj,ai)和xj分别输入判别器D，输出D(G(sj,ai))和D(xj)；根据式7，计算Ladv(xi,G(si,aj))和Ladv(xj,G(sj,ai))；
判断模块的训练步骤如下所述：
将xi，xj，G(si,aj)，G(sj,ai)分别输入姿态编码器Es，Es输出姿态特征后通过全连接层得到id概率分布向量；根据式8，计算
Figure FDA00025143190100000310
根据式9，计算
Figure FDA00025143190100000311
Figure FDA00025143190100000312
4.根据权利要求1所述的基于骨架姿态的人物跟踪算法，其特征在于，所述在线提取特征阶段的具体步骤为：
将含有待跟踪人物的图像输入OpenPose姿态识别模型，提取出图像中所有人物的骨架，每个骨架包含18个人体关键点坐标。
5.根据权利要求1所述的基于骨架姿态的人物跟踪算法，其特征在于，所述在线识别阶段的具体步骤为：
(1)在开始在线跟踪前，构建一个字典来保存人物特征，字典中每个键值对为人物id与人物最近一次出现时的骨架特征，第一个出现的人物id设置为0，接下来出现的人物id依次加1；
(2)将待跟踪图像中的所有人物骨架依次输入训练好的OpenPose姿态识别模型，得到骨架特征，对特征按照式1进行归一化；
(3)求一个P*Q的矩阵W，P为在库特征的个数，Q为图像中人物骨架特征的个数，矩阵中(u,v)位置的元素值表示第u个在库特征与图像中第v个人物骨架特征的欧式距离，给定特征U＝(u1,u2,…,un)和特征V＝(v1,v2,…,vn)，U与V之间欧式距离的计算公式如下所示：
Figure FDA0002514319010000041
(4)使用匈牙利算法对矩阵W进行计算，求出与图像中每个人物特征匹配的在库特征的id，并判断人物特征与匹配的在库特征间的距离是否小于识别阈值，若小于识别阈值，则将该id作为人物跟踪结果；若大于识别阈值，则将该id设为-1，表示先前图片中没有出现过该人物，阈值设置为0.2；
(5)更新在库特征，若图像中某人物的id等于-1，在字典中增加该人物id的条目；若id不等于-1，用当前图像中的人物特征替换字典中该人物id对应的特征。
CN202010471069.8A 2020-05-28 2020-05-28 一种基于骨架姿态的人物跟踪方法 Active CN111738096B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010471069.8A CN111738096B (zh) 2020-05-28 2020-05-28 一种基于骨架姿态的人物跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010471069.8A CN111738096B (zh) 2020-05-28 2020-05-28 一种基于骨架姿态的人物跟踪方法

Publications (2)

Publication Number Publication Date
CN111738096A true CN111738096A (zh) 2020-10-02
CN111738096B CN111738096B (zh) 2022-08-19

Family

ID=72646706

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010471069.8A Active CN111738096B (zh) 2020-05-28 2020-05-28 一种基于骨架姿态的人物跟踪方法

Country Status (1)

Country Link
CN (1) CN111738096B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115578422A (zh) * 2022-11-18 2023-01-06 南京云创大数据科技股份有限公司 一种基于动态感知系统实现牲畜计数方法
CN117474785A (zh) * 2023-12-27 2024-01-30 江苏奥斯汀光电科技股份有限公司 一种多个人物姿态图像合成一个图像的方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU3554199A (en) * 1998-04-13 1999-11-01 Eyematic Interfaces, Inc. Face recognition from video images
CN108537136A (zh) * 2018-03-19 2018-09-14 复旦大学 基于姿态归一化图像生成的行人重识别方法
CN109460702A (zh) * 2018-09-14 2019-03-12 华南理工大学 基于人体骨架序列的乘客异常行为识别方法
CN110598554A (zh) * 2019-08-09 2019-12-20 中国地质大学（武汉） 基于对抗学习的多人姿态估计方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU3554199A (en) * 1998-04-13 1999-11-01 Eyematic Interfaces, Inc. Face recognition from video images
CN108537136A (zh) * 2018-03-19 2018-09-14 复旦大学 基于姿态归一化图像生成的行人重识别方法
CN109460702A (zh) * 2018-09-14 2019-03-12 华南理工大学 基于人体骨架序列的乘客异常行为识别方法
CN110598554A (zh) * 2019-08-09 2019-12-20 中国地质大学（武汉） 基于对抗学习的多人姿态估计方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JUN-WEI HSIEH ET AL.: "Video-Based Human Movement Analysis and Its Application to Surveillance Systems", 《IEEE TRANSACTIONS ON MULTIMEDIA》, 21 March 2008 (2008-03-21), pages 372 - 384 *
SRIPARNA SAHA ET AL.: "Fuzzy Image Matching for Posture Recognition", 《2013 IEEE INTERNATIONAL CONFERENCE ON FUZZY SYSTEMS (FUZZ-IEEE)》, 8 October 2013 (2013-10-08), pages 1 - 8 *
ZHE CAO ET AL.: "OpenPose: Realtime Multi-Person 2D Pose", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》, 17 July 2019 (2019-07-17), pages 172 - 186, XP011824613, DOI: 10.1109/TPAMI.2019.2929257 *
姚足等: "面向行人重识别的局部特征研究进展、挑战与展望", 《HTTPS://DOI.ORG/10.16383/J.AAS.C190821》, 7 May 2020 (2020-05-07), pages 1 - 19 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115578422A (zh) * 2022-11-18 2023-01-06 南京云创大数据科技股份有限公司 一种基于动态感知系统实现牲畜计数方法
CN117474785A (zh) * 2023-12-27 2024-01-30 江苏奥斯汀光电科技股份有限公司 一种多个人物姿态图像合成一个图像的方法
CN117474785B (zh) * 2023-12-27 2024-05-10 江苏奥斯汀光电科技股份有限公司 一种多个人物姿态图像合成一个图像的方法

Also Published As

Publication number Publication date
CN111738096B (zh) 2022-08-19

Similar Documents

Publication Publication Date Title
An et al. Performance evaluation of model-based gait on multi-view very large population database with pose sequences
Chen et al. Human action recognition using star skeleton
Zeng et al. Silhouette-based gait recognition via deterministic learning
US20070053590A1 (en) Image recognition apparatus and its method
Deng et al. Human gait recognition based on deterministic learning and data stream of microsoft kinect
CN111738096B (zh) 一种基于骨架姿态的人物跟踪方法
CN111414840A (zh) 步态识别方法、装置、设备及计算机可读存储介质
CN112906520A (zh) 一种基于姿态编码的动作识别方法及装置
Lu et al. Exploring high-order spatio–temporal correlations from skeleton for person Re-identification
Hang et al. Spatial-temporal adaptive graph convolutional network for skeleton-based action recognition
CN115331259A (zh) 一种三维人体姿态估计方法、系统及存储介质
CN116524586A (zh) 基于cnn与gcn姿态估计与相似度匹配的舞蹈评分算法
Pang et al. Analysis of computer vision applied in martial arts
CN108392207B (zh) 一种基于姿态标签的动作识别方法
Moon et al. Holistic planimetric prediction to local volumetric prediction for 3d human pose estimation
CN111738095B (zh) 一种基于骨架姿态的人物识别方法
Fang et al. Pedestrian attributes recognition in surveillance scenarios with hierarchical multi-task CNN models
Jessika et al. A study on part affinity fields implementation for human pose estimation with deep neural network
CN114973305B (zh) 一种针对拥挤人群的精确人体解析方法
Trong et al. A survey about view-invariant human action recognition
Li et al. Feature Point Matching for Human-Computer Interaction Multi-Feature Gesture Recognition Based on Virtual Reality VR Technology
An et al. Pedestrian Re-Identification Algorithm Based on Attention Pooling Saliency Region Detection and Matching
Yoon et al. Human computer interface for gesture-based editing system
CN110895684A (zh) 一种基于Kinect的手势动作识别方法
Lei et al. Human Pose Estimation of Diver Based on Improved Stacked Hourglass Model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant