CN112906667A - 基于三维人体关键点的人体姿态分层分类方法 - Google Patents

基于三维人体关键点的人体姿态分层分类方法 Download PDF

Info

Publication number
CN112906667A
CN112906667A CN202110371855.5A CN202110371855A CN112906667A CN 112906667 A CN112906667 A CN 112906667A CN 202110371855 A CN202110371855 A CN 202110371855A CN 112906667 A CN112906667 A CN 112906667A
Authority
CN
China
Prior art keywords
human body
equation
posture
key points
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110371855.5A
Other languages
English (en)
Other versions
CN112906667B (zh
Inventor
苑晶
朱书豪
胡天帅
祝文斌
高远兮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nankai University
Original Assignee
Nankai University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nankai University filed Critical Nankai University
Priority to CN202110371855.5A priority Critical patent/CN112906667B/zh
Publication of CN112906667A publication Critical patent/CN112906667A/zh
Application granted granted Critical
Publication of CN112906667B publication Critical patent/CN112906667B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明属于计算机视觉识别技术领域，更具体地，涉及一种基于三维人体关键点的人体姿态分层分类方法。该方法包括以下步骤，S1、采用SVM分类器对人体的站立与非站立姿态进行分类；S2、对于非站立姿态，使用三维人体关键点数据，计算出人体躯干平面法向量，通过法向量方向区分平躺与俯卧两类姿态。

Description

基于三维人体关键点的人体姿态分层分类方法
技术领域
本发明属于计算机视觉识别技术领域，更具体地，涉及一种基于三维人体关键点的人体姿态分层分类方法。
背景技术
根据输入数据的类型不同，可以将人体姿态分类划分为基于二维彩色图像的姿态分类和基于三维人体关键点的姿态分类。生物学家的研究表明人类可以仅通过观察人体的关键部位(例如头、肩、膝盖、腰等)的相对位置以及其运动来判断人体的姿态类别和动作，而不需要额外的外观信息[2]，即人体关键点估计可以有效地为人体姿态分类提供姿态类别信息。基于人体关键点的分类算法还可以避免由于图像光照变化和环境背景的影响造成的姿态分类错误。
在实际实验中，对于传统方法而言，仅使用关键点像素坐标信息作为特征不足以进行准确的分类。如图1所示，其中(a)图和(c)图分别为平躺和站立人体姿态，(b)图和(d)图为去除环境背景后站立与平躺人体姿态估计结果。由图可见，去掉人与环境的相对位置信息，仅根据估计的关键点像素坐标难以正确分类。
由于人体姿态的灵活性，人体姿态的微小变化都会使关键点产生较大的位置差异。除此之外，在本文中机器人与环境中的人的相对位置不确定，这导致在机器人移动的过程中，相机采集到的图片中的人体姿态会因为视角而发生变化。
对三种姿态进行分类：站立、平躺、俯卧。不同类别的姿态之间的差异体现在不同的特征维度上，难以使用相同的特征对这三种姿态进行分类。因此姿态分类的难点在于找到具有高鲁棒性和强判别性的分类特征。
发明内容
针对现有技术存在的技术问题，本发明提出了一种基于三维人体关键点的人体姿态分层分类方法，该方法能够对站立、平躺和俯卧三种姿态进行有效分类。
为实现上述目的，本发明提供了如下技术方案：
基于三维人体关键点的人体姿态分层分类方法，包括以下步骤，
S1、采用SVM分类器对人体的站立与非站立姿态进行分类；
S2、对于非站立姿态，使用三维人体关键点数据，计算出人体躯干平面法向量，通过法向量方向区分平躺与俯卧两类姿态。
本技术方案进一步的优化，所述步骤S1训练SVM分类器时，采用网格搜索法遍历设定的核函数和超参数，并通过在训练集与验证集上进行五折交叉验证来检验不同参数与核函数的分类性能，寻找最优的核函数与对应的超参数。
本技术方案更进一步的优化，所述核函数为线性核函数、多项式核函数或高斯核函数。
本技术方案更进一步的优化，所述核函数及超参数值如下：
Figure BDA0003009621560000021
本技术方案进一步的优化，所述步骤S1从得到的世界坐标系下人体关键点数据中选取头部和躯干上的关键点的z坐标作为SVM分类器的输入数据，Z＝{z1,...,z2},p＝7，
输入数据均值和方差分别为：
Figure BDA0003009621560000022
Figure BDA0003009621560000023
使用SVM分类器，求特征空间中的一个分离超平面wTx+b＝0，将计算得到的均值和方差作为样本特征，则样本数据集可表示为T＝{(x1,y1),...,(xN,yN)}，其中，
Figure BDA0003009621560000024
为样本数据个数，yi∈{-1,1}为样本类别标签，1和-1分别表示站立与非站立。
本技术方案更进一步的优化，所述步骤S1还包括，
对于线性可分类问题分类决策函数如式(3)所示：
f(x)＝sign(wTx+b) (3)
对每一个样本点(xi,yi)定义几何间距如式(4)所示：
Figure BDA0003009621560000031
所有样本点到分离超平面几何间距最小值可由公式(5)表示：
Figure BDA0003009621560000032
SVM最大化几何间距求取分离超平面目标函数如式(6)所示：
Figure BDA0003009621560000033
令
Figure BDA0003009621560000034
则公式(6)可以变换如式(7)所示形式：
yi(wTxi+b)≥1,i＝1,2,...,N (7)
因为最大化γ与最大化
Figure BDA0003009621560000035
和最小化
Figure BDA0003009621560000036
三者等价，目标函数可变成如式(8)所示形式：
Figure BDA0003009621560000037
根据式(8)构造拉格朗日目标函数如式(9)所示，其中αi为拉格朗日乘子，且αi＞0，
Figure BDA0003009621560000038
在满足KTT条件下对式(8)的对偶问题进行求解；KTT条件如式(10)所示：
Figure BDA0003009621560000039
令式(9)所示的拉格朗日函数L(w,b,α)对w和b分别求偏导数得到公式(11)和(12)：
Figure BDA00030096215600000310
Figure BDA00030096215600000311
根据公式(11)和(12)，公式(8)的对偶问题可由式(13)表示，该优化问题可由SMO算法计算满足最优条件的
Figure BDA00030096215600000312
Figure BDA0003009621560000041
对于任意支持向量(xs,ys)都有如式(14)所示等式成立，
Figure BDA0003009621560000042
其中S＝{i|αi＞0,i＝1,2,...,N}为所有支持向量的下标集，可选取任意支持向量并通过公式(14)求取b，
对于线性不可分类问题，φ(x)将x映射到高维空间，分类决策函数如式(15)所示：
f(x)＝wTφ(x)+b (15)
与线性可分类问题类似，使用拉格朗日乘子得到对偶问题，如式(16)所示：
Figure BDA0003009621560000043
如式(17)所示，在原始样本空间使用核函数k(·,·)代替在高维空间计算内积的操作，使用核函数后目标函数如式(18)所示：
k(xi,xj)＝<φ(xi),φ(xj)>＝φ(xi)Tφ(xj) (17)
Figure BDA0003009621560000044
Figure BDA0003009621560000045
αi≥0,i＝1,2,...,N
得到的分离超平面如式(19)所示：
Figure BDA0003009621560000051
使用式(3.25)的分类决策函数得到的分类结果为二值分类，使用sigmoid-fitting的方法将式(3.25)决策函数的输出转换成后验概率，计算过程如式(20)所示，其中f为公式(3.25)的输出，
Figure BDA0003009621560000052
采用极大似然法来估计公式(3.30)中的参数A和B，对数似然目标函数如式(3.31)所示：
Figure BDA0003009621560000053
其中ti，pi如公式(3.32)和公式(3.33)计算得到，其中N+为正样本的数目，N-为负样本的数目，
Figure BDA0003009621560000054
Figure BDA0003009621560000055
本技术方案进一步的优化，所述核函数为线性核函数、多项式核函数或高斯核函数。
本技术方案更进一步的优化，所述核函数表如下，
Figure BDA0003009621560000056
本技术方案进一步的优化，所述步骤S1选取人体头部和躯干上的关键点，躯干上的关键点包括左右肩、左右腰、腰部中心、颈部、人体中心。
本技术方案进一步的优化，选取左肩LS、右肩RS、人体中心P三点，如公式(24)和(25)所示，计算向量
Figure BDA0003009621560000061
和向量
Figure BDA0003009621560000062
Figure BDA0003009621560000063
Figure BDA0003009621560000064
如公式(26)所示，通过计算向量
Figure BDA0003009621560000065
和向量
Figure BDA0003009621560000066
外积得到躯干平面法向量
Figure BDA0003009621560000067
Figure BDA0003009621560000068
躯干平面法向量
Figure BDA0003009621560000069
在世界坐标系下z轴分量为正值时，判断人体姿态为平躺，为负值时，判断人体姿态为俯卧。
区别于现有技术，上述技术方案提出的人体姿态分类方法采用分层的方式，分层分类中基于SVM的站立与非站立姿态分类算法和基于躯干法向量的平躺与俯卧姿态分类算法可以准确地将站立、平躺、俯卧三种姿态区分开。
附图说明
图1为背景技术所述关键点像素坐标信息作为特征的分类示意图；
图2为基于三维人体关键点的人体姿态分层分类方法的框架图。
具体实施方式
为详细说明技术方案的技术内容、构造特征、所实现目的及效果，以下结合具体实施例并配合附图详予说明。
本发明提出一种基于三维人体关键点的人体姿态分层分类方法，针对该方法该实施例提出了基于三维人体关键点的人体姿态分层类框架。该实施例需要区分三类姿态：站立、平躺、俯卧，其三维姿态数据既具有相似性又具有差异性，同时加上人体姿态表现形式的丰富性，使同类姿态的不同样本间，在特征的显著性上呈现差异，难以用同一个特征表述方式来区分三种不同的姿态。对此，该实施例使用分层分类的框架，使用支持向量机(Support Vector Machine,SVM)分类器完成站立与非姿态的分类，使用躯干法向量完成平躺与俯卧姿态的分类，逐层设计具有高鲁棒性且不受相机拍摄视角影响的特征。参阅图2所示，为基于三维人体关键点的人体姿态分层分类方法的框架图。
在第一层中以选取的部分人体关键点z轴方向坐标均值和方差作为特征，使用SVM分类器完成站立和非站立姿态的分类。在第二层中使用人体关键点构建人体躯干平面，以躯干平面法向量在世界坐标系下数值区分平躺和俯卧。
一、基于SVM的站立与非站立姿态分类
由于人体姿态的灵活性和多样性，在站立和非站立样本的三维人体姿态中，双臂和双腿上的人体关键点(左右肘部、左右手部、左右膝部、左右脚部)在空间中的位置相对丰富，比较多变，对于区分站立与非站立姿态无法提供较好的特征信息。人体头部和躯干上的关键点(左右肩、左右腰、腰部中心、颈部、人体中心)在空间上的分布呈现出相对固定的特征，即对于站立姿态，这些关键点在z轴方向的数值较大且分布较为分散，对于非站立姿态，这些关键点在z轴方向的数值较小且分布集中。因此从得到的世界坐标系下人体关键点数据中选取头部和躯干上的关键点的z坐标作为第一层分类器的输入数据，Z＝{z1,...,z2},p＝7。
输入数据均值和方差分别为
Figure BDA0003009621560000071
Figure BDA0003009621560000072
使用SVM分类器，求特征空间中的一个分离超平面wTx+b＝0。将计算得到的均值和方差作为样本特征，则样本数据集可表示为T＝{(x1,y1),...,(xN,yN)}，其中，
Figure BDA0003009621560000073
为样本数据个数，yi∈{-1,1}为样本类别标签，在该实施例中1和-1分别表示站立与非站立。
对于线性可分类问题分类决策函数如式(3)所示，输入样本数据，根据输出值进行分类决策。
f(x)＝sign(wTx+b) (3)
其中，矢量w和标量b分别为分离超平面的法向量和分离超平面到原点的截距。对每一个样本点(xi,yi)定义到分离超平面几何间距如式(4)所示。
Figure BDA0003009621560000074
所有样本点到分离超平面几何间距最小值可由公式(5)表示。
Figure BDA0003009621560000081
SVM最大化几何间距求取分离超平面目标函数如式(6)所示。
Figure BDA0003009621560000082
令
Figure BDA0003009621560000083
则公式(6)可以变换如式(7)所示形式。
yi(wTxi+b)≥1,i＝1,2,...,N (7)
因为最大化γ与最大化
Figure BDA0003009621560000084
和最小化
Figure BDA0003009621560000085
三者等价，目标函数可变成如式(8)所示形式。
Figure BDA0003009621560000086
根据式(8)构造拉格朗日目标函数如式(9)所示。其中αi为拉格朗日乘子，且αi＞0。
Figure BDA0003009621560000087
在满足KTT条件下对式(8)的对偶问题进行求解。KTT条件如式(10)所示。
Figure BDA0003009621560000088
令式(9)所示的拉格朗日函数L(w,b,α)对w和b分别求偏导数得到公式(11)和(12)。
Figure BDA0003009621560000089
Figure BDA00030096215600000810
根据公式(11)和(12)，公式(8)的对偶问题可由式(13)表示。该优化问题可由SMO算法计算满足最优条件的
Figure BDA00030096215600000811
Figure BDA00030096215600000812
Figure BDA00030096215600000813
αi≥0,i＝1,2,...,N
对于任意支持向量(xs,ys)都有如式(14)所示等式成立。
Figure BDA0003009621560000091
其中S＝{i|αi＞0,i＝1,2,...,N}为所有支持向量的下标集。可选取任意支持向量并通过公式(14)求取b。
对于线性不可分类问题，φ(x)将x映射到高维空间，分类决策函数如式(15)所示，通过将输入数据x映射到高维空间数据φ(x)，通过输出f(x)来完成分类决策。
f(x)＝wTφ(x)+b (15)
与线性可分类问题类似，使用拉格朗日乘子得到对偶问题，如式(16)所示。
Figure BDA0003009621560000092
如式(17)所示，在原始样本空间使用核函数k(·,·)代替在高维空间计算内积的操作。使用核函数后目标函数如式(18)所示。
k(xi,xj)＝<φ(xi),φ(xj)>＝φ(xi)Tφ(xj) (17)
Figure BDA0003009621560000093
Figure BDA0003009621560000094
αi≥0,i＝1,2,...,N
得到的分离超平面如式(19)所示。
Figure BDA0003009621560000095
常用核函数如表1所示。
表1常用核函数表
Figure BDA0003009621560000101
使用式(15)的分类决策函数得到的分类结果为二值分类。使用sigmoid-fitting的方法将式(15)决策函数的输出转换成后验概率P，计算过程如式(20)所示。其中f为公式(15)的输出。
Figure BDA0003009621560000102
采用极大似然法来估计公式(20)中的参数A和B，对数似然目标函数如式(21)所示。
Figure BDA0003009621560000103
其中ti，pi为模型参数，可由公式(22)和公式(23)计算得到，其中N+为正样本的数目，N-为负样本的数目。
Figure BDA0003009621560000104
Figure BDA0003009621560000105
二、基于人体躯干法向量的平躺与俯卧分类
此部分为本发明重要的创新部分。在第二层中，对于第一层得到的非站立姿态中平躺与俯卧两姿态进行分类。两类姿态双臂和双腿上的关键点在空间中的位置没有较大的差异。人类在判断平躺与俯卧两类姿态时，主要判断依据为人体的躯干上左右肩、左右腰、人体中心和头部的关键点。
使用关键点区分人体平躺与俯卧时，主要判断依据为人体躯干相对于地面的朝向，当躯干正面朝上时人体处于平躺姿态，当躯干背面朝上时人体处于俯卧姿态。根据这一判断依据，本文使用三维人体关键点数据，计算出人体躯干平面法向量，通过法向量方向区分平躺与俯卧两类姿态。
选取左肩(LS)、右肩(RS)、人体中心(P)三点，如公式(24)和(25)所示，计算向量
Figure BDA0003009621560000111
和向量
Figure BDA0003009621560000112
Figure BDA0003009621560000113
Figure BDA0003009621560000114
其中，xLS、yLS、zLS、xRS、yRS、zRS、xP、yP、zP分别表示左肩在x轴方向和y轴方向以及z轴方向坐标、右肩在x轴方向和y轴方向以及z轴方向坐标以及人体中心点在x轴方向和y轴方向以及z轴方向坐标。如公式(26)所示，通过计算向量
Figure BDA0003009621560000115
和向量
Figure BDA0003009621560000116
外积得到躯干平面法向量
Figure BDA0003009621560000117
Figure BDA0003009621560000118
躯干平面法向量
Figure BDA0003009621560000119
在世界坐标系下z轴分量为正值时，判断人体姿态为平躺，为负值时，判断人体姿态为俯卧。
在该实施例的实验中，分别验证本发明提出的分层分类框架中第一层基于SVM的站立与非站立姿态分类效果，第二层基于躯干法向量的平躺与俯卧姿态分类效果。采用准确率(Precision)、召回率(Recall)、F1-score来评价本文提出的分类算法性能，评价指标的计算公式分别由式(27)、(28)和(29)给出。
Figure BDA00030096215600001110
Figure BDA00030096215600001111
Figure BDA00030096215600001112
其中在站立与非站立分类中TP为正确分类为站立姿态的样本个数，FP为错误分类为站立姿态的样本个数，FN为错误分类为非站立姿态的站立姿态样本个数。在平躺与俯卧分类中TP为正确分类为平躺的样本个数，FP为错误分类为平躺姿态的样本个数，FN为错误分类为俯卧姿态的平躺姿态样本个数。
在进行基于SVM的站立与非站立姿态分类实验时，从自采数据集中随机选出30％的数据作为最终测试集，其余70％作为训练SVM分类器时使用的训练集与验证集数据样本。
训练SVM分类器时，采用网格搜索法(Grid Search)遍历本实验设定的核函数和超参数，并通过在训练集与验证集上进行五折交叉验证来检验不同参数与核函数的分类性能，寻找最优的核函数与对应的超参数。该实施例设定的核函数和对应的超参数如表格2所示。其中C为惩罚因子，d为多项式核次数，γ的定义如表1所示。通过网格搜素与交叉验证，本实验选择高斯核函数，超参数C取值100，γ取值1。
表2核函数与对应超参数范围
Figure BDA0003009621560000121
表3展示了基于SVM的站立与非站立姿态分类在测试集上的分类性能指标。
表3基于SVM的站立于非站立姿态分类性能指标
Figure BDA0003009621560000122
使用数据集一完成基于躯干法向量的平躺与俯卧姿态分类效果验证。表4展示了平躺与非平躺姿态分类的性能指标。
表4基于躯干法向量的平躺与俯卧姿态分类性能指标
Figure BDA0003009621560000123
实验证明，本发明提出的人体姿态分层分类框架，以及分层分类中基于SVM的站立与非站立姿态分类算法和基于躯干法向量的平躺与俯卧姿态分类算法可以准确地将站立、平躺、俯卧三种姿态区分开。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括……”或“包含……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的要素。此外，在本文中，“大于”、“小于”、“超过”等理解为不包括本数；“以上”、“以下”、“以内”等理解为包括本数。
尽管已经对上述各实施例进行了描述，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改，所以以上所述仅为本发明的实施例，并非因此限制本发明的专利保护范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围之内。

Claims (10)

1.基于三维人体关键点的人体姿态分层分类方法，其特征在于，包括以下步骤，
S1、采用SVM分类器对人体的站立与非站立姿态进行分类；
S2、对于非站立姿态，使用三维人体关键点数据，计算出人体躯干平面法向量，通过法向量方向区分平躺与俯卧两类姿态。
2.如权利要求1所述的基于三维人体关键点的人体姿态分层分类方法，其特征在于，
所述步骤S1训练SVM分类器时，采用网格搜索法遍历设定的核函数和超参数，并通过在训练集与验证集上进行五折交叉验证来检验不同参数与核函数的分类性能，寻找最优的核函数与对应的超参数。
3.如权利要求2所述的基于三维人体关键点的人体姿态分层分类方法，其特征在于，所述核函数为线性核函数、多项式核函数或高斯核函数。
4.如权利要求3所述的基于三维人体关键点的人体姿态分层分类方法，其特征在于，
所述核函数及超参数值如下：
Figure FDA0003009621550000011
5.如权利要求1所述的基于三维人体关键点的人体姿态分层分类方法，其特征在于，
所述步骤S1从得到的世界坐标系下人体关键点数据中选取头部和躯干上的关键点的z坐标作为SVM分类器的输入数据，Z＝{z1,...,z2},p＝7，
输入数据均值和方差分别为：
Figure FDA0003009621550000012
使用SVM分类器，求特征空间中的一个分离超平面wTx+b＝0，将计算得到的均值和方差作为样本特征，则样本数据集可表示为T＝{(x1,y1),...,(xN,yN)}，其中，
Figure FDA00030096215500000210
为样本数据个数，yi∈{-1,1}为样本类别标签，1和-1分别表示站立与非站立。
6.如权利要求5所述的基于三维人体关键点的人体姿态分层分类方法，其特征在于，
所述步骤S1还包括
对于线性可分类问题分类决策函数如式(3)所示：
f(x)＝sign(wTx+b) (3)
对每一个样本点(xi,yi)定义几何间距如式(4)所示：
Figure FDA0003009621550000021
所有样本点到分离超平面几何间距最小值可由公式(5)表示：
Figure FDA0003009621550000022
SVM最大化几何间距求取分离超平面目标函数如式(6)所示：
Figure FDA0003009621550000023
令
Figure FDA0003009621550000024
则公式(6)可以变换如式(7)所示形式：
yi(wTxi+b)≥1,i＝1,2,...,N (7)
因为最大化γ与最大化
Figure FDA0003009621550000025
和最小化
Figure FDA0003009621550000026
三者等价，目标函数可变成如式(8)所示形式：
Figure FDA0003009621550000027
根据式(8)构造拉格朗日目标函数如式(9)所示，其中αi为拉格朗日乘子，且αi＞0，
Figure FDA0003009621550000028
在满足KTT条件下对式(8)的对偶问题进行求解；KTT条件如式(10)所示：
Figure FDA0003009621550000029
令式(9)所示的拉格朗日函数L(w,b,α)对w和b分别求偏导数得到公式(11)和(12)：
Figure FDA0003009621550000031
根据公式(11)和(12)，公式(8)的对偶问题可由式(13)表示，该优化问题可由SMO算法计算满足最优条件的
Figure FDA0003009621550000032
Figure FDA0003009621550000033
对于任意支持向量(xs,ys)都有如式(14)所示等式成立，
Figure FDA0003009621550000034
其中S＝{i|αi＞0,i＝1,2,...,N}为所有支持向量的下标集，可选取任意支持向量并通过公式(14)求取b，
对于线性不可分类问题，φ(x)将x映射到高维空间，分类决策函数如式(15)所示：
f(x)＝wTφ(x)+b (15)
与线性可分类问题类似，使用拉格朗日乘子得到对偶问题，如式(16)所示：
Figure FDA0003009621550000035
如式(17)所示，在原始样本空间使用核函数k(·,·)代替在高维空间计算内积的操作，使用核函数后目标函数如式(18)所示：
k(xi,xj)＝<φ(xi),φ(xj)>＝φ(xi)Tφ(xj) (17)
Figure FDA0003009621550000041
得到的分离超平面如式(19)所示：
Figure FDA0003009621550000042
使用式(3.25)的分类决策函数得到的分类结果为二值分类，使用sigmoid-fitting的方法将式(3.25)决策函数的输出转换成后验概率，计算过程如式(20)所示，其中f为公式(3.25)的输出，
Figure FDA0003009621550000043
采用极大似然法来估计公式(3.30)中的参数A和B，对数似然目标函数如式(3.31)所示：
Figure FDA0003009621550000044
其中ti，pi如公式(3.32)和公式(3.33)计算得到，其中N+为正样本的数目，N-为负样本的数目，
Figure FDA0003009621550000045
7.如权利要求6所述的基于三维人体关键点的人体姿态分层分类方法，其特征在于，
所述核函数为线性核函数、多项式核函数或高斯核函数。
8.如权利要求7所述的基于三维人体关键点的人体姿态分层分类方法，其特征在于，
所述核函数表如下，
Figure FDA0003009621550000051
9.如权利要求1所述的基于三维人体关键点的人体姿态分层分类方法，其特征在于，
所述步骤S1选取人体头部和躯干上的关键点，躯干上的关键点包括左右肩、左右腰、腰部中心、颈部、人体中心。
10.如权利要求1所述的基于三维人体关键点的人体姿态分层分类方法，其特征在于，选取左肩LS、右肩RS、人体中心P三点，如公式(24)和(25)所示，计算向量
Figure FDA0003009621550000052
和向量
Figure FDA0003009621550000053
Figure FDA0003009621550000054
如公式(26)所示，通过计算向量
Figure FDA0003009621550000055
和向量
Figure FDA0003009621550000056
外积得到躯干平面法向量
Figure FDA0003009621550000057
Figure FDA0003009621550000058
躯干平面法向量
Figure FDA0003009621550000059
在世界坐标系下z轴分量为正值时，判断人体姿态为平躺，为负值时，判断人体姿态为俯卧。
CN202110371855.5A 2021-04-07 2021-04-07 基于三维人体关键点的人体姿态分层分类方法 Active CN112906667B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110371855.5A CN112906667B (zh) 2021-04-07 2021-04-07 基于三维人体关键点的人体姿态分层分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110371855.5A CN112906667B (zh) 2021-04-07 2021-04-07 基于三维人体关键点的人体姿态分层分类方法

Publications (2)

Publication Number Publication Date
CN112906667A true CN112906667A (zh) 2021-06-04
CN112906667B CN112906667B (zh) 2023-05-02

Family

ID=76110027

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110371855.5A Active CN112906667B (zh) 2021-04-07 2021-04-07 基于三维人体关键点的人体姿态分层分类方法

Country Status (1)

Country Link
CN (1) CN112906667B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104112143A (zh) * 2014-07-23 2014-10-22 大连民族学院 基于加权超球支持向量机算法的图像分类方法
EP2892007A2 (en) * 2014-01-03 2015-07-08 Tata Consultancy Services Limited Static posture based person identification
CN108615050A (zh) * 2018-04-11 2018-10-02 南京邮电大学 一种基于支持向量机的人体姿态判别方法
CN108960056A (zh) * 2018-05-30 2018-12-07 西南交通大学 一种基于姿态分析和支持向量数据描述的跌倒检测方法
CN109255296A (zh) * 2018-08-06 2019-01-22 广东工业大学 一种基于深度卷积神经网络的日常人体行为识别方法
CN109670434A (zh) * 2018-12-13 2019-04-23 南京理工大学 基于无线信道状态信息的坐姿时长检测方法
CN111046825A (zh) * 2019-12-19 2020-04-21 杭州晨鹰军泰科技有限公司 人体姿态识别方法、装置、系统及计算机可读存储介质
CN111259749A (zh) * 2020-01-10 2020-06-09 上海大学 一种基于双向lstm的复杂环境下实时人体姿势识别方法
CN112149588A (zh) * 2020-09-28 2020-12-29 北京工业大学 一种基于行人姿态估计的电梯智能调度方法
CN112287865A (zh) * 2020-11-10 2021-01-29 上海依图网络科技有限公司 一种人体姿态识别的方法及装置
CN112613490A (zh) * 2021-01-08 2021-04-06 云从科技集团股份有限公司 一种行为识别方法、装置、机器可读介质及设备

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2892007A2 (en) * 2014-01-03 2015-07-08 Tata Consultancy Services Limited Static posture based person identification
CN104112143A (zh) * 2014-07-23 2014-10-22 大连民族学院 基于加权超球支持向量机算法的图像分类方法
CN108615050A (zh) * 2018-04-11 2018-10-02 南京邮电大学 一种基于支持向量机的人体姿态判别方法
CN108960056A (zh) * 2018-05-30 2018-12-07 西南交通大学 一种基于姿态分析和支持向量数据描述的跌倒检测方法
CN109255296A (zh) * 2018-08-06 2019-01-22 广东工业大学 一种基于深度卷积神经网络的日常人体行为识别方法
CN109670434A (zh) * 2018-12-13 2019-04-23 南京理工大学 基于无线信道状态信息的坐姿时长检测方法
CN111046825A (zh) * 2019-12-19 2020-04-21 杭州晨鹰军泰科技有限公司 人体姿态识别方法、装置、系统及计算机可读存储介质
CN111259749A (zh) * 2020-01-10 2020-06-09 上海大学 一种基于双向lstm的复杂环境下实时人体姿势识别方法
CN112149588A (zh) * 2020-09-28 2020-12-29 北京工业大学 一种基于行人姿态估计的电梯智能调度方法
CN112287865A (zh) * 2020-11-10 2021-01-29 上海依图网络科技有限公司 一种人体姿态识别的方法及装置
CN112613490A (zh) * 2021-01-08 2021-04-06 云从科技集团股份有限公司 一种行为识别方法、装置、机器可读介质及设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
汪海燕: "数字图像来源设备辨识研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *

Also Published As

Publication number Publication date
CN112906667B (zh) 2023-05-02

Similar Documents

Publication Publication Date Title
CN106682598B (zh) 一种基于级联回归的多姿态的人脸特征点检测方法
Rudovic et al. Coupled Gaussian processes for pose-invariant facial expression recognition
Mao et al. Hierarchical Bayesian theme models for multipose facial expression recognition
CN108268838B (zh) 人脸表情识别方法及人脸表情识别系统
Ning et al. Discriminative learning of visual words for 3D human pose estimation
Gokberk et al. Representation plurality and fusion for 3-D face recognition
CN106570480B (zh) 一种基于姿势识别的人体动作分类方法
Shi et al. Face alignment with deep regression
Lee et al. Tensor-based AAM with continuous variation estimation: Application to variation-robust face recognition
CN105894047A (zh) 一种基于三维数据的人脸分类系统
Bhuyan et al. Hand pose identification from monocular image for sign language recognition
Ren et al. Facial expression recognition based on AAM–SIFT and adaptive regional weighting
Ghazal et al. Human posture classification using skeleton information
CN114616588A (zh) 图像处理装置、图像处理方法以及存储图像处理程序的非暂时性计算机可读介质
Mirehi et al. Hand gesture recognition using topological features
CN103218606A (zh) 一种基于人脸均值和方差能量图的多姿态人脸识别方法
CN115393964A (zh) 基于BlazePose的健身动作识别方法及装置
Assadi et al. A new method for human face recognition using texture and depth information
Li et al. Recognizing hand gestures using the weighted elastic graph matching (WEGM) method
Yamao et al. Development of human pose recognition system by using raspberry pi and posenet model
JP7409499B2 (ja) 画像処理装置、画像処理方法、及びプログラム
CN112906667B (zh) 基于三维人体关键点的人体姿态分层分类方法
Salim et al. Human activity recognition using the human skeleton provided by kinect
Zhou et al. Sketch augmentation-driven shape retrieval learning framework based on convolutional neural networks
JP7364077B2 (ja) 画像処理装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant