CN110210454B - 一种基于数据融合的人体动作预判方法 - Google Patents

一种基于数据融合的人体动作预判方法 Download PDF

Info

Publication number
CN110210454B
CN110210454B CN201910522350.7A CN201910522350A CN110210454B CN 110210454 B CN110210454 B CN 110210454B CN 201910522350 A CN201910522350 A CN 201910522350A CN 110210454 B CN110210454 B CN 110210454B
Authority
CN
China
Prior art keywords
human body
training sample
characteristic data
probability
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910522350.7A
Other languages
English (en)
Other versions
CN110210454A (zh
Inventor
吕俊伟
胡学钢
李培培
廖建兴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN201910522350.7A priority Critical patent/CN110210454B/zh
Publication of CN110210454A publication Critical patent/CN110210454A/zh
Application granted granted Critical
Publication of CN110210454B publication Critical patent/CN110210454B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于数据融合的人体动作预判方法，包括：1、将人体动作序列数据的特征数据截断为多段人体动作序列数据；2、选择一种人体动作概率分类器，在每个截断的训练样本上分别对每维人体关键部位的数据进行训练，并得到概率分类结果；3、将每个截断的训练样本上的概率分类结果进行数据融合；4、通过最小化目标函数确定人体动作预判规则中的参数；5、利用训练好的模型对人体动作测试数据进行预判。本发明通过数据融合方法综合考虑人体各关键部位数据间的相互关系，并构建有效的人体动作预判规则，能够在保证人体动作分类准确率的条件下进行动作预判。

Description

一种基于数据融合的人体动作预判方法
技术领域
本发明涉及人体动作识别领域，具体是一种基于数据融合的人体动作预判方法。
背景技术
人体动作识别是目前人工智能领域一个重要研究方向，该方向的研究对生产和科研领域都有着十分重要的意义。它涉及到视频捕获、图像处理、模式识别等相关技术，其在智能家居、人机交互、服务机器人等领域获得了广泛的应用。
人体动作识别问题实际是一个分类问题，它主要包括关节点追踪、特征提取以及动作识别，近年来这方面的研究取得了重大突破。关节点追踪主要完成的工作是从视频图像中得到人的结构模型，是后续动作识别的基础。特征提取是提取人体动作图像中属于特征性的信息的方法及过程，有效的人体动作特征提取可以大大提升识别准确率。动作识别是构建分类器，将提取到的特征输入分类器进行动作识别，常用的方法可分为基于模板的方法，比如模板匹配、动态时间规整、动态规划等；基于状态的方法，比如：比如动态贝叶斯网络、隐马尔科夫模型等；基于机器学习的方法，比如SVM、KNN等；以及基于深度学习的方法，比如卷积神经网络等。
人体动作预判是指在一个人体动作尚未完成的情况下，根据目前已经完成的部分动作，提前识别出动作类型，因此它既需要准确地给出分类结果，又要尽可能早地给出分类结果。人体动作预判有着非常重要的现实意义，比如在人机交互时，智能机器人可以根据人的部分动作进行预判并做出相应动作，可以加快机器人反应速度，提高其智能化程度；汽车自动驾驶过程中对行人动作的预判，可以提前规避行人，提高自动驾驶的安全性。
由于人体动作预判具有重要的现实意义，越来越受到学术界和产业界的重视。然而，目前人体动作预判存在几方面问题：
其一、传统的人体动作识别方法都是基于动作序列完成后，再利用某种分类方法判断人体动作的类型，而并不能提前给出分类结果，即不能在动作序列未完成前进行预判；
其二、人体动作实时识别方法不论结果是否准确，都会给出一种动作识别结果，并不能保证结果的可靠性，这将导致用户可能做出不正确的决策；
其三、人体动作由多维关键部位的序列数据构成，目前的还缺乏有效地概率数据融合方法用于综合考虑所有关键部位间的相互关系。
因此，目前还没有一种有效方法很好地适用于人体动作预判，只有在保证人体动作识别准确率的前提下，才尽可能早的进行预判。
发明内容
本发明为克服现有技术存在的不足之处，提供一种基于数据融合的人体动作预判方法，以期通过融合所有关键部位的分类概率结果提升识别准确率，并且构建新颖有效的人体动作预判规则，在保证人体动作识别准确率的前提下，尽可能达到提前识别的目的。
为了达到上述目的，本发明所采用的技术方案为：
本发明一种基于数据融合的人体动作预判方法的特点是按如下步骤进行：
步骤1：获取一组人体动作的序列数据作为训练样本：
所述训练样本是由人体动作特征数据D＝{Di|i＝1,2,…,N}和人体动作分类标签数据Y＝{yi|i＝1,2,…,N}组成，其中，N表示所述训练样本的个数，Di表示所述训练样本中第i条人体动作的特征数据，并有：Di＝{(tj,Xi,j)|i＝1,2,…,N；j＝1,2,…,Li}，Li表示所述训练样本中第i条人体动作特征数据Di的长度，tj表示所述训练样本中第j个时间，Xi,j表示所述训练样本中第i条人体动作特征数据Di在第j个时间tj对应的特征向量，并有：
Figure BDA0002097117180000021
U表示所述训练样本中人体关键部位的维度，
Figure BDA0002097117180000022
表示所述训练样本中第i条人体动作特征数据Di在第j个时间tj上第u维人体关键部位的特征值；yi表示所述训练样本中第i条人体动作特征数据Di对应的人体动作分类标签，并有：yi＝{cm|m＝1,2,…,M}，M表示人体动作分类标签的个数，cm表示第m个人体动作分类标签，i∈[1,N]，j∈[1,Li]，u∈[1,U]，m∈[1,M]；
步骤2：将所述训练样本分别截断为长度为r,2r,…,d×r,…,S×r的人体动作序列数据，从而得到S个截断的训练样本，其中，r和S是正整数，第d个截断的训练样本记为
Figure BDA0002097117180000023
Figure BDA0002097117180000024
表示所述第d个截断的训练样本Dd中第i条人体动作特征数据，并有
Figure BDA0002097117180000025
d∈[1,S]；
步骤3：选择一种人体动作的概率分类器，将所述第d个截断的训练样本Dd中第u维人体关键部位特征数据
Figure BDA0002097117180000026
输入所述概率分类器，从而训练得到在所述第d个截断的训练样本Dd中第u维人体关键部位特征数据Dd,u上的人体动作概率分类器Fd,u；进而得到S×U个人体动作概率分类器{Fd,u|d＝1,2,…,S；u＝1,2,…,U}；其中，
Figure BDA0002097117180000031
表示第d个截断的训练样本Dd中第i条人体动作特征数据
Figure BDA0002097117180000032
的第u维人体关键部位，且
Figure BDA0002097117180000033
步骤4：将所述第d个截断的训练样本Dd中第u维人体关键部位特征数据Dd,u输入所述训练后的人体动作概率分类器Fd,u，从而得到第d个截断的训练样本Dd中第u维人体关键部位特征数据Dd,u的人体动作分类的概率结果Pd,u＝{Pi d,u|i＝1,2,…,N}，其中，Pi d,u表示所述第d个截断的训练样本Dd中第i条人体动作特征数据
Figure BDA0002097117180000034
的第u维人体关键部位
Figure BDA0002097117180000035
的分类概率结果，并有：
Figure BDA0002097117180000036
Figure BDA0002097117180000037
表示所述第d个截断的训练样本Dd中第i条人体动作特征数据
Figure BDA0002097117180000038
的第u维人体关键部位
Figure BDA0002097117180000039
的分类概率结果Pi d,u中第m类的概率；进而得到S×U个人体动作分类的概率结果{Pd,u|d＝1,2,…,S；u＝1,2,…,U}；
步骤5：计算在所述第d个截断的训练样本Dd中第u维人体关键部位特征数据Dd,u在分类结果Pd,u中的权重wd,u，从而得到S×U个权重值{wd,u|d＝1,2,…,S；u＝1,2,…,U}：
步骤5.1：利用式(1)计算所述人体动作概率分类器Fd,u的错误率ed,u：
Figure BDA00020971171800000310
式(1)中，||·||表示集合中元素的个数，
Figure BDA00020971171800000311
表示当(·)取最大值时m的取值，cb表示第b个人体动作分类标签，b∈[1,M]；
步骤5.2：利用式(2)计算所述第d个截断的训练样本Dd中第u维人体关键部位特征数据Dd,u在分类结果Pd,u中的权重wd,u：
Figure BDA00020971171800000312
式(2)中，ed,k表示所述第d个截断的训练样本Dd中第k维人体关键部位特征数据Dd ,k上的人体动作概率分类器Fd,k的错误率；
步骤6：利用式(3)得到第d个截断的训练样本Dd中第i条人体动作特征数据
Figure BDA0002097117180000041
融合后的分类概率结果
Figure BDA0002097117180000042
中第m类的概率
Figure BDA0002097117180000043
从而得到第d个截断的训练样本Dd中第i条人体动作特征数据
Figure BDA0002097117180000044
融合后的分类概率结果
Figure BDA0002097117180000045
Figure BDA0002097117180000046
步骤7：利用式(4)得到第d个截断的训练样本Dd中第i条人体动作特征数据
Figure BDA0002097117180000047
归一化后的分类概率结果
Figure BDA0002097117180000048
中第m类的概率
Figure BDA0002097117180000049
从而得到第d个截断的训练样本Dd中第i条人体动作特征数据
Figure BDA00020971171800000410
归一化后的概率分类结果
Figure BDA00020971171800000411
进而得到第d个截断的训练样本Dd中N条人体动作特征数据
Figure BDA00020971171800000412
归一化后的概率分类结果
Figure BDA00020971171800000413
最终得到S×N个归一化后的分类概率结果
Figure BDA00020971171800000414
Figure BDA00020971171800000415
式(4)中，
Figure BDA00020971171800000416
表示所述第d个截断的训练样本Dd中第i条人体动作特征数据
Figure BDA00020971171800000417
融合后的分类概率结果
Figure BDA00020971171800000418
中第z类的概率；
步骤8：利用式(5)计算所述第d个截断的训练样本Dd中归一化后的分类概率结果
Figure BDA00020971171800000419
的正确率ad，从而得到S个归一化后的分类概率结果的正确率{ad|d＝1,2,…,S}：
Figure BDA00020971171800000420
式(5)中，cg表示第g个人体动作分类标签，g∈[1,M]；
步骤9：确定式(6)所示的人体动作预判规则函数
Figure BDA00020971171800000421
中的参数λ1、λ2和λ3，从而建立人体动作预判模型：
Figure BDA0002097117180000051
式(6)中，
Figure BDA0002097117180000052
表示所述第d个截断的训练样本Dd中第i条人体动作特征数据
Figure BDA0002097117180000053
归一化后的概率分类结果
Figure BDA0002097117180000054
中最大值，
Figure BDA0002097117180000055
表示所述第d个截断的训练样本Dd中第i条人体动作特征数据
Figure BDA0002097117180000056
归一化后的概率分类结果
Figure BDA0002097117180000057
中第二大的值；
步骤9.1：利用式(7)建立目标函数f：
f＝α×(N-correct)+(1-α)×earliness (7)
式(7)中，α是一个常数，且0≤α≤1；correct是分类正确的样本个数；earliness是提前量；
步骤9.2：定义目标函数的最小值为fmin，并初始化fmin＝N，定义第一参数λ1的循环变量为λ′1，并初始化λ′1＝-1，初始化循环变量的步长ε＝J，其中，J是一个常量；
步骤9.3：如果λ′1≤1，则执行步骤9.4；否则，表示得到训练好的人体动作预判模型用于实现对其他人体动作序列的预判；
步骤9.4：定义第二参数λ2的循环变量为λ′2，并初始化λ′2＝-1；
步骤9.5：如果λ′2≤1，则执行步骤9.6；否则，将λ′1+ε赋值给λ′1后，执行步骤9.3；
步骤9.6：定义第三参数λ3的循环变量为λ′3，并初始化λ′3＝-1；
步骤9.7：如果λ′3≤1，则执行步骤9.8；否则，将λ′2+ε赋值给λ′2后，执行步骤9.5；
步骤9.8：初始化i＝1、correct＝0、earliness＝0；
步骤9.9：如果i≤N，则初始化d＝1后，执行步骤9.11；否则，利用式(7)计算目标函数f的值后，执行步骤9.10；
步骤9.10：判断f＜fmin是否成立，若成立，则将f赋值给fmin，λ′1赋值给λ1，λ′2赋值给λ2，λ′3赋值给λ3，λ′3+ε赋值给λ′3后，执行步骤9.7；否则，将λ′3+ε赋值给λ′3后，执行步骤9.7；
步骤9.11：如果d≤S，则利用式(6)计算人体动作预判规则函数
Figure BDA0002097117180000058
的值后，执行步骤9.12；否则，执行步骤9.13；
步骤9.12：如果
Figure BDA0002097117180000061
则将d+1赋值给d后，执行步骤9.11；否则，执行步骤9.13；
步骤9.13：利用式(8)计算更新后的提前量earliness′并赋值给earliness；
earliness′＝earliness+min(1.0,d×r/Li) (8)
式(8)中，min(·)为取最小值函数；
步骤9.14：如果cg＝yi，其中，
Figure BDA0002097117180000062
则将correct+1赋值给correct，将i+1赋值给i后，执行步骤9.9，否则将i+1赋值给i后，执行步骤9.9。
与已有技术相比，本发明的有益效果体现在：
1、本发明提出了一种有效的基于人体关键部位序列数据的概率分类结果的数据融合方法，综合考虑了各关键部位间的相互作用，从而提升了人体动作识别的准确率；
2、本发明构建了一种新颖的人体动作预判规则以及规则中的参数最优化方法，这种规则保证只有在分类结果足够可靠的前提下，才提前给出人体动作类型的判别结果，从而有利于用户提前决策；
3、本发明中不限定使用某种特定的人体动作分类器，可根据不同的场景选择合适的分类器，因此，本方法的适应性强，扩展性好。
附图说明
图1为本发明基于数据融合的人体动作预判方法的流程图；
图2为本发明确定人体动作预判规则中参数的流程图。
具体实施方式
本实施例中，参照图1，一种基于数据融合的人体动作预判方法是按如下步骤进行：
步骤1：获取一组人体动作的序列数据作为训练样本：
训练样本是由人体动作特征数据D＝{Di|i＝1,2,…,N}和人体动作分类标签数据Y＝{yi|i＝1,2,…,N}组成，其中，N表示训练样本的个数，Di表示训练样本中第i条人体动作的特征数据，并有：Di＝{(tj,Xi,j)|i＝1,2,…,N；j＝1,2,…,Li}，Li表示训练样本中第i条人体动作特征数据Di的长度，tj表示训练样本中第j个时间，Xi,j表示训练样本中第i条人体动作特征数据Di在第j个时间tj对应的特征向量，并有：
Figure BDA0002097117180000063
U表示训练样本中人体关键部位的维度，
Figure BDA0002097117180000071
表示训练样本中第i条人体动作特征数据Di在第j个时间tj上第u维人体关键部位的特征值；yi表示训练样本中第i条人体动作特征数据Di对应的人体动作分类标签，并有：yi＝{cm|m＝1,2,…,M}，M表示人体动作分类标签的个数，cm表示第m个人体动作分类标签，i∈[1,N]，j∈[1,Li]，u∈[1,U]，m∈[1,M]；
本实施例中，采用微软的Kinect体感设备采集一组人体动作的序列数据作为训练样本，每个训练样本包含右肩关节、右肘关节、右手腕关节、右膝关节等4维人体关键部位的Z轴坐标序列数据；人体动作类型包括：打电话、起立、坐下等3类。
本实施例中，N＝200，M＝3，Li∈[161,266]，U＝4，u＝1表示右肩关节，u＝2表示右肘关节，u＝3表示右手腕关节，u＝4表示右膝关节，c1表示打电话，c2表示起立，c3表示坐下。
步骤2：将训练样本分别截断为长度为r,2r,…,d×r,…,S×r的人体动作序列数据，从而得到S个截断的训练样本，其中，r和S是正整数，第d个截断的训练样本记为
Figure BDA0002097117180000072
Figure BDA0002097117180000073
表示第d个截断的训练样本Dd中第i条人体动作特征数据，并有
Figure BDA0002097117180000074
d∈[1,S]；
本实施例中，取r＝12，将采集到的训练样本分别截断成长度为12，24，…，240等20个训练样本，每个截断后的训练样本均从第1个数据开始。
步骤3：选择一种人体动作的概率分类器，将第d个截断的训练样本Dd中第u维人体关键部位特征数据
Figure BDA0002097117180000075
输入概率分类器，从而训练得到在第d个截断的训练样本Dd中第u维人体关键部位特征数据Dd,u上的人体动作概率分类器Fd,u；进而得到S×U个人体动作概率分类器{Fd,u|d＝1,2,…,S；u＝1,2,…,U}；其中，
Figure BDA0002097117180000076
表示第d个截断的训练样本Dd中第i条人体动作特征数据
Figure BDA0002097117180000077
的第u维人体关键部位，且
Figure BDA0002097117180000078
本实施例中，选择WEASEL作为人体动作概率分类器。将20个截断后的训练样本中的每一维序列数据输入WEASEL，从而得到20×4个训练后的人体动作概率分类器。
步骤4：将第d个截断的训练样本Dd中第u维人体关键部位特征数据Dd,u输入训练后的人体动作概率分类器Fd,u，从而得到第d个截断的训练样本Dd中第u维人体关键部位特征数据Dd,u的人体动作分类的概率结果Pd,u＝{Pi d,u|i＝1,2,…,N}，其中，Pi d,u表示第d个截断的训练样本Dd中第i条人体动作特征数据
Figure BDA0002097117180000081
的第u维人体关键部位
Figure BDA0002097117180000082
的分类概率结果，并有：
Figure BDA0002097117180000083
Figure BDA0002097117180000084
表示第d个截断的训练样本Dd中第i条人体动作特征数据
Figure BDA0002097117180000085
的第u维人体关键部位
Figure BDA0002097117180000086
的分类概率结果Pi d,u中第m类的概率；进而得到S×U个人体动作分类的概率结果{Pd,u|d＝1,2,…,S；u＝1,2,…,U}；
本实施例中，将截断后的训练样本分别输入相应的训练好的概率分类器，得到分类概率结果，比如第d＝1个截断的训练样本中第i＝1条人体动作特征数据第u＝1维人体关键部位的分类结果为P1 1,1＝{0.8,0.15,0.05}，其中，此训练样本被分类为c1(打电话)的概率为0.8，c2(起立)的概率为0.15，c3(坐下)的概率为0.05。
步骤5：计算在第d个截断的训练样本Dd中第u维人体关键部位特征数据Dd,u在分类结果Pd,u中的权重wd,u，从而得到S×U个权重值{wd,u|d＝1,2,…,S；u＝1,2,…,U}：
步骤5.1：利用式(1)计算人体动作概率分类器Fd,u的错误率ed,u：
Figure BDA0002097117180000087
式(1)中，||·||表示集合中元素的个数，
Figure BDA0002097117180000088
表示当(·)取最大值时m的取值，cb表示第b个人体动作分类标签，b∈[1,M]；
本实施例中，如果第d＝1个截断的训练样本中第u＝1维人体关键部位的分类器错误分类了40个样本，则它的错误率
Figure BDA0002097117180000089
步骤5.2：利用式(2)计算第d个截断的训练样本Dd中第u维人体关键部位特征数据Dd,u在分类结果Pd,u中的权重wd,u：
Figure BDA00020971171800000810
式(2)中，ed,k表示第d个截断的训练样本Dd中第k维人体关键部位特征数据Dd,k上的人体动作概率分类器Fd,k的错误率；
本实施例中，如果e1,1＝0.2，e1,2＝0.4，e1,3＝0.6，e1,4＝0.8，则
Figure BDA0002097117180000091
同理w1,2＝0.23，w1,3＝0.1，w1,4＝0.04。
步骤6：利用式(3)得到第d个截断的训练样本Dd中第i条人体动作特征数据
Figure BDA0002097117180000092
融合后的分类概率结果
Figure BDA0002097117180000093
中第m类的概率
Figure BDA0002097117180000094
从而得到第d个截断的训练样本Dd中第i条人体动作特征数据
Figure BDA0002097117180000095
融合后的分类概率结果
Figure BDA0002097117180000096
Figure BDA0002097117180000097
本实施例中，比如第d＝1个截断的训练样本中第i＝1条人体动作特征数据在所有维人体关键部位的分类结果如表1所示：
表1第d＝1个截断的训练样本中第i＝1条人体动作特征数据分类结果
P<sub>1</sub><sup>1,1</sup> P<sub>1</sub><sup>1,2</sup> P<sub>1</sub><sup>1,3</sup> P<sub>1</sub><sup>1,4</sup>
m＝1 0.8 0.9 0.6 0.3
m＝2 0.15 0.05 0.2 0.2
m＝3 0.05 0.05 0.2 0.5
各维关键部位的权重同步骤5.2的结果：w1,1＝0.62，w1,2＝0.23，w1,3＝0.1，w1,4＝0.04，则加权后的分类结果如表2所示：
表2第d＝1个截断的训练样本中第i＝1条人体动作特征数据加权后的分类结果
w<sub>1,1</sub>×P<sub>1</sub><sup>1,1</sup> w<sub>1,2</sub>×P<sub>1</sub><sup>1,2</sup> w<sub>1,3</sub>×P<sub>1</sub><sup>1,3</sup> w<sub>1,4</sub>×P<sub>1</sub><sup>1,4</sup>
m＝1 0.496 0.207 0.06 0.012
m＝2 0.093 0.0115 0.02 0.008
m＝3 0.031 0.0115 0.02 0.02
则融合后的概率分别为
Figure BDA0002097117180000098
同理，
Figure BDA0002097117180000099
Figure BDA00020971171800000910
步骤7：利用式(4)得到第d个截断的训练样本Dd中第i条人体动作特征数据
Figure BDA0002097117180000101
归一化后的分类概率结果
Figure BDA0002097117180000102
中第m类的概率
Figure BDA0002097117180000103
从而得到第d个截断的训练样本Dd中第i条人体动作特征数据
Figure BDA0002097117180000104
归一化后的概率分类结果
Figure BDA0002097117180000105
进而得到第d个截断的训练样本Dd中N条人体动作特征数据
Figure BDA0002097117180000106
归一化后的概率分类结果
Figure BDA0002097117180000107
最终得到S×N个归一化后的分类概率结果
Figure BDA0002097117180000108
Figure BDA0002097117180000109
式(4)中，
Figure BDA00020971171800001010
表示第d个截断的训练样本Dd中第i条人体动作特征数据
Figure BDA00020971171800001011
融合后的分类概率结果
Figure BDA00020971171800001012
中第z类的概率；
本实施例中，如果融合后的概率如步骤6，
Figure BDA00020971171800001013
则归一化后的概率分别为
Figure BDA00020971171800001014
同理，
Figure BDA00020971171800001015
步骤8：利用式(5)计算第d个截断的训练样本Dd中归一化后的分类概率结果
Figure BDA00020971171800001016
的正确率ad，从而得到S个归一化后的分类概率结果的正确率{ad|d＝1,2,…,S}：
Figure BDA00020971171800001017
式(5)中，cg表示第g个人体动作分类标签，g∈[1,M]；
本实施例中，第d＝1个截断的训练样本上融合后的分类准确率可达0.88，高于步骤5中各维的分类准确率。
步骤9：本实施例中，参照图2，确定式(6)所示的人体动作预判规则函数
Figure BDA00020971171800001018
中的参数λ1、λ2和λ3，从而建立人体动作预判模型：
Figure BDA0002097117180000111
式(6)中，
Figure BDA0002097117180000112
表示第d个截断的训练样本Dd中第i条人体动作特征数据
Figure BDA0002097117180000113
归一化后的概率分类结果
Figure BDA0002097117180000114
中最大值，
Figure BDA0002097117180000115
表示第d个截断的训练样本Dd中第i条人体动作特征数据
Figure BDA0002097117180000116
归一化后的概率分类结果
Figure BDA0002097117180000117
中第二大的值；
步骤9.1：利用式(7)建立目标函数f：
f＝α×(N-correct)+(1-α)×earliness (7)
式(7)中，α是一个常数，且0≤α≤1；correct是分类正确的样本个数；earliness是提前量；
本实施例中，α＝0.8。
步骤9.2：定义目标函数的最小值为fmin，并初始化fmin＝N，定义第一参数λ1的循环变量为λ′1，并初始化λ′1＝-1，初始化循环变量的步长ε＝J，其中，J是一个常量；
本实施例中，J＝0.0001。
步骤9.3：如果λ′1≤1，则执行步骤9.4；否则，表示得到训练好的人体动作预判模型用于实现对其他人体动作序列的预判；
步骤9.4：定义第二参数λ2的循环变量为λ′2，并初始化λ′2＝-1；
步骤9.5：如果λ′2≤1，则执行步骤9.6；否则，将λ′1+ε赋值给λ′1后，执行步骤9.3；
步骤9.6：定义第三参数λ3的循环变量为λ′3，并初始化λ′3＝-1；
步骤9.7：如果λ′3≤1，则执行步骤9.8；否则，将λ′2+ε赋值给λ′2后，执行步骤9.5；
步骤9.8：初始化i＝1、correct＝0、earliness＝0；
步骤9.9：如果i≤N，则初始化d＝1后，执行步骤9.11；否则，利用式(7)计算目标函数f的值后，执行步骤9.10；
步骤9.10：判断f＜fmin是否成立，若成立，则将f赋值给fmin，λ′1赋值给λ1，λ′2赋值给λ2，λ′3赋值给λ3，λ′3+ε赋值给λ′3后，执行步骤9.7；否则，将λ′3+ε赋值给λ′3后，执行步骤9.7；
步骤9.11：如果d≤S，则利用式(6)计算人体动作预判规则函数
Figure BDA0002097117180000121
的值后，执行步骤9.12；否则，执行步骤9.13；
步骤9.12：如果
Figure BDA0002097117180000123
则将d+1赋值给d后，执行步骤9.11；否则，执行步骤9.13；
步骤9.13：利用式(8)计算更新后的提前量earliness′并赋值给earliness；
earliness′＝earliness+min(1.0,d×r/Li) (8)
式(8)中，min(·)为取最小值函数；
步骤9.14：如果cg＝yi，其中，
Figure BDA0002097117180000122
则将correct+1赋值给correct，将i+1赋值给i后，执行步骤9.9，否则将i+1赋值给i后，执行步骤9.9。

Claims (1)

1.一种基于数据融合的人体动作预判方法，其特征是按如下步骤进行：
步骤1：获取一组人体动作的序列数据作为训练样本：
所述训练样本是由人体动作特征数据D＝{Di|i＝1,2,…,N}和人体动作分类标签数据Y＝{yi|i＝1,2,…,N}组成，其中，N表示所述训练样本的个数，Di表示所述训练样本中第i条人体动作的特征数据，并有：Di＝{(tj,Xi,j)|i＝1,2,…,N；j＝1,2,…,Li}，Li表示所述训练样本中第i条人体动作特征数据Di的长度，tj表示所述训练样本中第j个时间，Xi,j表示所述训练样本中第i条人体动作特征数据Di在第j个时间tj对应的特征向量，并有：
Figure FDA0002097117170000011
U表示所述训练样本中人体关键部位的维度，
Figure FDA0002097117170000012
表示所述训练样本中第i条人体动作特征数据Di在第j个时间tj上第u维人体关键部位的特征值；yi表示所述训练样本中第i条人体动作特征数据Di对应的人体动作分类标签，并有：yi＝{cm|m＝1,2,…,M}，M表示人体动作分类标签的个数，cm表示第m个人体动作分类标签，i∈[1,N]，j∈[1,Li]，u∈[1,U]，m∈[1,M]；
步骤2：将所述训练样本分别截断为长度为r,2r,…,d×r,…,S×r的人体动作序列数据，从而得到S个截断的训练样本，其中，r和S是正整数，第d个截断的训练样本记为
Figure FDA0002097117170000013
Figure FDA0002097117170000014
表示所述第d个截断的训练样本Dd中第i条人体动作特征数据，并有
Figure FDA0002097117170000015
d∈[1,S]；
步骤3：选择一种人体动作的概率分类器，将所述第d个截断的训练样本Dd中第u维人体关键部位特征数据
Figure FDA0002097117170000016
输入所述概率分类器，从而训练得到在所述第d个截断的训练样本Dd中第u维人体关键部位特征数据Dd,u上的人体动作概率分类器Fd,u；进而得到S×U个人体动作概率分类器{Fd,u|d＝1,2,…,S；u＝1,2,…,U}；其中，
Figure FDA0002097117170000017
表示第d个截断的训练样本Dd中第i条人体动作特征数据
Figure FDA0002097117170000018
的第u维人体关键部位，且
Figure FDA0002097117170000019
步骤4：将所述第d个截断的训练样本Dd中第u维人体关键部位特征数据Dd,u输入所述训练后的人体动作概率分类器Fd,u，从而得到第d个截断的训练样本Dd中第u维人体关键部位特征数据Dd,u的人体动作分类的概率结果
Figure FDA0002097117170000021
其中，Pi d,u表示所述第d个截断的训练样本Dd中第i条人体动作特征数据
Figure FDA0002097117170000022
的第u维人体关键部位
Figure FDA0002097117170000023
的分类概率结果，并有：
Figure FDA0002097117170000024
Figure FDA0002097117170000025
表示所述第d个截断的训练样本Dd中第i条人体动作特征数据
Figure FDA0002097117170000026
的第u维人体关键部位
Figure FDA0002097117170000027
的分类概率结果Pi d,u中第m类的概率；进而得到S×U个人体动作分类的概率结果{Pd,u|d＝1,2,…,S；u＝1,2,…,U}；
步骤5：计算在所述第d个截断的训练样本Dd中第u维人体关键部位特征数据Dd,u在分类结果Pd,u中的权重wd,u，从而得到S×U个权重值{wd,u|d＝1,2,…,S；u＝1,2,…,U}：
步骤5.1：利用式(1)计算所述人体动作概率分类器Fd,u的错误率ed,u：
Figure FDA0002097117170000028
式(1)中，||·||表示集合中元素的个数，
Figure FDA0002097117170000029
表示当(·)取最大值时m的取值，cb表示第b个人体动作分类标签，b∈[1,M]；
步骤5.2：利用式(2)计算所述第d个截断的训练样本Dd中第u维人体关键部位特征数据Dd,u在分类结果Pd,u中的权重wd,u：
Figure FDA00020971171700000210
式(2)中，ed,k表示所述第d个截断的训练样本Dd中第k维人体关键部位特征数据Dd,k上的人体动作概率分类器Fd,k的错误率；
步骤6：利用式(3)得到第d个截断的训练样本Dd中第i条人体动作特征数据
Figure FDA00020971171700000211
融合后的分类概率结果
Figure FDA00020971171700000212
中第m类的概率
Figure FDA00020971171700000213
从而得到第d个截断的训练样本Dd中第i条人体动作特征数据
Figure FDA00020971171700000214
融合后的分类概率结果
Figure FDA00020971171700000215
Figure FDA00020971171700000216
步骤7：利用式(4)得到第d个截断的训练样本Dd中第i条人体动作特征数据
Figure FDA0002097117170000031
归一化后的分类概率结果
Figure FDA0002097117170000032
中第m类的概率
Figure FDA0002097117170000033
从而得到第d个截断的训练样本Dd中第i条人体动作特征数据
Figure FDA0002097117170000034
归一化后的概率分类结果
Figure FDA0002097117170000035
进而得到第d个截断的训练样本Dd中N条人体动作特征数据
Figure FDA0002097117170000036
归一化后的概率分类结果
Figure FDA0002097117170000037
最终得到S×N个归一化后的分类概率结果
Figure FDA0002097117170000038
Figure FDA0002097117170000039
式(4)中，
Figure FDA00020971171700000310
表示所述第d个截断的训练样本Dd中第i条人体动作特征数据
Figure FDA00020971171700000311
融合后的分类概率结果
Figure FDA00020971171700000312
中第z类的概率；
步骤8：利用式(5)计算所述第d个截断的训练样本Dd中归一化后的分类概率结果
Figure FDA00020971171700000313
的正确率ad，从而得到S个归一化后的分类概率结果的正确率{ad|d＝1,2,…,S}：
Figure FDA00020971171700000314
式(5)中，cg表示第g个人体动作分类标签，g∈[1,M]；
步骤9：确定式(6)所示的人体动作预判规则函数
Figure FDA00020971171700000315
中的参数λ1、λ2和λ3，从而建立人体动作预判模型：
Figure FDA00020971171700000316
式(6)中，
Figure FDA00020971171700000317
表示所述第d个截断的训练样本Dd中第i条人体动作特征数据
Figure FDA00020971171700000318
归一化后的概率分类结果
Figure FDA00020971171700000319
中最大值，
Figure FDA00020971171700000320
表示所述第d个截断的训练样本Dd中第i条人体动作特征数据
Figure FDA00020971171700000321
归一化后的概率分类结果
Figure FDA00020971171700000322
中第二大的值；
步骤9.1：利用式(7)建立目标函数f：
f＝α×(N-correct)+(1-α)×earliness (7)
式(7)中，α是一个常数，且0≤α≤1；correct是分类正确的样本个数；earliness是提前量；
步骤9.2：定义目标函数的最小值为fmin，并初始化fmin＝N，定义第一参数λ1的循环变量为λ′1，并初始化λ′1＝-1，初始化循环变量的步长ε＝J，其中，J是一个常量；
步骤9.3：如果λ′1≤1，则执行步骤9.4；否则，表示得到训练好的人体动作预判模型用于实现对其他人体动作序列的预判；
步骤9.4：定义第二参数λ2的循环变量为λ′2，并初始化λ′2＝-1；
步骤9.5：如果λ′2≤1，则执行步骤9.6；否则，将λ′1+ε赋值给λ′1后，执行步骤9.3；
步骤9.6：定义第三参数λ3的循环变量为λ′3，并初始化λ′3＝-1；
步骤9.7：如果λ′3≤1，则执行步骤9.8；否则，将λ′2+ε赋值给λ′2后，执行步骤9.5；
步骤9.8：初始化i＝1、correct＝0、earliness＝0；
步骤9.9：如果i≤N，则初始化d＝1后，执行步骤9.11；否则，利用式(7)计算目标函数f的值后，执行步骤9.10；
步骤9.10：判断f＜fmin是否成立，若成立，则将f赋值给fmin，λ′1赋值给λ1，λ′2赋值给λ2，λ′3赋值给λ3，λ′3+ε赋值给λ′3后，执行步骤9.7；否则，将λ′3+ε赋值给λ′3后，执行步骤9.7；
步骤9.11：如果d≤S，则利用式(6)计算人体动作预判规则函数
Figure FDA0002097117170000041
的值后，执行步骤9.12；否则，执行步骤9.13；
步骤9.12：如果
Figure FDA0002097117170000042
则将d+1赋值给d后，执行步骤9.11；否则，执行步骤9.13；
步骤9.13：利用式(8)计算更新后的提前量earliness′并赋值给earliness；
earliness′＝earliness+min(1.0,d×r/Li) (8)
式(8)中，min(·)为取最小值函数；
步骤9.14：如果cg＝yi，其中，
Figure FDA0002097117170000043
则将correct+1赋值给correct，将i+1赋值给i后，执行步骤9.9，否则将i+1赋值给i后，执行步骤9.9。
CN201910522350.7A 2019-06-17 2019-06-17 一种基于数据融合的人体动作预判方法 Active CN110210454B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910522350.7A CN110210454B (zh) 2019-06-17 2019-06-17 一种基于数据融合的人体动作预判方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910522350.7A CN110210454B (zh) 2019-06-17 2019-06-17 一种基于数据融合的人体动作预判方法

Publications (2)

Publication Number Publication Date
CN110210454A CN110210454A (zh) 2019-09-06
CN110210454B true CN110210454B (zh) 2020-12-29

Family

ID=67793051

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910522350.7A Active CN110210454B (zh) 2019-06-17 2019-06-17 一种基于数据融合的人体动作预判方法

Country Status (1)

Country Link
CN (1) CN110210454B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111563593B (zh) * 2020-05-08 2023-09-15 北京百度网讯科技有限公司 神经网络模型的训练方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102262440A (zh) * 2010-06-11 2011-11-30 微软公司 多模态性别识别
CN105007262A (zh) * 2015-06-03 2015-10-28 浙江大学城市学院 Wlan多步攻击意图预先识别方法
CN106127125A (zh) * 2016-06-16 2016-11-16 山东大学 基于人体行为特征的分布式dtw人体行为意图识别方法
CN108629326A (zh) * 2018-05-14 2018-10-09 中国科学院自动化研究所 目标体的动作行为识别方法及装置
CN108958474A (zh) * 2018-05-29 2018-12-07 西北工业大学 一种基于误差权重的动作识别多传感信息融合方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10402697B2 (en) * 2016-08-01 2019-09-03 Nvidia Corporation Fusing multilayer and multimodal deep neural networks for video classification
US11120353B2 (en) * 2016-08-16 2021-09-14 Toyota Jidosha Kabushiki Kaisha Efficient driver action prediction system based on temporal fusion of sensor data using deep (bidirectional) recurrent neural network
US10733428B2 (en) * 2017-02-01 2020-08-04 The Government Of The United States Of America, As Represented By The Secretary Of The Navy Recognition actions on event based cameras with motion event features

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102262440A (zh) * 2010-06-11 2011-11-30 微软公司 多模态性别识别
CN105007262A (zh) * 2015-06-03 2015-10-28 浙江大学城市学院 Wlan多步攻击意图预先识别方法
CN106127125A (zh) * 2016-06-16 2016-11-16 山东大学 基于人体行为特征的分布式dtw人体行为意图识别方法
CN108629326A (zh) * 2018-05-14 2018-10-09 中国科学院自动化研究所 目标体的动作行为识别方法及装置
CN108958474A (zh) * 2018-05-29 2018-12-07 西北工业大学 一种基于误差权重的动作识别多传感信息融合方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《Human Action Recognition and Prediction:A Survey》;Yu Kong,et al;《arXiv:1806.11230v2》;20180702;全文 *
Patrick Schäfer,et al.《Fast and Accurate Time Series Classification with WEASEL》.《arXiv:1701.07681v1》.2017, *

Also Published As

Publication number Publication date
CN110210454A (zh) 2019-09-06

Similar Documents

Publication Publication Date Title
CN110609891B (zh) 一种基于上下文感知图神经网络的视觉对话生成方法
CN110046656B (zh) 基于深度学习的多模态场景识别方法
CN108520530B (zh) 基于长短时记忆网络的目标跟踪方法
CN106778796B (zh) 基于混合式协同训练的人体动作识别方法及系统
CN100492399C (zh) 利用降维方法进行人脸姿态估计的方法
CN109671102B (zh) 一种基于深度特征融合卷积神经网络的综合式目标跟踪方法
CN108399435B (zh) 一种基于动静特征的视频分类方法
CN109993102A (zh) 相似人脸检索方法、装置及存储介质
CN107146237B (zh) 一种基于在线状态学习与估计的目标跟踪方法
CN108256307B (zh) 一种智能商务旅居房车的混合增强智能认知方法
CN105373810B (zh) 一种用于建立动作识别模型的方法及系统
CN109919055B (zh) 一种基于AdaBoost-KNN的动态人脸情感识别方法
CN110189362B (zh) 基于多分支自编码对抗网络的高效目标跟踪方法
CN112686153B (zh) 一种用于人体行为识别的三维骨架关键帧选择方法
CN113127737B (zh) 融合注意力机制的个性化搜索方法和搜索系统
CN110569823A (zh) 一种基于rnn的手语识别与骨架生成方法
CN111709284B (zh) 基于cnn-lstm的舞蹈情感识别方法
CN108520205B (zh) 一种基于Citation-KNN的人体动作识别方法
CN110210454B (zh) 一种基于数据融合的人体动作预判方法
CN113989943B (zh) 一种基于蒸馏损失的人体动作增量识别方法及装置
Das et al. Emotion recognition from face dataset using deep neural nets
Abdullahi et al. IDF-Sign: addressing inconsistent depth features for dynamic sign word recognition
CN114417975A (zh) 基于深度pu学习与类别先验估计的数据分类方法及系统
CN116503654A (zh) 基于二分图结构进行人物交互检测的多模态特征融合方法
CN116363712A (zh) 一种基于模态信息度评估策略的掌纹掌静脉识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant