CN105320944B - 一种基于人体骨架运动信息的人体行为预测方法 - Google Patents
一种基于人体骨架运动信息的人体行为预测方法 Download PDFInfo
- Publication number
- CN105320944B CN105320944B CN201510698117.6A CN201510698117A CN105320944B CN 105320944 B CN105320944 B CN 105320944B CN 201510698117 A CN201510698117 A CN 201510698117A CN 105320944 B CN105320944 B CN 105320944B
- Authority
- CN
- China
- Prior art keywords
- human body
- behavior
- sub
- sequence
- subsequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 241000282414 Homo sapiens Species 0.000 title claims abstract description 153
- 238000000034 method Methods 0.000 title claims abstract description 59
- 230000009471 action Effects 0.000 claims abstract description 67
- 238000000605 extraction Methods 0.000 claims abstract description 5
- 230000036544 posture Effects 0.000 claims description 42
- 210000003414 extremity Anatomy 0.000 claims description 30
- 238000012360 testing method Methods 0.000 claims description 28
- 238000004422 calculation algorithm Methods 0.000 claims description 25
- 238000012549 training Methods 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 23
- 230000011218 segmentation Effects 0.000 claims description 19
- 239000013598 vector Substances 0.000 claims description 19
- 238000005381 potential energy Methods 0.000 claims description 13
- 210000003141 lower extremity Anatomy 0.000 claims description 9
- 210000001364 upper extremity Anatomy 0.000 claims description 9
- 239000000203 mixture Substances 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000003064 k means clustering Methods 0.000 claims description 4
- 238000003909 pattern recognition Methods 0.000 claims description 4
- 108091026890 Coding region Proteins 0.000 claims description 3
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 2
- 230000006399 behavior Effects 0.000 abstract description 91
- 238000010606 normalization Methods 0.000 abstract 1
- 238000005192 partition Methods 0.000 abstract 1
- 239000010410 layer Substances 0.000 description 26
- 230000003993 interaction Effects 0.000 description 4
- 238000012706 support-vector machine Methods 0.000 description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 230000032683 aging Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000003651 drinking water Substances 0.000 description 2
- 235000020188 drinking water Nutrition 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000002356 single layer Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 241001061076 Melanonus zugmayeri Species 0.000 description 1
- 241001122767 Theaceae Species 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000035622 drinking Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 210000000323 shoulder joint Anatomy 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 150000003624 transition metals Chemical group 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明公开了一种基于人体骨架运动信息的人体行为预测方法，包括以下步骤：利用从RGB‑D图像中提取人体骨架信息，分肢体计算各关节点的归一化相对方位特征；利用基于特征序列势差的分割方法对特征序列进行动态分割，得到姿态特征子序列和动作特征子序列；从姿态特征子序列和动作特征子序列中提取关键姿态和原子动作，构建基于关键姿态和原子动作的多层图模型；提取多层图模型中蕴含的人体子行为模式，构建人体子行为模式的上下文概率统计模型；进行人体子行为模式的识别与预测；本发明对不同个体的形体差异、空间位置差异等具有强鲁棒性，对同类行为内不同个体的动作差异性具有强泛化能力，对不同类行为间的动作相似性具有强识别能力。
Description
技术领域
本发明涉及一种智能人机交互、智能机器人技术领域，具体是一种基于人体骨架运动信息的人体行为预测方法。
背景技术
21世纪人类将进入老龄化社会，发展服务机器人能够弥补年轻劳动力的严重不足，解决老龄化社会的家庭服务、医疗服务等社会问题。国际机器人联合会给服务机器人一个初步的定义：服务机器人是一种半自主或全自主的机器人，它能完成有益于人类的服务，但不包括从事生产的设备；如果服务机器人可以与人进行智能友好的交互，并且能够根据人们在日常生活中的的行为从事一些家庭服务工作，那么家庭服务行业的服务机器人应用必将形成新的产业和新的市场；在服务机器人从事日常生活服务的过程中，人体行为识别与预测是人与服务机器人智能交互的基础，对提高机器人的自主性、智能性起着至关重要的作用；利用人体行为识别与预测技术对人们的日常行为进行识别与预测，可以为服务机器人的日常服务提供理论和现实依据，促进人与服务机器人的智能友好交互及和谐相处，提高人们生活的舒适感；已知的人体行为识别与预测算法存在若干问题：第一，绝大部分人体行为识别算法都是基于低层次特征，即直接基于逐帧姿态特征进行分类模型的训练和测试，计算量大；第二，计算关节点的相对位置或方位时，都是相对于躯干关节点或髋中心关节点，并没有考虑人体各关节的实际运动模型，导致每个关节点的运动模型比较复杂；第三，在提取关键姿态特征时直接对整个特征序列进行聚类，没有区分特征序列的静态成分和动态成分，导致关键姿态精度有限；第四，在对特征序列进行分割时采用手动分割、固定数目分割、固定间隔分割或基于图论的分割等方法，分割效果不能满足要求；第五，即使分肢体提取特征，也未分肢体进行行为模式建模，未考虑各个肢体的不同作用，部分算法没有考虑左撇子和右撇子同时存在的情况；第六，未考虑人们对人体行为的分层感知模型。
发明内容
本发明的目的在于提供一种以从RGB-D图像中提取到的人体骨架信息为基础，对当前时刻的人体行为进行识别以及对后续时刻的人体行为进行预测的基于人体骨架运动信息的人体行为预测方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：
一种基于人体骨架运动信息的人体行为预测方法，以从RGB-D图像中提取到的人体骨架信息为基础，对当前时刻的人体行为进行识别及对后续时刻的人体行为进行预测，包括以下步骤：
(1)针对从每帧RGB-D图像提取到的人体骨架信息，利用中值滤波算法对人体骨架数据进行时域上的平滑预处理，降低噪声和异常数据的影响；
(2)针对预处理后的人体骨架信息，以人体各个关节点的实际运动模型为基础，分肢体计算人体各关节的归一化相对方位特征，生成归一化相对方位特征序列；
(3)定义并计算特征序列的势能和势差，基于特征序列的势差对特征序列进行动态分割，得到姿态特征子序列和动作特征子序列；
(4)利用高斯混合模型算法从姿态特征子序列中提取关键姿态，利用K均值算法从动作特征子序列中提取原子动作；
(5)基于提取到的关键姿态和原子动作分肢体构建多层图模型，构建的多层图模型包括每种人体行为所包含的不定长人体子行为模式；
(6)利用多层图模型中的人体子行为模式对训练特征序列进行编码，利用概率后缀树模型对编码序列的上下文信息构建上下文概率统计信息模型，训练过程完成；
(7)利用步骤1至步骤3中的方法对测试特征序列进行提取与分割，根据截止到当前时刻的分割结果提取姿态和动作，并结合训练得到的多层图模型对提取到的姿态和动作序列所对应的人体子行为模式进行识别；
(8)结合截止到当前时刻的人体子行为模式识别结果以及训练得到的包含子行为模式上下文信息的概率后缀树模型，对下一时刻的人体子行为模式进行预测。
作为本发明进一步的方案：所述步骤2中，关节点i的归一化相对方位特征是以关节点i实际运动时所围绕的关节点j为参考节点进行计算的，计算方式为：
式中，Pi和Pj为关节点i和关节点j在世界坐标系内的三维坐标向量，‖‖为欧式距离算子。
作为本发明再进一步的方案：所述步骤2中，分肢体进行各个关节点的归一化相对方位特征的计算，把人体肢体分割为：左上肢、右上肢、左下肢、右下肢、躯干等5个部分。
作为本发明再进一步的方案：所述步骤3中，特征序列的势能和势差的计算方式分别为：
Ed(i)＝Ep(i)－Ep(i－1)
式中，Fi j为第i帧肢体j的归一化相对方位特征向量，L＝5为分肢体的数目，Ep(i)为第i帧特征向量的势能，Ed(i)为第i帧特征向量的势差；所述步骤3中，基于特征序列势差的动态分割过程是基于阈值分割算法进行的，满足|Ed(i)|＜Emin的特征序列被标记为姿态特征子序列，反之被标记为动作特征子序列，Emin为预设的阈值。
作为本发明再进一步的方案：所述步骤4中，利用高斯混合模型算法从姿态特征子序列中聚类得到关键姿态，利用K均值聚类算法从与每两个关键姿态关联的动作特征子序列中聚类得到原子动作。
作为本发明再进一步的方案：所述步骤5中，利用提取到的关键姿态构建关键姿态层图模型，利用提取到的原子动作构建原子动作层图模型，并结合关键姿态层和原子动作层构建多层图模型。
作为本发明再进一步的方案：所述步骤6中，利用构建的多层图模型所包含的不定长子行为模式对每种人体行为的训练特征序列进行编码，基于编码序列构建体现人体子行为模式上下文概率统计信息的概率后缀树模型。
作为本发明再进一步的方案：所述步骤7中，测试序列人体子行为模式的识别结果为被识别成每种子行为模式的概率。
作为本发明再进一步的方案：所述步骤8中，根据截止到当前时刻人体子行为模式识别概率以及概率后缀树模型预测下一时刻的人体子行为模式，预测得到的是某种人体行为过程中的人体子行为与现有技术相比，本发明的有益效果是：本发明提出了一种基于人体骨架运动信息的人体行为预测方法，通过研究人体各个关节的实际运动模型，提出的归一化相对方位特征表征方法不但能够以较低的特征维度有效表征人体姿态，而且对不同个体的形体差异以及不同个体与机器人传感器的距离差异具有一定的鲁棒性；利用势能和势差原理，定义了特征序列的势能和势差，基于特征势差对特征序列进行动态分割，有效分割出表征关键姿态的姿态特征子序列和表征原子动作的动作特征子序列，便于关键姿态和原子动作的精确提取，相比传统的固定间隔或固定数目的分割方式，本发明提出的动态分割方法具有更好的普适性和合理性；构建关键姿态和原子动作的多层图模型，与传统的基于Codebook的模型相比，该多层图模型可以有效表征不定长人体子行为模式；本发明充分考虑人体行为可以直观地表征为一系列关键姿态和原子动作的有序序列的特性，将人体行为识别与预测过程从以逐帧姿态特征等低层次特征为关键特征向以关键姿态和原子动作等高层次特征为关键特征转变，更加符合人们对人体行为识别与预测的分层感知模型；此外，本发明提出的方法提取了高层次人体子行为模式，并根据人体子行为模式的上下文信息构建了概率后缀树模型，充分利用了关键姿态和原子动作的统计特性与时序特性，对人体不同类行为间的相似性和同类行为内的个体差异性具有更好的鲁棒性。
附图说明
图1为本发明的算法流程图
图2为人体骨架示意图。
图3为本发明中本发明中特征序列分割示意图。
图4为本发明中基于关键姿态和原子动作的多层图模型。
图5为本发明中从多层图模型中提取的人体子行为模式。
其中，a-左上肢；b-右上肢；c-左下肢；d-右下肢；e-躯干。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1～5，本发明提出的基于人体骨架运动信息的人体行为预测方法，算法流程如图1所示，具体按照以下步骤实施：
a)数据预处理
一般情况下，从RGB-D图像中提取到的如图2所示的人体骨架在世界坐标系内的三维坐标可以直接用来计算姿态特征，但是，受传感器精度以及骨架提取算法精度的限制，提取到的骨架数据中往往会有异常数据存在；此外，当人们未正对着传感器以致于在传感器的视角内人体各部分肢体发生相互遮挡时，提取到的人体骨架数据往往不能正确表征人体当前的姿态；因此，需要对提取到的人体骨架数据进行预处理；然而，如果本发明是基于理想化的人体骨架数据，那么本发明就脱离了当前传感器技术及人体骨架数据提取算法的发展现状，不利于把本发明成果应用到实际应用中；因此，为了同时保证本发明算法的精确性和鲁棒性，本发明在数据预处理阶段采用简单的滑动中值滤波器对人体骨架数据进行预处理。
b)分肢体计算归一化相对方位特征
传统的姿态特征表征方法计算人体各个关节点相对于躯干中心节点或髋中心节点的相对坐标；本发明充分考虑了人体各关节点的实际运动模型，提出了归一化相对方位作为人体姿态的基本特征，在计算一个关节点的归一化相对方位时，参考关节点选为该关节点实际运动时围绕的那个关节点；例如，计算左肘的归一化相对方位时，参考关节点为左肩关节点，全部关节点的相对关系如图2所示，箭头头部的关节点的归一化相对方位参考箭头尾部的关节点进行计算，令关节点i和关节点j的坐标分别为Pi＝(xi,yi,zi)和Pj＝(xj,yj,zj)，则关节点i相对于关节点j的归一化相对方位计算如下：
式中，‖‖为欧式距离算子；归一化相对方位不但能够以相对简单的运动模型来表征每个关节点的运动，而且对不同个体的形体差异及距离差异具有一定的鲁棒性。
由于人们在执行某些行为时不是人体所有关节点都同等的发挥作用；例如，喝水时上肢在发挥着关键作用，同时，人们在喝水时可以站着、坐着、甚至走动着喝水；而对于喝水动作本身，人体下肢的动作时无关紧要的，因此，本发明拟把人体分解为：左上肢a、右上肢b、左下肢c、右下肢d、躯干e等五个肢体部分，并分别表征每个肢体的动作特征，各个肢体部分包含的归一化相对方位特征划分如下表1所示：
表1人体各部分肢体的归一化相对方位特征(箭头相对于箭尾)
由上表可知，每部分肢体的姿态特征向量维度为3×4＝12，人体全部肢体的姿态特征向量维度为12×5＝60，远小于已知方法的姿态特征维度。
c)特征序列分割
为了更加精确地提取关键姿态和原子动作，需要把b)中得到特征序列分割成姿态特征子序列和动作特征子序列，姿态特征子序列包含了姿态静止或姿态细微变化的部分，动作特征子序列包含了具有显著运动的部分，因此，以势能和势差为基础，定义表征特征序列运动性质的势能和势差，特征序列的势能定义为每帧特征向量相对于第一帧特征向量的欧式距离，特征序列的势差则定义为两帧特征向量的势能的差值；
令表示第i帧的姿态特征向量，L＝5，为肢体的数目，Fi j表示第i帧中肢体j的特性向量分量，则特征序列第i帧姿态特征向量的势能的定义如下：
特征序列第i帧姿态特征向量的的势差的定义如下：
Ed(i)＝Ep(i)－Ep(i－1)
基于特征序列的势差，利用阈值分割法，把特征序列分割成姿态特征子序列和动作特征子序列，满足|Ed(i)|＜Emin的标记为姿态特征子序列，反之则标记为动作特征子序列，Emin＝0.015为预设的阈值。
利用基于势差的动态分割方法对Cornell CAD-60数据集中的“Drinking water”行为的特征序列的分割结果如图3所示，姿态特征子序列和动作特征子序列交替出现，符合利用一系列关键姿态和原子动作的有序序列来表征人体行为的理论。
d)关键姿态和原子动作提取
特征序列分割完成后，从姿态特征子序列中利用聚类算法提取关键姿态，常用的聚类方法有高斯混合模型和K均值聚类；本发明中采用GMM聚类方法对关键姿态进行提取，从每种行为每个肢体的姿态特征子序列中聚类得到的关键姿态的数目为Ckp＝9，如图3所示，原子动作表征了两个关键姿态之间的转移过程，因此在进行原子动作提取时需要事先根据与之关联的两个关键姿态的不同把动作特征子序列进一步划分为不同的动作特征子序列簇，关键姿态的数目为Ckp，则表征两个关键姿态转移过程的动作特征子序列簇的最大数目为Ckp×(Ckp-1)，对每簇的动作特征子序列进行K均值聚类操作，得到该簇对应的原子动作，每个簇的原子动作表征为聚类得到Cam＝2个聚类中心的有序序列。
e)构建多层图模型
基于提取到的关键姿态和原子动作，为每一种人体行为、每一部分人体肢体分别构建基于关键姿态和原子动作的多层图模型，如图4所示，关键姿态层由提取到的关键姿态组成，原子动作层由提取到的原子动作组成；由于并非任意两个关键姿态之间都会存在状态变化过程，因此在原子动作层中并非所有节点都对应一组实际存在的原子动作。
单层的关键姿态层和原子动作层都不足于表征人体行为，图5展示了从多层图模型中提取人体子行为模式的过程：从关键姿态层和原子动作层中分别提取关键姿态和原子动作，并把它们组成一个有序序列，该有序序列用于表征人体行为在一段时间内的动作过程，即人体子行为模式，一组多层图模型中包含了该人体行为对应的所有人体子行为模式，但是，在人体行为识别过程中没有必要事先提取出所有的子行为模式，只需要给出测试特征序列与多层图模型的距离测度方式。
需要特别指出的是，人体子行为模式并非都是定长的，表征人体子行为模式的关键姿态和原子动作的个数可以根据实际情况变化，即可以利用多层图模型的部分层来表征不定长人体子行为模式。
在进行人体行为识别过程中，需要对测试序列进行图1中描述的数据预处理、分肢体提取姿态特征、特征序列分割等操作，得到测试特征序列的姿态特征子序列和动作特征子序列，然后，把测试特征序列中的若干连续测试子序列与构建的多层图模型中的子行为模式进行匹配，最佳匹配的子行为模式所对应的人体行为类别即为该测试子序列的分类；与多层图模型类似，测试子序列依旧遵循“姿态特征子序列-动作特征子序列-…-姿态特征子序列”模式，测试子序列与人体子行为模式的匹配方法描述如下：
肢体l相关的测试子序列与行为类别c的肢体l相关的最佳匹配人体子行为模式的距离测度计算方式为：
其中，是测试子序列中肢体l相关的第m个分割片段与行为类别c中肢体l的多层图模型中第m层的最佳匹配距离，M＝7为多层图模型的层数；根据图5中的子行为模式，当m是奇数时，为测试序列中的某姿态特征子序列与关键姿态层中关键姿态的最佳匹配距离；当m是偶数时，为测试序列中的某动作特征子序列与原子动作层中原子动作的最佳匹配距离；关键姿态的最佳匹配距离可以定义为：
其中，Fi l是一组测试子序列中某姿态特征子序列中的第i帧姿态特征中肢体l的特征向量分量，Ns是该姿态特征子序列中包含的姿态特征的帧数，是Fi l在行为类别c的肢体l的多层图模型第m层中的最佳匹配关键姿态；原子动作的最佳匹配距离定义为：
其中，AMl是从一组测试子序列的某动作特征子序列肢体l的特征向量中提取到的原子动作，是AMl在行为类别c的肢体l的多层图模型第m层中的最佳匹配原子动作。
需要特别指出的是，当某测试子序列所包含的分割片段的个数小于多层图模型的层数时，与之匹配的人体子行为模式的长度会根据该测试子序列包含的分割片段的个数而变化，即M会变化，以此体现不定长子行为模式的匹配过程。
f)构建概率后缀树模型
结合每类行为的多层图模型，对训练数据集中每类行为的训练数据序列利用多层图模型蕴含的人体子行为模式进行编码，提取每类行为包含的全部有效子行为模式，定义为 为行为类别c的子行为模式的个数，如此，每类行为的训练数据集的全部特征序列可以表征为：其中每一个特征序列 为该训练特征序列中分割得到的第j(j＝1,2,...,n)个子序列的最佳匹配子行为模式；基于每类行为的FSc,train以及提取到的子行为模式间的上下文概率统计，利用概率后缀树原理构建人体子行为模式的上下文概率统计模型。
基于行为类别c的训练数据集FSc,train，该类行为对应的概率后缀树的构建过程如下：
1)生成概率后缀树的候选后缀集
令FSc,train为概率后缀树的训练数据集，s为中的一个子行为模式序列，|s|为s的长度，P(s)为s在训练数据集中出现的频次，L和Pmin为用户指定的参数，如果满足|s|＜L且P(s)＞Pmin，则把s加入到候选后缀集中；
2)测试候选后缀节点，生成概率后缀树
对于中的每一个如果s满足以下两个条件，则把s及其后缀加入到概率后缀树中：
条件1：P(σ|s)≥α，其中σ为某种子行为模式，α为用户定义的阈值，该条件用于测试在预测子行为模式σ时s能否提供一定量的上下文信息。
条件2：其中suf(s)为s的最远后缀，β为用户定义的阈值，该条件用于测试在预测子行为模式σ时s是否能比suf(s)提供更多的上下文信息。
g)个人体子行为模式识别
根据构建的关键姿态和原子动作的多层图模型以及人体子行为模式的匹配方法，利用支持向量机算法进行人体子行为模式识别，支持向量机通过构造一个超平面把不同类别的数据区分开，利用训练数据集对分类器进行训练。
本发明利用步骤e)中提到的人体子行为模式匹配算法计算训练数据集与各类人体行为的人体子行为模式的最佳匹配距离构建最佳匹配距离向量然后利用基于训练数据集计算得到的DV及每个DV对应的真实行为类别标记，训练一对多支持向量机，在测试阶段，把基于测试数据序列计算得到的DV输入到训练得到的支持向量机分类器中，计算得到分类结果。
h)人体子行为模式预测
人体行为识别是根据已经观测到的特征判定人们当前正在执行的行为类别，人体行为预测则可以根据人们当前正在执行的行为预测其下一时刻或时段的行为动作，以便对人们的行为做出预判，进而做出相应的响应；例如，当人们端起茶杯时，可以预测接下来人们可能会喝水或把水杯放置到别的位置，人体行为预测是一个在线预测过程，需要不断根据观察到的特征序列识别人体行为，并根据已识别到的人体行为来预测下一时刻的行为；由于人体不同类行为间的相似性和同类行为内的个体差异性，如果仅仅用马尔科夫模型来建模人体行为预测过程，那么会造成具有部分相同子行为模式的行为类别间的不可分性，本发明基于变长马尔科夫模型，利用概率后缀树进行人体行为预测。
人体行为识别过程本身也是一个贝叶斯推断的过程，直接的输出结果是当前特征序列被判定成各类行为的概率，在基于截止到当前时刻的人体行为识别结果进行下一时刻或时段的人体行为预测时，不能简单地把人体行为识别结果看作一个确定性的结果。
人体行为预测算法过程如下：
1)根据截止到当前时刻的特征序列，计算当前人体行为被判定成人体行为类别c的概率Pt(c)；
2)令Rt(c)＝r1r2...rt表示特征序列中每个子序列被识别成行为类别c的子行为模式的识别结果，即每个子序列的识别结果满足ri∈APc,1≤i≤t，则从训练得到的概率后缀树中提取与Rt(c)匹配的最长后缀序列，并表示为LSt(c)；
3)对于每一个行为类别c，下一时刻或时段的子行为模式预测结果σt+1表示为其中σ∈APc，则最终预测结果为：预测行为类别为预测子行为模式为σt+1(cpredict)。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
Claims (9)
1.一种基于人体骨架运动信息的人体行为预测方法，以从RGB-D图像中提取到的人体骨架信息为基础，对当前时刻的人体行为进行识别及对后续时刻的人体行为进行预测，其特征在于，包括以下步骤：
(1)针对从每帧RGB-D图像提取到的人体骨架信息，利用中值滤波算法对人体骨架数据进行时域上的平滑预处理，降低噪声和异常数据的影响；
(2)针对预处理后的人体骨架信息，以人体各个关节点的实际运动模型为基础，分肢体计算人体各关节的归一化相对方位特征，生成归一化相对方位特征序列；关节点i的归一化相对方位特征是以关节点i实际运动时所围绕的关节点j为参考节点进行计算的，计算方式为：
式中，Pi和Pj为关节点i和关节点j在世界坐标系内的三维坐标向量，‖‖为欧式距离算子；
(3)定义并计算特征序列的势能和势差，基于特征序列的势差对特征序列进行动态分割，得到姿态特征子序列和动作特征子序列；
(4)利用高斯混合模型算法从姿态特征子序列中提取关键姿态，利用K均值算法从动作特征子序列中提取原子动作；
(5)基于提取到的关键姿态和原子动作分肢体构建多层图模型，构建的多层图模型包括每种人体行为所包含的不定长人体子行为模式；
(6)利用多层图模型中的人体子行为模式对训练特征序列进行编码，利用概率后缀树模型对编码序列的上下文信息构建上下文概率统计信息模型，训练过程完成；
(7)利用步骤1至步骤3中的方法对测试特征序列进行提取与分割，根据截止到当前时刻的分割结果提取姿态和动作，并结合训练得到的多层图模型对提取到的姿态和动作序列所对应的人体子行为模式进行识别；
(8)结合截止到当前时刻的人体子行为模式识别结果以及训练得到的包含子行为模式上下文信息的概率后缀树模型，对下一时刻的人体子行为模式进行预测。
2.根据权利要求1所述的基于人体骨架运动信息的人体行为预测方法，其特征在于，训练过程是离线进行的，对每种人体行为分别训练得到多层图模型和概率后缀树模型，测试过程是在线进行的，对每种人体行为的测试序列在线执行中值滤波、特征提取、动态分割算法。
3.根据权利要求1所述的基于人体骨架运动信息的人体行为预测方法，其特征在于，所述步骤2中，分肢体进行各个关节点的归一化相对方位特征的计算，把人体肢体分割为：左上肢、右上肢、左下肢、右下肢、躯干5个部分。
4.根据权利要求1所述的基于人体骨架运动信息的人体行为预测方法，其特征在于，所述步骤3中，特征序列的势能和势差的计算方式分别为：
Ed(i)＝Ep(i)－Ep(i－1)
式中，Fi j为第i帧肢体j的归一化相对方位特征向量，L＝5为分肢体的数目，Ep(i)为第i帧特征向量的势能，Ed(i)为第i帧特征向量的势差；所述步骤3中，基于特征序列势差的动态分割过程是基于阈值分割算法进行的，满足|Ed(i)|＜Emin的特征序列被标记为姿态特征子序列，反之被标记为动作特征子序列，Emin为预设的阈值。
5.根据权利要求1所述的基于人体骨架运动信息的人体行为预测方法，其特征在于，所述步骤4中，利用高斯混合模型算法从姿态特征子序列中聚类得到关键姿态，利用K均值聚类算法从与每两个关键姿态关联的动作特征子序列中聚类得到原子动作。
6.根据权利要求1所述的基于人体骨架运动信息的人体行为预测方法，其特征在于，所述步骤5中，利用提取到的关键姿态构建关键姿态层图模型，利用提取到的原子动作构建原子动作层图模型，并结合关键姿态层和原子动作层构建多层图模型。
7.根据权利要求1所述的基于人体骨架运动信息的人体行为预测方法，其特征在于，所述步骤6中，利用构建的多层图模型所包含的不定长子行为模式对每种人体行为的训练特征序列进行编码，基于编码序列构建体现人体子行为模式上下文概率统计信息的概率后缀树模型。
8.根据权利要求1所述的基于人体骨架运动信息的人体行为预测方法，其特征在于，所述步骤7中，测试序列人体子行为模式的识别结果为被识别成每种子行为模式的概率。
9.根据权利要求1所述的基于人体骨架运动信息的人体行为预测方法，其特征在于，所述步骤8中，根据截止到当前时刻人体子行为模式识别概率以及概率后缀树模型预测下一时刻的人体子行为模式，预测得到的是某种人体行为过程中的人体子行为。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510698117.6A CN105320944B (zh) | 2015-10-24 | 2015-10-24 | 一种基于人体骨架运动信息的人体行为预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510698117.6A CN105320944B (zh) | 2015-10-24 | 2015-10-24 | 一种基于人体骨架运动信息的人体行为预测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105320944A CN105320944A (zh) | 2016-02-10 |
| CN105320944B true CN105320944B (zh) | 2019-09-27 |
Family
ID=55248299
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510698117.6A Active CN105320944B (zh) | 2015-10-24 | 2015-10-24 | 一种基于人体骨架运动信息的人体行为预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105320944B (zh) |
Families Citing this family (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105930767B (zh) * | 2016-04-06 | 2019-05-17 | 南京华捷艾米软件科技有限公司 | 一种基于人体骨架的动作识别方法 |
| JP6443393B2 (ja) * | 2016-06-01 | 2018-12-26 | トヨタ自動車株式会社 | 行動認識装置，学習装置，並びに方法およびプログラム |
| CN106650562A (zh) * | 2016-06-14 | 2017-05-10 | 西安电子科技大学 | 一种基于Kinect的在线连续人体行为识别方法 |
| CN106203363A (zh) * | 2016-07-15 | 2016-12-07 | 中国科学院自动化研究所 | 人体骨架运动序列行为识别方法 |
| CN106407519B (zh) * | 2016-08-31 | 2019-04-16 | 浙江大学 | 一种人群移动规律的建模方法 |
| CN107679522B (zh) * | 2017-10-31 | 2020-10-13 | 内江师范学院 | 基于多流lstm的动作识别方法 |
| CN107832713B (zh) * | 2017-11-13 | 2021-11-16 | 南京邮电大学 | 一种基于OptiTrack的人体姿态识别方法 |
| CN108256489B (zh) * | 2018-01-24 | 2020-09-25 | 清华大学 | 基于深度强化学习的行为预测方法及装置 |
| CN108960056B (zh) * | 2018-05-30 | 2022-06-03 | 西南交通大学 | 一种基于姿态分析和支持向量数据描述的跌倒检测方法 |
| CN109063714A (zh) * | 2018-08-06 | 2018-12-21 | 浙江大学 | 基于深度神经网络的帕金森病运动迟缓视频检测模型的构建方法 |
| CN109886068B (zh) * | 2018-12-20 | 2022-09-09 | 陆云波 | 基于运动数据的动作行为识别方法 |
| CN109872374A (zh) * | 2019-02-19 | 2019-06-11 | 江苏通佑视觉科技有限公司 | 一种图像语义分割的优化方法、装置、存储介质及终端 |
| CN109919085B (zh) * | 2019-03-06 | 2020-11-03 | 西安电子科技大学 | 基于轻量型卷积神经网络的人人交互行为识别方法 |
| CN110148212B (zh) * | 2019-05-17 | 2023-01-31 | 北京市商汤科技开发有限公司 | 一种动作序列生成方法及装置、电子设备和存储介质 |
| CN110327053A (zh) * | 2019-07-12 | 2019-10-15 | 广东工业大学 | 一种基于电梯空间的人体行为安全监测方法、设备及系统 |
| CN110533685B (zh) * | 2019-08-30 | 2023-10-24 | 腾讯科技（深圳）有限公司 | 对象跟踪方法和装置、存储介质及电子装置 |
| CN110533700B (zh) * | 2019-08-30 | 2023-08-29 | 腾讯科技（深圳）有限公司 | 对象跟踪方法和装置、存储介质及电子装置 |
| CN110688929B (zh) * | 2019-09-20 | 2021-11-30 | 北京华捷艾米科技有限公司 | 一种人体骨架关节点定位方法及装置 |
| TWI710972B (zh) * | 2019-11-01 | 2020-11-21 | 緯創資通股份有限公司 | 基於原子姿勢的動作辨識方法及其系統與電腦可讀取記錄媒體 |
| CN112906438B (zh) * | 2019-12-04 | 2023-05-02 | 内蒙古科技大学 | 人体动作行为的预测方法以及计算机设备 |
| US11132585B2 (en) * | 2019-12-17 | 2021-09-28 | Robert Bosch Gmbh | System and method for detecting abnormal passenger behavior in autonomous vehicles |
| CN111062356B (zh) * | 2019-12-26 | 2024-03-26 | 沈阳理工大学 | 一种从监控视频自动识别人体动作异常的方法 |
| CN111639680B (zh) * | 2020-05-09 | 2022-08-09 | 西北工业大学 | 一种基于专家反馈机制的身份识别方法 |
| CN113435969A (zh) * | 2021-06-23 | 2021-09-24 | 未鲲(上海)科技服务有限公司 | 产品推荐方法、装置、电子设备和存储介质 |
| CN116189310B (zh) * | 2022-11-16 | 2024-01-23 | 北京理工大学 | 一种提供人体运动数据集的方法及电子设备 |
| CN116434335B (zh) * | 2023-03-30 | 2024-04-30 | 东莞理工学院 | 动作序列识别和意图推断方法、装置、设备及存储介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104461000A (zh) * | 2014-12-03 | 2015-03-25 | 北京航空航天大学 | 一种基于少量缺失信号的在线连续人体运动识别方法 |
-
2015
- 2015-10-24 CN CN201510698117.6A patent/CN105320944B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104461000A (zh) * | 2014-12-03 | 2015-03-25 | 北京航空航天大学 | 一种基于少量缺失信号的在线连续人体运动识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| Skeleton based performance prediction on shared networks;Sukhdeep Sodhi，Jaspal Subhlok;《IEEE Xplore》;20040531;全文 * |
| 基于视频的人体运动跟踪技术研究;冯莲;《中国优秀硕士学位论文全文数据库信息科技辑》;20061215(第12期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105320944A (zh) | 2016-02-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105320944B (zh) | 一种基于人体骨架运动信息的人体行为预测方法 | |
| CN110135375B (zh) | 基于全局信息整合的多人姿态估计方法 | |
| Jalal et al. | Depth map-based human activity tracking and recognition using body joints features and self-organized map | |
| Jalal et al. | Human daily activity recognition with joints plus body features representation using Kinect sensor | |
| Jalal et al. | Shape and motion features approach for activity tracking and recognition from kinect video camera | |
| Farooq et al. | Dense RGB-D map-based human tracking and activity recognition using skin joints features and self-organizing map | |
| Jalal et al. | Human Depth Sensors‐Based Activity Recognition Using Spatiotemporal Features and Hidden Markov Model for Smart Environments | |
| Kim et al. | Simultaneous gesture segmentation and recognition based on forward spotting accumulative HMMs | |
| Chaudhary et al. | A survey on hand gesture recognition in context of soft computing | |
| Bouchard et al. | Semantic segmentation of motion capture using laban movement analysis | |
| CN110135249A (zh) | 基于时间注意力机制和lstm的人体行为识别方法 | |
| CN109858406A (zh) | 一种基于关节点信息的关键帧提取方法 | |
| CN114067358A (zh) | 一种基于关键点检测技术的人体姿态识别方法及系统 | |
| CN109902565B (zh) | 多特征融合的人体行为识别方法 | |
| CN106548194B (zh) | 二维图像人体关节点定位模型的构建方法及定位方法 | |
| CN105373810B (zh) | 一种用于建立动作识别模型的方法及系统 | |
| CN113255522B (zh) | 基于时间一致性的个性化运动姿态估计与分析方法及系统 | |
| CN112800892A (zh) | 一种基于openpose的人体姿态识别方法 | |
| CN111028319A (zh) | 一种基于面部运动单元的三维非真实感表情生成方法 | |
| CN114582030A (zh) | 一种基于服务机器人的行为识别方法 | |
| CN104408470A (zh) | 基于平均脸预学习的性别检测方法 | |
| CN103235928A (zh) | 一种具有监督机制的步态识别方法 | |
| CN117218709A (zh) | 基于时间可变形注意力机制的居家老人实时状态监测方法 | |
| Yamao et al. | Development of human pose recognition system by using raspberry pi and posenet model | |
| CN116311497A (zh) | 一种基于机器视觉的隧道工人异常行为检测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20210115 Address after: Building 28 and 29, Tian'an Digital City, No.88 Chunyang Road, Chengyang District, Qingdao City, Shandong Province Patentee after: Qingdao Institute of computing technology Xi'an University of Electronic Science and technology Address before: No.2, Taibai South Road, Yanta District, Xi'an City, Shaanxi Province Patentee before: XIDIAN University |
|
| TR01 | Transfer of patent right |