CN112884814A - 一种抗遮挡的动作跟踪方法、装置及存储介质 - Google Patents

Abstract

本发明公开了一种抗遮挡的动作跟踪方法、装置及存储介质，适用于安防、监控、行为观察、检测等类似或相关应用场景。动作跟踪方法包括：获取多帧目标跟踪图像以及位置信息；根据骨骼关节点信息是否完整判定动作跟踪是否被遮挡；根据目标遮挡状态，将遮挡问题分为短期遮挡状态和长期遮挡状态；对不同的目标遮挡状态采用不同的跟踪策略；将三维特征进行降维，并存储坐标映射表减轻运算量提高图像处理效率；融合多种特征信息，提高识别准确度。

Description

一种抗遮挡的动作跟踪方法、装置及存储介质

技术领域

本发明涉及一种图像处理技术，特别是一种抗遮挡的动作跟踪方法、装置及存储介质。

背景技术

计算机视觉作为人工智能领域最热门的研究方向之一。目标跟踪是计算机视觉领域的一个重要组成部分，有着广泛的应用前景。但目标遮挡问题依然是一个难点。目标遮挡导致目标的信息丢失，而且长期的目标遮挡更是加剧了跟踪的困难。现有的目标跟踪算法大多以颜色、纹理和边缘特征为基础对丢失目标进行确定，不适用于基于骨骼关节点的动作跟踪。

发明内容

本发明要解决的技术问题是，骨骼关节点的动作跟踪方法不适用目标遮挡情况的技术问题。本发明提出的一种抗遮挡的动作跟踪方法，包括如下步骤：

步骤1：在轨道上设置摄像头，轨道的一端为摄像头的初始位置；摄像头以固定物为参照物，预估目标人物的身高信息，所述目标人物可以是单个或多个人；

步骤2：获取目标人物多帧骨骼关节点图像的三维空间坐标，并对目标人物骨骼关节点图像三维空间坐标进行降维处理。

所述的三维空间坐标的坐标系为OXYZ，摄像头所在位置为坐标原点，沿轨道的方向为X轴的方向，Z轴方向与X轴的方向垂直，且Z轴与X轴构成的平面与水平面平行，Y轴垂直于Z轴和X轴所在的平面，同一目标人物骨骼关节点的三维空间坐标用(x,y,z)表示，同一目标人物不同骨胳关节点间z坐标相差小，降维后采用二维坐标(x,y)表示目标人物的骨骼关节点；

不同目标人物之间的z坐标相差较大，联合测得的目标人物高度h表示目标人物骨骼关节点，以二维坐标中的骨胳关节点(x,y)、以及目标人物高度h表示目标人物骨骼关节点。

步骤3，根据连续多帧图像中骨胳关节点的完整度，判定目标跟踪图像的目标遮挡状态；目标遮挡状态分为短期遮挡状态和长期遮挡状态；所述短期遮挡状态是指目标人物处于遮挡状态的连续帧的数量小于等于缺失帧阈值时，则判定目标人物处于短期遮挡状态；当目标人物处于遮挡状态的连续帧的数量大于缺失帧阈值时，则判定目标人物处于长期遮挡状态。

步骤4：对短期遮挡状态的目标人物进行跟踪。

当目标人物处于短期遮挡状态，对遮挡部分的骨胳关节点运动轨迹进行Kalman预测，当摄像头检测到有骨胳关节点重现时，依据目标人物未被遮挡部分的骨胳关节点的运动状态对重现骨胳关节点的运动轨迹进行预测，并将重现骨胳关节点预测轨迹与重现骨胳关节点的实际轨迹进行比较，重现骨胳关节点的预测轨迹与实际轨迹的重合度越高，则说明可信度高，当可信度大于设定的可信度阈值时，说明重现的骨胳关节点是目标人物的骨胳关节点，反之，当可信度小于设定的可信度阈值时，重现的骨胳关节点则不是目标人物的骨胳关节点，当同一目标人物处于遮挡状态的连续帧的数量大于缺失帧阈值时，则判定该目标人物处于长期遮挡状态；

步骤5，对长期遮挡状态下的目标人物进行跟踪；

当处于长期遮挡状态时，摄像头在滑轨上进行移动，移动到轨道另一端，摄像头将目标人物的原位置信息进行坐标变换，即移动后的坐标是在目标人物所有骨胳关节点的原坐标乘上坐标变换矩阵，进行对长期遮挡状态下的目标人物进行跟踪。

进一步的，步骤1中，预估目标人物的身高信息的方法是，在摄像头固定角度下，利用固定参照物已知高度和参照物与目标人物固定视角下形成的夹角获取目标人物的身高信息；所述固定角度是指摄像头与竖直平面以及水平面所成角度是固定的。

进一步的，步骤3中根据连续多帧图像中骨胳关节点获取的完整度，判定目标跟踪图像的目标遮挡状态，具体方法为，当连续多帧图像中骨胳关节点的数量少于目标人物骨胳关节点总量的1/3时，则判定目标跟踪图像的目标是遮挡状态。

进一步的，步骤3中所述缺失帧阈值等于十帧或二十帧。

本发明还提供了一种抗遮挡的目标跟踪装置，包括图像获取模块、信息获取模块、状态判定模块和策略执行模块；

图像获取模块，用于获取多帧目标人物图像；

信息获取模块，用于获取每帧目标跟踪图像的多种特征信息；

状态判定模块，包含有用于完成步骤3的可执行指令，用于根据图像中骨胳关节点的完整度，判定目标遮挡状态。

策略执行模块，包含有用于完成权利要求1中步骤4-5的可执行指令。

本发明还提供了一种存储介质，其特征在于，包括可执行指令，当所述可执行指令被信息处理设备执行时，使得所述信息处理设备执行步骤1-5所述的方法。

有益效果：

本发明将目标遮挡状态分为短期目标遮挡状态和长期目标遮挡状态，对不同的目标遮挡状态采用不同的跟踪策略；将三维特征进行降维，并存储坐标映射表减轻运算量提高图像处理效率；融合多种特征信息，提高识别准确度。

附图说明

图1是本发明的跟踪方法流程图；

图2是本发明中测量人体身高方法示意图；

图3是获取的人体骨胳关节点模型示意图；

图4是空间维度降维为平面维度示意图；

图5是同一目标人物与摄像头不同距离时的映射示意图。

具体实施方式

本发明提供了一种抗遮挡的动作跟踪方法，如图1所示，

步骤1：在轨道上设置摄像头，摄像头沿轨道滑动。轨道的一端为摄像头的初始位置；摄像头以室内固定物为参照物，预估目标人物的身高信息，为后续骨胳关节点位置信息降维做准备；所述目标人物可以是单个或多个人。

为了便于利用参照物预估出目标人物的身高信息，所述摄像头是固定角度的，所述固定角度是指摄像头与竖直平面以及水平面所成角度是固定的，如图2所示。

具体为，在摄像头固定角度下以室内固定物为参照，利用固定参照物已知高度和参照物与目标人物固定视角下形成的夹角获取目标人物的身高信息，便于后续骨胳关节点位置信息降维；

步骤2：获取目标人物多帧骨骼关节点图像的三维空间信息，并对目标人物骨骼关节点图像三维空间坐标进行降维处理；

如图4所示，所述的三维空间坐标的坐标系为OXYZ，摄像头所在位置为坐标原点，沿轨道的方向为X轴的方向，Z轴方向与X轴的方向垂直，且Z轴与X轴构成的平面与水平面平行，Y轴垂直于Z轴和X轴所在的平面，目标人物骨骼关节点的三维空间坐标用(x,y,z)表示，如图3所示，以同一目标人物手臂三个骨胳关节点为例，手臂骨胳关节点包括A、B、C三点，其中骨胳关节点A的空间坐标为(x1,y1,z1)，骨胳关节点B的空间坐标为(x2,y2,z2)，骨胳关节点C的空间坐标为(x3,y3,z3)，a表示骨胳关节点A和骨胳关节点B之间的线段，b表示骨胳关节点B和骨胳关节点C之间的线段，c表示骨胳关节点A和骨胳关节点C之间的线段。如图4所示，因为各骨胳关节点在z轴的坐标相差小，故简化骨胳关节点A、B和C的坐标为平面坐标A(x1,y1)，B(x2,y2)和C(x3,y3)。

如图5,所示，同一个人，在坐标中z值的不同，导致其在二维平面上显示的h’值不同，z值越大，测得的目标人物显示高度h’值越小，z值越小，目标人物高度h’值越大，所以可以用测得的h’值来表示z值，将骨胳关节点坐标(x,y,z)降维,以二维坐标中的骨胳关节点(x,y)、以及目标人物显示高度h’表示。

同一目标人物不同骨胳关节点间z坐标相差小，但不同目标人物之间的z坐标值则可能相差较大。不同目标人物之间的z坐标相差较大时，联合步骤1中测得的目标人物高度h表示目标人物。

步骤3，根据连续多帧图像中骨胳关节点获取的完整度，判定目标跟踪图像的目标遮挡状态，本具体实施例中，当连续多帧图像中骨胳关节点的数量少于目标人物骨胳关节点总量的1/3时，则判定目标跟踪图像的目标是遮挡状态，如图3所示，目标人物上共计有13个骨胳关节点，当连续多帧图像中骨胳关节点的数量少于5时，则目标处于遮挡状态。

目标遮挡状态分别为短期遮挡状态和长期遮挡状态；所述短期遮挡状态是指连续二十帧或二十帧以下的目标人物处于遮挡状态时判定为短期遮挡状态；所述长期遮挡状态是指超过二十帧目标人物处于遮挡状态则判定为长期遮挡状态。

步骤4：对短期遮挡状态的目标人物进行跟踪。

目标人物有连续帧被遮挡时，被判定为目标人物处于短期遮挡状态，对遮挡部分的骨胳关节点运动轨迹进行Kalman预测，当摄像头检测到有骨胳关节点重现时，依据目标人物未被遮挡部分的骨胳关节点的运动状态对重现骨胳关节点的运动轨迹进行预测，并将重现骨胳关节点预测轨迹与重现骨胳关节点的实际轨迹进行比较，重现骨胳关节点的预测轨迹与实际轨迹的重合度越高，则说明可信度高，当可信度大于设定的阈值时，说明重现的骨胳关节点是目标人物的骨胳关节点，反之，当可信度小于设定的可信度阈值时，重现的骨胳关节点则不是目标人物的骨胳关节点，重现的骨胳关节点是其它目标人物的骨胳关节点，当同一目标人物超过二十帧处于被遮挡状态时，刚判定该目标人物处于长期遮挡状态；

步骤5，对长期遮挡状态下的目标人物进行跟踪。

当处于长期遮挡状态时，摄像头在滑轨上进行短距离移动，移动到轨道另一端，以便有可能避开遮挡物体，轨道的长度可以设置为10cm、20cm等，在移动过程中摄像头保持固定角度不变。如图5所示，摄像头将目标的原位置信息与现位置信息进行坐标变换，即移动后的坐标是在目标人物所有骨胳关节点的原坐标乘上坐标变换矩阵，以确保跟踪的是同一个目标人物。因为摄像头的角度和始末位置都是固定的，所以在摄像头中预先存储了摄像头位于始末位置处的平面坐标变换对应表，在摄像头位置改变时直接提取，无需计算，提高了运行效率；选取固定的位置做为摄像头的始末位置是为了减少运算量。

一种抗遮挡的目标跟踪装置，包括图像获取模块、信息获取模块、状态判定模块和策略执行模块；

图像获取模块，用于获取多帧目标人物图像；本发明中的图像获取模块为摄像头；

信息获取模块，用于获取每帧目标人物图像的骨胳关节点特征；

状态判定模块，包含有用于完成步骤3的可执行指令，用于根据图像中骨胳关节点的完整度，判定目标遮挡状态，目标遮挡状态分为短期遮挡状态和长期遮挡状态；所述短期遮挡状态是指目标人物处于遮挡状态的连续帧的数量小于等于缺失帧阈值时，则判定目标人物处于短期遮挡状态；当目标人物处于遮挡状态的连续帧的数量大于缺失帧阈值时，则判定目标人物处于长期遮挡状态。所述缺失帧阈值等于十帧或二十帧。

策略执行模块，包含有用于完成步骤4-5的可执行指令，根据目标遮挡状态，对目标跟踪图像采用不同的目标跟踪策略。

本发明实施例还提供了一种存储介质，存储有摄像头位于轨道始末位置的平面坐标映射表和用于实现步骤1至步骤5的可执行指令，可执行指令能被计算机执行，所述的存储介质是只读存储器(ROM)、可编程ROM(PROM)、电可擦除可编程ROM(EEPROM)或闪存等。

Claims (6)

1.一种抗遮挡的动作跟踪方法，其特征在于，包括如下步骤：

步骤1：在轨道上设置摄像头，轨道的一端为摄像头的初始位置；摄像头以固定物为参照物，预估目标人物的身高信息，所述目标人物可以是单个或多个人；

步骤2：获取目标人物多帧骨骼关节点图像的三维空间坐标，并对目标人物骨骼关节点图像三维空间坐标进行降维处理；

所述的三维空间坐标的坐标系为OXYZ，摄像头所在位置为坐标原点，沿轨道的方向为X轴的方向，Z轴方向与X轴的方向垂直，且Z轴与X轴构成的平面与水平面平行，Y轴垂直于Z轴和X轴所在的平面，同一目标人物骨骼关节点的三维空间坐标用(x,y,z)表示，降维后采用二维坐标(x,y)表示目标人物的骨骼关节点；

不同目标人物之间的z坐标相差较大，联合测得的目标人物高度h表示目标人物的骨骼关节点，以二维坐标中的骨胳关节点(x,y)、以及目标人物高度h表示目标人物骨骼关节点；

步骤3，根据连续多帧图像中骨胳关节点的完整度，判定目标跟踪图像的目标遮挡状态；目标遮挡状态分为短期遮挡状态和长期遮挡状态；所述短期遮挡状态是指目标人物处于遮挡状态的连续帧的数量小于等于缺失帧阈值时，则判定目标人物处于短期遮挡状态；当目标人物处于遮挡状态的连续帧的数量大于缺失帧阈值时，则判定目标人物处于长期遮挡状态；

步骤4：对短期遮挡状态的目标人物进行跟踪；

当目标人物处于短期遮挡状态，对遮挡部分的骨胳关节点运动轨迹进行Kalman预测，当摄像头检测到有骨胳关节点重现时，依据目标人物未被遮挡部分的骨胳关节点的运动状态对重现骨胳关节点的运动轨迹进行预测，并将重现骨胳关节点预测轨迹与重现骨胳关节点的实际轨迹进行比较，重现骨胳关节点的预测轨迹与实际轨迹的重合度越高，则说明可信度高，当可信度大于设定的可信度阈值时，说明重现的骨胳关节点是目标人物的骨胳关节点，反之，当可信度小于设定的可信度阈值时，重现的骨胳关节点则不是目标人物的骨胳关节点，当同一目标人物处于遮挡状态的连续帧的数量大于缺失帧阈值时，则判定该目标人物处于长期遮挡状态；

步骤5，对长期遮挡状态下的目标人物进行跟踪；

当处于长期遮挡状态时，摄像头在滑轨上进行移动，移动到轨道另一端，摄像头将目标人物的原位置信息进行坐标变换，即移动后的坐标是在目标人物所有骨胳关节点的原坐标乘上坐标变换矩阵，进行对长期遮挡状态下的目标人物进行跟踪。

2.根据权利要求书1所述一种抗遮挡的动作跟踪方法，其特征在于，步骤1中，预估目标人物的身高信息的方法是，在摄像头固定角度下，利用固定参照物已知高度和参照物与目标人物固定视角下形成的夹角获取目标人物的身高信息；所述固定角度是指摄像头与竖直平面以及水平面所成角度是固定的。

3.根据权利要求书1或2所述一种抗遮挡的动作跟踪方法，其特征在于，步骤3中根据连续多帧图像中骨胳关节点获取的完整度，判定目标跟踪图像的目标遮挡状态，具体方法为，当连续多帧图像中骨胳关节点的数量少于目标人物骨胳关节点总量的1/3时，则判定目标跟踪图像的目标是遮挡状态。

4.根据权利要求书1所述一种抗遮挡的动作跟踪方法，其特征在于，步骤3中所述缺失帧阈值等于十帧或二十帧。

5.一种抗遮挡的目标跟踪装置，其特征在于，包括图像获取模块、信息获取模块、状态判定模块和策略执行模块；

图像获取模块，用于获取多帧目标人物图像；

信息获取模块，用于获取每帧目标跟踪图像的多种特征信息；

状态判定模块，包含有用于完成权利要求3中步骤3的可执行指令，用于根据图像中骨胳关节点的完整度，判定目标遮挡状态；

策略执行模块，包含有用于完成权利要求1中步骤4-5的可执行指令。

6.一种存储介质，其特征在于，包括可执行指令，当所述可执行指令被信息处理设备执行时，使得所述信息处理设备执行权利要求3中步骤1-5所述的方法。

Images