CN114511589A - 一种人体跟踪方法和系统 - Google Patents

Abstract

本申请实施例公开了一种人体跟踪方法和系统，所述方法包括：基于视频帧图像选择目标跟踪模式，以根据预设目标启动模式确定跟踪人体目标；基于各自对应的模型得到目标跟踪模式、骨骼特征信息、人脸特征信息、目标行为信息、人体颜色特征信息、目标运动信息和目标跟踪方式，并输入人体跟踪模型，输出跟踪目标人体的位置信息和行为信息。从而基于人体骨骼、人脸特征、人体行为和颜色特征信息等不同维度信息进行人体的跟踪，高效辅助人体跟踪拍摄。

Description

一种人体跟踪方法和系统

技术领域

本申请实施例涉及计算机视觉技术领域，具体涉及一种人体跟踪方法和系统。

背景技术

随着人工智能技术和互联网技术的发展，随着“人工智能赋能教师”、“人工智能赋能教学”要求的提出，“智慧教室”改变了传统的教学模式和学习环境，对录播系统中的跟踪技术也提出了更大挑战。

以前的录播环境是基于传统的教学环境，采用多个辅助摄像头采集定位视频图像来进行教师定位分析和板书定位分析。并且图像分析定位只能简单依赖目标的运动特征，对于更加灵活自由的教学环境，跟踪定位的精度和鲁棒性有很大挑战。

发明内容

为此，本申请实施例提供一种人体跟踪方法和系统，基于人体骨骼、人脸特征、人体行为和颜色特征信息等不同维度信息进行跟踪，高效辅助跟踪拍摄。

为了实现上述目的，本申请实施例提供如下技术方案：

根据本申请实施例的第一方面，提供了一种人体跟踪方法，所述方法包括：

获取视频帧图像；

利用人体骨骼检测算法检测视频帧图像中是否有可识别的人体骨骼数据；

若有，基于视频帧图像选择目标跟踪模式，以根据预设目标启动模式确定跟踪人体目标；

基于人体骨骼数据进行骨骼关键点检测，得到骨骼特征信息；并基于骨骼特征信息检测到人脸面对镜头时，进行人脸检测及人脸特征提取，得到人脸特征信息；并利用目标行为识别模型进行人体姿态信息分析，得到目标行为信息；并利用人体颜色特征模型进行人体上半身区域随机点以及灰度值采样，得到人体颜色特征信息；并根据骨骼特征信息中的骨骼位置信息和姿态信息进行运动信息检测，得到目标运动信息；并根据可识别的人体骨骼数据及其与跟踪目标的距离关系进行跟踪人数模式选择，得到目标跟踪方式；

将目标跟踪模式、骨骼特征信息、人脸特征信息、目标行为信息、人体颜色特征信息、目标运动信息和目标跟踪方式输入人体跟踪模型，输出跟踪目标人体的位置信息和行为信息。

可选地，所述基于人体骨骼数据进行骨骼关键点检测，得到骨骼特征信息，包括：

基于人体骨骼数据中的头、颈、肩、臂、腰部位的骨骼数据以及头颈方向数据、肩宽数据、上半身高数据、头肩肘手之间的位置关系数据，在人体骨骼选取设定关键点区域的数据进行采集；

基于采集到的人体骨骼关键点数据进行骨骼特征处理，得到骨骼特征信息；所述骨骼特征信息包括人体运动方向信息、人体位置信息、人体尺寸信息和人体姿态信息。

可选地，所述方法还包括：

若检测到人体姿态信息为举手，则添加或者切换跟踪人体目标。

可选地，基于骨骼特征信息检测到人脸面对镜头时，进行人脸检测及人脸特征提取，得到人脸特征信息，包括：

根据骨骼特征信息确定人脸检测区域，利用人脸检测模型进行人脸检测，检测人脸正面对着镜头时，利用人脸特征提取模型进行人脸特征提取，得到人脸特征信息。

可选地，利用目标行为识别模型进行人体姿态信息分析，得到目标行为信息，包括：

获取人体骨骼数据中的头、肩、颈、肘、手、腰关键节点及长度、角度的样本数据；

利用目标行为识别模型检测目标行为，得到目标行为信息；所述目标行为信息包括写板书和讲解PPT；其中，所述目标行为识别模型是通过对写板书、讲解PPT两种目标行为进行建模，区分两种目标行为的正负样本，对正负样本基于向量机方法进行训练，得到目标行为识别模型参数，以构建目标行为识别模型。

可选地，根据可识别的人体骨骼数据及其与跟踪目标的距离关系进行跟踪人数模式选择，得到目标跟踪方式，包括：

获取跟踪人体目标周围设定的跟踪范围内可识别的人体骨骼数据的数量及其与跟踪人体目标的距离；

根据可识别的人体骨骼数据的数量及其与跟踪人体目标的距离关系，添加跟踪状态信息，确定目标跟踪方式；所述目标跟踪方式包括单人体目标跟踪方式、双人体目标跟踪方式和多人体目标跟踪方式。

可选地，人体跟踪模型的训练过程包括：

针对视频帧图像中获取到的目标跟踪模式、骨骼特征信息、人脸特征信息、目标行为信息、人体颜色特征信息、目标运动信息和目标跟踪方式进行建模，依据每个信息对应的模型对视频帧图像进行分类，分别采集不同模型的样本数据，对每个模型对应的视频样本数据采用向量机方法进行训练，得到人体跟踪模型参数，以构建人体跟踪模型。

根据本申请实施例的第二方面，提供了一种人体跟踪系统，所述系统包括：

视频图像获取模块，用于获取视频帧图像；

骨骼检测模块，用于利用人体骨骼检测算法检测视频帧图像中是否有可识别的人体骨骼数据；

跟踪目标确定模块，用于基于视频帧图像选择目标跟踪模式，以根据预设目标启动模式确定跟踪人体目标；

模型调用模块，用于基于人体骨骼数据进行骨骼关键点检测，得到骨骼特征信息；并基于骨骼特征信息检测到人脸面对镜头时，进行人脸检测及人脸特征提取，得到人脸特征信息；并利用目标行为识别模型进行人体姿态信息分析，得到目标行为信息；并利用人体颜色特征模型进行人体上半身区域随机点以及灰度值采样，得到人体颜色特征信息；并根据骨骼特征信息中的骨骼位置信息和姿态信息进行运动信息检测，得到目标运动信息；并根据可识别的人体骨骼数据及其与跟踪目标的距离关系进行跟踪人数模式选择，得到目标跟踪方式；

跟踪目标信息获取模块，用于将目标跟踪模式、骨骼特征信息、人脸特征信息、目标行为信息、人体颜色特征信息、目标运动信息和目标跟踪方式输入人体跟踪模型，输出跟踪目标人体的位置信息和行为信息。

根据本申请实施例的第三方面，提供了一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行以实现上述第一方面所述的方法。

根据本申请实施例的第四方面，提供了一种计算机可读存储介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现上述第一方面所述的方法。

综上所述，本申请实施例提供了一种人体跟踪方法和系统，通过获取视频帧图像；利用人体骨骼检测算法检测视频帧图像中是否有可识别的人体骨骼数据；若有，基于视频帧图像选择目标跟踪模式，以根据预设目标启动模式确定跟踪人体目标；基于人体骨骼数据进行骨骼关键点检测，得到骨骼特征信息；并基于骨骼特征信息检测到人脸面对镜头时，进行人脸检测及人脸特征提取，得到人脸特征信息；并利用目标行为识别模型进行人体姿态信息分析，得到目标行为信息；并利用人体颜色特征模型进行人体上半身区域随机点以及灰度值采样，得到人体颜色特征信息；并根据骨骼特征信息中的骨骼位置信息和姿态信息进行运动信息检测，得到目标运动信息；并根据可识别的人体骨骼数据及其与跟踪目标的距离关系进行跟踪人数模式选择，得到目标跟踪方式；将目标跟踪模式、骨骼特征信息、人脸特征信息、目标行为信息、人体颜色特征信息、目标运动信息和目标跟踪方式输入人体跟踪模型，输出跟踪目标人体的位置信息和行为信息。基于人体骨骼、人脸特征、人体行为和颜色特征信息等不同维度信息进行跟踪，高效辅助跟踪拍摄。

附图说明

为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。

本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容能涵盖的范围内。

图1为本申请实施例提供的一种人体跟踪方法流程示意图；

图2为本申请实施例提供的人体骨骼关键点图；

图3为本申请实施例提供的目标跟踪详细流程图；

图4为本申请实施例提供的一种人体跟踪系统框图；

图5示出了本申请实施例所提供的一种电子设备的结构示意图；

图6示出了本申请实施例所提供的一种计算机可读存储介质的示意图。

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明采集视频数据分析目标的骨骼特征、颜色特征、运动特征、人脸特征、姿态特征等多维度信息，并对多维信息数据进行融合创建跟踪定位模型实现复杂环境下目标的跟踪定位，多维信息融合技术大大提高了目标跟踪算法的精确度和鲁棒性，而且本发明的目标跟踪算法是分析直接分析跟踪拍摄摄像头采集的图像数据，不需要添加教室定位、板书定位两个辅助摄像头，大大节约了设备资源，使得环境的搭建和初始化设置大大简单化。

图1示出了本申请实施例提供的一种人体跟踪方法，所述方法包括：

步骤101：获取视频帧图像；

步骤102：利用人体骨骼检测算法检测视频帧图像中是否有可识别的人体骨骼数据；

步骤103：若有，基于视频帧图像选择目标跟踪模式，以根据预设目标启动模式确定跟踪人体目标；

步骤104：基于人体骨骼数据进行骨骼关键点检测，得到骨骼特征信息；并基于骨骼特征信息检测到人脸面对镜头时，进行人脸检测及人脸特征提取，得到人脸特征信息；并利用目标行为识别模型进行人体姿态信息分析，得到目标行为信息；并利用人体颜色特征模型进行人体上半身区域随机点以及灰度值采样，得到人体颜色特征信息；并根据骨骼特征信息中的骨骼位置信息和姿态信息进行运动信息检测，得到目标运动信息；并根据可识别的人体骨骼数据及其与跟踪目标的距离关系进行跟踪人数模式选择，得到目标跟踪方式；

步骤105：将目标跟踪模式、骨骼特征信息、人脸特征信息、目标行为信息、人体颜色特征信息、目标运动信息和目标跟踪方式输入人体跟踪模型，输出跟踪目标人体的位置信息和行为信息。

在一种可能的实施方式中，在步骤104中，所述基于人体骨骼数据进行骨骼关键点检测，得到骨骼特征信息，包括：

基于人体骨骼数据中的头、颈、肩、臂、腰部位的骨骼数据以及头颈方向数据、肩宽数据、上半身高数据、头肩肘手之间的位置关系数据，在人体骨骼选取设定关键点区域的数据进行采集；基于采集到的人体骨骼关键点数据进行骨骼特征处理，得到骨骼特征信息；所述骨骼特征信息包括人体运动方向信息、人体位置信息、人体尺寸信息和人体姿态信息。

在一种可能的实施方式中，在步骤104中，所述方法还包括：若检测到人体姿态信息为举手，则添加或者切换跟踪人体目标。

在一种可能的实施方式中，在步骤104中，基于骨骼特征信息检测到人脸面对镜头时，进行人脸检测及人脸特征提取，得到人脸特征信息，包括：

根据骨骼特征信息确定人脸检测区域，利用人脸检测模型进行人脸检测，检测人脸正面对着镜头时，利用人脸特征提取模型进行人脸特征提取，得到人脸特征信息。

在一种可能的实施方式中，在步骤104中，利用目标行为识别模型进行人体姿态信息分析，得到目标行为信息，包括：

获取人体骨骼数据中的头、肩、颈、肘、手、腰关键节点及长度、角度的样本数据；利用目标行为识别模型检测目标行为，得到目标行为信息；所述目标行为信息包括写板书和讲解PPT；其中，所述目标行为识别模型是通过对写板书、讲解PPT两种目标行为进行建模，区分两种目标行为的正负样本，对正负样本基于向量机方法进行训练，得到目标行为识别模型参数，以构建目标行为识别模型。

在一种可能的实施方式中，在步骤104中，根据可识别的人体骨骼数据及其与跟踪目标的距离关系进行跟踪人数模式选择，得到目标跟踪方式，包括：

获取跟踪人体目标周围设定的跟踪范围内可识别的人体骨骼数据的数量及其与跟踪人体目标的距离；根据可识别的人体骨骼数据的数量及其与跟踪人体目标的距离关系，添加跟踪状态信息，确定目标跟踪方式；所述目标跟踪方式包括单人体目标跟踪方式、双人体目标跟踪方式和多人体目标跟踪方式。

在一种可能的实施方式中，在步骤105中，人体跟踪模型的训练过程包括：

针对视频帧图像中获取到的目标跟踪模式、骨骼特征信息、人脸特征信息、目标行为信息、人体颜色特征信息、目标运动信息和目标跟踪方式进行建模，依据每个信息对应的模型对视频帧图像进行分类，分别采集不同模型的样本数据，对每个模型对应的视频样本数据采用向量机方法进行训练，得到人体跟踪模型参数，以构建人体跟踪模型。

下面结合附图对本申请实施例公开的人体跟踪方法和系统进行进一步解释说明，包括：

本申请实施例的人体跟踪系统中还包括预处理模块，用于完成骨骼关键点检测分类器、人脸检测分类器、人脸特征提取模型的初始化以及相关数据流程的初始化。

数据采集模块，用于采集人体骨骼数据；考虑到代码效率问题只采集必要的骨骼信息头、颈、肩、臂、腰骨骼数据(见图2人体18关节点图中的1、2、3、4、5、6、7、8、9、12关键点)，以及头颈方向数据、肩宽数据、上半身高数据、肩肘手之间的位置关系数据等。

进一步，利用骨骼检测模型进行骨骼关键点检测，在人体骨骼关键点中选取1人头、2脖子、3右肩、4右肘、5右手、6左肩、7左肘、8左手、9右腰、12左腰关键点数据进行采集；并把采集到的关键点数据进一步加工处理得到骨骼特征数据信息：人体运动方向数据、人体目标位置数据、人体尺寸数据、人体姿态数据。

同时还采集人脸特征数据：同样考虑代码执行效率问题，人脸特征采集时间只选择在跟踪目标过程中目标人体正面面对镜头的时刻，人脸检测区域只检测人体肩颈上方区域，利用人脸检测模型进行人脸检测，并利用人脸特征提取模型提取人脸特征数据；由骨骼特征数据中的位置数据和姿态数据确定人脸检测区域，然后进行人脸检测，最后利用人脸特征提取模型进行人脸特征提取，或者人脸特征数据。

同时还采集颜色特征数据：考虑到代码执行效率和颜色区域的可靠性，目标颜色范围在人体目标上半身中间区域随机采集若干点的颜色数据。由骨骼特征数据中的位置数据和骨骼数据确定颜色采集区域：即人体上半身的核心区域，然后在确定区域内进行随机采集若干个点的灰度值。

在采集到各项数据后，对人体进行追踪，具体可以包括如下：

首先判断是否手动启动跟踪目标，如果设置为手动启动跟踪目标，就要根据手动圈定的区域选择离该区域最近的人体最为跟踪目标，否则，开启自动选择目标启动方式，同时对检测到的每个人的手势进行检测，如果检测到约定的启动目标手势即重新启动跟踪目标，在跟踪过程中时刻检测人体手势，识别到约定的手势，随时可以切换跟踪目标。

在目标跟踪模式的选择中，跟踪目标的选择可以分为三种方式：自动选择方式、手动选择方式和半自动选择方式。具体包括：

自动选择方式：该方式为默认目标启动方式，如果镜头里只有一个人，就启动其为跟踪目标，如果有多个人物，则选择如果离镜头比较近的、人体正面面对镜头的目标作为默认跟踪目标。

手动选择方式：该方式需要通过人工手动圈定目标区域的方式手动选择跟踪目标。

半自动选择方式：该方式通过对镜头里人体进行手势识别选择跟踪目标。

在目标跟踪方式的选择中，根据检测到人体骨骼数量确定算法下一步进入到哪种跟踪模块，根据目标跟踪范围内的人体目标数量分为单人体目标跟踪模块、双人体目标跟踪模块和多人体目标跟踪模块。具体包括：

单人体目标跟踪方式：在目标跟踪过程中，如果在跟踪范围内只有一个人体骨骼数据，此时跟踪会根据人体目标的跟踪状态信息分为两种情况：人体目标是否在交叠过程中，并添加跟踪状态信息，然后分情况创建具体跟踪模型。

双人体目标跟踪方式：在目标跟踪过程中如果在目标监测范围内出现两个人体骨骼数据，此时跟踪会根据两个人体骨骼信息之间的距离关系分为人体目标添加跟踪状态信息，并创建具体跟踪模型。

多人体目标跟踪方式：在跟踪过程中如果在目标检测范围内出现多个人体骨骼数据(检测范围内一般最多出现三个人体目标)，此时跟踪会根据目标与多个人体目标之间的距离关系添加跟踪状态信息，并创建具体的跟踪模型。

创建人体跟踪模型：在不同的跟踪模块里，根据跟踪目标人体状态信息及相关人体目标的状态信息确定具体的跟踪模型，跟踪模型结合跟踪目标和人体目标的跟踪状态信息，融合其人脸特征数据、骨骼特征数据、运动特征数据、颜色特征数据等多维信息选择下一帧的跟踪目标从而实现跟踪功能。

在不同的跟踪模块里，具体的跟踪模型融合跟踪目标人体与视频图像中人体目标的人脸特征信息、骨骼特征信息、运动特征信息、颜色特征信息等多维信息进行简单建模，依据每个跟踪模型特点对视频图像进行大体分类，然后分别人工手动采集不同模型的样本数据，对每个跟踪模型对应的视频样本数据采用基于向量机的方法进行训练，得出各个跟踪模型参数，并进行大量实地测试，优化各个模型参数。

创建目标行为识别模型：收集数据采集模块采集到的骨骼数据：包括肩、颈、肘、手、腰关键节点及相关关键部位的长度、角度等样本数据，然后对书写板书、讲解PPT行为进行简单建模，然后人工手动精确区分采集两种行为的正负样本，对这两种行为数据的正负样本相关数据采用基于向量机的方法进行训练，得出两种行为检测的模型参数，并继续采集更多样本进行测试优化模型参数，完成行为识别模型。

目标行为识别步骤：根据目标人体骨骼数据(主要用到头、肩、颈、肘、手、腰关键点数据)进行人体行为识别，主要分为书写板书和讲解PPT两种行为。

图3示出了根据本申请实施例提供的人体跟踪方法实施例详细流程图，包括：

建立处理流程并初始化骨骼检测器、人脸检测器、人脸特征提取模型和跟踪目标的启动模式等；利用人体骨骼检测算法检测视频图像中的人体骨骼信息，如果没有人体骨骼数据就取下一帧图像，如果有，则根据目标启动模式确定跟踪目标，继续后续步骤；

对检测到的人体骨骼数据进行分析：提取算法需要的骨骼关键点信息进行高级数据提取，得到18个骨骼关键点位置信息。并且，根据各个骨骼数据分析人体的手势信息，在关键点中选择手势点345678，如果检测到在举手，就切换跟踪目标。举手模型用于检测举手信息，以决定是否需要重新切换跟踪目标。

基于骨骼特征信息，当人体正面、正脸面对镜头时在头肩区域进行人脸检测，再利用人脸特征提取模型进行人脸特征提取，获取人脸特征信息。

根据人体骨骼数据分析人体的姿态信息，并输入行为识别模型，得到目标行为信息。

根据人体骨骼数据分析人体的位置信息和尺寸信息决定颜色信息采集范围，即在人体上半身的核心部位关键点3、6、9、12区域内进行随机采集若干点(例如1000个)及对应的灰度值等数据，作为人体的颜色特征数据。

根据各个人体的骨骼位置信息和姿态信息，获取人体的运动方向和运动速度等运动信息，例如向左或者向右，运动的步长。

根据提取到骨骼数量及其与跟踪目标的距离关系确定跟踪方式：单人体跟踪方式、双人体跟踪方式和多人体跟踪方式。

进一步，根据不同的跟踪方式，选择事先训练好的人体跟踪模型，融合上述获取的信息，例如人体颜色信息、运动信息、行为信息和人脸信息等多维信息，将多维信息输入相应的跟踪模型，输出跟踪目标的位置信息和行为信息。

通过本申请实施例提供的人体跟踪方法是基于骨骼、颜色、运动、人脸等多维信息融合的跟踪算法，使得目标跟踪精度和鲁棒性都得到了很大的提高，通过人体行为的识别丰富了后期给图策略，改变了之前借助辅助摄像头进行分析定位的方法，节省了资源，使得环境的搭建和设置大大简单化，可以为新型的智慧教育录播技术提供了强有力的跟踪技术支持。

综上所述，本申请实施例提供了一种人体跟踪方法，通过获取视频帧图像；利用人体骨骼检测算法检测视频帧图像中是否有可识别的人体骨骼数据；若有，基于视频帧图像选择目标跟踪模式预设的目标启动模式，以确定跟踪人体目标；基于人体骨骼数据进行骨骼关键点检测，得到骨骼特征信息；并基于骨骼特征信息检测到人脸面对镜头时，进行人脸特征提取，得到人脸特征信息；并利用目标行为识别模型进行人体姿态信息分析，得到目标行为信息；并利用人体颜色特征模型进行人体上半身区域随机点以及灰度值采样，得到人体颜色特征信息；并根据骨骼特征信息中的骨骼位置信息和姿态信息进行运动信息检测，得到目标运动信息；并根据可识别的人体骨骼数据和距离进行跟踪人数模式选择，得到目标跟踪方式；将目标跟踪模式、骨骼特征信息、人脸特征信息、目标行为信息、人体颜色特征信息、目标运动信息和目标跟踪方式输入人体跟踪模型，输出跟踪目标人体的位置信息和行为信息。基于人体骨骼、人脸特征、人体行为和颜色特征信息等不同维度信息进行跟踪，高效辅助跟踪拍摄。

基于相同的技术构思，本申请实施例还提供了一种人体跟踪系统，如图4所示，所述系统包括：

视频图像获取模块401，用于获取视频帧图像；

骨骼检测模块402，用于利用人体骨骼检测算法检测视频帧图像中是否有可识别的人体骨骼数据；

跟踪目标确定模块403，用于基于视频帧图像选择目标跟踪模式，以根据预设目标启动模式确定跟踪人体目标；

模型调用模块404，用于基于人体骨骼数据进行骨骼关键点检测，得到骨骼特征信息；并基于骨骼特征信息检测到人脸面对镜头时，进行人脸检测及人脸特征提取，得到人脸特征信息；并利用目标行为识别模型进行人体姿态信息分析，得到目标行为信息；并利用人体颜色特征模型进行人体上半身区域随机点以及灰度值采样，得到人体颜色特征信息；并根据骨骼特征信息中的骨骼位置信息和姿态信息进行运动信息检测，得到目标运动信息；并根据可识别的人体骨骼数据及其与跟踪目标的距离关系进行跟踪人数模式选择，得到目标跟踪方式；

跟踪目标信息获取模块405，用于将目标跟踪模式、骨骼特征信息、人脸特征信息、目标行为信息、人体颜色特征信息、目标运动信息和目标跟踪方式输入人体跟踪模型，输出跟踪目标人体的位置信息和行为信息。

本申请实施方式还提供一种与前述实施方式所提供的方法对应的电子设备。请参考图5，其示出了本申请的一些实施方式所提供的一种电子设备的示意图。所述电子设备20可以包括：处理器200，存储器201，总线202和通信接口203，所述处理器200、通信接口203和存储器201通过总线202连接；所述存储器201中存储有可在所述处理器200上运行的计算机程序，所述处理器200运行所述计算机程序时执行本申请前述任一实施方式所提供的方法。

其中，存储器201可能包含高速随机存取存储器(RAM：Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个物理端口203(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网、广域网、本地网、城域网等。

总线202可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。其中，存储器201用于存储程序，所述处理器200在接收到执行指令后，执行所述程序，前述本申请实施例任一实施方式揭示的所述方法可以应用于处理器200中，或者由处理器200实现。

处理器200可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器200中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器200可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器201，处理器200读取存储器201中的信息，结合其硬件完成上述方法的步骤。

本申请实施例提供的电子设备与本申请实施例提供的方法出于相同的发明构思，具有与其采用、运行或实现的方法相同的有益效果。

本申请实施方式还提供一种与前述实施方式所提供的方法对应的计算机可读存储介质，请参考图6，其示出的计算机可读存储介质为光盘30，其上存储有计算机程序(即程序产品)，所述计算机程序在被处理器运行时，会执行前述任意实施方式所提供的方法。

需要说明的是，所述计算机可读存储介质的例子还可以包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。

本申请的上述实施例提供的计算机可读存储介质与本申请实施例提供的方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。

需要说明的是：

在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备有固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本申请也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本申请的内容，并且上面对特定语言所做的描述是为了披露本申请的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本申请并帮助理解各个发明方面中的一个或多个，在上面对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本申请的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本申请实施例的虚拟机的创建装置中的一些或者全部部件的一些或者全部功能。本申请还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本申请的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本申请进行说明而不是对本申请进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种人体跟踪方法，其特征在于，所述方法包括：

获取视频帧图像；

利用人体骨骼检测算法检测视频帧图像中是否有可识别的人体骨骼数据；

若有，基于视频帧图像选择目标跟踪模式，以根据预设目标启动模式确定跟踪人体目标；

基于人体骨骼数据进行骨骼关键点检测，得到骨骼特征信息；并基于骨骼特征信息检测到人脸面对镜头时，进行人脸检测及人脸特征提取，得到人脸特征信息；并利用目标行为识别模型进行人体姿态信息分析，得到目标行为信息；并利用人体颜色特征模型进行人体上半身区域随机点以及灰度值采样，得到人体颜色特征信息；并根据骨骼特征信息中的骨骼位置信息和姿态信息进行运动信息检测，得到目标运动信息；并根据可识别的人体骨骼数据及其与跟踪目标的距离关系进行跟踪人数模式选择，得到目标跟踪方式；

将目标跟踪模式、骨骼特征信息、人脸特征信息、目标行为信息、人体颜色特征信息、目标运动信息和目标跟踪方式输入人体跟踪模型，输出跟踪目标人体的位置信息和行为信息。

2.如权利要求1所述的方法，其特征在于，所述基于人体骨骼数据进行骨骼关键点检测，得到骨骼特征信息，包括：

基于人体骨骼数据中的头、颈、肩、臂、腰部位的骨骼数据以及头颈方向数据、肩宽数据、上半身高数据、头肩肘手之间的位置关系数据，在人体骨骼选取设定关键点区域的数据进行采集；

基于采集到的人体骨骼关键点数据进行骨骼特征处理，得到骨骼特征信息；所述骨骼特征信息包括人体运动方向信息、人体位置信息、人体尺寸信息和人体姿态信息。

3.如权利要求2所述的方法，其特征在于，所述方法还包括：

若检测到人体姿态信息为举手，则添加或者切换跟踪人体目标。

4.如权利要求1所述的方法，其特征在于，基于骨骼特征信息检测到人脸面对镜头时，进行人脸检测及人脸特征提取，得到人脸特征信息，包括：

根据骨骼特征信息确定人脸检测区域，利用人脸检测模型进行人脸检测，检测人脸正面对着镜头时，利用人脸特征提取模型进行人脸特征提取，得到人脸特征信息。

5.如权利要求1所述的方法，其特征在于，利用目标行为识别模型进行人体姿态信息分析，得到目标行为信息，包括：

获取人体骨骼数据中的头、肩、颈、肘、手、腰关键节点及长度、角度的样本数据；

利用目标行为识别模型检测目标行为，得到目标行为信息；所述目标行为信息包括写板书和讲解PPT；其中，所述目标行为识别模型是通过对写板书、讲解PPT两种目标行为进行建模，区分两种目标行为的正负样本，对正负样本基于向量机方法进行训练，得到目标行为识别模型参数，以构建目标行为识别模型。

6.如权利要求1所述的方法，其特征在于，根据可识别的人体骨骼数据及其与跟踪目标的距离关系进行跟踪人数模式选择，得到目标跟踪方式，包括：

获取跟踪人体目标周围设定的跟踪范围内可识别的人体骨骼数据的数量及其与跟踪人体目标的距离；

根据可识别的人体骨骼数据的数量及其与跟踪人体目标的距离关系，添加跟踪状态信息，确定目标跟踪方式；所述目标跟踪方式包括单人体目标跟踪方式、双人体目标跟踪方式和多人体目标跟踪方式。

7.如权利要求1所述的方法，其特征在于，人体跟踪模型的训练过程包括：

针对视频帧图像中获取到的目标跟踪模式、骨骼特征信息、人脸特征信息、目标行为信息、人体颜色特征信息、目标运动信息和目标跟踪方式进行建模，依据每个信息对应的模型对视频帧图像进行分类，分别采集不同模型的样本数据，对每个模型对应的视频样本数据采用向量机方法进行训练，得到人体跟踪模型参数，以构建人体跟踪模型。

8.一种人体跟踪系统，其特征在于，所述系统包括：

视频图像获取模块，用于获取视频帧图像；

骨骼检测模块，用于利用人体骨骼检测算法检测视频帧图像中是否有可识别的人体骨骼数据；

跟踪目标确定模块，用于基于视频帧图像选择目标跟踪模式，以根据预设目标启动模式确定跟踪人体目标；

模型调用模块，用于基于人体骨骼数据进行骨骼关键点检测，得到骨骼特征信息；并基于骨骼特征信息检测到人脸面对镜头时，进行人脸检测及人脸特征提取，得到人脸特征信息；并利用目标行为识别模型进行人体姿态信息分析，得到目标行为信息；并利用人体颜色特征模型进行人体上半身区域随机点以及灰度值采样，得到人体颜色特征信息；并根据骨骼特征信息中的骨骼位置信息和姿态信息进行运动信息检测，得到目标运动信息；并根据可识别的人体骨骼数据及其与跟踪目标的距离关系进行跟踪人数模式选择，得到目标跟踪方式；

跟踪目标信息获取模块，用于将目标跟踪模式、骨骼特征信息、人脸特征信息、目标行为信息、人体颜色特征信息、目标运动信息和目标跟踪方式输入人体跟踪模型，输出跟踪目标人体的位置信息和行为信息。

9.一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序时执行以实现如权利要求1-7任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现如权利要求1-7任一项所述的方法。

Images