CN102222342A - 人体运动跟踪及其识别方法 - Google Patents

Abstract

人体运动跟踪及其识别方法，其中跟踪方法为提供连续多帧的动态影像并据此建立背景；同时对影像的每一帧进行预处理和人体位置处理，以得到并输出该帧的人体位置信息。另外还包括识别方法，设置如鼠标映射模式、状态模式、运动模式等的人体识别模式；并据此对每一帧所述人体位置信息进行识别并输出识别信息。本发明可以对摄像头和录像进行逐一帧次的连续、高精度、实时的跟踪并输出人体位置信息，尤其是对具有较小的脸部运动器官和较大运动幅度、较高频率和复杂的运动特性的上肢部分的运动跟踪。同时识别并输出姿态信息，如鼠标位置、处于移动、单击、双击等、双手的位置，以及左手从左向右运动等。

Description

人体运动跟踪及其识别方法

技术领域

本发明属于人体运动跟踪和识别领域，特别是对影像中动态的人脸、上半身主要运动关节进行跟踪并识别方法。

背景技术

人体运动跟踪及识别理论是目前比较前沿的理论设想，它涉及到计算机软硬件系统、自动化和人体科学理论。该系统的目的是通过跟踪和分析人体的运动参数，获取人体的运动信息，并对它们进行分析、识别等工作。这一课题在虚拟现实(Virtual Reality)、智能监视系统(Smart Surveillance Systems)、高级用户界面(Advanced User Interface)、运动分析(Motion Analysis)、姿态识别(Recognition of Gesture)、基于内容的视频分类(Content-based Classification)、视频序列压缩(Video Sequence Compression)和计算机动画(Computer Animation)等方面都具有广阔的应用前景。在人体步行运动，人脸检测与跟踪，全身自由运动及腿部运动的跟踪也具有良好的前景。但目前，该领域还没有一个具有可以实际工业应用的完整的系统和方法。

如何获得具有实际工业应用意义的设备简单、操作方便、成本低，同时具有高分辨、高精度、高准确度和快速响应的人体运动跟踪及识别系统是目前需要突破的技术问题。特别是在人体的上半身运动跟踪领域，由于具有较小的脸部运动器官，如眼睛、嘴巴、面部肌肉，具有较小的脸部运动器官，如眼睛、嘴巴、面部肌肉，和较大运动幅度、较高频率和复杂的运动特性的上肢部分。同时对跟踪的位置信息进行识别、作出准确的分析和判断，并能够配合包括第三方软件和电脑处理系统的识别方法也是目前需要突破的技术问题。这种人体运动跟踪及其识别将会为多个新型领域提供极大的支持，并引发计算机软硬件领域、自动化领域和人体科学理论的创新。

发明内容

为解决上述技术问题，本发明首先提供一种完整的人体运动跟踪方法。

该方法包括步骤为：步骤一：提供连续多帧的动态影像，所述动态影像包括背景影像段，以及具有作为前景的动态的人和所述背景的工作影像段；步骤二：输入所述背景影像段中的每一帧进行背景建模处理，以建立背景模型；步骤三：对所述工作影像段的每一帧进行图象预处理；步骤四：对所述工作影像段的每一帧进行人体位置处理，以得到并输出该帧的人体位置信息。

同时本发明也提供一种人体运动识别方法，其包括步骤为：提供同上述方法获得的人体位置信息；设置对所述人体位置信息的识别模式；根据所述识别模式对每一帧所述人体位置信息进行识别并输出识别信息。

当处于自然状态时，输出自然状态；当非自然状态时，根据识别模式输出人体运动的识别信息。

该方法及其系统，通过对影像的每一帧进行分析处理，检测并跟踪其中的人体运动信息，最终输出人体各部分的位置信息，包括人体躯干、头、肩、肘、手，等等。具有结构简单、操作简单，对每一帧进行处理，准确度高的特点。同时对每一帧的位置信息进行识别并输出，以达到既能识别固定静止的姿态、姿势，也能够识别出人体的运动轨迹和趋势，比如手的上下运动、左右运动等等信息。详细内容在后续的实施例中得以解释和体现。

附图说明

图1：为本创作跟踪方法的流程图。

图2：为本创作跟踪方法的具体实施例流程图。

图3：为本创作跟踪系统的外部结构示意图。

图4：为本创作所跟踪的人体位置示意图。

图5：为本创作跟踪系统的内部结构示意图。

图6：为本创作识别方法的流程图。

图7：为本创作识别方法的具体实施例流程图。

具体实施方式

图1为本创作方法的流程图，该人体运动跟踪方法，包括步骤：步骤I：提供连续多帧的动态影像，所述动态影像包括背景影像段，以及具有作为前景的动态的人和所述背景的工作影像段；优选的背景影像段为只具有独立稳定背景的影像段，此种影像段便于准确和快速的建立背景，当然也可以采用包含部分运动前景的影像段作为背景影像段；步骤II：输入所述背景影像段中的每一帧进行背景建模处理，以建立背景模型；步骤III：对所述工作影像段的每一帧进行图象预处理；步骤IV：对所述工作影像段的每一帧进行人体位置处理，以得到并输出该帧的人体位置信息。

在本发明中通过对动态的影像作为人体运动的跟踪的对象。所述动态影像可以为摄像设备拍摄的实时视频数据影像，如图3中的摄像头103所提供，或者为存储设备上的录像数据影像，如图3中的存储盘104所提供，当然存储盘104即可以是外设而存在，也可以是已经存储了动态影像的计算机的内部存储设备。

对于动态影像，其包括背景影像段和工作影像段。优选的以摄像头提供动态影像为例，首先优选的摄像时动态的人不进入到摄像的区域，摄像头103对独立的稳定的背景进行摄像，并对此部分不含有人的影像段作为背景影像段。当然也可以采用包含部分运动前景的影像段作为背景影像段。当根据本发明进行背景建模处理以建立背景模型后，作为前景的动态人，即所跟踪的工作对象，进入摄像范围。摄像头对包含了前期所建立的背景和作为前景的动态人的影像段作为工作影像段，并进行后续的运动跟踪工作。

为了便于系统运行方便和通用性，优选的上述动态形象，包括摄像头103或存储设备104所提供的，被进行一系列的参数设置，包括图像格式、分辨率、颜色空间的设置。所提供的动态影像为分辨率320×240或以上，具有RGB或YUV颜色信息的24位或32位图像格式的影像，或者可以转换为上述格式的影像。优选的可以采用：具有RGB颜色信息的800×600分辨率的24位图像。

而在建立背景的过程中，由于本发明采用逐一帧的背景处理，因此，达到正确的建立背景的步骤需要一定量的帧数的背景影像段。优选的在所述步骤II中，所述建立背景需要30至50帧的背景影像。

在步骤III中，工作影像段开始逐一帧次的进行所述图象预处理，即在完成背景建立后，具有人和背景的影像段开始逐一帧次预处理。该预处理包括根据所述建立背景从工作影像段中获得前景图像、差分图像、运动能量图像、计算积分图像；。

本发明所得到的人体位置信息，优选的如图4所示，包括：人脸位置信息201，包括人脸、眼睛、眉毛、鼻子、嘴巴的位置和大小；躯干位置信息202，包括躯干的位置和大小；以及关节位置信息，包括肩203、肘204、手205的位置和大小。如果人体的下半身也在所述的工作影像段中时，根据需要采用此种方法还可以继续对人体的下半身的主要关节进行识别，例如髋关节、膝盖、脚部等。即包括人体全身的主要运动关节。

因此所跟踪的人200的主要运动部位均可以提供。特别是在人体的上半身运动跟踪领域，由于具有较小的脸部运动器官，如眼睛、嘴巴、面部肌肉，和较大运动幅度、较高频率和复杂的运动特性的上肢部分。

上述人体信息可以根据需要进行多种方式的输出，例如可以直接将上述人体位置信息，即上述人脸位置信息201、躯干位置信息202、肩203、肘204、手205的信息通过与主机相连的显示器输出。在优选的实施例中，显示器的全屏幕或局部屏幕中显示着包括动态人200的工作影像，例如通过摄像头所实时拍摄的，同时上述位置信息又通过光标点的形式标记在动态人200之上。如图4所示，此时被拍摄的人可以通过屏幕看到自己和本发明所跟踪到的人体运动部位信息。被拍摄人可以据此进行适当的修正自己的动作以及其他的相应的反应行为。这种可视化输出在人体运动游戏中将更加直观，帮助玩家完成好游戏。当然人体信息也可以在主机内部输出到适当的硬件、第三方软件等，以作进一步的应用和处理。

图2为本创作方法的具体实施例流程图，其较为具体的显示了本发明的操作过程。

流程图说明：

1.初始化

初始化引擎，即对动态影像进行一系列参数设置，包括图像格式、分辨率、颜色空间等等。此部分能够将多种格式和种类的影像进行统一的、有限的设置，提高了操作的和系统的适应性，同时也便于后面步骤的进行。

2.输入一帧图像

根据设置好的格式输入一帧图像数据。

3.已建立背景模型？

判断背景模型是否已建立。

4.训练背景模型

根据输入的图像作为背景图像训练背景模型。

5.图像预处理，获得前景图像、积分图像等

对输入的图像进行预处理，包括：1)根据背景模型获得前景图像；2)获得差分图像；3)获得运动能量图像；4)计算积分图像；等等。

6.人体已初始化？

判断是否已检测到人体并已初始化成功。

7.人脸初步检测

根据前景图像估计人脸所在的大概区域，再根据通用肤色模型获得肤色所在区域，从而获得人脸的初步位置。

8.找到人脸？

判断人脸初步检测是否成功。

9.检测人体躯干

根据初步检测的人脸估计出人体躯干的初步位置，再基于粒子滤波检测人体躯干的准确位置。

10.找到躯干？

判断人体躯干检测是否成功。

11.更新人脸位置及肤色模型

根据检测到的人体躯干的准确位置进一步得到人脸的准确位置。再根据检测到的人脸信息建立此人的肤色模型。肤色模型包括RGB颜色信息以及YUV颜色信息。

12.检测手、肘、肩膀

基于检测到的躯干、前景图像和肤色检测到人手、肘和肩膀等的准确位置。

13.人体初始化成功？

判断人体各部分是否已初始化成功。

14.设置人体初始化标志为True

15.基于粒子滤波跟踪人体躯干

基于粒子滤波和图像预处理得到的前景图像跟踪人体躯干。

16.成功？

判断人体躯干跟踪是否成功。

17.设置人体初始化标志为False

18.基于肤色模型获得肤色图像

根据此人的肤色模型检测到前景中的肤色部分。

19.基于肤色图像跟踪人脸

基于肤色图像，采用粒子滤波跟踪人脸位置

20.基于预处理结果获得手，肘，肩膀等的候选位置

基于预处理得到的前景图像、差分图像、运动能量图像等得到手、肘、肩等的候选位置。

21.基于置信度进化方法获得手、肘、肩等的最佳位置。

22.后处理优化人体各关节位置

通过后处理，对得到的手、肘、肩等的位置进行优化。

23.输出人体位置信息

输出人体位置及大小等信息，包括头(脸)、肩、肘、手、躯干等的位置。

24.是否输入下一帧？

是否继续处理下一帧图像。

25.结束

根据图2，本跟踪方法是采用一帧为工作单位，从背景建立、工作影像检测到跟踪连续进行。

而所述步骤IV包括：判断人体初始化是否成功步骤6。当没有成功时，对所输入的工作影像帧进行人体初始化检测步骤，以输出初始化时的人体位置信息，如图2中的步骤7至12和步骤23；并设置人体初始化为成功，如图2中的步骤13和步骤14。当已经成功时，即当输入工作影像段的某一帧时，其前面的工作影像帧已经完成了初时化时的人体位置信息跟踪，对于目前的该帧所需要的是对上一帧的跟踪，即对所输入的工作影像帧进行人体位置跟踪步骤，以获得跟踪时的人体位置信息。

由于本发明是对工作影像段逐一帧次的获取人体位置信息，因此在初始化成功后后续帧次的影像都是对其前一帧影像的跟踪。因此本发明实现了以帧为单位的连续、精确的获取人体位置信息。

图2中所示的人体初始化检测步骤，步骤7至12，包括：人脸处理步骤，步骤7、8和11，包括：检测人脸，以获得初始化时的所述人脸位置信息；关节处理步骤，步骤9至12，包括：根据检测到的人脸位置信息建立肤色模型，包括RGB颜色信息和YUV颜色信息；根据所述肤色模型检测出整幅输入图像的肤色信息，以得到肤色图像。根据检测到的人脸位置，采用粒子滤波以获得所述躯干位置信息；根据肤色图像和所述图像预处理，以获得初始化时的所述关节位置信息。

图2中所示的人体位置跟踪步骤，步骤15至22，包括：步骤15和16，根据粒子滤波和所述图像预处理跟踪人体躯干，以获得所述躯干位置信息；步骤18，根据所述肤色模型以获得肤色图像；步骤19，根据肤色图像和粒子滤波跟踪人脸，以获得跟踪时所述人脸位置信息；步骤20至22，根据所述图像预处理，以获得跟踪时所述关节位置信息，即步骤20，根据所述图像预处理的结果获得所述关节位置信息的候选跟踪位置；步骤21，根据置信度进化方法获得所述关节位置信息的最佳位置；步骤22，通过后处理，对得到的所述关节位置信息进行优化。

图2中的步骤23为输出步骤，其可以输出初始化时的位置信息，同时也可以输出跟踪时的位置信息。并且输出的位置信息均为该帧时的人体位置信息，并且保持着连续。

图3和图5为揭示的一种人体运动跟踪系统100，该系统同上述方法相对应完成对人体运动的跟踪。其包括：具有数据通信和处理能力的计算处理器105的主机101，在所述主机101内具有：提供连续多帧的动态影像(为示出)的影像提供模块a，所述动态影像包括背景影像段和具有作为前景的动态人和所述背景的工作影像段；所述背景影像段的每一帧依次通过在所述主机101内的背景建立模块b以进行背景建模处理建立背景模型；在完成所述建立背景后，所述工作影像段的每一帧依次通过在所述主机101内的以下模块：图象预处理模块c；人体位置模块d以得到并输出人体位置信息。

该系统还可以包括提供动态影像的摄像头103和存储设备104，还具有将人体位置信息进行动态实时显示的显示器。

上述跟踪方法和其系统可以获得具有实际工业应用意义的设备简单、操作方便、成本低，同时具有高分辨、高精度、高准确度和快速响应的人体运动跟踪位置信息，解决了目前需要突破的技术问题。特别是在人体的上半身运动跟踪领域，能够实现获得对具有较小的脸部运动器官，如眼睛、嘴巴、面部肌肉，和较大运动幅度、较高频率和复杂的运动特性的上肢部分的运动跟踪。

再讨论有关人体运动识别方法，这里所述的运动识别，既包括人体相对静止时对人体相对固定的姿态的识别，同时也包括人体主要关节运动时对其运动的方向、趋势的识别。例如人手的上下左右运动等。同样的人体运动位置跟踪也还是包括相对静止和运动的人体位置的信息。

如图6所示，一种人体运动识别方法，其包括步骤为：提供同上述方法获得的人体位置信息30；设置对所述人体位置信息的识别模式31；根据所述识别模式31对每一帧所述人体位置信息进行识别并输出识别信息32。

该识别方法对上述跟踪方法获得的信息进行识别，同时对每一帧进行识别，保证了所获信息的准确和精确。同时对人体位置先进行识别模式的设置，然后根据模式对每一帧进行识别，这样获得的识别信息可以多种形式和要求输出，并能区分静止状态的人的姿态，和运动状态时人体运动方向和趋势。所提供识别信息可根据不同需要和组合提供给第三方软件或其他硬件设备。

图7是本识别方法的一个具体实施例的流程图，其各部分的内容说明如下。

301.初始化

初始化一系列参数。

302.设置识别模式

设置识别模式，以适应不同的程序应用或硬件的使用，例如优选的采用包括：鼠标映射模式、状态模式、运动模式。

303.输入一帧人体位置信息

输入由本发明所揭示的人体运动跟踪方法所获得的人体位置信息，其技术特征如上文所述。

304.是否为自然状态

判断人体是否处于自然状态，即双手自然下垂的状态被认为是自然状态。

305.输出自然状态

输出信息：人体处于自然状态。

306.检查识别模式

检测处于哪种识别模式。

307.鼠标映射模式

根据鼠标映射模式对人体姿态进行识别，识别结果映射为鼠标的位置和鼠标移动所需信息。

308.状态模式

根据状态模式对人体姿态进行识别，识别结果为双手及人体相对位置的组合，输出相应信息。

309.运动模式

根据运动模式对人体姿态进行识别，识别结果为双手运动的方向和速度等信息，输出相应信息。

310.有效映射？

根据鼠标映射条件判断双手的位置是否处于有效的区域，即相对上述的自然状态则至少一只手举起，以进行鼠标映射。

311.计算鼠标映射信息

根据双手位置以及运动速度分析、计算出鼠标的位置及移动等信息，以及鼠标的点击、双击、左键按下等事件。

312.输出鼠标映射信息

输出映射的鼠标位置，以及鼠标处于移动、单击、双击、或者左键按下等状态。

313.判别双手位置信息

分析、计算双手以及躯干的相对位置信息，其位置以人体躯干为中心划分为9个区域。

314.映射为姿态信息

根据状态映射法则获得姿态信息。

315.输出姿态信息

316.判别双手运动信息

分析、计算双手的运动方向、速度、趋势等一系列信息。

317.映射为姿态信息

根据运动映射法则获得姿态信息，如左手从左向右运动，右手从右向左运动等。

318.输出姿态信息

319.是否输入下一帧？

是否继续处理下一帧。

320.结束

结束调用。

本发明中所要实现的人体识别信息包括：人体的姿态，运动方向、速度、轨迹或趋势。例如双手的位置、手的移动，如左手从左向右运动，右手从右向左运动等。

根据图7所示，优选的实施例还包括：首先对输入的所述人体位置信息判断是否为自然状态，当人体位置处于自然状态时，输出自然姿态，否则再根据所述识别模式对每一帧所述人体位置信息进行识别并输出识别信息。所述的自然姿态是指双手自然下垂的状态，对此种姿态本发明方法通过识别后认为是自然姿态，也给予输出。此种姿态也是人体在整个运动过程中的主要的基本姿态。通常该种姿态不会引起后续程序的变化或对后续程序产生指令。

优选的所述识别模式包括：鼠标映射识别模式、状态识别模式、运动识别模式。优选的所述鼠标映射识别模式的步骤为：根据鼠标映射条件判断双手的位置是否处于有效的区域，以进行鼠标映射；根据双手位置以及运动速度分析、计算出计算鼠标映射信息；输出鼠标映射信息。而所述鼠标映射信息包括鼠标的位置及移动信息，以及鼠标的点击、双击、左键按下等事件。优选的所述状态识别模式的步骤为：分析、计算双手以及躯干的相对位置信息，其位置以人体躯干为中心划分为9个区域，当然也可以划分更多的区域以获得特定的区域信息，以及更加精确的信息；根据状态映射法则获得姿态信息；输出姿态信息。优选的所述运动识别模式的步骤为：分析、计算双手的运动方向、速度、趋势信息；映射为姿态信息；根据运动映射法则获得姿态信息，如所述姿态信息包括左手从左向右运动，左手向上/向下运动，右手从右向左运动，右手向上/向下运动，双手靠近/分开，等等，这种运动姿态的定义可以根据需要进行扩展；输出姿态信息。

本发明所揭示的识别方法，可以针对每一帧进行识别，同时对每一帧的识别信息进行多种方式的输出。不仅能够对应鼠标事件，同时也可以对手的位置和运动趋势进行识别。并通过上述识别实现对后续硬件设备和软件的控制，即实现了通过动态影像进行控制。

以上所述者，仅为本创作之一较佳实施范例，当不能以之作为限定本创作实施之范围，凡依本创作申请专利范围所作之均等变化或修饰，仍应属本创作专利涵盖之范围内。

Claims (13)

1.一种人体运动跟踪方法，其特征在于，包括步骤：

步骤一：提供连续多帧的动态影像，所述动态影像包括背景影像段，以及具有作为前景的动态的人和所述背景的工作影像段；

步骤二：输入所述背景影像段中的每一帧进行背景建模处理，以建立背景模型；

步骤三：对所述工作影像段的每一帧进行图象预处理；

步骤四：对所述工作影像段的每一帧进行人体位置处理，以得到并输出该帧的人体位置信息。

2.一种人体运动识别方法，其特征在于，包括：

输入如权利要求1所述的人体位置信息；

设置对所述人体位置信息的识别模式；

根据所述识别模式对每一帧所述人体位置信息进行识别并输出识别信息。

3.如权利要求2所述的人体运动识别方法，其特征在于，所述人体识别信息包括：人体的姿态，运动方向、速度、轨迹或趋势。

4.如权利要求2所述的人体运动识别方法，其特征在于，还包括：首先对输入的所述人体位置信息判断是否为自然状态，当人体位置处于自然状态时，输出自然姿态，否则再根据所述识别模式对每一帧所述人体位置信息进行识别并输出识别信息。

5.如权利要求2所述的人体运动识别方法，其特征在于，所述识别模式包括：鼠标映射识别模式、状态识别模式、运动识别模式。

6.如权利要求5所述的人体运动识别方法，其特征在于，所述鼠标映射识别模式的步骤为：

根据鼠标映射条件判断双手的位置是否处于有效的区域，以进行鼠标映射；

根据双手位置以及运动速度分析、计算出鼠标映射信息；

输出鼠标映射信息。

7.如权利要求6所述的人体运动识别方法，其特征在于，所述鼠标映射信息包括鼠标的位置及移动信息，以及鼠标的点击、双击、左键按下等事件。

8.如权利要求5所述的人体运动识别方法，其特征在于，所述状态识别模式的步骤为：

分析、计算双手以及躯干的相对位置信息；

根据状态映射法则获得姿态信息；

输出姿态信息。

9.如权利要求8所述的人体运动识别方法，其特征在于，所述相对位置以人体躯干为中心划分为9个区域或以上。。

10.如权利要求5所述的人体运动识别方法，其特征在于，所述运动识别模式的步骤为：

分析、计算双手的运动方向、速度、趋势信息；

根据运动映射法则获得姿态信息；

输出姿态信息。

11.如权利要求10所述的人体运动识别方法，其特征在于，所述姿态信息包括左手从左向右运动，左手向上/向下运动，右手从右向左运动，右手向上/向下运动，双手靠近/分开，等等。

12.一种人体运动跟踪及识别方法，其特征在于：

步骤一：提供连续多帧的动态影像，所述动态影像包括背景影像段，以及具有

作为前景的动态的人和所述背景的工作影像段；

步骤二：输入所述背景影像段中的每一帧进行背景处理，以建立背景；

步骤三：对所述工作影像段的每一帧进行图象预处理；

步骤四：对所述工作影像段的每一帧进行人体位置处理，以得到并输出该帧的人体位置信息；

步骤五：设置对所述人体位置信息的识别模式；

步骤六：根据所述识别模式对每一帧所述人体位置信息进行识别并输出识别信息。

13.如权利要求12所述的人体运动跟踪及识别方法，其特征在于：所述动态影像为摄像设备拍摄的实时视频数据影像或者为存储设备上的录像数据影像。

Images