CN108121971A - 一种基于动作时序特征的人手检测方法及装置 - Google Patents

Abstract

本发明提出了一种基于动作时序特征的人手检测方法及装置，属于视觉检测技术领域。该方法在传统人手检测的基础上，通过检测人手特定动作序列的时序特征，提高检测准确率。该方法解决了复杂场景及存在相似目标干扰下误检率较高的问题，适用于单目视频信号或图像序列中的人手检测。

Description

一种基于动作时序特征的人手检测方法及装置

技术领域

本发明涉及一种基于动作时序特征的人手检测方法及装置，属于视觉检测技术领域。

背景技术

随着机器视觉技术的迅速发展，基于机器视觉的手势控制已成为人机交互方式中重要的 研究方向，而精确、快速的人手检测则是实现手势控制的核心技术之一。

目前，基于机器视觉的人手检测方法可分为基于手部物理标记、基于单目二维图像及基 于深度图像三类。

基于手部物理标记的检测方法依赖于具有特殊颜色、形状标记的可穿戴设备，如手套、 腕带等，通过对设备物理标记的检测直接确定人手位置，或在基本检测的基础上进一步提高 检测精度。

基于单目二维图像的检测方法利用单目摄像头所捕获的二维图像中手部肤色、形状、运 动和边缘纹理特征，从场景中对人手进行辨识。

基于深度图像的检测方法需要利用结构光、光飞时间及多角度成像等深度成像方式，获 取场景中的距离信息，并要求结合二维图像相关算法从场景中分离出人手，这种检测方法的 过程复杂，数据处理量较大，同时实现该方法的装置通常较为复杂。

现有人手检测技术中，基于手部物理标记的检测方法依赖于手环、手套等设备，为使用 者额外增加负担；而基于深度图像的检测方法，需采用特殊的深度摄像头，价格昂贵，搭建 及维护较为困难。

而现有的基于单目二维图像的检测方法中：基于肤色的检测方法仅能用于彩色图像中的 人手识别，易受光照影响，无法区分场景中近肤色物体；基于形状和基于边缘纹理特征的检 测方法均易受物体形变影响，无法区分场景中形状相似物体；而基于运动的检测方法易受光 照变化及系统噪声影响。目前在实际应用中通常采用以上几种技术的组合以改善检测效果， 但在复杂光照条件及场景下，实现快速、准确、稳定的人手检测仍较为困难。

发明内容

本发明针对复杂场景及存在相似目标干扰下误检率较高的问题，提出一种基于动作时序 特征的人手检测方法，适用于单目视频信号或图像序列中的人手检测。该方法在传统人手检 测的基础上，通过检测人手特定动作序列的时序特征，提高检测准确率。所采取的技术方案 如下：

一种基于动作时序特征的人手检测方法，所述检测方法的具体步骤为：

步骤一：从视频或图像序列中读取相应的视频或图像数据；

步骤二：如进行初次检测，那么此时，对时序特征数据进行初始化，得到初始化候选目 标以及初始化候选目标相应的特征，如不进行初次检测，则直接对候选目标的时序特征检测；

步骤三：利用后续输入图像信息对步骤二获得的所述候选目标进行时序特征检测，并更 新时序特征数据；

步骤四：重复步骤一至步骤四直至检测到人手目标并获得目标ROI；

步骤五：利用HOG、Haar或LBP在步骤四所述目标ROI内进行二次人手检测，得到目标 框；

步骤六：输出步骤五所述二次人手检测的检测结果。

进一步地，步骤二所述的时序特征数据的初始化过程包括载入预设数据、单帧检测和新 增时序特征数据三个过程，具体为：首先载入预设数据，然后对载入的预设数据进行单帧检 测，最后根据单帧检测结果的需求进行新增时序特征数据处理。

进一步地，所述单帧检测的具体步骤为：

第一步：通过载入的预设数据或相邻帧图像差分对图像或视频数据进行背景移除，去除 全部或部分背景干扰，并获得去除背景干扰的图像或视频数据；

第二步：利用Otsu阈值分割法提取第一步所述去除背景干扰的图像或视频数据的前景信 息；

第三步：根据第一步和第二步所获得的数据设置候选ROI，或者，根据视频或图像数据 的实际应用场景，当成像视场较小、背景及光照干扰较小、手部目标较为明显时，跳过第一 步和第二步的处理步骤，直接设置全图范围为候选ROI或读取所述预设数据指定候选ROI；

第四步：利用HOG、Haar或LBP在第三步所述候选ROI内进行人手检测，并获得单帧检 测结果；

第五步：输出第四步所述单帧检测结果；

所述单帧检测不仅在初始化过程中执行，也作为步骤三所述时序特征检测及更新时序特 征数据的子流程迭代执行。

进一步地，所述新增时序特征数据的具体步骤为：

第1步：载入所述单帧检测结果：

第2步：当单帧检测到手状物体时，对所述物体位置是否与现有候选ROI重叠；如单帧检 测没有检测到手状物体时，结束新增时序特征数据处理；

第3步：当物体位置不与现有候选ROI重叠时，以所述物体位置为中心，物体尺寸的选定 倍数为尺寸，设定新候选ROI，并将所述新候选ROI加入候选ROI列表；当物体位置与现有候 选ROI重叠时，对应所述候选ROI对应新增候选目标及所述新增候选目标对应的检测状态，并 且将检测成功次数为1；

所述新增时序特征数据除了在初始化过程中执行，也作为步骤三所述时序特征检测及更 新时序特征数据的子流程迭代执行。

进一步地，步骤三所述时序特征检测并更新时序特征数据的具体步骤为：

步骤1：后续输入图像信息，并判断候选ROI列表是否为空：

步骤2：当所述候选ROI列表非空时，利用HOG、Haar或LBP特征进行候选ROI内人手检 测；当所述候选ROI列表为空时，全图范围内执行单帧检测，并根据单帧检测结果新增时序 特征数据；

步骤3：对当前候选ROI对应候选目标的时序特征进行候选目标时序特征更新，并删除不 符合要求的候选目标；

步骤4：当存在候选目标的特征时间序列符合完整的手状动作时，将当前候选ROI输出为 目标ROI，结束检测；

步骤5：迭代执行步骤3和步骤4，直到遍历当前候选ROI对应的所有候选目标：

步骤6：如果执行步骤5后，当前候选ROI对应候选目标已全部删除，则删除当前的候选 ROI；

步骤7：迭代执行步骤1至步骤6，直到遍历候选ROI列表中的所有候选ROI，完成候选ROI 的全部检测；

步骤8：完成候选ROI的全部检测后，对全图范围内执行单帧检测，并获得单帧检测结果；

步骤9：根据步骤8所述单帧检测结果新增时序特征数据。

进一步地，步骤3中所述候选目标时序特征更新过程中，对于人手动作，每个候选目标依 次经过1阶段手部形态1检测，2阶段手部形态2检测和3阶段手部形态3检测三个检测阶段，所 述候选目标时序特征更新的具体过程为：

Step1：对候选目标检测状态进行判断；

Step2：当候选目标检测状态为1阶段手部形态1检测时，如果当前所述候选目标的检测结 果为手部形态1，则检测成功次数加1；如果当前所述候选目标的检测结果非手部形态1，则删 除当前候选目标，并结束更新；当候选目标检测状态为2阶段手部形态2检测时，如果当前检 测结果为手部形态2，则检测成功次数加1；如果当前所述候选目标的检测结果非手部形态2， 则删除当前候选目标，并结束更新；

Step3：当候选目标检测状态为1阶段手部形态1检测时，判断Step2所述检测成功次数是否 达到次数设定阈值；如果所述检测成功次数达到设定阈值，更改检测状态为2阶段手部形态2 检测，将检测成功次数重设为1并结束更新；如果检测成功次数没有达到设定阈值，则直接结 束更新；

Step4：当候选目标检测状态为2阶段手部形态2检测时，判断Step2所述检测成功次数是否 达到次数设定阈值；如果所述检测成功次数达到设定阈值，更改检测状态为3阶段手部形态3 检测，将检测成功次数重设为1并结束更新；如果检测成功次数没有达到设定阈值，则直接结 束更新；

Step5：累计检测帧数加1，并且，如果当前检测结果为手部形态3，则检测成功次数加1；

Step6：判断Step5所述检测成功次数是否达到次数设定阈值，如果所述检测成功次数达到 设定阈值，则确定当前候选目标为人手目标，并结束更新；

Step7：判断Step5所述累计检测帧数，如果所述累计检测帧数达到设定阈值，则删除当前 候选目标，并结束更新；如果所述累计检测帧数没有达到设定阈值，则直接结束更新；

Step8：结束更新。

在使用手势进行人机交互时，使用者通常存在前序动作，如抬手、张开手掌或握拳等； 或日常生活中的惯用动作，如行走时手部的自然摆动等。通过对此类动作的实时捕捉、记录 和分析可以快速定位使用者手部位置。同时，由于场景中背景及相似目标往往保持静态，因 此利用动作时序特征可以准确区分实际人手与背景或相似目标带来的干扰。

此外，为保证检测效率，可根据实际应用场景及需求定义动作序列，使用者可通过完成 指定动作使检测系统迅速定位其手部，以方便后续手势操作。

本发明还提出了一种实现所述人手检测方法的人手检测装置，可用于视频信号或图像序 列中的人手检测，并可输出数字信号，根据实际应用需求为后续系统提供输入。所采取的技 术方案如下：

所述装置包括主控制器1、数据获取模块2、数据处理模块3和数据输出模块4；所述主控 制器1的数据获取信号交互端与所述数据获取模块2的信号交互端相连；所述主控制器1的数据 传输信号交互端与所述数据输出模块4的信号交互端相连；所述数据获取模块2的数据输出端 与所述数据处理模块3的数据输入端相连；所述数据处理模块3的数据输出端与所述数据输出 模块4的数据输入端相连。

本发明有益效果：

1.本发明基于单目摄像头捕获的视频信号或图像序列进行人手检测，无需使用者穿着额 外装置，硬件设备成本较低，搭建及维护较为容易。

2.本发明以传统单目二维图像单帧人手检测方法为基础，引入时序特征来检测人手，可 有效避免复杂背景及相似物体造成的干扰，降低误检率。

3.人手时序特征可来源于使用者在人机交互中常见前序动作、日常生活习惯动作或易于 辨识的选定动作，充分挖掘视频信号及时序图像中的人手信息，提高信息利用率。

4.利用使用者在人机交互中常见前序动作、日常生活习惯动作进行人手检测，可在用户 进行人机交互前，提前定位用户手部位置，从而保证了整体检测的灵敏度，有利于后端接入 设备的快速响应，提高用户体验。

5.在检测过程中，同一物体可以根据检测时间的不同生成多个候选目标，各个候选目标 分别进行时序特征更新，从而进一步降低单帧误检、漏检造成的影响，进而保证检测的灵敏 度。

6.将单帧人手检测方法作为子流程，可根据实际应用需要进行调整，适应性强、扩展性 强。

7.检测装置各模块封装或集成方式灵活，便于连接外部设备，并可成为更高层级系统的 有机组成部分，方便总体系统设计。

附图说明

图1为本发明所述方法的逻辑关系示意图。

图2为本发明所述方法的总体流程图。

图3为本发明所述方法的时序特征数据初始化流程图。

图4为本发明所述方法的单帧检测流程图。

图5为本发明所述方法的新增时序特征数据流程图。

图6为本发明所述方法的时序特征检测及数据更新流程图。

图7为本发明所述方法的候选目标时序特征更新流程图。

图8为本发明所述方法的检测装置结构示意图一。

图9为本发明所述方法的检测装置结构示意图二。

图10为本发明所述方法的检测装置结构示意图三。

具体实施方式

下面结合具体实施例对本发明做进一步说明，但本发明不受实施例的限制。

实施例1：

本实施例提出一种基于动作时序特征的人手检测方法，该方法首先对单目视频信号或图 像序列中的各帧图像进行单帧检测得到候选目标，再将单帧检测结果与相邻帧检测结果进行 对比分析，提取各个候选目标的时序特征，即选定时间段内不同帧下的特征状态，并与预设 动作时序特征进行匹配，若匹配结果不一致则视为误检，进而筛选得到目标ROI(Region of Interest，感兴趣区域)，最后在目标ROI内再次进行人手检测得到实际手部位置。

为详细说明检测流程，下文以人手“抓取”动作作为预设动作，即当确定候选目标后，如 果在后续视频信号或图像序列中，进一步检测到候选目标特征依次满足一个完整的“手掌张 开”——“握紧”——“手掌张开”动作，则认为该目标为人手。此外引入如下定义：

候选ROI：通过单帧检测或人工设定得到的人手位置。

候选目标：通过单帧检测得到的目标。

目标ROI：对候选目标进行时序特征检测得到的ROI。

目标框：在目标ROI内进行再次进行人手检测得到的最终位置框。

时序特征：选定时间段内不同帧下候选目标的特征状态，包括候选目标检测阶段、当前 阶段的检测要求、当前阶段检测成功次数及当前阶段累计检测帧数。以“抓取”动作为例，每 个候选目标依次经过三个检测阶段，检测要求分别为“手掌”-“非手掌”-“手掌”，各阶段初始检 测成功次数为1。当输入后续图像时，累计检测帧数加1，且若检测结果与检测要求相同，则 检测成功次数加1。

时序特征数据：包括候选ROI列表、候选目标列表及各个候选目标的时序特征，其逻辑 关系如图1所示。其中候选ROI与其范围内的各候选目标相对应，各候选目标对应其时序特 征。时序特征数据在检测开始时初始化，并随着检测的进行实时更新。具体的：

一种基于动作时序特征的人手检测方法，如图2所示，从视频或图像序列获取输入图像后， 初次检测时首先进行时序特征数据的初始化，得到初始候选目标及相应特征。在此基础上利 用后续输入图像信息对各候选目标进行时序特征检测，得到目标ROI。为保证检测稳定性， 目标ROI尺度大于目标实际尺度，因此需在目标ROI内进行二次检测，最后获得实际目标框。 所述检测方法的具体步骤为：

步骤一：从视频或图像序列中读取相应的视频或图像数据；

步骤二：如进行初次检测，那么此时，对时序特征数据进行初始化，得到初始化候选目 标以及初始化候选目标相应的特征，如不进行初次检测，则直接对候选目标的时序特征检测；

步骤三：利用后续输入图像信息对步骤二获得的所述候选目标进行时序特征检测，并更 新时序特征数据；

步骤四：重复步骤一至步骤四直至检测到人手目标并获得目标ROI；

步骤五：利用HOG、Haar或LBP在步骤四所述目标ROI内进行二次人手检测，得到目标 框；

步骤六：输出步骤五所述二次人手检测的检测结果。

如图3所示，步骤二所述的时序特征数据的初始化过程包括载入预设数据、单帧检测和新 增时序特征数据三个过程，具体为：首先载入预设数据，然后对载入的预设数据进行单帧检 测，最后根据单帧检测结果的需求进行新增时序特征数据处理。

单帧检测采用肤色、形状、运动与边缘纹理多特征结合的方法，检测流程如图4所示。首 先利用预设数据或相邻帧差分方法移除输入图像中易造成干扰的背景信息，并进一步通过 Otsu阈值分割法进行肤色提取得到候选ROI，最后在候选ROI内利用HOG、Haar或LBP法进行 人手检测得到候选目标。当环境较为简单，背景干扰较小时，背景移除及Otsu阈值分割可以 省略。所述单帧检测的具体步骤为：

第一步：通过载入的预设数据或相邻帧图像差分对图像或视频数据进行背景移除，去除 全部或部分背景干扰，并获得去除背景干扰的图像或视频数据；

第二步：利用Otsu阈值分割法提取第一步所述去除背景干扰的图像或视频数据的前景信 息；

第三步：根据第一步和第二步所获得的数据设置候选ROI，或者，根据视频或图像数据 的实际应用场景，当成像视场较小、背景及光照干扰较小、手部目标较为明显时，跳过第一 步和第二步的处理步骤，直接设置全图范围为候选ROI或读取所述预设数据指定候选ROI；

第四步：利用HOG、Haar或LBP在第三步所述候选ROI内进行人手检测，并获得单帧检 测结果；

第五步：输出第四步所述单帧检测结果；

所述单帧检测不仅在初始化过程中执行，也作为步骤三所述时序特征检测及更新时序特 征数据的子流程迭代执行。

新增时序特征数据流程如图5所示。当前序单帧检测过程中检测到手状物体时，将其位置 与现有候选ROI进行对比，如果位置重叠，则对应该候选ROI新增一个候选目标；如果物体位 置不与任何现有候选ROI重叠，则设定以该位置为中心，尺寸为物体尺寸指定倍数的矩形框 为新的候选ROI，加入ROI列表，再增加其对应的候选目标。所述新增时序特征数据的具体步 骤为：

第1步：载入所述单帧检测结果：

第2步：当单帧检测到手状物体时，对所述物体位置是否与现有候选ROI重叠；如单帧检 测没有检测到手状物体时，结束新增时序特征数据处理；

第3步：当物体位置不与现有候选ROI重叠时，以所述物体位置为中心，物体尺寸的选定 倍数为尺寸，设定新候选ROI，并将所述新候选ROI加入候选ROI列表；当物体位置与现有候 选ROI重叠时，对应所述候选ROI对应新增候选目标及所述新增候选目标对应的检测状态，并 且将检测成功次数为1；

所述新增时序特征数据除了在初始化过程中执行，也作为步骤三所述时序特征检测及更 新时序特征数据的子流程迭代执行。

步骤三所述时序特征检测并更新时序特征数据的过程主要包括候选ROI内人手检测、候 选目标时序特征更新、候选ROI筛选及新增时序特征数据等主要步骤，其流程如图6所示。首 次运行时的系统状态已在时序特征数据初始化过程中设定。当输入后续待检图像时，首先在 候选ROI列表中的每一个候选ROI内，利用HOG、Haar或LBP法进行人手检测，进而更新当前 候选ROI对应的各个候选目标的时序特征。如果存在某一候选目标，其时序特征符合完整的 “抓取”动作，则将其对应的候选ROI输出为目标ROI。如果所有候选目标时序特征更新后，某 一候选ROI对应的候选目标已全部删除，则删除该候选ROI。如果候选ROI列表为空，或未检 测到完整的“抓取”动作，则对当前图像进行单帧检测，并根据检测结果新增时序特征数据列 表。所述时序特征检测并更新时序特征数据的具体步骤为：

步骤1：后续输入图像信息，并判断候选ROI列表是否为空：

步骤2：当所述候选ROI列表非空时，利用HOG、Haar或LBP特征进行候选ROI内人手检 测；当所述候选ROI列表为空时，全图范围内执行单帧检测，并根据单帧检测结果新增时序 特征数据；

步骤3：对当前候选ROI对应候选目标的时序特征进行候选目标时序特征更新，并删除不 符合要求的候选目标；

步骤4：当存在候选目标的特征时间序列符合完整的手状动作时，将当前候选ROI输出为 目标ROI，结束检测；

步骤5：迭代执行步骤3和步骤4，直到遍历当前候选ROI对应的所有候选目标：

步骤6：如果执行步骤5后，当前候选ROI对应候选目标已全部删除，则删除当前的候选 ROI；

步骤7：迭代执行步骤1至步骤6，直到遍历候选ROI列表中的所有候选ROI，完成候选ROI 的全部检测；

步骤8：完成候选ROI的全部检测后，对全图范围内执行单帧检测，并获得单帧检测结果；

步骤9：根据步骤8所述单帧检测结果新增时序特征数据。

在时序特征检测及数据更新过程中，存在当前帧与前序帧在相同位置连续检测到同一物 体的情况，此时执行新增时序特征数据过程会将当前帧的检测结果作为新的候选目标计入， 与原有候选目标的时序特征更新并行进行，互不干扰。因此同一物体在检测过程中，可以根 据检测时间的不同生成多个候选目标，各个候选目标分别进行时序特征更新，从而进一步降 低单帧误检、漏检造成的影响，进而保证检测的灵敏度。

此外，在全图单帧检测前优先进行现有候选ROI内的检测，可以保证存在多个候选目标 时，方法依然有较高的检测速度。

步骤3中所述候选目标时序特征更新过程中，在候选目标时序特征更新过程中，对应于“抓 取”动作，每个候选目标依次经过“1阶段手掌检测”-“2阶段非手掌检测”-“3阶段手掌检测”三个 检测阶段。各阶段中，当累计检测成功次数达到相应阈值时进入下一阶段。在前两个阶段中， 如果检测结果与目标结果不符则删除该候选目标；第三阶段中，如果累计检测帧数超过阈值， 但累计成功次数仍未达到要求，则删除候选目标。算法流程如图7所示，所述候选目标时序特 征更新的具体过程为：

Step1：对候选目标检测状态进行判断；

Step2：当候选目标检测状态为1阶段手掌检测时，如果当前所述候选目标的检测结果为 手掌，则检测成功次数加1；如果当前所述候选目标的检测结果为非手掌，则删除当前候选目 标，并结束更新；当候选目标检测状态为2阶段非手掌检测时，如果当前检测结果为非手掌， 则检测成功次数加1；如果当前所述候选目标的检测结果为手掌，则删除当前候选目标，并结 束更新；

Step3：当候选目标检测状态为1阶段手掌检测时，判断Step2所述检测成功次数是否达到 次数设定阈值；如果所述检测成功次数达到设定阈值，更改检测状态为2阶段非手掌检测，将 检测成功次数重设为1并结束更新；如果检测成功次数没有达到设定阈值，则直接结束更新；

Step4：当候选目标检测状态为2阶段非手掌检测时，判断Step2所述检测成功次数是否达 到次数设定阈值；如果所述检测成功次数达到设定阈值，更改检测状态为3阶段手掌检测，将 检测成功次数重设为1并结束更新；如果检测成功次数没有达到设定阈值，则直接结束更新；

Step5：累计检测帧数加1，并且，如果当前检测结果为手掌，则检测成功次数加1；

Step6：判断Step5所述检测成功次数是否达到次数设定阈值，如果所述检测成功次数达到 设定阈值，则确定当前候选目标为人手目标，并结束更新；

Step7：判断Step5所述累计检测帧数，如果所述累计检测帧数达到设定阈值，则删除当前 候选目标，并结束更新；如果所述累计检测帧数没有达到设定阈值，则直接结束更新；

Step8：结束更新。

此外，在上述候选目标时序特征更新过程中，如果采用其他动作作为手部目标特征时， 目标检测状态的数量及各状态下的检测目标可进行相应调整。

在使用手势进行人机交互时，使用者通常存在前序动作，如抬手、张开手掌或握拳等； 或日常生活中的惯用动作，如行走时手部的自然摆动等。通过对此类动作的实时捕捉、记录 和分析可以快速定位使用者手部位置。同时，由于场景中背景及相似目标往往保持静态，因 此利用动作时序特征可以准确区分实际人手与背景或相似目标带来的干扰。

此外，为保证检测效率，可根据实际应用场景及需求定义动作序列，使用者可通过完成 指定动作使检测系统迅速定位其手部，以方便后续手势操作。

本实施例适用于在单目摄像头捕获的视频信号或图像序列中检测人手。以传统单目二维 图像单帧人手检测方法为基础，引入时序特征来检测人手，可有效避免复杂背景及相似物体 造成的干扰。人手动作时序特征可来源于使用者在人机交互中常见前序动作、日常生活习惯 动作或根据应用需求选取的预设动作。利用使用者在人机交互中常见前序动作、日常生活习 惯动作进行人手检测，可在用户进行人机交互前，提前定位用户手部位置。在检测过程中， 同一物体可以根据检测时间的不同生成多个候选目标，各个候选目标分别进行时序特征更新， 检测灵敏度高，响应迅速。

实施例2

本实施例提出一种基于动作时序特征的人手检测装置，该装置用于实现实施例1提出方 法进行人手检测，并可输出数字信号，根据实际应用需求为后续系统提供输入。检测装置包 括主控制器、数据获取、数据处理及数据输出4个模块，模块连接方式如图8所示。所述装 置包括主控制器1、数据获取模块2、数据处理模块3和数据输出模块4；所述主控制器1的 数据获取信号交互端与所述数据获取模块2的信号交互端相连；所述主控制器1的数据传输 信号交互端与所述数据输出模块4的信号交互端相连；所述数据获取模块2的数据输出端与 所述数据处理模块3的数据输入端相连；所述数据处理模块3的数据输出端与所述数据输出 模块4的数据输入端相连。

其中主控制器用于控制其他各模块的运行，并从各模块实时获取其运行状态，同时可从 更高级别控制模块接收控制信号；数据获取模块用于捕获视频信号或从指定设备读取图像序 列，并将数据传入数据处理模块；数据处理模块用于从传入的数据中检测人手，并将检测结 果传入数据输出模块；数据输出模块用于接收检测结果，并进行数据类型及格式的调制后， 传至后端设备。

根据实际应用的需要，各模块可集成于同一硬件平台上形成独立的检测设备，也可以分 别封装为独立单元，还可以部分或全部作为子模块集成于更高层级系统总体平台上。数据获 取模块可从外部设备读取数据，也可利用单目摄像头直接捕获视频数据。各模块间、数据获 取模块与外置设备间、数据输出模块与外置设备间可通过板载电路、数据线或无线通信等方 式传输数据。

实施例3

本实施例将主控制器、数据处理模块和数据输出模块集成于嵌入式平台中，系统结构图 9所示，数据获取模块单独外置，模块中包含单目摄像头，可以实时捕获视频数据，并通过 数据线传入嵌入式平台。主控制器调用数据获取模块监测用户动作，并调用数据处理模块进 行人手检测分析，最后利用数据输出模块输出检测结果。整个装置作为一个独立整体，数据 输出模块将检测结果经过调制后通过2.4GHz无线信号传递至外部设备。

实施例4

本实施例中将各模块分别作为子模块集成入人机交互总体系统的相应模块中，系统结构 如图10所示。总体系统可采用嵌入式、PC或其他具有数据处理能力的计算平台。各模块与 相应高层级模块直接进行数据交互，模块间通过系统总线传输数据。

虽然本发明已以较佳的实施例公开如上，但其并非用以限定本发明，任何熟悉此技术的 人，在不脱离本发明的精神和范围内，都可以做各种改动和修饰，因此本发明的保护范围应 该以权利要求书所界定的为准。

Claims (7)

1.一种基于动作时序特征的人手检测方法，其特征在于，所述检测方法的具体步骤为：

步骤一：从视频或图像序列中读取相应的视频或图像数据；

步骤二：如进行初次检测，那么此时，对时序特征数据进行初始化，得到初始化候选目标以及初始化候选目标相应的特征，如不进行初次检测，则直接对候选目标的时序特征检测；

步骤三：利用后续输入图像信息对步骤二获得的所述候选目标进行时序特征检测，并更新时序特征数据；

步骤四：重复步骤一至步骤四直至检测到人手目标并获得目标ROI；

步骤五：利用HOG、Haar或LBP在步骤四所述目标ROI内进行二次人手检测，得到目标框；

步骤六：输出步骤五所述二次人手检测的检测结果。

2.根据权利要求1所述基于动作时序特征的人手检测方法，其特征在于，步骤二所述的时序特征数据的初始化过程包括载入预设数据、单帧检测和新增时序特征数据三个过程，具体为：首先载入预设数据，然后对载入的预设数据进行单帧检测，最后根据单帧检测结果的需求进行新增时序特征数据处理。

3.根据权利要求2所述基于动作时序特征的人手检测方法，其特征在于，所述单帧检测的具体步骤为：

第一步：通过载入的预设数据或相邻帧图像差分对图像或视频数据进行背景移除，去除全部或部分背景干扰，并获得去除背景干扰的图像或视频数据；

第二步：利用Otsu阈值分割法提取第一步所述去除背景干扰的图像或视频数据的前景信息；

第三步：根据第一步和第二步所获得的数据设置候选ROI，或者，根据视频或图像数据的实际应用场景，跳过第一步和第二步的处理步骤，直接设置全图范围为候选ROI或读取所述预设数据指定候选ROI；

第四步：利用HOG、Haar或LBP在第三步所述候选ROI内进行人手检测，并获得单帧检测结果；

第五步：输出第四步所述单帧检测结果；

所述单帧检测不仅在初始化过程中执行，也作为步骤三所述时序特征检测及更新时序特征数据的子流程迭代执行。

4.根据权利要求2所述基于动作时序特征的人手检测方法，其特征在于，所述新增时序特征数据的具体步骤为：

第1步：载入所述单帧检测结果：

第2步：当单帧检测到手状物体时，对所述物体位置是否与现有候选ROI重叠；如单帧检测没有检测到手状物体时，结束新增时序特征数据处理；

第3步：当物体位置不与现有候选ROI重叠时，以所述物体位置为中心，物体尺寸的选定倍数为尺寸，设定新候选ROI，并将所述新候选ROI加入候选ROI列表；当物体位置与现有候选ROI重叠时，对应所述候选ROI对应新增候选目标及所述新增候选目标对应的检测状态，并且将检测成功次数为1；

所述新增时序特征数据除了在初始化过程中执行，也作为步骤三所述时序特征检测及更新时序特征数据的子流程迭代执行。

5.根据权利要求1所述基于动作时序特征的人手检测方法，其特征在于，步骤三所述时序特征检测并更新时序特征数据的具体步骤为：

步骤1：后续输入图像信息，并判断候选ROI列表是否为空：

步骤2：当所述候选ROI列表非空时，利用HOG、Haar或LBP特征进行候选ROI内人手检测；

当所述候选ROI列表为空时，全图范围内执行单帧检测，并根据单帧检测结果新增时序特征数据；

步骤3：对当前候选ROI对应候选目标的时序特征进行候选目标时序特征更新，并删除不符合要求的候选目标；

步骤4：当存在候选目标的特征时间序列符合完整的手状动作时，将当前候选ROI输出为目标ROI，结束检测；

步骤5：迭代执行步骤3和步骤4，直到遍历当前候选ROI对应的所有候选目标：

步骤6：如果执行步骤5后，当前候选ROI对应候选目标已全部删除，则删除当前的候选ROI；

步骤7：迭代执行步骤1至步骤6，直到遍历候选ROI列表中的所有候选ROI，完成候选ROI的全部检测；

步骤8：完成候选ROI的全部检测后，对全图范围内执行单帧检测，并获得单帧检测结果；

步骤9：根据步骤8所述单帧检测结果新增时序特征数据。

6.根据权利要求5所述基于动作时序特征的人手检测方法，其特征在于，步骤3中所述候选目标时序特征更新过程中，对于人手动作，每个候选目标依次经过1阶段手部形态1检测，2阶段手部形态2检测和3阶段手部形态3检测三个检测阶段，所述候选目标时序特征更新的具体过程为：

Step1：对候选目标检测状态进行判断；

Step2：当候选目标检测状态为1阶段手部形态1检测时，如果当前所述候选目标的检测结果为手部形态1，则检测成功次数加1；如果当前所述候选目标的检测结果为非手部形态1，则删除当前候选目标，并结束更新；当候选目标检测状态为2阶段手部形态2检测时，如果当前检测结果为手部形态2，则检测成功次数加1；如果当前所述候选目标的检测结果非手部形态2，则删除当前候选目标，并结束更新；

Step3：当候选目标检测状态为1阶段手部形态1检测时，判断Step2所述检测成功次数是否达到次数设定阈值；如果所述检测成功次数达到设定阈值，更改检测状态为2阶段手部形态2检测，将检测成功次数重设为1并结束更新；如果检测成功次数没有达到设定阈值，则直接结束更新；

Step4：当候选目标检测状态为2阶段手部形态2检测时，判断Step2所述检测成功次数是否达到次数设定阈值；如果所述检测成功次数达到设定阈值，更改检测状态为3阶段手部形态3检测，将检测成功次数重设为1并结束更新；如果检测成功次数没有达到设定阈值，则直接结束更新；

Step5：累计检测帧数加1，并且，如果当前检测结果为手部形态3，则检测成功次数加1；

Step6：判断Step5所述检测成功次数是否达到次数设定阈值，如果所述检测成功次数达到设定阈值，则确定当前候选目标为人手目标，并结束更新；

Step7：判断Step5所述累计检测帧数，如果所述累计检测帧数达到设定阈值，则删除当前候选目标，并结束更新；如果所述累计检测帧数没有达到设定阈值，则直接结束更新；

Step8：结束更新。

7.一种用于实现权利要求1所述人手检测方法的人手检测装置，其特征在于，所述装置包括主控制器(1)、数据获取模块(2)、数据处理模块(3)和数据输出模块(4)；所述主控制器(1)的数据获取信号交互端与所述数据获取模块(2)的信号交互端相连；所述主控制器(1)的数据传输信号交互端与所述数据输出模块(4)的信号交互端相连；所述数据获取模块(2)的数据输出端与所述数据处理模块(3)的数据输入端相连；所述数据处理模块(3)的数据输出端与所述数据输出模块(4)的数据输入端相连。