CN108108709B - 一种识别方法及装置、计算机存储介质 - Google Patents

Abstract

本发明公开了一种识别方法，所述方法包括：获取目标图像中目标人体所在位置；根据目标人体所在位置确定人体所在的预处理区域，对人体所在的所述预处理区域进行姿态识别，得到对目标人体的姿态识别结果；获取在姿态识别过程中所得到的手所在位置，根据手所在位置确定手所在的预处理区域，对手所在的所述预处理区域进行手势识别，得到对目标人体的手势识别结果；输出对目标人体的姿态识别结果以及手势识别结果。本发明还同时公开了一种移动机器人局部运动规划装置及计算机存储介质。

Description

一种识别方法及装置、计算机存储介质

技术领域

本发明涉及姿态与手势识别技术领域，具体涉及一种识别方法及装置、计算机存储介质。

背景技术

近几年，基于视频的姿态或者手势识别技术成为视觉识别中的一个重要的研究方向。姿态或者手势识别在智能的人机交互方面起到了不可替代的作用。特别是在一些嘈杂的场合，由于语音识别会受到一定的干扰，姿态或者手势识别成为一种相对重要的交互方式。但是基于视频的姿态与手势识别存在一些技术性难题，比如算法需要克服场景变化带来的背景变化与光照不一问题；视频中的人体可能运动较快造成图像模糊；视频图像一般具有较低的分辨率，即相对于静态图像的质量较低；姿态或者手势显示不全，即存在部分遮挡；相机视角多变，姿态或者手势显示的角度比较特殊。

而且，目前流行的视频中人体姿态识别与手势识别，是相互独立的两个方面。若要进行姿态识别，需要进行人体跟踪或检测；若要进行手势识别，则需要再次进行人体(手)跟踪或检测，处理速度当然较慢，存在不必要的浪费。同时，手在图像中的面积较小时，检测或者跟踪难度大，手势识别精度容易受到影响；对于姿态识别，现有的方法对一些区别不大的姿态难以区分。

发明内容

有鉴于此，本发明期望提供一种识别方法及装置、计算机存储介质，给出了一种将姿态识别和手势识别有机结合的方式，提升姿态识别的区分度，提高手势识别的精度。

为达到上述目的，本发明的技术方案是这样实现的：

第一方面，本发明实施例提供了一种识别方法，所述方法包括：

获取目标图像中目标人体所在位置；

根据目标人体所在位置确定人体所在的预处理区域，对人体所在的所述预处理区域进行姿态识别，得到对目标人体的姿态识别结果；

获取在姿态识别过程中所得到的手所在位置，根据手所在位置确定手所在的预处理区域，对手所在的所述预处理区域进行手势识别，得到对目标人体的手势识别结果；

输出对目标人体的姿态识别结果以及手势识别结果。

上述方案中，可选地，所述输出对目标人体的姿态识别结果以及手势识别结果之前，所述方法还包括：

根据手势识别结果对姿态识别结果进行校验；

基于校验结果对所述姿态识别结果进行修正，得到新的姿态识别结果。

上述方案中，可选地，所述根据手势识别结果对姿态识别结果进行校验之前，所述方法还包括：

获取姿态识别结果对应的置信度；其中，所述置信度用于表征所述姿态识别结果的可信程度；

若所述置信度超出预设值，则判定不需要执行根据手势识别结果对姿态识别结果进行校验的步骤，并将所述姿态识别结果作为待输出的对目标人体的姿态识别结果；

若所述置信度未超出所述预设值，则判定执行根据手势识别结果对姿态识别结果进行校验的步骤。

上述方案中，可选地，所述基于校验结果对所述姿态识别结果进行修正，得到新的姿态识别结果，包括：

根据所述手势识别结果确定对所述置信度的影响值；

根据所述影响值以及所述姿态识别结果对应的置信度，为所述姿态识别结果确定新的置信度。

上述方案中，可选地，所述获取目标图像中目标人体所在位置，包括：

根据接收到的动作指令锁定目标人体；所述动作指令用于指示对发出所述动作指令的对象进行跟踪；

采用人体跟踪算法对所述目标人体进行跟踪，得到跟踪结果；其中，在跟踪过程中，适时结合人体检测算法校准当前跟踪结果，并在校准完成后采用所述人体跟踪算法继续后续跟踪；

从所述跟踪结果获取目标图像中目标人体所在位置。

上述方案中，可选地，所述获取目标图像中目标人体所在位置，包括：

根据获取到的目标人体的相关特征信息锁定目标人体，并对所述目标人体进行标识；

采用人体检测算法进行人体检测，得到检测结果；

从所述检测结果获取目标图像中被标识为目标人体的人体所在位置。

第二方面，本发明实施例提供了一种识别装置，所述装置包括：

获取模块，用于获取目标图像中目标人体所在位置；

第一识别模块，用于根据目标人体所在位置确定人体所在的预处理区域，对人体所在的所述预处理区域进行姿态识别，得到对目标人体的姿态识别结果；

第二识别模块，用于获取在姿态识别过程中所得到的手所在位置，根据手所在位置确定手所在的预处理区域，对手所在的所述预处理区域进行手势识别，得到对目标人体的手势识别结果；

输出模块，用于输出对目标人体的姿态识别结果以及手势识别结果。

上述方案中，可选地，所述装置还包括校验模块，用于：

在所述输出模块输出对目标人体的姿态识别结果以及手势识别结果之前，根据手势识别结果对姿态识别结果进行校验；基于校验结果对所述姿态识别结果进行修正，得到新的姿态识别结果。

上述方案中，可选地，所述校验模块，还用于：

在根据手势识别结果对姿态识别结果进行校验之前，获取姿态识别结果对应的置信度；其中，所述置信度用于表征所述姿态识别结果的可信程度；

若所述置信度超出预设值，则判定不需要执行根据手势识别结果对姿态识别结果进行校验的步骤，并将所述姿态识别结果作为待输出的对目标人体的姿态识别结果；

若所述置信度未超出所述预设值，则判定执行根据手势识别结果对姿态识别结果进行校验的步骤。

上述方案中，可选地，所述校验模块，还用于：

根据所述手势识别结果确定对所述置信度的影响值；

根据所述影响值以及所述姿态识别结果对应的置信度，为所述姿态识别结果确定新的置信度。

上述方案中，可选地，所述装置还包括：

跟踪模块，用于：

根据接收到的动作指令锁定目标人体；所述动作指令用于指示对发出所述动作指令的对象进行跟踪；采用人体跟踪算法对所述目标人体进行跟踪，得到跟踪结果；将所述跟踪结果传送至所述获取模块，以由所述获取模块从所述跟踪结果获取目标图像中目标人体所在位置；

校准模块，用于在所述跟踪模块对目标人体的跟踪过程中，适时结合人体检测算法校准当前跟踪结果，并在校准完成后通知所述跟踪模块采用所述人体跟踪算法继续后续跟踪。

上述方案中，可选地，所述装置还包括：

人体检测模块，用于：根据获取到的目标人体的相关特征信息锁定目标人体，并对所述目标人体进行标识；采用人体检测算法进行人体检测，得到检测结果；将所述检测结果传送至所述获取模块，以由所述获取模块从所述检测结果获取目标图像中被标识为目标人体的人体所在位置。

第三方面，本发明实施例提供了一种计算机存储介质，所述计算机存储介质中存储有计算机程序，所述计算机程序用于执行以上所述的识别方法。

本发明提出的识别方法及装置、计算机存储介质，获取目标图像中目标人体所在位置；根据目标人体所在位置确定人体所在的预处理区域，对人体所在的所述预处理区域进行姿态识别，得到对目标人体的姿态识别结果；获取在姿态识别过程中所得到的手所在位置，根据手所在位置确定手所在的预处理区域，对手所在的所述预处理区域进行手势识别，得到对目标人体的手势识别结果；输出对目标人体的姿态识别结果以及手势识别结果。这样，获取在姿态识别过程中所得到的手所在位置，进而根据手所在位置确定手所在的预处理区域，对手所在的所述预处理区域进行手势识别，能使姿态识别与手势识别共享部分计算资源，解决了现有技术中因忽略人体姿态识别与手势识别之间的关联性而使得计算代价较高或者计算资源存在不必要浪费的问题。本发明所述技术方案在进行手势识别时，仅需对在姿态识别过程中所得到的手所在位进行处理，而不需要进行独立的手势检测或者跟踪，从而减少了手势识别所需的计算量，直接利用姿态识别进行手的位置推断，快速定位手的位置，并有利于提升手势定位精度，进而提升手势识别精度。

附图说明

图1为本发明实施例提供的识别方法的一种实现流程示意图；

图2为本发明实施例提供的目标人体的第一种姿态示意图；

图3为本发明实施例提供的目标人体的第二种姿态示意图；

图4为本发明实施例提供的一种系统框架示意图；

图5为本发明提供的识别装置的一种组成结构示意图。

具体实施方式

下面结合附图和具体实施例对本发明的技术方案进一步详细阐述。

本发明实施例提供一种识别方法，如图1所示，所述方法主要包括：

步骤101、获取目标图像中目标人体所在位置。

作为一种可选的实施方式，所述获取目标图像中目标人体所在位置，包括：

根据接收到的动作指令锁定目标人体；所述动作指令用于指示对发出所述动作指令的对象进行跟踪；

采用人体跟踪算法对所述目标人体进行跟踪，得到跟踪结果；其中，在跟踪过程中，适时结合人体检测算法校准当前跟踪结果，并在校准完成后采用所述人体跟踪算法继续后续跟踪；

从所述跟踪结果获取目标图像中目标人体所在位置。

如此，主要基于人体跟踪算法获取目标图像中目标人体所在位置，只有在满足一定条件如采用人体跟踪算法无法得到在目标图像中目标人体所在位置时，才运行人体检测算法进行人体检测，进而辅助确定目标人体所在位置。

可选地，适时结合人体检测算法对校准当前跟踪结果，并在校准完成后采用所述人体跟踪算法继续后续跟踪，包括：

将视频的开始帧的图像中检测到的人体作为目标人体，对目标人体进行跟踪；

在以后的帧图像中，先由人体跟踪算法返回目标人体所在位置，然后判断当前跟踪的结果是否符合预期目标；

若符合预期目标，则继续进行跟踪；

若不符合预期目标，则运行人体检测算法以确定当前图像帧中目标人体所在位置，再基于该人体检测结果校准当前跟踪结果，并继续后续跟踪。

这里，所述预期目标可以理解为：由人体跟踪算法无法得到在目标图像中目标人体所在位置。

可见，对目标人体进行跟踪，通过跟踪算法获得人体的位置；判断跟踪结果是否良好，如果良好，继续跟踪；如果不好，运行检测算法，从而确定目标人体的位置，再继续执行跟踪。

可选地，适时结合人体检测算法对校准当前跟踪结果，并在校准完成后采用所述人体跟踪算法继续后续跟踪，包括：

对视频的开始帧图像中检测到的人体进行跟踪，在以后的帧图像中，先由跟踪算法返回目标人体所在位置，然后间隔固定帧通过检测算法进行检测，以校准跟踪结果。

也就是说，定期采用人体检测算法进行人体检测。

可见，对目标人体进行跟踪，通过跟踪算法获得人体的位置；定期通过检测算法对跟踪结果进行校验，使得跟踪算法所跟踪的对象为目标人体。

一般来说，通过跟踪，能够解决位置变化不大的场景。跟踪，指跟踪主角，每帧图像中得到的跟踪结果只框出主角的人体所在位置。

作为另一种可选的实施方式，所述获取目标图像中目标人体所在位置，包括：

根据获取到的目标人体的相关特征信息锁定目标人体，并对所述目标人体进行标识；

采用人体检测算法进行人体检测，得到检测结果；

从所述检测结果获取目标图像中被标识为目标人体的人体所在位置。

如此，基于人体检测算法获取目标图像中目标人体所在位置。

作为一种具体实施方式，通过人体检测算法来对目标人体进行跟踪，需要对目标人体进行编号如ID＝0，也需要对非目标人体也进行编号如ID＝1、2、…，由于通过人体检测算法能够获得目标人体的人体位置和非目标人体的人体位置，人体检测算法会把每帧图像中的所有人都框出来，需要配置ID＝0，ID＝1、2、…；以便于通过编号来区分谁是目标人体，最终向识别模组返回的是ID＝0的目标人体的人体位置。

当然，确定目标图像中目标人体所在位置的方式并不限于以上所列举的这种形式，还可以通过其他方式来确定。比如，直接从用户发出的位置信息确定目标图像中目标人体所在位置。

作为一种具体实施方式，可通过人体跟踪和/或检测模型执行步骤101的内容，即通过人体跟踪和/或检测模型进行人体跟踪或检测，确定目标图像中目标人体所在位置。

步骤102、根据目标人体所在位置确定人体所在的预处理区域，对人体所在的所述预处理区域进行姿态识别，得到对目标人体的姿态识别结果。

这里，所述预处理区域可以理解为第一ROI区域。

在机器视觉、图像处理中，从被处理的图像以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域，称为感兴趣区域(ROI)。

在图像处理领域，ROI是从图像中选择的一个图像区域，这个区域是图像分析所关注的重点。圈定该区域以便进行进一步处理。使用ROI圈定想读的目标，可以减少处理时间，增加精度。

作为一种具体实施方式，可通过姿态识别模型执行步骤102的内容，即通过姿态识别模型进行姿态识别，得到对目标人体的姿态识别结果。

步骤103、获取在姿态识别过程中所得到的手所在位置，根据手所在位置确定手所在的预处理区域，对手所在的所述预处理区域进行手势识别，得到对目标人体的手势识别结果。

这里，所述预处理区域是指第二ROI区域。

由于人体姿态包含人手在内的人体关键点，步骤103直接利用姿态识别进行手的位置推断，快速定位手的位置，利于提升手势定位精度，进而提升手势识别精度。

这里，可通过手势识别模型执行步骤103的内容，即通过手势识别模型进行手势识别，得到对目标人体的手势识别结果。

需要说明的是，手势识别模型没有进行手的单独检测，而是利用了姿态识别模型在进行姿态识别过程中所得到的关于手的(人体关键点)的位置，节省了计算资源。

步骤104、输出对目标人体的姿态识别结果以及手势识别结果。

如此，能够实现同时返回目标人体的姿态识别结果以及手势识别结果。

进一步地，所述方法还包括：通过第一输出形式输出对目标人体的姿态识别结果以及手势识别结果。

这里，所述第一输出形式包括但不限于：语音形式、文字形式、图片形式。

这样，若通过显示器输出所述目标图像时，目标人体的姿态识别结果以及手势识别结果被形象地标出来，则更便于测试人员同时得知目标人体的姿态识别结果以及手势识别结果。

进一步优选地，所述输出对目标人体的姿态识别结果以及手势识别结果之前，所述方法还包括：

根据手势识别结果对姿态识别结果进行校验；

基于校验结果对所述姿态识别结果进行修正，得到新的姿态识别结果。

也就是说，输出对目标人体的姿态识别结果时，输出的是所述新的姿态识别结果。

如此，对于姿态识别，手势识别的结果可对其进行一定程度的准确性验证；针对一些区分不大的姿态，手势识别可将姿态识别划分的更为细致，因此手势识别可辅助姿态识别对这些特殊的姿态进行有效区分。相对于现有的缺少校验手段或者对一些区别不大的姿态难以区分姿态识别方法而言，本发明利用手势识别结果校准姿态识别，辅助姿态识别区分有细微差异的姿态，能提升姿态识别的精度。

作为一种实施方式，所述根据手势识别结果对姿态识别结果进行校验之前，所述方法还包括：

获取姿态识别结果对应的置信度；其中，所述置信度用于表征所述姿态识别结果的可信程度；

若所述置信度超出预设值，则判定不需要执行根据手势识别结果对姿态识别结果进行校验的步骤，并将所述姿态识别结果作为待输出的对目标人体的姿态识别结果；

若所述置信度未超出所述预设值，则判定执行根据手势识别结果对姿态识别结果进行校验的步骤。

这里，所述预设值可根据识别精度需求或客户要求进行设定或调整。

其中，所述基于校验结果对所述姿态识别结果进行修正，得到新的姿态识别结果，包括：

根据所述手势识别结果确定对所述置信度的影响值；

根据所述影响值以及所述姿态识别结果对应的置信度，为所述姿态识别结果确定新的置信度。

举例来说，置信度表示该姿态识别结果的可靠程度，如置信度用[0,1]表示，假设预先配置的姿态识别结果是否可信的规则为：置信度大于0.5时，姿态识别结果可信；置信度小于0.5时，姿态识别结果不可信。若当前计算得到的姿态识别结果置信度为0.6，借助手势识别结果所占的置信度的影响值为+0.2，则最终置信度为0.8，判定姿态识别结果可靠；若当前计算得到的姿态识别结果＝0.6，借助手势识别结果所占的置信度的影响值为-0.2，则最终置信度为0.4，判定姿态识别结果不可靠。

从算法本身来讲，算法本身是不知道所得到的姿态识别结果是准确还是不准确的；当置信度低于一定值时，相当于明确告诉使用该姿态识别结果的接口，这帧的识别结果不可信(或不可靠)，进而使用该姿态识别结果的接口不响应该姿态识别结果，直到该接口接收到可信的姿态识别结果时，响应该姿态识别结果。

示例性地，图2是本发明实施例提供的目标人体的第一种姿态示意图，图3是本发明实施例提供的目标人体的第二种姿态示意图，从图2和图3可以看出，图2和图3中的人体姿态只有细微差别，即图2中是手心朝向用户正面面对的物体一侧，图3中是手背朝向用户正面面对的物体一侧，通过姿态识别算法无法区分这类只有细微差别的姿态，但是，手势识别可辅助姿态识别区分一些只有细微差别的姿态，例如针对图2和图3中的两个姿态，手势识别可区分大拇指的方向，可区分手背与手心，进而根据手背与手心的手势识别结果区分图2和图3中的两个姿态，从而提高了视频中姿态识别的精度。

本实施例所述识别方法，获取在姿态识别过程中所得到的手所在位置，进而根据手所在位置确定手所在的预处理区域，对手所在的所述预处理区域进行手势识别，能使姿态识别与手势识别共享部分计算资源，解决了现有技术中因忽略人体姿态识别与手势识别之间的关联性而使得计算代价较高或者计算资源存在不必要浪费的问题。本发明所述技术方案在进行手势识别时，仅需对在姿态识别过程中所得到的手所在位进行处理，而不需要进行独立的手势检测或者跟踪，从而减少了手势识别所需的计算量，直接利用姿态识别进行手的位置推断，快速定位手的位置，并有利于提升手势定位精度，进而提升手势识别精度。另外，利用手势识别结果辅助姿态识别，手势识别结果校准姿态识别，辅助姿态识别区分有细微差异的姿态，提高了姿态识别的识别精度。

图4是本发明实施例提供的一种系统框架示意图，如图4所示，该系统可同时得到人体姿态识别与手势识别的识别结果。将姿态识别与手势检测结合在一起，对于二者的相同步骤进行合并：

人体跟踪或者检测模型负责进行人体跟踪或者检测，确定目标图像中目标人体所在位置；

姿态识别模型负责姿态识别，得到对目标人体的姿态识别结果；

手势识别模型负责手势识别，得到对目标人体的手势识别结果；

手势识别模型无需进行手的单独检测，而是利用了姿态识别模型在进行姿态识别过程中所得到的关于手的(人体关键点)的位置，节省了计算资源；

姿态识别模型借助手势识别模型得到的手势识别结果区分一些只有细微差别的姿态。

实际应用中，姿态识别模型与手势识别模型并不是相互独立的，而是相互促进、相辅相成的。

本系统同样需进行人体跟踪或者检测，但是对于视频中每帧图像，只进行一次人体跟踪或者检测，去掉了手的检测，因此可以加快计算速度，节省计算资源，提升用户交互体验。因为人体姿态包含手在内的人体关键点，所以手的位置可由人体姿态进行推断得到。这种对手的定位方法克服了手的检测或者跟踪不准确的问题，可以提升手势识别精度。即姿态识别可对手势识别起到促进作用，另一方面，手势识别也可对姿态识别起到促进作用。这是因为对于一些区分不明显的姿态，姿态识别存在识别精度低的问题，但是利用手势识别结果，就可以对这些姿态进行更细微的区分，进而提升姿态识别精度，同时，手势识别结果可对姿态识别结果进行校验。

综上，本系统将姿态识别和手势识别进行了有机结合，二者共享计算资源，可相互促进，因此提升了计算速度与精度。

实施例二

本实施例提供了一种识别装置，如图5所示，该装置包括：

获取模块10，用于获取目标图像中目标人体所在位置；

第一识别模块20，用于根据目标人体所在位置确定人体所在的预处理区域，对人体所在的所述预处理区域进行姿态识别，得到对目标人体的姿态识别结果；

第二识别模块30，用于获取在姿态识别过程中所得到的手所在位置，根据手所在位置确定手所在的预处理区域，对手所在的所述预处理区域进行手势识别，得到对目标人体的手势识别结果；

输出模块40，用于输出对目标人体的姿态识别结果以及手势识别结果。

在一实施例中，所述装置还包括校验模块50，用于：

在所述输出模块40输出对目标人体的姿态识别结果以及手势识别结果之前，根据手势识别结果对姿态识别结果进行校验；基于校验结果对所述姿态识别结果进行修正，得到新的姿态识别结果。

作为一种实施方式，所述校验模块50，还用于：

在根据手势识别结果对姿态识别结果进行校验之前，获取姿态识别结果对应的置信度；其中，所述置信度用于表征所述姿态识别结果的可信程度；

若所述置信度超出预设值，则判定不需要执行根据手势识别结果对姿态识别结果进行校验的步骤，并将所述姿态识别结果作为待输出的对目标人体的姿态识别结果；

若所述置信度未超出所述预设值，则判定执行根据手势识别结果对姿态识别结果进行校验的步骤。

作为一种实施方式，所述校验模块50，还用于：

根据所述手势识别结果确定对所述置信度的影响值；

根据所述影响值以及所述姿态识别结果对应的置信度，为所述姿态识别结果确定新的置信度。

在一实施例中，所述装置还包括：

跟踪模块60，用于：

根据接收到的动作指令锁定目标人体；所述动作指令用于指示对发出所述动作指令的对象进行跟踪；

采用人体跟踪算法对所述目标人体进行跟踪，得到跟踪结果；将所述跟踪结果传送至所述获取模块，以由所述获取模块从所述跟踪结果获取目标图像中目标人体所在位置；

校准模块70，用于在所述跟踪模块60对目标人体的跟踪过程中，适时结合人体检测算法校准当前跟踪结果，并在校准完成后通知所述跟踪模块采用所述人体跟踪算法继续后续跟踪。

在一实施例中，所述装置还包括：

人体检测模块80，用于：根据获取到的目标人体的相关特征信息锁定目标人体，并对所述目标人体进行标识；采用人体检测算法进行人体检测，得到检测结果；将所述检测结果传送至所述获取模块，以由所述获取模块从所述检测结果获取目标图像中被标识为目标人体的人体所在位置。

本领域技术人员应当理解，图5中所示的识别装置中的各处理模块的实现功能可参照前述识别方法的相关描述而理解。本领域技术人员应当理解，图5所示的识别装置中各处理单元的功能可通过运行于处理器上的程序而实现，也可通过具体的逻辑电路而实现。

实际应用中，上述获取模块10获取信息的方式不同，则结构不同；从客户端接收时，它是通信接口；自动采集时，它对应的是图像采集器。上述第一识别模块20、第二识别模块30、输出模块40、校验模块50、跟踪模块60、校准模块70、人体检测模块80的具体结构均可对应于处理器。所述处理器具体的结构可以为中央处理器(CPU，Central ProcessingUnit)、微处理器(MCU，Micro Controller Unit)、数字信号处理器(DSP，Digital SignalProcessing)或可编程逻辑器件(PLC，Programmable Logic Controller)等具有处理功能的电子元器件或电子元器件的集合。其中，所述处理器包括可执行代码，所述可执行代码存储在存储介质中，所述处理器可以通过总线等通信接口与所述存储介质中相连，在执行具体的各单元的对应功能时，从所述存储介质中读取并运行所述可执行代码。所述存储介质用于存储所述可执行代码的部分优选为非瞬间存储介质。

所述第一识别模块20、第二识别模块30、输出模块40、校验模块50、跟踪模块60、校准模块70、人体检测模块80可以集成对应于同一处理器，或分别对应不同的处理器；当集成对应于同一处理器时，所述处理器采用时分处理所述第一识别模块20、第二识别模块30、输出模块40、校验模块50、跟踪模块60、校准模块70、人体检测模块80对应的功能。

本发明提出的识别装置，通过将人体姿态识别与手势识别进行有机结合，二者共享部分计算资源，可同时输出人体姿态识别与手势识别，节省计算资源，提升计算速度。另外，本发明提出的识别装置，在进行手势识别时，仅需对在姿态识别过程中所得到的手所在位进行处理，而不需要进行独立的手势检测或者跟踪，从而减少了手势识别所需的计算量，直接利用姿态识别进行手的位置推断，快速定位手的位置，并有利于提升手势定位精度，进而提升手势识别精度。再有，本发明提出的识别装置，利用手势识别结果辅助姿态识别，利用手势识别结果校准姿态识别，辅助姿态识别区分有细微差异的姿态，提高了姿态识别的识别精度。

本发明实施例还记载了一种计算机存储介质，所述计算机存储介质中存储有计算机可执行指令，所述计算机可执行指令用于执行前述各个实施例所述的识别方法。也就是说，所述计算机可执行指令被处理器执行之后，能够实现前述任意一个技术方案提供的识别方法。

本领域技术人员应当理解，本实施例的计算机存储介质中各程序的功能，可参照前述各实施例所述的识别方法的相关描述而理解。

实施例三

基于实施例一和实施例二所述的识别方法和装置，下面给出具体应用在机器人上的应用场景。

实际应用中，机器人通过上述识别方法及装置获得姿态识别与手势识别的识别结果，并根据姿态识别与手势识别的识别结果进行人机交互。

具体地，机器人利用上述识别方法得到姿态识别结果与手势识别结果，进而根据目标对象的姿态识别结果与手势识别结果判断目标对象是否发出动作指令，当判定目标对象发出动作指令时，执行对应的动作指令。

比如检测到目标对象的姿态识别结果为编号1，进而可以查找与编号1对应的控制指令1，假设控制指令1为停止跟随，则机器人基于该控制指令1停止对目标对象的跟随。再比如，检测到目标对象的姿态识别结果为编号2，进而可以查找与编号2对应的控制指令2，假设控制指令2为开始跟随，则机器人基于该控制指令2开始对目标对象实施跟随。

再比如，机器人检测得到的手势识别结果为大拇指指向胸前，基于此判断出该操作用于表征请跟随我的动作指令，则机器人开始跟踪发出该动作指令的目标对象。又比如，机器人检测得到的手势识别结果为右手举起，判断出该操作用于表征停止前进的动作指令，则机器人停止前进。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (13)

1.一种识别方法，其特征在于，所述方法包括：

获取目标图像中目标人体所在位置；

根据目标人体所在位置确定人体所在的预处理区域，对人体所在的所述预处理区域进行姿态识别，得到对目标人体的姿态识别结果；

获取在姿态识别过程中所得到的手所在位置，根据手所在位置确定手所在的预处理区域，对手所在的所述预处理区域进行手势识别，得到对目标人体的手势识别结果；

输出对目标人体的姿态识别结果以及手势识别结果。

2.如权利要求1所述的方法，其特征在于，所述输出对目标人体的姿态识别结果以及手势识别结果之前，所述方法还包括：

根据手势识别结果对姿态识别结果进行校验；

基于校验结果对所述姿态识别结果进行修正，得到新的姿态识别结果。

3.如权利要求2所述的方法，其特征在于，所述根据手势识别结果对姿态识别结果进行校验之前，所述方法还包括：

获取姿态识别结果对应的置信度；其中，所述置信度用于表征所述姿态识别结果的可信程度；

若所述置信度超出预设值，则判定不需要执行根据手势识别结果对姿态识别结果进行校验的步骤，并将所述姿态识别结果作为待输出的对目标人体的姿态识别结果；

若所述置信度未超出所述预设值，则判定执行根据手势识别结果对姿态识别结果进行校验的步骤。

4.如权利要求3所述的方法，其特征在于，所述基于校验结果对所述姿态识别结果进行修正，得到新的姿态识别结果，包括：

根据所述手势识别结果确定对所述置信度的影响值；

根据所述影响值以及所述姿态识别结果对应的置信度，为所述姿态识别结果确定新的置信度。

5.如权利要求1所述的方法，其特征在于，所述获取目标图像中目标人体所在位置，包括：

根据接收到的动作指令锁定目标人体；所述动作指令用于指示对发出所述动作指令的对象进行跟踪；

采用人体跟踪算法对所述目标人体进行跟踪，得到跟踪结果；其中，在跟踪过程中，适时结合人体检测算法校准当前跟踪结果，并在校准完成后采用所述人体跟踪算法继续后续跟踪；

从所述跟踪结果获取目标图像中目标人体所在位置。

6.如权利要求1所述的方法，其特征在于，所述获取目标图像中目标人体所在位置，包括：

根据获取到的目标人体的相关特征信息锁定目标人体，并对所述目标人体进行标识；

采用人体检测算法进行人体检测，得到检测结果；

从所述检测结果获取目标图像中被标识为目标人体的人体所在位置。

7.一种识别装置，其特征在于，所述装置包括：

获取模块，用于获取目标图像中目标人体所在位置；

第一识别模块，用于根据目标人体所在位置确定人体所在的预处理区域，对人体所在的所述预处理区域进行姿态识别，得到对目标人体的姿态识别结果；

第二识别模块，用于获取在姿态识别过程中所得到的手所在位置，根据手所在位置确定手所在的预处理区域，对手所在的所述预处理区域进行手势识别，得到对目标人体的手势识别结果；

输出模块，用于输出对目标人体的姿态识别结果以及手势识别结果。

8.如权利要求7所述的装置，其特征在于，所述装置还包括校验模块，用于：

在所述输出模块输出对目标人体的姿态识别结果以及手势识别结果之前，根据手势识别结果对姿态识别结果进行校验；基于校验结果对所述姿态识别结果进行修正，得到新的姿态识别结果。

9.如权利要求8所述的装置，其特征在于，所述校验模块，还用于：

在根据手势识别结果对姿态识别结果进行校验之前，获取姿态识别结果对应的置信度；其中，所述置信度用于表征所述姿态识别结果的可信程度；

若所述置信度超出预设值，则判定不需要执行根据手势识别结果对姿态识别结果进行校验的步骤，并将所述姿态识别结果作为待输出的对目标人体的姿态识别结果；

若所述置信度未超出所述预设值，则判定执行根据手势识别结果对姿态识别结果进行校验的步骤。

10.如权利要求9所述的装置，其特征在于，所述校验模块，还用于：

根据所述手势识别结果确定对所述置信度的影响值；

根据所述影响值以及所述姿态识别结果对应的置信度，为所述姿态识别结果确定新的置信度。

11.如权利要求7所述的装置，其特征在于，所述装置还包括：

跟踪模块，用于：根据接收到的动作指令锁定预先确定目标人体；所述动作指令用于指示对发出所述动作指令的对象进行跟踪；采用人体跟踪算法对所述目标人体进行跟踪，得到跟踪结果；将所述跟踪结果传送至所述获取模块，以由所述获取模块从所述跟踪结果获取目标图像中目标人体所在位置；

校准模块，用于在所述跟踪模块对目标人体的跟踪过程中，适时结合人体检测算法校准当前跟踪结果，并在校准完成后通知所述跟踪模块采用所述人体跟踪算法继续后续跟踪。

12.如权利要求7所述的装置，其特征在于，所述装置还包括：

人体检测模块，用于：根据获取到的目标人体的相关特征信息锁定目标人体，并对所述目标人体进行标识；采用人体检测算法进行人体检测，得到检测结果；将所述检测结果传送至所述获取模块，以由所述获取模块从所述检测结果获取目标图像中被标识为目标人体的人体所在位置。

13.一种计算机存储介质，所述计算机存储介质中存储有计算机可执行指令，所述计算机可执行指令用于执行权利要求1至6任一项所述的识别方法。

Images