CN102799263A - 一种姿态识别方法及姿态识别控制系统 - Google Patents

Abstract

本发明公开了一种姿态识别方法及姿态识别控制系统，姿态识别方法包括：对摄像装置采集的肢体动作图像进行预处理，提取出仅包含肢体动作区域的图像数据；提取图像数据的肢体动作特征，确定肢体摆放姿势，判断肢体运动状态；确定与肢体运动状态相对应的红外遥控指令，查询预先存储的红外遥控指令，调制红外遥控指令，进行相应的控制操作。控制系统包括:图像采集单元、图像处理单元、存储单元、动作识别单元和红外遥控单元。本发明免去了红外感光手套或者传感器对用户的限制，方便了用户操作；而且采用只识别肢体动作的方向和速度而不识别肢体运动轨迹的处理方法，使得系统的处理速度得到了很大提高。

Description

一种姿态识别方法及姿态识别控制系统

技术领域

本发明涉及姿态识别控制系统，尤其涉及的是一种基于非接触式姿态识别方法及姿态识别控制系统。

背景技术

现有的基于姿态识别的控制技术，大多将姿态识别的对象限制为人的整体姿态或者人的手部姿态。

使用整体姿态作为识别对象的专利，大多需要建立复杂的人体模型和构建姿态模板数据库，通过分类器将提取的特征与模板数据库进行比较，进行人体姿势匹配。该类专利需要识别的姿态较复杂导致姿态识别算法也很复杂。并且，此类专利多应用于跳舞机、卡拉ok等娱乐设备。并不适用于家用电器以及工业装置的控制。

使用手部姿态作为识别对象的专利，多要求用户佩戴红外敏感材料的手套，利用红外敏感材料的物理特性来采集手部动作图像。并且，遥控装置只能识别规定的手势动作。这些方法不仅增加了人为限制，约束了使用者，而且对手部动作要求严格，需要使用者在使用前熟记标准操作手势，严重影响了用于对家用电器的控制。

因此，现有技术还有待于改进和发展。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种基于非接触式姿态识别方法及姿态识别控制系统，只通过识别用户的肢体动作的方向和速度对电器实现控制，而不限制用户肢体动作的运动轨迹，简单易行，方便用户操作。

本发明解决技术问题所采用的技术方案如下：

一种姿态识别方法，其中，包括步骤：

A、摄像装置采集用户的肢体动作，连续采集多帧肢体动作图像；

B、对采集的肢体动作图像进行预处理，提取出仅包含肢体动作区域的图像数据；

C、对所述图像数据进行动作识别，提取所述图像数据的肢体动作特征，确定肢体摆放姿势，并根据所述肢体摆放姿势判断肢体运动状态；

D、确定与所述肢体运动状态相对应的红外遥控指令，查询预先存储的红外遥控指令，并将所述红外遥控指令调制为红外遥控信号，进行相应的遥控控制操作。

所述的方法，其中，所述步骤B中对采集的肢体动作图像进行预处理的方法包括：

B1、对摄像装置采集的连续四帧肢体动作图像采用帧间差分法进行处理，即将前两帧肢体动作图像和后两帧肢体动作图像分别作差分运算，获取两帧灰度图像；

B2、将两帧灰度图像二值化，采用均值滤波法过滤白色噪声点，并通过八连通域法计算所有白色区域的面积；

B3、将固定面积阀值范围内的白色区域确定为肢体动作区域。

所述的方法，其中，在步骤C中对所述图像数据进行动作识别的方法包括：

提取所述图像数据的肢体动作区域外切四边形以及所述外切四边形的中点位置；

根据所述外切四边形的长宽比确定肢体摆放姿势，并根据摆放姿势确定开关机动作或者肢体运动方向。

所述的方法，其中，根据摆放姿势确定开关机动作或者肢体运动方向的步骤包括：

如果连续两帧灰度图像中肢体动作区域外切四边形的中点位置在预定阈值范围内，且两帧灰度图像中肢体动作区域外切四边形面积比大于等于一预定值，则判断肢体运动状态为前后运动的开关机动作，直接查询开关机指令，进行开关机操作，否则需要判断肢体运动状态为左右运动或为上下运动；

如果肢体运动状态不是开关机动作且连续两帧灰度图像的所述摆放姿态相同，面积比小于预定值，肢体动作区域高度大于宽度，则判断肢体运动状态为左右运动；

如果肢体运动状态不是开关机动作且连续两帧灰度图像的所述摆放姿态相同，面积比小于预定值，且肢体动作区域高度小于宽度，则判断肢体运动状态为上下运动。

所述的方法，其中，如果连续两帧灰度图像中肢体动作区域外切四边形的中点位置不在预定阈值范围内且所述摆放姿态不相同，则去除第一帧灰度图像，将第二帧灰度图像与后续第三帧灰度图像按照根据摆放姿势确定开关机动作或者肢体运动方向的步骤进行处理和动作识别。

所述的方法，其中，在判断肢体运动状态为左右运动或者上下运动后，还包括步骤：

根据两帧灰度图像中肢体动作区域的中点位置确定肢体运动的距离，并通过图像采集周期确定肢体运动的时间，根据距离和时间即可计算出肢体运动的速度。

所述的方法，其中，所述肢体运动的方向对应调节待调节项增减的红外遥控指令，所述肢体运动的速度对应调节的幅度。

所述的方法，其中，采用一个视频摄像头进行肢体动作图像的实时采集；以及通过FIFO缓冲器存储实时采集的肢体动作图像。

一种姿态识别控制系统，其中，包括：

图像采集单元，用于采集用户肢体动作，连续采集多帧肢体动作图像；

存储单元，用于图像处理单元与动作识别单元之间共享实时图像数据；

图像处理单元，用于对所述图像采集单元采集的肢体动作图像进行预处理，提取出仅包含肢体动作区域的图像数据；

动作识别单元，用于对所述图像处理单元处理后的所述图像数据进行动作识别，提取所述图像数据的肢体动作特征，确定肢体摆放姿势，并根据所述肢体摆放姿势判断肢体运动状态；以及查询预先存储的红外遥控指令，确定与所述肢体运动状态相对应的红外遥控指令，并将所述红外指令调制为红外遥控信号；

红外遥控单元，用于预先接收与电器设备配套的红外遥控器的红外遥控信号，并将所述红外遥控信号解调为红外遥控指令，存储在所述动作识别单元中，以及接收动作识别单元发送的红外遥控指令，并将红外遥控指令调制成红外遥控信号，对电器设备进行相应的遥控操作。

所述的姿态识别控制系统，其中，所述红外遥控单元还包括：

红外接收单元，用于接收与电器设备配套的红外遥控器发送的红外遥控信号，并解调为红外遥控指令，发送给所述动作识别单元进行存储；

红外发射单元，用于接收所述动作识别单元发送的红外遥控指令，并将红外遥控指令调制成红外遥控信号，遥控电器设备进行相应操作。

本发明所提供的姿态识别方法及姿态识别控制系统，包括姿态识别方法与控制系统构成。姿态识别方法包括：对摄像装置采集的肢体动作图像进行预处理，提取出仅包含肢体动作区域的图像数据；提取图像数据的肢体动作特征，确定肢体摆放姿势，判断肢体运动状态；确定与肢体运动状态相对应的红外遥控指令，查询预先存储的红外遥控指令，调制红外遥控指令，进行相应的控制操作。控制系统构成包括:图像采集单元、图像处理单元、存储单元、动作识别单元和红外遥控单元。本发明免去了红外感光手套或者传感器对用户的限制，方便了用户操作；而且采用只识别肢体动作的方向和速度而不识别肢体运动轨迹的处理方法，使得系统的处理速度得到了很大提高。

附图说明

图1为本发明姿态识别方法的流程图。

图2为本发明动作识别的方法流程图。

图3为本发明姿态识别控制系统的系统框图。

图4为本发明姿态识别控制系统中红外遥控单元的结构框图。

图5为本发明姿态识别控制系统中图像采集单元的结构框图。

图6为实现本发明姿态识别控制系统的一较佳方法算法流程图。

图7a、图7b分别为本发明的图像采集单元获取的连续两帧肢体动作图像的示意图。

图7c、图7d和图7e分别为本发明对图2a和图2b进行图像处理后的示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

参见图1，图1本发明提供的姿态识别方法的流程图，包括以下步骤：

步骤S100、摄像装置采集用户肢体动作，连续采集多帧肢体动作图像；

步骤S200、对采集的肢体动作图像进行预处理，提取出仅包含肢体动作区域的图像数据；

步骤S300、对所述图像数据进行动作识别，提取所述图像数据的肢体动作特征，确定肢体摆放姿势，并根据所述肢体摆放姿势判断肢体运动状态；

步骤S400、确定与所述肢体运动状态相对应的红外遥控指令，查询预先存储的红外遥控指令，并将所述红外指令解调为红外遥控信号，对电器进行相应的控制操作。

下面对上述各个步骤进行详细描述和说明。

在步骤S100中，本发明所采用的摄像装置为一个CMOS数字彩色/黑白视频摄像头，通过该CMOS数字彩色/黑白视频摄像头对用户的肢体动作进行采集，连续采集多帧肢体动作图像，对肢体动作图像的获取是实时的，因此，只要用户有肢体动作摄像装置都会记录下来。在采集之后通过两个FIFO缓冲器进行实时的存储。两个FIFO缓冲器分别用于存储彩色和黑白图像，FIFO缓冲器与摄像头采集速度同步，使得一帧完整的肢体动作图像能够被图像处理单元异步读取。

进一步地，在步骤S200中，对摄像装置采集的连续四帧肢体动作图像采用帧间差分法进行处理，将相邻的两帧肢体动作图像作差分运算，获取两帧灰度图像；将两帧灰度图像二值化，并采用均值滤波法过滤白色噪声点；再通过八连通域法计算所有白色区域的面积，为了确定肢体动作区域，设置一固定阀值，如果白色区域的面积在该固定阀值范围内，则将固定阀值范围内的面积区域确定为肢体动作区域，其他区域赋值为背景。需要指出的是，对四帧肢体动作图像采用帧间差分法作差分运算，能够容易的将包含有肢体动作的区域给分离出来，因为其他区域并没有发生变化，而帧间差分法相对其他图像处理方法运算简单，便于处理，当然也不限于该方法；对经过二值化的灰度图像过滤掉白色噪声点并不限于均值滤波法，均值滤波法是一种通用的线性滤波算法，用均值代替原图像中的各个像素值，能够很好的将白色噪声点给过滤掉，方法简单。同时计算所有白色区域的面积也不限于八连通域法，这是图像处理中的一种常用算法，再此不再赘述。

步骤S200是对肢体动作图像的预处理过程，下面以四帧肢体动作图像为例对上述过程进行具体说明，参见图7a、7b、7c、7d和7e所示图像。几个图像均为效果示意图，图7a和图7b分别为摄像装置采集的连续两帧肢体动作图像111和112，对连续的两帧肢体动作图像111和112采用帧间差分法，得到差分后的图像21（附图7c），对差分后的图像21进行二值化得到附图7d所示的图像，再经过去噪声点后得到附图7e所示的图像，从附图7e中可以看出，图中白色区域即为肢体动作区域。

在步骤S300中对所述图像数据进行姿态识别时，提取图像数据的肢体动作区域外切四边形以及该外切四边形的中点位置，对肢体动作区域进行识别处理时使用外切四边形最简单，因为在算法中对一帧图像进行四个循环的扫描，可以将运动区域四个方向的最外围的边界点找到，根据这四个点就可以很容易的确定动作区域外切四边形。

在确定肢体动作区域外切四边形后，根据所述外切四边形的长宽比（或者高宽比）确定肢体摆放姿势，由于肢体动作是使用者操作的动态过程，摄像头提取图像时拍摄的是静态的一帧帧的图像，而图像上显示的静态的肢体动作称为摆放姿势。

根据摆放姿势确定开关机动作或者肢体运动方向，具体方法为：

如果连续两帧图像中肢体动作区域外切四边形的中点位置在预定阈值范围内，且两帧灰度图像中肢体动作区域外切四边形面积比大于等于一预定值，则判断肢体运动状态为前后运动的开关机动作，本实施例中，该预定值为1.5，但并不限于1.5。如果肢体运动状态不是开关机动作且连续两帧灰度图像的所述摆放姿态相同，面积比小于预定值1.5，且肢体动作区域高度大于宽度，则判断肢体运动状态为左右运动。

如果肢体运动状态不是开关机动作且连续两帧灰度图像的所述摆放姿态相同，面积比小于预定值1.5，且肢体动作区域高度小于宽度，则判断肢体运动状态为上下运动。

如果连续两帧灰度图像的所述摆放姿态不相同，则去除第一帧灰度图像，将第二帧灰度图像与后续第三帧灰度图像按照根据摆放姿势确定开关机动作或者肢体运动方向的步骤进行处理和动作识别。

进一步地，判断肢体运动状态为开关机动作后，直接查找预存的红外遥控指令中的开关机指令，并调制为红外遥控信号进行开关机操作；在判断肢体运动状态为左右运动或者上下运动后，根据两帧灰度图像中肢体动作区域的中点位置确定肢体运动的距离，并通过图像采集周期确定肢体运动的时间，根据肢体运动的距离和图像采集的时间即可计算出肢体运动的速度。其中，肢体运动的方向体现使用者对被遥控电器设备的动作要求，而肢体运动的方向对应待调节项增减的红外遥控指令，比如说在使用本发明遥控电视机时，左右运动和上下运动分别对应频道增减和音量增减的红外遥控指令。而肢体运动的速度体现使用者对被遥控电器设备的操作次数以及调节的幅度。例如，使用者使用本发明的方案调节电视机音量时，若使用者的手部从左至右快速滑动一次，代表音量加一；使用者的手部从左至右缓慢滑动，根据预先算法设定的物体运行速度与被遥控电器动作次数的关系，音量可以连续增加。

本发明的肢体动作并不仅限于调节频道和音量，还可用于空调中风速的调节等等，该处只是举例说明，其可应用到其他电器设备进行相应选项增减的调节，具体的调节选项可以根据用户的喜好进行个性化设定。

在确定了肢体动作的运动状态之后，执行步骤S400，预先通过识别原红外遥控器发射的红外遥控信号，解调该红外遥控信号为红外遥控指令，并将该红外遥控指令存储起来，再根据动作识别结果查询相应存储空间，调用相应红外遥控指令，并将红外遥控指令调制成红外遥控信号，发送至红外遥控单元。肢体动作含义和红外遥控指令的对应关系可以根据用户需求进行设定，比如将表示开关机的红外指令对应肢体的前后推进，将表示增减频道的红外指令对应肢体的上下运动，将表示增减音量的红外指令对应肢体的左右运动等等，也可为其他方式，这个对应关系可以通过两种方式进行设置。第一种方式是在算法中改变动作识别结果与红外遥控指令存储地址之间的对应关系；第二种方式是在红外遥控单元学习原遥控器的红外遥控信号时，改变与被控电器配套的红外遥控信号的发射顺序。

通过上述步骤完成了对电器设备的控制。下面以手部姿态遥控电视机为例继续描述和说明，日常使用电视机遥控器时，最长用的几个按键是开\关机键、频道增减和音量增减五个按键。为了使用本发明来遥控电视机实现上述五个按键的功能，首先，需要将该系统的红外遥控装置放置在红外遥控有效的范围内，并使用传统的红外遥控器将五个按键的红外遥控信号依次发送给红外遥控装置，使得本系统能够学习原红外遥控信号。之后，使用者便可在摄像头的拍摄范围内，使用手部上下左右移动，也可以是沿非直线轨迹运动，但运动轨迹必须在与摄像头等距离的平面上，控制音量增减和频道增减。手部移动的速度决定了音量增减和频道增减的快慢。最后，使用者的手部任意姿态向摄像头方向推进不少于20cm，电视机执行开\关机动作，该动作的判断条件与使用者的手势和摄像头的距离相关。

上述控制方法中还提供了一种姿态识别方法，包括：步骤S301、对经过预处理的肢体动作图像进行识别，提取所述肢体动作图像中肢体动作区域的外切四边形以及所述外切四边形的中点位置；步骤S302、根据所述外切四边形的长宽比确定肢体摆放姿势，并根据摆放姿势确定开关机动作或者肢体运动方向。具体如图2所示，其中，所述预处理过程包括：对摄像装置采集的连续四帧肢体动作图像采用帧间差分法进行处理，获取两帧灰度图像；将两帧灰度图像二值化；采用均值滤波法过滤白色噪声点；并通过八连通域法计算所有白色区域的面积；将固定阀值范围内的面积区域确定为肢体动作区域。根据摆放姿势确定开关机动作或者肢体运动方向的步骤如上所述，再此不再赘述。

基于本发明提供的上述姿态识别方法，本发明提供了一种非接触式姿态识别及控制系统，如图3所示，包括：

图像采集单元10，用于采集用户肢体动作，连续采集多帧肢体动作图像；

存储单元30，用于图像处理单元20与动作识别单元40之间共享实时图像数据；

图像处理单元20，用于对所述图像采集单元10采集的肢体动作图像进行预处理，提取出仅包含肢体动作区域的图像数据；

动作识别单元40，用于对所述图像处理单元20处理后的所述图像数据进行动作识别，提取所述图像数据的肢体动作特征，确定肢体摆放姿势，并根据所述肢体摆放姿势判断肢体运动状态；确定与所述肢体运动状态相对应的红外遥控指令，以及查询预先存储的红外遥控指令，并将所述红外指令调制为红外遥控信号；

红外遥控单元50，用于预先接收与电器设备配套的红外遥控器发送的红外遥控信号，并将所述红外遥控信号解调为红外遥控指令，存储在所述动作识别单元40中，以及接收动作识别单元40发送的红外遥控信号对电器设备进行相应的控制操作。

进一步地，如图4所示，所述红外遥控单元50还包括：红外接收单元51，用于接收与电器设备配套的红外遥控器发送的红外遥控信号，并解调为红外遥控指令，发送给所述动作识别单元40进行存储；红外发射单元52，用于发射所述动作识别单元40发送的红外遥控信号，控制电器设备进行相应的操作。

进一步地，如图5所示，所示图像采集单元10包括一个视频摄像头11和FIFO缓冲器12。

本实施例中的图像处理单元和动作识别单元可以采用MCU单元，例如AT32UC3A系列单片机或者TMS320F280x系列单片机等等。

上述姿态识别控制系统进行姿态识别的原理通过一较佳实施例进行说明，参见图6，通过摄像头采集图像，并将采集的图像存入FIFO缓冲器中，图像处理单元提取四帧图像，分别为图像111、112、113、114，对图像111和112以及图像113和114分别采用帧间差分法进行处理得到图像21和43，并预处理得到一帧图像12和34，比较图像34和12中白色区域面积，如果图像34的白色区域面积与图像12的白色区域面积比大于1.5，则直接查询对应的红外指令，并计算发射该指令的次数，调用红外发射单元发射指令，进行相应的控制操作；否则比较图像34的白色区域高宽比和图像12的白色区域高宽比，如果都大于1，则转入左右方向判断，并进行方向的判断以及速度的计算，之后查询对应的红外遥控指令并计算发送该指令的次数，调用红外发射单元发射红外遥控指令；如果图像34的白色区域高宽比和图像12的白色区域高宽比都小于1，则进行肢体动作上下方向判断，判断肢体动作方向并计算速度。如果图像12和34都不满足上述判断条件则重新从缓冲器中提取肢体动作图像继续分析判断。

当然本发明不仅仅用于对电器设备的控制，还可以用于一些工业装置的控制。本发明对使用者姿态没有太多限制，使用者使用手、脚或者其他肢体进行操作均可，且不限制使用者姿态的运动轨迹，而只关心运动方向和速度。操作起来更加的方便。

应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种姿态识别方法，其特征在于，包括步骤：

A、摄像装置采集用户的肢体动作，连续采集多帧肢体动作图像；

B、对采集的肢体动作图像进行预处理，提取出仅包含肢体动作区域的图像数据；

C、对所述图像数据进行动作识别，提取所述图像数据的肢体动作特征，确定肢体摆放姿势，并根据所述肢体摆放姿势判断肢体运动状态；

D、确定与所述肢体运动状态相对应的红外遥控指令，查询预先存储的红外遥控指令，并将所述红外遥控指令调制为红外遥控信号，进行相应的遥控控制操作。

2.根据权利要求1所述的方法，其特征在于，所述步骤B还包括：

B1、对摄像装置采集的连续四帧肢体动作图像采用帧间差分法进行处理，即将前两帧肢体动作图像和后两帧肢体动作图像分别作差分运算，获取两帧灰度图像；

B2、将两帧灰度图像二值化，采用均值滤波法过滤白色噪声点，并通过八连通域法计算所有白色区域的面积；

B3、将固定阀值范围内的面积区域确定为肢体动作区域。

3.根据权利要求1或2所述的方法，其特征在于，在步骤C中对所述图像数据进行动作识别的方法包括：

提取所述图像数据的肢体动作区域外切四边形以及所述外切四边形的中点位置；

根据所述外切四边形的长宽比确定肢体摆放姿势，并根据摆放姿势确定开关机动作或者肢体运动方向。

4.根据权利要求3所述的方法，其特征在于，根据摆放姿势确定开关机动作或者肢体运动方向的步骤包括：

如果连续两帧灰度图像中肢体动作区域外切四边形的中点位置在预定阈值范围内，且两帧灰度图像中肢体动作区域外切四边形面积比大于等于一预定值，则判断肢体运动状态为前后运动的开关机动作，直接查询开关机指令，进行开关机操作，否则判断肢体运动状态为左右运动或为上下运动；

如果肢体运动状态不是开关机动作且连续两帧灰度图像的所述摆放姿态相同，面积比小于预定值，肢体动作区域高度大于宽度，则判断肢体运动状态为左右运动；

如果肢体运动状态不是开关机动作且连续两帧灰度图像的所述摆放姿态相同，面积比小于预定值，且肢体动作区域高度小于宽度，则判断肢体运动状态为上下运动。

5.根据权利要求4所述的方法，其特征在于，如果连续两帧灰度图像中肢体动作区域外切四边形的中点位置不在预定阈值范围内且所述摆放姿态不相同，则去除第一帧灰度图像，将第二帧灰度图像与后续第三帧灰度图像按照权利要求4所述步骤进行处理和动作识别。

6.根据权利要求4所述的方法，其特征在于，在判断肢体运动状态为左右运动或者上下运动后，还包括步骤：

根据两帧灰度图像中肢体动作区域的中点位置确定肢体运动的距离，并通过图像采集周期确定肢体运动的时间，根据距离和时间即可计算出肢体运动的速度。

7.根据权利要求6所述的方法，其特征在于，所述肢体运动的方向对应调节待调节项增减的红外遥控指令 所述肢体运动的速度对应调节的幅度。

8.根据权利要求1所述的方法，其特征在于，采用一个视频摄像头进行肢体动作图像的实时采集；以及通过FIFO缓冲器存储实时采集的肢体动作图像。

9.一种姿态识别控制系统，其特征在于，包括：

图像采集单元，用于采集用户肢体动作，连续采集多帧肢体动作图像；

存储单元，用于图像处理单元与动作识别单元之间共享实时图像数据；

图像处理单元，用于对所述图像采集单元采集的肢体动作图像进行预处理，提取出仅包含肢体动作区域的图像数据；

动作识别单元，用于对所述图像处理单元处理后的所述图像数据进行动作识别，提取所述图像数据的肢体动作特征，确定肢体摆放姿势，并根据所述肢体摆放姿势判断肢体运动状态；确定与所述肢体运动状态相对应的红外遥控指令，以及查询预先存储的红外遥控指令，并将所述红外指令调制为红外遥控信号；

红外遥控单元，用于预先接收与电器设备配套的红外遥控器的红外遥控信号，并将所述红外遥控信号解调为红外遥控指令，存储在所述动作识别单元中，以及接收动作识别单元发送的红外遥控指令，并将红外遥控指令调制成红外遥控信号，对电器设备进行相应的遥控操作。

10.根据权利要求9所述的姿态识别控制系统，其特征在于，所述红外遥控单元还包括：

红外接收单元，用于接收与电器设备配套的红外遥控器发送的红外遥控信号，并解调为红外遥控指令，发送给所述动作识别单元进行存储；

红外发射单元，用于接收所述动作识别单元发送的红外遥控指令，并将红外遥控指令调制成红外遥控信号，遥控电器设备进行相应操作。

Images