CN102521579B - 一种基于二维平面摄像头推的动作识别方法及系统 - Google Patents
一种基于二维平面摄像头推的动作识别方法及系统 Download PDFInfo
- Publication number
- CN102521579B CN102521579B CN201110432693.8A CN201110432693A CN102521579B CN 102521579 B CN102521579 B CN 102521579B CN 201110432693 A CN201110432693 A CN 201110432693A CN 102521579 B CN102521579 B CN 102521579B
- Authority
- CN
- China
- Prior art keywords
- hand
- contour
- motion
- current
- pushing action
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000009471 action Effects 0.000 title claims abstract description 51
- 238000000034 method Methods 0.000 title claims abstract description 49
- 239000013598 vector Substances 0.000 claims abstract description 26
- 238000012545 processing Methods 0.000 claims abstract description 22
- 238000001514 detection method Methods 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000007797 corrosion Effects 0.000 claims description 3
- 238000005260 corrosion Methods 0.000 claims description 3
- 230000003993 interaction Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 7
- 238000012790 confirmation Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 241000287196 Asthenes Species 0.000 description 1
- 101150064138 MAP1 gene Proteins 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 101150077939 mapA gene Proteins 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于二维平面摄像头推的动作识别方法及系统，所述方法包括：获取包括人在内的视频图像，并划定手部检测区域；对分割出的手部进行二值化处理获取相应的手部轮廓；将划分出的当前手部轮廓与预先设定的一标准手部轮廓进行对比，判别是否正在进行手部推的动作；当轮廓相似度大于设定的阈值T时，则认为是正在进行手部推的动作，并提取正在进行手部推的动作的手部区域，提取包围手部轮廓最小的长方形中心，构建历史运动图；对建立的历史运动图，利用方向梯度向量识别手部推的动作，本发明方法算法简单，动作识别率高，同时也减少了用户记忆的负担。
Description
技术领域
本发明涉及计算机视频图像处理技术领域，尤其涉及的是一种基于二维平面摄像头推的动作识别方法及系统。
背景技术
目前基于计算机视觉技术的人机交互由最初的文本交互到键盘鼠标，再到触摸和隔空操作进行交互，最终朝着友好简易自然的方向发展着，目前在二维平面下的人机交互中，人们大多采用一种静态固定姿势来表示确认或者进入，此方法虽然有一定的优点，但是现有技术的采用静态固定姿势来表示确认或者进入，操作非常不方便，不够自然，加大了用户对各种固定姿势的记忆负担，并且现有技术的二维平面下的人机交互普遍存在算法复杂，动作识别效率不高的问题。
因此，现有技术还有待于改进和发展。
发明内容
本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种基于二维平面摄像头推的动作识别方法及系统，提出了一种新的更合适用户操作习惯的人机交互方法，本发明方法算法简单，动作识别率高，在自然性上很大程度上有所提高，同时也减少了用户记忆的负担，使得用户能在二维平面下也能很好的有深度感觉。
本发明解决技术问题所采用的技术方案如下：
一种基于二维平面摄像头推的动作识别方法，其中，包括步骤：
A、通过开启的视频图像采集装置获取包括人在内的视频图像，并在所述视频图像划定手部检测区域；
B、利用肤色信息分割手部，并对分割出的手部进行二值化处理获取相应的手部轮廓，划分出当前手部轮廓得到完整手部的运动目标；
C、将划分出的当前手部轮廓与预先设定的一标准手部轮廓进行对比，判别是否正在进行手部推的动作；当轮廓相似度大于设定的阈值T时，则认为是正在进行手部推的动作，并提取正在进行手部推的动作的手部区域；
D、提取包围手部轮廓的长方形中心手部区域图像，以及通过对连续的长方形中心手部区域图像实时分层叠加并赋予不同的值构建历史运动图；
E、对建立的历史运动图，利用方向梯度向量识别手部推的动作。
所述基于二维平面摄像头推的动作识别方法，其中，所述步骤A具体包括：
A1、开启并调整视频图像采集装置，获取包括人在内的视频图像；
A2、通过Adaboost和haar特征算法对输入的所述视频图像的人脸区域进行快速人脸检测，并将人脸大小以及位置信息提取出来；
A3、并在人脸的其中一侧划分一块手部检测区域。
所述基于二维平面摄像头推的动作识别方法，其中，所述步骤B中的利用肤色信息分割手部得到完整手部的运动目标具体包括：
B11、将视频图像的RGB图像系列转换到YCbCr空间，对于RGB图像与YCbCr空间之间的转换如下：
B12、当一个像素点的Cb和Cr值同时满足：133≤Cr≤173和77≤Cb≤127则该像素点被判定为具有皮肤色；
B13、根据被判定为具有皮肤色的像素点的集合分割出所述手部。
所述基于二维平面摄像头推的动作识别方法，其中，所述步骤B中的划分出当前手部轮廓具体包括：
B21、对分割出的手部区域进行二值化处理；
B22、采用形态学中的腐蚀运算，将进行二值化处理的手部区域中的孤立的小区域去除掉；
B23、采用膨胀运算将其中的小间隙填充，消除噪声，同时将面积过小连通区域去掉，并获取其相应的轮廓划分出当前手部轮廓，得到完整的运动目标。
所述基于二维平面摄像头推的动作识别方法，其中，所述步骤C具体包括：
C1、预先提取标准的推的手部动作二值化模版，获取相应的标准手部轮廓；
C2、将所述当前手部轮廓与所述标准手部轮廓做比较，判别是否正在进行手部推的动作；
C3、当所述当前手部轮廓与所述标准手部轮廓的相似度大于一预定阈值时，则认定为正在进行手部推的动作，并提取正在进行手部推的动作的手部区域。
所述基于二维平面摄像头推的动作识别方法，其中，所述步骤C3之后还包括：
C4、当所述当前手部轮廓与所述标准手部轮廓的相似度小于所述预定阈值时，则认定为当前没有手部推的动作或者是当前动作不标准。
所述基于二维平面摄像头推的动作识别方法，其中，所述步骤D具体包括：
D1、所述手部区域提取之后，提取当前帧包围手部区域的最小外接矩形，获取其中心位置O1，其中每个位置
的像数值为
；
D2、重复步骤D1，提取下一帧的包围手部区域的最小外接矩形，获取位置的中心O2，其中每个位置
的像数值为
；
D3、以O1与O2为公共中心重合点O进行叠加，叠加公式如下：
其中为一预定值；
D4、重复步骤D2和D3，直到所述当前手部轮廓与所述标准手部轮廓的相似度小于预定阈值T，则认定为当前没有手部推的动作或者是当前动作不标准时结束叠加，则完成历史运动图的建立。
所述基于二维平面摄像头推的动作识别方法，其中，所述步骤E具体包括：
E1、利用Sobel算子对建立的历史运动图，计算每个点的水平方向梯度
和垂直方向梯度
的近似值，公式如下：
其中，
和指的就是图像分别位于（x,y）点在X方向和Y方向上的梯度之近似值；g(x,y)，代表的是当前（x,y）点位置的灰度值；
E2、对计算出的历史运动图中的每一个像素的水平方向梯度和垂直方向梯度
的近似值，结合公式
来计算出各自梯度的大小，则归一化的梯度向量为
；
E3、计算当前位置
到重合点O的方向向量，公式如下：
E4、利用两向量之间的夹角公式：，计算
和之间的夹角
；其中，表示当前位置
到重合点O的方向向量；
E 5、统计运动历史图中每个像素点处的
值不为零的个数Num，如果
,其中
为一预定的角度，的值取90度，则认为是在处方向梯度方向背离中心向外发散，记录下所有
的像素点的个数num；
E 6、设置一预定阈值,如果,则识别为手部推的动作。
所述基于二维平面摄像头推的动作识别方法，其中，所述视频图像采集装置为摄像头或摄像机。
一种基于二维平面摄像头推的动作识别系统，其中，包括：
获取与划定模块、用于通过开启的视频图像采集装置获取包括人在内的视频图像，并在所述视频图像划定手部检测区域；
手部轮廓处理模块、用于利用肤色信息分割手部，并对分割出的手部进行二值化处理获取相应的手部轮廓，划分出当前手部轮廓得到完整手部的运动目标；
比较与提取模块、用于将划分出的当前手部轮廓与预先设定的一标准手部轮廓进行对比，判别是否正在进行手部推的动作；当轮廓相似度大于设定的阈值T时，则认为是正在进行手部推的动作，并提取正在进行手部推的动作的手部区域；
历史运动图构建模块、用于提取包围手部轮廓的长方形中心手部区域图像，以及通过对连续的长方形中心手部区域图像实时分层叠加并赋予不同的值构建历史运动图；
识别模块、用于对建立的历史运动图，利用方向梯度向量识别手部推的动作。
本发明所提供的基于二维平面摄像头推的动作识别方法及系统，由于采用了在摄像头前使用者手部推的动作在人机交互过程中的作用，通过对人脸部检测和利用肤色信息对手部区域划分，进而通过上述一系列相关处理计算来实现在普通二维摄像头的条件下，能很好的实现推的动作的确认，使得在人机交互过程中更加自然和简便，提升了用户在二维平面下深度感觉；本发明方法算法简单，提高了动作识别效率，同时也减少了用户记忆的负担。
附图说明
图1是本发明基于二维平面摄像头推的动作识别方法较佳实施例的流程图。
图2是本发明实施例中通过开启的视频图像采集装置获取包括人在内的视频图像结构示意图。
图3是本发明实施例中基于二维平面摄像头推的动作识别方法的当前手部图。
图4a为本发明实施例中从标准姿势原始图中提取的标准姿势二值化模版图。
图4b为本发明实施例中通过对图4a取轮廓得到标准姿势轮廓图。
图5是本发明实施例中利用方向梯度向量识别动作示意图。
图6是本发明基于二维平面摄像头推的动作识别系统较佳实施例的原理框图。
具体实施方式
本发明所提供的一种基于二维平面摄像头推的动作识别方法及系统，为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例提供的基于二维平面摄像头推的动作识别方法，如图1所示，主要包括以下步骤：
步骤S110、开启视频图像采集装置如摄像头等，通过开启的视频图像采集装置获取包括人在内的视频图像，并划定手部检测区域。
步骤S120、利用肤色信息分割手部，并对分割出的手部进行二值化处理获取相应的手部轮廓，划分出当前手部轮廓得到完整手部的运动目标。
步骤S130、将划分出的当前手部轮廓与预先设定的一标准手部轮廓进行对比，判别是否正在进行手部推的动作；当轮廓相似度大于设定的阈值T时，则认为是正在进行手部推的动作，并提取正在进行手部推的动作的手部区域。
步骤S140、提取包围手部轮廓的长方形中心手部区域图像，以及通过对连续的长方形中心手部区域图像实时分层叠加并赋予不同的值构建历史运动图。
步骤S150、对建立的历史运动图，利用方向梯度向量识别手部推的动作。
其中所述步骤S110、在具体实施时，参图2所示，包括步骤：
a）、打开摄像头并调整摄像头的高度，使得在人在摄像头范围内，获取包括人体210在内的视频图像200；
b)、通过Adaboost和haar特征算法对输入的视频图像200的人脸区域201进行快速人脸检测，并将人脸大小以及位置信息提取出来；
c)、在人脸的其中一侧如右侧划分一块手部检测区域202。
其中，所述步骤S120在具体实施时包括如下详细步骤：
其中，要在划定的区域内通过肤色来找到人手，则首先应将视频图像200的RGB图像系列转换到YCbCr空间。
YCbCr颜色空间是作为肤色分布统计的映射空间，该空间的优点是受亮度变化的影响较小，而且是两维独立分布，能较好地限制肤色分布区域，而且可以从RGB格式线性变化得到。对于RGB与YCbCr之间的转换如下：
YCbCr颜色空间是常见的肤色检测方法。同时实验测的数据，如果一个像素点的Cb和Cr值同时满足：
1）、133≤Cr≤173
2）、77≤Cb≤127
则该像点被认为具有皮肤色。然后，再根据被判定为具有皮肤色的像素点的集合分割出所述手部。
本发明实施例中，分割出所述手部，找到手部目标后，需划分出当前手部轮廓，具体采用如下方法：
对分割出手部区域进行二值化处理；
采用形态学中的腐蚀运算，将进行二值化处理的手部区域中的孤立的小区域去除掉；
采用膨胀运算将其中的小间隙填充，以消除噪声，同时将面积过小连通区域去掉，划分出当前手部轮廓得到完整手部的运动目标。
本实施例中，由于通过肤色处理得到的手部区域在二值化后，往往会存在很多孤立的小区域或者是小间隙，所以采用形态学中的腐蚀运算可以将这些孤立的小区域去除掉，然后在用膨胀运算将小间隙填充，这样可以消除一部分的噪声，同时将面积过小连通区域去掉，就能得到完整干净的运动目标。采用此方法得到的手部图如图3所示。
其中所述步骤S130具体采用如下方法：
S131、首先需要预先提取标准的推的手部动作二值化模版，获取相应的标准手部轮廓。如图4a为从标准姿势原始图中提取的标准姿势二值化模版图，通过对图4a取轮廓得到标准姿势轮廓图如图4b；
S132、通过步骤S120中的获取当前手部动作二值化手部图，并获取其相应的轮廓，划分出当前手部轮廓；
S133、将所述当前手部轮廓与所述标准手部轮廓做比较，判别是否正在进行手部推的动作；
S134、当所述当前手部轮廓与所述标准手部轮廓的相似度大于一预定阈值T时，则认定为正在进行手部推的动作，并提取正在进行手部推的动作的手部区域；
S135、当所述当前手部轮廓与所述标准手部轮廓的相似度小于所述预定阈值T时，则认定为当前没有手部推的动作或者是当前动作不标准。
而所述步骤S140在实施例具体如下所述：
历史运动图是一个从视频图像采集装置如摄像头中提取的符合上述条件的手部区域图片中，通过连续的手部区域图像实时分层叠加并赋予不同的值所构成的。也就是说，以一个公共的点为中心，将运动中的之前发生的像素点的值设置为较大，而之后发生的像素点的值将被设置成相对较小，具体过程如下：
S141、在步骤S130中的手部区域提取之后，提取当前帧包围手部区域202的最小外接矩形，获取其中心位置O1，其中每个位置
的像数值为
；
S142、重复步骤S141，提取下一帧的包围手部区域202的最小外接矩形，获取位置的中心O2，其中每个位置
的像数值为
；
S143、以O1与O2为公共中心（重合点O）进行叠加，叠加公式如下：
其中
为一预定值；
S144、重复步骤S142和S143，直到不符合步骤S135中的条件（即当所述当前手部轮廓与所述标准手部轮廓的相似度小于所述预定阈值T时，则认定为当前没有手部推的动作或者是当前动作不标准）下结束叠加，即可完成历史运动图的建立。
进一步地，所述步骤S150中对建立的历史运动图，利用方向梯度向量识别手部推的动作在实施时，参考图5所示，图5为本发明实施例的利用方向梯度向量识别动作示意图，步骤S150的实现具体如下：
S151、首先利用Sobel算子对建立的历史运动图，计算每个点的水平方向梯度
和垂直方向梯度
的近似值，公式如下：
其中，
和
指的就是图像分别位于（x,y）点在X方向（水平方向）和Y方向（垂直方向）上的梯度之近似值。
g(x,y)，代表的是当前（x,y）点位置的灰度值。sobel算子中的3×3邻域的灰度值如下所示：
| g[x-1,y-1] | g[x,y-1] | g[x+1,y-1] |
| g[x-1,y] | g[x,y] | g[x+1,y] |
| g[x-1,y+1] | g[x,y+1] | g[x+1,y+1] |
当前点（x,y）点的水平方向梯度和垂直方向梯度
的近似值用下式计算：
=( g[x+1,y-1]+2g[x+1,y]+ g[x+1,y+1])-(g[x-1,y-1]+2g[x-1,y]+ g[x-1,y+1])；
其中，Sobel算子（索贝尔算子（Sobel operator））是图像处理中的算子之一，主要用作边缘检测。在技术上，它是一离散性差分算子，用来运算图像亮度函数的梯度之近似值。在图像的任何一点使用此算子，将会产生对应的梯度矢量或是其法矢量。
S152、对计算出的历史运动图中的每一个像素的水平方向梯度和垂直方向梯度
的近似值，用下面的公式结合来计算出梯度的大小
，则归一化的梯度向量为
；其中，归一化主要是将向量值转化到0-1范围内，以便计算。
S153、计算当前位置到重合点O的方向向量，公式如下：
S154、利用两向量之间的夹角公式：
，计算
和
之间的夹角
；
其中，
表示当前位置到重合点O的方向向量；
而为当前点（x，y）的归一化的梯度向量。
S155、统计运动历史图中每个像素点处的
值不为零的个数Num，如
,(
为一预定的角度，本发明实施例中的
的值取90度)，则认为是在处方向梯度方向背离中心向外发散，记录下所有
的像素点的个数num。
S156、设置一预定阈值,如
,则识别为手部推的动作。
由上可见，本发明实施例提供一种基于二维平面摄像头推的动作识别方法，提出了一种新的更合适用户操作习惯的人机交互方法，本发明方法算法简单，动作识别率高，在自然性上很大程度上有所提高，同时也减少了用户记忆的负担，使得用户能在二维平面下也能很好的有深度感觉。
基于上述实施例，本发明实施例还提供了一种基于二维平面摄像头推的动作识别系统，如图6所示，主要包括：
获取与划定模块610、用于通过开启的视频图像采集装置获取包括人在内的视频图像，并在所述视频图像划定手部检测区域；具体如上述步骤S110所述。
手部轮廓处理模块620、用于利用肤色信息分割手部，并对分割出的手部进行二值化处理获取相应的手部轮廓，划分出当前手部轮廓得到完整手部的运动目标；具体如上述步骤S120所述。
比较与提取模块630、用于将划分出的当前手部轮廓与预先设定的一标准手部轮廓进行对比，判别是否正在进行手部推的动作；当轮廓相似度大于设定的阈值T时，则认为是正在进行手部推的动作，并提取正在进行手部推的动作的手部区域；具体如上述步骤S130所述。
历史运动图构建模块640、用于提取包围手部轮廓的长方形中心手部区域图像，以及通过对连续的长方形中心手部区域图像实时分层叠加并赋予不同的值构建历史运动图；具体如上述步骤S140所述。
识别模块650、用于对建立的历史运动图，利用方向梯度向量识别手部推的动作；具体如上述步骤S150所述。
其中，所述视频图像采集装置为摄像头或摄像机。由上可见，本发明实施例的基于二维平面摄像头推的动作识别系统，通过手部轮廓处理模块620对人脸部检测和利用肤色信息对手部区域划分，并通过比较与提取模块630判别是否正在进行手部推的动作；并提取正在进行手部推的动作的手部区域，以及通过识别模块650识别手部推的动作，实现了在普通二维摄像头的条件下，能很好的实现推的动作的确认，使得在人机交互过程中更加自然和简便，提升了用户在二维平面下深度感觉，并且算法简单，动作识别率高。
可见，本发明能够在普通的二维摄像头的条件下，能很好的实现推的动作的确认，在人机交互过程中显得更加的自然。
综上所述，本发明所提供的基于二维平面摄像头推的动作识别方法及系统，由于采用了在摄像头前使用者手部推的动作在人机交互过程中的作用，通过对人脸部检测和利用肤色信息对手部区域划分，进而通过上述一系列相关处理计算来实现在普通二维摄像头的条件下，能很好的实现推的动作的确认，使得在人机交互过程中更加自然和简便，提升了用户在二维平面下深度感觉；本发明方法算法简单，提高了动作识别效率，同时也减少了用户记忆的负担。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (10)
1.一种基于二维平面摄像头推的动作识别方法，其特征在于，包括步骤：
A、通过开启的视频图像采集装置获取包括人在内的视频图像，并在所述视频图像划定手部检测区域；
B、利用肤色信息分割手部，并对分割出的手部进行二值化处理获取相应的手部轮廓，划分出当前手部轮廓得到完整手部的运动目标；
C、将划分出的当前手部轮廓与预先设定的一标准手部轮廓进行对比，判别是否正在进行手部推的动作；当轮廓相似度大于设定的阈值T时，则认为是正在进行手部推的动作，并提取正在进行手部推的动作的手部区域；
D、提取包围手部轮廓的长方形中心手部区域图像，以及通过对连续的长方形中心手部区域图像实时分层叠加并赋予不同的值构建历史运动图；
E、对建立的历史运动图，利用方向梯度向量识别手部推的动作。
2.根据权利要求1所述基于二维平面摄像头推的动作识别方法，其特征在于，所述步骤A具体包括：
A1、开启并调整视频图像采集装置，获取包括人在内的视频图像；
A2、通过Adaboost和haar特征算法对输入的所述视频图像的人脸区域进行快速人脸检测，并将人脸大小以及位置信息提取出来；
A3、并在人脸的其中一侧划分一块手部检测区域。
3.根据权利要求1所述基于二维平面摄像头推的动作识别方法，其特征在于，所述步骤B中的利用肤色信息分割手部具体包括：
B11、将视频图像的RGB图像系列转换到YCbCr空间，对于RGB图像与YCbCr空间之间的转换如下：
B12、当一个像素点的Cb和Cr值同时满足： 133≤Cr≤173和77≤Cb≤127则该像素点被判定为具有皮肤色；
B13、根据被判定为具有皮肤色的像素点的集合分割出所述手部。
4.根据权利要求3所述基于二维平面摄像头推的动作识别方法，其特征在于，所述步骤B中的划分出当前手部轮廓得到完整手部的运动目标具体包括：
B21、对分割出的手部区域进行二值化处理；
B22、采用形态学中的腐蚀运算，将进行二值化处理的手部区域中的孤立的小区域去除掉；
B23、采用膨胀运算将其中的小间隙填充，消除噪声，同时将面积过小连通区域去掉，并获取其相应的轮廓划分出当前手部轮廓，得到完整的运动目标。
5.根据权利要求1所述基于二维平面摄像头推的动作识别方法，其特征在于，所述步骤C具体包括：
C1、预先提取标准的推的手部动作二值化模版，获取相应的标准手部轮廓；
C2、将所述当前手部轮廓与所述标准手部轮廓做比较，判别是否正在进行手部推的动作；
C3、当所述当前手部轮廓与所述标准手部轮廓的相似度大于一预定阈值时，则认定为正在进行手部推的动作，并提取正在进行手部推的动作的手部区域。
6.根据权利要求5所述基于二维平面摄像头推的动作识别方法，其特征在于，所述步骤C3之后还包括：
C4、当所述当前手部轮廓与所述标准手部轮廓的相似度小于所述预定阈值时，则认定为当前没有手部推的动作或者是当前动作不标准。
7.根据权利要求1所述基于二维平面摄像头推的动作识别方法，其特征在于，所述步骤D具体包括：
D1、所述手部区域提取之后，提取当前帧包围手部区域的最小外接矩形，获取其中心位置O1，其中每个位置
的像数值为
；
D2、重复步骤D1，提取下一帧的包围手部区域的最小外接矩形，获取位置的中心O2，其中每个位置
的像数值为
；
D3、以O1与O2为公共中心重合点O进行叠加，叠加公式如下：
其中
为一预定值；
D4、重复步骤D2和D3，直到所述当前手部轮廓与所述标准手部轮廓的相似度小于预定阈值T，则认定为当前没有手部推的动作或者是当前动作不标准时结束叠加，则完成历史运动图的建立。
8.根据权利要求7所述基于二维平面摄像头推的动作识别方法，其特征在于，所述步骤E具体包括：
E1、利用Sobel算子对建立的历史运动图，计算每个点的水平方向梯度
和垂直方向梯度的近似值，公式如下：
其中，
和指的就是图像分别位于（x,y）点在X方向和Y方向上的梯度之近似值；
g(x,y)，代表的是当前（x,y）点位置的灰度值；
E2、对计算出的历史运动图中的每一个像素的水平方向梯度
和垂直方向梯度
的近似值，结合公式
来计算出各自梯度的大小，则归一化的梯度向量为；
E3、计算当前位置
到重合点O的方向向量，公式如下：
E4、利用两向量之间的夹角公式：
，计算
和
之间的夹角
；其中，
表示当前位置到重合点O的方向向量；
E 5、统计运动历史图中每个像素点处的
值不为零的个数Num，如果
,其中
为一预定的角度，
的值取90度，则认为是在
处方向梯度方向背离中心向外发散，记录下所有
的像素点的个数num；
E 6、设置一预定阈值
,如果
,则识别为手部推的动作。
9.根据权利要求1所述基于二维平面摄像头推的动作识别方法，其特征在于，所述视频图像采集装置为摄像头或摄像机。
10.一种基于二维平面摄像头推的动作识别系统，其特征在于，包括：
获取与划定模块，用于通过开启的视频图像采集装置获取包括人在内的视频图像，并在所述视频图像划定手部检测区域；
手部轮廓处理模块，用于利用肤色信息分割手部，并对分割出的手部进行二值化处理获取相应的手部轮廓，划分出当前手部轮廓得到完整手部的运动目标；
比较与提取模块，用于将划分出的当前手部轮廓与预先设定的一标准手部轮廓进行对比，判别是否正在进行手部推的动作；当轮廓相似度大于设定的阈值T时，则认为是正在进行手部推的动作，并提取正在进行手部推的动作的手部区域；
历史运动图构建模块，用于提取包围手部轮廓的长方形中心手部区域图像，以及通过对连续的长方形中心手部区域图像实时分层叠加并赋予不同的值构建历史运动图；
识别模块，用于对建立的历史运动图，利用方向梯度向量识别手部推的动作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201110432693.8A CN102521579B (zh) | 2011-12-21 | 2011-12-21 | 一种基于二维平面摄像头推的动作识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201110432693.8A CN102521579B (zh) | 2011-12-21 | 2011-12-21 | 一种基于二维平面摄像头推的动作识别方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102521579A CN102521579A (zh) | 2012-06-27 |
| CN102521579B true CN102521579B (zh) | 2014-06-25 |
Family
ID=46292490
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201110432693.8A Active CN102521579B (zh) | 2011-12-21 | 2011-12-21 | 一种基于二维平面摄像头推的动作识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102521579B (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104156693B (zh) * | 2014-07-15 | 2017-06-06 | 天津大学 | 一种基于多模态序列融合的动作识别方法 |
| CN104539888B (zh) * | 2014-12-16 | 2018-06-05 | 广西科技大学 | 心肺复苏急救训练中胸外心脏按摩术的视频监控方法 |
| CN108205652B (zh) * | 2016-12-20 | 2020-10-13 | 中国移动通信有限公司研究院 | 一种吃饭动作的识别方法和装置 |
| CN108205651B (zh) * | 2016-12-20 | 2021-04-06 | 中国移动通信有限公司研究院 | 一种吃饭动作的识别方法和装置 |
| CN106943217A (zh) * | 2017-05-03 | 2017-07-14 | 广东工业大学 | 一种反馈式人体假肢控制方法和系统 |
| CN107590440A (zh) * | 2017-08-21 | 2018-01-16 | 南京邮电大学 | 一种智能家居场景下人形识别的方法和系统 |
| CN109359496B (zh) * | 2017-12-29 | 2021-09-28 | 深圳Tcl新技术有限公司 | 一种包装盒、基于包装盒的商品识别方法及装置 |
| CN110448870B (zh) * | 2019-08-16 | 2021-09-28 | 深圳特蓝图科技有限公司 | 一种人体姿态训练方法 |
| CN111679737B (zh) * | 2020-05-27 | 2022-06-21 | 维沃移动通信有限公司 | 手部分割方法和电子设备 |
| CN112734795A (zh) * | 2020-12-31 | 2021-04-30 | 北京深睿博联科技有限责任公司 | 一种判断物体运动趋势及方向的方法和设备 |
| CN113944396B (zh) * | 2021-10-25 | 2023-06-06 | 上海网车科技有限公司 | 一种车辆前后备箱门自动打开的系统及方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11174948A (ja) * | 1997-09-26 | 1999-07-02 | Matsushita Electric Ind Co Ltd | 手動作認識装置 |
| JP4332649B2 (ja) * | 1999-06-08 | 2009-09-16 | 独立行政法人情報通信研究機構 | 手の形状と姿勢の認識装置および手の形状と姿勢の認識方法並びに当該方法を実施するプログラムを記録した記録媒体 |
| CN101763515B (zh) * | 2009-09-23 | 2012-03-21 | 中国科学院自动化研究所 | 一种基于计算机视觉的实时手势交互方法 |
| CN102236412A (zh) * | 2010-04-30 | 2011-11-09 | 宏碁股份有限公司 | 三维手势识别系统以及基于视觉的手势识别方法 |
-
2011
- 2011-12-21 CN CN201110432693.8A patent/CN102521579B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN102521579A (zh) | 2012-06-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102521579B (zh) | 一种基于二维平面摄像头推的动作识别方法及系统 | |
| WO2022116282A1 (zh) | 基于动态手势识别的人机交互方法及系统 | |
| CN107578418B (zh) | 一种融合色彩和深度信息的室内场景轮廓检测方法 | |
| JP6719457B2 (ja) | 画像の主要被写体を抽出する方法とシステム | |
| US8620024B2 (en) | System and method for dynamic gesture recognition using geometric classification | |
| Charfi et al. | Definition and performance evaluation of a robust SVM based fall detection solution | |
| CN101593022B (zh) | 一种基于指端跟踪的快速人机交互方法 | |
| WO2017084204A1 (zh) | 一种二维视频流中的人体骨骼点追踪方法及系统 | |
| CN104102904B (zh) | 一种静态手势识别方法 | |
| KR101141643B1 (ko) | 캐리커쳐 생성 기능을 갖는 이동통신 단말기 및 이를 이용한 생성 방법 | |
| US9489561B2 (en) | Method and system for estimating fingerprint pose | |
| US9443137B2 (en) | Apparatus and method for detecting body parts | |
| JP2003030667A (ja) | イメージ内で目を自動的に位置決めする方法 | |
| WO2018082308A1 (zh) | 一种图像处理方法及终端 | |
| CN104049760B (zh) | 一种人机交互命令的获取方法及系统 | |
| CN109558855B (zh) | 一种基于手掌轮廓特征与模版匹配法相结合的空间手势识别方法 | |
| CN104573634A (zh) | 一种三维人脸识别方法 | |
| KR101558547B1 (ko) | 얼굴 포즈 변화에 강한 연령 인식방법 및 시스템 | |
| CN103971122B (zh) | 基于深度图像的三维人脸描述方法 | |
| CN111126240A (zh) | 一种三通道特征融合人脸识别方法 | |
| WO2013075295A1 (zh) | 低分辨率视频的服装识别方法及系统 | |
| KR101326691B1 (ko) | 지역적 특징의 통계적 학습을 통한 강건한 얼굴인식방법 | |
| CN103440633A (zh) | 一种数字图像自动祛除斑点的方法 | |
| CN106446870B (zh) | 一种人体轮廓特征提取方法和装置 | |
| CN105243661A (zh) | 一种基于susan算子的角点检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |