CN107680104A - 基于kalman滤波的手势分割方法 - Google Patents
基于kalman滤波的手势分割方法 Download PDFInfo
- Publication number
- CN107680104A CN107680104A CN201710870249.1A CN201710870249A CN107680104A CN 107680104 A CN107680104 A CN 107680104A CN 201710870249 A CN201710870249 A CN 201710870249A CN 107680104 A CN107680104 A CN 107680104A
- Authority
- CN
- China
- Prior art keywords
- point
- palm
- gesture
- vertical line
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
- G06V40/113—Recognition of static hand signs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
- G06V40/117—Biometrics derived from hands
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于Kalman滤波的手势分割方法,包括下列步骤:用Kinect采集深度图像和骨骼信息,利用深度阈值分割,得到带有手臂和手掌区域的图像;预测阶段,将骨骼点中手掌点和手腕点分别表示为一个六维的状态向量,利用前一帧预测当前帧的状态,得到预测状态向量;更新阶段,通过当前的测量状态和Kalman增益更新预测状态,得到更新后的手掌点和手腕点的坐标信息。连接更新后的手掌点和手腕点,得到直线L,在L上的每一个像素点作L的垂线,每条垂线与手势边缘相交,查找所有垂线段中最短的那条,从该垂线段进行分割,去除手掌以下区域;去噪声,用最大矩形框寻找手势区域,并将手势区域裁剪成矩形框大小的图像;归一化。
Description
技术领域
本发明属于图像处理领域,涉及一种手势分割方法。
背景技术
手势识别作为人机交互的重要纽带,主要分成两个方面,一是手势分割;二是手势识别。如何高效且精确的提取出手势区域一直是难点,带有手臂或其他区域会对手势识别产生影响,不仅影响识别的精度,还影响识别的速度。基于此,我们提出了一种基于Kalman滤波的手势提取方法。
发明内容
本发明的目的是提供一种可以有效的提取手势区域,提高识别精度的手势分割方法。技术方案如下:
一种基于Kalman滤波的手势分割方法,包括下列步骤:
步骤1用Kinect采集深度图像和骨骼信息,利用深度阈值分割出大致的手势区域,得到带有手臂和手掌区域的图像;
步骤2Kalman滤波的预测阶段,将骨骼点中手掌点和手腕点分别表示为一个六维的状态向量,利用前一帧预测当前帧的状态,得到预测状态向量;
步骤3在kalman滤波的更新阶段,通过当前的测量状态和Kalman增益更新预测状态,得到更新后的手掌点和手腕点的坐标信息。
步骤4连接更新后的手掌点和手腕点,得到直线L,在L上的每一个像素点作L的垂线,每条垂线与手势边缘相交,查找所有垂线段中最短的那条,从该垂线段进行分割,去除手掌以下区域;
步骤5去椒盐噪声,用最大矩形框寻找手势区域,并将手势区域裁剪成矩形框大小的图像;
步骤6归一化图像的大小,得到手势区域图像。
附图说明
图1(a)基于深度信息分割出的手势;(b)去除手臂后的手势区域
具体实施方式
采用微软的Kinect传感器,获取深度图像和骨骼点的信息。通过获取到的骨骼点信息可以确定手掌点在深度图像中的坐标,而且还能得到手掌点到Kinect的距离,我们可以设定一个深度阈值将手掌从背景中分割开来,公式如下:
dpalm-Δd1<z(x,y)<dpalm+Δd2 (1)
其中dpalm是手腕点的深度信息,z(x,y)是深度图像中的像素点的深度信息,Δd1和Δd2代表设定的深度阈值。
实验中必须确保手掌和手腕点的准确性,而微软提供骨骼追踪的程序中会有误差,所以在使用骨骼点坐标前需要对追踪系统进行优化。我们提出了一种基于Kalman滤波的骨骼点的优化方法,具体的实现分为两个部分,也就是Kalman的两个过程----预测和更新。每一个点用一个四维的向量表示,k-1时刻手掌点表示为其中(Sx,Sy)表示更新后手腕点在深度图像中坐标,Vx和Vy分别代表手腕点在深度图中x,y方向上的速度,k时刻和k-1时刻间的时间特别短,因此能看成是匀速的。在k时刻上的预测过程则可以表示为:
其中,表示k时刻的预测值,A是状态转移矩阵,表示预测过程的协方差矩阵,Q是预测过程的误差矩阵,服从零均值高斯分布。由k-1时刻状态预测得到的状态量和在k时刻测量得到的Zk可以更正k时刻的状态量,该过程也称更新过程,公式如(4)所示:
其中Kk是Klaman增益,也叫最优kalman增益,方程表示间公式(5);H是转移矩阵,将四维的状态向量转化为二维测量向量;Zk是观测量,它的误差也服从零均值高斯分布。
在每次更新过程协方差矩阵也跟着更新一次,见公式(6)。
在Kalman滤波器更新完手掌点和手腕点的坐标之后,接下来需要去除手臂部分,并提取手势部分,最后将图像归一化。具体步骤如下
(1)先是用Kinect采集手势的图像,并用手掌点的深度信息对手势区域分割,得到的手势图像如图1所示,
(2)在手势分割的过程中,用Kalman滤波将手掌点和手腕点的坐标进行预测和更新,保证手腕点和手掌点坐标的准确性,便于用于下一步的去手臂过程。
(3)去手臂:
a.将上步更正的手掌和手腕点连接起来直线L;
b.直线L上的每一个像素点作L的垂线每条垂线与手势区域想成一条垂线段;
c.查找所有垂线段中最短的那条即为腕线;
d.从该万献初进行分割,去除手臂部分,即可得到手势区域。
(4)提取手势区域
a.去燥(椒盐噪声),去出手势外区域的干扰;
b.寻找手势的轮廓,确定其中最大轮廓即为手势区域;
c.将手势转化为轮廓大小的图像。
(5)归一化,将图像变成28*28大小的,以便后面的识别过程。
本发明的有益效果如下:
(1)手势分割过程中,因手的形状大小,或手的移动引起的骨骼点追踪不准确的情况,用Kalman滤波能有效的去除这种干扰。
(2)手势分割后可能会存在残留手臂的情况,我们提出的方法能有效的去除手臂,在识别的时候就能提高手势识别的精度。
Claims (1)
1.一种基于Kalman滤波的手势分割方法,包括下列步骤:
步骤1用Kinect采集深度图像和骨骼信息,利用深度阈值分割出大致的手势区域,得到带有手臂和手掌区域的图像;
步骤2Kalman滤波的预测阶段,将骨骼点中手掌点和手腕点分别表示为一个六维的状态向量,利用前一帧预测当前帧的状态,得到预测状态向量;
步骤3在kalman滤波的更新阶段,通过当前的测量状态和Kalman增益更新预测状态,得到更新后的手掌点和手腕点的坐标信息。
步骤4连接更新后的手掌点和手腕点,得到直线L,在L上的每一个像素点作L的垂线,每条垂线与手势边缘相交,查找所有垂线段中最短的那条,从该垂线段进行分割,去除手掌以下区域;
步骤5去椒盐噪声,用最大矩形框寻找手势区域,并将手势区域裁剪成矩形框大小的图像;
步骤6归一化图像的大小,得到手势区域图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710870249.1A CN107680104B (zh) | 2017-09-23 | 2017-09-23 | 基于kalman滤波的手势分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710870249.1A CN107680104B (zh) | 2017-09-23 | 2017-09-23 | 基于kalman滤波的手势分割方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107680104A true CN107680104A (zh) | 2018-02-09 |
CN107680104B CN107680104B (zh) | 2020-10-23 |
Family
ID=61137944
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710870249.1A Expired - Fee Related CN107680104B (zh) | 2017-09-23 | 2017-09-23 | 基于kalman滤波的手势分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107680104B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108594997A (zh) * | 2018-04-16 | 2018-09-28 | 腾讯科技(深圳)有限公司 | 手势骨架构建方法、装置、设备及存储介质 |
CN110276262A (zh) * | 2019-05-23 | 2019-09-24 | 福建师范大学 | 一种手掌图像中手腕的判定方法 |
CN110399784A (zh) * | 2019-05-23 | 2019-11-01 | 福建师范大学 | 一种手掌图像感兴趣区域与截取准确率提升的方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100071965A1 (en) * | 2008-09-23 | 2010-03-25 | Panasonic Corporation | System and method for grab and drop gesture recognition |
CN102339379A (zh) * | 2011-04-28 | 2012-02-01 | 重庆邮电大学 | 手势识别方法及基于手势识别控制的智能轮椅人机系统 |
CN102982308A (zh) * | 2012-08-03 | 2013-03-20 | 成都众合云盛科技有限公司 | 中远距离在线身份验证研究中的掌纹采集与定位方法 |
CN103390168A (zh) * | 2013-07-18 | 2013-11-13 | 重庆邮电大学 | 基于Kinect深度信息的智能轮椅动态手势识别方法 |
CN103941866A (zh) * | 2014-04-08 | 2014-07-23 | 河海大学常州校区 | 一种基于Kinect深度图像的三维手势识别方法 |
CN104050488A (zh) * | 2014-06-16 | 2014-09-17 | 西安工业大学 | 一种基于切换的卡尔曼滤波模型的手势识别方法 |
CN105469043A (zh) * | 2015-11-20 | 2016-04-06 | 苏州铭冠软件科技有限公司 | 一种手势识别系统 |
CN107122042A (zh) * | 2017-03-29 | 2017-09-01 | 浙江大学 | 一种静动态手势结合的汉字书写方法及系统 |
-
2017
- 2017-09-23 CN CN201710870249.1A patent/CN107680104B/zh not_active Expired - Fee Related
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100071965A1 (en) * | 2008-09-23 | 2010-03-25 | Panasonic Corporation | System and method for grab and drop gesture recognition |
CN102339379A (zh) * | 2011-04-28 | 2012-02-01 | 重庆邮电大学 | 手势识别方法及基于手势识别控制的智能轮椅人机系统 |
CN102982308A (zh) * | 2012-08-03 | 2013-03-20 | 成都众合云盛科技有限公司 | 中远距离在线身份验证研究中的掌纹采集与定位方法 |
CN103390168A (zh) * | 2013-07-18 | 2013-11-13 | 重庆邮电大学 | 基于Kinect深度信息的智能轮椅动态手势识别方法 |
CN103941866A (zh) * | 2014-04-08 | 2014-07-23 | 河海大学常州校区 | 一种基于Kinect深度图像的三维手势识别方法 |
CN104050488A (zh) * | 2014-06-16 | 2014-09-17 | 西安工业大学 | 一种基于切换的卡尔曼滤波模型的手势识别方法 |
CN105469043A (zh) * | 2015-11-20 | 2016-04-06 | 苏州铭冠软件科技有限公司 | 一种手势识别系统 |
CN107122042A (zh) * | 2017-03-29 | 2017-09-01 | 浙江大学 | 一种静动态手势结合的汉字书写方法及系统 |
Non-Patent Citations (1)
Title |
---|
吴昀蓁: "基于流形学习的手势跟踪识别算法研究与实现", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108594997A (zh) * | 2018-04-16 | 2018-09-28 | 腾讯科技(深圳)有限公司 | 手势骨架构建方法、装置、设备及存储介质 |
CN110276262A (zh) * | 2019-05-23 | 2019-09-24 | 福建师范大学 | 一种手掌图像中手腕的判定方法 |
CN110399784A (zh) * | 2019-05-23 | 2019-11-01 | 福建师范大学 | 一种手掌图像感兴趣区域与截取准确率提升的方法 |
Also Published As
Publication number | Publication date |
---|---|
CN107680104B (zh) | 2020-10-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111079611B (zh) | 一种道路面及其标志线的自动提取方法 | |
CN106651908B (zh) | 一种多运动目标跟踪方法 | |
CN103218605B (zh) | 一种基于积分投影与边缘检测的快速人眼定位方法 | |
CN102999886B (zh) | 图像边缘检测器及标尺光栅栅线精度检测系统 | |
CN105654097B (zh) | 图像中四边形标记物的检测方法 | |
CN111368607B (zh) | 一种机器人、障碍物的检测方法及检测装置 | |
CN107680104A (zh) | 基于kalman滤波的手势分割方法 | |
JP6466811B2 (ja) | 走行区画線認識装置 | |
KR20180036753A (ko) | 레이저 포인트 클라우드 기반의 도시 도로 인식 방법, 장치, 저장 매체 및 기기 | |
CN102184550A (zh) | 一种动平台地面运动目标检测方法 | |
CN105279756A (zh) | 基于自适应区域分割的缺口圆弧零件尺寸视觉检测方法 | |
CN105930795A (zh) | 一种基于人体骨骼关节点间空间向量的行走状态识别方法 | |
CN106951905A (zh) | 一种基于tof相机的树上苹果识别与定位方法 | |
JP2006268097A (ja) | 車載物体検出装置、および物体検出方法 | |
CN102831582A (zh) | 一种微软体感装置深度图像增强方法 | |
CN104647893B (zh) | 一种基于十字线的印刷套印误差检测方法 | |
CN110287998A (zh) | 一种基于Faster-RCNN的科技文献图片提取方法 | |
JP4946175B2 (ja) | 走路境界検出装置および走路境界検出方法 | |
CN107463873B (zh) | 一种基于rgbd深度传感器的实时手势分析与评价方法与系统 | |
CN104992175B (zh) | 一种基于树型关系的过粘连钢坯字符分割方法 | |
CN109285163B (zh) | 基于激光点云的车道线左右轮廓线交互式提取方法 | |
CN104036525A (zh) | 一种自适应粒子群优化粒子滤波跟踪方法 | |
CN104700385A (zh) | 基于fpga实现的双目视觉定位装置 | |
CN107527353A (zh) | 一种基于视觉处理的投影画面外框检测方法 | |
CN104715491A (zh) | 一种基于一维灰度矩的亚像素边缘检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20201023 Termination date: 20210923 |