CN107680104A - 基于kalman滤波的手势分割方法 - Google Patents

基于kalman滤波的手势分割方法 Download PDF

Info

Publication number
CN107680104A
CN107680104A CN201710870249.1A CN201710870249A CN107680104A CN 107680104 A CN107680104 A CN 107680104A CN 201710870249 A CN201710870249 A CN 201710870249A CN 107680104 A CN107680104 A CN 107680104A
Authority
CN
China
Prior art keywords
point
palm
gesture
vertical line
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710870249.1A
Other languages
English (en)
Other versions
CN107680104B (zh
Inventor
吕辰刚
鲍志强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201710870249.1A priority Critical patent/CN107680104B/zh
Publication of CN107680104A publication Critical patent/CN107680104A/zh
Application granted granted Critical
Publication of CN107680104B publication Critical patent/CN107680104B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/117—Biometrics derived from hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于Kalman滤波的手势分割方法，包括下列步骤：用Kinect采集深度图像和骨骼信息，利用深度阈值分割，得到带有手臂和手掌区域的图像；预测阶段，将骨骼点中手掌点和手腕点分别表示为一个六维的状态向量，利用前一帧预测当前帧的状态，得到预测状态向量；更新阶段，通过当前的测量状态和Kalman增益更新预测状态，得到更新后的手掌点和手腕点的坐标信息。连接更新后的手掌点和手腕点，得到直线L，在L上的每一个像素点作L的垂线，每条垂线与手势边缘相交，查找所有垂线段中最短的那条，从该垂线段进行分割，去除手掌以下区域；去噪声，用最大矩形框寻找手势区域，并将手势区域裁剪成矩形框大小的图像；归一化。

Description

基于kalman滤波的手势分割方法
技术领域
本发明属于图像处理领域，涉及一种手势分割方法。
背景技术
手势识别作为人机交互的重要纽带，主要分成两个方面，一是手势分割；二是手势识别。如何高效且精确的提取出手势区域一直是难点，带有手臂或其他区域会对手势识别产生影响，不仅影响识别的精度，还影响识别的速度。基于此，我们提出了一种基于Kalman滤波的手势提取方法。
发明内容
本发明的目的是提供一种可以有效的提取手势区域，提高识别精度的手势分割方法。技术方案如下：
一种基于Kalman滤波的手势分割方法，包括下列步骤：
步骤1用Kinect采集深度图像和骨骼信息，利用深度阈值分割出大致的手势区域，得到带有手臂和手掌区域的图像；
步骤2Kalman滤波的预测阶段，将骨骼点中手掌点和手腕点分别表示为一个六维的状态向量，利用前一帧预测当前帧的状态，得到预测状态向量；
步骤3在kalman滤波的更新阶段，通过当前的测量状态和Kalman增益更新预测状态，得到更新后的手掌点和手腕点的坐标信息。
步骤4连接更新后的手掌点和手腕点，得到直线L，在L上的每一个像素点作L的垂线，每条垂线与手势边缘相交，查找所有垂线段中最短的那条，从该垂线段进行分割，去除手掌以下区域；
步骤5去椒盐噪声，用最大矩形框寻找手势区域，并将手势区域裁剪成矩形框大小的图像；
步骤6归一化图像的大小，得到手势区域图像。
附图说明
图1(a)基于深度信息分割出的手势；(b)去除手臂后的手势区域
具体实施方式
采用微软的Kinect传感器，获取深度图像和骨骼点的信息。通过获取到的骨骼点信息可以确定手掌点在深度图像中的坐标，而且还能得到手掌点到Kinect的距离，我们可以设定一个深度阈值将手掌从背景中分割开来，公式如下：
dpalm-Δd1＜z(x,y)＜dpalm+Δd2 (1)
其中dpalm是手腕点的深度信息，z(x,y)是深度图像中的像素点的深度信息，Δd1和Δd2代表设定的深度阈值。
实验中必须确保手掌和手腕点的准确性，而微软提供骨骼追踪的程序中会有误差，所以在使用骨骼点坐标前需要对追踪系统进行优化。我们提出了一种基于Kalman滤波的骨骼点的优化方法，具体的实现分为两个部分，也就是Kalman的两个过程----预测和更新。每一个点用一个四维的向量表示，k-1时刻手掌点表示为其中(Sx,Sy)表示更新后手腕点在深度图像中坐标，Vx和Vy分别代表手腕点在深度图中x，y方向上的速度，k时刻和k-1时刻间的时间特别短，因此能看成是匀速的。在k时刻上的预测过程则可以表示为：
其中，表示k时刻的预测值，A是状态转移矩阵，表示预测过程的协方差矩阵，Q是预测过程的误差矩阵，服从零均值高斯分布。由k-1时刻状态预测得到的状态量和在k时刻测量得到的Zk可以更正k时刻的状态量，该过程也称更新过程，公式如(4)所示：
其中Kk是Klaman增益，也叫最优kalman增益，方程表示间公式(5)；H是转移矩阵，将四维的状态向量转化为二维测量向量；Zk是观测量，它的误差也服从零均值高斯分布。
在每次更新过程协方差矩阵也跟着更新一次，见公式(6)。
在Kalman滤波器更新完手掌点和手腕点的坐标之后，接下来需要去除手臂部分，并提取手势部分，最后将图像归一化。具体步骤如下
(1)先是用Kinect采集手势的图像，并用手掌点的深度信息对手势区域分割，得到的手势图像如图1所示，
(2)在手势分割的过程中，用Kalman滤波将手掌点和手腕点的坐标进行预测和更新，保证手腕点和手掌点坐标的准确性，便于用于下一步的去手臂过程。
(3)去手臂：
a.将上步更正的手掌和手腕点连接起来直线L；
b.直线L上的每一个像素点作L的垂线每条垂线与手势区域想成一条垂线段；
c.查找所有垂线段中最短的那条即为腕线；
d.从该万献初进行分割，去除手臂部分，即可得到手势区域。
(4)提取手势区域
a.去燥(椒盐噪声)，去出手势外区域的干扰；
b.寻找手势的轮廓，确定其中最大轮廓即为手势区域；
c.将手势转化为轮廓大小的图像。
(5)归一化，将图像变成28*28大小的，以便后面的识别过程。
本发明的有益效果如下：
(1)手势分割过程中，因手的形状大小，或手的移动引起的骨骼点追踪不准确的情况，用Kalman滤波能有效的去除这种干扰。
(2)手势分割后可能会存在残留手臂的情况，我们提出的方法能有效的去除手臂，在识别的时候就能提高手势识别的精度。

Claims (1)

1.一种基于Kalman滤波的手势分割方法，包括下列步骤：
步骤1用Kinect采集深度图像和骨骼信息，利用深度阈值分割出大致的手势区域，得到带有手臂和手掌区域的图像；
步骤2Kalman滤波的预测阶段，将骨骼点中手掌点和手腕点分别表示为一个六维的状态向量，利用前一帧预测当前帧的状态，得到预测状态向量；
步骤3在kalman滤波的更新阶段，通过当前的测量状态和Kalman增益更新预测状态，得到更新后的手掌点和手腕点的坐标信息。
步骤4连接更新后的手掌点和手腕点，得到直线L，在L上的每一个像素点作L的垂线，每条垂线与手势边缘相交，查找所有垂线段中最短的那条，从该垂线段进行分割，去除手掌以下区域；
步骤5去椒盐噪声，用最大矩形框寻找手势区域，并将手势区域裁剪成矩形框大小的图像；
步骤6归一化图像的大小，得到手势区域图像。
CN201710870249.1A 2017-09-23 2017-09-23 基于kalman滤波的手势分割方法 Expired - Fee Related CN107680104B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710870249.1A CN107680104B (zh) 2017-09-23 2017-09-23 基于kalman滤波的手势分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710870249.1A CN107680104B (zh) 2017-09-23 2017-09-23 基于kalman滤波的手势分割方法

Publications (2)

Publication Number Publication Date
CN107680104A true CN107680104A (zh) 2018-02-09
CN107680104B CN107680104B (zh) 2020-10-23

Family

ID=61137944

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710870249.1A Expired - Fee Related CN107680104B (zh) 2017-09-23 2017-09-23 基于kalman滤波的手势分割方法

Country Status (1)

Country Link
CN (1) CN107680104B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108594997A (zh) * 2018-04-16 2018-09-28 腾讯科技（深圳）有限公司 手势骨架构建方法、装置、设备及存储介质
CN110276262A (zh) * 2019-05-23 2019-09-24 福建师范大学 一种手掌图像中手腕的判定方法
CN110399784A (zh) * 2019-05-23 2019-11-01 福建师范大学 一种手掌图像感兴趣区域与截取准确率提升的方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100071965A1 (en) * 2008-09-23 2010-03-25 Panasonic Corporation System and method for grab and drop gesture recognition
CN102339379A (zh) * 2011-04-28 2012-02-01 重庆邮电大学 手势识别方法及基于手势识别控制的智能轮椅人机系统
CN102982308A (zh) * 2012-08-03 2013-03-20 成都众合云盛科技有限公司 中远距离在线身份验证研究中的掌纹采集与定位方法
CN103390168A (zh) * 2013-07-18 2013-11-13 重庆邮电大学 基于Kinect深度信息的智能轮椅动态手势识别方法
CN103941866A (zh) * 2014-04-08 2014-07-23 河海大学常州校区 一种基于Kinect深度图像的三维手势识别方法
CN104050488A (zh) * 2014-06-16 2014-09-17 西安工业大学 一种基于切换的卡尔曼滤波模型的手势识别方法
CN105469043A (zh) * 2015-11-20 2016-04-06 苏州铭冠软件科技有限公司 一种手势识别系统
CN107122042A (zh) * 2017-03-29 2017-09-01 浙江大学 一种静动态手势结合的汉字书写方法及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100071965A1 (en) * 2008-09-23 2010-03-25 Panasonic Corporation System and method for grab and drop gesture recognition
CN102339379A (zh) * 2011-04-28 2012-02-01 重庆邮电大学 手势识别方法及基于手势识别控制的智能轮椅人机系统
CN102982308A (zh) * 2012-08-03 2013-03-20 成都众合云盛科技有限公司 中远距离在线身份验证研究中的掌纹采集与定位方法
CN103390168A (zh) * 2013-07-18 2013-11-13 重庆邮电大学 基于Kinect深度信息的智能轮椅动态手势识别方法
CN103941866A (zh) * 2014-04-08 2014-07-23 河海大学常州校区 一种基于Kinect深度图像的三维手势识别方法
CN104050488A (zh) * 2014-06-16 2014-09-17 西安工业大学 一种基于切换的卡尔曼滤波模型的手势识别方法
CN105469043A (zh) * 2015-11-20 2016-04-06 苏州铭冠软件科技有限公司 一种手势识别系统
CN107122042A (zh) * 2017-03-29 2017-09-01 浙江大学 一种静动态手势结合的汉字书写方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吴昀蓁: "基于流形学习的手势跟踪识别算法研究与实现", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108594997A (zh) * 2018-04-16 2018-09-28 腾讯科技（深圳）有限公司 手势骨架构建方法、装置、设备及存储介质
CN110276262A (zh) * 2019-05-23 2019-09-24 福建师范大学 一种手掌图像中手腕的判定方法
CN110399784A (zh) * 2019-05-23 2019-11-01 福建师范大学 一种手掌图像感兴趣区域与截取准确率提升的方法

Also Published As

Publication number Publication date
CN107680104B (zh) 2020-10-23

Similar Documents

Publication Publication Date Title
CN106651908B (zh) 一种多运动目标跟踪方法
CN102799867B (zh) 基于图像处理的仪表指针转角识别方法
CN102999886B (zh) 图像边缘检测器及标尺光栅栅线精度检测系统
CN105654097B (zh) 图像中四边形标记物的检测方法
CN111368607B (zh) 一种机器人、障碍物的检测方法及检测装置
CN107680104A (zh) 基于kalman滤波的手势分割方法
JP6466811B2 (ja) 走行区画線認識装置
KR20180036753A (ko) 레이저 포인트 클라우드 기반의 도시 도로 인식 방법, 장치, 저장 매체 및 기기
CN102184550A (zh) 一种动平台地面运动目标检测方法
WO2015149712A1 (zh) 一种指向交互方法、装置及系统
CN105279756A (zh) 基于自适应区域分割的缺口圆弧零件尺寸视觉检测方法
CN105930795A (zh) 一种基于人体骨骼关节点间空间向量的行走状态识别方法
CN106951905A (zh) 一种基于tof相机的树上苹果识别与定位方法
CN104647893B (zh) 一种基于十字线的印刷套印误差检测方法
EP3678046A1 (en) Hand detection method and system, image detection method and system, hand segmentation method, storage medium, and device
JP4946175B2 (ja) 走路境界検出装置および走路境界検出方法
CN107463873B (zh) 一种基于rgbd深度传感器的实时手势分析与评价方法与系统
CN109285163B (zh) 基于激光点云的车道线左右轮廓线交互式提取方法
CN106845482A (zh) 一种车牌定位方法
CN104715491A (zh) 一种基于一维灰度矩的亚像素边缘检测方法
CN111161325A (zh) 基于卡尔曼滤波与lstm的三维多目标跟踪方法
CN104700385A (zh) 基于fpga实现的双目视觉定位装置
CN104992175B (zh) 一种基于树型关系的过粘连钢坯字符分割方法
CN104408721B (zh) 基于背景密度估计的印章图像提取方法
CN107527353A (zh) 一种基于视觉处理的投影画面外框检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20201023

Termination date: 20210923