CN108563988B - 一种指尖轨迹识别分类方法 - Google Patents

一种指尖轨迹识别分类方法 Download PDF

Info

Publication number
CN108563988B
CN108563988B CN201810183557.1A CN201810183557A CN108563988B CN 108563988 B CN108563988 B CN 108563988B CN 201810183557 A CN201810183557 A CN 201810183557A CN 108563988 B CN108563988 B CN 108563988B
Authority
CN
China
Prior art keywords
dimensional
dimensional space
matrix
coordinate sequence
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810183557.1A
Other languages
English (en)
Other versions
CN108563988A (zh
Inventor
葛昊
王俊
邹耀
应忍冬
刘佩林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Data Miracle Intelligent Technology Co ltd
Original Assignee
Shanghai Data Miracle Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Data Miracle Intelligent Technology Co ltd filed Critical Shanghai Data Miracle Intelligent Technology Co ltd
Priority to CN201810183557.1A priority Critical patent/CN108563988B/zh
Publication of CN108563988A publication Critical patent/CN108563988A/zh
Application granted granted Critical
Publication of CN108563988B publication Critical patent/CN108563988B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开的一种指尖轨迹识别分类方法,包括以下步骤:步骤S10,采集指尖在三维空间中的三维运动轨迹,并将采集到的三维运动轨迹转化成三维空间坐标序列;步骤S20,利用PCA算法将三维空间坐标序列降维至二维平面,得到一个二维空间坐标序列;步骤S30,对二维空间坐标序列进行归一化处理;步骤S40,利用DTW算法计算当前的二维空间坐标序列与数据库中的各个模板类的相似度,并判定计算得到的相似度是否高于预设阈值,若计算得到的相似度高于预设阈值,则输出相似度最高的模板类作为识别结果。本发明具有抗空间旋转能力强和可扩展性强的优点。

Description

一种指尖轨迹识别分类方法
技术领域
本发明涉及人机交互技术领域,尤其涉及一种指尖轨迹识别分类方法。
背景技术
随着计算机技术的快速发展和不断进步,涌现了许多智能化的电子产品,在使得大众生活更加便利的同时,也给人机交互带来了新的要求和挑战。手势交互作为自然人机交互方式的一种,得到了广泛的运用。
指尖轨迹识别是指对指尖在三维空间中的运动轨迹模式进行识别,例如指尖的顺时针、逆时针转动等。在目前的指尖轨迹识别研究中,例如论文《基于指尖定位的手势识别算法研究》提到了对指尖动态轨迹的识别,该方法通过提取指尖动态轨迹的坐标适量角度变化作为方向特征来进行动作识别。但是,这种方法对指尖在三维空间的运动轨迹模式识别的效果依然不理想,抗空间旋转能力弱。为此,申请人进行了有益的探索和尝试,找到了解决上述问题的办法,下面将要介绍的技术方案便是在这种背景下产生的。
发明内容
本发明所要解决的技术问题:针对现有技术的不足而提供一种对指尖在三维空间中的运动轨迹模式进行识别的指尖轨迹识别分类方法。
本发明所解决的技术问题可以采用以下技术方案来实现:
一种指尖轨迹识别分类方法,包括以下步骤:
步骤S10,采集指尖在三维空间中的三维运动轨迹,并将采集到的三维运动轨迹转化成三维空间坐标序列;
步骤S20,利用PCA算法将三维空间坐标序列降维至二维平面,得到一个二维空间坐标序列;
步骤S30,对二维空间坐标序列进行归一化处理;
步骤S40,利用DTW算法计算当前的二维空间坐标序列与数据库中的各个模板类的相似度,并判定计算得到的相似度是否高于预设阈值,若计算得到的相似度高于预设阈值,则输出相似度最高的模板类作为识别结果。
在本发明的一个优选实施例中,在步骤S30中,对二维空间坐标序列进行归一化处理包括以下步骤:
步骤S31,将二维空间坐标序列设为:
{(x1,y2),(x2,y2),...,(xn,yn)}
步骤S32,计算出所有坐标的几何中心G=(xG,yG),并将几何中心移至(0,0)点,同时将所有的坐标点进行平移,即所有的坐标点减去几何中心坐标;
步骤S33,围绕点将二维坐标序列的起始点旋转至x轴上,并求解一个旋转矩阵
Figure BDA0001589610560000021
使得sin(a)x1+cos(a)y1=0;
步骤S34,对所有的坐标点进行旋转,即左乘旋转矩阵R;
步骤S35,将横坐标和纵坐标都归一化值[0,1]区间。
由于采用了如上的技术方案,本发明的有益效果在于:本发明PCA算法将三维运动轨迹投影到富含最多信息的二维平面,在降维的同时尽可能地保留数据的有效信息,并且消除动作不规范带来的随机扰动,再将二维平面轨迹做一个坐标归一化,最后利用DTW算法将二维指尖坐标序列与待分类的模板进行比较,进行动作识别。本发明具有以下优点:
1、抗空间旋转能力强,相较于已有方法,本发明利用指尖在三维空间的三维坐标信息,能够识别不是正对着镜头做出的动作,由于PCA能够保留并提取出三维轨迹中信息最丰富的那个两维横截面,具有较强的抗空间旋转性;
2、可扩展性强,识别阶段采用DTW算法也相对容易扩展可以识别的手势种类,即无需重新训练分类器,只要添加响应待识别手势的模板即可。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明的流程图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解,下面结合具体图示,进一步阐述本发明。
参见图1,图中给出的是一种指尖轨迹识别分类方法,包括以下步骤:
步骤S10,采集指尖在三维空间中的三维运动轨迹,并将采集到的三维运动轨迹转化成三维空间坐标序列;
步骤S20,利用PCA算法将三维空间坐标序列降维至二维平面,得到一个二维空间坐标序列;
步骤S30,对二维空间坐标序列进行归一化处理;
步骤S40,利用DTW算法计算当前的二维空间坐标序列与数据库中的各个模板类的相似度,并判定计算得到的相似度是否高于预设阈值,若计算得到的相似度高于预设阈值,则输出相似度最高的模板类作为识别结果。这里的数据库中的各个模板类在事先收集好,并归入数据库中进行保存。
上述步骤S20包括以下子步骤:
步骤S21,将三维空间坐标序列存储在一个矩阵X中,即
Figure BDA0001589610560000041
步骤S22,将矩阵进行列归一化,即每列的值减去该列均值,得到矩阵X’,
Figure BDA0001589610560000042
其中,
Figure BDA0001589610560000043
Figure BDA0001589610560000044
Figure BDA0001589610560000045
步骤S23,求出归一化后矩阵X’的协方差矩阵Q,
Figure BDA0001589610560000046
步骤S24,求出协方差矩阵Q的特征值及对应的特征向量;
步骤S25,取出最大的两个特征值所对应的特征向量组成一个矩阵P;
步骤S26,矩阵P左乘X即为降维后的2维点坐标序列
Figure BDA0001589610560000047
在步骤S30中,对二维空间坐标序列进行归一化处理包括以下步骤:
步骤S31,将二维空间坐标序列设为:
((x1,y1),(x2,y2),...,(xn,yn)}
步骤S32,计算出所有坐标的几何中心G=(xG,yG),并将几何中心移至(0,0)点,同时将所有的坐标点进行平移,即所有的坐标点减去几何中心坐标;
步骤S33,围绕点将二维坐标序列的起始点旋转至x轴上,并求解一个旋转矩阵
Figure BDA0001589610560000048
使得sin(a)x1+cos(a)y1=0;
步骤S34,对所有的坐标点进行旋转,即左乘旋转矩阵R;
步骤S35,将横坐标和纵坐标都归一化值[0,1]区间。
在步骤S40,采用DTW算法进行相似度判断的过程如下:
步骤S41,假设有输入二维特征序列和模板2为特征序列T,即
Figure BDA0001589610560000051
Figure BDA0001589610560000052
步骤S42,构件一个代价矩阵C,其中
Figure BDA0001589610560000053
步骤S43,迭代式的构造一个累积代价矩阵Di,其中
Dij=Cij+min(Di-1,j,Di,j-1,Di-1,j-1)
步骤S44,最后得到的Dmn就是特征序列S和模板序列T之间的距离,距离越小表示相似度越大,反之距离越大则相似度越小。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (1)

1.一种指尖轨迹识别分类方法,其特征在于,包括以下步骤:
步骤S10,采集指尖在三维空间中的三维运动轨迹,并将采集到的三维运动轨迹转化成三维空间坐标序列;
步骤S20,利用PCA算法将三维空间坐标序列降维至二维平面,得到一个二维空间坐标序列;
步骤S30,对二维空间坐标序列进行归一化处理;
步骤S40,利用DTW算法计算当前的二维空间坐标序列与数据库中的各个模板类的相似度,并判定计算得到的相似度是否高于预设阈值,若计算得到的相似度高于预设阈值,则输出相似度最高的模板类作为识别结果;
上述步骤S20包括以下子步骤:
步骤S21,将三维空间坐标序列存储在一个矩阵X中,即
Figure FDA0003213433600000011
步骤S22,将矩阵进行列归一化,即每列的值减去该列均值,得到矩阵X’,
Figure FDA0003213433600000012
其中,
Figure FDA0003213433600000013
Figure FDA0003213433600000014
Figure FDA0003213433600000015
步骤S23,求出归一化后矩阵X’的协方差矩阵Q,
Figure FDA0003213433600000016
步骤S24,求出协方差矩阵Q的特征值及对应的特征向量;
步骤S25,取出最大的两个特征值所对应的特征向量组成一个矩阵P;
步骤S26,矩阵P左乘X即为降维后的2维点坐标序列
Figure FDA0003213433600000021
在步骤S30中,对二维空间坐标序列进行归一化处理包括以下步骤:
步骤S31,将二维空间坐标序列设为:
{(x1,y1),(x2,y2),...,(xn,yn)}
步骤S32,计算出所有坐标的几何中心G=(xG,yG),并将几何中心移至(0,0)点,同时将所有的坐标点进行平移,即所有的坐标点减去几何中心坐标;
步骤S33,围绕点将二维坐标序列的起始点旋转至x轴上,并求解一个旋转矩阵
Figure FDA0003213433600000022
使得sin(a)x1+cos(a)y1=0;
步骤S34,对所有的坐标点进行旋转,即左乘旋转矩阵R;
步骤S35,将横坐标和纵坐标都归一化值[0,1]区间;
在步骤S40,采用DTW算法进行相似度判断的过程如下:
步骤S41,假设有输入二维特征序列和模板2为特征序列T,即
Figure FDA0003213433600000023
Figure FDA0003213433600000024
步骤S42,构件一个代价矩阵C,其中
Figure FDA0003213433600000025
步骤S43,迭代式的构造一个累积代价矩阵Di,其中
Dij=Cij+min(Di-1,j,Di,j-1,Di-1,j-1)
步骤S44,最后得到的Dmn就是特征序列S和模板序列T之间的距离,距离越小表示相似度越大,反之距离越大则相似度越小。
CN201810183557.1A 2018-03-06 2018-03-06 一种指尖轨迹识别分类方法 Active CN108563988B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810183557.1A CN108563988B (zh) 2018-03-06 2018-03-06 一种指尖轨迹识别分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810183557.1A CN108563988B (zh) 2018-03-06 2018-03-06 一种指尖轨迹识别分类方法

Publications (2)

Publication Number Publication Date
CN108563988A CN108563988A (zh) 2018-09-21
CN108563988B true CN108563988B (zh) 2021-12-03

Family

ID=63532119

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810183557.1A Active CN108563988B (zh) 2018-03-06 2018-03-06 一种指尖轨迹识别分类方法

Country Status (1)

Country Link
CN (1) CN108563988B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109992106B (zh) * 2019-01-10 2022-05-10 北京工业大学 手势轨迹识别方法、电子设备及存储介质
JP7053516B2 (ja) * 2019-02-15 2022-04-12 株式会社日立製作所 ウェアラブルユーザインタフェース制御システム、それを用いた情報処理システム、および、制御プログラム
CN110354475A (zh) * 2019-07-16 2019-10-22 哈尔滨理工大学 一种网球挥拍动作定型训练方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102810008A (zh) * 2012-05-16 2012-12-05 北京捷通华声语音技术有限公司 一种空中输入系统、方法及空中输入采集设备
CN105893942A (zh) * 2016-03-25 2016-08-24 中国科学技术大学 一种基于eSC和HOG的自适应HMM的手语识别方法
CN105912910A (zh) * 2016-04-21 2016-08-31 武汉理工大学 基于手机传感的在线签名身份认证方法及系统
CN106354252A (zh) * 2016-08-18 2017-01-25 电子科技大学 一种基于stdw的连续字符手势轨迹识别方法
CN107609593A (zh) * 2017-09-15 2018-01-19 杭州电子科技大学 一种基于最长轨迹投影的三维空间手写字符降维方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102810008A (zh) * 2012-05-16 2012-12-05 北京捷通华声语音技术有限公司 一种空中输入系统、方法及空中输入采集设备
CN105893942A (zh) * 2016-03-25 2016-08-24 中国科学技术大学 一种基于eSC和HOG的自适应HMM的手语识别方法
CN105912910A (zh) * 2016-04-21 2016-08-31 武汉理工大学 基于手机传感的在线签名身份认证方法及系统
CN106354252A (zh) * 2016-08-18 2017-01-25 电子科技大学 一种基于stdw的连续字符手势轨迹识别方法
CN107609593A (zh) * 2017-09-15 2018-01-19 杭州电子科技大学 一种基于最长轨迹投影的三维空间手写字符降维方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Real Time Hand Detection & Tracking for Dynamic Gesture Recognition Dynamic Gesture Recognition;Varsha Dixit 等;《I.J. Intelligent Systems and Applications》;20150805;第38-44页 *
基于指尖定位的手势识别算法研究;白玉;《中国优秀硕士学位论文全文数据库 信息科技辑》;20160715;正文第1-60页 *

Also Published As

Publication number Publication date
CN108563988A (zh) 2018-09-21

Similar Documents

Publication Publication Date Title
Satpathy et al. LBP-based edge-texture features for object recognition
Zhan et al. Face detection using representation learning
Huang et al. Local binary patterns and its application to facial image analysis: a survey
Chew et al. Person-independent facial expression detection using constrained local models
Dupuis et al. Feature subset selection applied to model-free gait recognition
Ahmed et al. Compound local binary pattern (CLBP) for robust facial expression recognition
Vishwakarma et al. Human activity recognition based on spatial distribution of gradients at sublevels of average energy silhouette images
JP2008310796A (ja) コンピュータにより実施される、訓練データから分類器を構築し、前記分類器を用いてテストデータ中の移動物体を検出する方法
US20120057763A1 (en) method for recognizing the identity of user by biometrics of palm vein
CN108563988B (zh) 一种指尖轨迹识别分类方法
Peng et al. Recognition of low-resolution logos in vehicle images based on statistical random sparse distribution
Ding et al. Recognition of hand-gestures using improved local binary pattern
Vishwakarma et al. Unified framework for human activity recognition: An approach using spatial edge distribution and ℜ-transform
Chen et al. Robust text line segmentation for historical manuscript images using color and texture
JP4378660B2 (ja) 情報処理装置および方法、並びにプログラム
Huang et al. Emotion recognition based on a novel triangular facial feature extraction method
Huang et al. Facial image analysis based on local binary patterns: A survey
Almazán et al. Deformable hog-based shape descriptor
Fathima et al. Fusion Framework for Multimodal Biometric Person Authentication System.
Lee et al. An effective method for detecting facial features and face in human–robot interaction
Davda et al. Offline signature verification system using energy on grid level
Feng et al. A novel feature extraction method for facial expression recognition
Mahmud et al. Hand gesture recognition using SIFT features on depth image
Gondhi et al. An efficient algorithm for facial landmark detection using haar-like features coupled with corner detection following anthropometric constraints
Elsayed et al. Hybrid method based on multi-feature descriptor for static sign language recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant