CN102193633A - 一种数据手套动态手语识别方法 - Google Patents

一种数据手套动态手语识别方法 Download PDF

Info

Publication number
CN102193633A
CN102193633A CN 201110137703 CN201110137703A CN102193633A CN 102193633 A CN102193633 A CN 102193633A CN 201110137703 CN201110137703 CN 201110137703 CN 201110137703 A CN201110137703 A CN 201110137703A CN 102193633 A CN102193633 A CN 102193633A
Authority
CN
China
Prior art keywords
sign language
eigenwert
language recognition
input
database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN 201110137703
Other languages
English (en)
Other versions
CN102193633B (zh
Inventor
黄昌正
王兵
郝志锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Huantek Co ltd
Original Assignee
GUANGZHOU CHANGTU SOFTWARE CO Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GUANGZHOU CHANGTU SOFTWARE CO Ltd filed Critical GUANGZHOU CHANGTU SOFTWARE CO Ltd
Priority to CN 201110137703 priority Critical patent/CN102193633B/zh
Publication of CN102193633A publication Critical patent/CN102193633A/zh
Application granted granted Critical
Publication of CN102193633B publication Critical patent/CN102193633B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种数据手套动态手语识别方法,包括手语识别之前建立手语数据库和手语识别两个部分,所述手语识别的步骤如下:输入代表手指运动的特征值;将输入的特征值与储存于手语数据库中的特征值进一次以上的匹配;将匹配得到的结果转化成相应可识别的输出信号送给输出终端。所述手语数据库为将传感器检测的角度值转化为手语特征的特征值的集合,所述输入的特征值为来自传感器检测的角度值。本发明提高了手语识别匹配的效率和精度;本发明通过在匹配流程中仅保留最后匹配的结果,节省了手语识别匹配过程中的资源消耗。可广泛应用在手语识别领域。

Description

一种数据手套动态手语识别方法
技术领域
本发明涉及一种人工智能领域的模式识别方法,尤其是一种数据手套动态手语识别方法。
背景技术
目前的手势识别分为两种,一种是基于传感器数据的手势识别方法,一种是基于图像识别的手势识别方法。
基于物理手套传感器数据的手势识别是从传感器直接获得手指运动特征数据,通过一定的算法将其翻译成人可直接识别的文字或声音;基于图像识别的手势识别方法是通过图像录入设备把手形输入到计算机当中,借助图像处理技术进行手势识别的方法。
国内外科学家对手势识别进行了大量研究。1994年,Ramon M S 和Dannil T 研制了一种基于物理约束的手抓取过程的手动作合成的控制与抓取系统。1995年,Lee J intae 和Kunii Tosiyasv L 研究用摄像机获得手的运动图像数据来自动分析三维手势,实现三维手势重构。1997年,加拿大多伦多大学的Sidney S F 研究的Glove TalkII系统是目前最有影响的手势接口系统,他采用神经网络将用户手势转换成手势语言参数,通过语言合成器合成为语言输出。我国高文等人,也进行了基于手势和人的行为动作识别的手语合成技术的研究。
但对于基于图像识别的手势识别方法,依赖于摄像机成像,环境,光线等因素,由于人手在运动过程当中,必然会使手指遮掩而使摄像机摄不到要分析的手指图像。考虑到现有的条件因素,本研究基于传感器数据手套的手势识别。
国内机构对基于传感器数据手套的手势识别技术也已有了起步,2010年华南理工大学的一种基于加速度传感器的手势识别方法,这种方法是基于数据手套上的加速度传感器,以获得手指运动特征值,主要是通过加速度值获得手指在空间的旋转特征码,然后能过一定的算法去除人手抖动产生的噪声,而获得的特征值。这种技术因为基于加速度传感器,由于加速度传感器本身精度,使得特征值精度有限,加速度传感器依靠运动或重力产生加速度分量,使得加速度传感器受外界影响较大,如手指运动过程当中,快慢产生的加速度值不一样,不能表达加速度传感器当前的位置,外界有振动,如有汽车经过,飞机起飞,音响等环境时,传感器的数据很不稳定。
发明内容
本发明要解决的技术问题是:提供一种高精度的数据手套手语识别方法,所述手语识别方法节省匹配存储空间和耗时,识别效率高。
为了解决上述技术问题,本发明所采用的技术方案是:
一种数据手套动态手语识别方法,包括手语识别之前建立手语数据库和手语识别两个部分,所述手语识别的步骤如下:
S1.输入代表手指运动的特征值;
S2.将输入的特征值与储存于手语数据库中的特征值进一次以上的匹配;
S3.将匹配得到的结果转化成相应可识别的输出信号送给输出终端;
所述手语数据库为将传感器检测的角度值转化为手语特征的特征值的集合,所述输入的特征值为来自传感器检测的角度值。
进一步作为优选的实施方式,所述数据库特征值由每只手指的弯曲角度范围和手掌与水平面的夹角范围构成,每个特征值对应有文字标识,带文字标识的特征值按预定义的先后顺序组成一个代表手势语的序列。
进一步作为优选的实施方式,所述序列按识别频率高低为序构成手语数据库。
进一步作为优选的实施方式,所述输入的特征值由每只手指的弯曲角度范围和手掌与水平面的夹角范围构成,所述特征值按动作先后顺序组成输入序列。
进一步作为优选的实施方式,所述步骤S2中匹配的具体流程如下:
S21.将输入的第一特征值与数据库中代表手势语的序列中的第一特征值进行匹配;
S22.保存匹配结果,判断等待下一次特征值输入的时间是否超时;
S23.若输入超时,则输出最佳匹配结果并结束匹配;
S24.若输入不超时,接收输入的特征值,将输入的特征值与上一次保存的匹配结果中序列内相应特征值进行匹配;
S25.若匹配成功,则删除上一次保存的匹配结果,返回S22;
S26.若匹配不成功,则输出上次保存的匹配结果中的最佳匹配结果,并结束匹配。
进一步作为优选的实施方式,所述输出信号为文字、图片或者语音。
本发明的有益效果是:本发明通过以各手指的弯曲角度范围和手掌与水平面的夹角范围构成特征值,将特征值按预定义的语义构成序列组成手语特征数据库,并以被包含的匹配方式对动作的关键帧特征值进行匹配,提高了匹配的效率和精度;本发明通过在匹配流程中仅保留最后匹配的结果,节省了手语识别匹配过程中的资源消耗。
附图说明
下面结合附图对本发明的具体实施方式作进一步说明:
图1是本发明手语识别方法的流程图;
图2是本发明手语数据库中代表手势语的序列的组成图;
图3是本发明手语识别方法输入特征值与数据库特征值匹配的流程图。
具体实施方式
本发明旨在对人手指的变化所表达的内容遵照人设计的意图,按动作对应的关键帧顺序,给出最接近的表达结果。下面结合附图对本发明进行进一步的说明:
本发明所述输入特征值为双手的各个手指的弯曲角度和手掌所在平面与水平面成的夹角。本发明采用5个弯曲传感器分布在每个手指的第二个关节处,并与指平面贴近,平行。加速度传感器位于手背心部,与手掌平面平行。弯曲传感器获得反映手指弯曲程度的角度值,加速度传感器获得当前手掌所指示的方向。本发明根据这这两种传感器所获得的角度和加速度,通过加速度值在X、Y、Z三个方向的分量比值,Angle(x)=x/sqrt(x*x+y*y+z*z), Angle(y)=y/sqrt(x*x+y*y+z*z)
,Angle(z)=z/sqrt(x*x+y*y+z*z)分别求出加速度传感器面的方向。把这些角度组织在一起,形成了一个以角度为特征值的数据结构,每一个特定的手势都对应着一组特定的角度。动态手势对应着一系列的组角度。
所述手语特征数据库的建立方法如下:
建立一个以每只手的手指弯曲角度范围和其手掌与水平面的夹角范围组成一个特征值;
每个特征值都有其对应的文字标识;
每个带有文字标识的特征值按用户定义的先后顺序组成一个序列,称这个序列为一个手势语。
每个手势语都有一个文字标识,以“你们好”为例来说明:这个手势语由三个序列组成。分别为序列1“你”序列2“们”序列3“好”组成。其中“你”“们”“好”依次为序列的文字标识。而“你们好”为手势语的文字标识。序列“你”是由每个手指的弯曲最大角度和最小角度,手掌的水平角度和法向角度构成其的特征值。参照图2,手语特征数据内序列的结构包括多个特征值:特征值1,特征值2,特征值3,特征值n……。
以手势语为基本元素,构建一个按识别频率高为顺序的自定义数据库。
至此,手语特征数据库建立完成。
建立好手势语库之后,参照图1,手语识别步聚如下:
S1.输入代表手指运动的特征值;
S2.将输入的特征值与储存于手语数据库中的特征值进一次以上的匹配;
S3.将匹配得到的结果转化成相应可识别的输出信号送给输出终端。
参照图3,匹配的具体流程如下:
S21.将输入的第一特征值与数据库中代表手势语的序列中的第一特征值进行匹配;
S22.保存匹配结果,判断等待下一次特征值输入的时间是否超时;
S23.若输入超时,则输出最佳匹配结果并结束匹配;
S24.若输入不超时,接收输入的特征值,将输入的特征值与上一次保存的匹配结果中序列内相应特征值进行匹配;
S25.若匹配成功,则删除上一次保存的匹配结果,返回步骤S22;
S26.若匹配不成功,则输出上次保存的匹配结果中的最佳匹配结果,并结束匹配。
当输入的手势语包括多帧特征值时,需要按手势语的动作依次匹配每个特征值。这里有种情况,即在比较过程当中有多个符合条件的手势语序列,如:你好,你好吗?你好多书。当进行第一个特征值时,这三个序列都符合,如果在给定的时间内(假如2秒内无数据输入,那么没有手势被识别,如果有数据输入,且恰好是“好”特征值,那么这3个也都符合,这时在给定的时间内没有数据输入,就以“你好”做为输出结果。如果有数据输入,且符合序列3,就以序列3所在的手势语作为结果,否则以“你好”作为结果输出。
以上是对本发明的较佳实施进行了具体说明,但本发明创造并不限于所述实施例,熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换,这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (6)

1.一种数据手套动态手语识别方法,包括手语识别之前建立手语数据库和手语识别两个部分,所述手语识别的步骤如下:
S1.输入代表手指运动的特征值;
S2.将输入的特征值与储存于手语数据库中的特征值进一次以上的匹配;
S3.将匹配得到的结果转化成相应可识别的输出信号送给输出终端;
其特征在于:所述手语数据库为将传感器检测的角度值转化为手语特征的特征值的集合,所述输入的特征值为来自传感器检测的角度值。
2.根据权利要求1所述的一种数据手套动态手语识别方法,其特征在于:所述数据库特征值由每只手指的弯曲角度范围和手掌与水平面的夹角范围构成,每个特征值对应有文字标识,带文字标识的特征值按预定义的先后顺序组成一个代表手势语的序列。
3.根据权利要求2所述的一种数据手套动态手语识别方法,其特征在于:所述序列按识别频率高低为序构成手语数据库。
4.根据权利要求1所述的一种数据手套动态手语识别方法,其特征在于:所述输入的特征值由每只手指的弯曲角度范围和手掌与水平面的夹角范围构成,所述特征值按动作先后顺序组成输入序列。
5.根据权利要求1所述的一种数据手套动态手语识别方法,其特征在于:所述步骤S2中匹配的具体流程如下:
S21.将输入的第一特征值与数据库中代表手势语的序列中的第一特征值进行匹配;
S22.保存匹配结果,判断等待下一次特征值输入的时间是否超时;
S23.若输入超时,则输出最佳匹配结果并结束匹配;
S24.若输入不超时,接收输入的特征值,将输入的特征值与上一次保存的匹配结果中序列内相应特征值进行匹配;
S25.若匹配成功,则删除上一次保存的匹配结果,返回S22;
S26.若匹配不成功,则输出上次保存的匹配结果中的最佳匹配结果,并结束匹配。
6.根据权利要求1所述的一种数据手套动态手语识别方法,其特征在于:所述输出信号为文字、图片或者语音。
CN 201110137703 2011-05-25 2011-05-25 一种数据手套动态手语识别方法 Expired - Fee Related CN102193633B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 201110137703 CN102193633B (zh) 2011-05-25 2011-05-25 一种数据手套动态手语识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201110137703 CN102193633B (zh) 2011-05-25 2011-05-25 一种数据手套动态手语识别方法

Publications (2)

Publication Number Publication Date
CN102193633A true CN102193633A (zh) 2011-09-21
CN102193633B CN102193633B (zh) 2012-12-12

Family

ID=44601811

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201110137703 Expired - Fee Related CN102193633B (zh) 2011-05-25 2011-05-25 一种数据手套动态手语识别方法

Country Status (1)

Country Link
CN (1) CN102193633B (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103744507A (zh) * 2013-12-31 2014-04-23 深圳泰山在线科技有限公司 人机交互的手势操控方法及系统
CN103869962A (zh) * 2012-12-18 2014-06-18 联想(北京)有限公司 一种数据处理方法、装置及电子设备
CN104049753A (zh) * 2014-06-09 2014-09-17 百度在线网络技术(北京)有限公司 实现手语信息和文本信息相互转换的方法和装置
CN104134060A (zh) * 2014-08-03 2014-11-05 上海威璞电子科技有限公司 基于肌电信号和运动传感器的手语翻译和显示发声系统
CN104392237A (zh) * 2014-11-17 2015-03-04 广州畅途软件有限公司 一种数据手套的模糊手语识别方法
CN104462162A (zh) * 2013-11-25 2015-03-25 安徽寰智信息科技股份有限公司 一种新型的手语识别采集方法及装置
CN104781787A (zh) * 2012-11-19 2015-07-15 高通股份有限公司 用于功率有效分类的循序特征计算
CN104915015A (zh) * 2015-07-07 2015-09-16 安徽瑞宏信息科技有限公司 一种新型的手语识别采集方法及装置
CN105956529A (zh) * 2016-04-25 2016-09-21 福州大学 一种基于lstm型rnn的中国手语识别方法
CN107092349A (zh) * 2017-03-20 2017-08-25 重庆邮电大学 一种基于RealSense的手语识别系统及方法
CN109871116A (zh) * 2017-12-05 2019-06-11 博世汽车部件(苏州)有限公司 用于识别手势的装置和方法
CN109871857A (zh) * 2017-12-05 2019-06-11 博世汽车部件(苏州)有限公司 用于识别手势的方法和装置
CN109992093A (zh) * 2017-12-29 2019-07-09 博世汽车部件(苏州)有限公司 一种手势比较方法以及手势比较系统
CN110017834A (zh) * 2019-04-15 2019-07-16 歌尔科技有限公司 使用对象确定方法、设备及存储介质
CN111399635A (zh) * 2019-01-03 2020-07-10 宏达国际电子股份有限公司 电子系统及控制器
CN112771477A (zh) * 2019-02-15 2021-05-07 株式会社日立制作所 可穿戴用户接口控制系统、使用该系统的信息处理系统以及控制程序

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1389804A (zh) * 2001-06-06 2003-01-08 中国科学院计算技术研究所 基于控制点运动编辑的手语词汇运动数据库生成的方法
CN101527092A (zh) * 2009-04-08 2009-09-09 西安理工大学 特定会话场景下的计算机辅助手语交流方法
CN101609618A (zh) * 2008-12-23 2009-12-23 浙江工业大学 基于空间编码的实时手语交流系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1389804A (zh) * 2001-06-06 2003-01-08 中国科学院计算技术研究所 基于控制点运动编辑的手语词汇运动数据库生成的方法
CN101609618A (zh) * 2008-12-23 2009-12-23 浙江工业大学 基于空间编码的实时手语交流系统
CN101527092A (zh) * 2009-04-08 2009-09-09 西安理工大学 特定会话场景下的计算机辅助手语交流方法

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104781787B (zh) * 2012-11-19 2019-05-21 高通股份有限公司 用于功率有效分类的循序特征计算
CN104781787A (zh) * 2012-11-19 2015-07-15 高通股份有限公司 用于功率有效分类的循序特征计算
US10133329B2 (en) 2012-11-19 2018-11-20 Qualcomm Incorporated Sequential feature computation for power efficient classification
CN103869962A (zh) * 2012-12-18 2014-06-18 联想(北京)有限公司 一种数据处理方法、装置及电子设备
CN104462162A (zh) * 2013-11-25 2015-03-25 安徽寰智信息科技股份有限公司 一种新型的手语识别采集方法及装置
CN103744507A (zh) * 2013-12-31 2014-04-23 深圳泰山在线科技有限公司 人机交互的手势操控方法及系统
CN103744507B (zh) * 2013-12-31 2018-12-14 深圳泰山体育科技股份有限公司 人机交互的手势操控方法及系统
CN104049753A (zh) * 2014-06-09 2014-09-17 百度在线网络技术(北京)有限公司 实现手语信息和文本信息相互转换的方法和装置
WO2015188607A1 (zh) * 2014-06-09 2015-12-17 百度在线网络技术(北京)有限公司 实现手语信息和文本信息相互转换的方法和装置
CN104049753B (zh) * 2014-06-09 2017-06-20 百度在线网络技术(北京)有限公司 实现手语信息和文本信息相互转换的方法和装置
CN104134060A (zh) * 2014-08-03 2014-11-05 上海威璞电子科技有限公司 基于肌电信号和运动传感器的手语翻译和显示发声系统
CN104134060B (zh) * 2014-08-03 2018-01-05 上海威璞电子科技有限公司 基于肌电信号和运动传感器的手语翻译和显示发声系统
CN104392237B (zh) * 2014-11-17 2017-10-10 广州畅途软件有限公司 一种数据手套的模糊手语识别方法
CN104392237A (zh) * 2014-11-17 2015-03-04 广州畅途软件有限公司 一种数据手套的模糊手语识别方法
CN104915015A (zh) * 2015-07-07 2015-09-16 安徽瑞宏信息科技有限公司 一种新型的手语识别采集方法及装置
CN105956529A (zh) * 2016-04-25 2016-09-21 福州大学 一种基于lstm型rnn的中国手语识别方法
CN107092349A (zh) * 2017-03-20 2017-08-25 重庆邮电大学 一种基于RealSense的手语识别系统及方法
CN109871116B (zh) * 2017-12-05 2024-06-21 博世汽车部件(苏州)有限公司 用于识别手势的装置和方法
CN109871116A (zh) * 2017-12-05 2019-06-11 博世汽车部件(苏州)有限公司 用于识别手势的装置和方法
CN109871857A (zh) * 2017-12-05 2019-06-11 博世汽车部件(苏州)有限公司 用于识别手势的方法和装置
CN109992093A (zh) * 2017-12-29 2019-07-09 博世汽车部件(苏州)有限公司 一种手势比较方法以及手势比较系统
CN109992093B (zh) * 2017-12-29 2024-05-03 博世汽车部件(苏州)有限公司 一种手势比较方法以及手势比较系统
CN111399635A (zh) * 2019-01-03 2020-07-10 宏达国际电子股份有限公司 电子系统及控制器
CN111399635B (zh) * 2019-01-03 2023-03-31 宏达国际电子股份有限公司 电子系统及控制器
CN112771477A (zh) * 2019-02-15 2021-05-07 株式会社日立制作所 可穿戴用户接口控制系统、使用该系统的信息处理系统以及控制程序
CN110017834B (zh) * 2019-04-15 2021-12-24 歌尔科技有限公司 使用对象确定方法、设备及存储介质
CN110017834A (zh) * 2019-04-15 2019-07-16 歌尔科技有限公司 使用对象确定方法、设备及存储介质

Also Published As

Publication number Publication date
CN102193633B (zh) 2012-12-12

Similar Documents

Publication Publication Date Title
CN102193633B (zh) 一种数据手套动态手语识别方法
CN102567716B (zh) 一种人脸合成系统及实现方法
CN104731307B (zh) 一种体感动作识别方法及人机交互装置
CN107239728A (zh) 基于深度学习姿态估计的无人机交互装置与方法
CN101308571A (zh) 一种利用主动网格与人脸识别结合生成新人脸的方法
CN109271018A (zh) 基于虚拟人行为标准的交互方法及系统
WO2013075466A1 (zh) 一种基于图像传感模块的字符输入方法、装置及终端
CN103092329A (zh) 一种基于唇读技术的唇语输入方法
CN112001347B (zh) 一种基于人体骨架形态与检测目标的动作识别方法
CN103049761A (zh) 基于手语手套的手语识别方法及系统
CN107678550A (zh) 一种基于数据手套的手语手势识别系统
CN108446073A (zh) 一种利用手势模拟鼠标操作的方法、装置及终端
CN109032337A (zh) 一种基于数据手套的kem手势识别算法
CN109917922A (zh) 一种交互方法及可穿戴交互设备
CN102819751A (zh) 一种基于动作识别的人机互动方法及装置
CN117877125B (zh) 动作识别及其模型训练方法、装置、电子设备、存储介质
CN108846175A (zh) 一种矢量户型图生成方法及装置
CN111798367B (zh) 图像处理方法、装置、存储介质及电子设备
CN109635706B (zh) 基于神经网络的手势识别方法、设备、存储介质及装置
CN114995729A (zh) 一种语音绘图方法、装置及计算机设备
CN111158476A (zh) 一种虚拟键盘的按键识别方法、系统、设备及存储介质
CN114333824A (zh) 基于Transformer模型的局部信息融合的语音识别网络及方法、终端
CN103020616B (zh) 一种手持设备空间位置的检测方法及其手持设备
CN104615984A (zh) 基于用户任务的手势识别方法
CN104392237A (zh) 一种数据手套的模糊手语识别方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20161205

Address after: 510075 Guangdong city of Guangzhou province Yuexiu District Shuiyin Road No. 119

Patentee after: GUANGZHOU HUANTEK Co.,Ltd.

Address before: 510663 high tech Industrial Development Zone, Guangdong Province, Cai Cai road, No. 9 (B), 801C, 801D,

Patentee before: GUANGZHOU CHANGTU SOFTWARE Co.,Ltd.

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20121212

CF01 Termination of patent right due to non-payment of annual fee