CN107608510A - 手势模型库的建立方法、装置及电子设备 - Google Patents

手势模型库的建立方法、装置及电子设备 Download PDF

Info

Publication number
CN107608510A
CN107608510A CN201710826798.9A CN201710826798A CN107608510A CN 107608510 A CN107608510 A CN 107608510A CN 201710826798 A CN201710826798 A CN 201710826798A CN 107608510 A CN107608510 A CN 107608510A
Authority
CN
China
Prior art keywords
gesture
data
feature
sample
model storehouse
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710826798.9A
Other languages
English (en)
Inventor
陈增照
何秀玲
吴珂
刘婷婷
李洋洋
张婧
冯晓超
张钊
蒋朗
周梦莹
徐丽丽
钱婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong Normal University
Original Assignee
Huazhong Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong Normal University filed Critical Huazhong Normal University
Priority to CN201710826798.9A priority Critical patent/CN107608510A/zh
Publication of CN107608510A publication Critical patent/CN107608510A/zh
Pending legal-status Critical Current

Links

Abstract

本发明提供了一种手势模型库的建立方法、装置及电子设备,涉及多媒体教学技术领域,手势模型库的建立方法包括获取多个手势样本集合,其中,各个手势样本集合包括与手势种类相对应的多个不同的手势样本子集,每个手势样本子集包括同种手势的多个手势样本数据。对各个手势样本数据进行特征提取,得到每种手势对应的特征;从每种手势对应的特征中选取最优特征,生成手势模型库。这样,获取多种手势对应的手势样本数据,对各个样本数据进行特征提取,并进一步选取最优特征以生成手势模型库,将该手势模型库应用于课堂教学的手势识别,提高了手势的识别度,简化了教学操作,进而提高了教学效率。

Description

手势模型库的建立方法、装置及电子设备
技术领域
本发明涉及多媒体教学技术领域,尤其是涉及一种手势模型库的建立方法、装置及电子设备。
背景技术
在“互联网+”教育的时代背景下,信息技术与课堂教学的融合是教育改革的必然趋势,2016年中国版《地平线报告》中指出了中国基础教育面临的可应对的挑战是将技术与教师教育相融合,从黑板粉笔到智慧教室模式下的一系列演变,正是教师与信息技术相互磨合、逐渐融合的过程。
随着液晶触控一体机的普及,触摸式课堂教学呈现一定优势,给教师提供了一个清晰可触摸的教学方式,但是教师被鼠标、键盘、触摸屏限制在三尺讲台上,和学生之间互动减少。在信息化教学中我们更希望回归沟通式教学,教师可以走到教室不同位置操作白板,并与学生互动。
手势识别技术可以无接触地操纵计算机,通过比划特定手势,来调用相应教学工具,教师不需要转身触摸屏幕,即可呈现课前设计好的教学内容并开展教学活动。智慧教学中教师作为一个统筹者,利用信息技术规划整个教学活动,从学生学习需要出发,进行课堂教学设计,手势识别技术则成为智慧教学中信息技术与课堂整合的一个契合点。
目前,由于现有技术中手势的识别率低而导致多种手势难于区分,进而给教师的教学造成不便,严重影响教学质量。
发明内容
有鉴于此,本发明的目的在于提供一种手势模型库的建立方法、装置及电子设备,以提高手势的识别度,简化教学操作,进而提高教学效率。
第一方面,本发明实施例提供了一种手势模型库的建立方法,包括:
获取多个手势样本集合,其中,各个所述手势样本集合包括与手势种类相对应的多个不同的手势样本子集,每个所述手势样本子集包括同种手势的多个手势样本数据;
对各个所述手势样本数据进行特征提取,得到每种手势对应的特征;
从所述每种手势对应的特征中选取最优特征,生成手势模型库。
结合第一方面,本发明实施例提供了第一方面的第一种可能的实施方式,其中,还包括:
将多种手势对应的手势样本数据划分为动态手势数据和静态手势数据;
将各个所述手势样本子集中的多个手势样本数据以数据帧的形式保存至TXT文本文档中。
结合第一方面的第一种可能的实施方式,本发明实施例提供了第一方面的第二种可能的实施方式,其中,所述对各个所述手势样本数据进行特征提取之前,还包括:当所述手势样本数据为动态手势数据时:
根据各数据帧中的手掌的22个关节点的速度信息,确定分离阈值;
根据所述分离阈值,分别判断各数据帧是否为静止数据帧;
若是,则删除所述静止数据帧。
结合第一方面的第一种可能的实施方式,本发明实施例提供了第一方面的第三种可能的实施方式,其中,所述对各个所述手势样本数据进行特征提取包括:当所述手势样本数据为动态手势数据时:
根据手掌的22个关节点的运动轨迹,提取各个所述关节点的运动方向特征;
计算所述22个关节点之间的自适应欧氏距离,提取基于欧氏距离的极值比较特征;
基于空间基准点变换的坐标向量,提取各个指尖坐标的对称变换特征;
计算各关节旋转角度并提取各关节的局部面积特征,得到二级数据特征;
提取所述22个关节点的相关数据坐标信息、速度信息,得到数据基本特征。
结合第一方面的第一种可能的实施方式,本发明实施例提供了第一方面的第四种可能的实施方式,其中,所述对各个所述手势样本数据进行特征提取包括:当所述手势样本数据为静态手势数据时:
计算手掌的22个关节点之间的自适应欧氏距离,提取基于欧氏距离的极值比较特征;
计算各个关节旋转角度并提取各个关节的局部面积特征,得到二级数据特征;
提取所述22个关节点的相关数据坐标信息,得到数据基本特征。
结合第一方面,本发明实施例提供了第一方面的第五种可能的实施方式,其中,还包括:
将所述最优特征输入分类器中进行分类识别;
根据识别结果,更新各个所述手势样本集合。
结合上述第一方面,本发明实施例提供了第一方面的第六种可能的实施方式,其中,所述手势模型库中还包括所述多个手势样本集合中的各个手势样本子集对应的视频信息。
第二方面,本发明实施例还提供一种手势模型库的建立装置,包括:
获取模块,用于获取多个手势样本集合,其中,各个所述手势样本集合包括与手势种类相对应的多个不同的手势样本子集,每个所述手势样本子集包括同种手势的多个手势样本数据;
提取模块,用于对各个所述手势样本数据进行特征提取,得到每种手势对应的特征;
选取模块,用于从所述每种手势对应的特征中选取最优特征,生成手势模型库。
第二方面,本发明实施例还提供一种电子设备,包括存储器、处理器,所述存储器上存储有可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述第一方面所述的方法的步骤。
第三方面,本发明实施例还提供一种具有处理器可执行的非易失的程序代码的计算机可读介质,所述程序代码使所述处理器执行上述第一方面所述的方法。
本发明实施例带来了以下有益效果:
在本发明提供的实施例中,手势模型库的建立方法包括获取多个手势样本集合,其中,各个手势样本集合包括与手势种类相对应的多个不同的手势样本子集,每个手势样本子集包括同种手势的多个手势样本数据。对各个手势样本数据进行特征提取,得到每种手势对应的特征;从每种手势对应的特征中选取最优特征,生成手势模型库。这样,获取多种手势对应的手势样本数据,对各个样本数据进行特征提取,并进一步选取最优特征以生成手势模型库,将该手势模型库应用于课堂教学的手势识别,提高了手势的识别度,简化了教学操作,进而提高了教学效率。
本发明的其他特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供手势示意图;
图2为本发明实施例提供的手掌的22个关节点的示意图;
图3为本发明实施例提供的10种手势图;
图4为本发明实施例提供的手势模型库的建立方法的流程示意图;
图5为本发明实施例提供的手势模型库的建立装置的结构示意图;
图6为本发明实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
目前由于现有技术中手势的识别率低而导致多种手势难于区分,进而给教师的教学造成不便,严重影响教学质量。基于此,本发明实施例提供的一种手势模型库的建立方法、装置及电子设备,应用于课堂教学的手势识别,能够提高手势的识别度,简化教学操作,进而提高教学效率。
为便于对本实施例进行理解,首先对本发明实施例所公开的一种手势模型库的建立方法进行详细介绍。
实施例一:
在建立手势模型库之前,需要进行手势定义,即针对需要实现的不同功能操作,设置不同的手势,如图1所示,以食指向上表示随手写字。定义原则可以包括以下方面:
(1)选取教师常用且可用,便于叫记忆与操作的手势,以减轻教师的意义和操作负担;
(2)结合课堂中教师对软件的常规操作,将手势设计与教师常用教学功能相统一,并结合教师认知习惯,以减轻教师记忆负担;
(3)深度摄像头容易识别区分的手势。深度摄像头可以返回手掌的完整3D骨架,反馈出手掌的22个关节点(如图2所示)的实时动态变化数据,通过观察所操作手势的22关节点是否容易捕捉来定义手势。
为了简化教师操作,方便教师记忆,设计符合教师个性化需求的手势模型库,本发明中手势定义的设计思想如下:
(1)对不同对象的相同操作进行手势合并,比如图片的放大与缩小功能和word、pdf等文档的显示比例的放大与缩小功能属于同一性质的操作,可以通过同一种手势来调用上述放大缩小功能。
(2)针对教师最常用的教学功能定义多种手势,便于教师在不同的教学情景中自由使用,给予教师更多的选择性,教师可以依据教学需求进行个性化选择,如PPT或者图片下一页功能可以通过定义两种不同的手势调用。
(3)贴合实际教学场景,以符合中小学教师增加课堂趣味性的教学方式进行手势定义。
(4)针对不同学科需求和不同教师的操作习惯的不同,设置了调用自定义快捷键功能的手势辅助教学目标实现。教师可以根据自己课堂教学实际需要,利用自定义快捷键设置个性化的教学工具,教师可以选择开启实物展台、打开文档、切换窗口、打开手写笔、选择画笔颜色等自定义教学功能。
(5)按照教学功能的性质和手势操作意图相贴合的原则进行设计,比如对于书写所用笔,由于习惯用食指勾画,故以食指表示笔,教师通过伸出食指手势操作即可调用手写笔工具,方便快捷且容易识记。
按照上述手势定义原则和设计思想,本发明的一个实施例中提供了10种手势,以调用教学工具中的不同功能,如表1和图3所示。
表1 10种定义的手势参数表
其中,图3为本发明实施例提供的10种手势图,该10种手势图与表1中的手势种类按照各自的序号一一对应。
本发明实施例提供的手势模型库的建立方法可以但不限于应用于课堂教学,为识别课堂中教师做出的手势提供依据。
图4示出了本发明实施例提供的手势模型库的建立方法的流程示意图。如图4所示,该手势模型库的建立方法包括:
步骤S101,获取多个手势样本集合,其中,各个手势样本集合包括与手势种类相对应的多个不同的手势样本子集,每个手势样本子集包括同种手势的多个手势样本数据。
具体地,在需要的手势种类确定后,可以通过深度摄像头录制的方式获取各个手势样本集合,手势样本的数量越多,越有利于提高建立的手势模型库的手势识别度。一个实施例中,首先征集志愿者35人,各个志愿者按照手势录制流程一一进行数据录制,每个志愿者录制的手势样本作为一个手势样本集合。每个志愿者需要按照设定的顺序依次做出10种手势,每种手势做10次,即每种手势对应10个手势样本,每个志愿者一共录制100个手势样本。在本发明中将每种手势对应的35×10个手势样本作为手势样本子集,该手势样本子集中包含同种手势的35×10个手势样本对应的手势样本数据。另外,在同种手势录制的过程中,允许志愿者调整手部与深度摄像头之间的距离,以获得10个不同的手势样本数据。
进一步地,上述10种手势中包括动态手势和静态手势,因此,将多种手势对应的手势样本数据划分为动态手势数据和静态手势数据。具体地,在一个实施例中,动态手势的录制是以一个手势动作为一个完整的手势,对于静态手势的录制,是将手势比划好后,对着深度摄像头静止1s,录制静止时间的数据。在录制前对每位志愿者进行手势操作的培训,确保每位志愿者的手势操作是符合标准设计的。
进一步地,在某一种手势录制完成后,将这种手势对应的10次不同的手势样本数据存储到TXT文本文档中。具体地,将各个手势样本子集中的多个手势样本数据以数据帧的形式保存至TXT文本文档中,其中动态手势数据和静态手势数据均包括多个数据帧。具体地,每个数据帧包含帧数值、时间戳、手势计数、捕捉到的手的数量、左手或者右手以及22个关节点信息;其中每个关节点信息至少包括关节点编号、关节点名称、世界坐标、旋转角度、二维坐标、世界坐标位移变化量、速度信息。
进一步地,在某一种手势录制完成后暂停录制下一种手势,将当前完成的这种手势对应的录制视频进行存储(包括同一种手势的10次动作)。即志愿者完成一种手势录制(或者说每一个手势样本子集),即可得到一个TXT文本文档及一个视频信息。这样,将该视频信息存储至后续建成的手势模型库中,便于后续对错误手势的检查,进而提升手势模型库的准确度,另外能够保障手势模型库数据的完整性。
在组织志愿者录制手势模型库时,志愿者会出现个别手势操作不标准或者出错的情况,我们需要及时记录错误的手势的名称、次数,并让志愿者重复补录制几次,在后期会针对错误手势的文本数据和视频数据进行修改完善和替换,便于提升数据库的精准性。
在本实施例中的35个志愿者,每人录制10种手势,每种手势录制十次,故总共录制3500个手势样本;每种手势对应的10个手势样本对应的手势样本数据以数据帧的形式存储于文本文档中。
需要说明的是,上述具体值应被解释为仅仅是示例性的,而不是作为限制,因此,示例性实施例的其他示例可以具有不同的值。
步骤S102,对各个手势样本数据进行特征提取,得到每种手势对应的特征。
进一步地,由于在上述录制操作中,动态手势会存在手势动作起始前静止的帧数和动作结束后静止的帧数,这些数据帧对后期的手势特征提取与选择,以及应用中的手势识别均会产生干扰作用,因此需要对录制好的手势样本集合进行进一步的完善,删除动作前后静止的帧数。因此,在一个实施例中,在步骤S102之前,还包括:当手势样本数据为动态手势数据时:根据各数据帧中的手掌的22个关节点的速度信息,确定分离阈值;根据该分离阈值,分别判断各数据帧是否为静止数据帧;若是,则删除静止数据帧。
具体地,采用自动化手势分离的算法,对各数据帧中的手掌的22个关节点的速度信息进行数据分析和比较,确定出分离阈值。将数据帧中速度信息对应的速度值与分离阈值进行比较,若该速度值小于该分离阈值,则确定该数据帧为静止数据帧,将该静止数据帧通过算法进行删除。这样就得到了动态手势对应的标准而完整有效的手势样本数据,减小了数据冗余,并进行了归一化处理。
进一步地,为了保证特征提取的准确定与完整性,本发明实施例中,对静态手势数据和动态手势数据分别进行特征提取。
具体地,当手势样本数据为静态手势数据时,上述步骤S102包括:
(a1)计算手掌的22个关节点之间的自适应欧氏距离,提取基于欧氏距离的极值比较特征。
具体地,欧氏距离是一个通常采用的距离定义,指在m维空间中两个点之间的真实距离,或者向量的自然长度(即该点到原点的距离)。在二维和三维空间中的欧氏距离就是两点之间的实际距离。
假设编号为1的关节点(以下简称关节点1)的三维坐标为(X1,Y1,Z1),编号为2的关节点(以下简称关节点2)的三维坐标为(X2,Y2,Z2),则关节点1与关节点2之间的欧氏距离为:
(b1)计算各个关节旋转角度并提取各个关节的局部面积特征,得到二级数据特征。
具体地,根据数据帧中包括的旋转角度和世界坐标,计算各个关节的局部面积,然后根据旋转角度和该局部面积生成二级数据特征,该二级数据特征是关于旋转角度与局部面积的相关特征。
(c1)提取所述22个关节点的相关数据坐标信息,得到数据基本特征。
即从TXT文本文档的数据帧中提取各个关节点对应的世界坐标、二维坐标,作为数据基本特征。
将经过上述步骤(a1)、(b1)、(c1)步骤提取的基于欧氏距离的极值比较特征、二级数据特征及数据基本特征作为静态手势数据对应的特征进行存储。
当手势样本数据为动态手势数据时,上述步骤S102包括:
(a2)根据手掌的22个关节点的运动轨迹,提取各个所述关节点的运动方向特征。
假设编号为1的关节点(以下简称关节点1)的初始三维坐标为(X1,Y1,Z1),动作完成后的最终三维坐标为(X3,Y3,Z3),则该动态手势操作的过程中,运动位移:根据该位移确定运动方向,获取运动方向特征。
(b2)计算所述22个关节点之间的自适应欧氏距离,提取基于欧氏距离的极值比较特征。
计算多个数据帧对应的自适应欧氏距离,具体过程与步骤(a1)类似,在此不再赘述。
(c2)基于空间基准点变换的坐标向量,提取各个指尖坐标的对称变换特征。
具体地,根据各个数据帧中的数据确定各个指尖的世界坐标,对各个指尖的世界坐标进行点对称变换,从而获得点对称变换后的世界坐标,作为各个指尖坐标的对称变换特征。
(d2)计算各关节旋转角度并提取各关节的局部面积特征,得到二级数据特征。
计算多个数据帧对应的各关节的局部面积,得到各关节的局部面积的变化信息,根据该变化信息、局部面积、旋转角度生成二级数据特征。具体计算过程与步骤(b1)类似,在此不再赘述。
(e2)提取22个关节点的相关数据坐标信息、速度信息,得到数据基本特征。
从TXT文本文档的数据帧中提取各个关节点对应的世界坐标、二维坐标。假设关节点1的初始位移为S1,动作完成后的位移为S2,动作时间为t,则该关节点1对应的速度为V=(S2-S1)/t;将该速度、世界坐标、二维坐标作为数据基本特征。
将经过上述步骤(a2)、(b2)、(c2)、(e2)、(e2)步骤提取的运动方向特征、基于欧氏距离的极值比较特征、对称变换特征、二级数据特征及数据基本特征作为动态手势数据对应的特征进行存储。
步骤S103,从每种手势对应的特征中选取最优特征,生成手势模型库。
具体地,基于以上提取得到的动态手势数据和静态手势数据的特征,采用但不限于Relief-F(特征加权支持向量机)和LVW(Las Vegas Wrapper,拉斯维加斯)算法相结合的融合算法,对上述提取的特征进行特征选择,从而提高定义的手势的区分度,进而在后续应用过程中提高手势的识别度。最后将选取的最优特征进行存储,生成手势模型库。
在本发明提供的实施例中,手势模型库的建立方法包括获取多个手势样本集合,其中,各个手势样本集合包括与手势种类相对应的多个不同的手势样本子集,每个手势样本子集包括同种手势的多个手势样本数据。对各个手势样本数据进行特征提取,得到每种手势对应的特征;从每种手势对应的特征中选取最优特征,生成手势模型库。这样,获取多种手势对应的手势样本数据,对各个样本数据进行特征提取,并进一步选取最优特征以生成手势模型库,将该手势模型库应用于课堂教学的手势识别,提高了手势的识别度,简化了教学操作,进而提高了教学效率。
进一步地,为了进一步提高本发明实施例提供的手势模型库的准确度,手势识别度,上述方法还包括:将上述最优特征输入分类器中进行分类识别;根据识别结果,更新各个手势样本集合。
在一个实施例中,通过特征提取与选择后,将最优特征输入分类器中,对10种手势进行分类识别。具体地,利用多分类器融合的方法,利用SVM(Support Vector Machine,支持向量机)对静态手势数据对应的最优特征进行分类,利用DTW(Dynamic Time Warping,动态时间归整)算法对动态手势数据对应的最优特征进行分类。根据分类结果,重新获取相应的手势样本以更新数据样本集合或者重新进行手势样本数据的特征提取及选择。
针对本实施例中上述提出的10种手势,按照上述分类方法得到的分类结果,如表2所示。其中5号Click手势对应的识别度为93%,低于预设的识别度阈值95%,则可以根据实际的情况选择重新录制Click手势或者对Click手势对应的手势样本数据重新进行特征提取及选择。
表2 分类结果
实施例二:
图5示出了本发明实施例提供的手势模型库的建立装置的结构示意图。如图5所示,该手势模型库的建立装置包括:
获取模块11,用于获取多个手势样本集合,其中,各个手势样本集合包括与手势种类相对应的多个不同的手势样本子集,每个手势样本子集包括同种手势的多个手势样本数据;
提取模块12,用于对各个手势样本数据进行特征提取,得到每种手势对应的特征;
选取模块13,用于从每种手势对应的特征中选取最优特征,生成手势模型库。
这样,获取多种手势对应的手势样本数据,对各个样本数据进行特征提取,并进一步选取最优特征以生成手势模型库,将该手势模型库应用于课堂教学的手势识别,提高了手势的识别度,简化了教学操作,进而提高了教学效率。
实施例三:
参见图6,本发明实施例还提供一种电子设备100,包括:处理器40,存储器41,总线42和通信接口43,所述处理器40、通信接口43和存储器41通过总线42连接;处理器40用于执行存储器41中存储的可执行模块,例如计算机程序。
其中,存储器41可能包含高速随机存取存储器(RAM,Random Access Memory),也可能还包括非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。通过至少一个通信接口43(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接,可以使用互联网,广域网,本地网,城域网等。
总线42可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图6中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
其中,存储器41用于存储程序,所述处理器40在接收到执行指令后,执行所述程序,前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器40中,或者由处理器40实现。
处理器40可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器40中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器40可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital SignalProcessing,简称DSP)、专用集成电路(Application Specific Integrated Circuit,简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器41,处理器40读取存储器41中的信息,结合其硬件完成上述方法的步骤。
本发明实施例提供的手势模型库的建立装置及电子设备,与上述实施例提供的手势模型库的建立方法具有相同的技术特征,所以也能解决相同的技术问题,达到相同的技术效果。
本发明实施例所提供的进行手势模型库的建立方法的计算机程序产品,包括存储了处理器可执行的非易失的程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行前面方法实施例中所述的方法,具体实现可参见方法实施例,在此不再赘述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置及电子设备的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
附图中的流程图和框图显示了根据本发明的多个实施例方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
在本发明的描述中,需要说明的是,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种手势模型库的建立方法,其特征在于,包括:
获取多个手势样本集合,其中,各个所述手势样本集合包括与手势种类相对应的多个不同的手势样本子集,每个所述手势样本子集包括同种手势的多个手势样本数据;
对各个所述手势样本数据进行特征提取,得到每种手势对应的特征;
从所述每种手势对应的特征中选取最优特征,生成手势模型库。
2.根据权利要求1所述的方法,其特征在于,还包括:
将多种手势对应的手势样本数据划分为动态手势数据和静态手势数据;
将各个所述手势样本子集中的多个手势样本数据以数据帧的形式保存至TXT文本文档中。
3.根据权利要求2所述的方法,其特征在于,所述对各个所述手势样本数据进行特征提取之前,还包括:当所述手势样本数据为动态手势数据时:
根据各数据帧中的手掌的22个关节点的速度信息,确定分离阈值;
根据所述分离阈值,分别判断各数据帧是否为静止数据帧;
若是,则删除所述静止数据帧。
4.根据权利要求2所述的方法,其特征在于,所述对各个所述手势样本数据进行特征提取包括:当所述手势样本数据为动态手势数据时:
根据手掌的22个关节点的运动轨迹,提取各个所述关节点的运动方向特征;
计算所述22个关节点之间的自适应欧氏距离,提取基于欧氏距离的极值比较特征;
基于空间基准点变换的坐标向量,提取各个指尖坐标的对称变换特征;
计算各关节旋转角度并提取各关节的局部面积特征,得到二级数据特征;
提取所述22个关节点的相关数据坐标信息、速度信息,得到数据基本特征。
5.根据权利要求2所述的方法,其特征在于,所述对各个所述手势样本数据进行特征提取包括:当所述手势样本数据为静态手势数据时:
计算手掌的22个关节点之间的自适应欧氏距离,提取基于欧氏距离的极值比较特征;
计算各个关节旋转角度并提取各个关节的局部面积特征,得到二级数据特征;
提取所述22个关节点的相关数据坐标信息,得到数据基本特征。
6.根据权利要求1所述的方法,其特征在于,还包括:
将所述最优特征输入分类器中进行分类识别;
根据识别结果,更新各个所述手势样本集合。
7.根据权利要求1至6任一项所述的方法,其特征在于,所述手势模型库中还包括所述多个手势样本集合中的各个手势样本子集对应的视频信息。
8.一种手势模型库的建立装置,其特征在于,包括:
获取模块,用于获取多个手势样本集合,其中,各个所述手势样本集合包括与手势种类相对应的多个不同的手势样本子集,每个所述手势样本子集包括同种手势的多个手势样本数据;
提取模块,用于对各个所述手势样本数据进行特征提取,得到每种手势对应的特征;
选取模块,用于从所述每种手势对应的特征中选取最优特征,生成手势模型库。
9.一种电子设备,包括存储器、处理器,所述存储器上存储有可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现上述权利要求1至7任一项所述的方法的步骤。
10.一种具有处理器可执行的非易失的程序代码的计算机可读介质,其特征在于,所述程序代码使所述处理器执行所述权利要求1至7任一项所述的方法。
CN201710826798.9A 2017-09-13 2017-09-13 手势模型库的建立方法、装置及电子设备 Pending CN107608510A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710826798.9A CN107608510A (zh) 2017-09-13 2017-09-13 手势模型库的建立方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710826798.9A CN107608510A (zh) 2017-09-13 2017-09-13 手势模型库的建立方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN107608510A true CN107608510A (zh) 2018-01-19

Family

ID=61062644

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710826798.9A Pending CN107608510A (zh) 2017-09-13 2017-09-13 手势模型库的建立方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN107608510A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109871123A (zh) * 2019-01-21 2019-06-11 广东精标科技股份有限公司 一种基于手势或眼神控制的教学方法
CN110597446A (zh) * 2018-06-13 2019-12-20 北京小鸟听听科技有限公司 手势识别方法和电子设备
CN114937285A (zh) * 2022-05-25 2022-08-23 兰州大学 动态手势识别方法、装置、设备及存储介质
TWI800249B (zh) * 2022-02-08 2023-04-21 開酷科技股份有限公司 自定義手勢的方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102402289A (zh) * 2011-11-22 2012-04-04 华南理工大学 一种基于机器视觉的手势鼠标识别方法
CN104636725A (zh) * 2015-02-04 2015-05-20 华中科技大学 一种基于深度图像的手势识别方法与系统
CN105893951A (zh) * 2016-03-29 2016-08-24 华东师范大学 一种面向无人驾驶车的多维非穿戴式交警手势识别方法及系统
CN106372564A (zh) * 2015-07-23 2017-02-01 株式会社理光 手势识别方法和装置
CN106598227A (zh) * 2016-11-15 2017-04-26 电子科技大学 基于Leap Motion和Kinect的手势识别方法
CN106980372A (zh) * 2017-03-24 2017-07-25 普宙飞行器科技(深圳)有限公司 一种无需地面操控终端的无人机操控方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102402289A (zh) * 2011-11-22 2012-04-04 华南理工大学 一种基于机器视觉的手势鼠标识别方法
CN104636725A (zh) * 2015-02-04 2015-05-20 华中科技大学 一种基于深度图像的手势识别方法与系统
CN106372564A (zh) * 2015-07-23 2017-02-01 株式会社理光 手势识别方法和装置
CN105893951A (zh) * 2016-03-29 2016-08-24 华东师范大学 一种面向无人驾驶车的多维非穿戴式交警手势识别方法及系统
CN106598227A (zh) * 2016-11-15 2017-04-26 电子科技大学 基于Leap Motion和Kinect的手势识别方法
CN106980372A (zh) * 2017-03-24 2017-07-25 普宙飞行器科技(深圳)有限公司 一种无需地面操控终端的无人机操控方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
张建荣: "基于Kinect手势识别的虚拟环境体感交互技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
白栋天: "基于KINECT的静态手势和上肢连续动作识别", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
陈静: "基于Kinect的手势识别技术及其在教学中的应用", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110597446A (zh) * 2018-06-13 2019-12-20 北京小鸟听听科技有限公司 手势识别方法和电子设备
CN109871123A (zh) * 2019-01-21 2019-06-11 广东精标科技股份有限公司 一种基于手势或眼神控制的教学方法
TWI800249B (zh) * 2022-02-08 2023-04-21 開酷科技股份有限公司 自定義手勢的方法
CN114937285A (zh) * 2022-05-25 2022-08-23 兰州大学 动态手势识别方法、装置、设备及存储介质
CN114937285B (zh) * 2022-05-25 2023-04-07 兰州大学 动态手势识别方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN107578023A (zh) 人机交互手势识别方法、装置及系统
CN103093196B (zh) 一种基于手势的汉字交互输入与识别方法
US20120200540A1 (en) Utilization of temporal and spatial parameters to enhance the writing capability of an electronic device
CN107608510A (zh) 手势模型库的建立方法、装置及电子设备
Lian et al. EasyFont: a style learning-based system to easily build your large-scale handwriting fonts
Dash et al. Designing of marker-based augmented reality learning environment for kids using convolutional neural network architecture
CN111626297A (zh) 文字书写质量评价方法、装置、电子设备和记录介质
CN107463331A (zh) 手势轨迹模拟方法、装置及电子设备
CN102981742A (zh) 基于计算机视觉的手势交互系统
CN109086664B (zh) 一种动静态融合的多态手势识别方法
CN101944175B (zh) 物理运动学实验的动态几何虚拟方法
CN104821005B (zh) 可模拟笔势风格的汉字书法作品书写过程动态复现的方法
CN102385439A (zh) 一种用于电子白板的人机手势交互系统
CN103336967A (zh) 一种手部运动轨迹检测方法及装置
CN107403167A (zh) 手势识别方法及装置
Zhang et al. Chinese calligraphy specific style rendering system
CN108628455B (zh) 一种基于触摸屏手势识别的虚拟沙画绘制方法
CN112199015B (zh) 智能交互一体机及其书写方法、装置
KR20150113294A (ko) 도트 코드 기반의 필기 인식 전자펜을 이용한 교육 관리 시스템, 방법 및 컴퓨터 판독 가능한 기록 매체
Barbhuiya et al. Alexnet-cnn based feature extraction and classification of multiclass asl hand gestures
Alvarado et al. Properties of real-world digital logic diagrams
JP6694638B2 (ja) プログラム、情報記憶媒体及び認識装置
CN109358799B (zh) 在手写设备上添加用户输入的手写批注信息的方法
CN111860086A (zh) 基于深度神经网络的手势识别方法、装置及系统
Puranik et al. AirNote–Pen it Down!

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180119

RJ01 Rejection of invention patent application after publication