CN110031827B - 一种基于超声波测距原理的手势识别方法 - Google Patents

一种基于超声波测距原理的手势识别方法 Download PDF

Info

Publication number
CN110031827B
CN110031827B CN201910298787.7A CN201910298787A CN110031827B CN 110031827 B CN110031827 B CN 110031827B CN 201910298787 A CN201910298787 A CN 201910298787A CN 110031827 B CN110031827 B CN 110031827B
Authority
CN
China
Prior art keywords
data
echo
gesture
palm
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910298787.7A
Other languages
English (en)
Other versions
CN110031827A (zh
Inventor
燕学智
左昕雨
龙靖
刘书彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN201910298787.7A priority Critical patent/CN110031827B/zh
Publication of CN110031827A publication Critical patent/CN110031827A/zh
Application granted granted Critical
Publication of CN110031827B publication Critical patent/CN110031827B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/523Details of pulse systems
    • G01S7/526Receivers
    • G01S7/527Extracting wanted echo signals
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/534Details of non-pulse systems
    • G01S7/536Extracting wanted echo signals
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/539Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

本发明涉及一种基于超声波测距原理的手势识别方法,属于人机交互领域。构建样本集,提取能够表示手势的特征数据;设置合适的阈值,寻找手掌回波数据,从而计算出手掌回波飞行距离,实现数据降维;借助k近邻算法实现其训练阶段和识别阶段,然后利用训练好的分类器完成识别阶段;将回波到达点检测算法移植到LabVIEW后执行手势分割算法,对数据进行处理,识别出当前手势,并将手势显示出来,最终实现手势识别。优点:无需佩戴设备即可实现动态手势特征提取,可对回波数据进行有效降维降低计算复杂度、提高相关的手势识别速度,可根据需要建立用户个性化样本集并利用实时数据进行匹配,提高相关手势识别方法的准确性。

Description

一种基于超声波测距原理的手势识别方法
技术领域
本发明属于人机交互领域,具体涉及一种基于超声波测距原理的手势识别方法。
背景技术
自从计算机被发明以来,人们就一直在尝试寻找最佳的人机交互方式。合适的交互方式不仅能够提高用户的学习工作效率,还能提升用户的使用体验,从而提高人们的生活质量。随着科技的不断进步,智能设备的使用场景不断增加,人机交互方式也是在不断进步的。早期的文本时代,人们通常通过键盘与计算机进行交互,后来随着图形界面的出现,又诞生了鼠标、手柄、触摸屏等新的交互方式。可以说,人机交互方式在不断的向着更加合理化和丰富化发展。特别是近几年,随着相关技术的全方面提高,更是涌现出了基于语音、手势、表情和体态等的人机交互方式。
哪种才是最好的人机交互方式可能还没有定论,但是手势识别无疑是一种优秀的、值得探索的交互方式。长久以来,人类就通过手势来进行信息交流。人与人交流时,手势和表情能传达70%的信息,而且手势具有直观、自然和丰富的优点。特别是近几年虚拟现实的技术发展的也越来越成熟,手势识别这种交互方式在虚拟环境中有显而易见的优势。所以说就目前而言,手势识别仍然是一个十分有意义的研究方向。
基于超声波的手势识别是手势识别的一个研究方向,其优点是超声波传播过程中能量不易衰减且不受光照等的影响,且超声波手势识别的硬件系统结构简单,成本较低,所以本发明重点研究超声波手势识别。
目前已有一些利用超声波进行手势识别的方法。
中国专利“超声波手势识别方法及装置”(申请号201710165982.3)公开了一种超声波手势识别方法及装置,通过提高手势特征的精准度进而提高手势特征的识别率。中国专利“一种基于超声波的凌空手势识别方法及系统”(申请号201610127516.1)公开了一种基于超声波的凌空手势识别方法及系统,不仅适用于智能移动终端,还能实现手势识别的高精度和高鲁棒性。中国专利“超声波手势识别方法及系统”(申请号201610576125.8)公开了一种融合情境感知信息的超声波手势识别方法,提高了手势识别的准确率与鲁棒性,增强了人机交互体验。
发明内容
本发明提供一种基于超声波测距原理的手势识别方法,目的在于提高相关的手势识别速度,和手势识别的准确性。
本发明采用的技术方案是:包括下列步骤:
步骤(1)根据“一发三收”超声波测距硬件的基本原理,对当前复杂情况下超声波回波信号进行分析,构建样本集,提取能够表示手势的特征数据;具体实现过程如下:
根据一个超声波发射探头和一个超声波接收探头,可以计算出手掌到两个探头的距离和,基于“一发三收”的超声波手势识别系统,即一个超声波发射探头和三个超声波接收探头组成的超声波手势识别系统,由三个接收探头收到的数据可以确定一点的空间坐标;
为了使最终的手势识别效果最佳,需要通过实验不断调整算法参数或者寻找效果更好的算法,为了保证实验的合理性,需要有足够多的样本来进行实验,同时样本应该具有代表性和推广性;
在构建了样本集后,接下来提取能够表示手势的特征数据一次完整的数据采集,总共有三路接收电路,每一路接收Q个回波数据,也就是说一次完整采集,得到是一个的3×Q矩阵记为data,称为一帧数据;
接收到的回波数据是整个系统实现手势识别的关键,在所有实验之前应该先观察数据,从数据中寻找有用特征,将数据用波形图显示出来,为了便于分析,将采集到的数字量都减去一个合适的值,使数据图像整体向下平移至合适位置;
步骤(2)找到合适的手掌回波到达点的检测算法,设置合适的阈值,寻找手掌回波数据,从而计算出手掌回波飞行距离,实现数据降维,具体实现过程如下:
根据对系统回波数据的分析,提出了以下检测方法:定义手掌回波信号的起始点为手掌回波到达点,从左往右遍历所有数据,找到所有可能是手掌回波数据的部分:设定阈值T起始,如果接收到的数据大于这个阈值就认为是一个回波信号的起点,如果从某一点开始所有个采样数据都没有超过这一阈值,认为当前回波数据结束,开始寻找下一回波数据起点;
记录每个回波信号数据的最大值ymax和最小值ymin以及回波开始的位置xstart和结束的位置xstop,那么以(xstart,ymin)、(xstart,ymax)、(xstop,ymin)和(xstart,ymax)的四个点为顶点的矩形将可以将回波信号框起来,其中矩形的长代表回波持续时间,矩形的宽代表回波的强度;
同时,由于前后两帧数据是连续获得的也就是说上下两帧的手掌回波到达点相差应该不大,如果a是上一帧的手掌回波到达时间,那么xstart-a代表回波与上一帧回波到达点的差值,以回波持续时间、回波强度、回波与上一帧的差值这三个特征建立决策树从而找到当前帧的手掌回波到达点;
以发射探头发射超声波结束的时刻作为接收探头开始接收超声波信号的起始时刻,称为计时时刻,以接受探头接收到超声波回波信号的时刻为到达时刻,两者的时间差就是超声波的飞行时间;
之后,对接收到的每一帧数据进行相应的数据处理完成数据降维;
步骤(3)将手势数据从连续数据中分割出来以实现特征提取,借助k近邻算法实现其训练阶段和识别阶段,利用样本集的构建完成训练阶段,然后利用训练好的分类器完成识别阶段,具体实现过程如下:
本发明没有采用直接检测手势起始点和终止点的方法,而是检测手势的中点,然后向前检测起始点向后检测终止点,最后验证找到的中点是否是正确的;
一个手势由M个时刻的数据组成,当第
Figure BDA0002027425910000031
个时刻的三个回波飞行距离之和Sum是波谷且小于规定的阈值T1,第1和第M时刻的Sum大于规定的阈值T2,就认为当前的M个时刻的数据就是一次手势的完整数据,选取T1和T2时应分别根据有适当幅度的手势动作时的飞行距离和无手势状态时的飞行距离确定,按照上述检测方法,回波飞行距离和到达最小值的时刻就分别是两次手势的中心时刻;
这样经过手势分割后每次手势由一个的3×M矩阵来表示:
Figure BDA0002027425910000032
用该分割算法可将数据库中所有手势从连续的数据中分离出来;
k近邻训练阶段用训练集训练分类器,k近邻不具备显式的训练过程,它的训练阶段很简单,就是将训练数据集存储起来;
识别阶段用训练好的分类器实现识别,识别阶段输入预测实例,输出所属类别;
在训练样本集中找出与预测实例最相近的个实例,然后将这个实例的类别组成一个集合,其中,两个实例的“相似程度”就是按照一定的距离度量方法计算两个实例之间的距离,统计这个集合中每种类别出现的次数,选取出现次数最多的类别作为输入预测实例的类别;
步骤(4)利用求取最大信息系数的方法比较利用不同特征向量进行特征提取时的识别效果,得出更优的手势分割方法;将回波到达点检测算法移植到LabVIEW后执行手势分割算法,对数据进行处理,识别出当前手势,并将手势显示出来,最终实现手势识别;具体实现过程如下:
多种手势对应回波飞行距离数据在展示图中曲线走势相似且数值上差值不大,用每一帧的d1j减去d2j和d1j减去d3j这两个特征作为区分手势的特征,其曲线走势各不相同,而且不同手势的数据差距更加为明显,以这两个特征构建特征向量识别效果可能会更好,为了验证飞行距离差值作为特征有更有利于手势的分类,计算上述特征与类标签的最大信息系数;
通过计算得出第二种特征向量中大部分最大信息系数的值都较大,也就是说相应特征的分类能力更强,因此将除去时刻
Figure BDA0002027425910000041
的d1j减去d2j和d1j减去d3j所有数据选为最终的用于识别的特征,将其按顺序排为一维的特征向量用于k近邻算法;
将回波到达点检测算法移植到LabVIEW后,实时检测每一时刻的回波到达点,并将其转换为波形显示出来,执行手势分割算法,识别每个手势的M帧是否为手势数据,这样就实现了实时采集回波数据,分割出手势数据,对数据进行处理,识别出当前手势,并将手势显示出来,如此,手势识别即告完成。
本发明具有以下优点:
1、无需佩戴设备即可实现动态手势特征提取
2、可对回波数据进行有效降维降低计算复杂度、提高相关的手势识别速度
3、可根据需要建立用户个性化样本集并利用实时数据进行匹配,提高相关手势识别方法的准确性。
附图说明
图1是一组探头得到的手掌轨迹图;
图2是“一发三收”识别系统立体图;
图3是有无手势时的数据采集对比图;
图4是不同距离时的回波信号反馈图;
图5是回波信号分析示意图;
图6是飞行时间计算示意图;
图7是回波飞行距离随帧数变化的函数图;
图8是手势的中心时刻分析图;
图9是五种手势的回波飞行距离波形图;
图10是五种手势的回波飞行距离差值波形图。
具体实施方式
根据一组超声波发射、接收探头,可以计算出手掌到两个探头的距离和。本文设计的是基于“一发三收”(即一个超声波发射探头和三个超声波接收探头)的三维超声波手势识别系统。
基于超声波测距原理的特征提取方法主要包括:
步骤(1)根据“一发三收”超声波测距硬件的基本原理,对当前复杂情况下超声波回波信号进行分析,构建样本集,提取能够表示手势的特征数据;
根据一个超声波发射探头和一个超声波接收探头,可以计算出手掌到两个探头的距离和;由于超声波发射探头和超声波接收探头是固定的,相当于知道了两者的三维空间坐标;而在空间中,到两点的距离和为定值的点的轨迹组成的图形是椭球。如图1所示,手掌的可能位置坐标组成的图形是以超声波发射探头101和超声波接收探头102为焦点的椭球,三个椭球的交点即是反射点的具体坐标;因此,本发明是基于“一发三收”(即一个超声波发射探头和三个超声波接收探头)的超声波手势识别系统。
图2是抽象出的超声波发射探头和接收探头的位置的立体图,系统包含一个超声波发射探头L和三个超声波接收探头R1、R2、R3
为了使最终的手势识别效果最佳,需要通过实验不断调整算法参数或者寻找效果更好的算法,为了保证实验的合理性,需要有足够多的样本来进行实验,同时样本应该具有代表性和推广性;
在构建了样本集后,接下来要做的就是提取能够表示手势的特征数据,主要面临两个问题:每帧数据量太大,直接作为特征向量进行识别显然是不现实的;回波数据是一帧一帧持续发送到计算机的,需要将手势数据从连续数据中分割出来。前者通过分析回波信号计算超声波飞行距离实现数据降维,后者利用手势分割算法分割出手势数据;
一次完整的数据采集,总共有三路接收电路,每一路接收Q个回波数据,本例中为4096个,也就是说一次完整采集,得到是一个3×4096的矩阵,称为一帧数据:
data=[aij]3×4096
其中,aij是第i路接收到的第j个数据,i=1,2,3,j=1,2,...,4096;
接收到的回波数据是整个系统实现手势识别的关键,在所有实验之前应该先观察数据,从数据中寻找有用特征,因此希望上位机的LabVIEW界面可以实现数据的实时显示,由于每次完整采集每个接收探头接收到4096个数据,如果直接用数组显示数据显然不利于观察,因此选择将数据用波形图显示出来,如图3(a)是无手势时采集到的某一帧数据,图3(b)是在做手势时采集到的某一帧数据,每个图中从上往下依次是接收探头R1、接收探头R2、接收探头R3接收到的数据;
在硬件基础和数据采集的基础上,系统已经能成功接收到超声波的回波信号,为了利于分析,将采集到的数字量都减去128(使数据图像整体向下平移至合适位置),这样回波数据的偏移量就由128转换为0(下同,如无特殊情况不再进行说明)。如图4,是超声波接收探头接收到的三组数据,横坐标是每一帧中采样点的采样时刻,纵坐标是采样得到的数据。其中图4(a)是手掌不在检测范围时,接收探头接收到的信号;图4(b)是手掌进入检测范围,但是距离超声波发射接收探头较远时,接收探头接收到的信号;图4(c)是手掌距离超声波发射接收探头较近时,接收探头接收到的信号;
步骤(2)找到合适的手掌回波到达点的检测算法,设置合适的阈值,寻找手掌回波数据。从而计算出手掌回波飞行距离,实现数据降维;
根据对系统回波数据的分析,提出了以下检测方法:定义手掌回波信号的起始点为手掌回波到达点,从左往右遍历这4096个数据,找到所有可能是手掌回波数据的部分:设定阈值T起始,本例中为5,如果接收到的数据大于这个阈值就认为是一个回波信号的起点,如果从某一点开始20N1个采样数据(超声波频率是40KHz,采样频率是800KHz,相当于经过N1个超声波周期,本例中N1为3)都没有超过这一阈值,认为当前回波数据结束,开始寻找下一回波数据起点,如图5(a)和5(b)分别找到3个可能是手掌回波的回波信号;
记录每个回波信号数据的最大值ymax和最小值ymin以及回波开始的位置xstart和结束的位置xstop,那么以(xstart,ymin)、(xstart,ymax)、(xstop,ymin)和(xstart,ymax)的四个点为顶点的矩形将可以将回波信号框起来,其中矩形的长代表回波持续时间,矩形的宽代表回波的强度;
同时,由于上下两帧数据是连续获得的也就是说上下两帧的手掌回波到达点相差应该不大,如果a是上一帧的手掌回波到达点,那么xstart-a代表回波与上一帧回波到达点的差值,以回波持续时间、回波强度、回波与上一帧的差值这三个特征建立决策树从而找到当前帧的手掌回波到达点;
以发射探头发射超声波结束的时刻作为接收探头开始接收超声波信号的起始时刻,称为计时时刻,以接受探头接收到超声波回波信号的时刻为到达时刻,两者的时间差就是超声波的飞行时间,如图6。
接收电路的A/D采样频率为f0,本例中为800KHz,如果把第a个数据作为检测到手掌回波信号,定义为手掌回波信号到达点,把这一时刻作为超声波回波到达时刻,那么超声波飞行时间为:
Figure BDA0002027425910000071
那么超声波飞行距离为:
Figure BDA0002027425910000072
即,计算出这组手掌到超声波发射接收探头的距离和为d。
一帧数据data包含三个接收探头接收到的回波数据,因此从一帧数据中可以计算出手掌相对于三组超声波发射接收探头的飞行距离,定义第z帧数据计算出的三个手掌回波飞行距离为:
dz=[d1zd2zd3z]
其中diz表示根据接收探头i在第z帧中接收到的数据计算出的手掌回波飞行距离,也就是每一帧数据实现了从3×4096维到3维的转换;
步骤(3)将手势数据从连续数据中分割出来以实现特征提取,借助k近邻算法实现其训练阶段和识别阶段,利用样本集的构建完成训练阶段,然后利用训练好的分类器完成识别阶段;
通过对数据的分析,提出了一套适用于当前系统的方案,如图7是实验前160帧数据的回波飞行距离随帧数的变化图,其中包含2组手势数据,且手势中心如图标注,分析如下:当设备没有输入手势时,三个接收探头接收到的手掌回波飞行距离较大,而且输出数据相对稳定,当有手势输入时,数据随时间变化剧烈,可以明显看出的两个波谷就是两次手势中心时刻;
定义第z帧计算出的三个回波飞行距离分别是d1z,d2z,d3z,定义三者的和:
Sumz=d1z+d2z+d3z
设定恰当的波谷阈值T1和手势起始点、终止点阈值T2,满足如下条件的帧数z就是手势中点时刻:
Sumz-2<Sumz<Sumz+2
Sumz<T1
Sumz-5>T2
Sumz+5>T2
同时认为z-4处为手势的起始点,z+4为手势的终止点;
也就是说本实例规定一个手势由9个时刻的数据组成,当第5个时刻的Sum是波谷且小于规定的阈值T1,第1和第9时刻的Sum大于规定的阈值T2,就认为当前的9个时刻的数据就是一次手势的完整数据,按照上述检测方法,帧数63和帧数139分别是两次手势中心时刻,如图8;
这样经过手势分割后每次手势由一个3×9的矩阵来表示:
Figure BDA0002027425910000081
用该分割算法可将样本集中所有手势从连续的数据中分离出来;
dij表示第j(j=1,2,3,...,9)时刻时根据接收探头i(i=1,2,3)接收到的回波信号计算出的手掌回波飞行距离;
如图9是分割出的五种手势的回波飞行距离波形图,可以看到五种手势(单击、左滑、右滑、上滑、下滑的波形都满足上述手势分割原则;
k近邻算法的思路是:对于新的实例,从训练数据集中找与之最近邻的k个训练实例,其中训练实例的类别是已知的,通过一定的分类决策规则对新的实例进行预测;
假设本实例的训练数据集定义为T,其中,T由N个样本组成,而每个样本由特征向量x和所属类别y组成:
Figure BDA0002027425910000091
其中xi为第i个实例的特征向量,可以表示为xi=(xi (1),xi (2),...,xi (n))(特征向量一共包含n个特征),yi为实例对应的类别,i=1,2,...,N,在本实例中特征向量就是能够代表一次手势的有用数据,类别就是定义的五种手势中的一个;
k近邻的实现包含两个阶段:训练阶段和识别阶段;
训练阶段:
训练阶段用训练集训练分类器,k近邻不具备显式的训练过程,它的训练阶段很简单,就是将训练数据集T存储起来;
识别阶段:
识别阶段用训练好的分类器实现识别,识别阶段输入预测实例x,输出所属类别y;
具体步骤如下:
在训练样本集T中找出与预测实例x最相近的R个实例,然后将这R个实例的类别组成一个集合Y={y1,y2,...,yR},其中,两个实例的“相似程度”就是按照一定的距离度量方法计算两个实例之间的距离,采用的方法是计算欧氏距离,即两个样本的距离为:
Figure BDA0002027425910000092
统计这个集合Y中每种类别出现的次数,选取出现次数最多的类别作为输入预测实例的类别;
步骤(4)利用求取最大信息系数的方法比较利用不同特征向量进行特征提取时的识别效果,得出更优的手势分割方法,将回波到达点检测算法移植到LabVIEW后执行手势分割算法,对数据进行处理,识别出当前手势,并将手势显示出来,最终实现手势识别;
给定变量X=xi、Y=yi以及样本的集合D={(xi,yi),i=1,2,...,n},其中n为样本的数量,互信息计算如下:
Figure BDA0002027425910000093
其中,P(xi,yi)为变量X和变量Y的联合概率密度,P(xi)和P(yi)分别为变量A和变量B的边缘概率密度,可以通过样本对上述概率密度进行大致计算;
定义划分G将变量X和变量Y的值域分别分成a段和b段,那么G就是一个a×b大小的网格。在得到的每一种网格的内部计算互信息I(x,y),取所有划分方式中的I最大值作为划分G对应的互信息值,定义在划分G的情况下,样本的集合D的最大互信息公式:
MI*(D,x,y)=maxMI(D|G)
网格的好坏用最大信息系数来表示,计算如下:
把不同划分下得到MI的最大归一化,并组成特征矩阵M(D)a,b
Figure BDA0002027425910000101
那么最大信息系数定义为:
Figure BDA0002027425910000102
其中,B(n)为划分网格数目的上限,B(n)=n0.6时可以取得较好的结果,因此本专利选用B(n)=n0.6
使用最大信息系数来表示某一特征变量与类别的关系,对于任意特征x和类别y,两者的最大信息系数为MIC(x,y),其取值范围在[0,1],MIC(x,y)越大表明此特征与类别的相关性越强,也就是说应该选相关性大的特征;
如图9是五种手势对应回波飞行距离数据的展示图,直观来看五种手势的数据差别不明显,不同手势的数据曲线走势相似且数值上差值不大,用每一帧的d1j减去d2j和d1j减去d2j这两个特征作为区分手势的特征,如图10是回波飞行距离差值数据的展示图[1001],可以看出五种手势的数据曲线走势各不相同,而且不同手势的数据差距更加为明显,如果以这两个特征构建特征向量识别效果可能会更好。为了验证飞行距离差值作为特征有更有利于手势的分类,计算上述特征与类标签的最大信息系数,结果如下:
表1原始回波飞行距离数据与类标签的最大信息系数
Figure BDA0002027425910000111
表2回波飞行距离做差后与类标签的最大信息系数
Figure BDA0002027425910000112
表1是原始回波飞行距离数据类标签的最大信息系数,表2是回波飞行距离做差后与类标签的最大信息系数,可以看出表2中大部分最大信息系数的值都较大,也就是说相应特征的分类能力更强,因此将除去时刻5的所有d1j减去d2j和d1j减去d3j数据选为最终的用于识别的特征,将其按顺序排为一维的特征向量用于k近邻算法;
将回波到达点检测算法移植到LabVIEW后,实时检测每一时刻的回波到达点,并将其转换为波形显示出来,每个手势由9帧数据组成,实时检测包括当前时刻数据在内的最近的9帧数据,执行手势分割算法,识别这9帧是否为手势数据,这样就实现了实时采集回波数据,分割出手势数据,对数据进行处理,识别出当前手势,并将手势显示出来。如此,手势识别即告完成。

Claims (4)

1.一种基于超声波测距原理的手势识别方法,基于的硬件是“一发三收”的超声波测距系统,其特征在于,包括下列步骤:
步骤(1)根据“一发三收”超声波测距硬件的基本原理,对当前复杂情况下超声波回波信号进行分析,构建样本集,提取能够表示手势的特征数据;
步骤(2)找到合适的手掌回波到达点的检测算法,设置合适的阈值,寻找手掌回波数据,从而计算出手掌回波飞行距离,实现数据降维;
步骤(3)将手势数据从连续数据中分割出来以实现特征提取,借助k近邻算法实现其训练阶段和识别阶段,利用样本集的构建完成训练阶段,然后利用训练好的分类器完成识别阶段;
步骤(4)利用求取最大信息系数的方法比较利用不同特征向量进行特征提取时的识别效果,得出更优的手势分割方法,具体实现过程如下:
用每一帧的d1j减去d2j和d1j减去d3j这两个特征作为区分手势的特征,其中d1j表示第j时刻时根据接收探头1接收到的回波信号计算出的手掌回波飞行距离、d2j表示第j时刻时根据接收探头2接收到的回波信号计算出的手掌回波飞行距离、d3j表示第j时刻时根据接收探头3接收到的回波信号计算出的手掌回波飞行距离,其曲线走势各不相同,而且不同手势的数据差距更加为明显,以这两个特征构建特征向量识别效果更好,为了验证飞行距离差值作为特征有更有利于手势的分类,计算上述特征与类标签的最大信息系数;
通过计算得出第二种特征向量中大部分最大信息系数的值都较大,也就是说相应特征的分类能力更强,因此将除去时刻
Figure FDA0003942743730000011
的d1j减去d2j和d1j减去d3j所有数据选为最终的用于识别的特征,M表示一个手势的全部时刻,将其按顺序排为一维的特征向量用于k近邻算法;
将回波到达点检测算法移植到LabVIEW后,实时检测每一时刻的回波到达点,并将其转换为波形显示出来,执行手势分割算法,识别每个手势的M帧是否为手势数据,这样就实现了实时采集回波数据,分割出手势数据,对数据进行处理,识别出当前手势,并将手势显示出来,最终实现手势识别。
2.根据权利要求1所述的一种基于超声波测距原理的手势识别方法,其特征在于:步骤(1)中构建样本集,提取能够表示手势的特征数据的具体实现过程如下:
根据一个超声波发射探头和一个超声波接收探头,可以计算出手掌到两个探头的距离和,基于“一发三收”的超声波手势识别系统,即一个超声波发射探头和三个超声波接收探头组成的超声波手势识别系统,由三个接收探头收到的数据可以确定一点的空间坐标;
为了使最终的手势识别效果最佳,需要通过实验不断调整算法参数或者寻找效果更好的算法;
在构建了样本集后,接下来提取能够表示手势的特征数据一次完整的数据采集,总共有三路接收电路,每一路接收Q个回波数据,也就是说一次完整采集,得到是一个的3×Q矩阵记为data,称为一帧数据;
接收到的回波数据是整个系统实现手势识别的关键,在所有实验之前应该先观察数据,从数据中寻找有用特征,将数据用波形图显示出来,为了便于分析,将采集到的数字量都减去一个合适的值,使数据图像整体向下平移至合适位置。
3.根据权利要求1所述的一种基于超声波测距原理的手势识别方法,其特征在于:步骤(2)中的寻找手掌回波数据,计算出手掌回波飞行距离,实现数据降维的具体实现过程如下:
根据对系统回波数据的分析,提出了以下检测方法:定义手掌回波信号的起始点为手掌回波到达点,从左往右遍历所有数据,找到所有可能是手掌回波数据的部分:设定阈值T起始,如果接收到的数据大于这个阈值就认为是一个回波信号的起点,如果从某一点开始所有个采样数据都没有超过这一阈值,认为当前回波数据结束,开始寻找下一回波数据起点;
记录每个回波信号数据的最大值ymax和最小值ymin以及回波开始的位置xstart和结束的位置xstop,那么以(xstart,ymin)、(xstart,ymax)、(xstop,ymin)和(xstart,ymax)的四个点为顶点的矩形将可以将回波信号框起来,其中矩形的长代表回波持续时间,矩形的宽代表回波的强度;
同时,由于前后两帧数据是连续获得的也就是说上下两帧的手掌回波到达点相差不大,如果a是上一帧的手掌回波到达时间,那么xstart-a代表回波与上一帧回波到达点的差值,以回波持续时间、回波强度、回波与上一帧的差值这三个特征建立决策树从而找到当前帧的手掌回波到达点;
以发射探头发射超声波结束的时刻作为接收探头开始接收超声波信号的起始时刻,称为计时时刻,以接受探头接收到超声波回波信号的时刻为到达时刻,两者的时间差就是超声波的飞行时间;
之后,对接收到的每一帧数据进行相应的数据处理完成数据降维。
4.根据权利要求1所述的一种基于超声波测距原理的手势识别方法,其特征在于:步骤(3)的具体实现过程如下:
检测手势的中点,然后向前检测起始点向后检测终止点,最后验证找到的中点是否是正确的;
一个手势由M个时刻的数据组成,当第
Figure FDA0003942743730000031
个时刻的三个回波飞行距离之和Sum是波谷且小于规定的阈值T1,第1和第M时刻的Sum大于规定的阈值T2,就认为当前的M个时刻的数据就是一次手势的完整数据,选取T1和T2时应分别根据有适当幅度的手势动作时的飞行距离和无手势状态时的飞行距离确定,按照上述检测方法,回波飞行距离和到达最小值的时刻就分别是两次手势的中心时刻;
这样经过手势分割后每次手势由一个的3×M矩阵来表示:
Figure FDA0003942743730000032
其中“参数d11,d12...d1M”表示第1,2...M时刻时根据接收探头1接收到的回波信号计算出的手掌回波飞行距离,“参数d21,d22...d2M”表示第1,2...M时刻时根据接收探头2接收到的回波信号计算出的手掌回波飞行距离,“参数d31,d32...d3M”表示第1,2...M时刻时根据接收探头3接收到的回波信号计算出的手掌回波飞行距离;
用该分割算法可将数据库中所有手势从连续的数据中分离出来;
k近邻训练阶段用训练集训练分类器,k近邻不具备显式的训练过程,它的训练阶段很简单,就是将训练数据集存储起来;
识别阶段用训练好的分类器实现识别,识别阶段输入预测实例,输出所属类别;
在训练样本集中找出与预测实例最相近的R个实例,然后将这R个实例的类别组成一个集合,其中,两个实例的“相似程度”就是按照一定的距离度量方法计算两个实例之间的距离,统计这个集合中每种类别出现的次数,选取出现次数最多的类别作为输入预测实例的类别。
CN201910298787.7A 2019-04-15 2019-04-15 一种基于超声波测距原理的手势识别方法 Active CN110031827B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910298787.7A CN110031827B (zh) 2019-04-15 2019-04-15 一种基于超声波测距原理的手势识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910298787.7A CN110031827B (zh) 2019-04-15 2019-04-15 一种基于超声波测距原理的手势识别方法

Publications (2)

Publication Number Publication Date
CN110031827A CN110031827A (zh) 2019-07-19
CN110031827B true CN110031827B (zh) 2023-02-07

Family

ID=67238399

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910298787.7A Active CN110031827B (zh) 2019-04-15 2019-04-15 一种基于超声波测距原理的手势识别方法

Country Status (1)

Country Link
CN (1) CN110031827B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111522446B (zh) * 2020-06-09 2023-10-03 宁波视睿迪光电有限公司 基于多点tof的手势识别方法及装置
CN112612365B (zh) * 2020-12-25 2023-02-17 深圳大学 手势识别方法、装置、电子设备和存储介质
CN112860070B (zh) * 2021-03-03 2024-10-18 北京小米移动软件有限公司 设备交互方法、设备交互装置、存储介质及终端
CN114245542B (zh) * 2021-12-17 2024-03-22 深圳市恒佳盛电子有限公司 一种雷达感应灯及其控制方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012066541A2 (en) * 2010-11-16 2012-05-24 Epos Development Ltd. System and method for object position estimation based on ultrasonic reflected signals
CN104094194A (zh) * 2011-12-09 2014-10-08 诺基亚公司 用于基于多个传感器信号的融合识别手势的方法和设备
CN105807923A (zh) * 2016-03-07 2016-07-27 中国科学院计算技术研究所 一种基于超声波的凌空手势识别方法及系统
CN106774995A (zh) * 2016-12-14 2017-05-31 吉林大学 一种基于超声定位的三维笔势识别方法
WO2017092213A1 (en) * 2015-12-04 2017-06-08 Shenzhen University Methods, systems, and media for recognition of user interaction based on acoustic signals
CN107024685A (zh) * 2017-04-10 2017-08-08 北京航空航天大学 一种基于距离‑速度特征的手势识别方法
CN107203268A (zh) * 2017-05-31 2017-09-26 吉林大学 一种基于方向链码的三维笔势识别方法
CN108027911A (zh) * 2015-07-29 2018-05-11 伊利诺斯工具制品有限公司 促进焊接即服务软件的系统及方法
CN108200706A (zh) * 2018-01-25 2018-06-22 宁波隔空智能科技有限公司 一种基于微波雷达手势识别技术的照明灯具及其控制方法
WO2019005936A1 (en) * 2017-06-27 2019-01-03 Intel Corporation GESTURE RECOGNITION RADAR SYSTEMS AND METHODS
CN109154979A (zh) * 2016-10-26 2019-01-04 奥康科技有限公司 用于分析图像和提供反馈的可佩戴设备和方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110242305A1 (en) * 2010-04-01 2011-10-06 Peterson Harry W Immersive Multimedia Terminal
US8907929B2 (en) * 2010-06-29 2014-12-09 Qualcomm Incorporated Touchless sensing and gesture recognition using continuous wave ultrasound signals
EP2887009A1 (en) * 2013-12-23 2015-06-24 Universität Zürich Method for reconstructing a surface using spatially structured light and a dynamic vision sensor
US11106273B2 (en) * 2015-10-30 2021-08-31 Ostendo Technologies, Inc. System and methods for on-body gestural interfaces and projection displays

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012066541A2 (en) * 2010-11-16 2012-05-24 Epos Development Ltd. System and method for object position estimation based on ultrasonic reflected signals
CN104094194A (zh) * 2011-12-09 2014-10-08 诺基亚公司 用于基于多个传感器信号的融合识别手势的方法和设备
CN108027911A (zh) * 2015-07-29 2018-05-11 伊利诺斯工具制品有限公司 促进焊接即服务软件的系统及方法
WO2017092213A1 (en) * 2015-12-04 2017-06-08 Shenzhen University Methods, systems, and media for recognition of user interaction based on acoustic signals
CN105807923A (zh) * 2016-03-07 2016-07-27 中国科学院计算技术研究所 一种基于超声波的凌空手势识别方法及系统
CN109154979A (zh) * 2016-10-26 2019-01-04 奥康科技有限公司 用于分析图像和提供反馈的可佩戴设备和方法
CN106774995A (zh) * 2016-12-14 2017-05-31 吉林大学 一种基于超声定位的三维笔势识别方法
CN107024685A (zh) * 2017-04-10 2017-08-08 北京航空航天大学 一种基于距离‑速度特征的手势识别方法
CN107203268A (zh) * 2017-05-31 2017-09-26 吉林大学 一种基于方向链码的三维笔势识别方法
WO2019005936A1 (en) * 2017-06-27 2019-01-03 Intel Corporation GESTURE RECOGNITION RADAR SYSTEMS AND METHODS
CN108200706A (zh) * 2018-01-25 2018-06-22 宁波隔空智能科技有限公司 一种基于微波雷达手势识别技术的照明灯具及其控制方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
凌空手势识别综述;于汉超;《科技导报》;20170828;全文 *
基于神经网络的静态手势识别算法研究;高龙;《中国优秀硕士学位论文全文数据库信息科技辑》;20180215;全文 *
基于自学习稀疏表示的动态手势识别方法;肖玲等;《通信学报》;20130625(第06期);全文 *
超声波飞行时间测量的数字增益补偿;燕学智;《吉林大学学报(工学版)》;20180607;全文 *
面向家庭服务机器人的动态手势识别方法研究;宋腾;《中国优秀硕士学位论文全文数据库信息科技辑》;20170115;全文 *

Also Published As

Publication number Publication date
CN110031827A (zh) 2019-07-19

Similar Documents

Publication Publication Date Title
CN110031827B (zh) 一种基于超声波测距原理的手势识别方法
Avola et al. Exploiting recurrent neural networks and leap motion controller for the recognition of sign language and semaphoric hand gestures
CN101539994B (zh) 一种手语语音互译系统及手语语音互译方法
CN103092329A (zh) 一种基于唇读技术的唇语输入方法
CN105787471A (zh) 一种应用于助老助残移动服务机器人控制的手势识别方法
CN106855941B (zh) 基于雷达微多普勒信号稀疏优化的手势识别方法及系统
CN102708862B (zh) 触控辅助的实时语音识别系统及其同步解码方法
CN101101752A (zh) 基于视觉特征的单音节语言唇读识别系统
CN106502390B (zh) 一种基于动态3d手写数字识别的虚拟人交互系统及方法
CN105844216A (zh) 一种利用WiFi信号识别手写字母的检测与匹配机制
CN110232308A (zh) 基于手部速度与轨迹分布的跟随机器人手势轨迹识别方法
CN103226388A (zh) 一种基于Kinect的手写方法
CN107678550A (zh) 一种基于数据手套的手语手势识别系统
CN104616028A (zh) 基于空间分割学习的人体肢体姿势动作识别方法
CN111813224A (zh) 一种基于超高分辨率雷达精细手势库的建立与识别方法
CN112749646A (zh) 一种基于手势识别的交互式点读系统
CN103105924A (zh) 人机交互方法和装置
CN101276370B (zh) 基于关键帧的三维人体运动数据检索方法
CN111722700A (zh) 一种人机交互方法及人机交互设备
CN112198966A (zh) 基于fmcw雷达系统的笔画识别方法以及系统
CN107346207B (zh) 一种基于隐马尔科夫模型的动态手势切分识别方法
CN110163130B (zh) 一种用于手势识别的特征预对齐的随机森林分类系统及方法
CN113378691B (zh) 基于实时用户行为分析的智能家居管理系统及方法
CN116935411A (zh) 一种基于字符分解和重构的部首级古文字识别方法
CN113658582B (zh) 一种音视协同的唇语识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant