CN111475030A - 一种利用近红外传感器的微手势识别方法 - Google Patents

一种利用近红外传感器的微手势识别方法 Download PDF

Info

Publication number
CN111475030A
CN111475030A CN202010449038.2A CN202010449038A CN111475030A CN 111475030 A CN111475030 A CN 111475030A CN 202010449038 A CN202010449038 A CN 202010449038A CN 111475030 A CN111475030 A CN 111475030A
Authority
CN
China
Prior art keywords
micro
gesture
sliding
signal
infrared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010449038.2A
Other languages
English (en)
Other versions
CN111475030B (zh
Inventor
李凡
曹烨彤
宋肖玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202010449038.2A priority Critical patent/CN111475030B/zh
Publication of CN111475030A publication Critical patent/CN111475030A/zh
Application granted granted Critical
Publication of CN111475030B publication Critical patent/CN111475030B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014Hand-worn input/output arrangements, e.g. data gloves

Abstract

本发明提出了一种利用近红外传感器的微手势识别方法,属于移动计算应用技术领域。本发明使用近红外发射器和接收器,组成一个近红外传感系统。手指对近红外光的反射信号强度受到手指相对运动的影响,利用用户执行微手势时近红外光接收信号的强度来识别用户执行的微手势。通过分析近红外光接收器感知的手指反射信号的时间差异和手指在空间内移动的关系,实现追踪滑动微手势的方向、速度和距离。本方法可以精准地从带有干扰的近红外信号中提取和切分纯净的微手势信号,能够适用各种光照和温度。计算复杂度低,鲁棒性强,易于与智能设备一起部署,可以准确、有效的检测微手势和追踪滑动微手势的轨迹。

Description

一种利用近红外传感器的微手势识别方法
技术领域
本发明涉及一种微手势识别方法,具体为利用近红外传感器的基于接收信号强度的微手势识别方法,属于移动计算应用技术领域。
背景技术
随着移动设备在生活中被广泛的应用,如何更高效地进行人机交互变得尤为重要。近年来,微手势因为具有自然、动作幅度小、执行快速的特点而备受关注。
微手势,是指通过手指来完成的细微动作。比如,用指尖相互揉搓或者用指尖画画,相比用整只手或手臂做手势更有效、更迅速。此外,微手势有利于保护隐私,用户可以在不被他人注意的情况下操作设备。在公共场合使用微手势能有效避免社交尴尬,微手势也被认为更适合用于诸如智能手表和虚拟现实眼镜等可穿戴设备的交互中。
目前,微手势的识别方法主要包括:利用毫米波雷达进行识别,但高频毫米波雷达存在能耗大,难以在移动设备上实现的问题;利用Wi-Fi、RFID、音频信号或其他射频信号进行识别,但该类方法易受多径效应影响,识别准确率不高;利用摄像头进行识别,例如使用深度摄像机来追踪手指位置,从而识别出微手势,或者使用RBG摄像机分析手部动作,但是基于视觉的监测方法存在泄露隐私的问题,且准确率受光照和天气等周围环境的影响较大,同时计算量较大,难以在移动设备上长时间应用。
除此之外,还有一些使用传感器进行微手势识别的方法。例如,利用红外热电传感器追踪空间中的温度变化进行微手势识别,但存在受环境温度影响大的问题,在体温与室温相差不大时准确率较低;利用磁力传感器检测指尖运动时的磁场相互作用识别微手势,但手指上佩戴特殊磁力传感器在实际使用时会有诸多不便,不利于大规模推广。
现有微手势识别方法主要针对预定手势的识别,对于更被用户所习惯的手指滑动动作则缺乏相应的研究。
综上所述,目前迫切需要一种低成本且可靠的微手势识别方法。
发明内容
本发明的目的是为了解决目前缺乏低成本且可靠的微手势识别方法的问题,提出一种利用近红外传感器的微手势识别方法,所提供的微手势识别服务包括预定义微手势识别和滑动微手势轨迹追踪。
本发明基本原理是:使用近红外发射器和接收器,组成一个近红外传感系统。手指对近红外光的反射信号强度受到手指相对运动的影响,利用用户执行微手势时近红外光接收信号的强度来识别用户执行的微手势。通过分析近红外光接收器感知的手指反射信号的时间差异和手指在空间内移动的关系,实现追踪滑动微手势的方向、速度和距离。
本发明的目的是通过以下技术方案实现的:
一种利用近红外传感器的微手势识别方法,包括以下步骤:
步骤1:判断微手势的类型。
使用近红外发射器和接收器,组成一个近红外传感系统。近红外发射器和接收器采用间隔排布方式,接收器和发射器之间相隔固定距离。
步骤1.1:采集用户执行微手势时的近红外接收器信号强度。
步骤1.2:分析步骤1.1采集的手指运动时反射的近红外信号,根据多个通道信号之间的时延差异,判断用户执行的是预定义微手势还是滑动微手势。如果是预定义微手势则执行步骤2,如果是滑动微手势则执行步骤3。
步骤2:识别预定义微手势识别。
步骤2.1:数据处理,去除近红外传感器采集的近红外光信号中的噪音干扰并切分手势。
具体如下:
步骤2.1.1:使用基于平方的差异增强方法,对采集的近红外信号进行处理,去除与微手势无关的噪音。
步骤2.1.2:使用动态阈值算法,对近红外信号进行切分,提取微手势信号。
步骤2.2:识别预定义微手势。
具体如下:
步骤2.2.1:分析步骤2.1提取出的用户微手势信号,提取信号频域和时域的特征。
步骤2.2.2:将步骤2.2.1提取的信号特征,使用随机森林分类器进行识别。
步骤3:追踪滑动微手势的方向、速度和距离。
步骤3.1:分析步骤1.1提取出的滑动微手势反射的近红外光信号,利用近红外接收器间感知的信号时延差异,识别滑动微手势的方向;
步骤3.2:分析步骤1.1提取出的滑动微手势反射的近红外光信号,利用近红外接收器间感知的信号时延差异以及硬件排布距离,识别滑动微手势的速度;
步骤3.3:根据步骤3.1和步骤3.2提取的滑动微手势的方向和速度,结合近红外接收器间感知的滑动微手势持续时间,识别滑动微手势的距离。
有益效果
本发明提出的利用近红外传感器的微手势识别方法,与其他微手势识别技术相比,具有以下优点:
1.本发明利用低成本的近红外传感器,实现了精准识别微手势和实时追踪滑动微手势。本方法计算复杂度低,鲁棒性强,易于与智能设备一起部署。
2.本发明通过使用差异增强算法和设置动态阈值,可以精准地从带有干扰的近红外信号中提取和切分纯净的微手势信号,能够适用各种光照和温度。
3.本发明设计了一种近红外光发射器和接收器的排布规则,可以有效的检测微手势和追踪滑动微手势的轨迹;
4.本发明基于分类器反馈,对微手势信号特征进行了选择,筛选出了25种最有益于微手势识别的时域和频域特征,利用这些特征和随机森林分类器,系统可以准确识别预定义微手势。
5.本发明设计了手指追踪方法,可以实时的监测近红外接收器感知的手指移动信号,实现滑动微手势追踪。
附图说明
图1为本发明研究的8种微手势:(a)绘制圆形(b)绘制两次圆形(c)摩擦一次(d)摩擦两次(e)单击(f)双击(g)向上滑动(h)向下滑动,其中(a)-(g)为预定义微手势,(g)和(h)为滑动微手势。
图2为本发明的近红外发射器和接收器排布图。
图3为本发明的微手势识别方法原理图。
图4为本发明的原型与外壳示意图。
图5为手指向不同方向滑动时的信号强度:(a)手指向上滑动的信号强度(b)手指向下滑动的信号强度。
图6为针对预定义微手势和滑动微手势的识别性能。
图7为针对不同预定义微手势的识别性能。
图8为针对不同用户预定义微手势的识别性能。
图9为针对不同时间预定义微手势的识别性能。
具体实施方式
下面结合实施例和附图,对本发明方法做进一步详细说明。
一种利用近红外传感器的微手势识别方法。
本具体实施方式,选取8个常用的微手势作为研究目标,如图1所示,其中包括6个预定义微手势和2个运动方向不同的手指滑动微手势。预定义微手势包含拇指与食指的交互动作,例如拇指在食指上绘制圆形、拇指在食指上绘制两次圆形、拇指和食指指尖相互揉搓和拇指和食指指尖两次相互揉搓(如图1(a)-(d)所示)。此外,为了满足使用传统手势与智能设备交互的需要,预定义微手势还包含食指单击和食指双击(如图1(e),(f)所示)。手指滑动微手势包含向上滑动和向下滑动(如图1(g),(h)所示)。
所述近红外传感器包括近红外光发射器和近红外光接收器。近红外波长在740mm-1400mm之间,肉眼不可见。近红外光与可见光具有相似的特性,比如光的反射和折射。人类皮肤只能吸收少量的近红外光,大部分的近红外光将被皮肤反射,如果部署一个近红外发射器并在靠近发射器的地方执行微手势,高灵敏度的近红外光接收器能够捕捉指尖运动引起的这种微妙光变化,并将接收到信号强度转换成电信号。
如图2所示,近红外发射器和接收器采用间隔排布方式,接收器和发射器之间相隔固定距离。本具体实施方式中,采用3个发射器和2个接收器的组合,分别标记为P1、P2、P3、L1和L2,近红外发射器和接收器的视场分别为20°和80°,它们的辐射范围和感应范围分别表示为SP1、SP2、SP3和IL1、IL2
如图3所示,包括以下步骤:
微手势则执行步骤2,如果是滑动微手势则执行步骤3。
步骤1:判断微手势类型。
步骤1.1:采集用户执行微手势时的近红外接收器信号强度。
步骤1.2:判断预定义微手势还是滑动微手势。
分析步骤1.1采集的手指运动时反射的近红外信号,根据多个通道信号之间的时延差异,判断用户执行的是预定义微手势还是滑动微手势。如果是预定义微手势则执行步骤2,如果是滑动微手势则执行步骤3。
具体地,由于识别预定义微手势和滑动微手势,需要应用不同的识别算法,因此在识别手势之前,需要对它们进行区分。当执行预定义微手势时,3个近红外接收器会同时感知到反射信号的显著上升。然而,当执行2个滑动微手势时,所有接收器的信号上升点都按顺序出现。因此,当信号上升点之间的时延小于阈值Ig时,手势被视为预定义微手势。否则,它被视为一个滑动微手势。如果识别为预定义微手势则执行步骤2,如果识别为滑动微手势则执行步骤3。
可见,采用该方式计算量小、响应时间短,能够有效地区分手势类别。
步骤2:识别预定义微手势识别。
步骤2.1:数据处理,去除近红外传感器采集的近红外光信号中的噪音干扰并切分手势。
具体如下:
步骤2.1.1:使用基于平方的差异增强方法,对采集的近红外信号进行处理,去除与微手势无关的噪音。
理想情况下,采集的近红外信号只受手指移动的影响,表示为Sges。但实际情况下,除了突然的硬件噪音外,手部的其他部分或者其他静止物体也会反射近红外信号,产生多径干扰。因此,在执行微手势时,用户只移动指尖,手的其他部分相对静止,这类干扰视为相对不变,表示为Nstatic。此外,接收信号会受到相对动态的多径干扰的影响,用Ndyn表示。多径干扰来自两个方面,首先,阳光中也存在近红外光,手指对阳光的反射和折射会给接收信号带来干扰;其次,周围的移动物体也会引入动态多径干扰,比如路过的行人。
将接收信号RSS表示为RSS=Sges+Nstatic+Ndyn。由于静态干扰和动态干扰的存在,虽然接收信号捕捉到了细微的手指运动,但并不能直接用于识别微手势。
针对这种情况,本发明首先使用一个黑色不透光外壳来限制接收器视场。外壳一侧开有一个狭窄缝隙以供近红外光通过,宽度与近红外光传感器直径相同(通常为3毫米),长度满足全部传感器不被遮挡。外壳的材质不限,使太阳光不可透过即可。使用时,将传感器放置在黑色外壳内,发射方向与外壳缝隙所在平面垂直,传感器灯珠头组成的平面与外壳缝隙所在平面重合,如图4所示。
其次,本发明提出一种基于平方的计算算法来消除干扰,具体如下:
设置一个大小为ω的滑动窗口实时处理接收信号,在当前窗口中,减去前一个相邻窗口的信号强度并计算二次方结果ΔRSS2
基于此,静态干扰Nstatic被消除。由于动态干扰Ndyn量级远小于手势信号Sges,ΔRSS2信号中二者差异增大,动态干扰被极大减弱,微手势信号被增强。
步骤2.1.2:使用动态阈值算法,对近红外信号进行切分,提取微手势信号。
当不执行微手势时,接收信号相对稳定。当执行微手势时,接收信号存在显著变化,这有助于分割手势。经过步骤2.1.1去噪后,这种现象更加明显。因此,设置阈值对微手势和非手势信号进行切割。但是,固定阈值无法有效工作。因为手指的不同位置(例如手指到传感器的距离)将改变ΔRSS2的范围。
为了解决这个问题,应用动态阈值分割微手势,具体如下:
首先,记长度为m的ΔRSS2信号为ΔRSS2={r1,r2,…,ri,…,rm};对于阈值Iseg,ΔRSS2将被分为两类,微手势G和非微手势类NG:
G={ri|ri>Iseg,ri∈ΔRS2}
NG={ri|ri≤Iseg,ri∈ΔRS2}
用ω0和ω1分别表示阈值Iseg将两类分离的概率,ω0=|G|/m,ω1=|NG|/m。
其均值分别为
Figure BDA0002506844660000061
然后,迭代计算一个使类间方差最大的阈值
Figure BDA0002506844660000062
Figure BDA0002506844660000063
因此,给定初始阈值,例如Iseg=10,以及ΔRSS2读数,动态阈值被迭代校准。
超过阈值的信号突增被视为微手势的开始,低于阈值的信号突减被视为微手势的结束。另外,如果切分的两个手势片段间隔小于时间阈值te,它们被合并成一个手势。
步骤2.2:识别预定义微手势。
具体如下:
步骤2.2.1:分析步骤2.1提取出的用户微手势信号,提取信号频域和时域的特征。
特征提取对微手势识别的成功至关重要,提取过多的特征会增加计算复杂度,影响微手势识别的实时性,提取过少的特征则会影响微手势识别的可靠性。
首先,进行特征选择。利用tsfresh工具箱自动提取出候选特征。使用一个基于随机森林的分类器,根据候选特征的重要反馈对其进行排序。
然后,将人为观察和特征重要性结合起来,从时间和频率域中选择标准差、方差、波峰数量、第一个/最后一个最大值位置、峰度、信号长度、频率成分作为必要特征,进行微手势识别。这些特征与微手势最相关,且可以抵抗干扰和个体差异,从而获得较高的识别精度。此外,还可以选用局部自相关性系数、分位数、复变距离、绝对能量、近似熵等常用的时域和频域特征辅助进行微手势判断。因此,减少了训练所需的数据量,提高了分类精度。
步骤2.2.2:将步骤2.2.1提取的信号特征,使用随机森林分类器进行识别,挑选预测概率最大的微手势类别作为输出。
在识别前,训练一个基于随机森林的分类器识别微手势。一些工作已经表明,随机森林分类器可以很好地对大量数据进行分类,和其他分类器相比具有更好的准确性、稳健性和可伸缩性,更适合于移动智能设备上的实时手势识别。
识别时,将步骤2.2.1提取的特征送入训练好的随机森林分类器中,挑选预测概率最大的微手势类别作为输出。
步骤3:追踪滑动微手势,包括方向、速度和距离。
步骤3.1:分析步骤1.1提取出的滑动微手势反射的近红外光信号,利用近红外接收器间感知的信号时延差异,识别滑动微手势的方向。
具体如下:
分析步骤1.1提取出的滑动微手势信号,利用近红外接收器间感知的信号时延差异识别滑动微手势的方向。当手指位于IL1时,近红外光会反射到SP1和SP2,将增加近红外光发射器P1和P2的信号值。同理,当手指位于IL2时,其反射近红外光到SP2和SP3,并增加P2和P3的信号值。由于近红外传感器具有有限的视场,P1不会接收到来自IL2的近红外信号,反之亦然。因此,如果P1有比P3更早的上升信号,则判定滑动方向为上滑。否则,识别为向下滑动。向上和向下滑动的两个典型波形如图5所示。
为了识别滑动微手势的方向,利用步骤2.1提出的差异增强算法和动态阈值算法来检测滑动微手势的开始点和结束点,但是有时用户的手指滑动范围并没有超出P1和P3之间,在这种情况下,只会检测到一个手势开始点,这样的手势仍被判定为向上或向下滑动。
步骤3.2:分析步骤1.1提取出的滑动微手势反射的近红外光信号,利用近红外接收器间感知的信号时延差异以及硬件排布距离,识别滑动微手势的速度。
具体如下:
分析步骤1.1提取出的滑动微手势信号,利用近红外接收器间感知的信号时延差异以及硬件排布距离识别滑动微手势的速度。当近红外光发射器P1和P3之间的物理距离固定为W时,滑动微手势的速度与P1和P3感知手势信号的时延差异Δt成比例,表示为v(Δt)=W/Δt。
步骤3.3:根据步骤3.1和步骤3.2提取的滑动微手势的方向和速度,结合近红外接收器间感知的滑动微手势持续时间,识别滑动微手势的距离。
具体如下:
用户滑动手指的速度视为匀速。滑动微手势的距离Dt被映射为:Dt=α·v(Δt)·min{t,T}。其中,T是滑动微手势的总持续时间,α是滑动方向,向上滑动时α=1,向下滑动时α=-1。具体地,追踪滑动微手势会面临三种情况,以上滑手势为例,进行分析:
当用户滑动范围上限为IL1时,基于信号上升点的顺序识别滑动微手势的方向α。由于P3没有检测到信号变化,因此Δt是不可计算的。根据经验将速度定为v′,则Dt=α·v′·min{t,T};
当用户滑动范围上限为IL2时,基于信号上升点的顺序识别滑动微手势的方向α。利用P1和P3感知信号上升点的时延差异Δt计算滑动速度v(Δt)。则Dt=α·v(Δt)·min{t,T};
当用户滑动范围超出IL2时,基于信号上升点的顺序识别滑动微手势的方向α。利用P1和P3感知信号上升点的时延差异Δt计算滑动速度v(Δt)。由于滑动微手势的总时长不可测,用信号片段持续时间T作为滑动总时长。则Dt=α·v(Δt)·min{t,T}。
手指下滑的方向、速度和距离检测与手指上滑同理。
实施例
为了验证本发明的有益效果,本实施例基于设计的一个腕带式原型系统进行测试,原型系统如图4所示。原型包括一个集成的近红外传感器系统(间隔部署了三个近红外接收器和两个近红外发射器,间隔1mm),黑色外壳和配套计算机软件。此原型对人体无害,不影响用户其他动作。
实施例共招募10名志愿者(4名男性和6名女性,年龄在20到49岁之间)参与实验,志愿者均身体健康,惯用右手。数据采集前每个志愿者学习了如何执行微手势。数据采集过程中,每个志愿者以自然舒适的方式坐在椅子上,将原型戴在惯用左手手上,右手执行预定义微手势和滑动微手势的动作。共计收集了10000个样本进行分析与训练。
准确率、召回率和查准率值被用来进行系统性能评价。其中,准确率(accuracy)被定义为:被正确分类的样本总数除以被全部的样本总数的比率。召回率(Recall)定义为:对于某个微手势,用本方法正确识别的样本个数和实际上属于该类微手势的样本个数的比值;查准率(Precision)定义为:对于某个微手势,正确识别的样本可数的占全部识别为该类微手势的样本个数的比例。
数据处理滑动窗口ω设为10ms,手势切分时间阈值te设为100ms,滑动微手势和预定义微手势切分阈值Ig设为30ms。这些数据设置由采集的数据观察得到。
首先测试本方法的总体性能。先对微手势与滑动微手势区分结果进行测试。图6展示了本方法针对10名志愿者执行微手势时进行手势区分的性能。准确率、召回率和查准率均在98%以上,测试结果表明本方法可以将这两种手势正确区分。
然后测试本方法针对预定义微手势的识别性能。75%的数据被用来训练分类器,25%的数据进行了5折交叉验证。图7展示了本方法对10名志愿者的6个预定义微手势进行识别的性能。测试结果表明所有手势都能被可靠地识别,最低平均召回率和查准率分别为90.65%和92.13%(均在90%以上)。平均准确率为98.44%,表明本方法能够可靠识别微手势。
之后测试本方法的滑动微手势追踪性能,测试结果显示,上滑平均识别精度为99.88%,下滑平均识别精度为99.26%。此外,本实施例在平板电脑上实现了手势跟踪的实时界面。所有志愿者对使用体验进行评分,分值分别为1,2,3,分别表示明显的不匹配滑动、标准滑动和流畅的匹配滑动。本实施例平均得分为2.6分,90%的用户在使用本方法时认为界面滑动得到了流畅的匹配,这证实了本方法的可靠性和可用性。
另外,由于志愿者执行同一手势时也会表现出行为差异,例如滑动速度不同、力度不同、姿势差异等。给识别带来了干扰。有必要测试用户差异对本方法识别精度的影响。使用9位志愿者的微手势数据做训练,另外一位志愿者的微手势数据做测试。图8显示了10名志愿者微手势的准确率、召回率和查准率。最终结果由全部十种用户训练数据和测试数据组合平均而来。其中80%的志愿者能够达到80%以上的准确率。10名志愿者的平均查准率和召回率分别为84.69%和87.44%。而4号志愿者和6号志愿者的微手势识别准确率低于其他志愿者。一个可能的原因是这两个志愿者手型更大。测试结果表明,可以通过预先训练分类器,让用户可以直接使用本方法而无需重新训练分类器。
为了评估本方法的干扰去除效果,实施了不同环境条件下的对比试验。在一天内8点到20点,每3小时进行一次实验,不同时刻的红外光条件不同。两名志愿者被要求在5个不同的时间段内完成所有设计的微手势。每一个手势执行25次,如图9所示,5个不同时间,即不同环境近红外光条件下的准确率、召回率和查准率。平均准确率92.97%。平均召回率和查准率分别为93.8%和95.02%。测试结果表明本方法是可以抵抗环境近红外变化,实现可靠的微手势识别。
以上所述的具体描述,对发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例,用于解释本发明,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (9)

1.一种利用近红外传感器的微手势识别方法,其特征在于,包括以下步骤:
步骤1:判断微手势的类型;
使用近红外光发射器和近红外光接收器,组成一个近红外传感系统;近红外发射器和接收器采用间隔排布方式,接收器和发射器之间相隔固定距离;
步骤1.1:采集用户执行微手势时的近红外接收器信号强度;
步骤1.2:分析步骤1.1采集的手指运动时反射的近红外信号,根据多个通道信号之间的时延差异,判断用户执行的是预定义微手势还是滑动微手势;
如果是预定义微手势则执行步骤2,如果是滑动微手势则执行步骤3;
步骤2:识别预定义微手势识别;
步骤2.1:数据处理,去除近红外传感器采集的近红外光信号中的噪音干扰并切分手势;
步骤2.1.1:使用基于平方的差异增强方法,对采集的近红外信号进行处理,去除与微手势无关的噪音;
步骤2.1.2:使用动态阈值算法,对近红外信号进行切分,提取微手势信号;
步骤2.2:识别预定义微手势;
步骤2.2.1:分析步骤2.1提取出的用户微手势信号,提取信号频域和时域的特征;
步骤2.2.2:将步骤2.2.1提取的信号特征,使用随机森林分类器进行识;
步骤3:追踪滑动微手势的方向、速度和距离;
步骤3.1:分析步骤1.1提取出的滑动微手势反射的近红外光信号,利用近红外接收器间感知的信号时延差异,识别滑动微手势的方向;
步骤3.2:分析步骤1.1提取出的滑动微手势反射的近红外光信号,利用近红外接收器间感知的信号时延差异以及硬件排布距离,识别滑动微手势的速度;
步骤3.3:根据步骤3.1和步骤3.2提取的滑动微手势的方向和速度,结合近红外接收器间感知的滑动微手势持续时间,识别滑动微手势的距离。
2.如权利要求1所述的一种利用近红外传感器的微手势识别方法,其特征在于,所述步骤1.2中,当反射信号上升点之间的时延小于设定阈值时,手势被视为预定义微手势,否则,它被视为一个滑动微手势。
3.如权利要求1所述的一种利用近红外传感器的微手势识别方法,其特征在于,所述步骤2.1.1中,首先,使用一个黑色不透光外壳来限制接收器视场;外壳一侧开有一个狭窄缝隙以供近红外光通过,宽度与近红外光传感器直径相同,长度满足全部传感器不被遮挡;
使用时,将传感器放置在黑色外壳内,发射方向与外壳缝隙所在平面垂直,传感器灯珠头组成的平面与外壳缝隙所在平面重合。
4.如权利要求1所述的一种利用近红外传感器的微手势识别方法,其特征在于,所述步骤2.1.1,将采集的近红外信号只受手指移动的影响表示为Sges;手的其他部分相对静止,这类静态干扰表示为Nstatic;接收信号会受到相对动态的多径干扰的影响表示为Ndyn;接收信号RSS表示为RSS=Sges+Nstatic+Ndyn
设置一个大小为ω的滑动窗口实时处理接收信号,在当前窗口中,减去前一个相邻窗口的信号强度并计算二次方结果ΔRSS2;基于此,静态干扰Nstatic被消除。
5.如权利要求1或2所述的一种利用近红外传感器的微手势识别方法,其特征在于,步骤2.1.2中,应用动态阈值分割微手势,具体如下:
首先,记长度为m的前一个相邻窗口的信号强度二次方结果ΔRSS2为ΔRSS2={r1,r2,…,ri,…,rm};对于阈值Iseg,ΔRSS2将被分为两类,微手势G和非微手势类NG:
G={ri|ri>Iseg,ri∈ΔRS2}
NG={ri|ri≤Iseg,ri∈ΔRS2}
用ω0和ω1分别表示阈值Iseg将两类分离的概率,ω0=|G|/m,ω1=|NG|/m,其均值分别为
Figure FDA0002506844650000021
然后,迭代计算一个使类间方差最大的阈值
Figure FDA0002506844650000022
Figure FDA0002506844650000023
给定初始阈值以及ΔRSS2读数,动态阈值被迭代校准;
超过阈值的信号突增被视为微手势的开始,低于阈值的信号突减被视为微手势的结束;
如果切分的两个手势片段间隔小于时间阈值te,它们被合并成一个手势。
6.如权利要求1所述的一种利用近红外传感器的微手势识别方法,其特征在于,步骤2.2.1中,首先,提取出候选特征,使用一个基于随机森林的分类器,根据候选特征的重要反馈对其进行排序;
然后,将人为观察和特征重要性结合起来,从时间和频率域中,选择标准差、方差、波峰数量、第一个/最后一个最大值位置、峰度、信号长度、频率成分,作为必要特征进行微手势识别。
7.如权利要求6所述的一种利用近红外传感器的微手势识别方法,其特征在于,步骤2.2.1中,进一步选用局部自相关性系数、分位数、复变距离、绝对能量、近似熵特征,辅助进行微手势判断。
8.如权利要求1或6所述的一种利用近红外传感器的微手势识别方法,其特征在于,步骤2.2.2中,在识别前,训练一个基于随机森林的分类器识别微手势;识别时,将提取的特征送入训练好的随机森林分类器中,挑选预测概率最大的微手势类别作为输出。
9.如权利要求1所述的一种利用近红外传感器的微手势识别方法,其特征在于,步骤3.3中,用户滑动手指的速度视为匀速,滑动微手势的距离Dt被映射为:Dt=α·v(Δt)·min{t,T};其中,T是滑动微手势的总持续时间,α是滑动方向,向上滑动时α=1,向下滑动时α=-1;
追踪滑动微手势会面临三种情况:
当用户滑动范围上限为IL1时,基于信号上升点的顺序识别滑动微手势的方向α,根据经验将速度定为v′,则Dt=α·v′·min{t,T};
当用户滑动范围上限为IL2时,基于信号上升点的顺序识别滑动微手势的方向α;利用不同近红外发射器感知信号上升点的时延差异Δt计算滑动速度v(Δt),则Dt=α·v(Δt)·min{t,T};
当用户滑动范围超出IL2时,基于信号上升点的顺序识别滑动微手势的方向α;利用不同近红外发射器感知信号上升点的时延差异Δt计算滑动速度v(Δt);由于滑动微手势的总时长不可测,用信号片段持续时间T作为滑动总时长,则Dt=α·v(Δt)·min{t,T}。
CN202010449038.2A 2020-05-25 2020-05-25 一种利用近红外传感器的微手势识别方法 Active CN111475030B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010449038.2A CN111475030B (zh) 2020-05-25 2020-05-25 一种利用近红外传感器的微手势识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010449038.2A CN111475030B (zh) 2020-05-25 2020-05-25 一种利用近红外传感器的微手势识别方法

Publications (2)

Publication Number Publication Date
CN111475030A true CN111475030A (zh) 2020-07-31
CN111475030B CN111475030B (zh) 2021-04-20

Family

ID=71760264

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010449038.2A Active CN111475030B (zh) 2020-05-25 2020-05-25 一种利用近红外传感器的微手势识别方法

Country Status (1)

Country Link
CN (1) CN111475030B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112728607A (zh) * 2021-01-20 2021-04-30 宁波方太厨具有限公司 非接触控制吸油烟机的防烟汽干扰控制方法及吸油烟机
CN112764002A (zh) * 2021-01-07 2021-05-07 北京理工大学重庆创新中心 一种基于可变形卷积的fmcw雷达手势识别方法
US11467254B2 (en) 2020-02-27 2022-10-11 Samsung Electronics Co., Ltd. Method and apparatus of radar-based activity detection

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105324741A (zh) * 2013-05-30 2016-02-10 内奥诺德公司 光学接近传感器
US20160313798A1 (en) * 2015-04-22 2016-10-27 Medibotics Llc Nerd of the Rings -- Devices for Measuring Finger Motion and Recognizing Hand Gestures
CN106446801A (zh) * 2016-09-06 2017-02-22 清华大学 基于超声主动探测的微手势识别方法及系统
CN106952348A (zh) * 2017-03-28 2017-07-14 云南大学 一种基于红外手势识别的数字建筑模型展示方法及系统
CN110309726A (zh) * 2019-06-10 2019-10-08 济南大学 一种微手势识别方法
US20190391724A1 (en) * 2014-12-18 2019-12-26 Ultrahaptics IP Two Limited User interface for integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
US10608632B2 (en) * 2017-10-17 2020-03-31 Trustees Of Dartmouth College Infrared-based gesture sensing and detection systems, and apparatuses, software, and methods relating to same

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105324741A (zh) * 2013-05-30 2016-02-10 内奥诺德公司 光学接近传感器
US20190391724A1 (en) * 2014-12-18 2019-12-26 Ultrahaptics IP Two Limited User interface for integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
US20160313798A1 (en) * 2015-04-22 2016-10-27 Medibotics Llc Nerd of the Rings -- Devices for Measuring Finger Motion and Recognizing Hand Gestures
CN106446801A (zh) * 2016-09-06 2017-02-22 清华大学 基于超声主动探测的微手势识别方法及系统
CN106952348A (zh) * 2017-03-28 2017-07-14 云南大学 一种基于红外手势识别的数字建筑模型展示方法及系统
US10608632B2 (en) * 2017-10-17 2020-03-31 Trustees Of Dartmouth College Infrared-based gesture sensing and detection systems, and apparatuses, software, and methods relating to same
CN110309726A (zh) * 2019-06-10 2019-10-08 济南大学 一种微手势识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
罗先录等: "一种面向移动终端的WEB微手势识别", 《计算机与数学工程》 *
顾德等: "基于深度信息的指尖追踪及手势识别", 《计算机工程与应用》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11467254B2 (en) 2020-02-27 2022-10-11 Samsung Electronics Co., Ltd. Method and apparatus of radar-based activity detection
CN112764002A (zh) * 2021-01-07 2021-05-07 北京理工大学重庆创新中心 一种基于可变形卷积的fmcw雷达手势识别方法
CN112764002B (zh) * 2021-01-07 2022-09-30 北京理工大学重庆创新中心 一种基于可变形卷积的fmcw雷达手势识别方法
CN112728607A (zh) * 2021-01-20 2021-04-30 宁波方太厨具有限公司 非接触控制吸油烟机的防烟汽干扰控制方法及吸油烟机
CN112728607B (zh) * 2021-01-20 2022-04-19 宁波方太厨具有限公司 非接触控制吸油烟机的防烟汽干扰控制方法及吸油烟机

Also Published As

Publication number Publication date
CN111475030B (zh) 2021-04-20

Similar Documents

Publication Publication Date Title
CN111475030B (zh) 一种利用近红外传感器的微手势识别方法
Kim et al. A hand gesture recognition sensor using reflected impulses
Liu et al. M-gesture: Person-independent real-time in-air gesture recognition using commodity millimeter wave radar
CN111399642B (zh) 手势的识别方法、装置、移动终端和存储介质
US20190087654A1 (en) Method and system for csi-based fine-grained gesture recognition
Kim Detection of eye blinking using Doppler sensor with principal component analysis
CN106919958B (zh) 一种基于智能手表的人体手指动作识别方法
CN102945362A (zh) 基于异构数据融合的传感器协同手势识别方法及系统
Zhang et al. Recognizing hand gestures with pressure-sensor-based motion sensing
Kalsh et al. Sign language recognition system
WO2009090584A2 (en) Method and system for activity recognition and its application in fall detection
CN110412566A (zh) 一种基于多普勒雷达时频域特征的细粒度人体手臂运动识别方法
Yu et al. Gesture recognition using reflected visible and infrared lightwave signals
CN102446268A (zh) 指纹防伪装置及其方法
CN111089604A (zh) 基于可穿戴传感器的健身运动识别方法
Jiang et al. Development of a real-time hand gesture recognition wristband based on sEMG and IMU sensing
KR102116604B1 (ko) 레이더를 이용한 제스처 인식 장치 및 방법
CN111262637B (zh) 一种基于Wi-Fi信道状态信息CSI的人体行为识别方法
Qiao et al. Human activity classification based on micro-Doppler signatures separation
PS et al. Performance evaluation of SVM-based hand gesture detection and recognition system using distance transform on different data sets for autonomous vehicle moving applications
CN109634408A (zh) 一种Hololens手势识别的扩展方法
Rashid et al. Hand Gesture Recognition using Continuous Wave (CW) Radar based on Hybrid PCA-KNN
CN102467671A (zh) 指纹防伪装置及其方法
Zhou et al. Threshold selection and adjustment for online segmentation of one-stroke finger gestures using single tri-axial accelerometer
Ahmed et al. Wi-fi csi based human sign language recognition using lstm network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant