CN107390867A - 一种基于安卓手表的人机交互系统 - Google Patents

一种基于安卓手表的人机交互系统 Download PDF

Info

Publication number
CN107390867A
CN107390867A CN201710567091.0A CN201710567091A CN107390867A CN 107390867 A CN107390867 A CN 107390867A CN 201710567091 A CN201710567091 A CN 201710567091A CN 107390867 A CN107390867 A CN 107390867A
Authority
CN
China
Prior art keywords
mrow
msub
gesture
mouse
mtd
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710567091.0A
Other languages
English (en)
Other versions
CN107390867B (zh
Inventor
张健
毕红亮
王志波
袁辉
汪洋
林金钏
程皓楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN201710567091.0A priority Critical patent/CN107390867B/zh
Publication of CN107390867A publication Critical patent/CN107390867A/zh
Application granted granted Critical
Publication of CN107390867B publication Critical patent/CN107390867B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提出了一种基于安卓手表的人机交互系统。与其他人机交互系统相比，本发明是第一个基于现有的智能手表的交互方案，利用手势动作实现与电脑的交互，如图1所示。该交互方式主要分为两个功能：鼠标操作模块和鼠标移动模块。在鼠标操作模块中，通过定义十种手势动作作为鼠标操作的数据库，并设计波峰波谷检测算法，使手势识别精度提高10％以上。在鼠标移动模块，通过姿态解算算法，将检测手势活动的姿态角转换为屏幕坐标，实现对屏幕光标的控制。实验证明，该系统对十种手势的识别精度在96％左右，模拟鼠标移动的平均误差基本控制在30pixel以内。因此，该系统具有较好的性能。

Description

一种基于安卓手表的人机交互系统
技术领域
本文以现有商用的智能手表为载体，采用移动感知技术，设计了一种基于安卓手表的人机交互方式，即使用手势控制电脑。
背景技术
随着社会发展，电脑给人们生活带来了极大的方便，然而对于这种设备，还需要携带鼠标这一手持设备，甚至对于没有双手的残疾人来说，这也无疑影响了他们的操作体验。这激发了人们对无鼠标交互方式的研究，目前的替代产品中大多要购买额外的硬件设备或者使用手持设备，这给用户造成了一定的不便。这个问题激发了我们去寻找一种更加有效且方便的无鼠标交互方式。而且鼠标作为一种手持设备，必须依附于桌面，长期使用会导致“鼠标手”。在这里，我们提出一种新型的人机交互方式，即第一个完整的基于现有智能手表使用手势与电脑进行交互的解决方案，其具有的惯性传感器可以及时获取用户手势姿势。同时，该方案不受手臂位置的限制。对于那些不幸失去双手的人来说，只需佩戴上智能手表，仍可以像正常人一样操作电脑。系统方案不仅对这些人来说是个福音，。而且还能让用户以更加灵活的方式使用电脑，从而有效减少使用鼠标产生的疲劳和不适状况，甚至有效减缓“鼠标手”。基于创新的这种新型交互方式，应用前景非常广泛，不仅可以与电脑交互，也可以应用到与智能电视等进行交互
发明内容
一种基于安卓手表的人机交互系统，包括：
鼠标操作模型：利用监督学习方法，基于不同手势构建手势数据库，定义为鼠标操作，即左键、双击、右键，左键按下，左键弹起基本功能，并基于改进的波峰波谷检测算法，将手势信号波峰波谷作为特征用于分类，提高手势识别的精度；
鼠标移动模型：通过四元数姿态解算算法得出手势移动的姿态角，并将解算的偏航角和俯仰角映射为屏幕光标坐标。
在上述的一种基于安卓手表的人机交互系统，鼠标移动模型基于一个魔手系统，具体是将两个姿态角通过线性映射方式转换为屏幕坐标，设定初始时刻两个姿态角均为零，并对应为屏幕坐标中心点，在手势向左摆动过程中，即pitch角从0到负向最大值，此时屏幕光标向中心点左方移动；同理，手势向右摆动时，光标向右移动；在手势向上摆动过程中，即yaw角从0向正向最大值，屏幕光标向中心点上方移动，同理，手势向下摆动时，光标向下移动，最终实现手势与光标的映射。
在上述的一种基于安卓手表的人机交互系统，所述鼠标移动模型中，建立手势与光标的映射首先解决需要纠正由于偏航角Yaw和俯仰角Pitch会随手势方位不同而不同的问题，因此在鼠标移动模型的开始处，需先将这两个角度进行校准，使手势在初始位置的时候调整为零，具体是：
步骤3.1、在初始时对两个角分别加一个偏移量，校准为零，
步骤3.2、将步骤3.1中的手势映射到屏幕坐标中心点处；
步骤3.3、通过映射系数Wpitch和Wyaw分别调节Pitch角和Yaw角的映射灵敏度；映射公式如下所示：
如公式所示，Pitch_Angle表示手势上下移动的角度，即俯仰角，Yaw_Angle表示手势左右移动的角度，即偏航角，Pitch_MaxAngle和Yaw_MaxAngle分别为手势上下和左右摆动的最大幅度，Pitch_Bias_Angle和Yaw_Bias_Angle分别为初始时刻使光标移动到屏幕中心点的偏置角度，通过调节参数，实现手势与光标位置的很好的映射。
在上述的一种基于安卓手表的人机交互系统，所述鼠标移动模型中，建立手势与光标的映射时，由于人手会有抖动的影响，角度变化灵敏，定义在t时间段里，光标坐标值没有变化或变化在设定像素范围内，即可认为鼠标停在该位置，此时模型自动切换到鼠标操作模型中。
在上述的一种基于安卓手表的人机交互系统，鼠标操作模型中，基于改进的波峰波谷检测算法，将波峰波谷作为特征用于分类的具体方法是：
定义X＝(x1,x2,...,x|X|)表示包含手势信号窗内所有的采样点，其中|X|是X种采样点的数目；Xi左邻域被定义为：
其中k是要调节的参数，L(xi,k)包含xi左边的k个点；同样定义xi的右邻域为：
定义Wpeak(xi,k)表示关于波峰处xi点的权重；通过计算xi和他左邻域和右邻域之间的最大值的平均值求得该权重；
同样的，计算关于波谷处xi点的权重Wvalley(xi,k)；通过计算xi和他左邻域和右邻域之间的最小值的平均值求得该权重；
具体步骤如下：
步骤5.1、计算所有采样点的Wpeak(xi,k)和Wvalley(xi,k)
步骤5.2、计算所有采样点权重的平均值μ和方差s
步骤5.3、依据Wpeak(xi,k)-μpeak＞h×speak&Wpeak(xi,k)＞0过滤局部波峰值
步骤5.4、依据Wvalley(xi,k)-μvalley＜h×svalley&Wvalley(xi,k)＜0过滤局部波谷值；
步骤5.5、相邻k个波峰波谷处|i-j|<k只保留一个具有最大权重的波峰Wpeak和波谷Wvalley
依据上述步骤，最终可得出波峰波谷所在采样点位置；并将每个手势信号的波峰波谷的数量和出现顺序作为特征进行分类，实现分类精度的提高。
附图说明
附图1系统架构图。
附图2手势数据库。
附图3手势鼠标线性映射示意图。
附图4未加入波峰波谷特征的十种手势的分类性能。
附图5未加入波峰波谷特征的十种手势的混淆概率矩阵图。
附图6六种易混淆手势的信号波形图
附图7基于波峰波谷特征的十种手势分类性能。
附图8基于波峰波谷特征的十种手势的混淆概率矩阵。
附图9波峰波谷算法的时间复杂度。
附图10基于智能手表和Camera的手势对光标的移动跟踪效果图。
具体实施方式
一、首先介绍一下本系统的具体架构。
图1展示了系统架构，主要分为鼠标操作和鼠标移动两部分功能。其中鼠标操作管道是用来模拟鼠标通用操作状态，如单击、双击、右键、左键按下或左键释放等。鼠标移动管道是用来控制屏幕光标的移动。
首先通过智能手表内置app获取手势运动的加速度传感器和陀螺仪传感器的数据，然后将这些数据通过两个模型所在的管道。其中鼠标操作管道是基于定义的鼠标手势模型，如图2。经过数据预处理后，使用监督学习方法，与预先定义好的手势动作进行匹配识别。鼠标移动管道是利用现有的姿态解算算法解算出姿态角，并将俯仰角和偏航角所构成的二维信息映射为电脑屏幕坐标，从而实现通过手势摆动的方式对光标进行控制。
为了避免鼠标移动手势与鼠标操作手势出现混淆，导致二者互相干扰。需要再增加一种判断手势作为实现鼠标操作管道向鼠标移动管道进行切换的标志，从而使两个管道互相独立，互不干扰。当进入鼠标移动管道时，鼠标的任何操作状态都会被屏蔽，鼠标移动结束时，只需手势静止片刻，鼠标移动管道模型就会自动切换回鼠标操作管道。若再次想控制光标移动，可继续执行判断手势进入鼠标移动管道。同理，当进入鼠标操作管道时，手势的任何非有效状态的活动都不会被识别。最终实现对自由空间的手势移动的跟踪。
通过定义十个简单常用的轻微手势动作作为替代鼠标操作的数据库，鉴于鼠标操作通常只有左键单机、双击、左键按下、左键谈起、右键单机等，考虑加上判断手势，用户可以选择数据库中的五到六种组合作为对鼠标操作的模拟，这个可以根据用户的个人爱好来设定。其中左键按下和左键弹起可以共用同一种手势动作。
如图2所示，该数据库中包含十种手势，这些手势包含手势方向和位置信息，因而使用智能手表内置的陀螺仪传感器和加速度传感器可以实现对这些手势的模拟，用户可以根据其操作习惯，自定义使用任意五或六种手势模拟鼠标操作。
在鼠标移动管道中，该方案基于智能手表传感器，使用姿态解算算法求解出设备的三个姿态角。并将俯仰角Pitch(代表手势的上下摆动)和偏航角Yaw(代表手势的左右摆动)二维坐标信息通过线性映射公式分别转换为屏幕坐标系中的Y方向坐标和X方向坐标，将手势摆动产生的二维角信息转换为屏幕二维坐标信息来控制光标移动。考虑到手臂摆动的舒适度，并设定手臂摆动的最大角度为MaxAngle度。设屏幕尺寸宽度为width(单位为pixel),高度为high(单位为pixel)。然后通过线性映射方式来实现转换，如图3所示。
首先定义了模拟鼠标操作的手势动作方式。并利用智能手表采样这些手势动作的数据进行离线分析。通常一个人执行某项动作时，不需要大脑处理而直接产生反射的时间大约是0.06s，对应的频率是16Hz，根据奈奎斯特采样定理，设置采样频率为32Hz进行数据采集，这可以满足日常生活中的手势识别。
由于加速度传感器的原始输出包含了重力加速度，使手臂在不同朝向时必然受到重力分量的干扰，为了采取更加随意状态的手势姿势去操作电脑，在手势活动中不受手臂方向的限制，在提取特征前首先去除加速度中的重力分量，可用低通滤波器分离出重力加速度，得到线性加速度。这样，所做的手势就会独立于手臂所处的位置，从而方便用户灵活的进行手势运动。同时由于手的抖动和传感器内部噪声的影响，传感器输出的信号中会有高频随机噪声的干扰，然后将陀螺仪和线性加速度数据通过均值滤波进行去噪。最终得到三个轴上平滑输出的传感器数据。将检测到的手势动作的传感器三个轴的数据分别进行特征提取，在时域上提取三个轴的互相关系数。同时对信号进行频谱分析可以求得动态信号中的各个频率成分和频率分布范围。最后将提取到的每个轴的时域特征和频域的特征进行分类。接下来使用SVM分类器对这些手势进行分类。
如图4所示，尽管总体识别性能很好，但是对某些手势操作的识别性能还是相对较低的，尤其是对于flip-up-from-right这个动作来说，识别率不到80％。因此，这个模型直接应用到智能手表上的性能并不好。接下来通过分析这十种手势的混淆概率矩阵判断哪些手势容易发生混淆。如图5所示
从图5中可以看出，该混淆概率矩阵每一行代表了数据的真实归属类别，每一列中的数值表示真实数据被预测为该类的概率，红色标注表示假阳率比较大的预测结果，对于一些手势，如flip-down-leftward和flip-up-from-left之间，flip-down-rightward和flip-up-from-right之间，move-leftward和move-rightward之间的假阳率都很高。说明这三对手势之间很容易出现混淆，这造成了系统整体预测性能的下降。这说明即时加入陀螺仪传感器的数据特征，也无法精确实现对这三组手势方向与位置的区分。因而，需要一个更有效区分手势动作的方法。接下来，需要对这六种手势的线性加速度数据的波形进行观察分析，以寻找更易于区分的特征，如图5所示：
从图5中可以看出，以执行move-leftward和move-rightward为例，其信号恰好呈现相反的趋势，这并不难理解，因为这两种手势最大区别是方向相反，并且频域上只能判断其能量分布范围，并不能判断信号方向，同样，这两个手势各自三个轴之间的变化方向呈现相似趋势，所以互相关系数也相同，因而单靠频域和相关系数很难对这两种手势信号进行区分，但是这些手势的波峰波谷的数量以及出现的顺序还是可以区分的，如图6所示，通过使用加速度传感器信号中波峰波谷出现顺序和总的数量替代陀螺仪角度信息作为特征向量中去分类。
二、通过上述算法检测到每个手势所有的波峰波谷数量之和出现顺序，将其加入到特征集中进行分类。接下来使用SVM分类器对手势进行分类。
由图7可知，该算法对所有参与者的不同手势动作的precision、recall、f1大多数都在90％以上。其平均precision、平均Recall、平均f1值均为96.8％。因此，算法极大的改善了模型的识别性能。下面再通过混淆概率矩阵分析上面所述的三对易混淆的手势问题，如图7所示展示了对十种手势分类的混淆概率矩阵图。
从图8可以看出，该算法极大降低了flip-down-leftward和flip-up-from-left之间，flip-down-rightward和flip-up-from-right之间，move-leftward和move-rightward这三对手势的假阳率。因此，相比于使用陀螺仪传感器数据作为特征来说，算法能更好的增加三组易混淆手势的区分精度。相比于加入陀螺仪传感器的特征来说，算法只需要加速度传感器不仅能达到更高的识别精度，而且能使识别性能更稳定。由图9可知，在每个手势信号上进行波峰波谷检测的平均耗时最大不超过2毫秒，方差不超过0.5ms。对于如今运算速度已经很高的计算机来说，几乎不影响识别速度和性能。
通过线性映射的方式实现了俯仰角pitch和偏航角yaw向屏幕坐标系的转换，跟随实验指导去完成两种方式的路径。一种方式是使用鼠标控制屏幕光标，并设该光标轨迹为标准路径，另一种方式是分别使用本文系统方案和现有的Camera鼠标控制光标并与标准路径进行比较。对于鼠标移动模型，可以通过如下方式评价，使用画图工具自带的几个特殊图形进行模拟，分别是心形、圆形、三角形、正方形，然后分别使用鼠标和该系统和Camera鼠标尽可能去跟随这些图形的边界，通过鼠标跟踪能够比较完美的勾勒出这几个图形的轮廓，，
由图10可知，设定鼠标勾勒的图形为标准图形。分别使用Camera鼠标和本文系统对鼠标四种标准图形轨迹边界进行跟踪，整体上来说，该系统接近了鼠标的跟踪效果，但是在拐点处还是会产生较大的偏移，这是因为传感器属于惯性传感器，很难完全实现突然从匀速运动变为静止或突然从静止变为匀速运动。都有一个减速或加速的过程，这个过程不可避免导致信号数据不能很快的稳定下来，再加上在空中执行手势的时候没有参照体系，大多数凭对目标的感觉进行移动，所以跟踪标准图形时与鼠标有一些差距。但是该系统的移动跟踪还是能基本达到想要的效果。同样，现有的Camera鼠标也能实现对标准轨迹的跟踪，但是由于移动过程中不可避免的手势抖动和光线不均匀等不利因素存在，其轨迹也会产生一些误差。因而该算法部署到手表系统上，并通过线性映射方式，可以较好的实现模拟鼠标移动的功能。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (5)

1.一种基于安卓手表的人机交互系统，包括：
鼠标操作模型：利用监督学习方法，基于不同手势构建手势数据库，定义为鼠标操作，即左键、双击、右键，左键按下，左键弹起基本功能，并基于改进的波峰波谷检测算法，将手势信号波峰波谷作为特征用于分类，提高手势识别的精度；
鼠标移动模型：通过四元数姿态解算算法得出手势移动的姿态角，并将解算的偏航角和俯仰角映射为屏幕光标坐标。
2.根据权利要求1所述的一种基于安卓手表的人机交互系统其特征在于：鼠标移动模型基于一个魔手系统，具体是将两个姿态角通过线性映射方式转换为屏幕坐标，设定初始时刻两个姿态角均为零，并对应为屏幕坐标中心点，在手势向左摆动过程中，即pitch角从0到负向最大值，此时屏幕光标向中心点左方移动；同理，手势向右摆动时，光标向右移动；在手势向上摆动过程中，即yaw角从0向正向最大值，屏幕光标向中心点上方移动，同理，手势向下摆动时，光标向下移动，最终实现手势与光标的映射。
3.根据权利要求1所述的一种基于安卓手表的人机交互系统，其特征在于，所述鼠标移动模型中，建立手势与光标的映射首先解决需要纠正由于偏航角Yaw和俯仰角Pitch会随手势方位不同而不同的问题，因此在鼠标移动模型的开始处，需先将这两个角度进行校准，使手势在初始位置的时候调整为零，具体是：
步骤3.1、在初始时对两个角分别加一个偏移量，校准为零，
步骤3.2、将步骤3.1中的手势映射到屏幕坐标中心点处；
步骤3.3、通过映射系数Wpitch和Wyaw分别调节Pitch角和Yaw角的映射灵敏度；映射公式如下所示：
<mrow> <mi>Y</mi> <mo>=</mo> <msub> <mi>W</mi> <mrow> <mi>p</mi> <mi>i</mi> <mi>t</mi> <mi>c</mi> <mi>h</mi> </mrow> </msub> <mo>&amp;times;</mo> <mfrac> <mrow> <mo>(</mo> <mi>P</mi> <mi>i</mi> <mi>t</mi> <mi>c</mi> <mi>h</mi> <mo>_</mo> <mi>A</mi> <mi>n</mi> <mi>g</mi> <mi>l</mi> <mi>e</mi> <mo>+</mo> <mi>P</mi> <mi>i</mi> <mi>t</mi> <mi>c</mi> <mi>h</mi> <mo>_</mo> <mi>B</mi> <mi>i</mi> <mi>a</mi> <mi>s</mi> <mo>_</mo> <mi>A</mi> <mi>n</mi> <mi>g</mi> <mi>l</mi> <mi>e</mi> <mo>)</mo> <mo>&amp;times;</mo> <mi>h</mi> <mi>e</mi> <mi>i</mi> <mi>g</mi> <mi>h</mi> <mi>t</mi> </mrow> <mrow> <mn>2</mn> <mo>&amp;times;</mo> <mo>|</mo> <mi>P</mi> <mi>i</mi> <mi>t</mi> <mi>c</mi> <mi>h</mi> <mo>_</mo> <mi>M</mi> <mi>a</mi> <mi>x</mi> <mi>A</mi> <mi>n</mi> <mi>g</mi> <mi>l</mi> <mi>e</mi> <mo>-</mo> <mi>P</mi> <mi>i</mi> <mi>t</mi> <mi>c</mi> <mi>h</mi> <mo>_</mo> <mi>A</mi> <mi>n</mi> <mi>g</mi> <mi>l</mi> <mi>e</mi> <mo>|</mo> </mrow> </mfrac> <mo>,</mo> </mrow>
<mrow> <mi>X</mi> <mo>=</mo> <msub> <mi>W</mi> <mrow> <mi>y</mi> <mi>a</mi> <mi>w</mi> </mrow> </msub> <mo>&amp;times;</mo> <mfrac> <mrow> <mo>(</mo> <mi>Y</mi> <mi>a</mi> <mi>w</mi> <mo>_</mo> <mi>A</mi> <mi>n</mi> <mi>g</mi> <mi>l</mi> <mi>e</mi> <mo>+</mo> <mi>Y</mi> <mi>a</mi> <mi>w</mi> <mo>_</mo> <mi>B</mi> <mi>i</mi> <mi>a</mi> <mi>s</mi> <mo>_</mo> <mi>A</mi> <mi>n</mi> <mi>g</mi> <mi>l</mi> <mi>e</mi> <mo>)</mo> <mo>&amp;times;</mo> <mi>w</mi> <mi>i</mi> <mi>d</mi> <mi>t</mi> <mi>h</mi> </mrow> <mrow> <mn>2</mn> <mo>&amp;times;</mo> <mo>|</mo> <mi>Y</mi> <mi>a</mi> <mi>w</mi> <mo>_</mo> <mi>M</mi> <mi>a</mi> <mi>x</mi> <mi>A</mi> <mi>n</mi> <mi>g</mi> <mi>l</mi> <mi>e</mi> <mo>-</mo> <mi>Y</mi> <mi>a</mi> <mi>w</mi> <mo>_</mo> <mi>A</mi> <mi>n</mi> <mi>g</mi> <mi>l</mi> <mi>e</mi> <mo>|</mo> </mrow> </mfrac> <mo>.</mo> </mrow>
如公式所示，Pitch_Angle表示手势上下移动的角度，即俯仰角，Yaw_Angle表示手势左右移动的角度，即偏航角，Pitch_MaxAngle和Yaw_MaxAngle分别为手势上下和左右摆动的最大幅度，Pitch_Bias_Angle和Yaw_Bias_Angle分别为初始时刻使光标移动到屏幕中心点的偏置角度，通过调节参数，实现手势与光标位置的很好的映射。
4.根据权利要求1所述的一种基于安卓手表的人机交互系统其特征在于，所述鼠标移动模型中，建立手势与光标的映射时，由于人手会有抖动的影响，角度变化灵敏，定义在t时间段里，光标坐标值没有变化或变化在设定像素范围内，即可认为鼠标停在该位置，此时模型自动切换到鼠标操作模型中。
5.根据权利要求1所述的一种基于安卓手表的人机交互系统，其特征在于：鼠标操作模型中，基于改进的波峰波谷检测算法，将波峰波谷作为特征用于分类的具体方法是：
定义X＝(x1,x2,...,x|X|)表示包含手势信号窗内所有的采样点，其中|X|是X种采样点的数目；Xi左邻域被定义为：
<mrow> <mi>L</mi> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>,</mo> <mi>k</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mi>&amp;Phi;</mi> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mi>i</mi> <mi>f</mi> <mi> </mi> <mi>i</mi> <mo>&lt;</mo> <mi>k</mi> <mo>,</mo> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>{</mo> <msub> <mi>x</mi> <mrow> <mi>i</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> <mo>,</mo> <msub> <mi>x</mi> <mrow> <mi>i</mi> <mo>-</mo> <mn>2</mn> </mrow> </msub> <mo>,</mo> <mo>...</mo> <mo>,</mo> <msub> <mi>x</mi> <mrow> <mi>i</mi> <mo>-</mo> <mi>k</mi> </mrow> </msub> <mo>}</mo> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mi>i</mi> <mi>f</mi> <mi> </mi> <mi>i</mi> <mo>&amp;GreaterEqual;</mo> <mi>k</mi> <mo>.</mo> </mrow> </mtd> </mtr> </mtable> </mfenced> </mrow> 1
其中k是要调节的参数，L(xi,k)包含xi左边的k个点；同样定义xi的右邻域为：
<mrow> <mi>R</mi> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>,</mo> <mi>k</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mi>&amp;Phi;</mi> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mi>i</mi> <mi>f</mi> <mi> </mi> <mi>i</mi> <mo>&gt;</mo> <mo>|</mo> <mi>X</mi> <mo>|</mo> <mo>-</mo> <mi>k</mi> <mo>,</mo> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>{</mo> <msub> <mi>x</mi> <mrow> <mi>i</mi> <mo>+</mo> <mn>1</mn> </mrow> </msub> <mo>,</mo> <msub> <mi>x</mi> <mrow> <mi>i</mi> <mo>+</mo> <mn>2</mn> </mrow> </msub> <mo>,</mo> <mo>...</mo> <mo>,</mo> <msub> <mi>x</mi> <mrow> <mi>i</mi> <mo>+</mo> <mi>k</mi> </mrow> </msub> <mo>}</mo> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mi>i</mi> <mi>f</mi> <mi> </mi> <mi>i</mi> <mo>&amp;le;</mo> <mo>|</mo> <mi>X</mi> <mo>|</mo> <mo>-</mo> <mi>k</mi> <mo>.</mo> </mrow> </mtd> </mtr> </mtable> </mfenced> </mrow>
定义Wpeak(xi,k)表示关于波峰处xi点的权重；通过计算xi和他左邻域和右邻域之间的最大值的平均值求得该权重；
<mrow> <msup> <mi>W</mi> <mrow> <mi>p</mi> <mi>e</mi> <mi>a</mi> <mi>k</mi> </mrow> </msup> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>,</mo> <mi>k</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mn>1</mn> <mn>2</mn> </mfrac> <mo>&amp;lsqb;</mo> <munder> <mrow> <mi>m</mi> <mi>a</mi> <mi>x</mi> </mrow> <mrow> <msub> <mi>x</mi> <mi>j</mi> </msub> <mo>&amp;Element;</mo> <mi>L</mi> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>,</mo> <mi>k</mi> <mo>)</mo> </mrow> </mrow> </munder> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>-</mo> <msub> <mi>x</mi> <mi>j</mi> </msub> <mo>)</mo> </mrow> <mo>+</mo> <munder> <mrow> <mi>m</mi> <mi>a</mi> <mi>x</mi> </mrow> <mrow> <msub> <mi>x</mi> <mi>j</mi> </msub> <mo>&amp;Element;</mo> <mi>R</mi> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>,</mo> <mi>k</mi> <mo>)</mo> </mrow> </mrow> </munder> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>-</mo> <msub> <mi>x</mi> <mi>j</mi> </msub> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> <mo>.</mo> </mrow>
同样的，计算关于波谷处xi点的权重Wvalley(xi,k)；通过计算xi和他左邻域和右邻域之间的最小值的平均值求得该权重；
<mrow> <msup> <mi>W</mi> <mrow> <mi>v</mi> <mi>a</mi> <mi>l</mi> <mi>l</mi> <mi>e</mi> <mi>y</mi> </mrow> </msup> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>,</mo> <mi>k</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mn>1</mn> <mn>2</mn> </mfrac> <mo>&amp;lsqb;</mo> <munder> <mi>min</mi> <mrow> <msub> <mi>x</mi> <mi>j</mi> </msub> <mo>&amp;Element;</mo> <mi>L</mi> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>,</mo> <mi>k</mi> <mo>)</mo> </mrow> </mrow> </munder> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>-</mo> <msub> <mi>x</mi> <mi>j</mi> </msub> <mo>)</mo> </mrow> <mo>+</mo> <munder> <mi>min</mi> <mrow> <msub> <mi>x</mi> <mi>j</mi> </msub> <mo>&amp;Element;</mo> <mi>R</mi> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>,</mo> <mi>k</mi> <mo>)</mo> </mrow> </mrow> </munder> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>-</mo> <msub> <mi>x</mi> <mi>j</mi> </msub> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> <mn>..</mn> </mrow>
具体步骤如下：
步骤5.1、计算所有采样点的Wpeak(xi,k)和Wvalley(xi,k)
步骤5.2、计算所有采样点权重的平均值μ和方差s
步骤5.3、依据Wpeak(xi,k)-μpeak＞h×speak&Wpeak(xi,k)＞0过滤局部波峰值
步骤5.4、依据Wvalley(xi,k)-μvalley＜h×svalley&Wvalley(xi,k)＜0过滤局部波谷值；
步骤5.5、相邻k个波峰波谷处|i-j|<k只保留一个具有最大权重的波峰Wpeak和波谷Wvalley
依据上述步骤，最终可得出波峰波谷所在采样点位置；并将每个手势信号的波峰波谷的数量和出现顺序作为特征进行分类，实现分类精度的提高。
CN201710567091.0A 2017-07-12 2017-07-12 一种基于安卓手表的人机交互系统 Active CN107390867B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710567091.0A CN107390867B (zh) 2017-07-12 2017-07-12 一种基于安卓手表的人机交互系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710567091.0A CN107390867B (zh) 2017-07-12 2017-07-12 一种基于安卓手表的人机交互系统

Publications (2)

Publication Number Publication Date
CN107390867A true CN107390867A (zh) 2017-11-24
CN107390867B CN107390867B (zh) 2019-12-10

Family

ID=60339414

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710567091.0A Active CN107390867B (zh) 2017-07-12 2017-07-12 一种基于安卓手表的人机交互系统

Country Status (1)

Country Link
CN (1) CN107390867B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109271017A (zh) * 2018-07-10 2019-01-25 广州小鸡快跑网络科技有限公司 iOS系统中陀螺仪事件的控制方法及装置
CN109795592A (zh) * 2019-01-30 2019-05-24 武汉齐物科技有限公司 骑行姿势识别方法及应用装置
CN110244855A (zh) * 2019-07-18 2019-09-17 毕容畅 一种基于角度传感器的体感鼠标
CN111580660A (zh) * 2020-05-09 2020-08-25 清华大学 一种操作触发方法、装置、设备及可读存储介质
CN111831721A (zh) * 2020-09-15 2020-10-27 北京东方通科技股份有限公司 一种空间数据可视化的处理方法、系统及设备
CN114265511A (zh) * 2021-12-22 2022-04-01 北京市市政工程设计研究总院有限公司 基于Unity3D软件在PC或移动端通过鼠标单手操作实现漫游控制的方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102402289A (zh) * 2011-11-22 2012-04-04 华南理工大学 一种基于机器视觉的手势鼠标识别方法
CN103543843A (zh) * 2013-10-09 2014-01-29 中国科学院深圳先进技术研究院 基于加速度传感器的人机接口设备及人机交互方法
CN105929940A (zh) * 2016-04-13 2016-09-07 哈尔滨工业大学深圳研究生院 基于细分特征值法的快速三维动态手势识别方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102402289A (zh) * 2011-11-22 2012-04-04 华南理工大学 一种基于机器视觉的手势鼠标识别方法
CN103543843A (zh) * 2013-10-09 2014-01-29 中国科学院深圳先进技术研究院 基于加速度传感器的人机接口设备及人机交互方法
CN105929940A (zh) * 2016-04-13 2016-09-07 哈尔滨工业大学深圳研究生院 基于细分特征值法的快速三维动态手势识别方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
吴秦等: ""基于Kinect骨骼跟踪技术的人机交互"", 《常州大学学报（自然科学版）》 *
左国玉等: ""遥操作护理机器人系统的操作者姿态解算方法研究"", 《自动化学报》 *
张义龙: ""基于加速度传感器的人体运动状态监测的研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
陈晨: ""基于WebRTC的残疾人鼠标研究及应用"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109271017A (zh) * 2018-07-10 2019-01-25 广州小鸡快跑网络科技有限公司 iOS系统中陀螺仪事件的控制方法及装置
CN109271017B (zh) * 2018-07-10 2023-06-09 广州小鸡快跑网络科技有限公司 iOS系统中陀螺仪事件的控制方法及装置
CN109795592A (zh) * 2019-01-30 2019-05-24 武汉齐物科技有限公司 骑行姿势识别方法及应用装置
CN109795592B (zh) * 2019-01-30 2024-01-05 武汉齐物科技有限公司 骑行姿势识别方法及应用装置
CN110244855A (zh) * 2019-07-18 2019-09-17 毕容畅 一种基于角度传感器的体感鼠标
CN110244855B (zh) * 2019-07-18 2022-11-04 毕容畅 一种基于角度传感器的体感鼠标
CN111580660A (zh) * 2020-05-09 2020-08-25 清华大学 一种操作触发方法、装置、设备及可读存储介质
CN111831721A (zh) * 2020-09-15 2020-10-27 北京东方通科技股份有限公司 一种空间数据可视化的处理方法、系统及设备
CN111831721B (zh) * 2020-09-15 2020-12-18 北京东方通科技股份有限公司 一种空间数据可视化的处理方法、系统及设备
CN114265511A (zh) * 2021-12-22 2022-04-01 北京市市政工程设计研究总院有限公司 基于Unity3D软件在PC或移动端通过鼠标单手操作实现漫游控制的方法

Also Published As

Publication number Publication date
CN107390867B (zh) 2019-12-10

Similar Documents

Publication Publication Date Title
CN107390867A (zh) 一种基于安卓手表的人机交互系统
Guo et al. Human-machine interaction sensing technology based on hand gesture recognition: A review
US10772561B2 (en) Sensors to determine neuronal activity of an organism to facilitate a human-machine interface
Butt et al. Objective and automatic classification of Parkinson disease with Leap Motion controller
Lu et al. A hand gesture recognition framework and wearable gesture-based interaction prototype for mobile devices
JP2022525829A (ja) 神経筋データに基づく制御スキームのためのシステムおよび方法
CN105683886B (zh) 用于在触摸应用中以抗高噪声性计算坐标的方法和装置
CN102027440A (zh) 对象与运动检测
CN102402289B (zh) 一种基于机器视觉的手势鼠标识别方法
Zhang et al. Recognizing hand gestures with pressure-sensor-based motion sensing
US20190310715A1 (en) Apparatus and method of using events for user interface
CN104903824A (zh) 交互感测
Xiong et al. A novel HCI based on EMG and IMU
CN103777748A (zh) 一种体感输入方法及装置
Fahim et al. A visual analytic in deep learning approach to eye movement for human-machine interaction based on inertia measurement
Lee et al. Taiwan sign language (TSL) recognition based on 3D data and neural networks
Sharma et al. Trbaggboost: An ensemble-based transfer learning method applied to Indian Sign Language recognition
Lin et al. WiWrite: An accurate device-free handwriting recognition system with COTS WiFi
Prasad et al. A wireless dynamic gesture user interface for HCI using hand data glove
Xia et al. Using the virtual data-driven measurement to support the prototyping of hand gesture recognition interface with distance sensor
Khan et al. Robust human locomotion and localization activity recognition over multisensory
Srisuphab et al. Artificial neural networks for gesture classification with inertial motion sensing armbands
CN116048262A (zh) 一种鲁棒于电极偏移的肌电手环手势识别方法
Min et al. Highly-accurate gesture recognition based on ResNet with low-budget data gloves
Srinivas et al. Study of hand gesture recognition and classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant