CN104571837B - 一种实现人机交互的方法及系统 - Google Patents
一种实现人机交互的方法及系统 Download PDFInfo
- Publication number
- CN104571837B CN104571837B CN201310476222.6A CN201310476222A CN104571837B CN 104571837 B CN104571837 B CN 104571837B CN 201310476222 A CN201310476222 A CN 201310476222A CN 104571837 B CN104571837 B CN 104571837B
- Authority
- CN
- China
- Prior art keywords
- msub
- mover
- mouse
- mtd
- mrow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
Abstract
本发明公开一种实现人机交互的方法及系统，涉及人机交互领域。通过鼠标佩戴装置将鼠标主体安装在使用者的手臂上；该方法包括：当使用者挥动手臂时鼠标主体获取加速度信号，对加速度信号进行处理得到第一处理结果；根据第一处理结果和鼠标的初始位置，通过预设算法进行计算得到鼠标的位置信息和姿态信息；鼠标主体采集使用者肢体表面的肌电信号，对肌电信号进行处理得到第二处理结果，对第二处理结果进行模数转换得到数字信号；根据数字信号检测按键类型，按键类型为左键或右键；鼠标主体将鼠标的位置信息和姿态信息、按键类型传输给终端设备上的鼠标交互应用装置来分析用户的操作。本发明能改善使用者的人机交互体验且不影响使用者的健康。
Description
技术领域
本发明涉及人机交互领域，特别涉及适用于截肢者的一种实现人机交互的方法及系统。
背景技术
现实生活中，由于各种原因出现了许多上肢不健全（如截肢、断掌等）的人，因此，研究上肢不健全者的无障碍信息交流技术具有较高的应用价值。传统的人机交互设备如鼠标键盘、触摸屏等，不适合上肢截肢者使用；新型人机交互技术如语音识别技术由于受环境噪声干扰明显，在公共场所使用效果并不理想，具有一定的局限性。针对上述问题，现有技术中公开了通过鼠标控制来实现人机交互的方法，其实现方式有以下几种：
（1）头控鼠标：是一种戴在头上通过红外线进行控制的电脑鼠标，它一方面通过转动头部来控制鼠标位置的移动，另一方面通过眨眼信号来控制鼠标的按键功能。头控鼠标比较适合四肢控制不灵活的人，让使用者能够方便地控制电脑。
（2）眼控鼠标：是一种通过转动眼球来控制电脑的鼠标，其原理是利用红外线检测器，检测眼球转动的位置信号，由红外线视动追踪系统将所获得的眼球位置信号，转换成传统的电脑鼠标的操控动作，从而使肢体和头部都不能灵活运动的障碍者可以方便的进行电脑输入。
（3）脚控鼠标：是一种通过对传统鼠标外观结构进行改进，利用脚替代手来控制鼠标的设备，脚控鼠标可以实现信息的输入和目标的选取。脚控鼠标比较适合手部不协调或手部残缺的功能障碍者。
目前所公开的几种通过鼠标控制来实现人机交互的方法都存在不足之处，使得它们在实际应用中都受到很大的限制；其中，
（1）头控鼠标的缺点包括：①由于头部的转动角度有限，使用头部的转动来控制鼠标位置的移动，存在鼠标活动范围和精度不够的局限，长时间使用也容易产生疲劳感；②利用眨眼信号来控制鼠标的按键功能会影响使用者眼睛的正常生理活动，过度眨眼也容易产生眼部疾病和养成不好的习惯，影响个人形象。
（2）眼控鼠标的缺点包括：①要使眼球根据使用者意图转动本身就存在一定难度，很难实现精确控制的鼠标效果，同时会给使用者造成较大的身体和精神负担；②长时间使用眼球转动容易造成眼部疾病，给使用者的健康带来隐患。
（3）脚控鼠标的缺点包括：①需要使用脚部控制鼠标，操作过程不雅观，也不方便，使用场所受限；②需要使用者有灵活的脚部控制能力，可操作性差。
发明内容
为了解决现有技术中上肢截肢者与终端设备进行交互所存在的身体隐患和可操作性差的问题，本发明实施例提供了一种实现人机交互的方法及系统。
所述技术方案如下：
一种实现人机交互的系统，包括鼠标交互应用装置、鼠标主体和鼠标佩戴装置；
所述鼠标主体通过所述鼠标佩戴装置将安装于使用者的手臂上；所述鼠标主体包括运动信号采集模块、肌电信号采集模块、主控制模块、无线数据通信模块；
所述运动信号采集模块与所述主控制模块连接，用于当使用者挥动手臂时获取加速度信号，对所述加速度信号进行处理得到第一处理结果，将所述第一处理结果传输给所述主控制模块；
所述肌电信号采集模块与所述主控制模块连接，用于采集使用者肢体表面的肌电信号，对所述肌电信号进行处理得到第二处理结果，所述第二处理结果经模数转换后得到数字信号，并将所述数字信号传输给所述主控制模块；
所述主控制模块用于根据所述运动信号采集模块发送来的第一处理结果通过预设算法进行计算得到鼠标的位置信息和姿态信息，还用于根据所述肌电信号采集模块发送来的数字信号检测鼠标按键类型；所述按键类型为左键或右键；
所述无线数据通信模块，用于与所述主控芯片连接，用于将所述鼠标的位置信息和姿态信息、所述按键类型传输给所述鼠标交互应用装置；
所述鼠标交互应用装置设置在终端设备上，用于根据所述鼠标的位置信息和姿态信息、所述按键类型分析用户的操作。
进一步地，所述运动信号采集模块对所述加速度信号进行处理得到第一处理结果，具体为：所述运动信号采集模块对所述加速度信号进行缓冲、滤波、去除噪声后得到第一处理结果。
进一步地，所述肌电信号采集模块对所述肌电信号进行处理得到第二处理结果，具体为：所述肌电信号采集模块对所述肌电信号进行缓冲、前置放大、滤波、陷波、后级放大后去除噪声得到第二处理结果。
进一步地，所述主控制模块包括一块主控芯片和电源单元，所述电源单元为所述主控芯片供电；所述主控芯片包括鼠标定位和姿态检测单元和按键信号检测单元；
所述鼠标定位和姿态检测单元与所述运动信号采集模块连接，用于根据所述运动信号采集模块发送来的第一处理结果和鼠标的初始位置，通过预设算法进行计算得到鼠标的位置信息和姿态信息，所述位置信息用于控制鼠标光标位置，所述姿态信息用于控制鼠标滚轮运动；
所述按键信号检测单元与所述肌电信号采集模块连接，用于将所述数字信号经过信号预处理和模式分类识别出按键信号，并根据上述按键信号检测按键类型。
进一步地，所述鼠标佩戴装置为软布条形式的固定带。
进一步地，所述鼠标佩戴装置上设置有用于安装所述鼠标主体的空间，所述软布条内表面布置有安装肌电信号采集模块的槽口。
进一步地，所述鼠标佩戴装置为魔术贴绑带。
进一步地，所述运动信号采集模块为六轴加速度传感器，所述六轴加速度传感器用于当使用者挥动手臂时检测三轴重力加速度信号和三轴角加速度信号，所述三轴重力加速度信号和三轴角加速度信号经过缓冲、滤波去噪后得到三轴重力加速度信息和三轴角加速度信息，将所述三轴重力加速度信息和三轴角加速度信息传输给所述主控制模块。
进一步地，所述肌电信号采集模块包括两个肌电传感器，所述肌电传感器安放在所述鼠标主体内。
一种实现人机交互的方法，通过鼠标佩戴装置将鼠标主体安装在使用者的手臂上；所述方法包括：
当使用者挥动手臂时所述鼠标主体获取加速度信号，对所述加速度信号进行处理得到第一处理结果；根据所述第一处理结果和鼠标的初始位置，通过预设算法进行计算得到鼠标的位置信息和姿态信息；
所述鼠标主体采集使用者肢体表面的肌电信号，对所述肌电信号进行处理得到第二处理结果，对所述第二处理结果进行模数转换得到数字信号；根据所述数字信号检测按键类型，所述按键类型为左键或右键；
所述鼠标主体将所述鼠标的位置信息和姿态信息、所述按键类型传输给终端设备上的鼠标交互应用装置；
所述鼠标交互应用装置根据所述鼠标的位置信息和姿态信息、所述按键类型分析用户的操作。
进一步地，所述对所述加速度信号进行处理得到第一处理结果，具体为：对所述加速度信号进行缓冲、滤波、去除噪声后得到第一处理结果。
进一步地，所述滤波为高通和/或低通滤波。
进一步地，所述鼠标获取加速度信号，对所述加速度信号进行缓冲、滤波和去噪得到加速度信息，包括：通过所述鼠标内设置的六轴加速度传感器检测三轴重力加速度信号和三轴角加速度信号，所述三轴重力加速度信号和三轴角加速度信号经过缓冲、滤波去噪后得到三轴重力加速度信息和三轴角加速度信息。
进一步地，所述对所述肌电信号进行处理得到第二处理结果，具体为：对所述肌电信号进行缓冲、前置放大、滤波、陷波、后级放大后去除噪声得到第二处理结果。
进一步地，所述根据所述第一处理结果和鼠标的初始位置，通过预设算法进行计算得到鼠标的位置信息和姿态信息，包括：
A、计算得到鼠标的位置信息，包括：
（1）沿手臂方向为x轴建立笛卡尔坐标系，获取三轴重力加速度信号(ax,ay,az)，
（2）将原来鼠标的三维空间运动映射为一个二维平面，以（y,z）建立二维平面坐标系，根据三轴重力加速度信号(ax,ay,az)中的ay和az，计算鼠标在二维平面内的相对位移；
其中，t1表示运动起始时间，t2表示运动截止时间，ay表示y轴的重力加速度，az示z轴的重力加速度，vy表示y轴的速度，vz表示z轴的速度，Sy表示y轴的相对位移，Sz表示z轴的相对位移，(Sy,Sz)表示鼠标的位置信息；
B、计算得到鼠标的姿态信息，包括：
（1）确定初始四元数：
其中，θ0，γ0为初始姿态，默认为0，[q0q1q2q3]为初始四元数；
（2）采用龙格库塔法实时计算四元数：
其中，[q0q1q2q3]为初始四元数，[wxwywz]为所述三轴角加速度信息，输出结果是实时计算的四元数；
（3）实时计算姿态矩阵
简写为
（4）计算鼠标的姿态信息：根据所述姿态矩阵确定姿态角θ、γ；
进一步地，所述根据所述数字信号检测按键类型，具体为：将所述数字信号经过信号预处理和模式分类识别出按键信号，根据上述按键信号检测按键类型。
本发明实施例提供的技术方案带来的有益效果是：
本发明提供了一种实现人机交互的方法及系统。系统中的鼠标主体可以通过鼠标佩戴装置穿戴于使用者的手臂上，使用者通过挥动手臂、左旋和右旋手臂来控制鼠标位置的移动和滚轮滑动方向；通过对采集的肌电信号进行处理后再判断按键类型来控制使用者点击的是左键还是右键。将控制信号通过无线方式传输到电脑、iPad等终端设备上的鼠标交互应用装置中来进行人机交互。本发明的方法与正常人使用鼠标来进行交互的方式类似，不仅保持了鼠标使用者的原有习惯（如利用手部的滑动控制鼠标位置，利用食指和中指点击鼠标按键），而且也无需借助其他身体器官和功能，不会给使用者带来身体负担；并且鼠标的精准度、流畅度、移动速度都得到提升，改善用户的人机交互体验。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例一提供的一种实现人机交互的系统结构示意图；
图2为本发明实施例一中使用者利用鼠标进行人机交互的实现功能图；
图3为本发明实施例二提供的一种实现人机交互的方法流程图。具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
实施例一
本发明实施例一提供了一种实现人机交互的系统，如图1所示，包括鼠标交互应用装置2、鼠标主体1和鼠标佩戴装置3，鼠标主体1通过鼠标佩戴装置3安装在使用者的手臂上，如使用者是截肢者则鼠标主体1安装在使用者残臂肌肉末端的装置，如使用者是上肢健全的人，则将鼠标主体1在安装于使用者的手上。通过鼠标佩戴装置3可将鼠标主体1安装在使用者的手臂上，通过挥动手臂来控制鼠标操作，进而来实现人机交互。
参见图1，鼠标主体1包括运动信号采集模块11、肌电信号采集模块12、主控制模块13、无线数据通信模块14，这些模块集成于一块微型电路板上，该电路板设置在鼠标主体1的内部，实现了信号采集、模式识别和控制信号传输功能；
运动信号采集模块11与主控制模块13连接，用于当使用者挥动手臂时获取加速度信号，对所述加速度信号进行处理得到第一处理结果，，并将该第一处理结果传输给主控制模块13；
优选的，本实施例中的运动信号采集模块11对所述加速度信号进行处理得到第一处理结果，具体为：运动信号采集模块11对加速度信号进行缓冲、滤波、去除噪声后得到第一处理结果；
具体的，运动信号采集模块11为六轴加速度传感器，六轴加速度传感器用于当使用者挥动手臂时检测三轴重力加速度信号和三轴角加速度信号，三轴重力加速度信号和三轴角加速度信号经过缓冲、滤波去噪后得到三轴重力加速度信息和三轴角加速度信息，将三轴重力加速度信息和三轴角加速度信息传输给主控制模块13；
肌电信号采集模块12与主控制模块13连接，用于采集使用者肢体表面的肌电信号，对所述肌电号进行处理得到第二处理结果，第二处理结果经模数转换后得到数字信号，并将数字信号传输给主控制模块13；
优选的，本实施例中的肌电信号采集模块12对所述肌电信号进行处理得到第二处理结果，具体为：肌电信号采集模块12采集到的肌电信号经过缓冲、前置放大、滤波、陷波、后级放大、去除噪声后得到第二处理结果；
具体的，本实施例中的肌电信号采集模块12包括两个肌电传感器，肌电传感器安放在鼠标主体1内；
优选的，本实施例中的陷波为50Hz陷波；
所述主控制模块13用于根据所述运动信号采集模块11发送来的第一处理结果通过预设算法进行计算得到鼠标的位置信息和姿态信息，还用于根据所述肌电信号采集模块12发送来的数字信号检测鼠标按键类型；所述按键类型为左键或右键；
优选的，在本实施例中，主控制模块13安装在鼠标主体1的内部，包括一块主控芯片和电源单元131，电源单元131为主控芯片供电；主控芯片包括鼠标定位和姿态检测单元132和按键信号检测单元133；
优选的，本实施例中的电源单元131为锂电池；
鼠标定位和姿态检测单元132与运动信号采集模块11连接，用于根据运动信号采集模块11发送来的第一处理结果和鼠标的初始位置，通过预设算法进行计算得到鼠标的位置信息和姿态信息；
按键信号检测单元133与肌电信号采集模块12连接，用于将数字信号经过信号预处理和模式分类识别出按键信号，并根据按键信号判检测键类型；
无线数据通信模块14，用于与主控芯片连接，用于将鼠标的位置信息和姿态信息、按键类型传输给鼠标交互应用装置；
鼠标交互应用装置2设置在终端设备上，用于根据接收到的鼠标的位置信息和姿态信息、按键类型分析用户的操作，实现人机交互功能。
在本实施例中，鼠标佩戴装置3可设置为软布条形式的固定带；在鼠标佩戴装置3上设置有用于安装鼠标1主体的空间，软布条内表面布置有安装肌电信号采集模块12的槽口。
在本实施例中的鼠标佩戴装置3还可设置为魔术贴绑带。
本实施例的系统不仅适用于截肢者，还可适用于距离终端设备较远无法操作传统鼠标的场景，例如，将本系统的鼠标主体1通过鼠标佩戴装置3安装于截肢者的残臂肌肉末端处，使用者通过挥动手臂来控制鼠标进而实现人机交互功能，实现过程如图2所示，其中，虚线方框标识处理过程。运动信号采集模块11选择六轴加速度传感器来采集三轴重力加速度信号和三轴角加速度信号，并对采集到的三轴重力加速度信号和三轴角加速度信号进行缓冲、滤波、去除噪声后的信号发送给鼠标定位与姿态检测单元132；鼠标定位与姿态检测单元132对该信号进行预处理，根据预处理后的信息，通过预设算法（位置解算算法和姿态解算算法）就可以得到鼠标的相对位移和运动姿态，结合初始位置进一步确定使用者使用鼠标的操作，左、右旋转动作可用于实现鼠标滚轮功能；肌电信号采集模块12选择无线肌电传感器来采集残臂肌肉表面的肌电信号，对肌电信号进行缓冲、前置放大、滤波、陷波、后级放大后去除噪声后得到数字信号，将数字信号发送给按键信号检测单元133；按键信号检测单元133通过对肌电信号采集模块12发送来的数字信号进行预处理，然后进行识别判断是食指还是中指的按键动作，进一步确定使用者点击鼠标是左键还是右键；主控制模块13以高性能微控制器为核心，实现了信号处理和模式识别的功能；无线数据通信模块14可以将鼠标与电脑、iPad等终端设备连接，实现控制信号实时传输。鼠标交互应用装置2即为设置与终端设备上的特殊软键盘应用程序，可以结合鼠标主体1的鼠标定位和按键信号功能实现虚拟键盘输入功能，完成与正常人一样的无障碍信息交流，达到人机交互的目的。
本发明实施例中的鼠标主体可以通过鼠标佩戴装置穿戴于使用者的手臂上，使用者通过挥动手臂、左旋和右旋手臂产生的重力加速度和角加速度来控制鼠标位置的挥动和滚轮滑动方向；通过对采集的肌电信号进行处理后再判断按键类型来控制使用者点击左键还是点击右键。将控制信号通过无线方式传输到电脑、iPad等终端设备上的鼠标交互应用装置中来进行人机交互。截肢者使用本系统进行人机交互与正常人使用鼠标来进行人机交互的方式相同，不仅保持了鼠标使用者的原有习惯（如利用手部的滑动控制鼠标位置，利用食指和中指点击鼠标按键），而且也无需借助其他身体器官和功能，不会给使用者带来身体负担；并且鼠标的精准度、流畅度、移动速度都得到提升，改善用户的人机交互体验。本系统中的鼠标主体小巧轻便、佩戴牢固、携带方便，该系统具有操作简单、实用性强、成本低、效率高的特点，且本系统的实现方式符合人的自然操作习惯。
实施例二
本发明实施例二提供一种实现人机交互的方法，首先通过鼠标佩戴装置将鼠标主体安装在使用者的手臂上，鼠标交互应用装置安装在终端设备中；如图3所示，该方法包括：
步骤301：当使用者挥动手臂时鼠标主体获取加速度信号，对加速度信号进行处理得到第一处理结果；根据第一处理结果和鼠标的初始位置，通过预设算法进行计算得到鼠标的位置信息和姿态信息；
优选的，在本实施例中，对加速度信号处理得到第一处理结果，具体为：对加速度信号进行缓冲、滤波和去除噪声得到第一处理结果；具体的，本实施例中滤波为高通和/或低通滤波。
优选的，可在鼠标内设置六轴加速度传感器，获取加速度信号的具体过程为：当使用者挥动手臂时六轴加速度传感器检测三轴重力加速度信号和三轴角加速度信号，三轴重力加速度信号和三轴角加速度信号经过缓冲、滤波去除噪声后得到三轴重力加速度信息和三轴角加速度信息。
在本实施例中，步骤301中根据所述第一处理结果和鼠标的初始位置，通过预设算法进行计算得到鼠标的位置信息和姿态信息，具体包括：
A、计算得到鼠标的位置信息，包括：
（1）沿手臂方向为x轴建立笛卡尔坐标系，获取三轴重力加速度信号(ax,ay,az)，
（2）将原来鼠标的三维空间运动映射为一个二维平面，以（y,z）建立二维平面坐标系，根据三轴重力加速度信号(ax,ay,az)中的ay和az，计算鼠标在二维平面内的相对位移；
其中，t1表示运动起始时间，t2表示运动截止时间，ay表示y轴的重力加速度，az示z轴的重力加速度，vy表示y轴的速度，vz表示z轴的速度，Sy表示y轴的相对位移，Sz表示z轴的相对位移，(Sy,Sz)表示鼠标的位置信息；
B、计算得到鼠标的姿态信息，包括：
（1）确定初始四元数：
其中，θ0，γ0为初始姿态，默认为0，[q0q1q2q3]为初始四元数；
（2）采用龙格库塔法实时计算四元数：
其中，[q0q1q2q3]为初始四元数，[wxwywz]为三轴角加速度信息，输出结果是实时计算的四元数；
（3）实时计算姿态矩阵
简写为
（4）计算鼠标的姿态信息：根据姿态矩阵确定姿态角θ、γ；
步骤302：鼠标主体采集使用者肢体表面的肌电信号，对肌电信号进行处理得到第二处理结果，对第二处理结果进行模数转换得到数字信号；根据所述数字信号检测按键类型，按键类型为左键或右键；
本实施例中的步骤301和步骤302的顺序可调换；
优选的，在本实施例中，对肌电信号进行处理得到第二处理结果，具体为：对肌电信号进行缓冲、前置放大、滤波、陷波、后级放大后去除噪声得到第二处理结果；
优选的，根据所述数字信号检测按键类型，具体为：将数字信号经过信号预处理和模式分类识别出按键信号，根据按键信号检测按键类型；
在本实施例中，可在鼠标主体内部设置两个肌电传感器，由肌电传感器采集使用者肢体表面的肌电信号；
步骤303：鼠标主体将鼠标的位置信息和姿态信息、按键类型传输给终端设备上的鼠标交互应用装置；
在本实施例中，步骤303中鼠标主体可采用蓝牙传输或其他通信（如WIFI）方式实现鼠标主体与电脑等终端设备之间的通信和数据传输；
步骤304：鼠标交互应用装置根据鼠标的位置信息和姿态信息、按键类型分析用户的操作。
本实施例中通过无线方式将鼠标主体和电脑等终端设备进行连接，鼠标交互应用装置为删掉残疾人难以完成的组合键功能（如ctrl+shift等）的特殊软键盘应用程序，通过根据鼠标的位置信息和姿态信息、按键类型分析用户的操作，来实现网页浏览、打字等输入功能的人机交互。鼠标交互应用装置可用于Windows、Android、Linux和iPhone等平台。
本实施例的方法是通过安装在使用者手臂的六轴加速度传感器在使用者手臂的挥动过程中检测重力加速度信号和角加速度信号，对重力加速度信号和角加速度信号进行处理后结合鼠标初始位置，通过预设算法计算得到鼠标的位置和姿态信号，然后经模式分类后识别手臂的左右旋转，控制鼠标的滚轮活动；鼠标主体内部的表面肌电传感器采集使用者在完成假想的手指按键动作时的肌电信号，对肌电信号处理后在经过模式识别后控制鼠标左键和右键的按键操作。
本发明实施例的方法采用挥动手臂控制鼠标位置的移动，可以任意角度的控制鼠标位置并确定鼠标姿态，通过分析鼠标姿态确定使用者的手臂是左旋还是右旋进而实现传统鼠标的滚轮功能，具有良好的实时性和精确度；通过分析肌电信号来来识别手指的按键动作，从而实现传统鼠标的左右键功能；鼠标主体发出的控制信号通过无线传输方式传输到终端设备，由终端设备上安装的鼠标交互应用装置由于删掉了残疾人难以完成的组合键功能，采用具有相同功能的单一按键，通过分析用户的操作，实现人机交互功能。
本实施例的方法不但可以减轻截肢使用者的身体负担和精神负担，而且能避免了因为长时间使用给身体带来的不适感，可操作性强，实用性好。
本发明实施例中方法不但适用于上肢截肢者，而且可以应用于正常人在不方便安装接触式人机交互设备的环境，如医疗手术室等场合。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (16)
1.一种实现人机交互的系统，其特征在于，包括鼠标交互应用装置、鼠标主体和鼠标佩戴装置；
所述鼠标主体通过所述鼠标佩戴装置将安装于使用者的手臂上；所述鼠标主体包括运动信号采集模块、肌电信号采集模块、主控制模块、无线数据通信模块；
所述运动信号采集模块与所述主控制模块连接，用于当使用者挥动手臂时获取加速度信号，对所述加速度信号进行处理得到第一处理结果，将所述第一处理结果传输给所述主控制模块；
所述肌电信号采集模块与所述主控制模块连接，用于采集使用者肢体表面的肌电信号，对所述肌电信号进行处理得到第二处理结果，所述第二处理结果经模数转换后得到数字信号，并将所述数字信号传输给所述主控制模块；
所述主控制模块用于根据所述运动信号采集模块发送来的第一处理结果通过预设算法进行计算得到鼠标的位置信息和姿态信息，还用于根据所述肌电信号采集模块发送来的数字信号检测鼠标按键类型；所述按键类型为左键或右键；
所述无线数据通信模块，用于与所述主控芯片连接，用于将所述鼠标的位置信息和姿态信息、所述按键类型传输给所述鼠标交互应用装置；
所述鼠标交互应用装置设置在终端设备上，用于根据所述鼠标的位置信息和姿态信息、所述按键类型分析用户的操作；
计算得到鼠标的位置信息，包括：
(1)沿手臂方向为x轴建立笛卡尔坐标系，获取三轴重力加速度信号(ax,ay,az)，
(2)将原来鼠标的三维空间运动映射为一个二维平面，以(y，z)建立二维平面坐标系，根据三轴重力加速度信号(ax,ay,az)中的ay和az，计算鼠标在二维平面内的相对位移；
<mrow>
<msub>
<mi>v</mi>
<mi>y</mi>
</msub>
<mo>=</mo>
<msubsup>
<mo>&Integral;</mo>
<msub>
<mi>t</mi>
<mn>1</mn>
</msub>
<msub>
<mi>t</mi>
<mn>2</mn>
</msub>
</msubsup>
<msub>
<mi>a</mi>
<mi>y</mi>
</msub>
<mi>d</mi>
<mi>t</mi>
<mo>,</mo>
<msub>
<mi>v</mi>
<mi>z</mi>
</msub>
<mo>=</mo>
<msubsup>
<mo>&Integral;</mo>
<msub>
<mi>t</mi>
<mn>1</mn>
</msub>
<msub>
<mi>t</mi>
<mn>2</mn>
</msub>
</msubsup>
<msub>
<mi>a</mi>
<mi>z</mi>
</msub>
<mi>d</mi>
<mi>t</mi>
<mo>,</mo>
<msub>
<mi>S</mi>
<mi>y</mi>
</msub>
<mo>=</mo>
<msubsup>
<mo>&Integral;</mo>
<msub>
<mi>t</mi>
<mn>1</mn>
</msub>
<msub>
<mi>t</mi>
<mn>2</mn>
</msub>
</msubsup>
<msub>
<mi>v</mi>
<mi>y</mi>
</msub>
<mi>d</mi>
<mi>t</mi>
<mo>,</mo>
<msub>
<mi>S</mi>
<mi>z</mi>
</msub>
<mo>=</mo>
<msubsup>
<mo>&Integral;</mo>
<msub>
<mi>t</mi>
<mn>1</mn>
</msub>
<msub>
<mi>t</mi>
<mn>2</mn>
</msub>
</msubsup>
<msub>
<mi>v</mi>
<mi>z</mi>
</msub>
<mi>d</mi>
<mi>t</mi>
<mo>;</mo>
</mrow>
其中，t1表示运动起始时间，t2表示运动截止时间，ay表示y轴的重力加速度，az示z轴的重力加速度，vy表示y轴的速度，vz表示z轴的速度，Sy表示y轴的相对位移，Sz表示z轴的相对位移，(Sy,Sz)表示鼠标的位置信息。
2.如权利要求1所述的系统，其特征在于，所述运动信号采集模块对所述加速度信号进行处理得到第一处理结果，具体为：所述运动信号采集模块对所述加速度信号进行缓冲、滤波、去除噪声后得到第一处理结果。
3.如权利要求1所述的系统，其特征在于，所述所述肌电信号采集模块对所述肌电信号进行处理得到第二处理结果，具体为：所述所述肌电信号采集模块对所述肌电信号进行缓冲、前置放大、滤波、陷波、后级放大后去除噪声得到第二处理结果。
4.如权利要求1所述的系统，其特征在于，所述主控制模块包括一块主控芯片和电源单元，所述电源单元为所述主控芯片供电；所述主控芯片包括鼠标定位和姿态检测单元和按键信号检测单元；
所述鼠标定位和姿态检测单元与所述运动信号采集模块连接，用于根据所述运动信号采集模块发送来的第一处理结果和鼠标的初始位置，通过预设算法进行计算得到鼠标的位置信息和姿态信息；
所述按键信号检测单元与所述肌电信号采集模块连接，用于将所述数字信号经过信号预处理和模式分类识别出按键信号，并根据上述按键信号检测按键类型。
5.如权利要求1所述的系统，其特征在于，所述鼠标佩戴装置为软布条形式的固定带。
6.如权利要求5所述的系统，其特征在于，所述鼠标佩戴装置上设置有用于安装所述鼠标主体的空间，所述软布条内表面布置有安装肌电信号采集模块的槽口。
7.如权利要求1所述的系统，其特征在于，所述鼠标佩戴装置为魔术贴绑带。
8.如权利要求1所述的系统，其特征在于，所述运动信号采集模块为六轴加速度传感器，所述六轴加速度传感器用于当使用者挥动手臂时检测三轴重力加速度信号和三轴角加速度信号，所述三轴重力加速度信号和三轴角加速度信号经过缓冲、滤波去噪后得到三轴重力加速度信息和三轴角加速度信息，将所述三轴重力加速度信息和三轴角加速度信息传输给所述主控制模块。
9.如权利要求8所述的系统，其特征在于，所述肌电信号采集模块包括两个肌电传感器，所述肌电传感器安放在所述鼠标主体内。
10.一种实现人机交互的方法，其特征在于，通过鼠标佩戴装置将鼠标主体安装与使用者的手臂上；所述方法包括：
当使用者挥动手臂时所述鼠标主体获取加速度信号，对所述加速度信号进行处理得到第一处理结果；根据所述第一处理结果和鼠标的初始位置，通过预设算法进行计算得到鼠标的位置信息和姿态信息，所述位置信息用于控制鼠标光标位置，所述姿态信息用于控制鼠标滚轮运动；
所述鼠标主体采集使用者肢体表面的肌电信号，对所述肌电信号进行处理得到第二处理结果，对所述第二处理结果进行模数转换得到数字信号；根据所述数字信号检测按键类型，所述按键类型为左键或右键；
所述鼠标主体将所述鼠标的位置信息和姿态信息、所述按键类型传输给终端设备上的鼠标交互应用装置；
所述鼠标交互应用装置根据所述鼠标的位置信息和姿态信息、所述按键类型分析用户的操作；
计算得到鼠标的位置信息，包括：
(1)沿手臂方向为x轴建立笛卡尔坐标系，获取三轴重力加速度信号(ax,ay,az)，
(2)将原来鼠标的三维空间运动映射为一个二维平面，以(y，z)建立二维平面坐标系，根据三轴重力加速度信号(ax,ay,az)中的ay和az，计算鼠标在二维平面内的相对位移；
<mrow>
<msub>
<mi>v</mi>
<mi>y</mi>
</msub>
<mo>=</mo>
<msubsup>
<mo>&Integral;</mo>
<msub>
<mi>t</mi>
<mn>1</mn>
</msub>
<msub>
<mi>t</mi>
<mn>2</mn>
</msub>
</msubsup>
<msub>
<mi>a</mi>
<mi>y</mi>
</msub>
<mi>d</mi>
<mi>t</mi>
<mo>,</mo>
<msub>
<mi>v</mi>
<mi>z</mi>
</msub>
<mo>=</mo>
<msubsup>
<mo>&Integral;</mo>
<msub>
<mi>t</mi>
<mn>1</mn>
</msub>
<msub>
<mi>t</mi>
<mn>2</mn>
</msub>
</msubsup>
<msub>
<mi>a</mi>
<mi>z</mi>
</msub>
<mi>d</mi>
<mi>t</mi>
<mo>,</mo>
<msub>
<mi>S</mi>
<mi>y</mi>
</msub>
<mo>=</mo>
<msubsup>
<mo>&Integral;</mo>
<msub>
<mi>t</mi>
<mn>1</mn>
</msub>
<msub>
<mi>t</mi>
<mn>2</mn>
</msub>
</msubsup>
<msub>
<mi>v</mi>
<mi>y</mi>
</msub>
<mi>d</mi>
<mi>t</mi>
<mo>,</mo>
<msub>
<mi>S</mi>
<mi>z</mi>
</msub>
<mo>=</mo>
<msubsup>
<mo>&Integral;</mo>
<msub>
<mi>t</mi>
<mn>1</mn>
</msub>
<msub>
<mi>t</mi>
<mn>2</mn>
</msub>
</msubsup>
<msub>
<mi>v</mi>
<mi>z</mi>
</msub>
<mi>d</mi>
<mi>t</mi>
<mo>;</mo>
</mrow>
其中，t1表示运动起始时间，t2表示运动截止时间，ay表示y轴的重力加速度，az示z轴的重力加速度，vy表示y轴的速度，vz表示z轴的速度，Sy表示y轴的相对位移，Sz表示z轴的相对位移，(Sy,Sz)表示鼠标的位置信息。
11.如权利要求10所述的方法，其特征在于，所述对所述加速度信号进行处理得到第一处理结果，具体为：对所述加速度信号进行缓冲、滤波、去除噪声后得到第一处理结果。
12.如权利要求11所述的方法，其特征在于，所述滤波为高通和/或低通滤波。
13.如权利要求11所述的方法，其特征在于，所述鼠标获取加速度信号，对所述加速度信号进行缓冲、滤波和去噪得到加速度信息，包括：通过所述鼠标内设置的六轴加速度传感器检测三轴重力加速度信号和三轴角加速度信号，所述三轴重力加速度信号和三轴角加速度信号经过缓冲、滤波去噪后得到三轴重力加速度信息和三轴角加速度信息。
14.如权利要求10所述的方法，其特征在于，所述对所述肌电信号进行处理得到第二处理结果，具体为：对所述肌电信号进行缓冲、前置放大、滤波、陷波、后级放大后去除噪声得到第二处理结果。
15.如权利要求10所述的方法，其特征在于，所述根据所述第一处理结果和鼠标的初始位置，通过预设算法进行计算得到鼠标的位置信息和姿态信息，包括：
计算得到鼠标的姿态信息，包括：
(1)确定初始四元数：
其中，θ0，γ0为初始姿态，默认为0，[q0 q1 q2 q3]为初始四元数；
(2)采用龙格库塔法实时计算四元数：
<mrow>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msub>
<mover>
<mi>q</mi>
<mo>&CenterDot;</mo>
</mover>
<mn>0</mn>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mover>
<mi>q</mi>
<mo>&CenterDot;</mo>
</mover>
<mn>1</mn>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mover>
<mi>q</mi>
<mo>&CenterDot;</mo>
</mover>
<mn>2</mn>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mover>
<mi>q</mi>
<mo>&CenterDot;</mo>
</mover>
<mn>3</mn>
</msub>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mrow>
<mo>-</mo>
<msub>
<mi>w</mi>
<mi>x</mi>
</msub>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>-</mo>
<msub>
<mi>w</mi>
<mi>y</mi>
</msub>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>-</mo>
<msub>
<mi>w</mi>
<mi>z</mi>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>w</mi>
<mi>x</mi>
</msub>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<msub>
<mi>w</mi>
<mi>z</mi>
</msub>
</mtd>
<mtd>
<mrow>
<mo>-</mo>
<msub>
<mi>w</mi>
<mi>y</mi>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>w</mi>
<mi>y</mi>
</msub>
</mtd>
<mtd>
<mrow>
<mo>-</mo>
<msub>
<mi>w</mi>
<mi>z</mi>
</msub>
</mrow>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<msub>
<mi>w</mi>
<mi>x</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>w</mi>
<mi>z</mi>
</msub>
</mtd>
<mtd>
<msub>
<mi>w</mi>
<mi>y</mi>
</msub>
</mtd>
<mtd>
<mrow>
<mo>-</mo>
<msub>
<mi>w</mi>
<mi>x</mi>
</msub>
</mrow>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msub>
<mi>q</mi>
<mn>0</mn>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>q</mi>
<mn>1</mn>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>q</mi>
<mn>2</mn>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>q</mi>
<mn>3</mn>
</msub>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
其中，[q0 q1 q2 q3]为初始四元数，[wx wy wz]为所述三轴角加速度信息，输出结果是实时计算的四元数；
(3)实时计算姿态矩阵
<mrow>
<msubsup>
<mi>C</mi>
<mi>b</mi>
<mi>n</mi>
</msubsup>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mrow>
<msubsup>
<mover>
<mi>q</mi>
<mo>&CenterDot;</mo>
</mover>
<mn>0</mn>
<mn>2</mn>
</msubsup>
<mo>+</mo>
<msubsup>
<mover>
<mi>q</mi>
<mo>&CenterDot;</mo>
</mover>
<mn>1</mn>
<mn>2</mn>
</msubsup>
<mo>-</mo>
<msubsup>
<mover>
<mi>q</mi>
<mo>&CenterDot;</mo>
</mover>
<mn>2</mn>
<mn>2</mn>
</msubsup>
<mo>-</mo>
<msubsup>
<mover>
<mi>q</mi>
<mo>&CenterDot;</mo>
</mover>
<mn>3</mn>
<mn>2</mn>
</msubsup>
</mrow>
</mtd>
<mtd>
<mrow>
<mn>2</mn>
<mrow>
<mo>(</mo>
<msub>
<mover>
<mi>q</mi>
<mo>&CenterDot;</mo>
</mover>
<mn>1</mn>
</msub>
<msub>
<mover>
<mi>q</mi>
<mo>&CenterDot;</mo>
</mover>
<mn>2</mn>
</msub>
<mo>+</mo>
<msub>
<mover>
<mi>q</mi>
<mo>&CenterDot;</mo>
</mover>
<mn>0</mn>
</msub>
<msub>
<mover>
<mi>q</mi>
<mo>&CenterDot;</mo>
</mover>
<mn>3</mn>
</msub>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
<mtd>
<mrow>
<mn>2</mn>
<mrow>
<mo>(</mo>
<msub>
<mover>
<mi>q</mi>
<mo>&CenterDot;</mo>
</mover>
<mn>1</mn>
</msub>
<msub>
<mover>
<mi>q</mi>
<mo>&CenterDot;</mo>
</mover>
<mn>3</mn>
</msub>
<mo>-</mo>
<msub>
<mover>
<mi>q</mi>
<mo>&CenterDot;</mo>
</mover>
<mn>0</mn>
</msub>
<msub>
<mover>
<mi>q</mi>
<mo>&CenterDot;</mo>
</mover>
<mn>2</mn>
</msub>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mn>2</mn>
<mrow>
<mo>(</mo>
<msub>
<mover>
<mi>q</mi>
<mo>&CenterDot;</mo>
</mover>
<mn>1</mn>
</msub>
<msub>
<mover>
<mi>q</mi>
<mo>&CenterDot;</mo>
</mover>
<mn>2</mn>
</msub>
<mo>-</mo>
<msub>
<mover>
<mi>q</mi>
<mo>&CenterDot;</mo>
</mover>
<mn>0</mn>
</msub>
<msub>
<mover>
<mi>q</mi>
<mo>&CenterDot;</mo>
</mover>
<mn>3</mn>
</msub>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
<mtd>
<mrow>
<msubsup>
<mover>
<mi>q</mi>
<mo>&CenterDot;</mo>
</mover>
<mn>0</mn>
<mn>2</mn>
</msubsup>
<mo>+</mo>
<msubsup>
<mover>
<mi>q</mi>
<mo>&CenterDot;</mo>
</mover>
<mn>2</mn>
<mn>2</mn>
</msubsup>
<mo>-</mo>
<msubsup>
<mover>
<mi>q</mi>
<mo>&CenterDot;</mo>
</mover>
<mn>1</mn>
<mn>2</mn>
</msubsup>
<mo>-</mo>
<msubsup>
<mover>
<mi>q</mi>
<mo>&CenterDot;</mo>
</mover>
<mn>3</mn>
<mn>2</mn>
</msubsup>
</mrow>
</mtd>
<mtd>
<mrow>
<mn>2</mn>
<mrow>
<mo>(</mo>
<msub>
<mover>
<mi>q</mi>
<mo>&CenterDot;</mo>
</mover>
<mn>2</mn>
</msub>
<msub>
<mover>
<mi>q</mi>
<mo>&CenterDot;</mo>
</mover>
<mn>3</mn>
</msub>
<mo>+</mo>
<msub>
<mover>
<mi>q</mi>
<mo>&CenterDot;</mo>
</mover>
<mn>0</mn>
</msub>
<msub>
<mover>
<mi>q</mi>
<mo>&CenterDot;</mo>
</mover>
<mn>1</mn>
</msub>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mn>2</mn>
<mrow>
<mo>(</mo>
<msub>
<mover>
<mi>q</mi>
<mo>&CenterDot;</mo>
</mover>
<mn>1</mn>
</msub>
<msub>
<mover>
<mi>q</mi>
<mo>&CenterDot;</mo>
</mover>
<mn>3</mn>
</msub>
<mo>+</mo>
<msub>
<mover>
<mi>q</mi>
<mo>&CenterDot;</mo>
</mover>
<mn>0</mn>
</msub>
<msub>
<mover>
<mi>q</mi>
<mo>&CenterDot;</mo>
</mover>
<mn>2</mn>
</msub>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
<mtd>
<mrow>
<mn>2</mn>
<mrow>
<mo>(</mo>
<msub>
<mover>
<mi>q</mi>
<mo>&CenterDot;</mo>
</mover>
<mn>2</mn>
</msub>
<msub>
<mover>
<mi>q</mi>
<mo>&CenterDot;</mo>
</mover>
<mn>3</mn>
</msub>
<mo>-</mo>
<msub>
<mover>
<mi>q</mi>
<mo>&CenterDot;</mo>
</mover>
<mn>0</mn>
</msub>
<msub>
<mover>
<mi>q</mi>
<mo>&CenterDot;</mo>
</mover>
<mn>1</mn>
</msub>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
<mtd>
<mrow>
<msubsup>
<mover>
<mi>q</mi>
<mo>&CenterDot;</mo>
</mover>
<mn>0</mn>
<mn>2</mn>
</msubsup>
<mo>+</mo>
<msubsup>
<mover>
<mi>q</mi>
<mo>&CenterDot;</mo>
</mover>
<mn>3</mn>
<mn>2</mn>
</msubsup>
<mo>-</mo>
<msubsup>
<mover>
<mi>q</mi>
<mo>&CenterDot;</mo>
</mover>
<mn>1</mn>
<mn>2</mn>
</msubsup>
<mo>-</mo>
<msubsup>
<mover>
<mi>q</mi>
<mo>&CenterDot;</mo>
</mover>
<mn>2</mn>
<mn>2</mn>
</msubsup>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>,</mo>
</mrow>
简写为
(4)计算鼠标的姿态信息：根据所述姿态矩阵确定姿态角θ、γ；
16.如权利要求10所述的方法，其特征在于，所述根据所述数字信号检测按键类型，具体为：将所述数字信号经过信号预处理和模式分类识别出按键信号，根据上述按键信号检测按键类型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310476222.6A CN104571837B (zh) | 2013-10-12 | 2013-10-12 | 一种实现人机交互的方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310476222.6A CN104571837B (zh) | 2013-10-12 | 2013-10-12 | 一种实现人机交互的方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104571837A CN104571837A (zh) | 2015-04-29 |
| CN104571837B true CN104571837B (zh) | 2018-03-30 |
Family
ID=53088050
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310476222.6A Active CN104571837B (zh) | 2013-10-12 | 2013-10-12 | 一种实现人机交互的方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104571837B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105204579A (zh) * | 2015-09-27 | 2015-12-30 | 孙博 | 模块化集成式主机装置 |
| CN105561567B (zh) * | 2015-12-29 | 2018-11-13 | 中国科学技术大学 | 一种计步及运动状态评估装置 |
| CN106095092A (zh) * | 2016-06-08 | 2016-11-09 | 北京行云时空科技有限公司 | 基于三维空间的头戴设备的光标控制方法和装置 |
| CN108304062A (zh) * | 2017-01-11 | 2018-07-20 | 西门子公司 | 虚拟环境交互方法、设备和系统 |
| CN107562209B (zh) * | 2017-10-10 | 2020-08-21 | 张文栋 | 适用于残疾人的电脑控制设备 |
| CN108628445B (zh) * | 2018-03-26 | 2021-04-06 | Oppo广东移动通信有限公司 | 脑电波采集方法及相关产品 |
| CN108900698A (zh) * | 2018-05-31 | 2018-11-27 | 努比亚技术有限公司 | 控制终端的方法、可穿戴设备、终端及计算机存储介质 |
| CN110045831A (zh) * | 2019-04-23 | 2019-07-23 | 苏州鑫智拓智能科技有限公司 | 一种残疾人使用的肌电鼠标 |
| CN111377169A (zh) * | 2020-01-23 | 2020-07-07 | 杭州睿杨环境科技有限公司 | 一种基于人工智能技术的多功能垃圾箱 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN2363654Y (zh) * | 1999-01-19 | 2000-02-16 | 华南理工大学 | 心功能参数检测仪 |
| CN1818831A (zh) * | 2006-03-16 | 2006-08-16 | 上海科生假肢有限公司 | 利用人体肌电信号操纵电子设备/交通工具的装置及方法 |
| CN1818841A (zh) * | 2006-03-16 | 2006-08-16 | 上海科生假肢有限公司 | 肌电信号控制鼠标 |
| CN102449436A (zh) * | 2009-05-29 | 2012-05-09 | 高通股份有限公司 | 用于通过补偿信号通道之间的相对处理延迟来准确捕获惯性传感器数据的方法和装置 |
| CN102902376A (zh) * | 2012-11-14 | 2013-01-30 | 无锡德思普科技有限公司 | 一种采用多传感器的无线鼠标 |
| CN103176627A (zh) * | 2011-12-26 | 2013-06-26 | 陈建新 | 三维空间无线鼠标 |
| CN203038219U (zh) * | 2012-11-28 | 2013-07-03 | 周奕昂 | 一种袖套式鼠标 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5154558B2 (ja) * | 2007-08-31 | 2013-02-27 | 公益財団法人東京都医学総合研究所 | 定量的運動機能評価システム及び運動機能評価用プログラム |
-
2013
- 2013-10-12 CN CN201310476222.6A patent/CN104571837B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN2363654Y (zh) * | 1999-01-19 | 2000-02-16 | 华南理工大学 | 心功能参数检测仪 |
| CN1818831A (zh) * | 2006-03-16 | 2006-08-16 | 上海科生假肢有限公司 | 利用人体肌电信号操纵电子设备/交通工具的装置及方法 |
| CN1818841A (zh) * | 2006-03-16 | 2006-08-16 | 上海科生假肢有限公司 | 肌电信号控制鼠标 |
| CN102449436A (zh) * | 2009-05-29 | 2012-05-09 | 高通股份有限公司 | 用于通过补偿信号通道之间的相对处理延迟来准确捕获惯性传感器数据的方法和装置 |
| CN103176627A (zh) * | 2011-12-26 | 2013-06-26 | 陈建新 | 三维空间无线鼠标 |
| CN102902376A (zh) * | 2012-11-14 | 2013-01-30 | 无锡德思普科技有限公司 | 一种采用多传感器的无线鼠标 |
| CN203038219U (zh) * | 2012-11-28 | 2013-07-03 | 周奕昂 | 一种袖套式鼠标 |
Non-Patent Citations (1)
| Title |
|---|
| 无人机航姿参考系统开发及信息融合算法研究;袁政;《中国优秀硕士学位论文全文数据库 工程科技II辑》;20130215;正文第47-51页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104571837A (zh) | 2015-04-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104571837B (zh) | 一种实现人机交互的方法及系统 | |
| Jiang et al. | Emerging wearable interfaces and algorithms for hand gesture recognition: A survey | |
| US11484242B2 (en) | Detecting and using body tissue electrical signals | |
| WO2018233435A1 (zh) | 一种基于主成分分析法的多维表面肌电信号假手控制方法 | |
| CN111631731B (zh) | 近红外脑功能与触力/运动信息融合的评估方法及系统 | |
| CN109498375B (zh) | 一种人体运动意图识别控制装置及控制方法 | |
| Divya et al. | Smart data processing for energy harvesting systems using artificial intelligence | |
| CN105014676A (zh) | 一种机器人运动控制方法 | |
| Xu et al. | Intelligent wearable interfaces | |
| Nukala et al. | A real-time robust fall detection system using a wireless gait analysis sensor and an artificial neural network | |
| Motti et al. | Introduction to wearable computers | |
| KR102048551B1 (ko) | 스마트 기기를 이용한 vr 재활 훈련 시스템 및 방법 | |
| Chapman et al. | A wearable, open-source, lightweight forcemyography armband: on intuitive, robust muscle-machine interfaces | |
| Rani et al. | Surface electromyography and artificial intelligence for human activity recognition-A systematic review on methods, emerging trends applications, challenges, and future implementation | |
| CN204748634U (zh) | 一种机器人运动控制系统 | |
| CN110473602B (zh) | 一种用于穿戴式体感游戏设备的体态数据集采集处理方法 | |
| Chegani et al. | Pilot study on fine finger movement regression, using FMG | |
| Katz et al. | Intelligent remote control of smart home devices using physiological parameters | |
| CN111610857A (zh) | 一种具有vr体感互动装置的手套 | |
| Bagewadi et al. | Multimodal dataset of human-robot hugging interaction | |
| Luan et al. | HANDIO: a wireless hand gesture recognizer based on muscle-tension and inertial sensing | |
| Zhang | Research on the Design of Bright Clothing for the Elderly Based on Intelligent Detection of Lower Limb Posture Antifall Sensors | |
| Biswas | Recognition of elementary upper limb movements in nomadic environment | |
| KR102048546B1 (ko) | 가상현실을 이용한 재활 훈련 시스템 및 방법 | |
| Xiao et al. | Characteristics evaluation of a rehabilitation robot for upper limbs |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| EXSB | Decision made by sipo to initiate substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |