CN113419622A - 基于手势操作的潜艇作战指控系统交互方法及设备 - Google Patents
基于手势操作的潜艇作战指控系统交互方法及设备 Download PDFInfo
- Publication number
- CN113419622A CN113419622A CN202110574658.3A CN202110574658A CN113419622A CN 113419622 A CN113419622 A CN 113419622A CN 202110574658 A CN202110574658 A CN 202110574658A CN 113419622 A CN113419622 A CN 113419622A
- Authority
- CN
- China
- Prior art keywords
- gesture
- arm
- control system
- combination
- submarine
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000007474 system interaction Effects 0.000 title claims abstract description 22
- 230000033001 locomotion Effects 0.000 claims abstract description 44
- 230000003993 interaction Effects 0.000 claims abstract description 29
- 230000003183 myoelectrical effect Effects 0.000 claims abstract description 26
- 238000006073 displacement reaction Methods 0.000 claims abstract description 10
- 230000009471 action Effects 0.000 claims description 27
- 230000006870 function Effects 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 16
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 4
- 230000006698 induction Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 210000005036 nerve Anatomy 0.000 claims 1
- 230000010354 integration Effects 0.000 abstract description 5
- 230000005611 electricity Effects 0.000 description 7
- 230000002452 interceptive effect Effects 0.000 description 6
- 210000003205 muscle Anatomy 0.000 description 5
- 238000003909 pattern recognition Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000036544 posture Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000000245 forearm Anatomy 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 238000004898 kneading Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000012567 pattern recognition method Methods 0.000 description 1
- 230000035484 reaction time Effects 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Dermatology (AREA)
- General Health & Medical Sciences (AREA)
- Neurology (AREA)
- Neurosurgery (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种基于手势操作的潜艇作战指控系统交互方法，包括以下步骤：获取手部动作在手臂处产生的肌电信号和手臂运动的运动信息；识别所述肌电信号对应的手势和手臂运动的位移信息；根据识别出的手势和手臂运动信息关联到操作系统中各项指令，使系统做出相应的操作；在系统根据手势做出操作时反馈给人手，使用户知道手势操作是否成功，若手势识别失败操作不成功，系统返回错误提示，震动提醒用户手势识别失败。本发明还包括基于手势操作的潜艇作战指控系统交互设备。本发明解决了现有技术中存在的传统键鼠和按钮式交互遇到的操作繁琐和交互适应性差的问题，达到表征原型系统中的集成要求和实验要求，提供模块化、组合式的任务场景操控支持。
Description
技术领域
本发明属于智能人机交互技术领域，具体涉及一种基于手势操作的潜艇作战指控系统交互方法，本发明还涉及基于手势操作的潜艇作战指控系统交互设备。
背景技术
潜艇指控系统是潜艇作战指挥和武器控制系统的简称，其作为潜艇作战系统的情报、指挥和控制中心，是实现传感器到武器系统有机结合的粘合剂。由于潜艇指控系统为非自治系统，其功能、效能的发挥除了系统本身的能力因素外，主要由操作人员决定。随着新型传感器、新型武器、编队协同等新功能的加入及系统综合化、设备功能灵活重组、艇员减少等新特点的凸显，未来潜艇指控系统操作人员的工作负担及压力会越来越大。在现有人机交互环境下采用增加新设备、集成新功能的方法已远远不能满足指控系统相关作战人员的操作使用需求。“非接触式人机交互”技术得到极大的重视与发展，其中手势识别交互更是占据了重要的地位。
发明内容
本发明的目的是提供一种基于手势操作的潜艇作战指控系统交互方法，解决了现有技术中存在的传统键鼠和按钮式交互遇到的操作繁琐和交互适应性差的问题，达到表征原型系统中的集成要求和实验要求，提供模块化、组合式的任务场景操控支持。
本发明的另一目的是提供一种基于手势操作的潜艇作战指控系统交互设备。
本发明所采用的第一技术方案是，基于手势操作的潜艇作战指控系统交互方法，包括以下步骤：
获取手部动作在手臂处产生的肌电信号和手臂运动的运动信息；
识别所述肌电信号对应的手势和手臂运动的位移信息；
根据识别出的手势和手臂运动信息关联到操作系统中各项指令，使系统做出相应的操作；
在系统根据手势做出操作时反馈给人手，使用户知道手势操作是否成功，若手势识别失败操作不成功，系统返回错误提示，震动提醒用户手势识别失败。
本发明第一技术方案的特点还在于，
获取手部动作在手臂处产生的肌电信号和手臂运动的运动信息，具体包括：
根据个人匹配的手势结果，准确识别对应的手势信号；
获取多通道的肌电信号。
肌电信号对应的手势具体包括：
握拳、伸掌、手掌内挥、手掌外挥、空捏、开枪在内的手势动作，所述各个手势关联于操作系统的不同操作，具体为：握拳关联鼠标长按事件、伸掌关联取消长按事件、手掌内挥关联选中鼠标左键、手掌外挥关联选中鼠标右键、空捏关联选中鼠标中键、开枪关联鼠标单击事件、短时间内开枪两次关联鼠标双击事件、用户也可自定义手势关联的操作，实现自由定义手势操作；
多通道的肌电信号组合的对应手势，包括双臂的肌电信号组合；肌电信号的组合可以有两种形式，一种形式是左臂与右臂同时动作时的肌电信号组合，一种形式是两只手臂的手势动作的顺序组合；第一种形式的组合如左臂握拳与有右臂握拳的肌电信号组合，左臂握拳与右臂伸掌的肌电信号组合，即左手6种与右手6种的组合至多能设定36组；第二种形式的组合如左臂先握拳，右臂后握拳，或是右臂先伸掌，左臂后内挥，即理论上能达无数种手势组合；第二种形式的手势组合为了避免由于按顺序手势动作间存在的间隔导致的识别错误，应将实际操作过程种的手势识别的时间跨度增大，即最后一个手势识别完成后要等待一段时间，再进行操作指令的转换；但是等待的时间不宜过长，避免实际操作反应缓慢。
识别所述肌电信号对应的手势前，还应对各通道的肌电信号分别进行整流、滤波和归一化处理，得到处理后的肌电信号。
使系统做出相应的操作，具体包括：
模拟鼠标的单击、双击、选取、拖拽功能，界面的缩放、翻页、以及确定、取消、返回和退出操作的快捷实现，且允许用户自行设定组合手势对应复杂指令操作。
本发明所采用的第二技术方案是，基于手势操作的潜艇作战指控系统交互设备，包括：
采集模块，用于获取肌电信号和手臂移动信息；
交互模块，用于识别所述肌电信号对应的手势和手臂移动信息，反馈识别结果；
显示模块，用于显示指控系统的操作界面。
本发明第二技术方案的特点还在于，
采集模块为可穿戴式的肌电传感手环，手环内部含8路肌电传感器或者9轴运动传感器用于获取手臂肌电神经信号和手臂位移信息，并通过蓝牙、WIFI、红外线感应的方式与计算机连接。
交互模块包括：
存储器：用于存储计算机可执行指令，如预设的与不同手势对应的操作指令；
处理器：所述可执行指令在被执行时使所述处理器执行上述任一项方法。
显示模块为多块墙式大屏幕环绕用户。
本发明的有益效果是，一种基于手势操作的潜艇作战指控系统交互方法及设备，根据手部动作在手臂处产生的肌电信号识别手部动作，经处理器转换为对系统的操作指令并完成对指控系统的操作，同时将操作结果经显示模块和交互模块反馈给用户，达到人机交互的手势快捷操作目的，使用户得到较好的交互体验。
附图说明
图1为手势交互模块交互过程；
图2为交互过程中手势的模式识别过程；
图3为交互过程中实现交互关联的程序流程图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明基于手势操作的潜艇作战指控系统交互方法，包括以下步骤：
获取手部动作在手臂处产生的肌电信号和手臂运动的运动信息；
识别所述肌电信号对应的手势和手臂运动的位移信息；
根据识别出的手势和手臂运动信息关联到操作系统中各项指令，使系统做出相应的操作；
在系统根据手势做出操作时反馈给人手，使用户知道手势操作是否成功，若手势识别失败操作不成功，系统返回错误提示，震动提醒用户手势识别失败。
其中，获取手部动作在手臂处产生的肌电信号和手臂运动的运动信息，具体包括：
根据个人匹配的手势结果，准确识别对应的手势信号；
获取多通道的肌电信号。
肌电信号对应的手势具体包括：
握拳、伸掌、手掌内挥、手掌外挥、空捏、开枪在内的手势动作，所述各个手势关联于操作系统的不同操作，具体为：握拳关联鼠标长按事件、伸掌关联取消长按事件、手掌内挥关联选中鼠标左键、手掌外挥关联选中鼠标右键、空捏关联选中鼠标中键、开枪关联鼠标单击事件、短时间内开枪两次关联鼠标双击事件、用户也可自定义手势关联的操作，实现自由定义手势操作；
多通道的肌电信号组合的对应手势，包括双臂的肌电信号组合；肌电信号的组合可以有两种形式，一种形式是左臂与右臂同时动作时的肌电信号组合，一种形式是两只手臂的手势动作的顺序组合；第一种形式的组合如左臂握拳与有右臂握拳的肌电信号组合，左臂握拳与右臂伸掌的肌电信号组合，即左手6种与右手6种的组合至多能设定36组；第二种形式的组合如左臂先握拳，右臂后握拳，或是右臂先伸掌，左臂后内挥，即理论上能达无数种手势组合；第二种形式的手势组合为了避免由于按顺序手势动作间存在的间隔导致的识别错误，应将实际操作过程种的手势识别的时间跨度增大，即最后一个手势识别完成后要等待一段时间，再进行操作指令的转换；但是等待的时间不宜过长，避免实际操作反应缓慢。
识别所述肌电信号对应的手势前，还应对各通道的肌电信号分别进行整流、滤波和归一化处理，得到处理后的肌电信号。
使系统做出相应的操作，具体包括：
模拟鼠标的单击、双击、选取、拖拽功能，界面的缩放、翻页、以及确定、取消、返回和退出操作的快捷实现，且允许用户自行设定组合手势对应复杂指令操作。
本发明基于手势操作的潜艇作战指控系统交互设备，包括：
采集模块，用于获取肌电信号和手臂移动信息；
交互模块，用于识别所述肌电信号对应的手势和手臂移动信息，反馈识别结果；
显示模块，用于显示指控系统的操作界面。
本发明第二技术方案的特点还在于，
采集模块为可穿戴式的肌电传感手环，手环内部含8路肌电传感器或者9轴运动传感器用于获取手臂肌电神经信号和手臂位移信息，并通过蓝牙、WIFI、红外线感应的方式与计算机连接。
交互模块包括：
存储器：用于存储计算机可执行指令，如预设的与不同手势对应的操作指令；
处理器：所述可执行指令在被执行时使所述处理器执行上述任一项方法。
显示模块为多块墙式大屏幕环绕用户，使用户获得沉浸感较强的交互体验。
潜艇的具体实际操作大多数由操作员通过鼠标键盘以及按钮来实现，操作繁琐且枯燥。为满足为指挥员提供更快速便捷的综合指挥手段、提高指挥效率、缩短作战系统反应时间，本申请提供一种基于肌电传感的手势操作来执行指控系统的操作，改善操作复杂度，提高效率。
如图1所示基于手势操作的人机交互过程，包括：
步骤1，初次使用时需进行手势采集的个人匹配，用户需正确佩戴肌电手环，手环紧贴皮肤，佩戴于前臂中段；肌电手环与计算机之间通过蓝牙无线连接，成功连接时，用户可在显示界面观察到，同时反馈给手环使其震动提醒用户连接成功；步骤2，在手势识别前没有进行手势动作时，处于自然放松状态；手势采集过程中，手势动作过程应干脆利落，不应犹豫或动作缓慢，且两次手势动作间须有回到自然放松状态的过程；步骤3，肌电信号采集完成后，计算机将相应的手势经过模式识别实现对应肌电信号的手势识别，并将数据存储再计算机内；步骤4，规定不同手势对应于不同操作指令的模拟鼠标驱动程序编写与硬件连接，同时肌电手环内置陀螺仪，可以连续、实时采集手臂所处的坐标轴上的角速度信息，通过内部程序算出手臂的移动方向及距离，将手臂的三维移动转化为光标的二维移动数据，最后发送给计算机，实现计算机操作界面中光标的控制；还可以通过程序设定手势操作和手臂位移数据的组合形式，对应于潜艇作战指控系统的复杂指令，用户就能通过手势来进行对指控系统的隔空操作，实现手势动作与指控指令的交互关联；步骤5，隔空操作时，肌电手环采集到肌电信号以及陀螺仪采集到的手臂位移信息，经处理后发送给计算机，计算机通过程序判定，识别出对应指令，向指控系统发出对应的操作指令信息；步骤6，隔空操作过程中如果计算机未能识别人体手势，则计算机反馈给手环报错信息，手环在接到报错信息时进行震动处理，提醒用户重新进行手势操作或重新进行手势识别。
如图2所示手势的模式识别过程，即所述步骤3的模式识别的实现如下：传统的手势识别基于机器学习算法中的模式识别方法，其步骤包括数据采集、预处理、特征提取、模式分类。通过传感器获取皮肤表面肌电信号(sEMG)，sEMG信号经放大滤波预处理去除噪声，然后由人类手工提取用于分类的数据，并从中捕获数据的时间和频率特征，这些特征作为机器学习分类器的输入，从而实现sEMG信号的手势分类与识别。
步骤4中所述交互关联主要通过两种方式进行实现，包括：
1)通过人体学接口设备(HID)驱动程序从操作系统底层模拟鼠标动作事件；
2)通过程序编写获取相关动作事件，从应用层绑定关联逻辑。
所述人体学接口设备(HID)是一个设备类定义，用于将PS/2样式的连接器替换为支持HID设备(例如键盘、鼠标、触摸板)的通用USB驱动程序；硬件创新要求使用现有协议重载数据，或使用其自己的专用驱动程序创建非标准硬件，HID通过可扩展、标准化且易于编程的接口添加对硬件创新的支持；API(Application Programming Interface，应用程序编程接口)函数由不同的动态连接库构成，是一个操作系统支持的函数定义、参数定义、和消息格式的集合，大多由C和C++语言编写；在被调用时只需做好调用的接口工作，如声明函数；可以采用“Windows用户界面管理库(User32.dll)”动态连接库(Dynamic LinkLibrary)的mouse_event函数来实现对光标的控制。
所述模拟鼠标动作事件的设定如下，包括：
识别手势主要有握拳、伸掌、内挥、外挥、空捏和射击六种，同时支持自定义动作两组，以及手臂的移动。
所述1)中通过HID驱动程序编写，将所述手势以及手臂移动与操作系统的各项指令相关联，包括：当计算机识别到握拳信号时，程序调用函数，执行鼠标长按的命令，这相当于握住实体鼠标按键不动；当计算机识别到伸掌信号时，程序调用函数，执行松开鼠标按键的命令，这相当于松开实体鼠标按键；当计算机识别到内挥信号时，程序调用函数，执行选中左键的命令，这相当于把手指放在鼠标左键上；当计算机识别到外挥信号时，程序调用函数，执行选中右键的命令，这相当于把手指放在鼠标右键上；当计算机识别到空捏信号时，程序调用函数，执行选中中键的命令，这相当于把手指放在鼠标中键上；当计算机识别到射击信号时，程序调用函数，执行单击的命令，这相当于单击鼠标当前选中的按键；当计算机在较短的时间间隔内识别到连续两次射击信号时，程序调用函数，执行双击的命令，这相当于双击鼠标当前选中的按键；当计算机识别到手臂移动的信号时，程序调用函数，执行鼠标移动的命令，这相当于移动鼠标。
如图3所示为2)中所述程序以及用户隔空操作的流程图，所述程序编写的思路如下，包括：
将识别的手势数据存储在计算机中，生成图形化界面便于选择，让用户从中选择不同手势的组合，即读取指定的手势数据按用户的意愿排列成一个新的数据组合，再存储与计算机中，与潜艇指控系统中的操作相关联；手势操作模式是作为上述模拟鼠标还是用于组合操作，可以在操作过程中任一时刻变更；操作模式的变更这一实现，除了在操作界面上可操作实现外，也可由手势操作来完成，且该手势不与其他手势相似，以避免误操作。
所述让用户从中选择不同手势的组合，包括双臂同时动作的肌电信号组合，和双臂按顺序动作的肌电信号组合；
所述双臂同时动作的肌电信号组合理论上可以有6*6＝36种，双臂按顺序动作的肌电信号组合理论上可以有无数种；
为了避免双臂按顺序动作的肌电信号组合间的间隔导致手势识别不完整，应在每个手势的采集完成后延迟一段时间，再进行手势识别；
所述延迟一段时间不宜过长，避免实际操作反应缓慢。
所述手势交互有以下要点，包括：
需要支持对特定手势进行识别；根据使用场景将手势与指定的命令、操作或快捷方式建立关联，实现快速的隔空操作体验，整过操作过程中对空间及使用人员的位置、站姿和坐姿等没有约束或限制；要求在使用前对个人手势进行几分钟的快速录入即可正常工作。
手势交互模块的创新点：通过集成化、一体化、可穿戴等贴近实战环境的设计，使指挥人员和其他各占位人员在舱内实际使用场景下，具备快速识别能力，可获得更多的作业反应时间，不受场合和光线影响，更加贴近于昼夜任务的交互识别场合；
作为展望，未来随着多通道人机交互技术的成熟，手势交互能够延申应用多通道人机交互设计，综合视线跟踪、VR显示、语音识别、手势控制和感觉反馈等技术的新一代交互方式，包括：头戴式双显示器，双目分别观察左右显示屏，以得到三维广角的全景，结合用户头部的移动和姿势以及眼球视线变化，得到一个模拟的或远程控制的360°视阈；语音命令响应，指挥人员发出语音命令，并结合触摸屏对语音识别结果进行修改和确认，三维声音提示目标方位，图形显示信息，震动和声音结合用于紧急提示；手势操作根据本发明所述的方法，辅助甚至代替键盘鼠标与按钮操作，控制指控系统的发出指令，解放双手自由度，为潜操作指挥人员提供极大方便，提高了人机交互的自然性、高效性和适用性。所述显示模块显示界面主要还是采用了“表页为主、图形为辅”的两视图交互模式。表页视图主要完成情报综合处理、辅助指挥决策、目标运动分析等信息的显示及操作入口。表页视图呈现给操作人员的信息量是巨大而又复杂的，但通过多表页分类显示，操作人员也能从大量的信息中比较容易的获得所需信息。图形视图主要完成对电子海图、战场综合态势(2D)的图形化显示，为指挥员决策提供支持。
综上所述，本发明通过以硬件与在一个或者多个处理器上运行的软件模块组合实现，其中软件实现可以以一种或多种程序设计语言的任意组合来编写程序代码，所述程序设计语言包括面向对象的程序设计语言如C++，也包括常规的基于过程的程序设计语言如C语言，程序代码可以完全地在用户计算设备上执行。
Claims (9)
1.基于手势操作的潜艇作战指控系统交互方法，其特征在于，包括以下步骤：
获取手部动作在手臂处产生的肌电信号和手臂运动的运动信息；
识别所述肌电信号对应的手势和手臂运动的位移信息；
根据识别出的手势和手臂运动信息关联到操作系统中各项指令，使系统做出相应的操作；
在系统根据手势做出操作时反馈给人手，使用户知道手势操作是否成功，若手势识别失败操作不成功，系统返回错误提示，震动提醒用户手势识别失败。
2.根据权利要求1所述的基于手势操作的潜艇作战指控系统交互方法，其特征在于，所述获取手部动作在手臂处产生的肌电信号和手臂运动的运动信息，具体包括：
根据个人匹配的手势结果，准确识别对应的手势信号；
获取多通道的肌电信号。
3.根据权利要求2所述的基于手势操作的潜艇作战指控系统交互方法，其特征在于，所述肌电信号对应的手势具体包括：
握拳、伸掌、手掌内挥、手掌外挥、空捏、开枪在内的手势动作，所述各个手势关联于操作系统的不同操作，具体为：握拳关联鼠标长按事件、伸掌关联取消长按事件、手掌内挥关联选中鼠标左键、手掌外挥关联选中鼠标右键、空捏关联选中鼠标中键、开枪关联鼠标单击事件、短时间内开枪两次关联鼠标双击事件、用户也可自定义手势关联的操作，实现自由定义手势操作；
多通道的肌电信号组合的对应手势，包括双臂的肌电信号组合；肌电信号的组合可以有两种形式，一种形式是左臂与右臂同时动作时的肌电信号组合，一种形式是两只手臂的手势动作的顺序组合；第一种形式的组合如左臂握拳与有右臂握拳的肌电信号组合，左臂握拳与右臂伸掌的肌电信号组合，即左手6种与右手6种的组合至多能设定36组；第二种形式的组合如左臂先握拳，右臂后握拳，或是右臂先伸掌，左臂后内挥，即理论上能达无数种手势组合；第二种形式的手势组合为了避免由于按顺序手势动作间存在的间隔导致的识别错误，应将实际操作过程种的手势识别的时间跨度增大，即最后一个手势识别完成后要等待一段时间，再进行操作指令的转换；但是等待的时间不宜过长，避免实际操作反应缓慢。
4.根据权利要求2所述的基于手势操作的潜艇作战指控系统交互方法，其特征在于，所述识别所述肌电信号对应的手势前，还应对各通道的肌电信号分别进行整流、滤波和归一化处理，得到处理后的肌电信号。
5.根据权利要求1所述的基于手势操作的潜艇作战指控系统交互方法，其特征在于，所述使系统做出相应的操作，具体包括：
模拟鼠标的单击、双击、选取、拖拽功能，界面的缩放、翻页、以及确定、取消、返回和退出操作的快捷实现，且允许用户自行设定组合手势对应复杂指令操作。
6.基于手势操作的潜艇作战指控系统交互设备，其特征在于，包括：
采集模块，用于获取肌电信号和手臂移动信息；
交互模块，用于识别所述肌电信号对应的手势和手臂移动信息，反馈识别结果；
显示模块，用于显示指控系统的操作界面。
7.根据权利要求6所述的基于手势操作的潜艇作战指控系统交互设备，其特征在于，所述采集模块为可穿戴式的肌电传感手环，手环内部含8路肌电传感器或者9轴运动传感器用于获取手臂肌电神经信号和手臂位移信息，并通过蓝牙、WIFI、红外线感应的方式与计算机连接。
8.根据权利要求6所述的基于手势操作的潜艇作战指控系统交互设备，其特征在于，所述交互模块包括：
存储器：用于存储计算机可执行指令，如预设的与不同手势对应的操作指令；
处理器：所述可执行指令在被执行时使所述处理器执行上述任一项方法。
9.根据权利要求6所述的基于手势操作的潜艇作战指控系统交互设备，其特征在于，所述显示模块为多块墙式大屏幕环绕用户。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110574658.3A CN113419622A (zh) | 2021-05-25 | 2021-05-25 | 基于手势操作的潜艇作战指控系统交互方法及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110574658.3A CN113419622A (zh) | 2021-05-25 | 2021-05-25 | 基于手势操作的潜艇作战指控系统交互方法及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113419622A true CN113419622A (zh) | 2021-09-21 |
Family
ID=77712982
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110574658.3A Pending CN113419622A (zh) | 2021-05-25 | 2021-05-25 | 基于手势操作的潜艇作战指控系统交互方法及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113419622A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114756137A (zh) * | 2022-06-15 | 2022-07-15 | 深圳市心流科技有限公司 | 一种针对肌电信号与脑电信号的训练模式调整方法及装置 |
| CN114848315A (zh) * | 2022-05-05 | 2022-08-05 | 广东工业大学 | 一种基于表面肌电信号的智能轮椅人机协同控制系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106406544A (zh) * | 2016-11-21 | 2017-02-15 | 中国兵器工业计算机应用技术研究所 | 一种语义式人机自然交互控制方法及系统 |
| CN106774842A (zh) * | 2016-11-24 | 2017-05-31 | 中国科学技术大学 | 驾驶情境下手势交互控制系统 |
| CN107943294A (zh) * | 2017-11-27 | 2018-04-20 | 中国兵器工业计算机应用技术研究所 | 可用手语操控的无人机飞行控制系统及控制方法 |
| CN108196668A (zh) * | 2017-12-05 | 2018-06-22 | 重庆中电大宇卫星应用技术研究所 | 一种便携式手势识别系统及方法 |
| CN110442233A (zh) * | 2019-06-18 | 2019-11-12 | 中国人民解放军军事科学院国防科技创新研究院 | 一种基于手势交互的增强现实键鼠系统 |
| CN110568929A (zh) * | 2019-09-06 | 2019-12-13 | 诺百爱（杭州）科技有限责任公司 | 一种虚拟场景交互的方法、装置和电子设备 |
-
2021
- 2021-05-25 CN CN202110574658.3A patent/CN113419622A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106406544A (zh) * | 2016-11-21 | 2017-02-15 | 中国兵器工业计算机应用技术研究所 | 一种语义式人机自然交互控制方法及系统 |
| CN106774842A (zh) * | 2016-11-24 | 2017-05-31 | 中国科学技术大学 | 驾驶情境下手势交互控制系统 |
| CN107943294A (zh) * | 2017-11-27 | 2018-04-20 | 中国兵器工业计算机应用技术研究所 | 可用手语操控的无人机飞行控制系统及控制方法 |
| CN108196668A (zh) * | 2017-12-05 | 2018-06-22 | 重庆中电大宇卫星应用技术研究所 | 一种便携式手势识别系统及方法 |
| CN110442233A (zh) * | 2019-06-18 | 2019-11-12 | 中国人民解放军军事科学院国防科技创新研究院 | 一种基于手势交互的增强现实键鼠系统 |
| CN110568929A (zh) * | 2019-09-06 | 2019-12-13 | 诺百爱（杭州）科技有限责任公司 | 一种虚拟场景交互的方法、装置和电子设备 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114848315A (zh) * | 2022-05-05 | 2022-08-05 | 广东工业大学 | 一种基于表面肌电信号的智能轮椅人机协同控制系统 |
| CN114848315B (zh) * | 2022-05-05 | 2022-12-13 | 广东工业大学 | 一种基于表面肌电信号的智能轮椅人机协同控制系统 |
| CN114756137A (zh) * | 2022-06-15 | 2022-07-15 | 深圳市心流科技有限公司 | 一种针对肌电信号与脑电信号的训练模式调整方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Mahmud et al. | Interface for human machine interaction for assistant devices: A review | |
| US11493993B2 (en) | Systems, methods, and interfaces for performing inputs based on neuromuscular control | |
| US11543887B2 (en) | User interface control of responsive devices | |
| CN102915111B (zh) | 一种腕上手势操控系统和方法 | |
| WO2015113503A1 (zh) | 一种指环式无线指感控制器、控制方法及控制系统 | |
| CN109074166A (zh) | 使用神经数据改变应用状态 | |
| CN111191322B (zh) | 一种基于深度感知手势识别的虚拟维修性仿真方法 | |
| CN107896508A (zh) | 可以作为多个目标/端点（设备）和的整合点的以人为中心的“设备的超ui”体系结构的方法和设备，以及面向“模块化”通用控制器平台以及输入设备虚拟化的具有动态上下文意识的手势输入的相关方法/系统 | |
| CN113419622A (zh) | 基于手势操作的潜艇作战指控系统交互方法及设备 | |
| US20130300650A1 (en) | Control system with input method using recognitioin of facial expressions | |
| CN105224069A (zh) | 一种增强现实虚拟键盘输入方法及使用该方法的装置 | |
| CN102789313A (zh) | 一种用户交互系统和方法 | |
| US20190049558A1 (en) | Hand Gesture Recognition System and Method | |
| CN103777748A (zh) | 一种体感输入方法及装置 | |
| Nanjundaswamy et al. | Intuitive 3D computer-aided design (CAD) system with multimodal interfaces | |
| Baig et al. | Qualitative analysis of a multimodal interface system using speech/gesture | |
| CN107918481A (zh) | 基于手势识别的人机交互方法与系统 | |
| Corradini et al. | A map-based system using speech and 3D gestures for pervasive computing | |
| CN117075726A (zh) | 一种视觉手势与肌电传感混合交互的协同控制方法及系统 | |
| KR101335394B1 (ko) | 포인티 오브젝트와 눈의 3차원 위치정보를 이용한 원거리 스크린 터치장치 | |
| Halarnkar et al. | Gesture recognition technology: a review | |
| CN108491068B (zh) | 一种眼动信号控制的交互方法 | |
| KR101414577B1 (ko) | 사용자 신체 및 음성을 이용한 컴퓨터 인터페이스 방법 | |
| JPH09237151A (ja) | グラフィカルユーザインタフェース | |
| KR101962464B1 (ko) | 손동작 매크로 기능을 이용하여 다중 메뉴 및 기능 제어를 위한 제스처 인식 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210921 |