CN109976518A - 一种基于pvdf传感器阵列的人机交互方法 - Google Patents

一种基于pvdf传感器阵列的人机交互方法 Download PDF

Info

Publication number
CN109976518A
CN109976518A CN201910184482.3A CN201910184482A CN109976518A CN 109976518 A CN109976518 A CN 109976518A CN 201910184482 A CN201910184482 A CN 201910184482A CN 109976518 A CN109976518 A CN 109976518A
Authority
CN
China
Prior art keywords
sensor array
man
wearable device
wrist
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910184482.3A
Other languages
English (en)
Inventor
胡跃辉
谢凌锐
陈亚冬
方勇
康吴伟
金韬
房国庆
姚子贤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN201910184482.3A priority Critical patent/CN109976518A/zh
Publication of CN109976518A publication Critical patent/CN109976518A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Dermatology (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种基于PVDF传感器阵列的人机交互方法，包括以下步骤：通过使用PVDF传感器阵列模块来侦测使用者手指运动时腕部肌肉产生的运动信号来识别手势动作；使用惯导模块来侦测使用者腕部移动时的姿态信息，包括运动方向、运动速度和运动幅度；根据获取的腕部运动信号识别手势动作；根据获取的腕部姿态信息计算光标在目标终端上的目标位置，然后根据获取的手势动作获得人机操作命令；将得到的光标的目标位置及人机操作命令通过传输模块按照鼠标通讯协议传输至目标终端，完成人机交互操作。本发明通过基于PVDF传感器阵列的可穿戴式装置来实现实体人机交互功能，是一种方便、自然和谐的人机交互方式。

Description

一种基于PVDF传感器阵列的人机交互方法
技术领域
本发明涉及增强现实技术领域，尤其涉及一种基于PVDF传感器阵列的人机交互方法。
背景技术
增强现实技术是一种将真实世界和虚拟世界“无缝”融合的新技术。他随着虚拟现实技术的发展而产生，近几年来已经成为一个研究热点。使用增强现实技术的系统被广泛信用在视屏监控、机器人控制、远程会议等领域中。增强现实技术力图为体验真实提供一个和谐自然的交互环境，从而无缝的融合虚拟和真实世界。手势是一种非常直观的表达方式，在增强现实系统的交互过程中使用手势进行控制符合人的交互习惯，提高人机交互的真实感和沉浸感。
虚拟鼠标可以通过使用传感器来识别人们的手势输入，从而模拟出鼠标的具体动作。虚拟鼠标技术基于手势识别技术实现，不需要真实鼠标，只需要使用一些手势动作便可模拟真实鼠标。虚拟鼠标主要有两种实现方式：一是利用机器视觉来实现，二是利用传感器来实现。基于机器视觉的虚拟鼠标技术，主要是利用摄像头设备来捕捉手势的视频或者图像，然后利用模式识别、图像处理等技术对手形或手势进行识别。但是该方法要求用户必须被严格地限定在与摄像设备之间没有遮挡的范围内，有使用环境的局限性。基于传感器的虚拟鼠标技术，主要采用惯导或者生物传感器等传感器来采集人体运动信号或者生物信号来实现虚拟鼠标技术，但是目前此类方法对使用者的日常佩戴要求较高并且影响日常工作。
基于以上虚拟鼠标的研究现状，我们希望有一种更方便自然，更符合人们日常鼠标操作习惯的方法实现虚拟鼠标技术，满足更和谐的人机交互要求。
发明内容
本发明的目的是提供了一种基于PVDF传感器阵列的人机交互方法。
为达到上述目的采用的技术方案是：
一种基于PVDF传感器阵列的人机交互方法，其特征在于，包括以下步骤：
（1）通过使用PVDF传感器阵列模块来侦测使用者手指运动时腕部肌肉产生的运动信号来识别手势动作；使用惯导模块来侦测使用者腕部移动时的姿态信息，包括运动方向、运动速度和运动幅度；
（2）根据步骤（1）中获取的腕部运动信号识别手势动作；
（3）根据步骤（1）中获取的腕部姿态信息计算光标在目标终端上的目标位置，然后根据步骤（2）中获取的手势动作获得人机操作命令；
（4）将步骤（3）中得到的光标的目标位置及人机操作命令通过传输模块按照鼠标通讯协议传输至目标终端，完成人机交互操作。
所述的一种基于PVDF传感器阵列的人机交互方法，其特征在于，所述PVDF传感器阵列模块、惯导模块、传输模块集成于一个可穿戴装置中，可穿戴装置中还设有电位器模块，所述可穿戴装置佩戴于使用者的腕部。
所述的一种基于PVDF传感器阵列的人机交互方法，其特征在于，所述方法设置了一组手势动作，可穿戴装置通过识别手势动作来实现人机交互功能。
所述的一种基于PVDF传感器阵列的人机交互方法，其特征在于，所述可穿戴装置设置有两种工作模式，分别为静默模式与激活模式，两个模式均由特定手势动作触发；所述静默模式下可穿戴式装置处于待机状态，该状态下，系统不会执行用户除了激活指令外的其他指令；用户通过特定手势激活后，可穿戴式装置进入激活模式开始工作，当处于激活状态下时，若用户在一段时间内没有进行操作，可穿戴式装置将自动进入静默模式。
所述的一种基于PVDF传感器阵列的人机交互方法，其特征在于，所述可穿戴装置中的电位器模块用于调节灵敏度，灵敏度分为三档，分别为低、中、高；所述可穿戴式装置还可以通过特定的手势动作来实现灵敏度的调节。
本发明的优点是：
本发明提出基于可穿戴式装置的人机交互方法采用方便、自然和谐的人机交互方式来实现鼠标功能。本发明使用可穿戴式装置中的PVDF传感器阵列模块来侦测使用者手指运动时腕部肌肉产生的运动信号来识别手势动作；使用惯导模块来侦测使用者腕部移动时的姿态信息，包括运动方向、运动速度和运动幅度。然后根据识别和解算结果计算得到光标在终端设备上的目标位置以及人机操作命令；最后所述目标位置以及人机操作命令产生相对应的输出信号通过相应的鼠标通讯协议传输至终端设备，最终实现人机交互操作。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面结合附图对本发明的具体实施方案做详细说明。
图1是本发明实施例的一种人机交互方法的流程示意图；
图2是本发明的一种手势操作示意图。
图中：A为可穿戴式装置，B为电位器模块，C为食指点击动作。
具体实施方式
下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例仅为本发明的一部分实施例，而不是全部的实施例、基于本发明中的实施例，本领域的研究人员在没有做出创造性劳动前提下所获得的其他实施例均属于本发明的保护范围。
如图1所示为本发明实施例的一种人机交互方法的流程示意图，该方法包括：
步骤1、通过使用PVDF传感器阵列模块来侦测使用者手指运动时腕部肌肉产生的运动信号来识别手势动作；使用惯导模块来侦测使用者腕部移动时的姿态信息，包括运动方向、运动速度和运动幅度；
步骤2、根据步骤1中获取的腕部运动信号识别手势动作；
步骤3、根据步骤1中获取的腕部姿态信息计算光标在目标终端上的目标位置，然后根据步骤2中获取的手势动作获得人机操作命令；
步骤4、将步骤3中得到的光标的目标位置及命令通过传输模块按照鼠标通讯协议传输至目标终端，完成人机交互操作。
所述PVDF传感器阵列模块、惯导模块、传输模块集成于一个可穿戴装置A中，可穿戴装置A中还设有电位器模块B，所述可穿戴装置A佩戴于使用者的腕部。
可穿戴装置A设置有两种工作模式，分别为静默模式与激活模式，两个模式均由特定手势动作触发；所述静默模式下可穿戴式装置处于待机状态，该状态下，系统不会执行用户除了激活指令外的其他指令；用户通过特定手势激活后，可穿戴式装置进入激活模式开始工作，当处于激活状态下时，若用户在一段时间内没有进行操作，可穿戴式装置将自动进入静默模式。
可穿戴装置中的电位器模块B用于调节灵敏度，灵敏度分为三档，分别为低、中、高；所述可穿戴式装置A还可以通过特定的手势动作来实现灵敏度的调节。
本发明方法设置了一组手势动作，可穿戴装置通过识别手势动作来实现人机交互功能。图2中例举了本发明的一种手势动作。将可穿戴式装置A佩戴在腕部，通过食指点击手势C实现确认功能。

Claims (5)

1.一种基于PVDF传感器阵列的人机交互方法，其特征在于，包括以下步骤：
（1）通过使用PVDF传感器阵列模块来侦测使用者手指运动时腕部肌肉产生的运动信号来识别手势动作；使用惯导模块来侦测使用者腕部移动时的姿态信息，包括运动方向、运动速度和运动幅度；
（2）根据步骤（1）中获取的腕部运动信号识别手势动作；
（3）根据步骤（1）中获取的腕部姿态信息计算光标在目标终端上的目标位置，然后根据步骤（2）中获取的手势动作获得人机操作命令；
（4）将步骤（3）中得到的光标的目标位置及人机操作命令通过传输模块按照鼠标通讯协议传输至目标终端，完成人机交互操作。
2.根据权利要求1所述的一种基于PVDF传感器阵列的人机交互方法，其特征在于，所述PVDF传感器阵列模块、惯导模块、传输模块集成于一个可穿戴装置中，可穿戴装置中还设有电位器模块，所述可穿戴装置佩戴于使用者的腕部。
3.根据权利要求2所述的一种基于PVDF传感器阵列的人机交互方法，其特征在于，所述方法设置了一组手势动作，可穿戴装置通过识别手势动作来实现人机交互功能。
4.根据权利要求2所述的一种基于PVDF传感器阵列的人机交互方法，其特征在于，所述可穿戴装置设置有两种工作模式，分别为静默模式与激活模式，两个模式均由特定手势动作触发；所述静默模式下可穿戴式装置处于待机状态，该状态下，系统不会执行用户除了激活指令外的其他指令；用户通过特定手势激活后，可穿戴式装置进入激活模式开始工作，当处于激活状态下时，若用户在一段时间内没有进行操作，可穿戴式装置将自动进入静默模式。
5.根据权利要求2所述的一种基于PVDF传感器阵列的人机交互方法，其特征在于，所述可穿戴装置中的电位器模块用于调节灵敏度，灵敏度分为三档，分别为低、中、高；所述可穿戴式装置还可以通过特定的手势动作来实现灵敏度的调节。
CN201910184482.3A 2019-03-12 2019-03-12 一种基于pvdf传感器阵列的人机交互方法 Pending CN109976518A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910184482.3A CN109976518A (zh) 2019-03-12 2019-03-12 一种基于pvdf传感器阵列的人机交互方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910184482.3A CN109976518A (zh) 2019-03-12 2019-03-12 一种基于pvdf传感器阵列的人机交互方法

Publications (1)

Publication Number Publication Date
CN109976518A true CN109976518A (zh) 2019-07-05

Family

ID=67078572

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910184482.3A Pending CN109976518A (zh) 2019-03-12 2019-03-12 一种基于pvdf传感器阵列的人机交互方法

Country Status (1)

Country Link
CN (1) CN109976518A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110308796A (zh) * 2019-07-08 2019-10-08 合肥工业大学 一种基于腕部pvdf传感器阵列的手指运动识别方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN204347757U (zh) * 2015-01-09 2015-05-20 刘鑫 一种基于加速度传感器的手势控制的麦克风
CN104679246A (zh) * 2015-02-11 2015-06-03 华南理工大学 一种交互界面中人手漫游控制的穿戴式设备及控制方法
CN105022471A (zh) * 2014-04-23 2015-11-04 王建勤 基于压力传感器阵列进行手势识别的装置与方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105022471A (zh) * 2014-04-23 2015-11-04 王建勤 基于压力传感器阵列进行手势识别的装置与方法
CN204347757U (zh) * 2015-01-09 2015-05-20 刘鑫 一种基于加速度传感器的手势控制的麦克风
CN104679246A (zh) * 2015-02-11 2015-06-03 华南理工大学 一种交互界面中人手漫游控制的穿戴式设备及控制方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YAOHUI H等: "Piezoelectric poly(vinylidene fluoride) (PVDF) polymer-based sensor for wrist motion signal detection", 《APPLIED SCIENCES-BASEL》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110308796A (zh) * 2019-07-08 2019-10-08 合肥工业大学 一种基于腕部pvdf传感器阵列的手指运动识别方法
CN110308796B (zh) * 2019-07-08 2022-12-02 合肥工业大学 一种基于腕部pvdf传感器阵列的手指运动识别方法

Similar Documents

Publication Publication Date Title
CN110456907A (zh) 虚拟画面的控制方法、装置、终端设备及存储介质
CN102789313B (zh) 一种用户交互系统和方法
EP3090331B1 (en) Systems with techniques for user interface control
CN102779000B (zh) 一种用户交互系统和方法
WO2007053116A1 (en) Virtual interface system
CN103455136A (zh) 一种基于手势控制的输入方法、装置及系统
CN104298340A (zh) 控制方法和电子设备
WO2012119371A1 (zh) 一种用户交互系统和方法
CN104331154A (zh) 实现非接触式鼠标控制的人机交互方法和系统
CN110442233A (zh) 一种基于手势交互的增强现实键鼠系统
CN109839827B (zh) 一种基于全空间位置信息的手势识别智能家居控制系统
KR102286018B1 (ko) 손동작을 이용해 마우스 이벤트를 입력하는 착용형 증강현실 장치 및 손동작을 이용한 착용형 증강현실 장치의 마우스 이벤트 입력 방법
US20220291753A1 (en) Spatial Gesture Recognition using Inputs from Different Devices to Control a Computing Device
CN112817443A (zh) 基于手势的显示界面控制方法、装置、设备及存储介质
CN110069101B (zh) 一种穿戴式计算设备和一种人机交互方法
CN109976518A (zh) 一种基于pvdf传感器阵列的人机交互方法
TW202004433A (zh) 一種控制指令輸入方法和輸入裝置
US20240019938A1 (en) Systems for detecting gestures performed within activation-threshold distances of artificial-reality objects to cause operations at physical electronic devices, and methods of use thereof
CN107450672A (zh) 一种高识别率的腕式智能装置
CN203070205U (zh) 一种基于手势识别的输入设备
CN114661159A (zh) 一种手套、手部动作识别方法、装置及设备
CN115026817A (zh) 机器人交互方法、装置、电子设备以及存储介质
CN115047966A (zh) 交互方法、电子设备与交互系统
CN104932695B (zh) 信息输入装置及信息输入方法
CN204347750U (zh) 头戴式显示设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190705

RJ01 Rejection of invention patent application after publication