CN107329578A - 一种手势识别装置、远程写字系统及其应用方法 - Google Patents

一种手势识别装置、远程写字系统及其应用方法 Download PDF

Info

Publication number
CN107329578A
CN107329578A CN201710594010.6A CN201710594010A CN107329578A CN 107329578 A CN107329578 A CN 107329578A CN 201710594010 A CN201710594010 A CN 201710594010A CN 107329578 A CN107329578 A CN 107329578A
Authority
CN
China
Prior art keywords
gesture
gesture information
information
host device
finger
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710594010.6A
Other languages
English (en)
Inventor
张建民
龙佳乐
陈业成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuyi University
Original Assignee
Wuyi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuyi University filed Critical Wuyi University
Priority to CN201710594010.6A priority Critical patent/CN107329578A/zh
Publication of CN107329578A publication Critical patent/CN107329578A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种手势识别装置、远程写字系统及其应用方法,手势识别装置包括:设置在手上用于获取手势信息的传感装置和对手势信息进行处理的从机设备;远程写字系统应用在手势识别装置之上,还包括设置在主机设备上用于将用户的手势操作转化为画笔轨迹的写字板模块;手势识别方法包括:获取、处理、传输及解析转化手势信息;远程写字方法包括解析手势信息、形成并实时显示手势信息对应的画笔轨迹。本发明应用于人机交互领域,能减少外界环境对手势识别的干扰,加强教学、演示等场景中的互动性。

Description

一种手势识别装置、远程写字系统及其应用方法
技术领域
本发明涉及人机交互领域,特别是一种手势识别装置、远程写字系统及其应用方法。
背景技术
大尺寸显示屏的电脑、智能电视、投影仪的出现,使得基于鼠标、键盘的传统人机交互的不便性日益凸显,现有的触摸屏及相关技术也因距离限制缺乏通用性,特别是大型场合,如会议、教室等一对多的平台上,更是急需创新,如何使人与机器之间的交互能够模拟人与人之间的自然交流变得越来越重要。
手势识别作为一种新兴技术,目的就是为了解决隔空的人机交流不便的问题,但是目前大部分的关于手势识别的研究都是采用基于摄像头图像处理的方法,若用户的手在摄像头中被遮挡,效果将会受到较大的影响。
现在的教学模式基本上都是教师在讲台讲课,需要在PPT写注释、标注的时候,都要走到讲台或者投影屏幕上用笔写,在教学和演示过程中较为不便,影响了教学的互动性。
因此,针对上述技术问题,有必要提供一种新型的手势识别装置、远程写字系统及其应用方法。
发明内容
为解决上述问题,本发明的目的在于提供一种手势识别装置、远程写字系统及其应用方法,旨在避免外部环境对手势识别的干扰,加强教学、演示等场景的互动性。
本发明所采用的技术方案是:
一种手势识别装置,包括传感装置和从机设备;传感装置包括用于获取手势信息的传感器和陀螺仪,所述传感器和陀螺仪分别设置于手指和手腕上;所述从机设备包括信息处理模块及无线传输模块,所述信息处理模块用于处理来自所述传感装置的手势信息,所述无线传输模块用于向主机设备发送手势信息数据。
所述主机设备是指带有显示终端的设备,包括计算机、平板电脑、移动终端等设备。
进一步,所述传感器包括捕捉手指或手掌的运动数据的位置传感器;所述位置传感器安装在用户手指的第二指间关节和/或掌指关节上,用于获取手指的点击状态量及位移状态量;所述陀螺仪安装在用户手腕位置,用于获取手掌位置变化的位移状态量;具体地,所述传感装置获取的手势信息包含手指的点击状态量、位移状态量和手掌的位移状态量。通过安装在用户手指关节上的位置传感器,可以获取手指上下移动及左右移动时产生的运动数据,手指上下移动时的运动数据对应了手指的点击状态量,左右移动时的运动数据对应了手指的位移状态量;陀螺仪通过全格感测用户手部移动的角速度,可以高精度、快速获得手掌每一时刻的位移状态量。
进一步,所述信息处理模块为单片机,用于读取所述手势信息,并对所述手势信息进行滤波、误差分析、补偿和融合打包发送至所述无线传输模块;所述无线传输模块分别与信息处理模块和主机设备连接,用于将信息处理模块打包后的手势信息数据通过无线传输至主机设备。单片机读取的手势信息为传感器的电压变化值和陀螺仪的角速度值,经过一系列处理后由无线传输模块,通过无线信号实时传输至主机设备,这种传输方式响应快,传输距离长,且无线信号所在的频段辐射性小。
一种应用所述手势识别装置的远程写字系统,还包括设置在主机设备上的写字板模块,所述写字板模块与无线传输模块相连,用于将用户的手势操作转化为画笔轨迹。
一种应用所述手势识别装置的手势识别方法,其特征在于,所述方法包括:
A、获取安装在用户手指和手腕上的传感器及陀螺仪记录的手势信息;
B、对手势信息进行处理;
C、传输手势信息至主机设备;
D、解析手势信息数据,并将其转化为对应的图像信息和鼠标控制信号。
进一步,所述步骤A获取的手势信息包括获取用户手指的点击状态量和位移状态量,以及手掌的位移状态量。用户手指上下移动模拟的点击操作,以及手指或手掌做出微小移动时的位移操作产生的状态量都会被捕捉,记录为手势信息。
进一步,所述步骤B对手势信息的处理操作包括滤波、误差分析、补偿和融合打包。通过滤波过滤手势信息中的干扰信息,然后对手势信息中出现的误差进行分析和补偿,再将每一项手势信息融合在一起,进行打包操作等待发送,经过处理后的手势信息数据占用空间小,便于进行传输。
进一步,所述步骤D中解析手势信息数据的操作包括主机设备对接收到的手势信息数据进行解压和分析处理。手势信息数据在主机设备接收到时已被压缩打包,主机设备需要对解压手势信息数据,分析处理其中的每一项具体数据,包括多组位移状态量和点击状态量。
进一步,所述步骤D中转化手势信息为对应的图像信息和鼠标控制信号的操作包括:主机设备以坐标点的形式记录手势信息中包含的传感器和陀螺仪获取的位移状态量,主机设备显示所述坐标点,形成平面坐标图像;主机设备利用手势信息中的点击状态量实现鼠标点击操作,利用位移状态量实现鼠标移动操作。平面坐标图像反应了手势操作在平面上的移动轨迹,而实体鼠标的操作可以分为点击和移动,手势信息中的点击状态量对应的是鼠标是否进行了点击操作,位移状态量则对应了鼠标指引移动的方向和距离。
一种应用所述远程写字系统的写字方法,其特征在于,所述写字板模块对手势信息进行解析处理,形成对应画笔轨迹的平面坐标图像,并在显示终端上以图像方式实时显示画笔轨迹。
本发明的有益效果是:
一种手势识别装置,可以轻便地安装在用户手上,通过传感装置获取用户的手部操作对应的手势信息,可以避免传统基于摄像头图像获取手势信息时被遮挡导致效果受影响的问题,同时通过无线传输的方式,无需使用数据线与主机设备进行连接,令用户可以在较大的空间内自由移动,对手势识别的效果不会造成影响,具有较高的便捷性和稳定性。
一种应用所述手势识别装置的远程写字系统,依靠手势识别装置使用户可以通过无线传输的方式,实时将远程手势操作显示为主机设备屏幕上的画笔轨迹,为教学、演示等场景提供便利,提高了互动性和自由度。
一种应用所述手势识别装置的手势识别方法,可以通过远程、无线的方式将用户手势信息转化为主机设备上的图像信息和鼠标控制信号,用户通过手势操作即可在主机设备上远距离实时显示手部移动图像或者是控制鼠标,避免传统基于摄像头图像获取手势信息时被遮挡导致效果受影响的问题,具有便捷性和稳定性。
一种应用所述远程写字系统的写字方法,使用户模拟手写、绘图等手势操作可以实时展现在显示终端上,为教学、演示等场景提供便利,提高了互动性和自由度。
附图说明
下面结合附图和实例对本发明作进一步说明。
图1是本发明手势识别装置的模块方框图;
图2是本发明应用手势识别装置的手势识别方法的步骤流程图;
图3是本发明应用手势识别装置的远程写字系统的模块方框图;
图4是本发明应用远程写字系统的写字方法的步骤流程图。
具体实施方式
参照图1的模块方框图,本发明的一种手势识别装置,包括传感装置和从机设备;所述传感装置包括用于获取手势信息的传感器和陀螺仪,所述传感器和陀螺仪分别设置于手指和手腕上;所述从机设备包括信息处理模块及无线传输模块,所述信息处理模块用于处理来自所述传感装置的手势信息,所述无线传输模块用于向主机设备发送手势信息数据。该手势识别装置可以轻便地安装在用户手上,通过传感装置获取用户的手部操作对应的手势信息,可以避免传统基于摄像头图像获取手势信息时被遮挡导致效果受影响的问题,同时通过无线传输的方式,无需使用数据线与主机设备进行连接,令用户可以在较大的空间内自由移动,对手势识别的效果不会造成影响,具有较高的便捷性和稳定性。
所述主机设备是指带有显示终端的设备,包括计算机、平板电脑、移动终端等设备。
具体地,所述传感器包括捕捉手指或手掌的运动数据的位置传感器;所述位置传感器安装在用户手指的第二指间关节和/或掌指关节上,用于获取手指的点击状态量及位移状态量;所述陀螺仪安装在用户手腕位置,用于获取手掌位置变化的位移状态量;具体地,所述传感装置获取的手势信息包含手指的点击状态量、位移状态量和手掌的位移状态量。通过安装在用户手指关节上的位置传感器,可以获取手指上下移动及左右移动时产生的运动数据,手指上下移动时的运动数据对应了手指的点击状态量,左右移动时的运动数据对应了手指的位移状态量;陀螺仪通过全格感测用户手部移动的角速度,可以高精度、快速获得手掌每一时刻的位移状态量。
具体地,所述信息处理模块为单片机,用于读取所述手势信息,并对所述手势信息进行滤波、误差分析、补偿和融合打包发送至所述无线传输模块;所述无线传输模块分别与信息处理模块和主机设备连接,用于将信息处理模块打包后的手势信息数据通过无线传输至主机设备。单片机读取的手势信息为传感器的电压变化值和陀螺仪的角速度值,经过一系列处理后由无线传输模块,通过无线信号实时传输至主机设备,这种传输方式响应快,传输距离长,且无线信号所在的频段辐射性小。
参照图3的模块方框图,本发明的一种应用所述手势识别装置的远程写字系统,还包括设置在主机设备上的写字板模块,所述写字板模块与无线传输模块相连,用于将用户的手势操作转化为画笔轨迹。所述远程写字系统依靠手势识别装置使用户可以通过无线传输的方式,实时将远程手势操作显示为主机设备屏幕上的画笔轨迹,为教学、演示等场景提供便利,提高了互动性和自由度。
参照图2的步骤流程图,本发明的一种应用所述手势识别装置的手势识别方法,其特征在于,所述方法包括:
A、获取安装在用户手指和手腕上的传感器及陀螺仪记录的手势信息;
B、对手势信息进行处理;
C、传输手势信息至主机设备;
D、解析手势信息数据,并将其转化为对应的图像信息和鼠标控制信号。
其中步骤A获取的手势信息包括获取用户手指的点击状态量和位移状态量,以及手掌的位移状态量。用户手指上下移动模拟的点击操作,以及手指或手掌做出微小移动时的位移操作产生的状态量都会被捕捉,记录为手势信息。
步骤B对手势信息的处理操作包括滤波、误差分析、补偿和融合打包。通过滤波过滤手势信息中的干扰信息,然后对手势信息中出现的误差进行分析和补偿,再将每一项手势信息融合在一起,进行打包操作等待发送,经过处理后的手势信息数据占用空间小,便于进行传输。
步骤D中解析手势信息数据的操作包括主机设备对接收到的手势信息数据进行解压和分析处理。手势信息数据在主机设备接收到时已被压缩打包,主机设备需要对解压手势信息数据,分析处理其中的每一项具体数据,包括多组位移状态量和点击状态量。
进一步,步骤D中转化手势信息为对应的图像信息和鼠标控制信号的操作包括:主机设备以坐标点的形式记录手势信息中包含的传感器和陀螺仪获取的位移状态量,主机设备显示所述坐标点,形成平面坐标图像;主机设备利用手势信息中的点击状态量实现鼠标点击操作,利用位移状态量实现鼠标移动操作。平面坐标图像反应了手势操作在平面上的移动轨迹,而实体鼠标的操作可以分为点击和移动,手势信息中的点击状态量对应的是鼠标是否进行了点击操作,位移状态量则对应了鼠标指引移动的方向和距离。
通过所述手势识别方法,可以借助远程、无线的方式将用户手势信息转化为主机设备上的图像信息和鼠标控制信号,用户通过手势操作即可在主机设备上远距离实时显示手部移动图像或者是控制鼠标,避免传统基于摄像头图像获取手势信息时被遮挡导致效果受影响的问题,具有便捷性和稳定性。
参照图4的步骤流程图,本发明的一种应用所述远程写字系统的写字方法,其特征在于,所述写字板模块对手势信息进行解析处理,形成对应画笔轨迹的平面坐标图像,并在显示终端上以图像方式实时显示画笔轨迹。所述写字方法使用户模拟手写、绘图等的手势操作可以实时展现在显示终端上,为教学、演示等场景提供便利,提高了互动性和自由度。
以上所述,只是本发明的较佳实施例而已,本发明并不局限于上述实施方式,只要其以相同的手段达到本发明的技术效果,都应属于本发明的保护范围。

Claims (10)

1.一种手势识别装置,其特征在于,包括:
传感装置,包括用于获取手势信息的传感器和陀螺仪,所述传感器和陀螺仪分别设置于手指和手腕上;
从机设备,包括信息处理模块及无线传输模块,所述信息处理模块用于处理来自所述传感装置的手势信息,所述无线传输模块用于向主机设备发送手势信息数据。
2.根据权利要求1所述的一种手势识别装置,其特征在于:
所述传感器包括捕捉手指或手掌的运动数据的位置传感器;所述位置传感器安装在用户手指的第二指间关节和/或掌指关节上,用于获取手指的点击状态量及位移状态量;所述陀螺仪安装在用户手腕位置,用于获取手掌位置变化的位移状态量;所述手势信息包含手指的点击状态量、位移状态量和手掌的位移状态量。
3.根据权利要求1所述的一种手势识别装置,其特征在于:
所述信息处理模块为单片机,用于读取所述手势信息,并对所述手势信息进行滤波、误差分析、补偿和融合打包发送至所述无线传输模块;所述无线传输模块分别与信息处理模块和主机设备连接,用于将信息处理模块打包后的手势信息数据通过无线传输至主机设备。
4.一种应用权利要求1-3任一所述的手势识别装置的远程写字系统,其特征在于,还包括设置在主机设备上的写字板模块,所述写字板模块与无线传输模块相连,用于将用户的手势操作转化为画笔轨迹。
5.一种应用权利要求1-3任一所述的手势识别装置的手势识别方法,其特征在于,包括:
A、获取安装在用户手指和手腕上的传感器及陀螺仪记录的手势信息;
B、对手势信息进行处理;
C、传输手势信息至主机设备;
D、解析手势信息数据,并将其转化为对应的图像信息和鼠标控制信号。
6.根据权利要求5所述的一种手势识别方法,其特征在于:
所述步骤A获取的手势信息包括获取用户手指的点击状态量和位移状态量,以及手掌的位移状态量。
7.根据权利要求5所述的一种手势识别方法,其特征在于:
所述步骤B对手势信息的处理操作包括滤波、误差分析、补偿和融合打包。
8.根据权利要求5所述的一种手势识别方法,其特征在于:
所述步骤D中解析手势信息数据的操作包括主机设备对接收到的手势信息数据进行解压和分析处理。
9.根据权利要求5所述的一种手势识别方法,其特征在于:
所述步骤D中转化手势信息为对应的图像信息和鼠标控制信号的操作包括:主机设备以坐标点的形式记录手势信息中包含的传感器和陀螺仪获取的位移状态量,主机设备显示所述坐标点,形成平面坐标图像;主机设备利用手势信息中的点击状态量实现鼠标点击操作,利用位移状态量实现鼠标移动操作。
10.一种应用权利要求4所述的远程写字系统的远程写字方法,其特征在于:
所述写字板模块对手势信息进行解析处理,形成对应画笔轨迹的平面坐标图像,并在显示终端上以图像方式实时显示画笔轨迹。
CN201710594010.6A 2017-07-20 2017-07-20 一种手势识别装置、远程写字系统及其应用方法 Pending CN107329578A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710594010.6A CN107329578A (zh) 2017-07-20 2017-07-20 一种手势识别装置、远程写字系统及其应用方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710594010.6A CN107329578A (zh) 2017-07-20 2017-07-20 一种手势识别装置、远程写字系统及其应用方法

Publications (1)

Publication Number Publication Date
CN107329578A true CN107329578A (zh) 2017-11-07

Family

ID=60226874

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710594010.6A Pending CN107329578A (zh) 2017-07-20 2017-07-20 一种手势识别装置、远程写字系统及其应用方法

Country Status (1)

Country Link
CN (1) CN107329578A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111124117A (zh) * 2019-12-19 2020-05-08 芋头科技(杭州)有限公司 基于手绘草图的增强现实交互方法和设备
CN113961291A (zh) * 2021-10-21 2022-01-21 南京工业职业技术大学 一种基于触摸手势识别与压缩表示的移动设备远程控制方法与系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106445168A (zh) * 2016-11-01 2017-02-22 中南大学 一种智能手套及其使用方法
CN106527738A (zh) * 2016-12-08 2017-03-22 东北大学 一种用于虚拟现实系统的多信息体感交互手套系统及方法
CN106527672A (zh) * 2015-09-09 2017-03-22 广州杰赛科技股份有限公司 一种隔空的文字输入方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106527672A (zh) * 2015-09-09 2017-03-22 广州杰赛科技股份有限公司 一种隔空的文字输入方法
CN106445168A (zh) * 2016-11-01 2017-02-22 中南大学 一种智能手套及其使用方法
CN106527738A (zh) * 2016-12-08 2017-03-22 东北大学 一种用于虚拟现实系统的多信息体感交互手套系统及方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111124117A (zh) * 2019-12-19 2020-05-08 芋头科技(杭州)有限公司 基于手绘草图的增强现实交互方法和设备
CN111124117B (zh) * 2019-12-19 2024-03-29 芋头科技(杭州)有限公司 基于手绘草图的增强现实交互方法和设备
CN113961291A (zh) * 2021-10-21 2022-01-21 南京工业职业技术大学 一种基于触摸手势识别与压缩表示的移动设备远程控制方法与系统
CN113961291B (zh) * 2021-10-21 2023-09-01 南京工业职业技术大学 一种基于触摸手势识别与压缩表示的移动设备远程控制方法与系统

Similar Documents

Publication Publication Date Title
EP2919104B1 (en) Information processing device, information processing method, and computer-readable recording medium
US7598942B2 (en) System and method for gesture based control system
KR101705924B1 (ko) 공간 운영 시스템을 위한 공간, 다중-모드 제어 장치
CN107621893A (zh) 在非电子表面上使用电子输入设备的内容创建
US20130033461A1 (en) System for notetaking with source document referencing
CN103092432A (zh) 人机交互操作指令的触发控制方法和系统及激光发射装置
EP3886449A1 (en) Video file playback method and apparatus, and storage medium
CN203012636U (zh) 一种基于激光投影定位的人机交互系统
KR101176104B1 (ko) 광학인식펜을 이용한 인터랙티브 전자 칠판 시스템 및 운영 방법
CN102508575B (zh) 一种屏幕书写装置、屏幕书写系统及其实现方法
CN106933385B (zh) 一种基于三维超声波定位的低功耗空鼠笔的实现方法
CN103455136A (zh) 一种基于手势控制的输入方法、装置及系统
CN104598048A (zh) 数位笔书写控制方法及系统
CN102789312A (zh) 一种用户交互系统和方法
CN108027663A (zh) 将移动设备与人员跟踪组合以用于大型显示器交互
CN104182035A (zh) 一种操控电视应用程序的方法和系统
CN102722254A (zh) 一种定位交互方法及系统
CN107179839A (zh) 用于终端的信息输出方法、装置及设备
CN105159537A (zh) 基于多屏的实时独立交互系统
CN110083418A (zh) 信息流中图片的处理方法、设备及计算机可读存储介质
CN106125928A (zh) 基于Kinect的PPT演示辅助系统
US20130033460A1 (en) Method of notetaking using optically imaging pen with source document referencing
CN107329578A (zh) 一种手势识别装置、远程写字系统及其应用方法
CN114327064A (zh) 一种基于手势控制的标绘方法、系统、设备及存储介质
CN103871276A (zh) 电子板书信息的显示方法、系统与书写终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20171107

RJ01 Rejection of invention patent application after publication