CN102915111B - 一种腕上手势操控系统和方法 - Google Patents
一种腕上手势操控系统和方法 Download PDFInfo
- Publication number
- CN102915111B CN102915111B CN201210097750.6A CN201210097750A CN102915111B CN 102915111 B CN102915111 B CN 102915111B CN 201210097750 A CN201210097750 A CN 201210097750A CN 102915111 B CN102915111 B CN 102915111B
- Authority
- CN
- China
- Prior art keywords
- module
- wrist
- finger
- gesture
- control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
本发明涉及一种腕上手势操控系统和方法,特别是一种用于手机与电脑等电子产品操控的腕表型手势识别系统,本系统也可用于各种机电设备如家用电器、交通工具、工业机械、游戏娱乐设备、教学科研设备、医疗器械以及语音控制设备等的远程操控和虚拟操控;本发明每套包括左手右手两个系统或者只使用单手的系统,包括腕表部分1,与上位机部分2协同工作,以对上位机进行操控,可选择佩戴戒指部分3;其中腕表部分1包括控制主模块4、手势摄像模块5、背光LED灯模块6、电源模块7和腕带反馈模块8;上位机部分2包括上位机9和第一无线通讯模块10,戒指部分3包括戒指反馈模块11,其中控制主模块4中还包括控制板卡12、第二无线通讯模块13、三轴加速度模块14、倾角模块15及控制按钮16。
Description
技术领域
本发明涉及一种腕上手势操控系统和方法,特别是一种用于手机与电脑等电子产品操控的腕表型手势识别系统,本系统也可用于各种机电设备如家用电器、交通工具、工业机械、游戏娱乐设备、教学科研设备、医疗器械以及语音控制设备等的远程操控和虚拟操控。
背景技术
目前操控方式存在以下问题:(1)手机的控制设备有按键、触摸屏,电脑则用鼠标、键盘、手写板等控制,综合来看目前只应用了点击、拖动等简单动作。但是人对外界所有的机械、电脑、手机等实物工具的操作控制,都由手来完成,手作为人体主要的输出媒介,大部分的动作则还没有被开发使用;(2)当前大部分的机电设备,如数控机床、挖掘机械等工业机械、各种汽车等交通工具、冰箱电视等家用电器、游戏娱乐设备、教学科研设备、医疗器械甚至是未来应用的物联网设备,都是由手部动作控制,但操纵时,人都必须亲自用手来操纵,很难实现远程操控和虚拟操控,或者有些实现了远程控制,但不能便携使用,如果能实现便携的远程操控和虚拟操控,必定会带来新的技术进步和更大的发展前景;(3)虽然目前有些电子科技公司,使用了体感控制,以及一些手势控制方式,但由于设计本身的用来感测动作的传感器和摄像装置,固定在电脑或者桌面上,而人体经常会移动,这就造成了无法携带的使用困难,也失去了应用前景;(4)当前的一些手势识别装置,都是基于触摸屏幕,比如平板电脑和手机,它们能够采集的信息量很少,只占手部所有运动的一小部分。或者有些设备通过身体佩戴的方式识别手势,虽然提高了便携性,但会造成干扰识别的物体过多,图像不稳定,算法复杂等技术难题。如果要保证手势识别的信息完整性和准确性,系统就无法简化,设备体积较大,自然无法便携式使用。
发明内容
本发明的目的在于实现手势识别技术的小型化、便携化与算法的精简优化,提供一种通过基于腕上的摄像设备来简化手势动作识别的新系统。
本发明的技术方案是:
一种腕上手势操控系统和方法,其中,每套包括左手右手两个系统或者只使用单手的系统,包括腕表部分1,与上位机部分2协同工作,以对上位机进行操控,可选择佩戴的戒指部分3。参见附图1:硬件结构图,其中腕表部分1包括控制主模块4、手势摄像模块5、背光LED灯模块6、电源模块7和腕带反馈模块8,上位机部分2包括上位机9和第一无线通讯模块10,戒指部分3包括戒指反馈模块11;其中控制主模块4中还包括控制板卡12、第二无线通讯模块13、三轴加速度模块14、倾角模块15及控制按钮16。
进一步地,该系统中控制板卡12利用三轴加速度模块14与倾角模块15采集手腕运动轨迹和倾角,进行手腕坐标定位;利用位于手腕部的手势摄像模块5,参见附图2,采集手指指尖103坐标信息,进而确定当前手指相对手腕的动作;利用所述手腕坐标和所述手指坐标,最终实现手势动作的识别;通过第二无线通讯模块13将手势识别信息发送到设有第一无线通讯模块10的上位机9,实现对上位机9的控制。
进一步地,上位机9通过腕带反馈模块8和戒指反馈模块11,即安装在手腕腕带和手指戒指上的震动振子和/或收缩压力环,把对手势运动的反馈信息,传递给手部,模拟触觉感知。用户根据所述触觉感知,调整手势动作,实现闭环控制。而且具有触觉反馈功能的腕带和戒指,可以帮助老人、盲人、其他行动不便的残疾人、以及使用语音控制设备的用户,不用阅读,就能获得电子设备的反馈信息。
进一步地,所述手势摄像模块5可采用分体式结构,拆卸下来,安装在电源模块7的后方,或者使用导轨式,把手势摄像模块5沿着腕表带上的导轨,收缩到腕表部分1的上方。
进一步地,所述上位机9包括安装了第一无线通讯模块10,可实现虚拟操控或远程控制的手机、电脑、家用电器、交通工具、工业机械、游戏娱乐设备、教学科研设备、医疗器械以及语音控制设备等。
进一步地,该系统采用基于巡线原理的手指延伸算法。由于手势摄像模块5摄像时,位于手腕下方,拍摄的手势图像中位于图像上部的手掌根部101的运动范围很小,参见附图8,而且手指也是由手指根部关节到指尖,自上而下呈运动范围逐渐扩大的趋势而运动的。因此可以先判断手腕在图像中的位置,然后判断手指根部102的位置,巡着手指方向向下延伸,识别每一个手指关节,最后确定每个手指指尖103的位置坐标。
一种腕上手势操控方法,包括如下步骤:
S1.开机检测步骤;
S2.手势识别步骤;
S3.第二通信模块13将手势识别结果发送给第一通讯模块10,根据不同的手势对上位机9进行相应的操控;
其中,开机检测步骤S1包括:
S11.系统程序的自我检测;
S12.检测图像背景的对比度,根据检测结果进行模式选择,选择普通模式、打开背光LED灯或进行光圈调节中的任一;
S13.判断图像是否可分辨,倘是,进入手势识别步骤S2,倘否,继续进行模式选择步骤S12;
S14.确定手指原始位,确定用户手型与常用手势并记忆手势;
所述手势识别步骤S2包括:
S21.计算手指坐标,包括水平坐标x、垂直坐标y和手指到手腕原点的距离坐标r,其中,采用直角坐标系计算手指的水平坐标x和垂直坐标y,采用球面坐标系计算距离坐标r;
S22.识别手势动作。
附图说明
下面结合附图对本发明作进一步描述。
图1为本发明一种腕上手势操控系统和方法硬件结构的结构框图;
图2为本发明一种腕上手势操控系统和方法硬件结构的右手侧视图;
图3为本发明一种腕上手势操控系统和方法硬件结构的右手仰视图;
图4为本发明一种腕上手势操控系统和方法硬件结构的摄像模块平移之前的位置参照图;
图5为本发明一种腕上手势操控系统和方法硬件结构的右手俯视图;
图6为本发明一种腕上手势操控系统和方法的软件开机检测子程序流程图;
图7为本发明一种腕上手势操控系统和方法的软件识别子程序流程图;
图8为本发明一种腕上手势操控系统和方法的手势识别算法示例图。
具体实施方式
设计思路:手作为人体主要的输出媒介。工具的使用,产品的制作,都是手部复杂的动作完成的。如果能够把手部的运动信息全部采集下来,然后就能更加高效便捷的完成工作,甚至让机器模拟,实现无人化生产。主要难点是手部的动作复杂多变,但是如果以手腕为坐标原点,建立球面坐标系,手指的动作就是在相对于手腕的球面坐标系内运动,只要利用位于手腕下方的手势摄像模块5摄像,采集手指图像信息,处理模块完成手指指尖103的坐标定位,见附图8,整个手指的动作就知道了。这样就能得到以手腕为坐标原点,五个手指指尖的相对位置坐标。然后利用三轴加速度模块14,把手腕在三个坐标方向的加速度对时间做二次积分,再参考系统启动时手的原始位置,可以得到手腕坐标原点的运动轨迹,利用倾角模块15可以测量手腕的翻转方向。综上就可以精确计算出手腕的位置坐标与五个手指指尖的位置坐标。
为了提高在多种复杂情况下的识别准确性,本设计在硬件上,采用了手势摄像模块5,配合背光LED灯模块6补光与镜头光圈控制等方式进行光线辅助,保证采集的图像对比度在合适的测量范围内,能够获得手指坐标信息。再用三轴加速度模块14并结合倾角模块15实现手腕的精确定位。
在完成手势识别的基础上,可以根据应用需要,增加触觉反馈系统,就是利用腕表的腕带和五个手指戒指,加上震动振子和收缩压力环,可以给手触觉反馈。增加手指操纵的真实感,也能实现虚拟按键或虚拟键盘的点击触感,而且通过改变的振子频率和收缩压力环的压力,可以让用户知道手部受到的阻力大小。而且有触觉反馈功能的腕带和戒指,可以帮助老人、盲人、其他行动不便的残疾人以及使用语音控制设备的用户,不用阅读,就能获得电子设备的反馈信息。
本设计方案包括:硬件结构和程序框架。
本系统硬件结构,每套包括左手右手两个系统或者只使用单手的系统,包括腕表部分1与上位机部分2协同工作,以对上位机进行操控,和可选择佩戴的戒指部分3,参见附图1:硬件结构框图。其中腕表部分1包括控制主模块4、手势摄像模块5、背光LED灯模块6、电源模块7和腕带反馈模块8,上位机部分2包括上位机9和第一无线通讯模块10,戒指部分3包括戒指反馈模块11,参见附图2:右手侧视图,图3为右手仰视图,图5为右手俯视图。
其中控制主模块4中还包括控制板卡12、第二无线通讯模块13、三轴加速度模块14、倾角模块15及控制按钮16。
手势摄像模块5:用于采集手的实时图像数据,然后把图像数据发送给控制主模块4,根据具体使用的环境可以选择红外摄像模块,为了便于携带,手势摄像模块5可采用分体式结构,拆卸下来,安装在电源模块7的后方,或者使用导轨式,把手势摄像模块5沿着腕表带上的导轨,收缩到腕表部分1的上方;
背光LED灯模块6:能在背景昏暗时,给手势摄像模块提供照明;
电源模块7:为整个设备提供电力支持;
腕带反馈模块8:包括腕带震动振子和收缩压力环模块,在手腕内侧,安装电磁震动振子和/或收缩压力环模块,由控制主模块4发送的控制信号控制,电磁震动振子在手机里比较常用,收缩压力环则可以利用在戒指内嵌套由电机带动的小环来实现,因此把上位机对手部动作的反馈信息,传递给手部,触觉会让人体获得当前运动的阻力等信息,用户可用根据触觉感知调整手部动作,从而实现闭环控制;
戒指反馈模块11:在戒指内侧,安装收缩压力环,也可根据需要改为震动振子,通过控制主模块4控制,戒指反馈模块11模拟手指压力触觉,将上位机9对手部动作的反馈信息,传递给手指;
上位机9:包括可以安装第一无线通讯模块10并且提取其接收到的手指坐标信息的电子设备,比如可实现虚拟操控或远程控制的手机、电脑、家用电器、交通工具、工业机械、游戏娱乐设备、教学科研设备、医疗器械以及语音控制设备等;
第一无线通讯模块10:安装在上位机9上,包括无线接收部分,用来接收第二无线通讯模块13发送的常用手势信息和手指坐标信息,以及无线发送部分,用来发送上位机对手部的反馈信息;
控制板卡12:主要完成图像信号处理功能,对手势摄像模块5采集的数据信号进行处理,计算出五个手指的当前三维坐标数据,并控制系统中的其他模块工作;
第二无线通讯模块13:在腕表部分1上,用来和手机、电脑等上位机9通信,把手指的坐标数据发送给设有第一无线通讯模块10的手机、电脑或其他接收设备,以及接收来自上位机9的反馈信息;
三轴加速度模块14:用来获取整个手部的运动轨迹,通过利用手的原始位置与三个坐标方向加速度的二次积分,可以精确计算出手腕的位置坐标;
倾角模块15:根据手腕的倾斜角可以计算出手心的朝向,手指的方向;
控制按钮16:开关机、待机模式等的控制按钮。
程序框架包括开机检测子程序和识别子程序。
开机检测子程序:首先进行系统程序的自我检测,接着检测图像背景的对比度,进行模式选择,是普通模式、打开背光LED灯或是进行光圈调节,根据检测结果进行选择或进行相应调节,直到图像可分辨。然后确定手指原始位(即原始位置),确定用户手型与常用手势并记忆手势。由于儿童与成年人手型差别较大,有些人手型较粗壮肥胖,需要确定不同用户的手型。而且每个人都有自己的常用手势,一次使用过后,系统可以记忆下来方便用户以后直接调用。再次使用的用户,可以直接跳过检测部分。具体参见图6开机检测子程序流程图。
识别子程序:前面说过,如果利用手指的图像信息,建立以手腕为原点的球面坐标系,是最科学精确的,但是也增加了函数的计算复杂性。因此,在识别子程序编写时,也进行了改进,由于手部运动区域与摄像镜头成像区域都是类球面分布,为了便于计算,在二维画面上近似成直角坐标系计算,得到手指水平坐标x和垂直坐标y,仅对手指距离手腕原点的距离坐标r,采用球面坐标系。以下为如何计算出每个手指指尖的水平坐标x,垂直坐标y和距离坐标r。
可以通过多种常用方法得到上述手指水平坐标x和垂直坐标y,比如:
1、基于肤色检测的方法,由多幅已经标注的手指区域确定手指的颜色分布,然后利用分辨出的手指肤色,对图像进行检测,最后确定手指坐标。
2、基于跟踪的方法,首先标注第一帧中手指的真实位置,在局部区域提取特征,后面的各帧依次在前一帧真实位置附近搜索与前一帧特征最相似的区域,判定为手指区域,进而得到手指坐标。
本系统在以上两种方法基础上,又提出了一种新算法:基于巡线原理的手指延伸算法。由于手势摄像模块位于手腕下方,拍摄的手势图像中位于图像上部的手掌根部101的运动范围很小,参见附图8,而且手指也是由手指根部关节到指尖,自上而下呈运动范围逐渐扩大的趋势而运动的。因此可以先判断手腕在图像中的位置,然后再判断手指根部102的位置,巡着手指方向向下延伸,识别每一个手指关节,最后确定每个手指指尖103的位置坐标。
手指延伸算法:首先根据图像上端部分的分布区域和灰度值,与原先建立的手腕边缘模型和肤色模型相对比,找到相匹配的位置确定为手腕,记录为手掌根部101的基准坐标x、y,再向下进行手指根部102的识别,识别出手指根部102并记下当前坐标值,再继续向下巡线判断,按照掌根、指根、关节的顺序,逐步向手指指尖103延伸,直到识别到手指指尖103,返回最终的坐标值,即为手指指尖103的坐标。
手指到手腕原点的距离坐标r的计算比较复杂,因为摄像模块采集的手势图像是二维的图像,如果要获得三维的手指坐标信息,得到手指到原点的距离坐标r,就需要多摄像头定位,或者其他手指距离测量的方式,会造成系统过于复杂,数据庞大不便处理。而通过观察发现,手指在弯曲时,手指关节处会出现阴影,通过分辨上述阴影,可以用来判断距离。而且如果把手势摄像模块5的位置由原来的腕表中间部位,如附图4所示,向腕表下方边缘处平移,参见附图3,从与手指握合方向成一定倾斜角的方向拍摄,在手指弯曲时,二维图像中的手指也会呈现一定弯曲,根据弯曲的程度,可以判定出手指的位置。这样就能用简单的方法,分辨手指到手腕原点的距离坐标r。
通过上面的方法得到了手指的坐标,进而识别出手势,然后与常用手势对比,如果不是常用手势,则需要把坐标值发送给上位机,上位机一般是手机、电脑等电子产品,根据不同的手势进行不同的操作,实现了利用手势进行操控的目的,最后根据需要佩戴腕带、戒指,得到振子震动或者收缩压力环收缩的反馈信息,图7为识别子程序流程图。
为了实现便携式,算法进行了多处简化。实际操作中可以根据需要进行相应的调整,如果需要更高的精度,可以增加系统的复杂度,硬件上采用更高计算能力的模块,软件算法上增加手指坐标的精度。
本发明携带方法如图2,像手表一样带在手腕上,把手势摄像模块5与背光LED灯模块6露出来,不能被衣袖遮挡。戒指反馈模块11可以根据需要选择佩戴,如果不需要触觉反馈,可以不用佩戴。在复杂昏暗的灯光下,佩戴戒指反馈模块11,可以帮助控制主模块4进行准确的手势识别。
第一次使用时根据电脑演示的手势,使用者的手部也重复相同的动作,直到腕上手势操控系统,记忆下常用手势。当使用者再次使用时,就可以直接操控安装了第一无线通讯模块10的上位机9,例如电脑和手机,也可以发射手指坐标信息给其他安装了第一无线通讯模块10的电子设备,比如家用电器、交通工具、工业机械、游戏娱乐设备、教学科研设备、医疗器械以及语音控制设备等。上位机9利用采集的坐标信息在屏幕上显示虚拟手势,用户参考虚拟手势,控制按键或者做其他动作手势,实现远程控制和虚拟控制。
Claims (13)
1.一种腕上手势操控系统,其特征在于:包括腕表部分(1)和戒指部分(3),所述腕表部分(1)包括控制主模块(4)和位于手腕部的手势采集模块(5);所述控制主模块(4)包括三轴加速度模块(14)和倾角模块(15);所述手势采集模块(5)采集手指的图像;所述控制主模块根据所述手指的图像,得到以手腕原点为坐标原点,指尖(103)的相对位置坐标,确定相对手势识别信息,所述戒指部分(3)包括戒指反馈模块(11),把对手部动作的反馈信息,传递给手部,所述三轴加速度模块(14),用来获取手部的运动轨迹;控制主模块(4)通过利用三个坐标方向加速度的二次积分,计算出手腕的位置坐标;所述倾角模块(15),用于确定手腕的倾斜角;控制主模块(4)根据手腕的倾斜角,计算手心的朝向和/或手指的方向。
2.如权利要求1所述的腕上手势操控系统,其特征在于:所述腕上手势操控系统包括上位机部分(2),所述上位机部分(2)包括第一无线通讯模块(10)和上位机(9);控制主模块(4)包括第二无线通讯模块(13);腕表部分(1)通过第二无线通讯模块(13)和第一无线通讯模块(10)将手势识别信息发送到上位机(9),实现对上位机(9)的控制。
3.如权利要求1或2所述的腕上手势操控系统,其特征在于:所述腕表部分包括腕带反馈模块(8);上位机(9)通过腕带反馈模块(8),把对手部动作的反馈信息,传递给手部。
4.如权利要求1或2所述的腕上手势操控系统,其特征在于:所述戒指反馈模块(11)是震动振子和/或收缩压力环。
5.如权利要求3所述的腕上手势操控系统,其特征在于:所述腕带反馈模块(8)是震动振子和/或收缩压力环。
6.如权利要求1或2所述的腕上手势操控系统,其特征在于:所述腕表部分包括背光LED灯模块(6),给手势采集模块提供照明。
7.如权利要求1或2所述的腕上手势操控系统,其特征在于:手势采集模块(5)采用分体式结构。
8.如权利要求1或2所述的腕上手势操控系统,其特征在于:控制主模块(4)判断手腕在图像中的位置,然后判断手指根部(102)的位置,循着手指方向向下延伸,自上而下依序识别,识别每一个手指关节,最后确定每个手指指尖(103)的位置坐标。
9.如权利要求1或2所述的腕上手势操控系统,其特征在于:将手势采集模块(5)设于腕表部分(1)的下方边缘处,从与手指握合方向成一定倾斜角的方向拍摄,当手指弯曲时,控制主模块根据拍摄图像中手指呈现出的弯曲程度,采用球面坐标系计算手指到手腕原点的距离坐标r。
10.一种利用腕上手势操控系统操控上位机的腕上手势操控方法,其特征在于:所述腕上手势操控系统包括腕表部分(1)和戒指部分(3);其中,腕表部分(1)包括控制主模块(4)、三轴加速度模块(14)、倾角模块(15)和位于手腕部的手势采集模块(5),戒指部分(3)包括戒指反馈模块(11);所述方法包括手势采集模块(5)采集手指的图像;控制主模块(4)根据所述手指的图像计算指尖(103)位置坐标,进而确定当前手势识别信息,戒指反馈模块(11)把对手部动作的反馈信息,传递给手部,所述三轴加速度模块(14)获取手部的运动轨迹;控制主模块(4)通过利用三个坐标方向加速度的二次积分,计算出手腕的位置坐标;所述倾角模块(15)确定手腕的倾斜角;控制主模块(4)根据手腕的倾斜角,计算手心的朝向和/或手指的方向。
11.如权利要求10所述的腕上手势操控方法,其特征在于:所述腕上手势操控系统包括上位机部分(2),所述上位机部分(2)包括上位机(9);腕表部分(1)通过无线通讯将手势识别信息发送到上位机(9),实现对上位机(9)的控制。
12.如权利要求10或11所述的方法,其特征在于:所述方法包括判断手腕在图像中的位置,然后判断手指根部(102)的位置,循着手指方向向下延伸,自上而下依序识别,识别每一个手指关节,最后确定每个手指指尖(103)的位置坐标。
13.如权利要求10或11所述的方法,其特征在于:所述方法包括利用设于腕表部分(1)的下方边缘处的手势采集模块(5),从与手指握合方向成一定倾斜角的方向采集,当手指弯曲时,根据采集图像中手指呈现出的弯曲程度,采用球面坐标系计算手指到手腕原点的距离坐标r。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210097750.6A CN102915111B (zh) | 2012-04-06 | 2012-04-06 | 一种腕上手势操控系统和方法 |
PCT/CN2013/073706 WO2013149586A1 (zh) | 2012-04-06 | 2013-04-03 | 一种腕上手势操控系统和方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210097750.6A CN102915111B (zh) | 2012-04-06 | 2012-04-06 | 一种腕上手势操控系统和方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102915111A CN102915111A (zh) | 2013-02-06 |
CN102915111B true CN102915111B (zh) | 2017-05-31 |
Family
ID=47613509
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210097750.6A Active CN102915111B (zh) | 2012-04-06 | 2012-04-06 | 一种腕上手势操控系统和方法 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN102915111B (zh) |
WO (1) | WO2013149586A1 (zh) |
Families Citing this family (81)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8487759B2 (en) | 2009-09-30 | 2013-07-16 | Apple Inc. | Self adapting haptic device |
US10120446B2 (en) | 2010-11-19 | 2018-11-06 | Apple Inc. | Haptic input device |
CN102915111B (zh) * | 2012-04-06 | 2017-05-31 | 寇传阳 | 一种腕上手势操控系统和方法 |
US9178509B2 (en) | 2012-09-28 | 2015-11-03 | Apple Inc. | Ultra low travel keyboard |
CN104010125B (zh) * | 2013-02-22 | 2017-11-28 | 联想(北京)有限公司 | 电子设备和方法 |
US9092954B2 (en) * | 2013-03-15 | 2015-07-28 | Immersion Corporation | Wearable haptic device |
CN104102335B (zh) * | 2013-04-15 | 2018-10-02 | 中兴通讯股份有限公司 | 一种手势控制方法、装置和系统 |
WO2014171909A1 (ru) * | 2013-04-17 | 2014-10-23 | Stepanov Anton Valeriiovych | Устройство управления при помощи жестов |
CN103235646A (zh) * | 2013-05-14 | 2013-08-07 | 秦启力 | 前肢动作识别装置及其实现方法 |
CN104252243B (zh) * | 2013-06-27 | 2017-08-15 | 南京迈瑞生物医疗电子有限公司 | 一种手势操控医疗设备及其手势操控方法 |
CN103442129A (zh) * | 2013-08-09 | 2013-12-11 | 宇龙计算机通信科技(深圳)有限公司 | 智能手表与移动终端的交互方法及系统 |
US9293015B2 (en) * | 2013-09-09 | 2016-03-22 | Immersion Corporation | Electrical stimulation haptic feedback interface |
US20150084735A1 (en) * | 2013-09-25 | 2015-03-26 | Lenovo (Singapore) Pte. Ltd. | Wearable information handling device outputs |
CN105579928A (zh) * | 2013-09-27 | 2016-05-11 | 苹果公司 | 具有触觉致动器的带体 |
WO2015047343A1 (en) | 2013-09-27 | 2015-04-02 | Honessa Development Laboratories Llc | Polarized magnetic actuators for haptic response |
WO2015047364A1 (en) | 2013-09-29 | 2015-04-02 | Pearl Capital Developments Llc | Devices and methods for creating haptic effects |
WO2015047372A1 (en) | 2013-09-30 | 2015-04-02 | Pearl Capital Developments Llc | Magnetic actuators for haptic response |
US9317118B2 (en) | 2013-10-22 | 2016-04-19 | Apple Inc. | Touch surface for simulating materials |
CN103558915B (zh) * | 2013-11-01 | 2017-11-07 | 王洪亮 | 人体耦合智能信息输入系统及方法 |
CN103593053B (zh) * | 2013-11-22 | 2017-01-04 | 中国科学院深圳先进技术研究院 | 智能眼镜交互系统 |
CN106125904B (zh) * | 2013-11-26 | 2019-03-26 | 青岛海信电器股份有限公司 | 手势数据处理方法和手势输入设备 |
US10276001B2 (en) | 2013-12-10 | 2019-04-30 | Apple Inc. | Band attachment mechanism with haptic response |
CN104714631A (zh) * | 2013-12-12 | 2015-06-17 | 李庆华 | 腕上智能设备及其控制方法和系统 |
CN103706115A (zh) * | 2013-12-31 | 2014-04-09 | 成都有尔科技有限公司 | 基于智能穿戴设备的互动游戏系统 |
CN104777894A (zh) * | 2014-01-13 | 2015-07-15 | 联想(北京)有限公司 | 一种信息处理方法及穿戴式电子设备 |
CN104216351B (zh) * | 2014-02-10 | 2017-09-29 | 美的集团股份有限公司 | 家用电器语音控制方法及系统 |
CN103941860B (zh) * | 2014-03-31 | 2017-05-31 | 天津三星通信技术研究有限公司 | 腕带型便携式终端的手势识别系统及其方法 |
CN103943106B (zh) * | 2014-04-01 | 2017-01-25 | 北京豪络科技有限公司 | 一种手势语音识别的智能手环 |
DE112014006608B4 (de) | 2014-04-21 | 2024-01-25 | Apple Inc. | Verfahren, Systeme und elektronische Vorrichtungen zum Bestimmen der Kräfteaufteilung für Multi-Touch-Eingabevorrichtungen elektronischer Vorrichtungen |
DE102015209639A1 (de) | 2014-06-03 | 2015-12-03 | Apple Inc. | Linearer Aktuator |
CN104156070A (zh) * | 2014-08-19 | 2014-11-19 | 北京行云时空科技有限公司 | 一种人体智能输入体感操控系统及方法 |
WO2016036671A2 (en) | 2014-09-02 | 2016-03-10 | Apple Inc. | Haptic notifications |
CN104200143A (zh) * | 2014-09-04 | 2014-12-10 | 广东欧珀移动通信有限公司 | 通过穿戴设备为智能移动终端快速输入密码的方法及系统 |
US20160132642A1 (en) * | 2014-11-06 | 2016-05-12 | Raz Carmi | Device and method for monitoring food intake |
US11347316B2 (en) | 2015-01-28 | 2022-05-31 | Medtronic, Inc. | Systems and methods for mitigating gesture input error |
US10613637B2 (en) | 2015-01-28 | 2020-04-07 | Medtronic, Inc. | Systems and methods for mitigating gesture input error |
US10353467B2 (en) | 2015-03-06 | 2019-07-16 | Apple Inc. | Calibration of haptic devices |
AU2016100399B4 (en) | 2015-04-17 | 2017-02-02 | Apple Inc. | Contracting and elongating materials for providing input and output for an electronic device |
CN106293022A (zh) * | 2015-05-21 | 2017-01-04 | 中兴通讯股份有限公司 | 一种移动终端的输入方法及装置 |
CN104932691A (zh) * | 2015-06-19 | 2015-09-23 | 中国航天员科研训练中心 | 带有触觉感知反馈的手势实时交互系统 |
CN105138117A (zh) * | 2015-07-28 | 2015-12-09 | 百度在线网络技术(北京)有限公司 | 手腕式智能设备的交互系统和方法 |
DE102015216482A1 (de) | 2015-08-28 | 2017-03-02 | Robert Bosch Gmbh | Steuervorrichtung sowie Verfahren zum Steuern eines Flurförderfahrzeugs, Betriebsvorrichtung sowie Verfahren zum Betreiben eines Flurförderfahrzeugs und Kommissioniersystem |
CN106484087A (zh) * | 2015-09-02 | 2017-03-08 | 黄小明 | 一种便携遥测体感输入方法及装置 |
US10566888B2 (en) | 2015-09-08 | 2020-02-18 | Apple Inc. | Linear actuators for use in electronic devices |
CN105204639A (zh) * | 2015-09-21 | 2015-12-30 | 杭州攻壳科技有限公司 | 一种腕部设备的控制方法及腕部设备 |
CN105607758A (zh) * | 2015-09-22 | 2016-05-25 | 天脉聚源(北京)传媒科技有限公司 | 一种遥控视频播放的方法及装置 |
DE102015120687A1 (de) * | 2015-11-27 | 2017-06-01 | Jungheinrich Aktiengesellschaft | Verfahren zur Steuerung eines Flurförderzeugs über eine tragbare Funkbedieneinheit sowie ein solches Flurförderzeug |
CN106933341B (zh) * | 2015-12-31 | 2024-04-26 | 北京体基科技有限公司 | 一种在图像中确定手指所处区域的方法、装置及腕式设备 |
CN106933340B (zh) * | 2015-12-31 | 2024-04-26 | 北京体基科技有限公司 | 手势动作识别方法、控制方法和装置以及腕式设备 |
US10039080B2 (en) | 2016-03-04 | 2018-07-31 | Apple Inc. | Situationally-aware alerts |
US10268272B2 (en) | 2016-03-31 | 2019-04-23 | Apple Inc. | Dampening mechanical modes of a haptic actuator using a delay |
CN106200953A (zh) * | 2016-07-05 | 2016-12-07 | 乐视控股(北京)有限公司 | 无线戒指、戒指组合及其虚拟现实设备操控方法 |
CN106354415B (zh) * | 2016-10-08 | 2020-05-26 | 瑞安市辉煌网络科技有限公司 | 终端及其识别用户手势的方法 |
CN108073271A (zh) * | 2016-11-18 | 2018-05-25 | 北京体基科技有限公司 | 基于预定区域识别手部区域的方法及装置 |
CN106774917A (zh) * | 2016-12-27 | 2017-05-31 | 努比亚技术有限公司 | 终端控制装置、穿戴式设备、终端及终端控制方法 |
US10684693B2 (en) | 2017-03-02 | 2020-06-16 | Samsung Electronics Co., Ltd. | Method for recognizing a gesture and an electronic device thereof |
US10622538B2 (en) | 2017-07-18 | 2020-04-14 | Apple Inc. | Techniques for providing a haptic output and sensing a haptic input using a piezoelectric body |
CN107422799A (zh) * | 2017-08-07 | 2017-12-01 | 张傲龙 | 一种前臂式终端处理装置 |
CN107301415B (zh) * | 2017-08-08 | 2024-03-22 | 方超 | 手势采集系统 |
CN107817911B (zh) * | 2017-09-13 | 2024-01-30 | 杨长明 | 一种终端控制方法及其控制设备 |
CN107450672B (zh) * | 2017-09-19 | 2024-03-29 | 曾泓程 | 一种高识别率的腕式智能装置 |
CN108355357B (zh) * | 2018-05-08 | 2023-09-08 | 北京诺亦腾科技有限公司 | 固定手柄的转接器 |
TWI683237B (zh) | 2018-07-19 | 2020-01-21 | 宏碁股份有限公司 | 使用仿生韌帶之手勢感應系統 |
TWI672611B (zh) * | 2018-07-23 | 2019-09-21 | 宏碁股份有限公司 | 使用仿生韌帶之觸覺回饋系統 |
US10599223B1 (en) | 2018-09-28 | 2020-03-24 | Apple Inc. | Button providing force sensing and/or haptic output |
US10691211B2 (en) | 2018-09-28 | 2020-06-23 | Apple Inc. | Button providing force sensing and/or haptic output |
CN109358750A (zh) * | 2018-10-17 | 2019-02-19 | Oppo广东移动通信有限公司 | 一种控制方法、移动终端、电子设备及存储介质 |
CN109770489A (zh) * | 2019-01-31 | 2019-05-21 | 歌尔科技有限公司 | 应用于游戏手环的表带、游戏手环及游戏控制方法 |
CN110062167B (zh) * | 2019-04-28 | 2021-11-12 | 努比亚技术有限公司 | 一种联动拍摄控制方法、设备及计算机可读存储介质 |
CN111897413A (zh) * | 2019-05-06 | 2020-11-06 | 异起(上海)智能科技有限公司 | 一种虚拟现实、增强现实、融合现实手部操作方法及装置 |
US11380470B2 (en) | 2019-09-24 | 2022-07-05 | Apple Inc. | Methods to control force in reluctance actuators based on flux related parameters |
CN111580660B (zh) * | 2020-05-09 | 2022-03-18 | 清华大学 | 一种操作触发方法、装置、设备及可读存储介质 |
CN111766941B (zh) * | 2020-05-15 | 2021-11-09 | 中国科学院计算技术研究所 | 一种基于智能戒指的手势识别方法及系统 |
CN111667737A (zh) * | 2020-05-29 | 2020-09-15 | 同济大学 | 弹奏指法智能引导系统 |
CN112163863B (zh) * | 2020-12-02 | 2021-03-16 | 北京圣点云信息技术有限公司 | 一种基于静脉识别的智能交互方法及子母环智能交互设备 |
CN112894857B (zh) * | 2021-03-02 | 2024-04-09 | 路邦科技授权有限公司 | 一种医院临床辅助机器人的控键方法 |
US11977683B2 (en) | 2021-03-12 | 2024-05-07 | Apple Inc. | Modular systems configured to provide localized haptic feedback using inertial actuators |
US11809631B2 (en) | 2021-09-21 | 2023-11-07 | Apple Inc. | Reluctance haptic engine for an electronic device |
WO2023197475A1 (zh) * | 2022-04-15 | 2023-10-19 | 深圳波唯科技有限公司 | 电动装置的控制方法、控制装置及传感器 |
DE102022123085A1 (de) | 2022-09-12 | 2024-03-14 | Gestigon Gmbh | Am Körper eines Nutzers tragbare Rückmeldevorrichtung zum Empfangen von Infrarotlicht, System mit einer solchen Rückmeldevorrichtung und Verfahren zum Betreiben einer Rückmeldevorrichtung |
CN117690000A (zh) * | 2023-09-27 | 2024-03-12 | 中科迈航信息技术有限公司 | 一种基于人工智能的物联网数据交互方法及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101777250A (zh) * | 2010-01-25 | 2010-07-14 | 中国科学技术大学 | 家用电器的通用遥控装置及方法 |
US7983448B1 (en) * | 2006-06-02 | 2011-07-19 | University Of Central Florida Research Foundation, Inc. | Self correcting tracking of moving objects in video |
CN102368290A (zh) * | 2011-09-02 | 2012-03-07 | 华南理工大学 | 一种基于手指高级特征的手势识别方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100575906B1 (ko) * | 2002-10-25 | 2006-05-02 | 미츠비시 후소 트럭 앤드 버스 코포레이션 | 핸드 패턴 스위치 장치 |
CN102915111B (zh) * | 2012-04-06 | 2017-05-31 | 寇传阳 | 一种腕上手势操控系统和方法 |
CN202584010U (zh) * | 2012-04-06 | 2012-12-05 | 寇传阳 | 一种腕上手势操控系统 |
-
2012
- 2012-04-06 CN CN201210097750.6A patent/CN102915111B/zh active Active
-
2013
- 2013-04-03 WO PCT/CN2013/073706 patent/WO2013149586A1/zh active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7983448B1 (en) * | 2006-06-02 | 2011-07-19 | University Of Central Florida Research Foundation, Inc. | Self correcting tracking of moving objects in video |
CN101777250A (zh) * | 2010-01-25 | 2010-07-14 | 中国科学技术大学 | 家用电器的通用遥控装置及方法 |
CN102368290A (zh) * | 2011-09-02 | 2012-03-07 | 华南理工大学 | 一种基于手指高级特征的手势识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN102915111A (zh) | 2013-02-06 |
WO2013149586A1 (zh) | 2013-10-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102915111B (zh) | 一种腕上手势操控系统和方法 | |
CN202584010U (zh) | 一种腕上手势操控系统 | |
CN114341779B (zh) | 用于基于神经肌肉控制执行输入的系统、方法和界面 | |
Guo et al. | Human-machine interaction sensing technology based on hand gesture recognition: A review | |
CN105045398B (zh) | 一种基于手势识别的虚拟现实交互设备 | |
Wang et al. | Real-time hand-tracking with a color glove | |
Pavlovic et al. | Visual interpretation of hand gestures for human-computer interaction: A review | |
EP2904472B1 (en) | Wearable sensor for tracking articulated body-parts | |
CN109145802B (zh) | 基于Kinect的多人手势人机交互方法及装置 | |
CN111722713A (zh) | 多模态融合的手势键盘输入方法、设备、系统及存储介质 | |
CN105068662B (zh) | 一种用于人机交互的电子设备 | |
CN111857334A (zh) | 人体手势字母的识别方法、装置、计算机设备及存储介质 | |
CN107450672B (zh) | 一种高识别率的腕式智能装置 | |
KR20160039589A (ko) | 손가락 센싱 방식을 이용한 무선 공간 제어 장치 | |
Conci et al. | Natural human-machine interface using an interactive virtual blackboard | |
Abdallah et al. | An overview of gesture recognition | |
Rustagi et al. | Virtual Control Using Hand-Tracking | |
US20230280835A1 (en) | System including a device for personalized hand gesture monitoring | |
Chaudhary | Finger-stylus for non touch-enable systems | |
Dhamanskar et al. | Human computer interaction using hand gestures and voice | |
CN114296543A (zh) | 一种指尖力检测及手势识别的智能交互系统及智能指环 | |
CN104375631A (zh) | 一种基于移动终端的非接触式交互方法 | |
Giin et al. | Smart hand device gesture recognition with dynamic time-warping method | |
Babu et al. | Controlling Computer Features Through Hand Gesture | |
Das et al. | Hand Gesture-Based Recognition System for Human–Computer Interaction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
DD01 | Delivery of document by public notice |
Addressee: Kou Chuanyang Document name: Notification of an Office Action |
|
GR01 | Patent grant | ||
GR01 | Patent grant |