CN105824431B - 信息输入装置与方法 - Google Patents
信息输入装置与方法 Download PDFInfo
- Publication number
- CN105824431B CN105824431B CN201610407561.2A CN201610407561A CN105824431B CN 105824431 B CN105824431 B CN 105824431B CN 201610407561 A CN201610407561 A CN 201610407561A CN 105824431 B CN105824431 B CN 105824431B
- Authority
- CN
- China
- Prior art keywords
- finger
- thumb
- remaining
- information
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
Abstract
本发明公开一种信息输入装置与方法。根据本发明的信息输入装置,包括:手指位置捕捉单元,其佩戴在用户的拇指上,用于对拇指的指肚与其余四指的相对运动和相对位置进行捕捉;手势检测单元,用于根据手指位置捕捉单元所捕捉的拇指的指肚与其余四指的相对运动和相对位置来检测用户的手势;信息识别单元,用于基于预先确定的映射关系,将手势检测单元所检测到的手势识别为输入信息。所述信息识别单元通过线缆或无线信号连接到信息处理装置,从而将识别的输入信息发送至所述信息处理装置,用于处理接收到的输入信息以在电子设备上输入相应字符或执行相应命令。根据本发明,用户能够以简单方便的手势操作而进行复杂而全面的信息输入。
Description
技术领域
本发明涉及电子设备,更具体地涉及电子设备的信息输入装置与方法。
背景技术
近年来,随着电子设备小型化的发展,原来配备在电子设备上的键盘渐渐不再成为电子设备的标配,取而代之的是虚拟键盘或语音输入等不占设备空间的非物理设备。
然而,目前语音输入技术还处于发展阶段,其识别结果距离人们真正所需的效果还存在一定差距,并且,某些场合语音输入并不方便。此外,目前的虚拟键盘技术都是在电子设备的显示器上显示键盘,由于显示器也不能太大,因此所显示的虚拟键盘各个按键都不大,用户很容易按错按键。尽管有些虚拟键盘并非全字母的QWERT键盘,而是用一个键表示两个或更多的输入候选字符,但这样的输入使得用户操作十分麻烦,而且也同样会由于空间狭小的问题而出错。也有在物体表面投射键盘的,但是不能随时随地使用,比如不便在行走中使用。
因此,需要一种信息输入装置与方法,能够使得用户能够以简单方便的方式操作,进行复杂而全面的信息输入。
发明内容
本发明的目的在于提供一种信息输入装置与方法,能够使得用户能够以简单方便的手势进行操作,进行复杂而全面的信息输入。
根据本发明的第一方面,提供一种信息输入装置,包括:手指位置捕捉单元,其佩戴在用户的拇指上,用于对拇指的指肚与其余四指的相对运动和相对位置进行捕捉;手势检测单元,用于根据手指位置捕捉单元所捕捉的拇指的指肚与其余四指的相对运动和相对位置来检测用户的手势;信息识别单元,用于基于预先确定的映射关系,将手势检测单元所检测到的手势识别为输入信息。
优选地,在所述的信息输入装置中,所述手指位置捕捉单元、所述手势检测单元和所述信息识别单元集成在一起,外形为指环状,套在用户的拇指上。
或者,在所述的信息输入装置中,所述手指位置捕捉单元、所述手势检测单元和所述信息识别单元分别置于不同位置,通过线缆或无线信号进行连接。
优选地,在所述的信息输入装置中,所述手指位置捕捉单元包括以下一个或多个传感器:光学摄像头、电磁波雷达、声学传感器、激光雷达、超声波传感器、表面波雷达、电流计。
优选地,在所述的信息输入装置中,拇指的指肚与其余四指的相对运动包括滑动与敲击中的至少一个。
当拇指的指肚与其余四指的相对运动为滑动时,所述手势检测单元分别将拇指的指肚沿其余四指的每一指的滑动以及在其余四指中任意两指之间的滑动检测为相应的手势,且所述信息识别单元基于预先确定的映射关系,分别将上述手势识别为相应的输入信息。
当拇指的指肚与其余四指的相对运动为敲击时,所述手势检测单元分别将拇指的指肚在其余四指的每一指的各个关节或指节上的敲击检测为相应的手势,且所述信息识别单元基于预先确定的映射关系,分别将上述手势识别为相应的输入信息。
优选地,所述手势检测单元根据以下因素中的一个或多个来判断拇指的指肚与其余四指的相对运动为滑动或敲击:
(1)拇指的指肚与其余四指中任意一指的相对距离;
(2)手指的抖动;
(3)手指皮肤表面颜色或膨胀变化;
(4)表面波的变化;
(5)声波或超声波的变化
(6)手指皮肤表面电流的变化,
以上各因素分别由一个或多个的传感器进行检测。
根据本发明的第二方面,提供一种信息输入方法,包括:由佩戴在用户的拇指上的手指位置捕捉单元对拇指的指肚与其余四指的相对运动和相对位置进行捕捉;根据手指位置捕捉单元所捕捉的拇指的指肚与其余四指的相对运动和相对位置来检测用户的手势;基于预先确定的映射关系,将所检测到的手势识别为输入信息。
根据本发明的第三方面,提供一种电子设备,包括:如本发明第一方面所述的信息输入装置;信息处理装置,用于从所述信息输入装置接收输入的信息,并将接收到的输入信息处理为在电子设备上输入相应字符或执行相应命令;显示装置,用于根据信息处理装置的处理结果,显示相应的字符或相应的命令。
根据本发明的技术,用户使用同一只手的手指互相接触的方式来进行输入。这样的输入方式利用了人的自身姿态感知的能力。用户通常不需要额外训练就可以甚至在闭眼的情况下准确的用拇指触碰其他手指指尖,因此,稍加练习,用这种输入方法的输入速度就可以超过触摸屏和键盘输入方法。
此外,本发明的技术还特别适合于晃动或者不便将手放于视线中的场合。
根据本发明的技术,使得用户能够以简单方便的手势进行操作,进行复杂而全面的信息输入。
附图说明
下面参考附图结合实施例说明本发明。在附图中:
图1是图示说明用户佩戴根据本发明的信息输入装置的示意图。
图2是图示说明其余四指上的虚拟键位的布置的示意图。
图3是手指位置捕捉单元所捕捉的画面的一个示例。
图4是手指位置捕捉单元所捕捉的画面的另一个示例。
图5是图示说明从指环到用户其余四指的距离的一个示例。
图6是图示说明从指环到用户其余四指的距离的另一个示例。
图7是图示说明从指环到用户其余四指的距离的又一个示例。
图8是根据本发明的信息输入装置的示意框图。
图9是根据本发明的信息输入方法的流程图。
图10是包括根据本发明的信息输入装置的电子设备的示意框图。
具体实施方式
下面将结合附图来详细解释本发明的具体实施例。
根据本发明,只需要在拇指上佩戴一个装有传感器的指环,就可以监测多种手指的动作,主要是拇指和其他四根手指的互动,经系统识别处理后,作为控制指令发送给其他装置。
下面结合附图和实施例对本发明做进一步的说明,说明都以左手为例,右手同理。
图1是图示说明用户佩戴根据本发明的信息输入装置的示意图。如图1所示,信息输入装置外形为指环状,可以套在用户的拇指上。
图1的指环上设有例如光学摄像头的手指位置捕捉单元,还可以设有其他传感器以及开关等。指环进行手势识别所需的电源、数据处理系统、显示系统、信号传输系统可以集成在指环中,也可以布置在腕带或者手表中,通过线缆或无线信号和指环相连,从而减少指环的体积和重量。指环(及其附属的腕带或手表),可以自身集成其他功能,例如智能手机,也可以通过线缆或无线信号连接到电子设备。
使用中,指环佩戴在拇指手指的第二个指节上,摄像头朝向指尖方向,如图1所示。
本发明主要监测同一只手拇指和其他四根手指的相互动作,这些动作大多发生在手虚握拳的情况下,这时,食指、中指、无名指、小指形成一个弧形面,设这个面为手坐标系的XY平面,四个手指的指向为X轴,向上为Y轴。放松状态下的大拇指,呈指向XY平面的姿势,垂直于XY面的方向为Z轴,指向为大拇指所指方向。
由于拇指的第一个关节(靠近指尖的第一个关节,后文所述关节和指节顺序均从指尖数起),只能向一个方向转动,即Y轴上下方向。当拇指伸直时,拇指指尖的指向,和指环的Z轴指向一致,拇指第一个关节的运动,也在摄像头的视野之内,而且只限于Y轴方向。
所以,拇指伸直时拇指指尖和其他四指的相对位置关系,和拇指上指环和其他四指的相对位置关系,是完全对应的,拇指指尖弯曲带来的变化,也在摄像头的视野之内,可以由摄像头监测到而做出修正。
XY轴的工作可以通过一个光学摄像头(可见光或红外光)、电磁波雷达、声学传感器、激光雷达、电流计、超声波传感器或表面波雷达来扫描手指。在本发明的叙述中,以光学摄像头为例。随着拇指的移动,摄像头视野内的手指画面也会相应移动,通过对画面中手指的轮廓和关节的褶皱进行识别,可以判断判断出各个手指的指节和关节在画面中的位置,对这些指节和关节进行持续的跟踪,可以判断出拇指和其他手指在X轴和Y轴两个方向的相对位置和相对运动。
根据本发明的一个实施例,结合相对位置来判断相对运动是滑动还是敲击。
对于实现按键功能,准确判定拇指和其他手指的敲击,是很重要的。通过距离传感器,可以判断拇指和其他手指的距离。再通过其他传感器,可以监测拇指敲击其他手指发出的声音和振动,包括通过皮肤传播的声波和通过空气传播的声波。下文中将会对此进行详细描述。
通过指环上的传感器监测指环和其他四根手指在XY面以及Z轴的相对位置关系,以及通过指环对监测到的拇指第一关节动作进行的修正,就可以监测到拇指和其他四根手指之间的相互动作,这些动作可以转化为XY面上两个方向的移动以及Z轴方向的移动,一共三个自由度。
这三个自由度方向动作的数据,足够用来和大多数现有的计算设备进行交互,例如代替鼠标,XY方向对应鼠标指针移动,Z方向对应鼠标点击。或者代替触摸屏,XY方向对应手指移动,Z方向用来判断是悬空移动,还是接触屏幕移动。
同时,也可以有更适用于手指动作的操作方式,例如:把食指、中指、无名指、小指当做四段触控条。通过拇指指肚在这四根手指上的接触,具体为敲击和滑动,来输入指令。
图2是图示说明其余四指上的虚拟键位的布置的示意图。左手食指、中指、无名指、小指各有三个指节两各个关节,这些位置如图2中虚线圆圈所示,指环可以识别拇指敲击这些部位,从而使它们作为键盘使用,左手20个位置(如图2所示),右手20个位置,形成40个按键的键盘,可以容纳26个英文字母、10个数字和其他功能。某些情况下,不需要太多按键数目时,也可以通过软件切换为只使用各个手指三个指节的位置,形成12个键的键盘,左右手共24个。
对应不同功能时,可以采用不同的键位。
显示设备上可以根据拇指和其他手指的相对位置对应显示虚拟的键盘和代表拇指位置的指针,辅助使用者点击按键。
大多人都可以闭着眼睛准确的用拇指敲击自己手指上的不同位置,因此,不同于固定尺寸的物理键盘或者触摸屏上虚拟键盘,手大手小的人使用起来一样方便。
可以通过识别拇指指肚敲击这些位置来作为按键输入,也可以识别拇指在这些位置上滑动来作为输入。例如:播放歌曲或视频时拇指在食指滑动调节音量,在中指滑动调节时间,在无名指滑动换下一个文件。在浏览图片时,在食指滑动放大缩小图片,在中指滑动换下一张图片。在至少两个指头之间进行滑动,以实现数值选取或垂直滚动条的滚动。在小指上滑动,以实现水平滚动条的滚动。此外,可以将食指、中指、无名指、小指的三个关节对应为转轮,由此来实现滚动的输入。
下面,通过具体的实施例来介绍怎样识别这些动作。
实施例1:
在指环上设置有一个广角摄像头,以及一个距离传感器。
广角摄像头的视角大到大多数时间里视野内都能看到其他四根手指。
通过识别手指指节内侧的褶皱和手指弯曲,可以识别每根手指的三个指节,将其分为三段指骨两个关节,共五个位置可以作为按键。
通过摄像头拍摄到的画面上拇指指肚和其他四根手指的相对位置,如图3和图4所示,可以判断拇指在XY平面方向的移动。图3是手指位置捕捉单元所捕捉的画面的一个示例。图4是手指位置捕捉单元所捕捉的画面的另一个示例。
但是不易判断拇指和其他手指在Z轴方向的距离,不容易区分出拇指是悬空移动(例如,可以是无意义的手势)还是接触其他手指移动(例如,可以是滑动或敲击的手势)。
图3和图4模拟摄像头的画面。由于是广角镜头,画面会有一些变形。
通过距离传感器(例如超声波、电容感应、双摄像头测距、激光测距等其他方式),监测指环和食指、中指、无名指、小指的距离,从而判断拇指和其他四根手指的距离,即拇指在Z轴的位移。图5是图示说明从指环到用户其余四指的距离的一个示例。指环检测到前方物体距离D大于指环到拇指指尖的距离,则判定拇指没有可能接触其他手指。反之,图6是图示说明从指环到用户其余四指的距离的另一个示例。指环检测到前方物体距离小于指环到拇指指尖的距离,则判定拇指有可能和其他手指接触。图7是图示说明从指环到用户其余四指的距离的又一个示例。但是,在此情况,实际上拇指与其他手指没有接触,所以还需要配合摄像头画面判断。
拇指指肚接触其他手指的充分必要条件是摄像头拍摄到的画面上拇指指肚在其他手指上方并且相连,如图6所示,同时距离传感器监测到前边手指的距离足够小(这个距离根据拇指指肚在其他手指正上方时测量得出,因人而异)。
前文提到过,处理系统会根据摄像头画面中手指和褶皱来确定四根手指和关节的位置,通过追踪这些手指和关节在画面中的移动,也就可以判断拇指正下方的位置(通常也就是摄像头的画面中心),是那个手指的哪节指骨或者哪个关节。
同时,由于拇指敲击时,画面会出现快速的上下(Y方向抖动),通过实现的设定,可以由处理系统记住这个抖动的速度范围、幅度范围和频率范围。从而和通常的移动区别开,可以用于辅助判定拇指的敲击。
如图3和图4,根据上下两帧画面的差异,可以判断拇指向下移动了。某根手指不在画面内的时候,处理系统会根据之前的资料来定位保持在画面中的手指,以保证始终追踪正确。
这样,结合敲击的判定和对手指关节位置的追踪,本实施例可以实时监测拇指手指何时敲击其他哪根手指的哪个部位,以及在某根手指上向哪个方向以哪个速度移动,从而做为指令,控制电子设备的输入。
实施例2:
仍在指环上设置广角摄像头,摄像头的视角大到大多数时间里视野内都能看到其他四根手指。
通过识别手指指节内侧的褶皱和手指弯曲,可以识别每根手指的三个指节,将其分为三段指骨两个关节,共五个位置可以作为按键。
通过摄像头拍摄到的画面上拇指指肚和其他四根手指的相对位置,如图3和图4所示,可以判断拇指在XY平面方向的移动。
在指环上设置表面波雷达,在拇指接触其他手指时的雷达回波会和拇指处于悬空状态时有明显的变化,通过这种变化就可以判断拇指是否接触其他手指,配合判断XY轴移动方向的摄像头或雷达,就可以实现类似键盘和触控板的功能。
实施例3:
仍在指环上设置广角摄像头,摄像头的视角大到大多数时间里视野内都能看到其他四根手指。
通过识别手指指节内侧的褶皱和手指弯曲,可以识别每根手指的三个指节,将其分为三段指骨两个关节,共五个位置可以作为按键。
通过摄像头拍摄到的画面上拇指指肚和其他四根手指的相对位置,如图4和图5所示,可以判断拇指在XY平面方向的移动。
在指环上设置声学传感器或超声波传感器,在拇指敲击其他手指时,皮肤表面会产生振动波,声波传感器根据分析监测到的皮肤表面振动和空气传播声来判定拇指在敲击其他手指,而不是悬空移动,由于指纹,拇指在其他手指上滑动时也会产生特定的声音和皮肤振动,声学传感器或超声波传感器同样可以通过监测这些振动来判定拇指在滑动而不是悬空移动。
根据以上的实施例,基本阐述了本发明产生信息输入的原理。下面将具体结合图8和图9来详细描述根据本发明的信息输入装置和信息输入方法。
图8是根据本发明的信息输入装置的示意框图。
如图8所示,根据本发明的信息输入装置800包括:手指位置捕捉单元801,其佩戴在用户的拇指上,用于对拇指的指肚与其余四指的相对运动和相对位置进行捕捉;手势检测单元802,用于根据手指位置捕捉单元801所捕捉的拇指的指肚与其余四指的相对运动和相对位置来检测用户的手势;信息识别单元803,用于基于预先确定的映射关系,将手势检测单元802所检测到的手势识别为输入信息。
在本发明的一个优选实施例中,所述手指位置捕捉单元801、所述手势检测单元802和所述信息识别单元803可以集成在一起,外形为指环状,套在用户的拇指上,如图1中所示。
此外,所述手指位置捕捉单元801、所述手势检测单元802和所述信息识别单元803也可以分别置于不同位置,通过线缆或无线信号进行连接。例如,只有手指位置捕捉单元801置于指环上,套在用户的拇指上。
根据本发明,所述手指位置捕捉单元801包括以下一个或多个传感器:光学摄像头、电磁波雷达、声学传感器、激光雷达、超声波传感器、表面波雷达、电流计。根据本发明的优选实施例,手指位置捕捉单元801是一个成像单元,例如用光学摄像头来实现。但本领域技术人员应该理解,手指位置捕捉单元801也可以由其他传感器来实现。例如,通过电磁波雷达、声学传感器、激光雷达、超声波传感器、表面波雷达、电流计中的一个或多个,也可以准确地捕捉拇指的指肚与其余四指的相对运动和相对位置,从而实现信息输入。
此外,本发明还可以包括陀螺仪等检测整个手的移动的传感器(例如速度传感器或加速度传感器)。这样,在手势检测单元802检测用户的手势时,其不仅仅根据手指位置捕捉单元801所捕捉的拇指的指肚与其余四指的相对运动和相对位置,而且还可以根据整个手部的大范围的移动。例如,用户的手势可能是在移动手掌的同时又有手指的细微动作。本发明的手势检测单元802也检测这样的手部整体运动与手指动作相组合的用户手势。
根据本发明的实施例,拇指的指肚与其余四指的相对运动可以包括滑动与敲击中的至少一个。
如在前文中所提到的,拇指的悬空移动可以被认为是无意义的手势,而拇指如果接触其他手指移动,则可以是滑动或敲击的手势。本领域技术人员应该理解,尽管在本发明的具体实施例中,拇指的悬空移动可以被认为是无意义的手势,但本发明并不排除拇指的悬空移动在某些情况或某些实施例中有意义,即这样的情况也包括在本发明的范围之内。
当拇指的指肚与其余四指的相对运动为滑动时,所述手势检测单元802分别将拇指的指肚沿其余四指的每一指的滑动以及在其余四指中任意两指之间的滑动检测为相应的手势,且所述信息识别单元803基于预先确定的映射关系,分别将上述手势识别为相应的输入信息。例如,如前所述,播放歌曲或视频时,拇指沿着食指滑动来调节音量,沿着中指滑动调节时间,沿着无名指滑动换下一个媒体文件。在浏览图片时,沿食指滑动放大缩小图片,沿中指滑动换下一张图片。此外,在至少两个指头之间进行滑动,以实现数值或内容的选取(例如,在输入年份、月份、日期时滚动选取,或者在选择选项时滚动选取)或垂直滚动条的滚动。在小指上滑动,以实现水平滚动条的滚动。
尽管在上文中,将滑动描述为在至少两个指头之间进行滑动,然而,本领域技术人员应当理解,在一根指头上的Y方向进行运动也可以被认为是滑动。识别滑动的方式可以是各种各样的,本发明的实施例中的描述并不影响本发明的范围。换句话说,将在一根指头上Y方向进行的运动识别为滑动也包括在本发明的范围之内。下文将针对在一根指头上的滑动进行进一步描述。
当拇指的指肚与其余四指的相对运动为敲击时,所述手势检测单元802分别将拇指的指肚在其余四指的每一指的各个关节或指节上的敲击检测为相应的手势,且所述信息识别单元803基于预先确定的映射关系,分别将上述手势识别为相应的输入信息。如图2所示,可以在单手的四个手指上实现多个键位,双手则实现更多的键位,从而实现QWERT全键盘的配置。当然,为了用户能准确输入,键位的排布也可以不那么紧密,从而避免错误输入的发生。
本领域技术人员应当理解,除了以上两种情况以外,还可能存在在其余四指的每一指的各个关节或指节上的滑动(如上文所提及的)。例如,可以把食指、中指、无名指、小指的三个关节对应为转轮;因此,在相应位置上进行Y方向滑动意味着转动转轮,由此可以根据显示设备上的显示而选择相应数值或内容。
此外,滑动还可以是在四指形成的平面上顺时针或逆时针方向画圈,从而表达某种特定的输入信息。
所述手势检测单元802可以根据以下因素中的一个或多个来判断拇指的指肚与其余四指的相对运动为滑动或敲击:
(1)拇指的指肚与其余四指中任意一指的相对距离;
(2)手指的抖动;
(3)手指皮肤表面颜色或膨胀变化;
(4)表面波的变化;
(5)声波或超声波的变化;
(6)手指皮肤表面电流的变化,
以上各因素分别由一个或多个的传感器进行检测。
对于是否接触,可以通过距离传感器来判断拇指的指肚与其余四指中任意一指的相对距离。在判断形成接触了之后,则可以进一步确定相对运动是滑动还是敲击。
此外,也可以不用判断接触,而直接判断是否形成敲击或滑动。
判断是否形成敲击或滑动的方法可以包括:当发生敲击或滑动时,手指会发生抖动,可以通过手指位置捕捉单元801,例如摄像头或其他传感器来捕捉这样的抖动。
此外,如实施例2和3中所述,可以使用表面波雷达和声波或超声波传感器来检测手指上的表面波的变化或声波或超声波的变化,从而判断是否存在敲击或滑动。
除了以上实施例中提到过的检测方法,还可以通过手指图像的颜色或膨胀变化(例如通过摄像头来检测)、手指皮肤表面电流的变化(例如通过通用或特殊的电流计来检测)来判断是否存在敲击或滑动。
这些检测判断方法可以使用一个或多个传感器来实现。这些传感器可以都集成在指环上,即与手指位置捕捉单元801集成在一起,或本身就是手指位置捕捉单元801所属的传感器。
图9是根据本发明的信息输入方法的流程图。如图9所示,根据本发明的信息输入方法900开始于步骤901,在此步骤,由佩戴在用户的拇指上的手指位置捕捉单元对拇指的指肚与其余四指的相对运动和相对位置进行捕捉。
接着在步骤903,根据手指位置捕捉单元所捕捉的拇指的指肚与其余四指的相对运动和相对位置来检测用户的手势。
在步骤905,基于预先确定的映射关系,将所检测到的手势识别为输入信息。随后方法900结束。
如前文所述,根据本发明的信息输入装置可以是电子设备(例如计算设备)的一部分。图10是包括根据本发明的信息输入装置的电子设备的示意框图。
如图10所示,根据本发明的电子设备1000包括:如图8所示的信息输入装置800;信息处理装置1010,用于从所述信息输入装置800接收输入的信息,并将接收到的输入信息处理为在电子设备1000上输入相应字符或执行相应命令;显示装置1020,用于根据信息处理装置1010的处理结果,显示相应的字符或相应的命令。
信息输入装置800、信息处理装置1010、显示装置1020之间的连接可以通过线缆或无线信号。例如,信息输入装置800可以设置为指环,套在用户的拇指上;而信息处理装置1010可以设置在腕带上或者智能手机(即电子设备1000)上,与信息输入装置800通过导线或者通过无线信号进行连接;显示装置1020也可以设置在腕带或腕表或者智能手机上,与信息处理装置1010可以集成在一起,也可以通过导线或通过无线信号进行连接。
根据本发明,一方面,用户可以在显示装置1020上查看自己通过信息输入装置800所输入的信息是否准确;另一方面,用户可以在显示装置1020的指导下进行输入,从而完成更加精确、复杂和全面的输入。
以下总结本发明的几个重要特点:
1、将手指位置捕捉单元(形成为指环)佩戴在用户拇指上。这样做的目的是使得各种传感器距离手指更近,从而更加准确地检测手指之间的相对位置与相对运动。特别是,将光学摄像头佩戴在用户拇指上,从而形成了一个独特的视角,可以更好地利用其余四指所形成的平面来进行输入。而且,形成为指环的方式十分简便,并没有给用户增加额外的负担。
2、利用四指的指节和关节,可以形成不同的键位,从而满足全键盘、多字符、高准确率输入的需要。对于QWERT的需求,可以用双手来实现全键盘;对于减少错误输入率的需求,可以通过减小四指键位布置的紧密度来实现。
3、利用光学摄像头、表面波雷达、声波雷达等手段来检测手指上的抖动,从而判断手指间的敲击或滑动的手势。
4、利用各种传感器的检测信号,将拇指的指肚与其余四指之间的相对运动和相对位置相结合,识别出各种不同手势,从而最终转换为不同的输入信息。
5、除了上面所述的检测拇指的指肚与其余四指之间的相对运动和相对位置的传感器外,本发明还可以包括陀螺仪等检测整个手的移动的传感器(例如速度传感器或加速度传感器)。这样,在检测用户的手势时,不仅仅根据拇指的指肚与其余四指的相对运动和相对位置,而且还可以根据整个手部的大范围的移动。例如,用户的手势可能是在移动手掌的同时又有手指的细微动作。本领域技术人员应当理解,检测这样的手部整体运动与手指动作相组合的用户手势也在本发明的范围之内。
根据本发明的技术,用户使用同一只手的手指互相接触的方式来进行输入。这样的输入方式利用了人的自身姿态感知的能力。用户通常不需要额外训练就可以甚至在闭眼的情况下准确的用拇指触碰其他手指指尖,因此,稍加练习,用这种输入方法的输入速度就可以超过触摸屏和键盘输入方法。
此外,本发明的技术还特别适合于晃动或者不便将手放于视线中的场合。
根据本发明的技术,使得用户能够以简单方便的手势进行操作,进行复杂而全面的信息输入。
除了以上的描述,还可以参考如下的补充注释。
补充注释1:本发明要求保护一种手指位置检测装置,所述装置为适于佩戴在大拇指上使用的指环状,所述装置包括处理器、存储器、传感器以及发送器,所述存储器用于存储处理器可执行指令,所述处理器执行所述指令时用于根据所述传感器检测到的手指位置信号生成待发送信号,并通过所述发送器将所述待发送信号输出。
补充注释2:根据补充注释1所述的手指位置检测装置,其中,所述处理器用于根据所述传感器检测到的手指位置信号确定拇指与至少一根其他手指的位置关系,并根据所述位置关系生成所述待发送信号。
补充注释3:根据补充注释1或2所述的装置,其中,所述传感器包括用于监测拇指与至少一根其他手指的相对位置的传感器。
补充注释4:根据补充注释3所述的装置,其中,所述用于监测拇指与至少一个其他手指的相对位置的传感器包括光学摄像头、电磁波雷达、声学传感器、激光雷达、声呐、表面波雷达中的至少一种。
补充注释5:根据补充注释3所述的装置,其中,所述传感器还包括用于监测拇指敲击所述至少一根其他手指的传感器。
补充注释6:根据补充注释5所述的装置,其中,所述用于监测拇指敲击所述至少一根其他手指的传感器包括声学传感器。
补充注释7:根据补充注释3所述的装置,其中,所述传感器还包括用于监测拇指悬空还是接触其他手指的传感器。
补充注释8:根据补充注释5所述的装置,其中,所述用于监测拇指悬空还是接触其他手指的传感器包括表面波雷达或声波传感器。
补充注释9:根据补充注释2所述的方法,其中,所述存储器还用于存储所述位置关系与虚拟按键的映射关系;所述处理器用于根据所述位置关系以及所述位置关系与虚拟按键的映射关系确定所述位置关系对应的虚拟按键,并根据所述位置关系对应的虚拟按键生成所述待发送信号。
补充注释10:本发明还要求保护一种信息输入方法,通过适于佩戴在大拇指上使用的指环状手指位置检测装置识别拇指与至少一根其他手指的位置关系,并根据所述位置关系确定输入的信息。
补充注释11:根据补充注释10所述的方法,其中,还包括
设置所述位置关系与虚拟按键的映射关系;
存储所述映射关系;
其中,所述根据所述位置关系确定输入的信息包括:根据所述位置关系以及所述映射关系确定所述位置关系对应的虚拟按键。
补充注释12:根据补充注释11所述的方法,其中,所述设置所述位置关系与虚拟按键的映射关系包括:把食指、中指、无名指、小指对应为四段触控条。食指、中指、无名指、小指各有三个指节两个关节,将它们对应为五个键位。食指、中指、无名指、小指的三个关节对应为转轮。
补充注释13:根据补充注释11所述的方法,其中,所述通过适于佩戴在大拇指上使用的指环状手指位置检测装置识别拇指与至少一根其他手指的位置关系包括:检测手指位置信号;根据所述手指位置信号确定拇指与至少一根其他手指的位置关系。
补充注释14:根据补充注释13所述的方法,其中,所述检测手指位置信号包括:通过光学摄像头采集手指图像,识别并追踪图像中手指和关节的位置,从而判断拇指和其他手指的位置关系。
上面已经描述了本发明的各种实施例和实施情形。但是,本发明的精神和范围不限于此。本领域技术人员将能够根据本发明的教导而做出更多的应用,而这些应用都在本发明的范围之内。
Claims (9)
1.一种信息输入装置,包括:
手指位置捕捉单元,其佩戴在用户的拇指上,用于对拇指的指肚与其余四指的相对运动和相对位置进行捕捉;
手势检测单元,用于根据手指位置捕捉单元所捕捉的拇指的指肚与其余四指的相对运动和相对位置来检测用户的手势;
信息识别单元,用于基于预先确定的映射关系,将手势检测单元所检测到的手势识别为输入信息,
其中,拇指的指肚与其余四指的相对运动包括滑动与敲击。
2.如权利要求1所述的信息输入装置,其中,所述手指位置捕捉单元、所述手势检测单元和所述信息识别单元集成在一起,外形为指环状,套在用户的拇指上。
3.如权利要求1所述的信息输入装置,其中,所述手指位置捕捉单元、所述手势检测单元和所述信息识别单元分别置于不同位置,通过线缆或无线信号进行连接。
4.如权利要求1所述的信息输入装置,其中,所述手指位置捕捉单元包括以下一个或多个传感器:光学摄像头、电磁波雷达、声学传感器、激光雷达、超声波传感器、表面波雷达、电流计。
5.如权利要求1所述的信息输入装置,其中,当拇指的指肚与其余四指的相对运动为滑动时,所述手势检测单元分别将拇指的指肚沿其余四指的每一指的滑动以及在其余四指中任意两指之间的滑动检测为相应的手势,且所述信息识别单元基于预先确定的映射关系,分别将上述手势识别为相应的输入信息。
6.如权利要求1所述的信息输入装置,其中,当拇指的指肚与其余四指的相对运动为敲击时,所述手势检测单元分别将拇指的指肚在其余四指的每一指的各个关节或指节上的敲击检测为相应的手势,且所述信息识别单元基于预先确定的映射关系,分别将上述手势识别为相应的输入信息。
7.如权利要求1所述的信息输入装置,其中,所述手势检测单元根据以下因素中的一个或多个来判断拇指的指肚与其余四指的相对运动为滑动或敲击:
(1)拇指的指肚与其余四指中任意一指的相对距离;
(2)手指的抖动;
(3)手指皮肤表面颜色或膨胀变化;
(4)表面波的变化;
(5)声波传播或超声波回波的变化;
(6)手指皮肤表面电流的变化,
以上各因素分别由一个或多个的传感器进行检测。
8.一种信息输入方法,包括:
由佩戴在用户的拇指上的手指位置捕捉单元对拇指的指肚与其余四指的相对运动和相对位置进行捕捉;
根据手指位置捕捉单元所捕捉的拇指的指肚与其余四指的相对运动和相对位置来检测用户的手势;
基于预先确定的映射关系,将所检测到的手势识别为输入信息,
其中,拇指的指肚与其余四指的相对运动包括滑动与敲击。
9.一种电子设备,包括:
根据权利要求1所述的信息输入装置;
信息处理装置,用于从所述信息输入装置接收输入的信息,并将接收到的输入信息处理为在电子设备上输入相应字符或执行相应命令;
显示装置,用于根据信息处理装置的处理结果,显示相应的字符或相应的命令。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610407561.2A CN105824431B (zh) | 2016-06-12 | 2016-06-12 | 信息输入装置与方法 |
PCT/CN2017/083775 WO2017215375A1 (zh) | 2016-06-12 | 2017-05-10 | 信息输入装置与方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610407561.2A CN105824431B (zh) | 2016-06-12 | 2016-06-12 | 信息输入装置与方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105824431A CN105824431A (zh) | 2016-08-03 |
CN105824431B true CN105824431B (zh) | 2018-12-04 |
Family
ID=56532057
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610407561.2A Active CN105824431B (zh) | 2016-06-12 | 2016-06-12 | 信息输入装置与方法 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN105824431B (zh) |
WO (1) | WO2017215375A1 (zh) |
Families Citing this family (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105824431B (zh) * | 2016-06-12 | 2018-12-04 | 齐向前 | 信息输入装置与方法 |
CN107995965A (zh) * | 2016-09-29 | 2018-05-04 | 深圳市柔宇科技有限公司 | 控制方法、控制装置及智能穿戴设备 |
CN106569610A (zh) * | 2016-11-09 | 2017-04-19 | 李飞洋 | 一种通过大拇指弯曲度检测实现电子设备输入功能的方法 |
US10579151B2 (en) * | 2017-01-04 | 2020-03-03 | Htc Corporation | Controller for finger gesture recognition and method for recognizing finger gesture |
CN108459703A (zh) * | 2017-03-21 | 2018-08-28 | 周晋 | 基于指纹识别、运动传感的vr或ar人机交互方案和设备 |
GB2574786B (en) * | 2017-10-12 | 2020-12-02 | Wexler David | Electronic body percussion |
CN107632716B (zh) * | 2017-11-07 | 2024-03-08 | 王可攀 | 一种输入信息处理装置及其处理输入信息的方法 |
CN108088437B (zh) * | 2017-12-04 | 2021-01-19 | 成都思悟革科技有限公司 | 一种依托动作捕捉的智能辅助锻炼系统 |
CN108459709B (zh) * | 2018-02-02 | 2021-06-22 | 河南大学 | 基于光学图像捕捉与处理的可穿戴式输入装置及方法 |
CN108415571A (zh) * | 2018-03-08 | 2018-08-17 | 李飞洋 | 一种基于大拇指运动引起的数据分析的体感设备实现方法 |
RU2765237C2 (ru) * | 2018-03-16 | 2022-01-27 | Дмитрий Леонидович Раков | Способ ввода информации и устройство для его осуществления |
CN110442228A (zh) * | 2018-05-02 | 2019-11-12 | 宏碁股份有限公司 | 手势输入装置 |
CN108873715A (zh) * | 2018-07-04 | 2018-11-23 | 深圳众厉电力科技有限公司 | 基于手势识别的智能家居控制系统 |
CN110968181B (zh) * | 2018-09-29 | 2023-07-18 | 深圳市掌网科技股份有限公司 | 一种手指弯曲程度检测装置及方法 |
CN109240508B (zh) * | 2018-09-30 | 2020-01-24 | 清华大学 | 手背皮肤形变还原手指运动方法 |
JP2020086939A (ja) * | 2018-11-26 | 2020-06-04 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
CN109814712B (zh) * | 2019-01-09 | 2022-01-25 | 成都大学 | 一种基于虚拟交互装置的手势识别系统 |
CN109947245A (zh) * | 2019-03-12 | 2019-06-28 | 合肥工业大学 | 用于操作腕表式设备的手指动作指令集及其生成方法 |
CN110377155B (zh) * | 2019-07-11 | 2022-11-18 | 成都思悟革科技有限公司 | 一种基于用户手势的控制装置及控制指令生成方法 |
CN110658889A (zh) * | 2019-09-23 | 2020-01-07 | 上海闻泰信息技术有限公司 | 可穿戴设备控制方法、装置、设备及存储介质 |
CN111124129B (zh) * | 2019-12-26 | 2023-10-27 | 何强 | 一种建立操作手指触元的方法 |
US11397468B2 (en) | 2020-03-31 | 2022-07-26 | Apple Inc. | Skin-to-skin contact detection |
US11397466B2 (en) | 2020-03-31 | 2022-07-26 | Apple Inc. | Skin-to-skin contact detection |
CN113741699A (zh) * | 2021-09-15 | 2021-12-03 | 刘志超 | 一种基于智能戒指的手势输入设备及其系统、方法 |
CN114690905A (zh) * | 2022-03-30 | 2022-07-01 | 歌尔股份有限公司 | 一种手势控制方法、系统、装置、可穿戴产品及介质 |
WO2023236052A1 (zh) * | 2022-06-07 | 2023-12-14 | 北京小米移动软件有限公司 | 输入信息确定方法、装置、设备及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104157116A (zh) * | 2014-06-26 | 2014-11-19 | 京东方科技集团股份有限公司 | 智能戒指及可佩戴智能显示系统 |
CN104484037A (zh) * | 2014-12-12 | 2015-04-01 | 三星电子(中国)研发中心 | 通过可穿戴设备进行智能控制的方法及该可穿戴设备 |
CN104503576A (zh) * | 2014-12-22 | 2015-04-08 | 山东超越数控电子有限公司 | 一种基于手势识别的计算机操作方法 |
CN104503573A (zh) * | 2014-12-16 | 2015-04-08 | 苏州佳世达电通有限公司 | 手势操作方法及手势操作装置 |
CN204317706U (zh) * | 2013-07-25 | 2015-05-13 | 上海科斗电子科技有限公司 | 陀螺仪指环 |
CN105630157A (zh) * | 2015-11-27 | 2016-06-01 | 东莞酷派软件技术有限公司 | 控制方法及控制装置、终端和控制系统 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8743052B1 (en) * | 2012-11-24 | 2014-06-03 | Eric Jeffrey Keller | Computing interface system |
CN103246349B (zh) * | 2013-04-03 | 2017-02-08 | 汕头大学 | 穿戴式手指感应无线通信的输入方法及其使用该方法的装置 |
CN105824431B (zh) * | 2016-06-12 | 2018-12-04 | 齐向前 | 信息输入装置与方法 |
-
2016
- 2016-06-12 CN CN201610407561.2A patent/CN105824431B/zh active Active
-
2017
- 2017-05-10 WO PCT/CN2017/083775 patent/WO2017215375A1/zh active Application Filing
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN204317706U (zh) * | 2013-07-25 | 2015-05-13 | 上海科斗电子科技有限公司 | 陀螺仪指环 |
CN104157116A (zh) * | 2014-06-26 | 2014-11-19 | 京东方科技集团股份有限公司 | 智能戒指及可佩戴智能显示系统 |
CN104484037A (zh) * | 2014-12-12 | 2015-04-01 | 三星电子(中国)研发中心 | 通过可穿戴设备进行智能控制的方法及该可穿戴设备 |
CN104503573A (zh) * | 2014-12-16 | 2015-04-08 | 苏州佳世达电通有限公司 | 手势操作方法及手势操作装置 |
CN104503576A (zh) * | 2014-12-22 | 2015-04-08 | 山东超越数控电子有限公司 | 一种基于手势识别的计算机操作方法 |
CN105630157A (zh) * | 2015-11-27 | 2016-06-01 | 东莞酷派软件技术有限公司 | 控制方法及控制装置、终端和控制系统 |
Also Published As
Publication number | Publication date |
---|---|
CN105824431A (zh) | 2016-08-03 |
WO2017215375A1 (zh) | 2017-12-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105824431B (zh) | 信息输入装置与方法 | |
US11099655B2 (en) | System and method for gesture based data and command input via a wearable device | |
Lee et al. | Interaction methods for smart glasses: A survey | |
Kratz et al. | HoverFlow: expanding the design space of around-device interaction | |
US10511778B2 (en) | Method and apparatus for push interaction | |
EP2717120B1 (en) | Apparatus, methods and computer program products providing finger-based and hand-based gesture commands for portable electronic device applications | |
CN202584010U (zh) | 一种腕上手势操控系统 | |
JP5802667B2 (ja) | ジェスチャ入力装置およびジェスチャ入力方法 | |
CA3051912C (en) | Gesture recognition devices and methods | |
KR100630806B1 (ko) | 동작 인식 장치를 이용한 명령 입력 방법 | |
US10042438B2 (en) | Systems and methods for text entry | |
US20090262074A1 (en) | Controlling and accessing content using motion processing on mobile devices | |
CN102915111A (zh) | 一种腕上手势操控系统和方法 | |
CN104571521B (zh) | 手写记录装置和手写记录方法 | |
WO2003046706A1 (en) | Detecting, classifying, and interpreting input events | |
CN104254816A (zh) | 数据输入装置 | |
Bergström et al. | Human--Computer interaction on the skin | |
US11886643B2 (en) | Information processing apparatus and information processing method | |
US20080068195A1 (en) | Method, System And Device For The Haptically Controlled Transfer Of Selectable Data Elements To A Terminal | |
Liang et al. | DRG-Keyboard: Enabling subtle gesture typing on the fingertip with dual IMU rings | |
WO2003003185A1 (en) | System for establishing a user interface | |
KR101211808B1 (ko) | 동작인식장치 및 동작인식방법 | |
TWI536794B (zh) | 具非接觸式手部控制功能之行動電話 | |
Lik-Hang et al. | Interaction methods for smart glasses | |
Lik-Hang et al. | Interaction Methods for Smart Glasses: A Survey |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |