CN1510547A

CN1510547A - 手指识别及手的动作识别在键盘等输入工具中的运用

Info

Publication number: CN1510547A
Application number: CNA021583366A
Authority: CN
Inventors: 万发良
Original assignee: Individual
Current assignee: Individual
Priority date: 2002-12-21
Filing date: 2002-12-21
Publication date: 2004-07-07

Abstract

一种能够识别敲击的手指，及可能包括其移动方式的输入设备，通过扫描激光对敲击手的扫描，经数字电路分析位置传感器得到手指位置数据，以识别敲击的手指，并可能识别手的移动方式。其键值的产生可以由键盘或触摸屏产生的键位信号及手指识别信号，单独或联合确定，也可以由手的移动方式信号及手指识别信号单独或联合确定。使用本发明可以大大地减少键的数量。

Description

手指识别及手的动作识别在键盘等输入工具中的运用

所属技术领域

本发明涉及一种用于电子设备的数据输入技术，可以用于替代或完善键盘，也可以实现鼠标的功能。

背景技术

在传统的输入方式中，通常以下面的过程进行：输入人员识别待输入值的对应键的位置，然后用手指敲击或触摸该位置以触发输入信号，产生对应的键值。在这种方式下，如不考虑组合键，键值与键位一一对应，即数量相等，因此传统的输入设备需有大量的键位。所以导致输入设备的体积不可能缩小到满意的尺寸，特别是对于在便携电子设备上的运用。

发明内容

本发明运用光学定位技术，用光学位置传感器或CCD或CMOS确定手指位置并识别手指，以识别信号作为确定键值的依据。电子设备也可以同时识别正在执行输入动作的手指及手指的动作，如中指向前，无名指向后，右手的小指在敲击，等等。在这种方式下，单击可确定的键值数目＝键位的数量×可识别的手指数目，或者单击可确定的键值数目＝可识别的手指数目×可识别的手的移动方式，由第一个公式我们可知，在保持可观数量的可选择键值同时，键位数可最小为键值数目的十分之一，在以下的实施例1、例2中，我们可以看到在不降低输入速度、效率的情况下，键的数目大大减少。由第二公式可知，即使不存在键位，也即不存在键盘的情况下，也可实现输入。

附图说明

图1(A)、(B)为本发明的运作流程及数据流程。图2(A)、(B)为适用于本文列举的实施例的光束扫描范围。图3为适用于本发明的一种激光发生及扫描装置。图4为实施例1图。图5、6为实施例2图。图7为实施例3图。图8为斜向移动定义图。在所有的实施例中，位置传感器位于透镜之下，应为一组，透镜前可设滤光片，它们构成的装置3的数量和位置及角度和高度的设置应保证测量的需要。CCD及CMOS可以代替位置传感器。图4、5、6、7仅为平面示意图，主要为了解释键值映射，可能略去其他个或组的位置传感器。

具体实施方式

以下结合实施例1、例2、例3，说明本发明的实施方式。在以下例中，规定操作者的视线在键面或桌面上的投影为Y轴，方向向前。X、Y轴皆位于或平行键盘平面上或桌面上。

可以认为在敲击后的短时间内，如1/5秒内手指是静止的，如果此时对手指进行连续扫描，则可得到全部手指的位置数据，因为手指的长度不同，所以一次扫描不能保证得到全部手指的位置数据，需调整方向进行反复扫描。因此对扫描方向作如下规定：第一行扫描的起始行由敲击手指的位置确定，以后偏离若干角度进行扫描，扫描的频率规定在1/5秒内扫描5到10行或更多，显然较多的行数使发生误判的可能性变小，以上的数字都是可调整的。它们决定了识别发生误差的概率。如图2(A)、2(B)在图中21为扫描起始端口，25为扫描起始方向，26为结束方向，27为扫描方向，28为手指的活动区域，完成一行扫描后，调整扫描角度，继续扫描。扫描装置根据现有技术有马达驱动装置，晶体震荡组件，可变折射率晶体。扫描的范围根据手与扫描镜的距离及手的活动范围确定，应保证需识别的手指都能被扫描。

图3为激光发生及扫描装置图20、激光发射器，21、扫描射出区，22、会聚透镜，23、驱动马达，24、反射镜，本图仅为示意，它的样式为成熟技术。图4为实施例1采用的输入键盘的平面图，图4的键盘中有9个键，它实际上是移动电话键盘的一部分。图中1、键盘，2、激光发射及扫描装置的射出端，3、位置传感器的接受端透镜4、键帽。其中，键帽可以构成识别输入动作发生装置。2、3构成识别敲击手指装置。

当一手指敲击某一键时，启动了识别程序及扫描设备在随后的一段时间内如五分之一秒或更短，CPU对位置传感器得到的数据进行处理。扫描设备开始扫描，为提高效率，可以直接从被敲击位置起扫描，扫描完一行后，根据位置数据的连续性从1计数，不连续则加1，计数为4则停，否则继续下一行扫描。或按以下方式，遇到第一障碍物时，计数器由0加1，变为1，并记录此时反射点的位置数据，当光斑信号消失时，也即扫描光束扫描到手指间隙时，记录此时的位置数据，由此可以得到第一手指的两个边缘数据，计数器处于待加状态，当再次扫描到障碍物的时候，计数器加1变为2，并且记录位置数据，依前述计数及记录方案，完成一行扫描后，当记数器的数据小于4时，即扫描到低于4个手指时，开始下一行的扫描，计数器置为0，按前述方式扫描记数，直至某一行次扫描完成后，计数器为4才停止扫描，(注意：在本方案中，不识别拇指，因为拇指在这种输入方式使用得较少，所以只需计数器为4，如果拇指参与操作，拇指的识别有其特征，它是第1个被扫描到的手指，并且继续扫描显然得不到其他手指的位置数据，或者它是第5个被扫描到的手指，位置数据不同于之前设别到的数据)，由此可以得到4组手指的位置数据，每一组对应于手指的两个边缘位置数据，4个手指依次为食指、中指、无名指、小指，(假定本实施采用右手输入)，然后将预存的键的位置数据与手指位置数据对比，键的X方向的坐标应大于敲击手指的一侧边缘坐标，小于另一侧坐标，因为操作者敲击的手指通常平行于视线，所以可得以上结论，实际操作过程中，如果手指倾斜的不过分，则寻找边缘数据最接近于键的位置数据的手指，这种方案通常也不会发生错误。

在得到键位的信号及手指的识别信号后，CPU根据键值映射表确定键值。

在图4中，键上的数字为单手持机输入值，在单手持机时，输入手指为拇指，识别结果只能得到一只手指且手指的宽度非常大，实际上为拇指长度的倾斜投影，并且无法的到两个以上的手指位置数据，由此可识别出单手持机，分配键值时按键上数字分配。如果左手持机，右手输入，键值的映射采用以下的方案，用食指、中指、无名指敲击时，分别对应于键之下的三个英文字母中的第一、第二、第三个，“9”键只需分配两个，用小指敲击时，分配其它特殊符号，当然键值映射方案是灵活的。

图5为实施例2图，本实施例中，允许其他键的存在，本图只说明其中的部分。图中1、键盘，2、激光发射及扫描装置的射出端，3、位置传感器的接受端透镜4、键

在本例中，不允许双手有交叉动作。与实施例1不同的是，本实施例将识别确定十个手指的位置，采用例1识别方式将发生困难。现规定在图5中虚线的左侧为左手的活动区域，右侧为右手的活动区域。规定第一列及第二列键为左手专用键，第三、第四列为右手专用键，图中虚线过扫描端2平行于Y轴当第一、第二列键被敲击时，扫描的区域为从起始方向至虚线的角度。当第三、第四列被敲击时，扫描区域为虚线的角度至结束的角度。起始角度和结束角度为如图2。识别手指的方法接近例1，区别是第一列及第二列键被敲击时，只扫描左手区域，识别左手的四个或五个手指，第三列及第四列键被敲击时，只扫描右手区域，识别右手的四个或五个手指。

图5中，键的下面的字符依次对应相应顺序的手指。左手键区依次对应左小指，左无名指，左中指，左食指，右手键区依次对应右食指、中指、右无名指、右小指。在本实施例中，操作方式完全类似于传统键盘的盲打。

图6为识别大拇指字符对应表，与图5相比，第二列键及第三列键皆被略去。“5”、“T”、“G”、“B”对应左手拇指的敲击，“6”、“Y”、“H”、“N”键对应左手拇指的敲击。拇指的识别有其特征，它是第1个被扫描到的手指，并且继续扫描显然得不到其他手指的位置数据，或者它是第5个被扫描到的手指，位置数据不同于之前设别到的数据。

在此引入组合键的定义，以上的敲击皆为单击。如果以敲击的键位为起始扫描行，第一行扫描光线只扫描到一只手指。假如两只或以上的手指触碰到键，则第一行扫描光线可扫描到2个或以上的手指，因此可以赋予不同的键值。

图7为实施例3图。5、2、8为激光发生器扫描装置；9、3、7为位置传感器及透镜的可能位置；61为底座。

其中，5、9可构成识别输入发生装置；2、3可构成识别手指装置，7、8构成识别手的移动方式装置。5只产生平行61即支持底座的光束，即只产生一行扫描光束。5与61放置在桌面上时，因为5距61的距离较低(如1mm)，所以当规定手指敲击桌面时，其它手指被合理地抬高，因此5射出的光束，经手指反射得到的光点被9探测到，触发一次识别输入动作并且得到敲击手指的位置数据(X₀，Y₀)。这个数掘也可作为确定键值的依据。

在本实施例中，2，3构成的识别手指装置，确定手指的位置及识别敲击手指方法类同实施例1、例2。本实施例中2的扫描光束被反射后3可以确定各手指的位置。识别手指时，将手指的位置数据与(X₀，Y₀)对比，以识别敲击的手指。

本实施例中，采用例2的规定双手活动区域的方法，活动区域的界线为由2在键面的投影点平行于Y轴在桌面上直线。通常即为Y轴。

5发射的光线持续扫描，当反射物即手指抬离桌面，9失去反射光斑，确认设备进入待输入状态，再次得到反射光斑后，确认下一次输入。否则为特殊状态，在特殊状态下，不启动2扫描光束，或者即使启动2的扫描光束，如识别到的手指与上次识别的手指为同一手指，不确认输入。

这里所说的移动是指手指在两次敲击之间的移动或敲击前的移动，在合理的运动状态中，单手的各部位的运动方向及位移基本一致，因此可将某一手指或某一部位位移作为单手的位移，例如在1/10移内，设置扫描速度，使在每1/10秒内，对手指进行足够的扫描，每一次扫描我们都可能得到每个手指的两个边缘的位置数据，足够多次扫描能够得多组位置数据，对坐标求平均值，即得到手指位置数据。另一种方法是，取两个标志物如指环，分别固定在左右手上，它们的表面有涂层，对扫描光有反射效应或者能自然反射色光，它们的位置显然是可识别的，将它们固定在手指的固定位置上，以它们的位移作为手指的位移。

如前述，手的某手指或某部位的位置是可以连续测定的，则它的短期内的位移也是可以确定的，以此作为手的移动方式的定义的依据。在本实施例中，对手的移动方式进行定义，可定义有以下几种位移方式，无位移，向上位移，向下位移，左平移，右平移，向上大距离位移，斜向移动等。手的移动方式的定义根据敲击动作发生前手沿相同方向移动的移动方向及位移量确定。

向上、向下、向左、向右的含义是显然的，所谓向前是指手沿Y轴方向运动，位移量大于合理的数值，如1-2厘米，角度偏差在合理的范围内如左右15度。向下、向左、向右分别指逆Y轴、逆X轴、顺X轴方向运动，位移量大于合理的数值，角度偏差不超过15度。在向上的方向上连续位移大于合理的数字，如5cm，为向上大距离位移，手指角度偏差同上，无位移，是指位移量小于合理的数值，如2厘米。斜向的位移是指方向如图8的阴影部位，位移大于合理的数值，如2厘米。可以定义四种方向，左上，左下，右上，右下。需要指出的是以上的定义及数据规定是灵活的，根据易掌握性而定。CPU根据识别的移动方式和敲击手指赋值。以上的定义方式，是为了移植在传统键盘上盲打的习惯。

当手指无位移敲击时，对应左手小指、无名指、中指、食指的敲击，定义对应“A”、“S”、“D”、“F”键，对应于右手食指、中指、无名指、小指的敲击，定义对应“J”、“K”、“L”、“；”键，当左手食指右移敲击，对应“G”键，当右手食指左移敲击，对应“H”键，即无位移敲击加左移、右移敲击对应传统键盘字母键区第二排。当手指向上位移敲击时，对应于左手小指、无名指、中指、食指的敲击，对应“Q”、“W”、“E”、“R”键，对应于右手食指、中指、无名指、小指的敲击，定义对应“U”、“I”、“O”、“P”键，即向上位移敲击时，对应传统字母键区第一排除“T”、“Y”键，“T”、“Y”二键可以斜移敲击对应。当手向下位移敲击时，对应于左手小指、无名指、中指、食指的敲击，定义对应“Z”、“X”、“C”、“V”键，对应于右手食指、中指、无名指、小指的敲击，定义对应“M”、“，”、“.”、“/”键，“B”、“N”键可以由斜向位移对应。即向下位移敲击，对应传统键盘字母区最下一行。字母键区上的数字键可对应于向上大步位移，10个手指对应10个数字。通过以上的定义方式，10个数字键、26字母键都能得到对应于某种动作和手指。其他的常用键，如回车，空格，可用前述的组合键对应。

如前介绍，当某一手指敲击桌面不抬高，设为特殊状态，不启动扫描光束，因此手指在桌面拖动时，不识别位移方向及位移量，待手指移动到合适的位置，再抬高执行敲击动作，而不会使识别发生误判，否则，比如手指移到舒适的位置后，执行无位移操作，将被识别为有位移的操作。此种操作方法类似子鼠标抬高桌面，然后再放下，光标不会移动。

在本实施例中，设置了更多的激光扫描设备以及位置传感器，分别识别输入发生，敲击手的移动方式，以及识敲击手指。

在本实施例中，不存在键盘，操作者仅需关注使用正确的手指和合理地移动手，而不必使手指对准某一键位，在按照上述合理地定义键值后，手指的敲击及移动方式非常接近于盲打的操作习惯。

实例中可以合并使用某些装置，如5、9可以代替7、8、2、3，当然5应该能够上下调整扫描角度。

如果连续识别手指的位置，可以以手指的移动比例对应与光标的移动，可以代替鼠标。

在本发明中，考虑到手指姿态的灵活性，考虑到手指之间不仅在X轴的方向上有间隙，而且在Y方向的位置也有差距，同一手指的扫描光斑在Y轴上的坐标是相当接近的，因此比对扫描光斑的Y轴方向坐标的变化也可以将手指与其它手指区别开，然后再进行识别。同时对于可能发生的手指合拢问题，可以设置合理的手指宽度数据，从而将合拢的手指识别为两个手指，然后再定位并识别单个手指。

本发明对手指的识别是灵活的，如果某一手指是已确定的，那么可以对其左边及右边的手指也是易于识别及定义输入值的，如前述的替代鼠标的装置，中指作为定位的手指，其移动对应于光标的移动，于是中指左边的手指的敲击可以定义为左击，右边手指的敲击定义为右击。

以上所述的实现键值输入和光标的定位方法显然可以共用一套光束发生及扫描装置和位置传感器，可用软件或硬件设置在键值输入和光标定位之间切换。

为了提高识别准确度，可以设置多组扫描装置和位置传感器。

位置传感器得到的位置数据中，显然背景物，如键面或桌面及人体的除手以外的器官，是易于区分并剔除。

除位置传感器外，CMOS或CCD都可以用于确定手指位置和识别手指。

可以采用光学成像的方式得到手指的位置数据并识别手指，成像元件为CCD或CMOS，CPU对图像数据进行二值化处理后，再得到手指轮廓数据或直接扫描读取像素数据(方法类似于前述的激光扫描并计数)，得到手指的位置数据，再与敲击的键位比对，以识别敲击手指。在这种方式下，可以不需激光发生和扫描。可以设置镜头与感光元件的距离是可调节的。

无论是用物理扫描还是数字图像处理，为提高识别效率和准确度，可以通过识别被敲击键位左或右的手指数量以识别敲击手指。

扫描和识别的速度应保证足够快的响应，使连续敲击成为可行。

Claims

1、一种电子数据输入装置，用于电子设备的数据输入或光标定位，其特征为，键值或位置数据的确定由以下三个装置的识别信号单独或联合确定：识别输入动作发生装置确认的键位信号或手指位置数据，识别敲击手指及确定各手指位置的装置的识别信号，识别手的移动方式的装置的识别信号。

2、根据权利要求1确定的识别输入动作发生的装置，其特征为，可以为键盘、触摸屏传统的输入设备，当其键或键位被敲击或触碰后，开始一次确认输入的动作，并且启动扫描装置开启数字电路开始一次识别手指的程序，并且传递被触击的键的键位信号。

3、根据权利要求1确定的识别输入动作发生装置，其特征为，可以为激光发生及扫描装置，透镜，位置传感器或CCD或CMOS组成，激光束被设置以合适的高度平行于某平面扫描，当手指敲击该平面时，位置传感器或CCD或CMOS检测到反射信号后，开始一次确认输入的动作，并且确定该手指的位置数据，并且启动扫描装置启发数字电路开始一次识别手指及识别手的移动方式的程序传递位置数据。

4、根据权利要求1确认的识别敲击手指及确定手指位置的装置，其特征为，由一个或以上的激光发生及扫描装置，一个或几个透镜，一组或以上的位置传感器或CMOS或CCD，数字电路组成。

5、根据权利要求4确认的数字电路，其特征为，由CPU对位置传感器或CCD或CMOS得到手指及手指间隙的位置数据、手指位置数据在设定方向上的变化、手指的宽度进行分析，并与识别输入动作发生装置得到的敲击手指位置数据进行对比，以识别敲击手指，电路应设置模数转换单元，CPU及存储单元可以使用所嵌入设备的元件。

6、根据权利要求1确认的识别手的移动方式装置，其特征为，由一个或以上的激光发生及扫描装置，一个或几个透镜，一组或以上的位置传感器或CMOS或CCD，数字电路组成。

7、根据权利要求6确认的数字电路，其特征为，由CPU对由位置传感器等得到的手指或手的某一固定部位或和附着物位置数据进行分析，以确定手的移动方向和移动距离，根据预先定义产生识别信号，移动方向和移动距离的确定不考虑Z方向的数据，敲击动作不影响识别信号，电路应设置模数转换单元，CPU及存储单元可以使用所嵌入设备的元件。

8、根据权利要求4或6确认的激光发生及扫描装置，其特征为：由激光发生器，可选的透镜，控制电路，机械驱动装置或晶体震荡扫描驱动组件，可选的反射镜或折射镜组成，由发生器发生的细束激光经机械驱动装置或晶体震荡扫描驱动组件将光束在以下范围内二维扫描，当手指及手掌距扫描反射镜适当距离时，在一个维度上扫描范围能涉及到单手或双手的全部手指，在一个垂直的维度上，光束能以适当的角度实现换行扫描。

9、根据权利要求1确认的识别手的移动方式装置，其特征为，可以在手指的固定位置设置有标志物，通过确定标志物位置移动方式来确定手的移动方向和距离。