CN1570960A - 一种以手指动作识别为基础的输入装置 - Google Patents

Abstract

一种能够识别敲击的手指，及可能包括其移动方式的输入设备，通过扫描激光对敲击手的扫描，经数字电路分析位置传感器得到手指位置数据，以识别敲击的手指，并可能识别手的移动方式。其键值的产生可以由手的移动方式信号及手指识别信号单独或联合确定。使用本发明可以实现无键盘输入。

Description

一种以手指动作识别为基础的输入装置

所属技术领域

本发明涉及一种用于电子设备的数据输入技术，可以用于替代或完善键盘，也可以实现鼠标的功能。

背景技术

在传统的输入方式中，通常以下面的过程进行：输入人员识别待输入值的对应键的位置，然后用手指敲击或触摸该位置以触发输入信号，产生对应的键值。在这种方式下，如不考虑组合键，键值与键位一一对应，即数量相等，因此传统的输入设备需有大量的键位。所以导致输入设备的体积不可能缩小到满意的尺。

发明内容

本发明确认键值由键位信号、手指识别信号、手指移动方向识别信号中的一个或多个确定。为了得到手指识别信号、手指移动方向识别信号，设置有光学传感器，包括CCD、CMOS、位置传感器，通常为一组，一般为两个。由CPU(DSP)对光学元件的数据进行计算、分析，得到相关数据，在此基础上进行识别。因此，数字电路的相关元件也是必要的，如模数转换元件。

附图说明

图1(A)、(B)为本发明的数据流程。

具体实施方式

在以下例中，规定操作者的视线在键面或桌面上的投影为Y轴，方向向前。X、Y轴皆位于或平行键盘平面上或桌面上。还规定操作者的手形，手指(或手指在桌面的投影)应大致地平行与Y轴。在所有的实施例中，位置传感器位于透镜之下，应为一组，通常为两个，透镜前可设滤光片，它们构成的装置的数量和位置及角度和高度的设置应保证测量的需要。一般需要多维放置的光学传感器，例如，垂直于XY平面的的两个面阵传感器，这样就能测量到手指的三维数据。由CPU得到各个传感器的数据，根据三角法的光学原理计算出光点的位置数据。需要光学照射元件，可以为扫描光束、或光源稳定的照明，光源为红外线。

必须消除背景的干扰，如果用成像的方法，可以使用背景图像差分法，输入前先得到背景图像，将每帙图像与存储的背景图差分计算，得到手的图像。为了保证差分的准确，可以动态地得到背景图像。也可以采用帙间差分法提取出手的图像。然后将手的图像进行分析。可以二值化处理。显然，手掌是易于识别的，因为图像数据是连续的。可以用多种方法区分手掌和手指，同作为边界的手掌和手指的几何特征是有区别的。也可以从多个方向(如偏移5度)读取像素，当某方向上得到的不连续的像素宽度(每个和所有的)最小时，这个方向，应该是垂直于手指的方向，显然在这个方向上，不连续的是手指，连续的是手掌，手指也可以区分。另外，在平行手指的方向上，像素的多少变化最大，可以通过求方差的方法找到这个方向。也可以简单地使透镜平行于X轴，读取像素时，平行于X轴。在这个方向上，不连续的是手指，连续的是手掌。手指的位置可以由手指的某部位代替，如指尖，手指中线。可以对手指进行细化，或骨骼化，以便于数据处理。判断手掌和手指时，所谓的连续，指连续的像素数量多于特定值。用扫描的方式，得到手指的位置数据则较直接，因为光学传感器得到的光点数据可以一一对应。为了降低CCD、CMOS的扫描频率，可以使透镜垂直XY平面，平行于X轴，透镜同焦距，焦平面在同一平面，这个平面可以平行X和Z轴组成的平面，而且透镜的中心组成的直线平行于X轴，扫描的方向(或数据读取方向)平行Y轴或X轴，这样，当成像为线状或多条线时，可以找到对应点(在成像方式下，在手指数据细化后，根据图像确定对应点的方案类似，比如说，在按上述方案布置透镜和成像元件，按平行于X轴的顺序读取像素的数据，如果成像元件的的四边平行于X、Z轴，则顺序读取数据，可以得到对应点的数据，如果找不到对应点，则认为该数据无效)。显然，背景是易于区分的，根据它们的位置数据。关于光点的遮挡问题，如果在一个感光元件上能感光，而另一个不能，显然，这样的光点肯定不在手指的正面，所以可以略取。显然，用位置传感器(DSP)作为传感元件时，可以将得到的位置数据用类似于前述的方式进行图像处理。

然后，CPU根据对应点的数据，用三角法得到三维位置数据。如果使用位置传感器，也可以根据扫描光束的方向和位置传感器的位置数据得到三维的位置数据。

显然根据手指相互的位置数据，如果是同一只手，可以知道它们是哪一个。因此，在识别手指时，可以采用划分左右手区的方法，当左手区被触发，剔除右手区的数据，反之同样。

输入的触发可以有多种识别方式，一种是键被敲击，也可以动态地监视手指位置，当在Z轴的方向低于某值时，确认触发，也可以用平行于XY扫描光束(位置很低)，当扫描到手指时，触发输入。在触发输入的同时，显然可以得到敲击手指的位置数据。第一种方法中，键的位置数据是预知的。将敲击手指的位置数据同各手指的位置比对，可以识别出敲击手指。

手指的移动方式的识别可以有灵活的定义方式。如前述，手的某手指或某部位的位置是可以连续测定的，则它的短期内的位移也是可以确定的，以此作为手的移动方式的定义的依据。手的移动方式的定义根据敲击动作发生前手沿相同方向移动的移动方向及位移量确定。这里的所谓的移动方向应该是连续的，如特定期间内手指移动的方向是变化的，或者有敲击，定义为最后的持续的同向位移。得到位置数据并存储(可以只存储最近期的短期内的数据)，与这次连续位移的起点(或之前很短的时间如0.5秒时)的位置数据比对。

可定义有以下几种位移方式，无位移，向上位移，向下位移，左平移，右平移，向上大距离位移，斜向移动等。向上、向下、向左、向右的含义是显然的，所谓向前是指手沿Y轴方向运动，位移量大于合理的数值，如1-2厘米，角度偏差在合理的范围内如左右15度。向下、向左、向右分别指逆Y轴、逆X轴、顺X轴方向运动，位移量大于合理的数值，角度偏差不超过15度。在向上的方向上连续位移大于合理的数字，如5cm，为向上大距离位移，手指角度偏差同上，无位移，是指位移量小于合理的数值，如2厘米。斜向的位移是指方向如图8的阴影部位，位移大于合理的数值，如2厘米。可以定义四种方向，左上，左下，右上，右下。需要指出的是以上的定义及数据规定是灵活的，

在得到识别信号后，cpu根据内置的映射方案确定键值。

在以下的实施例中，都设置有前文提到的相关元件。

实施例1。以手机键盘为例。在恰当的位置有光学元件和传感器。以识别敲击手指。参考手机键盘。本例中使用除0外的数字键。键上的数字为单手持机输入值，在单手持机时，输入手指为拇指，识别结果只能得到一只手指且手指的宽度非常大，实际上为拇指长度的倾斜投影，并且无法的到两个以上的手指位置数据，由此可识别出单手持机，分配键值时按键上数字分配。如果左手持机，右手输入，键值的映射采用以下的方案，用食指、中指、无名指敲击时，按顺序分配三个英文字母，从A、B、C开始，对应数字键1，依次类推，“9”键只需分配两个，用小指敲击时，分配其它特殊符号，当然键值映射方案是灵活的。

实施例2

本实施例中，共有8个键，左右各4个，2列4行。在本例中，不允许双手有交叉动作。与实施例1不同的是，本实施例将识别确定十个手指的位置，采用例1识别方式将发生困难。规定一定的区域内左手的活动区域，左4键在左手区。右侧为右手的活动区域。从第一行开始，用左手和右手敲击，分别对应传统键盘1、2、3、4、5、6、7、8、9、0，Q、W、E、R、T、Y、U、I、O、P，A、S、D、F、G、H、J、K、L、；依次类推。

实施例3，本例中无键盘。

同样地规定左右手区。本例中，有一扫描光源只发生平行于桌面的一束细光束。高出桌面0.5厘米。射出的光束，经手指反射得到的光点被探测到，触发一次识别输入动作并且得到敲击手指的位置数据。这个数据也可作为识别手指的依据。发射的光线持续扫描，当反射物即手指抬离桌面，失去手指的反射光斑，确认设备进入待输入状态，再次得到反射光斑后，确认下一次输入。在合理的运动状态中，单手的各部位的运动方向及位移基本一致，因此可将某一手指或某一部位位移作为单手的位移，例如在1/10移内，设置扫描速度，使在每1/10秒内，对手指进行足够的扫描，得到手指的某一部位数据。左手小指、无名指、中指、食指的敲击，定义对应“A”、“S”、“D”、“F”键，对应于右手食指、中指、无名指、小指的敲击，定义对应“J”、“K”、“L”、“；”键，当左手食指右移敲击，对应“G”键，当右手食指左移敲击，对应“H”键，即无位移敲击加左移、右移敲击对应传统键盘字母键区第二排。当手指向上位移敲击时，对应于左手小指、无名指、中指、食指的敲击，对应“Q”、“W”、“E”、“R”键，对应于右手食指、中指、无名指、小指的敲击，定义对应“U”、“I”、“O”、“P”键，即向上位移敲击时，对应传统字母键区第一排除“T”、“Y”键，“T”、“Y”二键可以斜移敲击对应。当手向下位移敲击时，对应于左手小指、无名指、中指、食指的敲击，定义对应“Z”、“X”、“C”、“V”键，对应于右手食指、中指、无名指、小指的敲击，定义对应“M”、“，”、“.”、“/”键，“B”、“N”键可以由斜向位移对应。即向下位移敲击，对应传统键盘字母区最下一行。字母键区上的数字键可对应于向上大步位移，10个手指对应10个数字。通过以上的定义方式，10个数字键、26字母键都能得到对应于某种动作和手指。拇指可用于其他键。如左空格，右回车。在本实施例中，不存在键盘，操作者仅需关注使用正确的手指和合理地移动手，而不必使手指对准某一键位，在按照上述合理地定义键值后，手指的敲击及移动方式非常接近于盲打的操作习惯。

在以上实施例1、2中，确定键值由手指识别信号和键位信号联合确定，还可以有以下方式：键位信号不一定来自于键盘，也可以来自触摸屏，也可以来自手指的实际位置数据，加入识别输入动作发生装置以识别输入动作的发生并确定实施输入动作手指的位置数据。这样，可以将一个确认边界的区域，如显示屏、桌面，划分出几个子区域，每个子区域赋予一组键值，并进一步根据手指识别信号确定键值。如果连续识别手指的位置，可以以手指的移动比例对应与光标的移动，可以代替鼠标。

以上实施例1、2中，感光元件可以在键盘的基础上设置底座，例3中，必须独立地设置底座。以放置相关元件。在所有的实施例中，位置传感器位于透镜之下，应为一组，通常为两个，透镜前可设滤光片，它们构成的装置的数量和位置及角度和高度的设置应保证测量的需要。

也可以以另一种方式定义手指的移动方式，测量敲击后手指的移动方向，如果向上(Y方向)移动，对应传统键盘上Q行的键，不移动或竖直抬高(Z方向)，则对应A行的键，如果向下(Y方向)移动，对应传统键盘上Z行的键。这种情况下，手指在穿过水平扫描线后，输入信号应有延迟，即在得到手指的移动方向数据后。这种情况下，扫描一次后，要反向扫描，直到得到最低点的位置数据。通常敲击手指位置在最低点。

可以考虑在手指上附识别物以便于识别。可以是有特殊图案的，也可以本身是发光物。

实际上，简单的手形也是可以识别的，如所有的手指并拢，握拳等，对它们的识别可以作为特殊的键值。

在此引入组合键的定义，以上的敲击皆为单击。当敲击手指为多个，可以有不同的键值。这里的多个手指是指它们的位置都低于设定值。

Claims (1)

1、一种电子数据输入装置，用于电子设备的数据输入或光标定位，其特征为，键值或位置数据的确定由以下三个识别信号单独或联合确定：识别输入动作发生装置确认的键位信号或手指位置数据，识别敲击手指及确定各手指位置的装置的识别信号，识别手的移动方式的装置的识别信号，识别采用光学的原理和技术。