CN1462929A - 一种计算机输入系统 - Google Patents

Abstract

本发明公开了一种计算机输入系统，由图像感应装置(图1中2)和图像信息特征提取装置(图1中8)组成。该装置能获取手或指定物(图1中1)在空间的形态信息并提取出空间形态的特征信息来产生计算机操作指令，同时在计算机屏幕上显示出操作者的手(或指定物)的空间形态(或影像)(图1中4)，使得操作者只需观看屏幕就能感知到自己的实际的手或指定物(图1中1)在空间的位置和运动，并依此来判断下一步的对计算机以及计算机屏幕上的对象(例如图2所示)所要进行的操作。该装置能实现常见的计算机输入设备(诸如：键盘、鼠标、书写板等)的功能以及许多其它特殊功能。

Description

一种计算机输入系统

本发明是一种计算机输入系统，是一种基于利用计算机操作者的手(或指定物)的空间形态的特征信息的计算机输入系统。

本发明是一种计算机输入系统，是一种在功能上可以替代传统计算机外设(诸如：键盘、鼠标、触摸板、书写板和触摸屏等常用输入设备)的计算机输入系统。

本发明的输入系统也适用于应用计算机CPU进行信息处理的其它场合的相关设备和装置作为信息输入系统。

键盘、鼠标、手写板、触摸板和触摸屏等常见的计算机输入设备大多已成为计算机的标准外设或常用外设，目前人们在应用计算机的同时，也不得不同时接受这些设备各自的不足。总结这些常用的计算机的输入装置的特性，它们有如下一些不足之处。

键盘：它常需要和鼠标结合使用，通过键盘很难快速将光标移到屏幕上的任意位置，也很难用键盘进行绘图等连续性操作。键盘源于西方，有利于拼音文字字母和数字符号的输入，和有限几个的功能键结合可实现一些复合操作。对于输入汉字等象形文字，从根本上存在较大障碍。现存的多种通过键盘输入汉字的输入法，一方面因多键操作影响输入效率，另一方面需要死记部分输入规则。对于汉字等象形文字的输入，键盘不能直观方便。键盘还要经常保持清洁、维护。

鼠标：鼠标的移动是线形的不间断的移动。如果要将屏幕上鼠标从一点移动到目标处，需要使用者的手、眼在此期间始终与鼠标保持接触(有时还要左、右键或滚轮同时参与)，不仅占用了使用者较多的时间，同时需要使用者保持对鼠标的注意力，限制了手的运动自由和使用方式。鼠标还要经常保持清洁、维护。

触摸板：现有触摸板的功能是代替传统的滚动式鼠标、点状或柱状鼠标起作用的，它也有前述传统鼠标的移动低效率、限制使用者手部运动自由、较多耗费使用者注意力的等缺陷。另外，它只采集了使用者手部的极少信息，不能解读使用者手部的多种动作，且阻挡操作者视线。只能单点识别，不能多点识别。

手写板：不具备键盘在输入规定符号、字母、数字时的快捷和直观性。手写板也只能接受单点信息，一次输入的是平面上的单个点或单线条，而不反映同时触及它上面的不连续的多个位置的信息。所接收或反映的使用者的信息量少，使用者手部的大量信息没有得到利用，人机交流水平受到限制。同时还有文字输入识别率的问题。

触摸屏：使用者在触摸屏上用手指点时，其手会遮挡触摸屏，阻挡操作者视线。在触摸屏上指点，使用者必须首先抬起上臂，长时间抬动手臂也会导致疲劳。该设备只能摆放在少数公共场所作为辅助服务设备使用，它也只能接受单点信息。

有些计算机输入设备厂家已经注意到此类问题，相继出品了以上不同种类输入设备的功能组合的产品，如：带手写板的键盘等，但此类诸多产品仍难从根本上改变上述产品各自的缺陷。

有关计算机输入系统的公开专利信息：

CN1291316A号发明专利申请公布了一种图像检测操作者输入装置，只是检测某一表面预定图形变化的情况，且只是基于输入装置的移动，只能得到相对位移信息。尤其是它并没有象本发明那样，将使用者手(或指定物)的空间形态(或影像)影射到计算机显示屏幕上去，让使用者随时了解自己的手(或指定物)的形态或位置。

CN1322982A号发明专利(与本发明同属一个发明专利申请人)公告公布了一种感应器感应手部信息，通过感应信息处理系统提取信息特征，并依此信息特征作为计算机操作的指令，但是该专利未说明使用者的手在三维空间中形态的信息获取和利用。CN1378171A号发明专利与CN1322982A号发明专利相比，在利用计算机使用者手或指定物在空间的信息方面作了改进和补充。

本发明与现有的虚拟现实技术(Virtual Reality)的最大的差异在于“临境感(immersive)”方面，而“交互性(interaction)”方面有一定的相似之处。“临境感”和“交互性”是虚拟现实技术的两种基本特征。“临境感”是指：操作者全身心地沉浸于计算机所生成的三维虚拟环境，并产生身临其境的感觉。“交互性”是指：操作者利用视觉、听觉、触觉、嗅觉和味觉等感官功能及对话、头部运动、眼动、行走、转身、拾取和放置等人类自然技能对虚拟环境中的实体进行考察和操作。本发明利用了手或指定物在计算机屏幕上的映射影像，具有一定意义上的“交互性”，但不具备也尚没有利用到上述虚拟现实技术中的“临境感”。本发明也没有使用虚拟现实技术中的常用设备，诸如：头盔显示器、三维球、数据手套、数据衣、跟踪器等设备。本发明的实施将会使用计算机图形技术、多媒体技术等技术中的现有成熟的技术。(本节内容可以从一般的“虚拟环境技术”、“虚拟现实技术”等相关的书籍中获得，例如：《虚拟环境技术》李锦涛等编著，中国铁道出版社，1996.北京；《虚拟现实技术》俞志和等编著，大连理工大学出版社，1996.大连)

发明专利CN1262750A——“以手套手指用于虚拟全面打字的多个压力传感器”，公开了一种用于信息处理系统的手动控制信息输入装置。该发明包括至少一个设备安装在用户的一个手指上，其传感子系统进行操作以区别在该设备的不同位置所检测到的刺激和相应信号，手指的内收和外展的位置也通过传感器检测到的信号分析得到。该发明依赖于安装了传感器的手套得到手指位置的信息，手套的一个特定的手指上的一个特定的敏感位置对应一个数字字母键盘的唯一一个按键，手指接触按键的角度和手指间的相互位置关系通过传感器列阵等其它传感器检测得到，并且与各虚拟键对应。该发明的必要条件是有一副具备检测手指位置信息的传感器列阵的手套，类似与虚拟现实技术中的数据手套，不过该发明所用的手套还必须作用于硬的表面起而作用。

本发明的手(或指定物)的位置等空间形态信息是通过图像感应装置得到的，操作时可以是徒手的，不需要带传感器的手套装置。

本发明在手(或手指)的位置(还包括位置变化)的信息的检测上同上述发明专利CN1262750A的根本区别在于：本发明不需任何带传感器的手套，徒手操作(或由操作者指定一个起到手的同样作用的其它物体来操作)。另外，本发明检测整个手的空间形态信息，而不只是上述发明专利CN1262750A的仅仅围绕手指的位置的有关信息。本发明也不象上述发明专利CN1262750A那样一定要直接接触硬的表面。

本发明公布了基于手(或指定物)的空间形态的特征信息的计算机输入系统。本发明与发明人的另外两项专利CN1378171A号发明专利及CN1322982A号发明专利相关，本发明涉及手(或指定物)的空间形态的信息特征的提取方法和实现途径，公开了更详细的信息特征的多种获取方法。

本发明的设计思想：

本发明通过采集计算机操作者的手及计算机操作者所指定的物体(指定物)的空间形态，通过信息特征提取装置提取出手或指定物的空间形态特征信息，将这些特征信息发送给计算机系统，并处理形成计算机操作指令。

计算机将操作者的手或指定物的空间形态(或影像)在计算机显示屏上表现出来，使得操作者能感知到自己的实际的手或指定物在空间的位置和运动，同时计算机分析信息特征提取装置提供的操作者手或指定物的特征信息而形成对计算机或对计算机屏幕上的对象进行操作的指令，并执行这些操作指令(例如图2所示)。操作者自己的实际的手或指定物的其它物理、化学信息(如压力、温度、红外、气味、电、磁、指纹等)，可作为辅助特征信息。

本发明的计算机输入系统所涉及的“手或指定物”、“手或指定物的空间形态”、“手或指定物空间形态的信息特征”等概念阐述如下：

手或指定物：计算机操作者的手包括计算机操作者的全部手和手指，是人体的徒手(空手)；指定物是指计算机操作者所指定的其它能够代替计算机操作者的手，并且起到计算机操作者的手(徒手)的同样作用的物体(如：一节棍棒等物体)。

手或指定物空间形态：手或指定物的空间形态是手或指定物在空间的位置和运动状态，包括整个手或指定物在三维空间的位置、运动的方向和速度。

手或指定物空间形态的特征信息：手或指定物的空间形态的特征信息是手或指定物与图像感应装置感应表面上的接触状态和手或指定物的空间位置坐标，以及手或指定物的空间运动模式。还包括手或指定物的其它物理、化学信息(如压力、温度、红外、气味、电、磁、指纹等)作为的辅助特征信息。

本发明的技术方案：

图1显示出手或指定物、图像感应装置和感应信息特征提取装置，以及它们与计算机和计算机显示屏之间的空间相对关系。

图1中，手或指定物(1)的空间运动被图像感应装置(2)所捕获，通过图像信息特征提取装置(8)将图像信息特征提取出来，经传输线(9)传给计算机(7)处理(若采用无线传输的方式不影响本发明的实施)，计算机(7)依此手或指定物的空间形态的特征信息作为引导计算机工作的输入信息，即将此特征信息作为产生全部外部操作指令的依据。

计算机(7)处理完这些空间形态的特征信息后，形成计算机操作指令，同时在计算机显示器的屏幕(6)(显示屏)上显示出手或指定物的映射图形(4)，以及手(1)或指定物在图像感应装置(2)的感应表面上所划过的轨迹(3)的映射图形(5)。这种映射图形是手或指定物的空间形态在计算机屏幕上的直观反映，让计算机操作者能适时感知到手或指定物的空间运动形态和空间位置所在。计算机操作者依据所感知到的计算机显示器的屏幕上显示出的手或指定物的空间形态所对应的影像来判断和产生下一步对计算机或者计算机屏幕上的的对象所要进行的操作(例如图2所示)。

这种对计算机的信息输入操作一改传统的依赖鼠标和键盘及其它现有输入设备的方式，使得人机交流能在互动的状态下进行，交流直接、界面友好、信息交换量大且快捷，能实现现有输入设备的功能，并容易进行直接的图形、图像输入，象形文字的输入也更加方便和快捷。

“空间形态”

图1中图像感应装置(2)获得的手(1)或指定物的空间形态是手(1)或指定物在空间的位置和运动状态。

所指空间位置是立体空间的三维位置，也可以是相对与图像感应装置感应表面上的投影的二维平面位置(感应表面是平面的，若感应表面是曲面就是三维的)，这一位置与计算机显示器的屏幕(6)上显示出的手或指定物的映射图形(4)的屏幕位置是一种映射关系。也就是说实际的手或指定物在空间的位置变化后，在屏幕(6)上显示出的手或指定物的映射图形(4)也相应产生位置变化。实际的手或指定物在空间的位置变化有快有慢，映射图形(4)也产生相应位置变化的快慢。实际的手或指定物在空间的位置不变(或在设定的某一个小范围内变化)——停止，映射图形(4)也停止在屏幕(6)上的某一相应位置上。由此可见，这种映射关系反映了实际的手或指定物与映射图形之间的内在的联动关系。

所指空间的运动状态是在图像感应装置(2)所能感知的空间中的手或指定物的运动方向和速度，也包括手或指定物运动的方向和运动的速度的变化。这些手或指定物在空间的运动状态及其运动状态的变化是能被图像感应装置(2)所感知的，并被记录下来。

图1中图像感应装置(2)还可以根据需要获得手(1)或指定物的其它物理、化学信息(如压力、温度、红外、气味、电、磁、指纹等)。

“图像特征信息”

图1中图像信息特征提取装置(8)所提取的手(1)或指定物的空间形态的特征信息：包括手(1)或指定物与图像感应装置(2)感应表面上的接触状态和手(1)或指定物的空间位置坐标，以及手(1)或指定物的空间运动模式。

手(1)或指定物与图像感应装置(2)感应表面上的接触状态，是指手(1)或指定物与图像感应装置(2)感应表面上的接触程度、接触时间和接触方式。所指接触程度是表示手(1)或指定物(包括各个手指)与图像感应装置(2)感应表面的接触强度(接触压力)的大小，以及与图像感应装置(2)感应表面的接触面积的大小。其接触程度的特征信息是可以用一组量来表示的。

所指接触时间是表示手(1)或指定物(包括各个手指)与图像感应装置(2)感应表面的单次接触的起点和终点时刻，以及这次单次接触时间的起点时刻和终点时刻之间的一段时间。其接触时间的特征信息是可以用一组量来表示的。

所指接触方式表示手(1)或指定物(包括各个手指)与图像感应装置(2)感应表面的单次、多次、单点、多点、分散、集中、交叉等多种接触方法，以及这些接触方法的组合方法。“单次”表示手(1)或指定物与图像感应装置(2)感应表面的一次接触；“多次”表示手(1)或指定物与图像感应装置(2)感应表面的多于一次的接触；“单点”表示手(1)或指定物与图像感应装置(2)感应表面的接触点只有一个；“多点”表示手(1)或指定物与图像感应装置(2)感应表面的接触点不只一个；“分散”表示手(1)或指定物与图像感应装置(2)感应表面的接触点有多个且分布不集中；“集中”表示手(1)或指定物与图像感应装置(2)感应表面的接触点集中分布；“交叉”表示手(1)或指定物与图像感应装置(2)感应表面的接触点是交叉分布的。还可以有多种接触方式不一一列举，还可以有以上多种接触方式的可能存在的组合方式，比如：单点多次接触、单次单点接触、多点多次接触等等方式。其接触方式的特征信息是可以用一组量来表示的。

根据接触程度信息特征、接触时间信息特征、接触方式信息特征，可以得到手(1)或指定物与图像感应装置(2)感应表面上的接触状态特征信息。

手(1)或指定物的空间位置坐标是另一类特征信息。图1中的图像感应装置(2)感知到手(1)或指定物的空间形态，可以有很多种方法(如后文所述)。当图像感应装置(2)感知到手(1)或指定物的空间形态后，通过图像信息特征提取装置(8)将手(1)或指定物的物理坐标计算出来，并作为手(1)或指定物的空间形态的信息特征。手(1)或指定物的物理坐标可以是整个手或指定物的中心、重心、质心等其它物理标志点，此类物理坐标的数学表示可采用笛卡尔坐标系、极坐标、圆柱坐标等便于特征信息表示和处理的坐标形式。此类物理坐标还包括了计算机操作者手的各个手指和指定物的各个细节的物理标志点的坐标，如各个手指的指尖、指头中心、指头重心、指定物的各个细节的端头、指定物的各个细节的端部的中心等。

图1中图像信息特征提取装置(8)所提取的手(1)或指定物的空间形态的信息特征还包括了手(1)或指定物的空间运动模式。

图1中，手(1)或指定物的空间运动是图像感应装置(2)所能感知的任意空间的任意运动，也可以是在图像感应装置(2)的感应表面上的任意运动。手(1)或指定物的空间运动包括移动、敲击、停留等模式，这些运动模式还分别包括了各自运动的平动和转动、单点和多点、快速与慢速和停止等运动特点，以及它们这些运动的多种运动复合模式。

所有手指之间的相对运动模式，也有这些种类运动模式和多种这些运动模式的复合模式。

手(1)或指定物的空间运动的移动模式有平动和转动模式，同时各手指还有单点和多点的平动和转动。这些运动可以同时进行，也可以分别进行，有些手指在运动，有些手指可能处于停止状态——停留。在此基础上，手(1)或指定物或各手指的空间运动速度还有快慢之分。手(1)或指定物的这些运动模式还可以进行复合形成多种复合模式。

手(1)或指定物的空间形态的“特征信息”——“空间运动模式”，是手(1)或指定物的“空间形态”——“运动状态”所确定的，即图像感应装置(2)所能感知的空间中的手或指定物的运动方向和速度(包括手或指定物运动的方向和运动的速度的变化)决定了由此运动状态提取的“特征信息”——“空间运动模式”。

通过图1中图像信息特征提取装置(8)所提取的“特征信息”——“空间运动模式”，也可以用一组量来表示。

以上说明了图1中图像信息特征提取装置(8)所提取的手(1)或指定物的空间形态的特征信息，包括了手(1)或指定物与图像感应装置(2)感应表面上的接触状态和手(1)或指定物的空间位置坐标，以及手(1)或指定物的空间运动模式。在这三类特征信息的基础上，最终可以得到：手(1)或指定物的空间形态的特征信息，也可以用一组量来表示之。

在这三类特征信息的基础上可以定义诸如：敲击、拖动、夹持等其它手和手指的动作或手势，以及其它一些复杂空间形态的特征信息，并可以用一组量来表示这些相应的特征信息。

图1中，图像信息特征提取装置(8)还可以通过图像感应装置(2)，获得操作者自己的实际的手及实际的指定物的其它物理、化学信息(如压力、温度、红外、气味、电、磁、指纹等)，并可将其作为空间形态特征信息的补充和参考，即作为辅助特征信息。它也可以用一组量来表示。

图1中，手(1)或指定物在空间运动，在图像感应装置(2)的感应表面上划过的轨迹(3)，在计算机显示器的屏幕(6)上的对应位置上会显示出相应的手(1)或指定物和轨迹(3)的所对应的可视的映射图形(4)和(5)。这种映射图形与实际的手(1)或指定物之间是逻辑上的对应关系，存在内在的联动关系。不是三维方向上的尺寸大小的对应相等，但大小或形状上可成一定的相似关系，或者自定义一种对应关系(也可以不成比例)，所在位置、运动方向、运动速度成对应关系，其它的空间形态可以自定义显示与否。关键是让计算机操作者适时感知到手(1)或指定物的必要的动作，构成一条：手(1)或指定物→计算机显示器的屏幕→计算机操作者→手(1)或指定物——这样的一条图像信息反馈的通道。

通过图1的计算机系统，手或指定物的许多静、动态信息经过了可视化处理，计算机操作者只通过手或指定物的手势和一定动作，即可完成对计算机的操作。手或指定物的空间形态通过图像信息特征提取装置的处理后，成为一组特征量的特征信息，再转化为计算机控制指令，计算机和计算机操作者都能够适时感受到外部事件的发生。同时，计算机操作者依据所感知到的计算机显示器的屏幕上显示出的手或指定物的空间形态所对应的影像，来判断和产生下一步对计算机的操作。

此种对计算机的操作实现了鼠标、触摸板、触摸屏、手写板的功能，通过可视化键盘技术(比如通过计算机屏幕上的软键盘操作)也可实现键盘功能。目前常用的计算机的外设(键盘、鼠标、触摸板、触摸屏和手写板等)的功能就可以归一到本发明的计算机输入设备上来，实用意义很大。

图2说明了在本发明中动态化的软键盘是如何起作用的。当使用者在图像感应装置的表面敲击时，他随时在屏幕上看到的是自己的手(或指定物)在软键盘上的敲击。软键盘(键盘和其中的按键的形状、颜色、提示符号和按键的功能等)可以根据用户的需要和方便性来设计。至此我们可以做到键盘的动态化和丰富化。传统键盘的所有功能因此而轻易实现了。

图像信息的获取和图像信息的处理的现有设备及技术有许多种，很多都可以应用于本发明。常用的成像元器件有CCD摄像器件、CMOS元件、摄像管，以及其它光电转换器件诸如：可变灵敏度光电检测器件(VSPD)和一些光电功能超薄膜等。这些器件有些用于可见光，有些还可以用于红外光、紫外光等其它波段的光，从目前已有的数码相机市场就可见一斑。

图像感应装置的感应表面可采用类似于触摸屏、触摸板、手写板技术的器件，也可以依照现有技术自行设计此类设备。图像感应装置不仅可以采集操作者手或指定物在三维空间的形态图像，而且还可以采集其它感应信息，如：压力、热量、电、磁、声波、红外信号等等。

在采集到上述信息后，对信息进行处理进而形成计算机操作指令，这一过程的计算机软件技术已有成熟和公开的技术，技术上可以实现，这里不赘述。

本发明的一种计算机输入系统也可用于其它装置作为信息输入系统。

附图说明：

图1：基于手(或指定物)空间形态特征信息的计算机输入系统原理图

1-手(或指定物)；

2-图像感应装置；

3-手(或指定物)划过的轨迹；

4-手(或指定物)的图形映射；

5-手(或指定物)划过的轨迹的图形映射；

6-计算机显示器的屏幕；

7-计算机；

8-图像信息特征提取装置；

9-传输线

图2：使用者使用本发明时的屏幕操作界面示意图

图3：带DSP实现的系统结构示意图

图4：不带DSP实现的系统结构示意图

图5：采用单个感光器件的图像信息感应装置系统结构示意图

1-图像信息感应装置的图像传感器；

2-反光镜；

3-透光板；

图6：采用多摄像头的图像信息感应装置系统结构示意图

1-感光面；

2-感光面；

3-感光面；

4-感光面；

5-摄像头；

6-摄像头；

7-摄像头；

8-摄像头；

图7：单摄像头单元结构示意图

1-摄像头；

2-感光面；

图8：采用侧置摄像头的图像信息感应装置系统结构示意图

1-一组摄像头；

2-反射镜；

3-透光板；

4-一组侧置摄像头。

图9：采用侧置摄像头的图像信息感应装置系统结构示意图

1-一组摄像头；

2-一组侧置摄像头；

3-透光板；

图10：采用鱼眼镜头的图像信息感应装置系统结构示意图

1-摄像头；

2-鱼眼镜头；

3-透光板；

图11：采用双目视觉技术的图像信息感应装置系统结构示意图

1-摄像头；

2-摄像头；

3-透光板；

实施例：

作为一个例证的实例，采用CCD(电荷耦合器件-ChargedCoupled Device)摄像头作为图像信息感应装置的传感器(也可采用上述其它光传感器，原理相似)。图3给出了由光学镜头与CCD图像传感器组成的CCD摄像头、A/D转换器、DSP处理器、计算机接口、计算机主机、计算机显示器组成的手形图像信息采集和传输系统。

在这一系统中，手或指定物的空间形态通过CCD摄像头转换成图像信号的模拟量，经A/D转换器变换成数字信号，送入数字信号处理器DSP进行信号处理和图像处理。DSP处理后输出手或指定物的空间形态的信息特征，计算机对此信息特征进行进一步处理，在计算机显示器的屏幕上显示出相应的映射图形，并解读信息特征产生相应的计算机操作。

在这一过程中，手或指定物(包括各手指)的移动距离、移动方向、移动快慢、运动方式等空间形态被记录下来，经DSP处理器处理后，将其信息特征适时地传给计算机，计算机依据这些信息特征的处理而得到操作指令。

作为一个例证的实例，还可以采用红外CCD摄像头和红外滤光片等其它红外器件，其图像信息的产生和处理过程同上。其它形式的图像器件和其它波段的光电信号的处理过程同上。

为了充分利用计算机的资源，减少制造成本，本发明提出又一种实现方案。如图4所示。图中给出了由光学镜头与CCD图像传感器组成的CCD摄像头、A/D转换器、计算机接口、计算机主机、计算机显示器组成的手形图像信息采集和传输系统。在这一系统中，手的空间形态通过CCD摄像头转换成图像信号的模拟量，经A/D转换器变换成数字信号，由计算机接口直接传入计算机主机，并由计算机主机直接进行图像处理，提取出手或指定物的空间形态的信息特征，进而通过这些信息特征产生相应的计算机操作指令，同时在计算机显示器的屏幕上的相应位置处显示相应的映射图形。这种系统构成将原先DSP处理器的图像处理和信号处理的工作转移给计算机主机来完成，系统构成相对简单，计算机主机将需要完成全部输入图像数据的处理，加大了一部分主机的工作量。

如前所述，有关操作者手或指定物的信息输入到计算机系统后，利用现有的成熟和公开的计算机软件技术完全可以做到将使用者手和指定物的形态(和影像)在计算机显示器的显示屏上表现出来，并且通过分析相关的特征信息形成计算机操作指令。有关软件技术细节这里不再赘述。

在以上实施例中，图像信息感应装置不论是针对CCD摄像头还是针对上述其它摄像器件(以下仅以CCD摄像头来做说明)，又分别有以下几种途径：

1.采用单个感光器件

采用单个CCD摄像头(或单个上述其它摄像器件)作为图像信息感应装置的传感器。图5所示为采用单个感光器件的图像信息感应装置系统结构示意图。

图5中的透光板(3)作用是为了让手或指定物的光线能通过并进入到图像传感器，同时也可以让手或指定物与其接触或在上面运动，透光板的表面可以为平面的、球面的和其它曲面形状。透光板(3)的能与手或指定物接触的表面就是图1中的图像信息感应装置(2)的感应表面，以下各章节和各图中所涉及的透光板的作用和形状与上述的描述相同。

图5中的透光板(3)位于(单个)CCD摄像头(1)的上方，反光镜2位于透光板(3)的一侧(也可以放于对面或侧面)，并能将手或指定物的图像光反射到CCD摄像头1中。

手或指定物在透光板(3)上面(或上方)运动时，手或指定物的位置等空间形态可通过CCD摄像头(1)获取。不过，此时通过透光板(3)的手或指定物的图像采集，只占用了CCD摄像头(1)的感光芯片的部分(一大部分，不是全部)。同时，CCD摄像头(1)的另一部分(数个至数十个像素左右)，用来感应通过反光镜(2)所反射的手或指定物的另一方向的图像光，并依此感受到手或指定物在透光板(3)的表面的法线方向的(透光板表面的垂直方向上的)运动。

通过透光板(3)的手或指定物的图像采集可以得到手或指定物的二维信息，通过反光镜(2)所反射的手或指定物的图像采集可以得到手或指定物的另一维信息，这样手或指定物的三维信息即可综合得到。通过图4的装置，手或指定物的三维位置和运动等空间形态可以实时采集到，经过信息特征提取装置后，即可得到手或指定物的空间形态的特征信息并传送给计算机。

上述图4的整个装置的功能，相当于图1中的图像感应装置(2)的功能，整个系统的结构仍是采用图2或图3的结构形式。

2.采用多个感光器件

采用多个(多于一个)的CCD摄像头(或上述其它摄像器件)作为图像信息感应装置的传感器。图6为多个如图6所示的单CCD摄像头单元组成的多感光器件的图像信息感应装置的系统结构示意图。图6为单CCD摄像头单元的结构示意图。

图6中的(1)、(2)、(3)和(4)结构如同图7中的(2)，是(5)、(6)、(7)和(8)的单CCD摄像头对应的感光表面，这些感光表面可通过图像缝合技术复合为一个整体的感光表面，如同图1中的图像感应装置(2)的感应表面，其成像作用可等同于单CCD摄像头，但可减少成像距离，降低图1中的图像感应装置(2)的纵向尺寸，图像的获取和图像处理方法更加多样、灵活。

图7中(1)为单CCD摄像头，图7中(2)为单CCD摄像头所能感应的相应的感光表面，图7中(2)的感光表面相当于图5中的透光板(3)上的感光表面。

以上多个(多于一个)的摄像器件，可以是2个、3个、4个或更多个，它们对应的感光面的大小可以相等或不相等，各摄像器件的摄像头可以有不同的焦距和摄像角度。

上述整个装置的功能相当于图1中的图像感应装置2的功能。

通过此类装置，可以如同上述的如图5所示的采用单个CCD摄像头(或单个上述其它摄像器件)的装置一样，得到手或指定物在透光板上运动时的二维信息。另一维的手或指定物的运动信息也可以通过添加图5中的侧面的反光镜的方法来获取，如图8、图9所示的。

图8所示的将摄像头放在侧面，图8中的(1)为多个(多于一个)的摄像器件的一组摄像头，可以是1个、2个、多个相同或不同的摄像头，通过图8中的反射镜(2)将感应面上的图像光反射到摄像头(4)中，摄像头(4)也可以是一组摄像头。通过摄像头(4)获取手或指定物的另一维的运动信息。

图9所示的是在透光板的侧面单独设置一个(或一组)独立的摄像头(2)来获取手或指定物的另一维的运动信息。摄像头(2)的位置在透光板(3)的侧上方，这样就不需要图8中的反射镜了。

以上“采用单个感光器件”、“采用多个感光器件”2类方案都可以将摄像头放在其它方位，构成类似的方案。

3.采用鱼眼镜头的感光器件

鱼眼镜头的特点是可以拍摄较大范围视角的景物，利用鱼眼镜头拍摄照片可以一次将180度或更大范围内(即一个半球范围的景物)拍摄在一张照片上。只需在同一点向两个相反方向各拍摄一张照片，就可以得到一个完整的三维环境的信息，进行全景图像合成。而二张鱼眼照片合并的技术，在市场上已有成熟软件，实现方便。

鱼眼照片可以得到景物的深度信息的特性，利用这一特性将方便地得到手或指定物的空间形态，实时采集这些空间形态信息，并以此来提取手或指定物的空间形态的特征信息。

图10所示为采用鱼眼镜头的感光器件的图像信息感应装置的系统结构示意图。图10中感应面(3)上方的手或指定物的光，通过鱼眼镜头(2)进入摄像头(1)中，并适时采集到手或指定物的空间形态。

4.采用双目视觉技术

双目传感的立体视觉系统利用两台不同角度安置的摄像机来模拟人眼的功能，基于立体视差的原理，获取相对于摄像机的三维空间中物体的几何信息测量，进而实现对三维景物的描述、识别和理解。图11中手或指定物经过感应面(3)分别同时被摄像头(1)、摄像头(2)捕获，进行双目视觉算法即可得到手或指定物的空间形态信息。

通过此种方法可以得到手或指定物的空间形态，进而得到手或指定物的空间形态的特征信息。

5.采用实时跟踪技术

自动目标识别是指从成像系统来的图像，自动地提取目标并识别出来，其主要算法步骤包括图像数据的预处理、目标检测、图像分割、特征计算、运动分析和目标跟踪等。图像模板匹配是目标跟踪的关键，两幅图像之间的匹配算法可以归结为二者的某一特征值的相关性度量。通过将模板图像与待匹配图像进行相关性运算，得到一个相关值，根据这一相关值的大小就可以判断二者是否匹配。

手或指定物在空间运动时，其影像被实时采集下来，不断与操作者手或指定物的模板进行相关图像模板匹配运算，以此来判断是否是操作者的手或指定物，同时得到手或指定物的空间形态，并提取出特征信息。

手或指定物的空间形态的获取还有其它辅助方法，诸如以下一些手或指定物与感应表面的接触识别技术：电阻式接触识别、电磁式接触识别、电容式接触识别、声波式接触识别、扫描式接触识别、机械式接触识别等等。前几种接触识别技术的原理各现有厂家都有介绍，只需经一定的改进即可应用于本发明，仅说明后两种。

扫描式接触识别：在透光板的四周按一定位置分布安装数个发射和接受装置，发射出一定波长的光，接受装置能随时接受到发出的光，一旦手或指定物遮挡住发出的光，即可从前后、左右等方向上的遮挡位置，推算出是否是手或指定物同图像感应装置的透光板的接触。

机械式接触识别：改透光板为机械式接触传感器，传感器可以是气压式、液压式、压电式、电磁式、电容式等方式，整个传感器由许多这些微小接触传感器组成。当手或指定物接触到上述接触传感器时，就接触到机械式接触传感器的微动开关，相关的压力信号从微小的开关传出，从而通过对此不同位置处的信号的分析，即可得到手或指定物同图像感应装置的感应表面的接触信息。

对于本专利中的图像感应装置，还可以有许多种其它光学系统设计方案，许多相关的光学系统设计方法和光学技术已较成熟，这些都会有利与本发明专利的具体实施。

Claims (3)

1.一种计算机输入系统，由图像感应装置和图像信息特征提取装置组成，其特征在于：

图像感应装置获取手(或指定物)在空间的形态信息，图像信息特征提取装置提取出手(或指定物)的空间形态的特征信息并传入计算机主机，在计算机显示器屏幕上显示出操作者的手(或指定物)的空间形态(或其影像)，同时计算机依据所传入的特征信息产生计算机操作指令。

2.依据权利要求1所述的计算机输入系统，其特征在于：

图像感应装置获得手(或指定物)的空间形态是指手(或指定物)在空间的位置和运动状态，空间形态特征信息包括整个手(和手指)(或指定物)在三维空间的位置信息、运动的方向和速度信息，也包括手(和手指)(或指定物)与图像感应装置感应面上的(单点或多点)感应点的坐标和其它接触信息(如指纹信息、压力、红外、声波、电容、温度、电磁信息等)、手(和手指)(或指定物)在图像感应装置表面上的(平动和转动、单点或多点的、快速与慢速)移动、(单点或多点的、快速与慢速)敲击等各种运动和停留方式的信息。

3.依据权利要求1所述的计算机输入系统，其特征在于：

计算机显示器屏幕上显示出的手(或指定物)的空间形态的影像与空间中操作者的手(或指定物)是映射关系。

Images