CN1305143A - 用于计算机坐标与控制信息输入的系统及方法 - Google Patents

Abstract

一种用于计算机坐标与控制信息输入的系统及方法,属计算机应用技术。系统包括信号采集处理器、发光笔和计算机程序。其中信号采集处理器的组成是摄像装置(1)、信号处理电路(2)、接口(3),以及方向指示器等。其方法是:(1).用发光笔产生的光点来标示目标点的位置,引入摄像装置进行实时图像采集,用信号处理电路实时分析图像信号来提取光点的位置信息,通过接口电路输入计算机;(2).引入坐标矫正计算过程,将成像坐标系中的坐标转换为计算机显示坐标系中相应的坐标。

Description

用于计算机坐标与控制信息输入的系统及方法

本发明涉及一种向计算机输入坐标信息和控制信息的系统，以及进行坐标矫正和控制信息产生和输入所需要的方法。属于计算机应用技术领域。

投影显示器的使用为人们带来了很大方便，在许多应用中已经不可替代。但在使用中存在以下问题：1．对计算机的控制操作必须回到计算机前通过键盘和鼠标器进行。2．需要书写文字或画图时必须使用另外的白板或黑板，因此需要不断地收放屏幕。这些问题给使用者带来了不便，影响了工作效率，同时设备复杂，占用空间大。所有需要一种能够直接在显示屏幕上进行书写和绘图，同时能远距离发送控制信息的设备和方法。

另外，在多媒体教学等应用中，需要将书写和图画信息及时记录和发送到远地，也需要笔迹信息采集。

现有技术是采用手持的有线或无线手写板来进行书写和发送控制命令。其缺点是手眼不一致的问题，导致使用时直观性差，效率低。或是采用类似触摸屏的技术，其缺点是屏幕大小受到限制，不易携带。

本发明的目的是提供一种可以实时采集显示屏幕上坐标信息，能够通过一种笔状装置在屏幕上直接进行仿真书写，并且可以利用这样的笔来进行控制信号产生和输入计算机的系统和方法。本发明除了应用于投影显示器的使用场合，对于需要直观操作控制的其他计算机应用场合也同样适用。

本发明的用于计算机坐标与控制信息输入的系统及方法，其系统是由信号采集处理器和发光笔组成。信号采集处理器又由摄像装置、信号处理电路以及于计算机通信所需的接口电路所组成。利用本系统采用如下方法：(1)．用发光笔产生的光点来标示目标点的位置，同时引入摄像装置进行实时图像采集，用信号处理电路实时分析处理图像信号来提取光点的位置信息，并通过接口电路输入计算机，根据这些信息分析出光点在摄像装置成像坐标系中的坐标；(2)．引入坐标矫正计算过程将成像坐标系中的坐标转换为计算机显示坐标系中相应的坐标，为了实现上述坐标变换所需的计算，在系统初始化过程中引入一个采集一组参考点样本坐标的步骤；(3)．用发光笔光点的发生和消失作为控制信号以对计算机进行操作。

发光笔是具有发光器件的笔状装置，可以利用其笔尖发光，也可以利用其发射的光束照射物体产生光点。由于发光笔所产生光点的亮度可以远高于显示图象亮度，因此用图象分析方法可以分析出发光笔光点位置。如果光笔的光源采用具有明显光谱峰点的光源，例如半导体二极管或激光器，同时在摄像装置的成像光路中引入相应光谱特性的滤光片，则可以大大提高发光笔光点的相对亮度，从而可以采用简单的硬件电路来实现光点坐标信息的提取。特别是如果采用半导体激光器作为发光笔的光源，成像光路中采用带通滤光片则效果更好。在此情况下，可以采用简单的数字逻辑，如将亮度与一个阈值进行比较，来分离出亮点所在的象素。进一步可以利用硬件或软件求出其中心坐标。

通过上述方法得出的位置坐标是在摄像装置成像坐标系中的坐标，它受摄像机方向、位置、分辨率和图象畸变情况的影响。对应于同样的物理位置，显示坐标系中的坐标值是不同的。为了将成像坐标系中的光点坐标转换为同样物理位置在显示坐标系中的坐标，需要进行一定的坐标变换计算。对应于屏幕上任一物理位置，记成像坐标系中的坐标为(u,v)，显示坐标系中的坐标为(x,y)，即需要有变换函数Fx,Fy，使x=Fx(u,v)，y=Fy(u,v)。

由于实际系统的连续性和两个坐标系中有效范围内坐标对的一一对应关系，这种变换可以利用普通的数学方法来实现。为了适应计算机的数值计算能力，可以采用数值算法进行变换处理。为了实现这种坐标变换计算，需要一组两个坐标系中的坐标值的对应关系样本，根据这组样本以求得变换计算所需的参数。

本发明的采集参考点样本坐标值的方法是：在显示坐标系中选择一组M行乘N列的参考点阵列，它们在显示坐标系中均匀分布。然后采集这组点在摄像装置成像坐标系中的坐标值，得到这样一组对应关系：(Xm,Yn)<->(Um,Vn)。其中(Xm,Yn)为显示坐标系上的坐标，(Um,Vn)为成像坐标系中的坐标。m为1,2,…,M,n为1,2,…,N。M,N的大小随成像的线性度而定。当线性程度高时，可以取较小的值，如2；当畸变较大时，应取较大的值，如大于4。根据这组关系，利用数学方法，可以得到屏幕上任意点的成像坐标至显示坐标的变换。本发明中M,N的范围是2至100之间。

采集参考点样本坐标值的具体实现方式有自动和手动两种。手动方式为：在屏幕上显示一个参考点(Xm,Yn)的位置，然后等待发光笔产生的光点在其上出现，记录下光点在成像坐标系的坐标值(Um,Vn)。如此完成对所有参考点的坐标采样。自动方式为：通过软件的控制在显示器上显示具有上述参考点位置特征的图象，采集并记录拍摄的图象，对图象进行分析以得出各参考点对应的成像坐标系的坐标值。为了提高图象信噪比，可以多次使图象亮度反转，同步采集记录图象，进行相关处理得出新的图象信息。例如第一次使对应于参考点的位置为亮点，其余位置为黑，记录采集到的图象各象素亮度。第二次将图象亮度反转，将第二次采集的图象各象素亮度值与第一次的相减，则可增强亮点的对比度，并可以消除平稳的环境光。

由于采用了上述的坐标变换计算步骤，可以实现计算机光标实时跟踪光笔所在物理位置，实现屏幕上的仿真书写，即在光笔所过的实际物理轨迹实时显示轨迹图象。这样就解决了所说的手眼不一致的问题。

为了能够在屏幕前直接和直观地发出操作控制信号如鼠标器按键信号等，本发明采用发光笔发出的不同发光脉冲序列来实现来发送控制信息。可以在发光笔上设置按键开关，发光笔的中有控制电路，使当不同按键按下时，发光笔产生不同的脉冲序列。只要脉冲宽度和间隙及其变化与摄像采样周期相比足够大，则系统能够识别出不同的信号。

在发光笔上还可以引入一个滚轮，用以产生模拟鼠标器滚轮动作的信号。即当滚轮在不同方向上转动时，发光笔产生不同的开关脉冲串。滚轮的引入可以增加操作的灵活性。

对于发光笔的进一步改进是：为了方便仿真书写，发光笔中引入一个传感器，例如压力传感器、位移传感器或振动传感器。它与笔尖相连，目的是感应笔尖是否接触书写平面。其安装使之可以感应笔尖受到的压力或振动。一种可能的连接方式是：控制电路与传感器的输出相连。控制电路根据传感器的输出信号控制发光器的开关动作。当笔接触屏幕时，将自动发光。从而仿真书写更加自然。这一改进功能可以单独存在，也可以与其他的功能同时存在于一个笔中。

以上所述坐标采集和变换方法也可以应用于现有的电子白板系统。所不同的是没有通过显示器的书写笔迹显示，而上述的显示坐标系对应于白板上设定的一个直角坐标系。可以用相类似的手动方法来采集样本坐标和进行坐标变换。

附图1：本系统信号采集处理器组成示意图。

附图2：信号处理电路的组成示意图。

附图3：多个摄像装置的系统示意图。

附图1所示的信号采集处理器的组成示意图是基本的坐标坐标与控制信息输入系统的信号采集处理器。其组成是：摄像装置1连于信号处理电路2，再通过接口3连于计算机。方向指示器4也与接口3相连。作为一个实施例，接口3可以是标准并行口，摄像装置1可以是由CCD或CMOS图像传感器构成的模拟视频输出的黑白摄像头。此摄像头的输出视频信号通过信号处理电路处理后产生光点位置信息，通过并行接口3的八位数据端口线传输到计算机。方向指示器4是一个红色半导体激光二极管，它的光束方向与摄像头的方向相同，其开关通过接口3的一个控制线进行控制。

计算机与信号采集处理器通信功能、确定参考点和样本坐标采集过程、坐标变换过程、控制信号分析以及对计算机系统进行操作等功能利用软件来配合实现。

附图2所示的是附图1中的信号处理电路2的组成及其与摄像装置1、接口3的连接关系。虚线框内是信号处理电路的组成。它由A/D转换电路12，视频同步信号产生电路11，数字逻辑电路13，晶体振荡器14，读写存储器15所组成。A/D转换电路以单片A/D转换集成电路为主体。数字逻辑电路由复杂可编程逻辑器件，如Lattice ispLSI 1032E构成。

其工作原理是：A/D转换电路12将由摄像头1输出的图像亮度信号转换为数字信号，传输至数字逻辑电路13，其时钟信号来自晶体振荡器14。同步信号产生电路11从复合视频信号中提取出视频同步信号，也输出至13。数字逻辑电路13中实现了本系统中光点位置信息提取的主要功能。其主要逻辑包括：阈值比较、行计数、列计数以及与接口的通信等。即在每图像场中根据行同步信号计数行数，在每行中根据由14产生的时钟信号作列计数，在每场中对行信号进行计数。在每一亮度数据产生时，将其与一固定阈值进行比较，当大于此阈值时，即将此时的行、列计数值暂存于存储器15中。设置计算机的并口工作于EPP模式，数据在视频场消隐期间通过接口3发送至计算机。

本实施例主要适用于投影机作为计算机显示器的场合，也适用其他需要直观控制和屏幕书写的场合。以投影机应用场合为例，将附图1所示的信号采集处理器放置于投影机附近，摄像头朝向屏幕。其输出信号通过接口传送到计算机。发光笔在常态下不发光。当有按键被按下时将会发光。不同按键按下时将发出不同形式的光信号。当脉冲宽度和间隔适当时，计算机软件能够区别出不同的信号，以此方法可以模拟鼠标器的按键消息。几种可能的情况如附图4所示。

为了进行成像坐标到显示坐标的变换，本实施例的软件具备样本坐标采集程序，其流程是：逐点在屏幕上显示一组均匀分布的M行N列点，等待使用者在每一个点上点亮发光笔，计算机记录下对应的成像坐标系下的坐标值。用数值方法来求得屏幕上任意一点的成像坐标系坐标到显示坐标系坐标的转换，从而达到光笔指示位置与显示坐标位置一致的目的。软件在不同的状态下可以实时地在光笔经过的实际轨迹上显示笔迹，达到仿真书写的目的。或进行移动光标，识别光笔的脉冲发光信号，进而与操作系统进行交互的工作。

为了达到提高光信噪比的目的，在摄像头1中引入了带通滤光片。滤光片可以是专用的干涉带通滤光片，也可以是通过在透镜上进行光学镀膜及采用有色光学玻璃形成。滤光片的带通窗口波长与发光笔发光的峰值波长相同。这一措施在采用激光器时尤其有效。

为了在使用时保证摄像头方向正确，引入了方向指示器4。由于其激光束与摄像头的方向相同，因此可以根据光束的方向判别摄像头的指向是否正确，即如果方向指示激光器4照射到屏幕中心，则摄像头方向正确。方向指示器4的开关可以由一个设在外壳上的开关控制，也可以通过接口由计算机控制。本实施例中是通过接口进行控制的。

如果引入两个或多个方向指示激光器，则可以更好地定位摄像头。利用两个或多个方向指示激光器可以精确地校正信号采集处理器的位置和方向。方法是在显示屏幕上显示固定的位置特征，并使这一组激光束各自照射在特定位置上。这种情况下，可能使用预存的样本坐标值或使用固定的算法参数进行坐标变换。

本发明还有如下两个实施例：

实施例一：在上述基本实施例的基础上，为了适应大型显示屏幕的应用，本实施例作如下改进：信号处理电路有坐标分析模式和图象采集模式两种工作模式。通过计算机接口传送控制命令给信号处理电路，可使其在两种模式间切换。在坐标分析模式下，其功能与前述一样。在图象采集模式下，信号处理电路将原始数字图象信号传输至计算机。在本实施例中，采用前述自动方式进行参考点样本坐标的采集，即先在计算机显示屏上显示具有参考点位置特征的图象，然后采集图象并传输到计算机，用软件进行图像分析来求出参考点在成像坐标系中的坐标值。

为了提供信噪比，可以反复使图象亮度反转，同步地记录图象并进行相关处理。

实施例二：附图3所示的多个摄像装置的系统的实施例。其中17是信号处理电路，16是摄像头。与以上实施例不同的是，它包括两个从不同方向拍摄屏幕图象的摄像头。它们安装在接近屏幕平面的位置。根据几何原理，当两个摄像头固定时，屏幕上任一点在两个摄像头取景范围中的侧向角度，即延屏幕方向上展开的角度，唯一决定了其位置。信号处理电路用于从图像信号中提取发光点在摄像头中的视角信息，从而系统可以进一步计算出坐标信息。在此系统中，摄像器件可以采用一维成像器件如线性阵列CCD或CMOS成像器件。根据实际需要也可以设置两个以上摄像头，对其信号进行联合处理。本实施例的优点是：1．由于摄像头接近屏幕，不易受到遮挡。2．线阵图象传感器有更高的扫描速率，从而系统响应更快。

Claims (8)

1．用于计算机坐标与控制信息输入的系统及方法，其系统包括信

   号采集处理器和发光笔，其中信号采集处理器的组成是摄像装置

   (1)连于信号处理电路(2)，再连于接口(3)，接口(3)可与计算机

   进行通信，其特征在于摄像装置的成像光路中包含滤光片，发光

   笔中的发光器件为半导体发光器，其特征还在于系统采用如下方

   法：

   (1)．利用发光笔产生的光点指示目标点的位置，同时引入摄像装

        置进行实时图像采集，用电路进行图象分析处理取得光点的

        位置信息并通过接口输入计算机，根据这些信息计算出光点

        在摄像机程序坐标系中的坐标。

   (2)．引入坐标变换计算过程将成像坐标系中的坐标转换为计算机

        显示坐标系中相应的坐标，为了实现上述变换计算，在系统

        初始化过程中引入一个采集参考点样本坐标的步骤。

2．根据权利要求1所述的用于计算机坐标与控制信息输入的系统及

   方法，其特征在于其方法还利用发光笔所产生光点出现和消失的

   时间序列来表示控制信息。

3．根据权利要求1或2所述的用于计算机坐标与控制信息输入的系统

   及方法，其特征是：参考点样本坐标的采集步骤在显示坐标系的

   一个以上位置处显示特征点，利用光点在其位置出现并记录其在

   成像坐标系中的坐标值来实现样本坐标的采集。

4．根据权利要求1或2所述的用于计算机坐标与控制信息输入的系统

   及方法，其特征是：参考点样本坐标的采集步骤是先在计算机显

   示屏上显示具有参考点位置特征的图象，然后采集图象并传输到

   计算机，用软件进行图像分析来求出参考点在成像坐标系中的坐

   标值。

5．根据权利要求4所述的用于计算机坐标与控制信息输入的系统及

   方法，其特征在于参考点样本坐标采集的步骤包含反复使图象

   亮度反转，同步地记录图象并进行相关处理的步骤。

6．根据权利要求1所述的用于计算机坐标与控制信息输入的系统

   及方法，其特征是：信号采集处理器中的摄像装置是一个摄像

   头，并且与其相对固定有1-3个可见光半导体激光器。

7．根据权利要求1所述的用于计算机坐标与控制信息输入的系统

   及方法，其特征是：信号采集处理器有坐标分析模式和图象

   采集模式两种工作模式，通过计算机接口的控制可使其在两

   种模式间切换，在坐标分析模式下，它输出亮光点位置信

   息，在图象采集模式下，它将原始数字图象信号传输至计算

   机。

8．根据权利要求1所述的用于计算机坐标与控制信息输入的系统

   及方法，其特征是：所述的信号采集处理器中的摄像装置是

   2-6个摄像头。

Images