CN101278251B

CN101278251B - 交互式大规模触摸面系统

Info

Publication number: CN101278251B
Application number: CN2006800234173A
Authority: CN
Inventors: 道格拉斯·希尔; 尼尔·柏克凯; 塔科·万艾依皮润; 塞尔格维·维都文; 罗伯托·西罗蒂克; 马克·弗莱彻; 斯格特·塔尔曼; 马里林·威廉; 谢恩·爱德华·比尔; 香农·帕特里夏·古德曼
Original assignee: Smart Technologies ULC
Current assignee: Smart Technologies ULC
Priority date: 2005-05-02
Filing date: 2006-05-02
Publication date: 2011-10-05
Anticipated expiration: 2026-05-02
Also published as: US20060244734A1; EP1877893A4; WO2006116869A1; NZ563073A; JP2008541210A; AU2006243730A1; AU2006243730B2; CA2606863A1; US8487910B2; CN101278251A; JP5103380B2; EP1877893A1

Abstract

一种触摸系统(100)，包括其上呈现图像的大规模触摸面(102)和至少两个成像装置(C₀到C″₃)，所述成像装置(C₀到C″₃)扫视触摸面并具有重叠的视场。处理结构(108、110)与成像装置进行通讯并处理由成像装置获得的图像数据，从而利用三角测量法来确定在触摸面上的指针接触。处理结构进一步执行至少一个应用程序，以便于用户与触摸面进行交互。还披露了与触摸面进行交互的方法。

Description

交互式大规模触摸面系统

技术领域

本发明一般涉及交互式输入系统，特别涉及大规模触摸系统以及与其交互的方法。

背景技术

在本领域中已知多种触摸系统，它们一般包括具有触摸面的触摸屏，在触摸面上形成有触点，利用指针来产生用户输入。检测关于触摸面的指针接触，并且基于形成这些触点的触摸面区域，将其用于产生相应的输出。通常的触摸系统利用模拟电阻的、电磁的、电容的、声学的或机器视觉来识别与触摸面的指针交互。

例如，转让给本发明的受让人SMART Technologies有限公司、于2001年7月5日提交并且于2002年1月10日以No.WO02/03316公布的国际PCT申请No.PCT/CA01/00980，其披露了一种基于摄像机的触摸系统，具有包括无源触摸面的触摸屏，在无源触摸面上呈现计算机产生的图像。矩形窗口或框架围绕该触摸面，并且在其角落上支撑多个数字摄像机。数字摄像机具有重叠的包围和扫视触摸面的视场。数字摄像机从不同的位置获取图像并且产生图像数据。由数字信号处理器处理数字摄像机获取的图像数据，从而确定在所捕获的图像数据中是否存在指针。当确定在所捕获的图像数据中存在指针时，数字信号处理器将指针特征数据传送到主控制器，其依次处理指针特征数据，从而利用三角测量在关于触摸面的(x，y)坐标系中确定指针的位置。将指针坐标数据传送到运行一个或多个应用程序的计算机。该计算机使用指针坐标数据来更新在触摸面上显示的计算机产生的图像。因此，能够将触摸面上的指针触点记录为写或画，或者将其用于控制由计算机执行的应用程序的运行。

虽然上述触摸系统工作得非常好，但是因为每个摄像机的视场设置为包括整个触摸面，所以摄像机分辨率对于所能形成的触摸系统的尺寸具有极限。

在多种环境下，例如在教学设施中，期望大规模教学系统，从而能够为大群体进行可视显示。已经考虑由一系列并排安装的触摸面板制造大规模触摸系统。虽然这种触摸系统提供了较大的触摸面，但是由于包围触摸面的多个单独框架，所以这种触摸面不是连续的。同样，从一个触摸面到另一触摸面跟踪指针运动是难以处理的和用户不友好的。

在Hill等的并被转让给本发明的受让人SMART Technologies有限公司的序列号为No.10/750,219的美国专利申请中，披露了一种大规模触摸系统，克服了上述提到的问题。这种大规模触摸系统包括分成多个坐标输入子区域的触摸面。这些输入子区域交错来限定一个通常的连续输入面。每个坐标输入子区域响应于其上的指针接触产生指针坐标数据。处理指针坐标数据以更新再输入面上呈现的图像数据。当在不与相邻坐标输入子区域重叠的坐标输入子区域上进行指针接触时，该坐标输入子区域处理所获取的图像以获得指针数据并且利用所获得的指针数据来三角测量指针的位置，因而相对于触摸面确定指针接触的位置。当在与相邻坐标输入子区域重叠的坐标输入子区域上进行指针接触时，每个重叠的坐标输入子区域处理所获取的图像以获得指针数据并且利用所获得的指针数据来三角测量指针的位置。此后，根据定义的逻辑，处理由重叠的坐标输入子区域产生的三角测量位置，从而相对于触摸面确定指针接触的位置。

上述Hill等的大规模触摸系统提供了连续的触摸面，使其在由较大的群体观看触摸面的情况中非常有效。然而增大触摸面的尺寸出现了问题。可能出现用户不能容易的与触摸面物理交互的多种情况。例如，根据触摸面的尺寸和用户的实际尺寸和/或条件，用户可能不能达到触摸面的上部区域。同样，可能出现多种情况，其中用户站到触摸面的一侧，但需要与临近于触摸面的相对侧显示的图像内容交互。不得不走到触摸面的相对侧而与触摸面交互是不方便的，并且可以导致显示在触摸面上的图像中断或遮盖。此外，触摸面的尺寸可能使用户难于识别可视显示的对象，例如模型框(modal boxes)。如将理解地，期望与这种大规模触摸系统交互的方法，使用户容易交互。

因此，本方面的目的是提供一种新的大规模触摸系统以及与其交互的方法。

发明内容

因此，在一个方面中，提供了一种在具有触摸面的大规模触摸系统中便于用户与显示图像进行交互的方法，其中在所述触摸面上呈现所述显示图像，所述方法包括：

在用户可达到的位置处，在所述触摸面上显示至少部分所述显示图像的按比例缩放型式；和

将按比例缩放型式映射到所述显示图像的相应部分，使得与按比例缩放型式的用户交互转变为与所述显示图像的交互。

在一个实施例中，在显示期间，在窗口内呈现整个显示图像的按比例缩放型式。邻近于所述触摸面的下部放置所述窗口。窗口的位置是用户可调整的。

根据另一个方面，提供了一种在具有触摸面的大规模触摸系统中便于用户与显示图像进行交互的方法，其中在所述触摸面上呈现所述显示图像，所述方法包括：

在邻近用户可达到位置处，在所述触摸面上限定文本输入区域；

检测被输入到所述文本输入区域中的文本；和

在与所述文本输入区域间隔开的文本显示区域内，显示所检测的输入文本。

在一个实施例中，邻近于所述触摸面的上部放置所述文本显示区域，并且邻近于所述触摸面的下部放置所述文本输入区域。文本输入区域和文本显示区域的位置是用户可调整的。

根据又一个方面，在具有触摸面的大规模触摸系统中，提供了一种对出现在所述触摸面上的显示对象进行定位的方法，包括：

追踪相对于所述触摸面的用户的移动；和

紧邻所述用户来放置一个或多个显示对象。

在一个实施例中，通过监控最后的触摸输入位置来追踪用户的位置。紧邻于该最后触摸输入位置呈现显示对象。

在可替换的实施例中，追踪包括：捕获围绕触摸面的区域的图像，并且处理所捕获的图像，从而确定相对于所述触摸面的所述用户的位置。还可以检测投射到触摸面上的阴影，使得显示对象呈现在邻近所述用户以及在所检测阴影外部的所述触摸面上。

根据再一个方面，提供了一种在具有触摸面的大规模触摸系统中便于用户与显示图像进行交互的方法，其中在所述触摸面上呈现所述显示图像，所述方法包括：

高亮显示至少一个需要用户交互的显示对象，以提供关于所述至少一个显示对象的存在的强烈视觉反馈。

在一个实施例中，至少一个显示对象是模型框，并且高亮显示包括应用覆盖层到显示图像。覆盖层在其中具有一般对应于模型框尺寸的开口，并且覆盖层被着色以与模型框对比清晰，从而高亮显示模型框。在一个可选择的实施例中，高亮显示包括显示围绕模型框的多个同心环。

在用户可达到的位置处，在所述触摸面上再现至少一个所述显示图像区域；和

将再现区域映射到所述显示图像的相应部分，使得与再现区域的用户交互转变为与所述显示图像的相应部分的交互。

在一个实施例中，至少一个区域是显示图像的上部区域。邻近显示图像的底部，再现显示图像的所述上部区域。邻近触摸面的每侧，还再现显示图像的相对侧部分。

在所述触摸面上显示鼠标对象；

检测在所述鼠标对象内的所述触摸面上的指针交互；和

以避免输入焦点被移动到所述鼠标对象的方式，来处理对应于所述指针交互的鼠标事件。

在处理期间，将鼠标事件注入到触摸系统操作系统的鼠标事件队列。鼠标对象可以包括一个或多个按钮。在一个实施例中，鼠标对象是固定的并且与鼠标垫类似。在另一个实施例中，响应于与触摸面的指针交互，鼠标对象在触摸面上是可移动的。

根据再一个方面，提供一种触摸系统，包括：

其上呈现图像的大规模触摸面；

至少两个成像设备，扫视所述触摸面并具有重叠的视场；和

处理结构，与所述成像设备通讯并处理由所述成像设备获取的图像数据，以使用三角测量确定在所述触摸面上的指针接触，所述处理结构进一步执行至少一个应用程序以使用户易于与所述触摸面进行用户交互。

这些交互方法提供的优点在于，虽然大部分触摸面可能在用户物理达到的范围之外，但是用户也能够与触摸面的整个显示区域进行交互。通过不用使用户移动到不方便的位置与触摸面进行交互，这些方法还便于进行用户交互，并且确保需要用户立即注意的显示对象被清楚可视的显示在触摸面上。

附图说明

现在将参照附图更全面的描述实施例，其中：

图1是大规模触摸系统的前平面图，该大规模触摸系统包括伸长矩形的、一般连续的触摸面，该触摸面分为一系列坐标输入子区域；

图2是图1的触摸系统的示意框图；

图3是图1的大规模触摸系统的另一个前平面视图；

图4是图1的大规模触摸系统的前平面图，示出了在按比例缩放桌面应用程序的执行期间显示的按比例缩放的桌面窗口；

图5a到5e是部分触摸面的前平面视图，示出了在文本输入应用程序执行期间显示的文本输入窗口和上部文本显示区域；

图6是触摸面的前平面视图，示出了一个高亮显示的模型框；

图7是触摸面的前平面视图，示出了屏上鼠标应用程序执行期间显示的鼠标对象；

图8a到8c是触摸面的附加前平面视图，示出了鼠标对象；

图9a和9b是流程图，示出了屏上鼠标应用程序执行期间处理鼠标事件时的步骤；

图10是触摸面的前平面视图，示出了在相关鼠标垫应用程序执行期间显示的相关鼠标垫；

图11a和11b是该相关鼠标垫的附加前平面视图。

具体实施方式

现在转向图1和2，示出了并一般由附图标记100标识了在Hill等2004年1月2日提交的、被转让给本发明的受让人SMARTTechnologies有限公司的美国专利申请No.10/750,219中所述的大规模触摸系统，该美国专利申请No.10/750,219的内容通过引入被并入于此。触摸系统100包括由照明窗口(bezel)104围绕的、伸长的并且通常为矩形的和连续的触摸面102。照明窗口104提供红外背光穿过触摸面102。

多个摄像机组106与触摸面102相关联，在这个实施例中是三个摄像机组106。这些摄像机组沿着触摸面102的长度放置。每个摄像机组106包括布置成限定矩形的角的四个摄像机。每组106的摄像机具有被定位为扫视部分触摸面102的重叠的视场，从而限定触摸或坐标输入子区域。因此，在本实施例中，摄像机组106分别限定了一系列的三个并排的坐标输入子区域CIR₁、CIR₂和CIR₃。还定位这些摄像机的视场，使得由相邻摄像机组限定的坐标输入子区域重叠，来分别限定两个过渡带TZ_1/2和TZ_2/3。

每个摄像机组106与主控制器108通信。每个主控制器108处理从其相关的摄像机组106中接收的指针特征数据，从而利用三角测量在(x，y)坐标系中来确定出现在由摄像机捕获的图像上的指针位置。主控制器108将指针坐标数据传送到计算机110，允许计算机110将指针坐标数据记录为写或画，或者将指针坐标数据用作鼠标事件，以控制由计算机110执行的应用程序的运行。计算机110提供图像数据给一系列投影仪P₁到P₃，投影仪P₁到P₃依次将图像投射到触摸面102。计算机110响应于接收到的指针坐标数据，更新图像数据，使得投射到触摸面102上的图像反映了指针的活动。

每个投影仪与不同的坐标输入子区域相关联，并且在其上投射图像。如可看到的，投影仪P₁投射图像到坐标输入子区域CIR₁上，投影仪P₂投射图像到坐标输入子区域CIR₂上，以及投影仪P₃投射图像到坐标输入子区域CIR₃上。对齐投影图像，并且将它们沿着一般在过渡带TZ_1/2和TZ_2/3的中点处的垂直线无缝连接，从而提供平滑且连续的图像横跨触摸面102。在本实施例中，计算机110执行桌面应用程序。每个坐标输入子区域相关于且绑定到特定的桌面部分。因此，计算机110将图像数据提供到投影仪P₁到P₃，从而在这些坐标输入子区域上显示适当的桌面部分。

工具盘112还与每个坐标输入子区域相关联。每个工具盘112保持多个具有不同指定属性的指针或工具(未示出)。在这个例子中，每个工具盘保持多个着色笔或一个橡皮擦。当从工具盘中提取工具时，工具盘112提供信号给相关的主控制器108，主控制器108又将该信号传送到计算机110以识别所选工具。这样，当使用着色笔与触摸面102接触时，将追踪笔运动的以适当颜色的笔迹投射到触摸面。当使用橡皮擦与触摸面102接触时，擦除投射到在其上移动橡皮擦的触摸面上的笔迹。如已知地，可以调节桌面应用程序来为用于接触每个坐标输入子区域的指针指定特性。

使用在坐标输入子区域的对角处的摄像机之间延伸的对角线，将每个坐标输入子区域分为四个象限(如图3所示)。在每个象限内允许指针追踪的图像捕获是响应于在组中的不同摄像机对。顶部象限Q_T是组中的底部左侧和底部右侧摄像机的响应，底部象限Q_B是组中的顶部左侧和顶部右侧摄像机的响应，左侧象限Q_L是组中的顶部左侧和底部左侧摄像机的响应，以及右侧象限Q_R是组中的顶部右侧和底部右侧摄像机的响应。

当指针接触于在过度带外的一个坐标输入子区域内的象限时，在Morrison等的、被转让给本发明的受让人SMART Technologies有限公司的美国专利No.US6,954,197所述的方法中，通过摄像机和相关的主控制器108来处理由指定给那个象限的摄像机对所捕获的图像，美国专利No.US6,954,197的内容通过引入并入于此。这样，确定围绕指针触点的边界框，允许计算关于坐标输入子区域在(x，y)坐标系中的指针的位置。因此，在这种情况下，仅有一个主控制器108将指针坐标数据报告给计算机110。如果指针接触是一个写事件，那么计算机110依次将指针坐标数据记录为写或画，或者如果指针接触是一个鼠标事件，那么计算机110把指针坐标数据注入到正在由计算机110运行的有效应用程序。

通常为确定指针接触是写入还是鼠标事件，检查工具类型和第一接触点。如果使用画工具进行接触并且该接触在投射的桌面部分内的指定写区域中，那么将该指针接触视为写事件；否则将该指针接触视为鼠标事件。

当指针在过渡带内接触触摸面102时，与观察该过渡带的两个摄像机组相关的主控制器108以上面涉及的相同方式产生指针坐标，并且将所产生的指针坐标传送到计算机110。一旦接收到两个报告的指针坐标，计算机110就使用定义的逻辑，在这种情况下是加权平均技术，来产生表示指针接触位置的单独的(x，y)坐标对。如果指针接触是一个写事件，计算机110依次将指针坐标数据记录为写或画，或者如果指针接触是一个鼠标事件，那么计算机110把指针坐标数据注入到正在由计算机110运行的有效应用程序。

当用户与触摸面交互时，由于触摸面的尺寸，所以用户需要与其交互的显示对象可能在用户达到的范围之外，要求用户移动通过触摸面的前方，到达接近于显示对象的位置。由于可能中断所投射的图像或者遮盖触摸面的视图，所以这必然是有问题的。由于触摸面102的尺寸，所以也可能难于看到显示对象。

为了克服这个问题，可以借助多种不同的交互方法来使用户容易的与大规模触摸面102交互。现在将说明由大规模触摸系统102支持的交互方法。

按比例缩放的桌面

如上所述，在很多情况下，用户必须与其交互的显示图像部分在用户达到的范围之外。为了解决这个问题，可以响应于相关的输入动作(gesture)，调用存储在计算机110中的按比例缩放桌面应用程序。例如，输入动作可以要求用户使用两根并在一起的手指接触触摸面102并且随后通常在相反方向上水平的移动分开手指。可选择地，输入动作可以要求用户使用一根手指接触触摸面102并且随后通常在短时限内水平的前后移动手指。

当调用按比例缩放桌面应用程序时，在临近于输入动作的位置处或者如图4所示的触摸面的适当的下部处的小窗口200内，显示被投射到触摸面102上的整个图像的按比例缩放型式。在这个例子中，窗口200大约是一平方英尺，并且临近于用户容易接近的位置处的触摸面102的底部边缘进行显示。当用户希望与呈现在触摸面102上的显示图像交互时，用户仅需要与在窗口200中的显示图像的按比例缩放型式进行交互。将与窗口200中的缩小图像的接触和交互映射到被投射于触摸面102上的较大图像中。这样，为了与触摸面的整个区域交互，仅要求用户与窗口200内的小区域进行交互。通过直角坐标变换，获得从窗口200到触摸面的映射。假定触摸面102具有尺寸SW和SH，而在TX和TY处的窗口200具有尺寸TW和TH，能够将窗口200中的坐标X、Y如下映射到触摸面坐标：

SX＝(TX-X)/TW×SW

SY＝(TY-Y)/TH×SH

如将理解地，按比例缩放桌面应用程序使用户容易与整个触摸面102交互，所述整个触摸面102包括一般在用户所达到范围之外的多个触摸面102的区域。

文本输入

当用户在投射图像内与指定写区域进行交互时，用户可以调用存储在计算机110中的文本输入应用程序，从而使得用户将文本放入在难于达到的位置处的指定写区域内。响应于用户输入命令来调用文本输入应用程序，文本框窗口250打开并出现在触摸面102的下部底角附近(如图5所示)。文本框250链接到触摸面102上边缘附近的上部文本显示区域252。当将字符写入到文本框窗口250中并通过鼠标命令键入时，计算机110识别写入的字符，将其注入到文本显示区域252并且呈现在显示在触摸面102上的图像内。图5a到5e利用注入到上部文本显示区域250的字符“h”、“e”、“l”、“l”和“o”示出了文本框窗口250。用户能够操纵文本框窗口250的位置，允许将文本框窗口250放置在触摸面102上的基本任何期望的位置处。同样的，用户能够操纵被链接到文本框窗口250的文本显示区域252，从而允许将其放置在触摸面102上的基本任何期望的位置处。

智能显示对象的确定

由于不是所有的触摸面区域对用户来说是立即可达到的，所以例如工具栏、弹出窗口等在触摸面102上的显示对象的位置是重要的。为了有助于确保显示对象显示在方便的位置处，触摸系统100可以使用多种用于智能显示对象的方法。

用于智能显示对象的多种方法是基于相对于触摸面102的用户位置的。这样，随着用户相对于触摸面102移动，那么显示对象的位置也移动，有助于确保显示对象仍在触摸面102上的便于达到的位置处。

在一个实施例中，当一个显示对象呈现在触摸面102上时，考虑到触摸面边缘的位置和例如窗口和工具栏的其它显示对象，该显示对象出现在接近于通过触摸面102输入的最后鼠标事件的位置处。在这种情况下，假定用户一般在与触摸面102的鼠标交互之间不移动很大的距离。

在另一个实施例中，利用摄像机C的扩展视场。对于被处理以检测与触摸面102的指针交互的、由摄像机捕获的图像还被处理，从而定位相对于触摸面102的用户位置。由摄像机查看的用户位置随后用于确定显示对象的位置，使得显示对象出现在接近用户的位置处。然而，由于要求用户停留在摄像机的视场内，所以使用摄像机的扩展视场是受限制的。

在又一个实施例中，使用辅助独立摄像机(未示出)或位于触摸面102的前面或后面的具有内置辅助摄像机的投影仪，来捕获图像，计算机110处理该图像以检测相对于触摸面102的用户位置。辅助摄像机可以是一个用于视频会议或安全目的的摄像机。由辅助摄像机查看的用户位置用于确定显示对象的位置，使得显示对象出现在接近于用户的位置处。这允许显示对象追踪用户的移动。如果期望，可以进一步处理由辅助摄像机捕获的图像，以检测投射在触摸面102上的阴影，以及在接近于用户且在投射阴影外侧的位置处，在触摸面102上呈现显示图像。

模型框显示

由于触摸面102是大的，所以可能难于视觉检测在触摸面102上呈现的一些显示对象。根据显示对象的种类，不能看到这些显示对象可能造成用户失败感(frustration)。例如，当显示一个模型框时，禁止用户与在计算机110上运行的应用程序进行交互，直到答复了该模型框。如果用户没有意识到该模型框的存在，随着用户与已不期望的变为失效的应用程序进行交涉，可能导致失败感。为了帮助用户视觉识别模型框等，当在触摸面102上出现模型框300时，触摸面102上还出现暗部覆盖层(dark overlay)302，触摸面102具有在其上剪切的在尺寸和形状上对应于模型框的孔，如图6所示。覆盖层302还可以包括多个孔，用于子对话框、工具提示和其它图形信息，这些孔可能需要对用户来说是看见的，使用户能够答复模型框300。覆盖层302提供强烈的视觉反馈给用户，从而确保在触摸面102上容易识别模型框300。

由在计算机110上运行的监听应用程序来检测在触摸面102上的模型框300的出现。当用户利用模型框答复时，立刻消除覆盖层302。如果期望，当一个模型框出现在触摸面102上时，使用上述一个智能显示对象的方法，可以在触摸面上邻近用户位置的区域处显示该模型框。

可选择的，可以使用不同的视觉反馈来高亮显示模型框。例如，可以通过出现类似于雷达“脉冲信号(ping)”的围绕模型框的收缩直径的同心圆，来高亮显示所显示的模型框的出现。

语音识别

如果期望，触摸系统100可以使用语音识别来允许用户使用语音命令与触摸面102进行交互。在此，计算机110执行XP语音识别软件。还提供连接到计算机110的扩音器(未示出)来拾取用户输入语音命令。为了简化菜单选择，提供能够下拉的语音命令菜单，允许用户读出要输入的适当的语音命令。这样，通过语音输入，可以打开、关闭和操作文件，避免了对用户与整个触摸面102进行物理交互的需要。还能够输入语音命令以控制投影仪P₁到P₃或改变用于输入触摸指令的工具种类(即，笔或橡皮擦)。

在这个实施例中，通过特定的触摸指令，动态地使得语音识别有效和失效，从而允许运行在触摸系统100附件的讨论，而不会因疏忽而启动语音命令。

智能鼠标

当在个人计算机等上使用鼠标时，鼠标具有悬浮模式，其允许用户确定何时在目标显示对象上放置鼠标。这使用户易于与显示对象交互。通常在触摸系统中并且特别是在大规模触摸系统100中不幸的是，丢失了鼠标的位置反馈，使用户难于确定何时在目标显示对象上放置鼠标。

为了应对这种反馈的丢失，可以为支配计算机110执行智能鼠标应用程序。当接收到鼠标向下事件时，检查鼠标向下事件的位置以确定鼠标向下事件是否最接近于可行目标显示对象。在这个例子中，最接近的可行目标显示对象是被定位在鼠标向下事件的5个像素内的对象。如果鼠标向下事件接近一个可行目标显示对象，那么鼠标向下事件自动移动到该可行目标显示对象的位置，并且显示光标移动到该目标显示对象的位置。根据显示对象的种类，能够或不能将光标锁定到显示对象。例如，如果鼠标事件邻接于窗口边界，那么由于假定鼠标向下事件将调整窗口大小，所以不将光标锁定到窗口边界。当鼠标的位置从目标显示对象移动到超出阈值距离时，解除鼠标向下事件和光标。

屏上(on screen)控制

也能够调整大规模触摸系统100来调用大量屏上控制应用程序中的一个或多个，以使用户易于与难于达到的触摸面102的区域进行交互。这些屏上控制应用程序包括绝对镜像模式应用程序、相关鼠标垫应用程序、屏上鼠标应用程序和相关鼠标应用程序。

当调用屏上鼠标应用程序时，鼠标对象350出现在接近于触摸面102的底部，如图7所示。鼠标对象350类似于标准鼠标，并且分别具有右、左和中间按钮352到356。当指针在鼠标对象350的主体358上接触时，通过在触摸面102上拖拽指针能够移动鼠标对象，导致在触摸面上光标的相应移动。这允许用户在触摸面102上的任何期望位置处放置光标。当在右、左或中间按钮上进行指针接触时，产生基于与触摸面102相关的光标位置的右击、左击和中击鼠标事件。

如果用户将鼠标对象350拖拽到显示图像的边界并且丢失指针与鼠标对象间的接触，那么鼠标对象350模仿常规鼠标垫的重回中心的行为，自动回到中心位置。如果作为左击操作的结果执行拖拽操作并发生自动重回中心，那么当鼠标对象350重回中心时左击操作保持锁定，以允许拖拽操作继续。如果用户使用指针执行点击操作并拖拽鼠标对象，那么鼠标对象350保持固定，并且光标在追踪指针的移动的鼠标对象的边界内移动。

为了避免与显示的鼠标对象350接触而影响计算机操作系统的鼠标和妨碍操作系统窗口输入焦点，将由与鼠标对象的指针交互导致的鼠标事件注入到操作系统鼠标队列，从而禁止输入焦点移动到鼠标对象。这通过与在美国专利No.6,741,267中所述的类似方式来完成，vanleperen的、转让给本发明的受让人SMART Technologies有限公司的美国专利No.6,741,267的内容通过引用被并入于此。

例如，图8a示出了鼠标对象350，其中在鼠标对象的主体358上进行指针接触并且将指针拖拽到左侧，导致鼠标对象350在触摸面102上移动到左侧。图8b示出了鼠标对象350，其中在鼠标对象的主体358上进行指针接触并且将指针拖拽到右上侧，导致鼠标对象350在触摸面102上移动到右上侧。图8c示出了鼠标对象350，其中在左按钮352上进行指针接触并且向上拖拽指针到左侧，导致到左上侧的拖拽操作。

图9a和9b是示出了处理鼠标对象事件的方法的流程图。当在触摸面102上进行指针接触时，检查确定在鼠标对象内是否发生指针接触(步骤500)。如果是，就检查鼠标对象以确定其是否在鼠标下降条件中(步骤502)。如果是，就设定鼠标标记(步骤504)并且将该接触事件发送到屏上鼠标应用程序，使得能够如将说明的那样处理鼠标接触(步骤506)。如果鼠标对象不在鼠标下降条件中，那么清除鼠标标记(步骤508)并且将该鼠标事件发送到操作系统鼠标队列(步骤510)。

在步骤500，如果接触事件发生在鼠标对象的外部，进行检查确定是否设定了鼠标标记(步骤512)。如果不是，就将该鼠标事件发送到操作系统鼠标阵列(步骤510)。如果设定了鼠标标记，就将该鼠标事件发送到用于处理的屏上鼠标应用程序(步骤514)。

当将鼠标事件发送到屏上鼠标应用程序时，检查该接触事件以确定其类型(步骤520)。如果接触事件是向上接触(contact up)事件，那么测量向上接触事件的x、y坐标(步骤522)，并且将该向上接触事件发送到操作系统鼠标队列(步骤528)。

如果接触事件是鼠标移动事件，那么测量鼠标移动的x、y坐标(步骤526)，并且将该鼠标移动事件发送到操作系统鼠标阵列(步骤528)。

如果接触事件是鼠标向下事件，那么保存指针接触的位置(步骤530)，并且检查在其上进行鼠标接触的鼠标对象的区域(步骤532)。如果接触左按钮，那么产生左按钮向下和左按钮向上事件(步骤534和536)。随后测量指针接触的x、y坐标(步骤538)，并且将该左击鼠标事件发送到操作系统鼠标阵列(步骤540)。如果接触右按钮，那么产生右按钮向下和右按钮向上事件(步骤542和544)。随后测量指针接触的x、y坐标(步骤538)，并且将该右击鼠标事件发送到操作系统鼠标阵列(步骤540)。如果接触中间按钮，那么产生中间按钮向下和中间按钮向上事件(步骤550和552)。随后测量指针接触的x、y坐标(步骤538)，并且将该中击鼠标事件发送到操作系统鼠标阵列(步骤540)。如果接触鼠标主体，那么产生鼠标移动事件(步骤560和562)。随后测量指针接触的x、y坐标(步骤538)，并且将该鼠标移动事件发送到操作系统鼠标阵列(步骤540)。

当调用相关鼠标垫应用程序时，鼠标垫对象600出现在邻近于触摸面102的底部，如图10中所示。鼠标垫对象600与膝上型计算机上的鼠标垫相似，并且包括左按钮602、右按钮604和中间按钮606以及敲击输入区域608。当用户利用指针来敲击输入区域608时，利用指针移动来在触摸面102上移动光标。当在左、右或中间按钮上进行指针接触时，产生基于与触摸面相关的光标位置的右击、左击和中击鼠标事件。以与上述参照屏上鼠标应用程序类似的方式处理鼠标事件。例如，图11a示出了鼠标垫对象600，其中在输入区域608上进行指针接触，并且在输入区域上拖拽指针。这导致光标在触摸面102上的指针运动方向上移动。指针拖拽越远，光标移动越快。图11b示出了鼠标垫对象600，其中在右按钮604上进行指针接触。

响应于显示在触摸面102底角处的触发按钮的启动，调用绝对镜像模式应用程序。当启动触发按钮并调用绝对镜像模式时，邻近于触摸面102顶部边缘的显示图像部分被再现和镜像到邻近于触摸面102的底部边缘。使用三角坐标变换，将再现显示图像部分映射到其相应的显示图形部分。当用户在再现显示图像部分内接触触摸面时，将该接触映射到其相应的触摸面102部分，允许用户容易的与触摸面顶部进行交互。如果响应于用户接触而更新显示图像，那么在邻近于触摸面底部出现的再现显示图像部分中，重新刷新发生在显示图像顶部的更新。如果触摸面102的相对侧显示不同的用户可交互对象，那么可以镜像触摸面的这些侧。

当调用相关鼠标应用程序时，当在触摸面上进行接触时，将初始接触视为光标的参考点。每个与触摸面的后续接触导致光标在接触方向上从先前的光标位置移动设定的距离。通过进行连续稳定的接触产生鼠标点击。

以上说明了多种工具使用户易于与大规模触摸系统进行交互。本领域技术人员将理解，大规模交互触摸系统可以包括上述交互工具的任一种或不同的组合。

虽然已经参照附图说明了实施例，但是本领域技术人员也将理解，可以进行变化和修改，而不脱离如所附权利要求书所限定的精神和范围。

Claims

1.一种便于用户与显示在大规模触摸系统的触摸面上的图像进行交互的方法，所述方法包括：

利用摄像机装置组捕获所述触摸面的图像，所述摄像机装置组沿着所述触摸面的长度并列放置，每个摄像机装置组包括具有被定位为扫视所述触摸面的重叠的视场的至少两个横向间隔开的摄像机装置；

处理所捕获的图像以检测用户与所述触摸面的交互；

在用户可达到的位置处，响应于在所述触摸面的任意点所做的相关联输入动作，在所述触摸面上显示至少部分所述显示图像的按比例缩放型式，所述按比例缩放型式被显示在所述输入动作的位置的临近处；以及

将所显示的按比例缩放型式的坐标映射到所述显示图像的相应坐标部分，使得与所显示的按比例缩放型式的用户交互转变为与所述显示图像的交互。

2.根据权利要求1的方法，其中在显示期间，在窗口内呈现整个显示图像的按比例缩放型式。

3.根据权利要求2的方法，其中邻近于所述触摸面的下部放置所述窗口。

4.根据权利要求2或3的方法，其中所述窗口的位置是用户可调整的。

5.一种便于用户与显示在大规模触摸系统的触摸面上的图像进行交互的方法，所述方法包括：

处理所捕获的图像以检测用户与所述触摸面的交互；

在用户可达到的位置处，响应于在所述触摸面的任意随机点所做的相关联输入动作，在所述触摸面上再现所述显示图像的至少一个区域；以及

将该再现区域的坐标映射到所述显示图像的相应坐标部分，使得与该再现区域的用户交互转变为与所述显示图像的相应部分的交互。

6.根据权利要求5的方法，其中所述至少一个区域是所述显示图像的上部区域。

7.根据权利要求6的方法，其中邻近所述显示图像的底部，再现所述显示图像的所述上部区域。

8.根据权利要求7的方法，其中邻近所述触摸面的每侧，再现所述显示图像的相对侧部分。