CN102272703A

CN102272703A - 具有多角度反射结构的交互输入系统

Info

Publication number: CN102272703A
Application number: CN2009801539191A
Authority: CN
Inventors: 亚历山大·克切蒂尼内; 沃恩·E·基南
Original assignee: Smart Technologies ULC
Current assignee: Smart Technologies ULC
Priority date: 2008-11-05
Filing date: 2009-11-05
Publication date: 2011-12-07
Also published as: US20100110005A1; EP2350794A1; WO2010051633A1; EP2350794A4; US8339378B2

Abstract

一种交互输入系统，包括：多角度反射结构，其沿着指示器输入区域的一侧延伸；成像组件，其具有涵盖所述多角度反射结构的视场，其中，所述多角度反射结构被适配以从所述多角度反射结构的至少两个表面位置向所述成像组件反射由在所述指示器输入区域内的指示器发出的辐射，其中，所述至少两个表面位置的每一个都具有不同的相应角；以及，处理结构，用于基于所述至少一个图像来确定所述指示器相对于所述指示器输入区域的位置。

Description

具有多角度反射结构的交互输入系统

技术领域

本发明总体上涉及交互输入系统，并且具体地，涉及包括多角度反射结构的交互输入系统。

背景技术

允许用户使用主动指示器(例如，发出光、声音或其他信号的指示器)、被动指示器(例如，手指、柱体或其他适当的物体)或诸如鼠标或轨迹球的其他适当的输入装置来向应用程序注入输入(例如，数字墨水、鼠标事件等)的交互输入系统是公知的。这些交互输入系统包括但是不限于：包括触摸板的触摸系统，该触摸板使用模拟电阻或机器视觉技术来记录指示器输入，诸如在美国专利No.5,448,263、6,141,000、6,337,681、6,747,636、6,803,906、7,232,986、7,236,162和7,274,356中公开的那些，这些美国专利被转让给本申请的受让方加拿大的Alberta的SMART Technologies ULC of Calgary，这些内容通过引用被包含于此；包括触摸板的触摸系统，该触摸板使用电磁、电容、声学或其他技术来记录指示器输入；平板个人计算机(PC)；触摸有效的膝上型PC；个人数字助理(PDA)；以及，其他类似装置。

上述被包含的Morrison等人的美国专利No.6,803,906公开了一种基于相机的触摸系统，该触摸系统包括触摸屏，该触摸屏包括被动触摸表面，在其上呈现计算机产生的图像。矩形边框或框架围绕触摸表面，并且在其角上支撑数字相机。数字相机具有重叠的视场，该视场涵盖并且总体上扫视触摸表面。数字相机从不同的有利位置获取总体上扫视触摸表面的图像，并且产生图像数据。由数字相机产生的图像数据由数字信号处理器处理，以确定是否在所捕获的图像数据中存在指示器。当确定在所捕获的图像数据中存在指示器时，数字信号处理器向主控制器传送指示器特性数据，主控制器继而处理指示器特性数据，以使用三角测量确定指示器相对于触摸表面的位置。将指示器位置数据传送到执行一个或多个应用程序的计算机。该计算机使用该指示器位置数据来更新在触摸表面上呈现的计算机产生的图像。因此，在触摸表面上的指示器接触可以被记录为书写或绘图，或用于控制由计算机执行的应用程序的执行。

如上所述的触摸系统已经显示工作得极好。然而，由于使用两个或四个数字相机和相关联的数字信号处理器，如上所述的触摸系统在一定程度上生产起来很昂贵。

已经考虑具有较少的硬件部件的基于相机的触摸系统。例如，Segen的美国专利No.5,484,966公开了一种用于在总体上矩形的有效区域内确定物体的位置的设备。该设备包括一对反射镜，该对反射镜沿着有效区域的不同侧延伸，并且被定向成使得反射镜的平面基本上垂直于有效区域的平面。该反射镜被相对于彼此以90度布置，并且在与检测装置对向相对的有效区域的角处相交。检测装置包括反射镜和CCD传感器，并且沿着有效区域的平面扫视。处理器与寄存器装置进行通信，并且从CCD传感器接收图像数据。

根据Segen的专利，当将指示笔布置在有效区域中时，检测装置直接地看到指示笔以及由反射镜反射的指示笔的图像。包括指示笔和指示笔反射的图像被检测装置捕获，并且所捕获的图像被处理器处理，以检测在所捕获的图像中的指示笔和指示笔反射。在已经确定指示笔和指示笔反射的情况下，使用三角测量来计算在有效区域内的指示笔的位置。

虽然Segen的设备仅使用一个光学感测装置和处理器，但是沿着有效区域的多侧需要反射边框，这会对于用户有阻碍。可以明白，期望在具有减少的硬件部件的交互输入系统中的改进。因此，本发明的目的是提供一种新颖的、包括多角度反射结构的交互输入系统。

发明内容

因此，在一个方面，提供了一种交互输入系统，包括：

指示器输入区域；

多角度反射结构，其沿着所述指示器输入区域的单侧定位、并且可操作以从所述多角度反射结构的至少两个表面位置反射来自在所述指示器输入区域内的指示器的辐射，其中，所述至少两个表面位置的每一个都具有不同的各自角度；

成像系统，其可操作以在所述指示器输入区域的至少一部分内捕获位于所述成像系统的视场内的反射的辐射的图像；以及，

处理结构，用于基于至少一个图像来确定所述指示器相对于所述指示器输入区域的位置。

在另一个方面，提供了一种在交互输入系统中用于检测与指示器输入区域相关联的指示器的位置的方法，所述方法包括：

当将所述指示器施加到所述指示器输入区域时照亮所述指示器；

沿着所述指示器输入区域的单侧反射从所述照亮的指示器接收的第一入射辐射信号；

沿着所述指示器输入区域的所述单侧反射从所述照亮的指示器接收的第二入射辐射信号；

获取反射的第一和第二入射辐射信号的图像；以及，

处理获取的图像，以使用三角测量确定所述指示器相对于所述指示器输入区域的位置。

在另一个方面，提供了一种交互输入系统，包括：

指示器输入区域；

多角度反射器，其沿着所述指示器输入区域的单侧定位、并且可操作以从所述多角度反射器的至少两个非平面表面反射从与所述指示器输入区域相关联的物体所接收的辐射；以及

成像系统，其可操作以在所述指示器输入区域的至少一部分内捕获位于所述成像系统的视场内的反射的辐射的图像，以确定所述物体相对于所述指示器输入区域的位置。

在另一个方面，提供了一种交互输入系统，包括：

指示器输入区域；

多个反射器，其沿着所述指示器输入区域的单侧定位、并且可操作以从所述多个反射器的每一个反射从与所述指示器输入区域相关联的物体所接收的辐射，其中，所述多个反射器的每一个都包括不同的形状；以及

在另一个方面，提供了一种交互输入系统，包括：

指示器输入区域，

多个反射器，其沿着所述指示器输入区域的单侧定位、并且可操作以从所述多个反射器的每一个反射从与所述指示器输入区域相关联的物体所接收的辐射，其中，所述多个反射器的每一个都包括不同的角定向；以及

成像系统，其可操作用于在所述指示器输入区域的至少一部分内捕获位于所述成像系统的视场内的反射的辐射的图像，以确定所述物体相对于所述指示器输入区域的位置。

附图说明

现在参考附图更全面地描述实施例，在附图中：

图1是包括多角度反射结构的交互输入系统的示意图；

图2A是形成图1的交互输入系统的一部分的成像组件的示意框图；

图2B是形成图1的交互输入系统的一部分的主控制器的示意框图；

图3是与图1的交互输入系统一同使用的指示器的侧视图；

图4A是示出来自在指示器输入区域上的多角度反射结构的辐射的光线的反射的平面图；

图4B是分离地示出图4A的多角度反射结构的凸出部分和在该凸出部分上的某个位置处的法向向量的平面图；

图4C是分离地示出图4B的凸出部分和来自在该凸出部分上的某个位置的辐射的光线的反射的放大平面图；

图5是示出展示图1的交互输入系统的分辨率的、来自多角度反射结构的辐射的光线的反射的平面图；

图6是示出在图1的交互输入系统的指示器输入区域内的指示器的位置的确定期间执行的步骤的流程图；

图7A至7D是示出在指示器坐标的计算期间执行的步骤的流程图；

图8是示出在图1的交互输入系统的指示器输入区域内的多个校准点的平面图；

图9是示出在图1的交互输入系统的校准参数的确定期间执行的步骤的流程图；

图10是包括多角度反射结构的交互输入系统的替代实施例的等距视图；

图11是包括多角度反射结构的交互输入系统的另一个实施例的等距视图；

图12是包括多角度反射结构的交互输入系统的另一个实施例的平面图；

图13A是示出展示图1的交互输入系统的分辨率的、来自多角度反射结构的辐射的光线的反射的平面图；

图13B是图13A的简化平面图；

图14A是包括多角度反射结构的交互输入系统的另一个实施例的平面图；

图14B是展示光线反射的、图14A的多角度反射结构的一部分的截面图；

图14C是示出多行小平面的、图14A的多角度反射结构的一部分的放大等距视图；

图15A是包括多角度反射结构的交互输入系统的另一个实施例的等距视图；

图15B是图15A的多角度反射结构的一部分的放大等距视图；

图16A是包括多角度反射结构的交互输入系统的另一个实施例的平面图；

图16B是图16A的交互输入系统的另一个平面图；

图16C是图16A的多角度反射结构的一部分的前视图；

图17A是包括具有多角度反射结构和内置的网络摄像头的集成交互输入系统的膝上型计算机的等距视图；

图17B是展示在没有可滑动的棱镜的情况下的网络摄像头的视场的、膝上型计算机显示器的前视图；

图17C是展示在存在可滑动的棱镜的情况下的网络摄像头的视场的、膝上型计算机显示器的前视图；

图17D是示出多角度反射结构的、图17A的膝上型计算机的一部分的放大等距视图；以及

图17E示出可滑动的棱镜的放大等距视图。

具体实施方式

现在转向图1，示出和通过附图标记150来总体地标识了交互输入系统，该交互输入系统允许用户向应用程序注入输入，诸如数字墨水、鼠标事件等。在这个实施例中，交互输入系统150包括在诸如等离子体电视机、液晶显示器(LCD)装置、平板显示装置、阴极射线管显示器或监控器等的显示单元154上安装的组件152。组件152使用机器视觉来检测带入指示器输入区域内的指示器，该指示器输入区域斜放在显示单元154的显示表面156上，并且与主控制器158进行通信。主控制器158与执行一个或多个应用程序的通用计算装置160进行通信，并且可选地与外部接口162进行通信，外部接口162允许出于诸如网络会议的各种目的而向其他系统提供图像。通用计算装置160处理主控制器158的输出，并且向显示单元154提供图像数据输出，使得呈现在显示表面156上的图像反映出指示器的动作。以这种方式，组件152、主控制器158和通用计算装置160允许将在接近显示表面156的指示器输入区域内的指示器动作记录为书写或绘图或用于控制由通用计算装置160执行的一个或多个应用程序的执行。

在这个实施例中的组件152包括两个主要部件，即，成像组件172和多角度反射结构176。成像组件172沿着显示表面156的一侧定位并且一般位于其中点，并且具有总体上扫视显示表面156上的视场(FOV)。多角度反射结构176被定位并且沿着显示表面156的相对侧延伸。多角度反射结构176的整体位于成像组件172的视场内，使得在由成像组件172捕获的图像帧中存在多角度反射结构176。

在这个实施例中的多角度反射结构176包括单个反射器，该单个反射器具有在外观上与正弦曲线类似的、反射复合曲线形状的边框的形式。多角度反射结构176的反射表面大体垂直于显示表面156的平面，并且面向成像组件172。

图2A更好地图示了成像组件172。如可以看出的，成像组件172包括CMOS、CCD或其他适当的成像模块270。成像模块270包括安装有镜头282的图像传感器280。镜头282向图像传感器280提供大得足以涵盖多角度反射结构176的整体的视场。图像传感器280经由数据总线286与先入先出(FIFO)缓冲器284进行通信，并且向FIFO缓冲器284输出图像帧数据。数字信号处理器(DSP)288经由第二数据总线290从FIFO缓冲器284接收图像帧数据，并且当在由图像传感器280捕获的图像帧中存在指示器时，经由串行输入/输出端口292向主控制器158提供图像帧数据。图像传感器280和DSP 288也在双向控制总线294上进行通信。存储图像传感器校准参数的电可编程只读存储器(EPROM)296连接到DSP 288。成像组件部件从电源298接收电力。

图2B更好地图示了主控制器158。主控制器158包括DSP 390，DSP390具有第一串行输入/输出端口392和第二串行输入/输出端口394。主控制器158在通信线396上经由第一串行输入/输出端口392与成像组件172进行通信。由DSP 390从成像组件172接收的图像帧数据被DSP 390处理，以产生将要描述的指示器位置数据。DSP 390在通信线400上经由第二串行输入/输出端口394和串行线路驱动器398来与通用计算装置160进行通信。主控制器158进一步包括存储交互输入系统参数的EPROM 402。主控制器部件从电源404接收电力。

在这个实施例中的通用计算装置160是计算机，该计算机例如包括处理单元、系统存储器(易失性和/或非易失性存储器)、其他非可移除或可移除存储器(例如，硬盘驱动器、RAM、ROM、EEPROM、CD-ROM、DVD、闪存等)和系统总线，该系统总线将各个计算机部件耦合到处理单元。该计算机可以包括网络连接，以接入共享或远程的驱动器、一个或多个联网的计算机或其他联网的装置。

图3示出了用于交互输入系统150的主动指示器P。指示器P具有主体408，该主体408以大体截头圆锥尖端410终接。尖头410容纳一个或多个微型红外线发光二极管(IR LED)(未示出)。该红外线LED由电池(未示出)供电，也容纳在主体408中。致动器412从尖端410突出。致动器412被弹簧(未示出)偏离出尖端410，但是可以在向其施加压力时被推向尖端410。致动器412连接到在主体408内的开关(未示出)，当致动器412顶着弹簧偏离推入尖端410内时，该开关闭合电路以对IRLED通电。在IR LED被通电的情况下，指示器P从其尖端410发出一窄束红外线。

在交互输入系统150的运行期间，通用计算装置160向显示单元154输出图像数据，显示单元154作为响应在显示表面156上呈现对应的图像。成像组件172的DSP 288产生时钟信号，使得图像传感器280以期望的帧率捕获图像帧。当没有指示器P位于指示器输入区域内时，由图像传感器280捕获的图像帧一般是暗的或黑色的。当指示器P被带入指示器输入区域内并且以足以使得致动器412闭合电路以导致IR LED通电的力来接触显示表面156时，从指示器尖端410发出的一些辐射撞击在多角度反射结构176上。多角度反射结构176的构造使得多角度反射结构176将来自其表面位置的至少两(2)个的入射辐射向成像组件172反射。结果，由图像传感器280捕获的图像帧包括与在多角度反射结构176中的指示器P的反射对应的亮区域。如果指示器P在成像组件172的视场内，则该图像帧也包括由从指示器尖端410发出的辐射引起的亮区域，其中从指示器尖端410发出的辐射直接地照射在图像传感器280上。

当捕获每一个图像帧时，DSP 288查看图像帧以确定该图像帧是否包括用于表示指示器的存在的亮区域。当图像帧包括用于表示指示器的存在的亮区域时，DSP 288向主控制器158传送该图像帧。作为响应，主控制器158至少基于与在图像帧中的指示器的反射对应的亮区域来处理该图像帧以产生指示器位置数据。指示器位置数据然后被提供到通用计算装置160，通用计算装置160使用该指示器位置数据作为向运行的应用程序的输入，并且更新正在被输出到显示单元154的图像数据以呈现在显示表面156上。

根据基于设计限制的数值优化来构造多角度反射结构176，使得成像组件172能够看到指示器P的至少两个反射，而与指示器P在指示器输入区域内的位置无关。在这个实施例中，多角度反射结构176包括具有凸出形状的部分和具有凹陷形状的部分。每一个部分是来自圆环体的表面的矩形条。该优化本身被显示在与指示器输入区域平行的二维平面上，其中，多角度反射结构176的每一个部分作为圆周的一部分突出。优化的目的是确定每一个圆周部分的参数，包括每一个圆周的半径、每一个圆周的中心的位置和每一个圆周部分的开始和结束角度。在多个设计限制下执行这些参数的优化。例如，两个圆周部分以一阶导数共轭。换句话说，为了多角度反射结构的连续性，第一圆周部分的端点的一阶导数必须等于第二圆周部分的端点的一阶导数。而且，两个圆周部分在预定位置共轭，并且，被限制到成像组件172的视场。每一个圆周部分的半径不大于第一上限，并且多角度反射结构176的高度(即，共轭圆周部分)不大于第二上限。

借助于诸如Matlab^TM和Zemax^TM的优化软件来在数值上开展所述优化。然而，本领域技术人员可以明白，其他类型的弯曲也可以用于设计多角度反射结构176，也可以使用其他适当的优化参数和设计限制，并且其他适当的优化技术和软件也可以用于所述优化。

图4A是示出组件152、显示表面156和从指示器P的尖端410发出的辐射的两(2)条光线430和434的平面图，该两(2)条光线430和434已经从在多角度反射结构176上的表面位置向成像组件172被反射。其他辐射光线(未示出)照射在多角度反射结构176上，并且从多角度反射结构176反射出去，但是可能未被反射向成像组件172。如所示，指示器P的尖端410位于指示器输入区域中的相对于参考坐标系的位置(x₀，y₀)处，该参考坐标系的原点(0，0)在位置427。

表示为向量

的辐射的入射光线430照射在多角度反射结构176上的在多角度反射结构176的凹陷部分上的表示为(x_e，y_e)的表面位置425处。表示为

的辐射的对应的反射光线432根据反射定律以某个反射角离开表面位置425，如下所述。

类似地，表示为向量的辐射的入射光线434照射在多角度反射结构176上的在多角度反射结构176的凸出部分上的表示为(x_c，y_c)的表面位置424处。表示为

的辐射的对应的反射光线436根据反射定律以某个反射角离开表面位置424。

根据反射定律，辐射光线相对于垂直表面的入射角等于光线的反射角。图4B图示了在多角度反射结构176的凸出部分的表面上的某个位置处的法向向量

垂直于相对于在那个位置处的表面的切线

通过使用通过以感兴趣的表面位置为中心的两个接近的表面位置的弦的斜率，可以在小距离上近似切线

可以使用近似切线的其他已知方法。

图4C图示出可以基于辐射的入射光线

相对于表面位置的入射角θi和在那个表面位置的法向向量

来计算反射光线向量如下面的等式1至4所示：

\hat{O} = \hat{I} + (2 \cos θ_{i}) \hat{n} - - - (1)

\hat{O} = \hat{I} - 2 < \hat{I}, \hat{n} > \hat{n} - - - (2)

< \hat{I}, \hat{n} > = \hat{I} \cdot \hat{n} = | | \hat{I} | | | | \hat{n} | | (- \cos θ_{i}) - - - (3)

| | \hat{I} | | | | \hat{n} | | = 1 - - - (4)

返回图4A，辐射的反射光线432和436穿过成像模块270的镜头282和入射光瞳440，并且分别在传感器位置442和444处照射在图像传感器280上。可以明白，已经离开多角度反射结构176的相应表面位置的辐射的其他反射光线(未示出)由于它们各自的反射角而将不会到达成像模块270的入射光瞳440。

对于成像组件172在其能够直接地观察到指示器P的在指示器输入区域内的位置，可以在三角测量指示器的位置的计算中使用在所捕获的图像帧中的指示器P的图像，或可以忽略指示器P的图像。在三角测量计算中使用指示器P的图像更为鲁棒，因为它例如补偿了指示器P遮挡指示器反射424或425之一的地方。与指示器反射作比较，因为指示器P接近成像组件172，所以指示器P的图像可能看起来比它的反射更大。而且，由于多角度反射结构176的衰减，指示器P的图像可能看起来比它的反射更亮。在图像帧中的亮区域的大小被比较以确定哪个亮区域是最大的，并且因此以确定哪个亮区域是直接地从指示器P接收而没有被反射的、从指示器尖端410发出的辐射的结果。替代地，为了确定哪些亮区域是反射辐射的结果，在每对亮区域的所计算位置之间限定一条线(如下所述)，并且进行查看以确定第三亮区域(例如，不在所测试的对中)是否落在该线上。如果第三亮区域落在该线上，则该对亮区域是反射辐射的结果。否则，该多对亮区域的另一对是反射辐射的结果。

主控制器158至少基于在与指示器反射对应的图像帧中的亮区域的位置和与在参考坐标系中的入射光瞳440、图像传感器280和多角度反射结构176的位置相关的已知参数来计算在指示器输入区域内的指示器P的坐标(x₀，y₀)。

在图5中展示了成像组件172的视场FOV。如可以看出的，视场FOV涵盖多角度反射结构176的整体。从多角度反射结构176反射出的辐射的光线504大体指示交互输入系统150的三角测量分辨率。通常，指示器P距离多角度反射结构176越远，则三角测量的分辨率越降低。为了部分地补偿在与多角度反射结构176较远的位置处的较低的三角测量分辨率，可以将指示器P的图像包含到三角测量计算中，因此改善三角测量分辨率。在成像组件的视场内的提高的三角测量分辨率允许在这个区域中的更精细的指示器移动(诸如手写)。在成像组件172的视场之外的指示器交互具有较低的分辨率，因为成像组件172仅看到在多角度反射结构176中的指示器反射。指示器输入区域的这些区域因此更适合于较粗的动作，诸如与在显示表面156上呈现的按钮的交互。

图6是示出在指示器位置数据的产生期间执行的步骤的流程图，其中，假定已经以足以使得照亮指示器尖端410的力使指示器P与显示表面156接触。初始，至少包括与在多角度反射结构176中的指示器反射对应的亮区域的图像帧由成像组件172获取，并且被传送到主控制器158(步骤602)。然后检索在查找表中存储的用于描述多角度反射结构176的预定义或校准的参数(步骤604)，其中包括其轮廓(例如，沿着多角度反射器的表面的每一个点的坐标)。检索通过校准而确定的预定义的系统参数，诸如从相对于参考坐标系限定的点(0，y_cam)的入射光瞳440的偏移dx和dy。也检索另外的参数(步骤606)，其中包括：成像系统参数，诸如主点448、在图像帧中的每像素的度数dp和入射光瞳440的y坐标y_cam；用于描述在成像组件172和理想的针孔相机之间的不同的参数，这些另外的参数然后被校准的参数补偿。通常，从在主控制器158中的非易失性存储器检索这些参数。随着已经获取图像帧并且已经检索了各种参数，主控制器158然后计算指示器位置数据(步骤608)。

图7A至7D进一步图示了用于计算指示器位置数据(步骤608)，并且具体地是用于计算指示器P相对于参考坐标系的坐标(x₀，y₀)的步骤。为了下面的说明的目的，假定已经通过校准的参数补偿了交互活动输入系统参数，使得入射光瞳440在坐标位置(0，y_cam)，并且图像传感器280接收从多角度反射结构176的表面位置424和425反射的辐射的光线，如图4A中所示。

首先，根据下面的等式5来计算从在多角度反射结构176的凸出部分上的表面位置424向入射光瞳440反射的辐射

的光线的斜率k_c(步骤702)：

k_c＝tan(-(pc-u0)*dp+90) (5)

其中：

pc＝亮区域444相对于图像传感器280的边446的以像素计的距离；

u0＝主点448相对于边446的以像素计的距离；以及

dp＝在图像帧中的每像素的度数。

根据下面的等式6，以类似的方式来计算从在多角度反射结构176的凹陷部分上的表面位置425向入射光瞳440反射的辐射的光线的斜率k_e(步骤704)：

k_e＝tan(-(pe-u0)*dp+90) (6)

其中：

pe＝亮区域442相对于图像传感器280的边450的以像素计的距离。

基于所计算的斜率k_c和入射光瞳440的已知坐标(0，y_cam)，将辐射

的反射光线的等式确定为：

y＝k_cx+y_cam (7)

然后，通过使用辐射

的反射光线的等式和在查找表中存储的多角度反射结构176的预定义的表面坐标数据，确定表面位置424的坐标(x_c，y_c)。可以使用许多方法。例如，可以使用线性搜索方法来找出坐标(x_c，y_c)，通过其使用在查找表中存储的多角度反射结构176的预定义的表面坐标数据的至少一个子集，其中，可以通过例如使用牛顿的方法来确定该坐标子集。对于在所选择的子集中的每对坐标(x_i，y_i)，将x_i带入等式7中，以计算对应的y坐标

然后计算平方误差

导致最小的平方误差的坐标对被用作表面位置424的坐标(x_c，y_c)。本领域技术人员可以明白，可以使用用于找出表面位置424的坐标(x_c，y_c)的其他优化方法。

可以通过下述方式来确定表面位置424的坐标(x_c，y_c)：在查找表中查看用于描述多角度反射结构176的反射表面的每一对坐标，以查看哪对坐标符合辐射的反射光线的线性等式。例如，可以对于在查找表中的每一个x坐标计算在辐射的反射光线上的y坐标，并且可以将所计算的y坐标与在查找表中的y坐标作比较。当在辐射的反射光线上的所计算的y坐标匹配在查找表中的y坐标时，就已经找到了反射点。可以使用各种方法来提高搜索的速度。例如，可以对于初始用于识别反射点所落在的多角度反射结构的区域的坐标的子集执行粗搜索，然后使用更细的搜索来确定精确的反射点。

以类似的方式，基于所计算的斜率k_e和入射光瞳440的已知坐标(0，y_cam)，确定辐射

的反射光线的等式。然后，通过使用辐射

的反射光线的等式和在查找表中存储的多角度反射结构176的预定义的表面坐标数据来确定表面位置425的坐标(x_e，y_e)(步骤708)。

在已经确定表面位置424的坐标(x_c，y_c)的情况下，计算相对于在表面位置424的坐标(x_c，y_c)处的多角度反射结构176的表面的凸出部分的切线的斜率K_tc(步骤710)。更具体地，斜率K_tc被计算为连接从查找表选择的两个相近表面位置的线的斜率，该两个相近表面位置以表面位置424的坐标(x_c，y_c)处为中心。

在已经计算了在表面位置424处的切线的斜率K_tc的情况下，然后，根据下面的等式8来计算在表面位置424处的法向向量(步骤712)：

其中：

alc＝atan(K_tc)

然后，根据下面的等式9来计算用于表示从表面位置424向入射光瞳440的辐射的光线的向量

的归一化形式

(步骤714)：

其中：

{\overset{&RightArrow;}{O}}_{c} = (- x_{c}, y_{cam} - y_{c});

并且

y_cam＝入射光瞳440相对于参考坐标系的原点427的y坐标。

基于如上参考图4C所述的反射定律，根据下面的等式10来计算用于表示从指示器P向表面位置424的辐射的入射光线的向量(步骤716)。

其中：

表示点积。

然后，根据下面的等式11来计算向量

的斜率K_ic(步骤718)：

其中：

是向量

的第二元素(y分量)；并且

是向量的第一元素(x分量)。

基于斜率K_ic和表面位置424的坐标(x_c，y_c)，根据下面的等式12来限定用于以斜率K_ic通过坐标(x_c，y_c)的线的线性等式，该线用于表示在表面位置424反射的、来自指示器P的辐射的入射光线(步骤720)：

y＝K_ic(x-x_c)+y_c (12)

以与如上所述的方式类似的方式来限定用于表示在表面位置425反射的、来自指示器P的辐射的入射光线的线。具体地说，在已经在步骤708确定了表面位置425的坐标(x_e，y_e)的情况下，计算相对于在表面位置425的坐标(x_e，y_e)处的多角度反射结构176的表面的凹陷部分的切线的斜率K_te(步骤722)。更具体地，作为连接从查找表选择的两个相近表面位置的线的斜率来计算斜率K_te，该两个相近表面位置以表面位置425的坐标(x_e，y_e)处为中心。

在已经计算了在表面位置425处的切线的斜率K_te的情况下，然后根据下面的等式13来计算在表面位置425处的法向向量

(具有幅度1的单位向量)(步骤724)：

{\hat{n}}_{e} = (- \sin (ale), \cos (ale)) - - - (13)

其中：

ale＝atan(K_te)。

然后，根据下面的等式14来计算用于表示从表面位置425向入射光瞳440的辐射的光线的向量

的归一化形式

(步骤726)：

其中：

并且

y_cam＝入射光瞳相对于参考坐标系的原点427的y坐标。

基于如上参考图4C所述的反射定律，根据下面的等式15来计算用于表示从指示器P向表面位置425的辐射的入射光线的向量

(步骤728)。

然后，根据下面的等式16来计算向量

的斜率K_ie(步骤730)：

其中：

是向量

的第二元素(y分量)；并且

是向量

的第一元素(x分量)。

基于斜率K_ie和表面位置425的坐标(x_e，y_e)，根据下面的等式17来限定用于以斜率K_ie通过坐标(x_e，y_e)的线的线性等式，该线用于表示在表面位置425反射的、来自指示器P的辐射的入射光线(步骤732)：

y＝K_ie(x-x_e)+y_e (17)

在已经根据上面的等式11和16限定了用于表示两条入射光线I_e和I_c的线的线性等式的情况下，然后基于通过使两条线相等而确定的入射光线I_e和I_c的相交而计算指示器P的位置(x₀，y₀)，如下面的等式18所表达：

K_ic(x₀-x_c)+y_c＝K_ie(x₀-x_e)+y_e (18)

因此：

x₀＝(K_icx_c-K_iex_e+y_e-y_c)/(K_ic-K_ie)；并且

y₀＝K_ie(x₀-x_e)+y_e

图8示出了在指示器输入区域内的显示表面156上显示的一组校准点800。可以在显示表面156上暂时呈现校准点800，或可以以永久物理标记来指示校准点800。校准点800相对于交互输入系统150的参考坐标系的位置是已知的，并且被存储在存储器中。

基于包括图像传感器280的主点448、以每像素度数计算的图像传感器280的角度分辨率dp和交互输入系统150的物理尺寸的参数来执行校准过程以确定系统参数的精确值，其中系统参数包括入射光瞳440相对于在参考坐标系427中的原点(0，0)的任何偏移(dx，dy)，其中交互输入系统150的物理尺寸包括图像传感器280沿着指示器输入区域的平面至指示器输入区域的最新边的距离R。

图9示出了在校准过程期间执行以确定如上所述的系统参数的值的步骤的流程图。首先，检索基于成像组件规格和交互输入系统150的物理尺寸的系统参数(步骤902)。检索与多角度反射结构176相关联的信息，包括来自查找表的多角度反射结构176的反射表面的坐标(步骤904)。然后，提示用户将指示器P以特定顺序置于指示器输入区域内的与其中显示校准点800的位置对应的多个位置的每一个处。对于每一个指示器位置，成像组件172获取图像帧，该图像帧至少包括用于表示在多角度反射结构176中的指示器的反射的亮区域，并且可能包括指示器本身的图像(步骤906)。

然后，如上参考图7A至7D所述确定在指定的校准位置800的指示器位置(步骤908)。计算在每一个校准点800处的所确定的指示器坐标和每一个校准点的已知坐标之间的任何误差(步骤910)。然后，将在步骤910中计算的误差值与阈值作比较(步骤912)。如果在步骤910中计算的误差值的任何一个大于阈值，则基于优化例程的应用来计算所检索的系统参数的修订的估计(步骤914)。在这个实施例中，通常用于非线性最小二乘方问题的公知的Levenberg-Marquardt优化例程用于确定系统参数的修订的估计。可以替代地使用其他优化例程。

在已经修订了系统参数的估计后，校准处理返回到步骤908，并且基于修订的系统参数估计来计算新的指示器坐标。如果在步骤912没有误差值大于阈值，则系统参数被存储为校准的系统参数(步骤916)。

图10示出了与前一个实施例类似的交互输入系统的另一个实施例。在这个实施例中，成像组件172与显示表面156的平面垂直地相隔距离H，并且根据其在显示表面156的平面上方的位置对准多角度反射结构176。多角度反射结构176的反射表面相对于显示表面的平面形成一定角度，使得在多角度反射结构176上的指示器P的反射在成像传感器的视场内。通过主控制器158使用与如上所述的方法类似的方法来计算指示器坐标，除了使用三维坐标系统来描述从多角度反射结构176向成像组件172的入射光瞳440反射的辐射的光线。

图11示出了包括多角度反射结构176的交互输入系统的另一个实施例。在这个实施例中，不像在前的实施例那样，多角度反射结构176包括一对堆叠反射器1200和1202。与显示表面156最远的反射器1200是凸出的，并且最接近显示表面156的反射器1202是凹陷的。反射器1200和1202的反射表面大体垂直于显示表面156的平面，并且在成像组件172的视场内，使得在由成像组件172获取的图像帧中捕获在反射器1200和1202上的指示器反射。包含用于两个不同组的x坐标的反射器1200和1202的反射表面的y坐标的查找表被用于计算在指示器输入区域中的指示器P的坐标。在所捕获的图像帧中的指示器反射的位置被用于确定在用于计算指示器位置的查找表中的一组x坐标。

图12示出了包括多角度反射结构176的交互输入系统的另一个实施例。与图11的实施例类似，多角度反射结构176包括一对堆叠的反射器1208和1210。最接近显示表面156的反射器1208具有与图1的实施例类似的正弦构造。与显示器最远的反射器1210也类似地具有正弦构造，但是其是反射器1208的镜像。反射器1208和1210的反射表面大体垂直于显示表面156的平面，并且在成像组件172的视场内，使得在由成像组件172获取的图像帧中获取在反射器1208和1210上的指示器反射。

在图13A和13B中展示了成像组件172的视场FOV。可以看出，视场FOV涵盖多角度反射结构176的整体。从多角度反射结构176反射出的辐射的光线504大体指示交互输入系统150的三角测量的分辨率。

可以明白，在使用包括多个反射器的多角度反射结构的图11至13B的实施例中，整体分辨率增加，如图13A中具体所示。而且，在这些实施例中，如果反射器之一变得损坏或被灰尘、污垢等遮挡，则其他多角度反射器可以补偿这个问题。

图14A至14C示出了包括多角度反射结构176的交互输入系统的另一个实施例。在这个实施例中，不是使用具有正弦构造的反射器，而是多角度反射结构176包括与正弦反射器近似的菲涅型反射器1402。为了空间效率而采用反射器1402，并且在这个实施例中包括多个(在这个示例中为3)大体平行的行1414、1416和1418的小平面，该小平面在成像组件172的视场中具有反射表面，使得在由成像组件172获取的图像帧中捕获在反射器1402上的指示器反射。与先前的实施例类似，从指示器P的尖端410发出的辐射被反射器1402从至少两个不同的小平面的反射表面反射，并且照射在成像组件172上。图14A和14B示出由指示器P发出的、照射在反射器1402的小平面的反射表面上的辐射的光线1404和辐射的反射光线1406。也示出了与小平面的反射表面垂直的向量1412。查找表包含用于描述小平面的反射表面的坐标信息。如果使用在多行小平面1504上的指示器反射，则用于多组x坐标的小平面的反射表面的y坐标被用于计算在指示器输入区域178中的指示器P的位置。在所捕获的图像帧中的指示器反射的位置被用于在查找表中确定所述组的x坐标，由此计算指示器位置。如果在所捕获的图像帧中出现超过两个指示器反射，则每对指示器反射用于计算一组指示器坐标，然后平均所述多组指示器坐标以获得单个指示器坐标。

图15A和15B示出了包括多角度反射结构176的交互输入系统的另一个实施例。与图14A至14C的实施例类似，多角度反射结构包括反射器，该反射器具有多个(在这个实例中为3个)大体平行的行的小平面，该小平面具有在成像组件172的视场中的反射表面，使得在由成像组件172获取的图像帧中捕获在反射器1402上的指示器反射。每行的小平面的反射表面1504具有不同的角定位，如在顶行中的小平面1506、1508和1510所例示。由指示器P发出的照射在反射器上的辐射被从至少两个不同的小平面引导到成像组件。结果，用于计算在显示表面156上的指示器P的坐标的方法与如上所述的方法类似。查找表包含用于描述小平面的反射表面的坐标信息。如果使用在多行小平面1504上的指示器反射，则用于多组x坐标的小平面的反射表面的y坐标被用于计算在指示器输入区域178中的指示器P的位置。在所捕获的图像帧中的指示器反射的位置被用于在查找表中确定所述组的x坐标，由此计算指示器位置。如果在所捕获的图像帧中出现超过两个指示器反射，则每对指示器反射用于计算一组指示器坐标，然后将多组指示器坐标平均以获得单个指示器坐标。

图16A至16C示出了包括多角度反射结构176的交互输入系统的另一个实施例。在这个实施例中，多角度反射结构176包括三个横向间隔开的反射器176a、176b和176c。每一个反射器都包括多行小平面1612a、1612b、1612c。小平面的反射表面1504在成像组件172的视场中，使得在由成像组件172获取的图像帧中捕获在反射器176a、176b和176c上的指示器反射。图16A和16B示出了由指示器尖端410发出的照射在反射器176a、176b和176c上的辐射的光线和照射在成像组件172上的辐射的反射光线1602、1604和1606。结果，在所捕获的图像帧中，存在三个指示器反射。通过在所捕获的图像帧中具有三个指示器反射，消除了隐藏的指示器异常。

可以例如使用辐射的反射光线的仅两个1602和1604，利用三角测量来计算指示器P的位置。在该情况下的辐射的第三反射光线1606增加冗余(在一组多角度反射器变得通过灰尘或污垢遮挡的情况下)，并且允许通过平均每一个三角测量的结果来进一步精化指示器坐标以获得单个指示器坐标。不同的反射轮廓使得增大触摸分辨率、消除盲点，并且减少或消除多个指示器模糊。由于必须处理每行/部分，多行小平面和多个反射器增加了处理需求。而且，由于增加了另外的行的小平面，必须在深度上增大围绕显示单元154的边框，以容纳该另外的行。例如，7”对角显示表面增大大约用于5个像素行的1/16”的深度。

本领域技术人员可以知道，其他变化形式是可能的，可以弯曲多角度反射器的小平面以增大由每一个小平面1504覆盖的指示器输入区域的面积或改善在指示器输入表面上的线性覆盖。小平面可以大得多或小得多。

图17A至17E示出了被并入膝上型计算机内的包括多角度反射结构的交互输入系统的另一个实施例，该膝上型计算机具有内置的成像组件1702，在这个示例中为网络摄像头。本领域技术人员已知，网络摄像头通常被包含到膝上型计算机、计算机监控器和用于个人视频会议和显示器的观众的画面的其他类型的显示器。因为这些相机在许多显示器上正在变成标配，所以如果它也可以用于基于触摸的交互，则将降低成本。这些相机1702通常被布置在显示表面1714的顶部中心处，并且具有从显示表面1714的表面大体向外延伸的视场(FOV)。在大多数应用中，相机1702的视场是大约40度，如图17B中所示。从触摸表面向外延伸的40度视场1716通常不足以向显示器指示手势或其他交互，虽然这是可能的。

为了改善视场及其定位(如图17C中所示)，将滑动棱镜1704布置得挨着相机1702位于下述位置，其中，将棱镜1704滑动到覆盖位置会将相机1702的视场转向。滑动棱镜1704将视场定位在大体越过显示表面1714，而不是从显示表面1714向外。而且，滑动棱镜将视场(FOV)1718扩展以涵盖位于接近指示器输入区域的如上所述的多角度反射结构176。替代地，例如在先前的实施例中，可以使得显示表面1714是交互性的，并且多角度反射结构176可以位于显示表面1714的底部。本领域技术人员知道，调整FOV 1716的大小与显示表面1714的大小相关。随着显示表面1714的大小增大，相机1702的FOV 1716也必须增大。

棱镜1704在相机1702之前滑动，以将相机1702的视场转向以包括多角度反射结构176。在这个实施例中，多角度反射结构176包括在不同角度的多个平面反射镜分段或小平面1504。多角度反射结构176相对于指示器输入区域178的平面具有大约90度的角度，使得当棱镜1704位于相机1702上时，相机1702能够看到在指示器输入区域中的照亮的指示器P的反射。照亮的指示器184可以是红外线发光笔，或它可以是被沿着边、在相机处或在与在多角度反射结构176所沿着的指示器输入区域的边相邻的角处布置的一个或多个光源照亮的被动指示器，诸如被动笔或手指。

图17D示出多角度反射结构176的特写(夸大)等距视图，其中，每一个小平面沿着如上定义的反射带的长度成一定角度，并且从指示器输入区域的深度方向1504上以一定角度偏离，将指示器输入区域178的图像向相机1702引导。替代地，小平面可以被嵌在膝上型计算机的表面下，并且通过透明膜可见，以便减少它们对于在键盘上的打字的干扰。

同样，通过使用多行复合小平面1504，使用被照亮的指示器的系统可以用于检测在屏幕之前并且在标准膝上型计算机的键盘上方的三维自由空间中的手势。

图17E示出了在相机1702上的滑动棱镜1704的一个实施例的详细图。该图也展示了棱镜1704如何将视场1716转向以扫视显示器1714。

系统的另一个实施例包含计算机学习系统(诸如人工智能、神经网络、模糊逻辑等)，其中可以应用有小平面的条的带，并且，通过沿着已知路径在触摸区域周围移动照亮的指示器，系统可以将反射图案与指示器位置相关联。这种方法将通过允许将必要的任意小平面布置在多角度反射器上来简化结构，并且将确定反射轮廓。而且，如果反射器的小平面变得损坏或赃污，则计算机学习系统能够补偿这些缺陷。

虽然已经提供了几个实施例，但是本领域技术人员可以明白，交互输入系统的其他实施例是可能的。一种这样的实施例可以使用可以用于进一步减少反射结构所需的物理空间量的替代形式的多角度反射器。例如，可以使用由以行布置的多个非平面反射器构成的多角度反射器或具有多个凹陷或凸出部分的多角度反射器。替代地，可以使用如与在查找表中存储的离散表面位置相对的、由数学函数描述的多角度反射器。

滑动棱镜可以包含特定类型的光的滤波，以便改善交互输入系统的信噪比。通过在棱镜中包含滤光器，相机可以被用作用于网络会议的传统相机，并且当该棱镜被布置在相机上方时提供用于触摸交互的最佳系统。

本领域技术人员可以明白，不同波长的光可以用于这种系统，例如可见光、白光、红外线等。然而，优选的是，使用非可见形式的光以减少对于被显示的图像的干扰。

本领域技术人员可以明白，被照亮的被动指示器可以用于如上所述的交互输入系统，使得被动指示器由接近成像组件172或位于远离指示器的某个其他位置处的照明源照亮。在这样的实施例中，指示器是反射型的，以便向多角度反射器提供足够的光。对于这样的被动指示器系统，光源可以包含红外线(IR)发光二极管(LED)。诸如在McGibney等人的美国专利申请No.12/118,521中所述的技术可以被应用到交互输入系统以获得另外的优点，该美国专利申请被转让给本申请的受让方SMART Technologies ULC，并且其内容通过引用被包含。LED可以沿着显示器的边缘位于相机处，但是优选地应当位于相机的直接FOV之外。替代地，LED可以位于多角度反射器处，并且可以使用回光反射指示器。

本领域技术人员可以明白，虽然在所述的实施例的大多数中成像系统大体扫视触摸表面，但是该成像系统可以位于在交互输入系统中的其他位置处。例如，成像系统可以位于指示器输入区域的角处，或它可以俯瞰指示器输入区域。在这些位置的任何一个处，成像系统的视场包括多角度反射器的至少相当大的部分。

本领域技术人员也可以明白，在优选实施例中所述的数学过程和等式是示例性的，并且其他数学技术可以用于获得指示器坐标。例如，诸如牛顿的方法的其他技术可以用于估计对于沿着多角度反射器的表面的点的切线向量。

本领域技术人员也可以明白，可以使用其他处理结构来取代在优选实施例中描述的主控制器和计算机处理器。可以去除主控制器，并且由计算机执行其处理功能。主控制器的各种实现方式是可能的。虽然本发明的优选实施例使用在相机组件中的DSP，但是可以取代DSP使用其他处理器，诸如微控制器、中央处理单元(CPU)、图形处理单元(GPU)或单元处理器。替代地，DSP和主控制器可以被整合。

本领域技术人员可以明白，虽然在本申请中给出的实施例包含液晶显示(LCD)显示屏，但是可以取代LCD显示屏使用其他类型的显示屏，诸如等离子体显示屏或投影仪和屏幕。本领域技术人员也明白，在不偏离由所附的权利要求限定的本发明的精神和保护范围的情况下，可以进行改变和修改。

Claims

1.一种交互输入系统，包括：

多角度反射结构，其沿着指示器输入区域的一侧延伸；

成像组件，其具有涵盖所述多角度反射结构的视场，其中，所述多角度反射结构被适配以从所述多角度反射结构的至少两个表面位置向所述成像组件反射由在所述指示器输入区域内的指示器发出的辐射，其中，所述至少两个表面位置的每一个都具有不同的各自角度；以及

处理结构，用于处理来自所述成像组件的图像数据，以确定所述指示器相对于所述指示器输入区域的位置。

2.根据权利要求1所述的系统，进一步包括可操作以照亮所述指示器的辐射源。

3.根据权利要求1所述的系统，其中，所述处理结构被适配以接收所述捕获的图像，并且产生与所述捕获的图像相关联的像素数据。

4.根据权利要求3所述的系统，其中，所述处理结构基于所述像素数据来产生指示器位置数据。

5.根据权利要求1所述的系统，其中，所述多角度反射结构包括：

第一区域，其具有第一非平面表面；以及

第二区域，其具有第二非平面表面，

其中，所述第一非平面表面沿着第一路径向所述成像系统反射辐射，并且所述第二非平面表面沿着第二路径向所述成像系统反射所述辐射。

6.根据权利要求5所述的系统，其中，所述第一非平面表面包括凹陷形状。

7.根据权利要求5所述的系统，其中，所述第二非平面表面包括凸出形状。

8.根据权利要求2所述的系统，其中，所述辐射源包括光学装置。

9.根据权利要求2所述的系统，其中，所述辐射源包括可操作以照亮所述触摸屏的光学系统。

10.一种在交互输入系统中用于检测与指示器输入区域相关联的指示器的位置的方法，所述方法包括：

沿着所述指示器输入区域的单侧反射从所述被照亮的指示器接收的第一入射辐射信号；

沿着所述指示器输入区域的所述单侧反射从所述被照亮的指示器接收的第二入射辐射信号；

获取反射的第一和第二入射辐射信号的图像；以及，

11.根据权利要求10所述的方法，其中，照亮所述指示器包括：照亮所述指示器输入区域，使得响应于与所述指示器输入区域的接触而照亮所述指示器。

12.根据权利要求10所述的方法，其中，照亮所述指示器包括：照亮所述指示器输入区域，使得响应于所述指示器被置于接近所述指示器输入区域而照亮所述指示器。

13.根据权利要求10所述的方法，其中，照亮所述指示器包括：使用主动指示器装置来接触所述指示器输入区域。

14.根据权利要求10所述的方法，进一步包括：

获取与反射所述第一和所述第二入射光信号的至少一个表面相关联的信息。

15.根据权利要求14所述的方法，其中，所述信息包括表示所述至少一个表面的数学函数。

16.根据权利要求14所述的方法，其中，所述信息包括与将沿着所述表面的多个点映射到与所述第一和所述第二入射辐射信号相关联的斜率信息的数据。

17.一种交互输入系统，包括：

指示器输入区域；

18.根据权利要求17所述的系统，其中，所述至少两个非平面表面以不同的角度定向。

19.根据权利要求17所述的系统，其中，所述至少两个非平面表面包括由数学函数定义的形状。

20.根据权利要求19所述的系统，其中，所述形状包括凹陷和凸出形状。

21.根据权利要求19所述的系统，其中，所述数学函数包括正弦函数。

22.一种交互输入系统，包括：

指示器输入区域；

23.根据权利要求22所述的系统，其中，所述不同的形状包括凹陷形状或凸出形状。

24.一种交互输入系统，包括：

指示器输入区域，