CN102918480A

CN102918480A - 通过解调图像帧确定有源指示器属性

Info

Publication number: CN102918480A
Application number: CN2011800265280A
Authority: CN
Inventors: 格兰特·麦克吉布尼; 蒂姆·拉德克
Original assignee: Smart Technologies ULC
Current assignee: Smart Technologies ULC
Priority date: 2010-04-01
Filing date: 2011-03-31
Publication date: 2013-02-06
Also published as: US20110242060A1; EP2553553A1; EP2553553B1; US9189086B2; EP2553553A4; WO2011120143A1; KR20130019412A

Abstract

一种交互式输入系统，包括：至少一个成像组件，该至少一个成像组件具有查看感兴趣区域的视场并且捕获图像帧；以及与至少一个成像组件通信的处理结构。当在所捕获的图像帧中存在指示器时，所述处理结构使所捕获的图像帧解调以确定其频率分量，并且检查频率分量以确定所述指示器的至少一个属性。

Description

通过解调图像帧确定有源指示器属性

技术领域

本发明涉及交互式输入系统和用于其的信息输入方法。

背景技术

下述交互式输入系统是众所周知的：允许用户使用有源指示器（例如，发出光、声音或其他信号的指示器）、无源指示器（例如，手指、圆柱体或其他对象）或者诸如鼠标或跟踪球的其他适当的输入设备将输入（例如，数字墨水、鼠标事件等）注入应用程序中。这些交互式输入系统包括但不限于：包括采用模拟电阻或机器视觉技术注册指示器输入的触摸板的触摸系统，诸如在转让给本申请的受让人加拿大亚伯达省卡尔加里的SMART Technologies ULC的美国专利No.5,448,263；6,141,000；6,337,681；6,747,636；6,803,906；7,232,986；7,236,162以及7,274,356中所公开的那些，通过引用合并所述美国专利的内容；包括采用电磁的、电容的、声音的或其他技术注册指示器输入的触摸板的触摸系统；平板个人计算机（PC）；膝上型PC；个人数字助理（PDA）；以及其他类似设备。

上述合并的Morrison等人的美国专利No.6,803,906公开了采用机器视觉来检测与在其上呈现计算机生成的图像的触摸表面的指示器交互的触摸系统。矩形边框或框架环绕触摸表面并且支撑在其角落处的数字相机。数字相机具有包围并且通常扫视触摸表面的重叠视场。数字相机从不同视点获取扫视触摸表面的图像并且生成图像数据。数字相机所获取的图像数据由自带的（on-board）数字信号处理器来进行处理，以确定在捕获到的图像数据中是否存在指示器。当确定在捕获到的图像数据中存在指示器时，数字信号处理器将指示器特性数据传递给主控制器，该主控制器进而处理该指示器特性数据，以使用三角测量法来确定指示器相对于触摸表面在（x,y）坐标系中的位置。将该指示器坐标传递给执行一个或多个应用程序的计算机。计算机使用指示器坐标来对在触摸表面上呈现的计算机生成的图像进行更新。因此，触摸表面上的指示器接触能够被记录为写或描画，或用于控制由计算机执行的应用程序的执行。

Morrison等人的美国专利申请公开No.2004/0179001公开了这样的触摸系统和方法，所述触摸系统和方法区分用于接触触摸表面的无源指示器，使得可以按照用于接触触摸表面的指示器的类型来处理响应于与触摸表面的指示器接触而生成的指示器位置数据。该触摸系统包括待由无源指示器接触的触摸表面和具有通常沿着触摸表面查看的视场的至少一个成像设备。至少一个处理器与至少一个成像设备通信，并且对至少一个成像设备所获取的图像进行分析，以确定用于接触触摸表面的指示器的类型以及在触摸表面上进行指示器接触的位置。所确定的指示器类型和在触摸表面上进行指示器接触的位置由计算机使用来控制计算机所执行的应用程序的执行。

Morrison等人的美国专利申请公开No.2007/0165007公开了一种交互式输入系统，该系统包括与感兴趣区域相关联的至少两个成像设备。所述至少两个成像设备从不同视点获取感兴趣区域的图像并且具有重叠视场。当指示器既在成像设备的视场内又在成像设备的视场外时，至少一个接收器可操作用于接收有源指示器所输出的与指示器状态有关的数据。处理结构对所述至少两个成像设备和所述至少一个接收器所获取的数据进行处理，以检测有源指示器的存在并且确定指示器在感兴趣区域内的位置。

尽管存在许多不同类型的交互式输入系统，但是正不断寻求对这样的交互式输入系统的改进。因此，本发明的目的是，提供一种新颖的交互式输入系统和用于其的信息输入方法。

发明内容

因此，在一个方面中，提供了包括下述的交互式输入系统：至少一个成像组件，所述至少一个成像组件具有查看感兴趣区域的视场并且捕获图像帧；以及与至少一个成像组件通信的处理结构，当在所捕获的图像帧中存在指示器时，所述处理结构解调所捕获的图像帧以确定其频率分量，并且检查频率分量以确定所述指示器的至少一个属性。

在一个实施例中，在解调期间，处理结构将变换应用到所捕获的图像帧。指示器是将经调制的辐射发射到感兴趣区域中的笔工具。笔工具所发射的经调制的辐射可以是红外线辐射，以及属性可以包括指示器输入颜色和指示器功能性中的任何一个。

在一个实施例中，交互式输入系统可以进一步包括至少一个光源，所述至少一个光源被配置成将辐射发射到感兴趣区域中。使至少一个光源在接通和断开状态之间循环。至少一个成像组件捕获连续图像帧。当至少一个光源处于接通状态时捕获一个图像帧，以及当至少一个光源处于断开状态时捕获一个图像帧。处理结构从当至少一个光源处于接通状态时所捕获的图像帧减去当至少一个光源处于断开状态时所捕获的图像帧以形成差图像帧，对差图像帧求和以形成合成图像帧，并且确定指示器在合成图像帧中的位置。处理结构可以进一步定义与指示器位置相关联的分析区，并且将分析区应用到所捕获的图像帧以执行检查。

在一个形式中，笔工具包括压敏末端，并且根据末端压力来对发射的辐射进行调制。

在一个实施例中，至少一个成像组件包括至少两个成像组件。成像组件中的每一个包括捕获图像帧的至少两个光传感器，所述至少两个光传感器具有感兴趣区域的通常相同的视图。至少两个光传感器具有通常交错的曝光时段。边框至少部分环绕感兴趣区域，并且具有在至少两个成像组件的视场中的表面。

根据另一个方面，提供了将信息输入到交互式输入系统中的方法，该方法包括：捕获感兴趣区域的图像帧；以及当在所捕获的图像帧中存在指示器时，解调所捕获的图像帧以确定其频率分量，并且检查频率分量以确定指示器的至少一个属性。

附图说明

现在将参考附图更全面地描述实施例，在附图中：

图1是交互式输入系统的示意性立体图；

图2是图1的交互式输入系统的示意性前视图；

图3是形成图1的交互式输入系统的一部分的成像组件的框图；

图4是形成图1的交互式输入系统的一部分的主控制器的框图；

图5是用于与图1的交互式输入系统一起使用的有源笔工具的侧高程视图；

图6示出当图5的有源笔工具在成像组件的视场中并且正发射根据子载波频率组合调制的辐射时，图3的成像组件所捕获的八个连续图像帧序列；

图7是图1的交互式输入系统所使用的图像处理方法的示意图；

图8是环境光滤波器的频率响应的图形曲线图；

图9是从图6的图像帧形成的合成图像帧；

图10示出通过将指示器分析区应用到图6的图像帧形成的图像帧序列；

图11是图10的图像帧的光强度变化的图形曲线图；

图12是图11的图像帧光强度变化的频域表示的图形曲线图；

图13a和13b是示出八个子载波频率组合的频域表示的图形曲线图；

图14是图1的交互式输入系统的输入表面的前视图，示出了应用压敏输入的笔工具；

图15a至15c是与图14的压敏输入相对应的频域表示的图形曲线图；

图16是图1的交互式输入系统的输入表面的前视图，示出了多个指示器的实际和虚构位置；

图17a和17b是跨输入表面的在图16中被描绘为由各个成像组件看见的视图；

图18是交互式输入系统的另一个实施例的侧视图；

图19是交互式输入系统的又一个实施例的侧视图；

图20a和20b分别是交互式输入系统的又一个实施例的侧剖视图和立体图；

图21是用于在图1的交互式输入系统的成像组件中使用的图像传感器的侧视高程图；

图22是用于图21的图像传感器的操作的定时序列的示意图；

图23是用于与图1的交互式输入系统一起使用的成像组件的侧剖视图；以及

图24是用于与图1的交互式输入系统一起使用的输入工具的另一个实施例的平面图。

具体实施方式

现在转到图1和2，示出了允许用户将诸如数字墨水、鼠标事件等的输入注入应用程序中的交互式输入系统，并且该交互式输入系统通常由参考数字20来标识。在该实施例中，交互式输入系统20包括组件22，组件22接合诸如等离子电视、液晶显示（LCD）设备、平板显示设备、阴极射线管（CRT）监视器等的显示单元（未示出），并且环绕显示单元的显示表面24。组件22采用机器视觉来检测与显示表面24接近的、带入感兴趣区域的一个或多个指示器P₁至P₄，并且经由通信线路28与数字信号处理器（DSP）单元26通信。通信线路28可以以串行总线、并行总线、通用串行总线（USB）、以太网连接或其他适当的有线连接具体化。替选地，组件22可以使用诸如蓝牙、WiFi、ZigBee、ANT、IEEE 802.15.4、Z-Wave等的适当无线协议来通过无线连接与DSP单元26通信。DSP单元26进而经由USB电缆32与执行一个或多个应用程序的通用计算设备30通信。替选地，DSP单元26可以通过诸如并行总线、RS-232连接、以太网连接等的另一个有线连接与通用计算设备30通信，或可以使用诸如蓝牙、WiFi、ZigBee、ANT、IEEE 802.15.4、Z-Wave等的适当无线协议通过无线连接与通用计算设备30通信。通用计算设备30对经由DSP单元26接收到的组件22的输出进行处理，并且对输出到显示单元的图像数据进行调整，使得在显示表面24上呈现的图像反映指示器活动。以这种方式，组件22、DSP单元26和通用计算设备30允许接近于显示表面24的指示器活动被记录为写或描画或用于控制由计算机30执行的一个或多个应用程序的执行。

组件22包括机械地附设于显示单元并且环绕显示表面24的框架组件。框架组件包括具有三个边框段40、43和44、四个转角件46以及工具托盘段48的边框。边框段40和42沿着显示表面24的相对侧边延伸，而边框段44沿着显示表面24的顶边延伸。工具托盘段48沿着显示表面24的底边延伸并且托住一个或多个笔工具P。邻近显示表面24的左上角和右上角的转角件46将边框段40和42耦接到边框段44。邻近显示表面24的左下角和右下角的转角件46将边框段40和42耦接到工具托盘段48。在该实施例中，邻近显示表面24的左下角和右下角的转角件46容纳通常从不同视点扫视整个显示表面24的成像组件60。使边框段40、42和44定向成使得其向内面向的表面被成像组件60看见。

现转到图3，更好地图示了成像组件60中的一个。如可以看见的，成像组件60包括图像传感器70，诸如Micron根据型号No.MT9V023制造的、装配有Boowon根据型号No.BW25B制造的那个类型的880nm透镜的图像传感器。透镜在其上具有IR-通过/可见光闭塞滤波器（未示出）并且向图像传感器70提供大约98度视场，使得图像传感器70看见整个显示表面24。图像传感器70经由I²C串行总线被连接到接纳通信线路28中的一个的连接器72。图像传感器70还被连接到存储图像传感器校准参数的电可擦除可编程只读存储器（EEPROM）74以及时钟（CLK）接收器76、串行化器78和电流控制模块80。时钟接收器76和串行化器78还被连接到连接器72。电流控制模块80还被连接到包括一个或多个IR发光二极管（LED）和相关联的透镜组件的红外线（IR）光源82以及电源84和连接器72。

时钟接收器76和串行化器78采用低电压、差分信令（LVDS）以使得能够通过便宜布线与DSP单元26进行高速通信。时钟接收器76从DSP单元26接收定时信息，并且向图像传感器70提供确定图像传感器70捕获并输出图像帧的速率的时钟信号。图像传感器70所输出的每一个图像帧被串行化器78串行化，并且经由连接器72和通信线路28输出到DSP单元26。

在该实施例中，每一个边框段40、42和44的向内面向的表面包括反光材料的单个、纵向延伸的条或带。为了最佳利用反光材料的特性，边框段40、42和44被定向成使得其向内面向的表面在通常与显示表面24的平面垂直的平面中延伸。

现在转到图4，更好地图示了DSP单元26。如可以看见的，DSP单元26包括控制器120，诸如微处理器、微控制器、DSP、其他适当的处理结构等，其具有经由解串器126连接到连接器122和124的视频端口VP。控制器120还经由I²C串行总线开关128被连接到每一个连接器122、124。I²C串行总线开关128被连接到时钟130和132，其中每一个时钟被连接到连接器122、124中的相应一个。控制器120与接纳USB电缆32的USB连接器140和包括易失性和非易失性存储器的存储器142通信。时钟130和132以及解串器126类似地采用低电压、差分信令（LVDS）。

在该实施例中，通用计算设备30是个人计算机等，其包括例如处理单元、系统存储器（易失性和/或非易失性存储器）、其他非可移除或可移除存储器（例如，硬盘驱动器、RAM、ROM、EEPROM、CD-ROM、DVD、闪速存储器等）和将各种计算机组件耦接到处理单元的系统总线。通用计算设备还可以包括用来访问共享或远程驱动器、一个或多个联网计算机或其他联网设备的网络连接。如将描述的，对通用计算设备从成像组件60接收到的指示器数据进行处理以生成指示器位置数据。

交互式输入系统20能够检测：无源指示器，诸如用户的手指、圆柱体或其他适当对象；以及带入与显示表面24接近的地方并且在成像组件60的视场内的有源笔工具P。

图5示出用于与交互式输入系统20一起使用的有源笔工具180。笔工具180具有在截头圆锥末端184终止的主体182。末端184容纳一个或多个微型红外线发光二极管（IR LED）（未示出）。红外线LED由也容纳在主体182中的电池（未示出）供电。自末端184的突出是类似于笔尖的致动器186。致动器186通过弹簧（未示出）偏向于末端184外，但是当将压力施加到其时可以被推入末端184。致动器186被连接到在主体182内的开关（未示出），其在推动致动器186紧靠弹簧偏向进入末端184时闭合电流以向IR LED供电。随着IR LED被供电，笔工具180从其末端184发射红外线光或辐射。在该实施例中，如将被描述的，根据多个子载波频率组合中的一个对笔工具180所发射的红外线光进行调制，以向交互式输入系统20提供另外的指示器信息。

在操作期间，控制器120制约时钟130和132以输出经由通信线路28被传递给成像组件60的时钟信号。每一个成像组件60的时钟接收器76使用时钟信号来设置相关联的图像传感器70的帧速率。在该实施例中，控制器120生成时钟信号，使得每一个图像传感器70的帧速率是期望的图像帧输出速率的八（8）倍。控制器1 20还通过I²C串行总线向每一个成像组件60的电流控制模块80发信号。作为响应，每一个电流控制模块80最初将IR光源82连接到电源84，然后使IR光源82与电源84断开连接。控制接通/断开IR电源开关的定时，使得对于每一个图像传感器70所捕获的连续图像帧的任何给定序列，当IR光源82接通时捕获一个图像帧，并且当IR光源82断开时捕获连续图像帧。

当IR光源82接通时，IR光源82用红外线照明充斥显示表面24上的感兴趣区域。对边框段40、42和44的反光带102起作用的红外线照明被返回到成像组件60。结果，在缺乏指示器P时，每一个成像组件60看见在其长度上具有大致均匀强度的亮带160，如图6的“图像1”中所示。每一个成像组件60还看见由环境光产生的假象702。当指示器P被带入与显示表面24接近的地方时，指示器阻隔反光带102所反射的红外线照明。结果，每一个成像组件看见在所捕获的图像帧中的打断亮带160的区域。如将被描述的，如果指示器P是有源笔工具180，则指示器将具有如每一个成像组件60所看见的照亮的外观。

当IR光源82断开时，没有红外线照明对边框段40、42和44的反光带102起作用。因此，每一个成像组件60的图像传感器70没有看见反光带102。然而，每一个成像组件60看见由黑暗背景下的环境光产生的假象702，如图6的“图2”中所示。如果当IR光源82断开并且指示器是有源笔工具180时指示器接近显示表面24，则每一个成像组件60也将看见照亮的笔工具180。

图7中示出了交互式输入系统20所采用的图像帧处理方法的示意概述图。如上所述，将每一个成像组件60的图像传感器70所输出的每一个图像帧302传递给DSP单元26。为了减小环境光可能对指示器辨识力的影响，DSP单元26使从每一个成像组件60接收到的所捕获的图像帧经受环境光移除处理304。通常存在对成像组件60可见的三个类别的不希望的光，并且其经受环境光移除处理304的移除。这些类别的不希望的光包括：源自环绕交互式输入系统20的操作环境的光、由显示单元发射的光以及由IR光源82发射的、从接近于成像组件60的对象散射出的红外线照明。

在环境光移除处理304期间，添加和减去从每一个成像组件60接收到的连续图像帧，其用作时间滤波器以移除不在IR光源82的频率振荡的源所贡献的光。环境光移除处理还移除与IR光源82的振荡频率不同并且如下所述由有源笔工具180用来将信息传送给交互式输入系统20的某些调制频率的光。

如上所述，每一个成像组件60使用交替照明来捕获连续图像帧302，其中在IR光源82接通（+）情况下捕获一个图像帧302以及在IR光源82断开（-）情况下捕获连续图像帧302，并且将所捕获的图像帧传递给DSP单元26。在该实施例中，图像帧捕获速率是每秒960帧。当每一个图像帧302被接收时，控制器120将图像帧302存储在缓冲器中。

对于每一个成像组件60，一旦八（8）个连续图像帧302可用，DSP单元26就从先前（+）图像帧减去每一个（-）图像帧来产生四个不同图像帧系列。然后，对四个不同图像帧求和以形成单个合成图像帧306，其实际上以每秒120帧的减小的帧速率被捕获。在边框段40、42和44上的反光带在合成图像帧306中显现为亮带160，并且由恒定的光源和由有源笔工具180所贡献的光被过滤掉变为黑色。

添加和减去交替图像帧的过程等同于将带有由以下描述的传递函数的离散时间滤波器应用到图像帧序列中的每一个像素：

H(z)=1-z^-1+z^-2-z^-3+z^-4-z^-5+z^-6-z^-7，

后跟八个过滤的图像帧系列的抽取，以便通过保持每第八滤波器输出来将图像帧速率从每秒960帧减少到实际每秒120帧。该离散时间滤波器的频率响应在图8中被图形化地标绘，并且具有集中在480Hz的通带，在该实施例中，480Hz对应于IR光源82的振荡频率。480Hz通带允许由IR光源82（在480Hz）发射并且从边框段40、42和44反射的光通过离散时间滤波器。另外，离散时间滤波器在0Hz具有空频，0Hz对应于存在大部分环境光的频率。如将描述的，离散时间滤波器还具有集中在120Hz、240Hz和360Hz的空频，它们对应于用于对有源笔工具180发射的IR光进行调制的子载波频率。在0Hz、120Hz、240Hz和360Hz频率调制的由有源笔工具180发射的光将被过滤掉，并且不会在合成图像帧306中出现。在0Hz和/或120Hz频率的环境光也被过滤掉。在将图像帧速率抽取下降到每秒120帧之后，在边框段40、42和44上的反光带在合成图像帧306中显现为通常恒定的亮带160。因此，如果一个或多个指示器与显示表面24接近，则合成图像帧306是在由一个或多个区域162打断的黑暗背景上的亮带160的高对比图像。如将理解的，使用离散时间滤波器的优势是，可以与无源指示器和有源笔工具两者一起使用相同的三角测量算法。

一旦已生成合成图像帧306，控制器120就为表示边框以及可能指示器的值检查合成图像帧的强度。特别地，控制器120为合成图像帧306的像素列计算归一化的强度值I(x)。如将理解的，对于与边框没有被指示器阻隔的区域相对应的合成图像帧306的像素列，强度值I(x)仍然是较高且不间断的，并且在与指示器在合成图像帧306中的位置相对应的区域处，强度值I(x)下降到较低值。

一旦已确定了合成图像帧306的像素列的强度值I(x)，就对合成图像帧的作为结果的I(x)曲线进行检查，以确定I(x)曲线是否落在表明指示器的存在的阈值之下，以及如果这样的话，检测在I(x)曲线中的表示指示器的对边的左边缘和右边缘。特别地，为了定位在合成图像帧306中的左边缘和右边缘，计算I(x)曲线的一阶导数以形成梯度曲线

如果I(x)曲线下降在表明指示器的存在的阈值之下，则作为结果的梯度曲线

将包括由表示I(x)曲线中倾斜所形成的边缘的负峰和正峰界定的区域。为了检测所述峰以及因此区域的边界，使梯度曲线

经受边缘检测器。

特别地，首先，将阈值T应用到梯度曲线

使得对于每一个位所x，如果梯度曲线的绝对值小于阈值，则将梯度曲线

的该值设置为零，如下所表示的：

如果

在阈值化过程之后，阈值化的梯度曲线

包含与表示指示器的对边的左边缘和右边缘相对应的负尖峰和正尖峰，并且在别处为零。然后，从阈值化的梯度曲线的两个非零尖峰分别检测左边缘和右边缘。为了计算左边缘，根据以下，从阈值化的梯度曲线

的从像素列X_left开始的左尖峰计算质心距离CD_left：

{CD}_{left} = \frac{\underset{i}{Σ} (x_{i} - X_{left}) &dtri; I (x_{i})}{\underset{i}{Σ} &dtri; I (x_{i})}

其中x_i是梯度曲线

的左尖峰中的第i像素列的像素列数，i从1到阈值化的梯度曲线

的左尖峰的宽度的迭代，以及X_left是与沿着梯度曲线

的值相关联的像素列，通过基于系统噪声以经验确定的阈值，其值不同于零（0）。然后，将阈值化的梯度曲线

中的左边缘确定为等于X_left+CD_left。

为了计算右边缘，根据以下，从阈值化的梯度曲线的从像素列X_right开始的右尖峰计算质心距离CD_right：

{CD}_{right} = \frac{\underset{j}{Σ} (x_{j} - X_{right}) &dtri; I (x_{j})}{\underset{j}{Σ} &dtri; I (x_{j})}

其中x_j是阈值化的梯度曲线

的右尖峰中的第j像素列的像素列数，j是从1到阈值化的梯度曲线的右尖峰的宽度的迭代，以及X_right是与沿着梯度曲线

的值相关联的像素列，通过基于系统噪声以经验确定的阈值，其值不同于零（0）。然后，将阈值化的梯度曲线中的右边缘确定为等于X_right+CD_right。

一旦计算了阈值化的梯度曲线

的左边缘和右边缘，然后就计算在所识别的左边缘和右边缘之间的中点，从而确定指示器在合成图像帧306中的位置。

控制器120然后定义如图9中所示通常集中在指示器位置的正方形指示器分析区704，以便确定是否已接收到子载波频率组合所表示的指示器信息。如果有源笔工具180在指示器分析区704内，则作为由此发射IR光的结果，笔工具180将具有亮外观。在该实施例中，使用三个子载波频率，即120Hz、240Hz和360Hz的组合，使笔工具180所发射的IR光的幅度变化，并且借此，使幅度在所使用的每一个子载波频率正弦曲线地变化。当正弦曲线信号被添加时，将dc偏压应用到IR照明以阻止总光强度具有负值。图6示出当有源笔工具180与显示表面24接近时，由成像组件60捕获的八个连续图像帧。如可以看见的，作为由笔工具180发射的经调制的IR照明的结果，在图像帧中的表示笔工具180的亮区域的强度变化。

已定义了指示器分析区704，DSP单元26将指示器分析区704应用到存储在缓冲器中的八（8）个所捕获的图像帧302中的每一个。图10中图示了图像帧302的与指示器分析区704相对应的区域。DSP单元26然后执行对在图像帧302的与指示器分析区704相对应的区域内的测量的光强度的解调308。在此，为每一个图像帧302测量在该区域内的总光强度。该测量的总光强度被处理为图像帧数的函数，并且引起光强度变化310。在图11中图形化地标绘了这样的光强度变化310的示例。DSP单元26然后针对光强度变化310执行变换来产生光强度的频域表示312，其在图12中被图形化地标绘。在该实施例中，变换是离散傅里叶变换，但是本领域技术人员将理解的是，可以使用从时域到频域的任何变换。对于每秒960帧的帧速率，八点离散傅里叶变换将报告0Hz、120Hz、240Hz、360Hz和480Hz的频率。在0Hz的测量表示来自所有恒定光源的光，包括环境光和应用到有源笔工具IR照明的偏压，并且被丢弃。在480Hz的测量表示来自振荡IR光源82的光，并且也被丢弃。在120Hz、240Hz和360Hz的剩余测量表示有源笔工具180所发射的经调制的子载波。

有源笔工具180所使用的可用载波频率以及IR光源82的照明率依赖于图像传感器70的帧速率（即，帧捕获速率）。在该实施例中，如前所述，帧速率是每秒960帧。因此，为了避免在该帧速率混淆，用于IR光源82的调制频率的上限是480Hz。离散时间滤波器在120Hz、240Hz和360Hz具有空频率。如将理解的，将空频率放置在这些频率的另外优势是，离散时间滤波器在处理图像帧以确定指示器位置期间移除笔工具180所发射的经调制的IR照明，并且还移除与供应给交互式输入系统20的操作环境的AC电力相关联的任何频率谐波，其可以另外干扰图像处理算法。

由有源笔工具180用来对发射的IR光进行调制的三个可用子载波频率，即120Hz、240Hz和360Hz对应于最大调制频率（480Hz）的归一化频率pi/4、pi/2和3pi/4。每一个有源笔工具180可以使用三个子载波频率的不同组合来对发射的IR光进行调制。这允许总计八个（或2ⁿ，其中n是可用子载波频率的数量）不同子载波频率组合，每一个具有可以由交互式输入系统20辨识的唯一调制模式。由用于诸如手指的不是有源笔工具的指示器的交互式输入系统20保留所有三个子载波频率断开的组合。这提供七个其他唯一子载波频率组合供与有源笔工具180一起使用。因为每一个唯一子载波频率组合可以被分配给不同的相应笔工具180，所以该信息使得有源笔工具的身份能够被交互式输入系统20辨识。如将理解的，该信息可以用来表示笔工具的属性，诸如笔颜色或功能性（例如，分别无源指示器/无功能性、左鼠标点击、右鼠标点击、黑色、红色、绿色、蓝色和橡皮擦）、或其可以用来表示不同用户（例如，分别用户1至8）。在下面表1中列表出八个子载波频率组合。

表1

在图13a和13b中图形化地标绘了这些八个子载波频率组合中的每一个的频域表示。DSP单元26通过对光强度变化310的频域表示312进行分析并且确定哪些频率出现高于某一阈值，来确定有源笔工具180的身份。如果没有频率在频域表示中出现，如在组合1的情况下，则交互式输入系统20确定指示器是无源的。

如果期望的话，关于笔工具的另外信息，诸如施加到笔工具末端的压力，可以通过增加对调制可用的子载波频率的数量以及成像组件的帧速率两者由笔工具180传送。替选地，可以使子载波频率的幅度变化。该方法可以用于包括不止一个子载波频率的子载波频率组合，即图13a和13b中的组合5、6、7和8。可以对使用这些子载波频率组合的笔工具进行编码，使得笔末端压力被显现为一个或多个子载波频率的幅度差。图14示意性地图示了笔工具P跨显示表面24的运动，在此期间，施加到笔工具P的末端的压力从轻微压力（110）到中等压力（112）到沉重压力（114）变化。在图15a至15c中分别图形化地标绘了与这些区域中的每一个相对应的子载波频率信号调制。使用于不同组合的子载波的幅度差保持大约+/-25%，以便维持所有子载波的强度高于阈值以供检测。使用包括少于两个子载波频率的子载波频率组合，即子载波频率组合1、2、3和4的笔工具可以被分配给不需要压敏度的笔工具功能，诸如“橡皮擦”、“右击”、“左击”等。

为了利用这样的压敏特征，有源笔工具可以包括压敏末端。特别地，压敏末端可以包括耦接到致动器186的压力传感器。没有压敏末端的有源笔工具仍然可以与有压敏能力的交互式输入系统一起被使用，但是将导致子载波具有相同幅度的强度分布。

在已确定指示器的位置、身份和末端压力（如果可用）之后，控制器120使用从为每一个成像组件60生成的合成图像帧306确定的指示器位置，使用诸如在上面合并的、Morrison等人的美国专利No.6,803,906中所描述的众所周知的三角测量法来计算指示器相对于显示表面24在（x,y）坐标系中的位置。然后，控制器120经由USB电缆32将所计算的指示器坐标以及指示器身份和末端压力（如果可用）传递给通用计算设备30。通用计算设备30进而对所接收到的指示器坐标、标识和末端压力（如果可用）进行处理，并且如果需要的话，对提供给显示单元的图像输出进行更新，使得在显示表面24上呈现的图像反映指示器活动。以这种方式，与显示表面24的指示器交互可以被记录为写或描画或用于控制运行于计算机30上的一个或多个应用程序的执行。

本领域技术人员将理解的是，带有经调制的IR光发射的笔工具180的使用允许在感兴趣区域内的任何类型（即，有源或无源）的多个指示器相互被消歧，并且因此更准确地被跟踪。当如图1 6中所图示，两个指示器在点100和102处被带入与显示表面24接近的地方时，成像组件60a和60b每一个捕获相应图像帧，并且DSP单元26试图如上所述通过三角测量法来定位指示器的位置。因为成像组件60a和60b被放置在不同位置处，所以成像组件60a和60b的视图不同，如图17a和17b中分别示意性地图示的。当交互式输入系统20不能区分指示器位于点100和102处还是位于点104和106处时，通常发生消歧。然而，通过利用每一个发射具有唯一子载波频率组合的经调制的IR光的笔工具180，交互式输入系统20能够识别笔工具180并且准确区分两个指示器，并且从而对其位置进行三角测量。即使两个指示器中的一个是无源指示器，诸如手指或无源尖笔，交互式输入系统20也仍然能够区别两个指示器，并且能够通过三角测量法准确确定其位置。只要不多于一个指示器是无源的，就可以使用该技术来区分多于两个指示器。

可以在各种各样的交互式输入系统中使用上述笔工具信息输入方法，包括使用正投影仪的交互式输入系统、仅具有一个成像组件的交互式输入系统以及具有多于两个成像组件的交互式输入系统。例如，图18示出包括环绕正投影系统的显示表面的组件122的交互式输入系统120的另一个实施例。正投影系统利用在显示表面上投影图像的投影仪198。放置在组件122的底部角落的成像组件160扫视显示表面。DSP单元（未示出）接收成像组件160所捕获的图像帧，并且执行前述图形处理方法来定位与显示表面开始接近的每一个指示器的位置，并且确定笔工具180是否正传送信息。

图19示出使用正投影系统的交互式输入系统的另一个实施例。交互式输入系统220包括接近于投影仪298放置并且被配置用于查看显示表面的单个成像组件260。DSP单元（未示出）接收成像组件260所捕获的图像帧，并且执行前述图形处理方法来定位与显示表面开始接近的指示器的位置，并且确定笔工具180是否正传送信息。

图20a和20b示出一般由参考数字320所指示的交互式输入系统的又一个实施例，其被配置为无线手写板（slate）。交互式输入系统320包括由诸如玻璃、丙烯酸或其他适当材料的能源递送材料构成的一般清晰的面板或平板352。在该实施例中，面板352一般是楔形的，并且提供从后到前向下倾斜的倾斜的、一般为矩形的、上部输入表面354。以矩形扩散层356形式的能量分散结构被嵌入在面板352中，并且被稍微放置在输入表面354之下。在该实施例中，扩散层356由加拿大安大略省森林山的Vintex公司制造的

隔热织物构成，并且具有小于输入表面354的占用空间（footprint）的占用空间，然而，本领域技术人员将理解的是，也可以使用其他扩散材料。直接覆盖扩散层356的输入表面354的部分形成由非活动边界区354b环绕的活动输入区或区域354a。面板352容纳一对成像组件360。每一个成像组件360邻近面板352的不同后部角落被放置，并且被定向成使得成像组件360的视场瞄准在面板352的扩散层356和底部表面372之间的面板352，并且向上跨扩散层356的底面。

当笔工具180开始与面板352的输入表面354接触并且发射经调制的红外线光时，经调制的红外线光进入面板352。如果指示器1 80接触活动输入区354a内的输入表面354，则进入面板352的经调制的红外线光对扩散层356起作用并且由扩散层356分散。部分分散的光指向成像组件360，并且因此，成像组件360看见扩散层356上的亮区域。该亮区域在所捕获的图像帧中在另外的黑暗背景上出现。DSP单元（未示出）接收成像组件360所捕获的图像帧，并且执行前述图形处理方法来定位开始与输入表面354接触的笔工具1 80的位置，并且确定子载波频率组合所表示的信息。

在上述实施例中，每一个成像组件包括单个图像传感器。替选地，成像组件可以包括彼此相邻放置，使得它们通常具有相同视图的两个或多个更低速图像传感器。图2 1图示在成像组件内彼此相邻放置的一对图像传感器570和571。在此，图像传感器570和571通过相应透镜组件569查看感兴趣区域。使对图像传感器570和571所捕获的图像数据的处理同步，以实际上使图像传感器570和571所提供的帧速率加倍。在图22中图示了该同步的定时。在此，图像传感器570和571每一个能够以每秒N/2帧的速率并且使用1/N秒的曝光时间来捕获图像。同步涉及图像传感器570和571的曝光时段的交错（staggering），使得曝光时段一般不重叠。又其他多个传感器布置是可能的。例如，图23图示在不同朝向彼此相邻并且邻近分束器673放置的一对图像传感器670和671。在此，笔工具180所发射的经调制的IR光通过分束器，并且进入图像传感器670和671，使得图像传感器670和671看见相同图像的“镜像”。

笔工具180可以具有单个末端，诸如在图5中所图示的。替选地，笔工具可以具有多个末端，诸如在图24中所图示的，其中每一个末端被配置成发射已由唯一子载波频率修改的IR光。还可以使用其他笔工具，诸如在Bolt等人的美国专利申请序列号No.12/118,535中所描述的那些，通过引用将其内容合并入本文。

如上所述，当触发在接触显示表面24时压下的末端开关时，笔工具180发射经调制的IR光。替选地，笔工具可以通过用户操控的开关来发射经调制的IR光、或者可以不断地发射光、或仅在加速度计感测到移动时才发射光，例如以便节省电池电力。

尽管在上述实施例中，成像组件的帧速率是960Hz，IR光源的循环速率是480Hz，以及子载波频率是120Hz、240Hz和360Hz，然而，本领域技术人员将理解的是，交互式输入系统不限于这些频率。例如，成像组件可以能够有非常高的帧速率，诸如大约每秒10⁶帧的量级、或非常低的帧速率，诸如每秒30帧。尽管可以被传送的信息量随帧速率增加而增加，但是上述系统和方法使用具有低帧速率的成像组件是可行的。

尽管在上述实施例中，以帧速率的一半的速率使IR光源循环，但是在其他实施例中，可以替选地以其他速率使IR光源循环，诸如1/3、1/4或1/100的帧速率。在使用以小于帧速率的速率，诸如1/100的帧速率，循环的光源的交互式输入系统中，在IR光源断开时捕获的任何图像帧可以用于对所呈现的任何有源笔工具的光强度进行分析以识别指示器和诸如末端压力的其他信息，而在IR光源接通时捕获的图像帧可以用于环境光移除和指示器三角测量。

尽管在上述实施例中，合成图像帧通过以下来形成：在八个连续图像帧系列内从先前（+）图像减去每一个（-）图像来产生四个不同图像帧系列，然后对这些不同图像帧求和来产生合成图像帧，但是在其他实施例中，可以使用替选方法来形成合成图像帧。例如，可以对不同图像帧求平均。在又其他实施例中，可以使用除八个外的多个图像帧。在又其他实施例中，可以替选地使用非连续图像帧来形成合成图像帧。

虽然在上述实施例中，指示器分析区是正方形，但是将理解的是，该区域不限于这种形状。因此，指示器分析区可以是其他形状，诸如矩形、圆形等。在其他实施例中，指示器分析区的形状包围完整边框。

尽管在上述实施例中，使用单个指示器分析区来定位指示器，但是在其他实施例中，可以使用多个指示器分析区。

尽管在上述实施例中，通过使子载波频率的幅度变化来将与笔末端压力有关的信息传送给交互式输入系统，但是在其他实施例中，可以替选地通过分配给相应子载波频率来传送笔末端压力。

尽管在上述实施例中，边框段包括通过IR光源照明的反光材料带，但是在其他实施例中，边框不包括反光材料，因此是不反光的。在这样的其他实施例中，IR光源可能不存在，并且交互式输入系统可以替代地仅依赖于有源笔工具所发射的光来定位在成像组件的视场内的指示器。在此，边框段一般将是黑暗的，并且通过将八个连续图像帧中的每一个添加在一起，有源笔工具所发射的照明将被过滤以使dc频率分量通过。带有dc频率分量的照明源，诸如环境光和有源笔，针对一般黑暗的背景将显现为亮的。一旦已找到亮点，就应用调制器来确定其是有源笔还是其他不希望的光源。在又其他实施例中，可以结合没有与触摸表面相关联的边框使用先前的方法。

尽管在上述实施例中，边框段包括通过IR光源照明的反光材料带，但是在其他实施例中，可以采用如在Akitt等人的美国专利No.6,972,401中描述的被照明的边框。

尽管在上述实施例中，笔工具180和光源82发射红外辐射，但是在其他实施例中，可以替选地发射其他波长的辐射。

尽管已描述了优选实施例，但是本领域技术人员将理解的是，在不背离如由所附权利要求限定的精神和范围的情况下，可以进行变化和修改。

Claims

1.一种交互式输入系统，包括：

至少一个成像组件，所述至少一个成像组件具有查看感兴趣区域的视场并且捕获图像帧；以及

与所述至少一个成像组件通信的处理结构，当在捕获的图像帧中存在指示器时，所述处理结构使所捕获的图像帧解调以确定其频率分量，并且检查所述频率分量以确定所述指示器的至少一个属性。

2.根据权利要求1所述的交互式输入系统，其中在解调期间，所述处理结构将变换应用到所捕获的图像帧。

3.根据权利要求1或2所述的交互式输入系统，其中所述指示器是将经调制的辐射发射到所述感兴趣区域中的笔工具。

4.根据权利要求3所述的交互式输入系统，其中所述笔工具所发射的所述经调制的辐射是红外辐射。

5.根据权利要求1至4中的任一项所述的交互式输入系统，其中所述属性包括指示器输入颜色和指示器功能性中的任何一个。

6.根据权利要求5所述的交互式输入系统，其中所述指示器功能性是右鼠标点击、左鼠标点击以及橡皮擦中的任何一个。

7.根据权利要求1至6中的任一项所述的交互式输入系统，其中所述至少一个成像组件包括至少两个成像组件。

8.根据权利要求1至6中的任一项所述的交互式输入系统，进一步包括：至少一个光源，所述至少一个光源被配置成将辐射发射到所述感兴趣区域中。

9.根据权利要求8所述的交互式输入系统，其中所述至少一个光源在接通和断开状态之间循环。

10.根据权利要求9所述的交互式输入系统，其中所述至少一个成像组件捕获连续图像帧，当所述至少一个光源处于所述接通状态时捕获一个图像帧，并且当所述至少一个光源处于所述断开状态时捕获一个图像帧。

11.根据权利要求10所述的交互式输入系统，其中所述处理结构从当所述至少一个光源处于所述接通状态时捕获的图像帧减去当所述至少一个光源处于所述断开状态时捕获的图像帧以形成差异图像帧，对所述差异图像帧求和以形成合成图像帧，并且确定所述指示器在所述合成图像帧中的位置。

12.根据权利要求11所述的交互式输入系统，其中所述处理结构进一步定义与所述指示器位置相关联的分析区，并且将所述分析区应用到所述捕获的图像帧以用于执行所述检查。

13.根据权利要求2所述的交互式输入系统，其中所述笔工具包括压敏末端，以及所述笔工具根据末端压力对所发射的辐射进一步进行调制。

14.根据权利要求7所述的交互式输入系统，进一步包括：至少一个光源，所述至少一个光源被配置成将辐射发射到所述感兴趣区域中。

15.根据权利要求14所述的交互式输入系统，其中所述至少一个光源在接通和断开状态之间循环。

16.根据权利要求14或15所述的交互式输入系统，其中所述成像组件中的每一个包括捕获所述图像帧的至少两个光传感器，所述至少两个传感器具有所述感兴趣区域的通常相同的视图，所述至少两个光传感器具有通常交错的曝光时段。

17.根据权利要求7、14或15中的任一项所述的交互式输入系统，进一步包括边框，所述边框至少部分环绕所述感兴趣区域，并且具有在所述至少两个成像组件的所述视场中的表面。

18.根据权利要求8至12或14至16中的任一项所述的交互式输入系统，其中所述至少一个光源所发射的所述辐射是红外辐射。

19.一种将信息输入到交互式输入系统中的方法，包括：

捕获感兴趣区域的图像帧；以及

当在所捕获的图像帧中存在指示器时，使所捕获的图像帧解调以确定其频率分量，并且检查所述频率分量以确定所述指示器的至少一个属性。

20.根据权利要求19所述的方法，其中所述解调进一步包括：将变换应用到所捕获的图像帧。

21.根据权利要求19或20所述的方法，其中所述指示器是将经调制的辐射发射到所述感兴趣区域中的有源笔工具。

22.根据权利要求19至21中的任一项所述的方法，进一步包括：从至少一个光源将辐射发射到所述感兴趣区域中。

23.根据权利要求22所述的方法，其中所述至少一个光源在接通和断开状态之间循环。

24.根据权利要求23所述的方法，其中所捕获的图像帧包括在所述接通和断开状态下捕获的图像帧。

25.根据权利要求24所述的方法，进一步包括：

通过从在所述接通状态下捕获的图像帧减去在所述断开状态下捕获的图像帧以形成差异图像帧、并且对所述差异图像帧求和来生成合成图像帧；

确定所述指示器在所述合成图像帧中的位置；以及

定义与所述指示器的位置相关联的分析区；

其中所述检查在应用到所捕获的图像帧的所述分析区内执行。

26.根据权利要求19至25中的任一项所述的方法，其中所述属性从由指示器输入颜色和指示器功能性组成的组中选择。

27.根据权利要求26所述的方法，其中所述指示器功能性是右鼠标点击、左鼠标点击以及橡皮擦中的任何一个。