CN103003778B - 交互式输入系统和用于其的笔工具 - Google Patents

Abstract

用于与机器视觉交互式输入系统一起使用的笔工具包括：细长主体；以及在主体的一端处的末端布置，至少部分在所述末端布置周围的所述主体的端表面携带反光材料，当笔工具成角度时所述反光材料对交互式输入系统的至少一个成像组件可见。

Description

交互式输入系统和用于其的笔工具

技术领域

本发明涉及交互式输入系统和用于其的笔工具。

背景技术

下述交互式输入系统是众所周知的：允许用户使用有源指示器（例如，散发光、声音或其他信号的指示器）、无源指示器（例如，手指、圆柱体或其他对象）或者诸如鼠标或跟踪球的其他适当的输入设备将输入注入应用程序中。这些交互式输入系统包括但不限于：包括利用模拟电阻或机器视觉技术注册指示器输入的触摸板的触摸系统，诸如在转让给本申请的受让人加拿大亚伯达省卡尔加里的SMARTTechnologies ULC的美国专利Nos.5,448,263；6,141,000；6,337,681；6,747,636；6,803,906；7,232,986；7,236,162和7,274,356以及美国专利申请公开No.2004/0179001中所公开的那些，通过引用合并其内容；包括利用电磁的、电容的、声学的或其他技术注册指示器输入的触摸板的触摸系统；平板个人计算机（PC）；膝上型PC；个人数字助理（PDA）；以及其他类似设备。

上述合并的Morrison等人的美国专利No.6,803,906公开了利用机器视觉来检测与在其上呈现计算机生成的图像的触摸表面的指示器交互的触摸系统。矩形边框或框架包围触摸表面并且在其角落处支撑数字相机。数字相机具有围绕并且通常扫视触摸表面的重叠视场。数字相机从不同视点获取扫视触摸表面的图像并且生成图像数据。数字相机所获取的图像数据由内置（on-board）数字信号处理器进行处理，以确定在捕获到的图像数据中是否存在指示器。当确定在捕获到的图像数据中存在指示器时，数字信号处理器将指示器特性数据传递给主控制器，该主控制器进而处理该指示器特性数据，以使用三角测量法来确定指示器相对于触摸表面在（x,y）坐标系中的位置。将该指示器坐标传递给执行一个或多个应用程序的计算机。该计算机使用指示器坐标来对在触摸表面上呈现的计算机生成的图像进行更新。因此，触摸表面上的指示器接触能够被记录为书写或绘画或用于控制由计算机执行的应用程序的执行。

其内容通过引用被整体合并入本文、转让给SMART TechnologiesULC、Akitt等人的美国专利No.6,972,401公开了用于在诸如上述合并的Morrison等人的美国专利No.6,803,906中公开的触摸系统中使用的被照明的边框。该被照明的边框包括将红外线光投射到漫射体上的红外线（IR）发光二极管（LED）。漫射体进而使红外线光漫射，使得被照明的边框在触敏表面上提供的背光的强度跨漫射体的表面通常是均匀的。结果，边框所提供的背光照明通常显现为对数字相机是连续的。尽管该被照明的边框工作得很好，但是，其对触摸系统增加了成本。

Takekawa的美国专利No.6,823,481公开了坐标输入/检测设备，其包括被放置在坐标输入/检测区域的底部角落处的左和右光学单元。沿着坐标输入/检测区域的上部、左侧和右侧提供反向反光器。可以与坐标输入/检测设备一起使用具有主体的笔工具，该主体邻近朝向末端的一端成锥形。笔工具主体的锥形部分其上具有反向反光器。

Ogawa的美国专利Nos.7,202,860和7,414,617公开了基于相机的坐标输入设备，其允许使用指示器或手指的坐标输入。该坐标输入设备包括被放置在显示屏的左上部和右上部角落处的一对相机。每一个相机的视场与显示屏平行地延伸到显示屏的斜对面角落。红外线发光二极管被布置为靠近每一个相机的成像透镜，并且照明显示屏的包围区域。在显示屏的三个侧面上提供轮廓框架。在轮廓框架上靠近显示屏布置窄宽度反向反光带。非反光黑带沿着反向反光带被附着到轮廓框架，并且与反向反光带接触。控制电路基于从相机输出的视频信号来计算指向在坐标检测区内的位置的笔工具的坐标值，并且将该坐标值传送给计算机。笔工具是在笔主体的一端处具有笔末端部件的笔。笔主体靠近笔末端部件成锥形。笔末端主体的锥形部分被反向反光带包围。

在这些交互式输入系统中，依赖于使得朝输入表面的笔工具的朝向，很难区分使得与输入表面接触的手指和笔工具。如果不同的功能性属于不同类型的指示器，则不能区分指示器类型会成为问题。

因此，本发明的目的至少是提供新颖的交互式输入系统和用于其的新颖的笔工具。

发明内容

因此，在一个方面中，提供了用于与机器视觉交互式输入系统一起使用的笔工具，其包括：细长主体；以及在所述主体的一端处的末端布置，至少部分在所述末端布置周围的所述主体的端表面携带反光材料，当笔工具成角度时，所述反光材料对所述交互式输入系统的至少一个成像组件可见。

在一个实施例中，端表面包围末端布置并且携带反光材料环形圈。邻近末端布置的主体的侧表面携带围绕主体延伸的至少一个反光材料带。围绕主体延伸的至少一个反光材料带可以是连续的或可以被图案化。主体的侧表面还可以携带多个间隔的反光材料带。

在一种形式下，末端布置包括尖端并且反光材料基本上包围尖端。在另一种形式下，末端布置包括大体与主体对齐的第一部分、从第一部分延伸并且在离开第一部分的方向变窄的一般圆锥形的部分以及在该圆锥形部分的窄端处的尖端。可以在第一部分的外表面上在反光材料上提供一般透光罩。

根据另一个方面，提供了用于与机器视觉交互式输入系统一起使用的笔工具，其包括：细长、一般圆柱形的主体；以及从所述主体的一端延伸出的末端布置，所述末端布置包括在离开所述主体的方向变窄的一般圆锥形部分和在所述圆锥形部分的窄端处的尖端，其中邻近所述末端布置的所述主体的端表面携带反光材料环形圈，当笔工具成角度时，所述反光材料环形圈对所述交互式输入系统的至少一个成像组件可见。

根据另一个方面，提供了在包括由边框包围的感兴趣区和具有查看所述感兴趣区的视场的至少一个成像组件的机器视觉交互式输入系统中识别指示器的方法，所述方法包括：捕获图像帧；以及对图像帧进行处理来检测指示器的存在，并且检测表示笔工具的边框特有的特征的存在。

在一个实施例中，在处理图像帧来检测特征的存在期间，对图像帧进行处理来检测在图像帧的超出边框的界限的区中的笔工具反射。对图像帧进行处理来检测特征的存在可以包括从每一个捕获到的图像帧减去背景图像帧来形成不同图像帧，并且检查该不同图像帧来检测在图像帧的超出边框的界限的区中的笔工具反射。在进行该减去之后，边框在每一个不同图像帧中的可见端界限可以被确定，以及每一个不同图像帧的超出端界限的区被遮罩。该检查可以包括使每一个不同图像帧阈值化来检测在其中反射的存在，并且当反射存在时，确定该反射是否出现在超出边框的界限的区中。

根据又一个方面，提供了交互式输入系统，其包括：由边框包围的感兴趣区；具有查看感兴趣区并且看见所述边框的视场的至少一个成像组件；以及处理结构，其对所述至少一个成像组件捕获到的图像帧进行处理来检测指示器的存在，并且检测表示笔工具的边框特有的特征的存在。

附图说明

现将参考附图更全面地描述实施例，在附图中：

图1是交互式输入系统的示意性立体图；

图2是图1的交互式输入系统的示意性框图视图；

图3是形成图1的交互式输入系统的一部分的成像组件的框图；

图4A和4B是形成图1的交互式输入系统的一部分的外壳组件的前后立体图；

图5是形成图1的交互式输入系统的一部分的主控制器的框图；

图6A是当与交互式输入系统的其他成像组件相关联的IR LED处于断开状态时图3的成像组件所捕获到的简化示例性图像帧；

图6B是当与交互式输入系统的其他成像组件相关联的IR LED处于低电流状态时图3的成像组件所捕获到的简化示例性图像帧；

图7A是用于与图1的交互式输入系统一起使用的笔工具的侧视图；

图7B和7C分别是图7A的笔工具的一部分的侧视图和立体图；

图8是图3的成像组件所捕获到的示例性图像帧，其示出（a）朝向垂直于交互式输入系统的交互式表面的传统笔工具，（b）朝向垂直于交互式表面的手指，（c）离开成像组件成角度的传统笔工具，（d）朝向垂直于交互式表面的具有独特反光特征的笔工具，以及（e）离开成像组件成角度的具有独特反光特征的笔工具。

图9A和9B是示出在笔工具/手指辨识例程期间执行的步骤的流程图；

图10示出表示在捕获到的图像帧中跨边框的规范化的图像帧亮度的曲线；

图11示出反射线的确定；

图12图示界限测试；以及

图13至19b示出用于在图1的交互式输入系统中使用的替选笔工具。

具体实施方式

现转到图1和2，示出了允许用户将诸如数字墨、鼠标事件等的输入注入计算设备执行的应用程序中的交互式输入系统，并且其通常由参考数字20来标识。在该实施例中，交互式输入系统20包括安装在诸如墙表面等的垂直支撑表面上的交互式板22。交互式板22包括一般平坦、矩形的交互式表面24，其被边框26包围其外围。诸如SMARTTechnologies ULC销售的名称为SMART UX60的超短投程投影仪（未示出）也被安装在该支撑表面上在交互式板22之上，并且将诸如计算机桌面的图像投影到交互式表面24上。

交互式板22利用机器视觉来检测与交互式表面24接近的、带入感兴趣区中的一个或多个指示器。交互式板22经由通用串行总线（USB）线缆30与执行一个或多个应用程序的通用计算设备28通信。如果需要的话，通用计算设备28对交互式板22的输出进行处理并且对输出到投影仪的图像数据进行调整，使得在交互式表面24上呈现的图像反映指示器活动。以这种方式，交互式板22、通用计算设备28和投影仪允许接近交互式表面24的指示器活动被记录为书写或绘画或用于控制通用计算设备28所执行的一个或多个应用程序的执行。

在该实施例中，边框26被机械地固定到交互式表面24，并且包括四个边框段40、42、44、46。分别地，边框段40和42沿着交互式表面24的相对侧边延伸，而边框段44和46沿着交互式表面24的顶边和底边延伸。在该实施例中，每一个边框段40、42、44和46的面向内的表面包括单个、纵向延伸的反向反光材料条或带。为了最佳利用反向反光材料的特性，边框段40、42、44和46被定向为使得其面向内的表面在通常与交互式表面24的平面垂直的平面延伸。

使用适当紧固件，诸如螺丝、夹子、黏合剂等，将工具托盘48邻近边框段46附着到交互式板22。如可以看见的，工具托盘48包括具有上表面48b的外壳48a，该上表面48b被配置成界定多个容器或狭槽48c。容器48c被调整大小为接纳可以用来与交互式表面24交互的如将被描述的一个或多个笔工具P以及橡皮擦工具（未示出）。在外壳48a的上表面48b上提供了控制按钮48d，使得用户能够控制交互式输入系统20的操作。工具托盘48的一端被配置成接纳可拆卸的工具托盘附件模块48e，而工具托盘48的相对端被配置成接纳可拆卸的通信模块48f以供远程设备通信。外壳48a容纳如将描述的主控制器50（参见图5）。在Bolt等人的、于2010年2月19日提交的、题为“Interactive InputSystem and Pen Tool Tray Therefor”的美国申请序列号No.12/709,424中描述了工具托盘48的进一步细节，通过引用将其内容整体合并入本文。

边框26容纳有成像组件60，其中每一个成像组件60邻近边框的不同角落被放置。成像组件60被定向为使得其视场重叠并且一般扫视整个交互式表面24。以这种方式，被带入与交互式表面24接近的地方的任何指示器，诸如用户的手指、圆柱体或其他适当物体、或从工具托盘48的容器48c拿起的笔工具或橡皮擦，在成像组件60的视场中出现。电源适配器62当被连接到传统AC主电源时向交互式板22提供必要的操作电力。

现转到图3，更好地图示了成像组件60中的一个。如可以看见的，成像组件60包括诸如Aptina（Micron）制造的型号为No.MT9V034的图像传感器70，具有752x480像素的分辨率、装配有向图像传感器70提供近似104度的视场的两个基本、塑料透镜（未示出）。以这种方式，其他成像组件60在图像传感器70的视场内，从而确保图像传感器70的视场涵盖整个交互式表面24。

诸如由Analog Devices制造的产品型号为ADSP-BF522 Blackfin的数字信号处理器（DSP）72或其他适当的处理设备，经由并行端口接口（PPI）通过图像数据总线74与图像传感器70通信。串行外围接口（SPI）闪存74经由SPI端口被连接到DSP 72，并且存储图像组件操作所需的固件。取决于捕获到的图像帧的大小以及DSP 72的处理需求，成像组件60可以可选地包括用来存储另外临时数据的同步动态随机存取存储器（SDRAM）76，如虚线所示。图像传感器70还经由双线接口（TWI）和计时器（TMR）接口与DSP 72通信。经由TWI从DSP 72写入图像传感器70的控制寄存器，以配置图像传感器70的参数，诸如用于图像传感器70的整合期。

在该实施例中，图像传感器70以快照模式操作。在快照模式下，图像传感器70响应于经由TMR接口从DSP 72接收的具有在DSP 72上的计时器设置的持续时间的外部触发信号，进入整合期，在该期间，图像帧被捕获。

在整合期后，在DSP 72对触发信号的生成已结束之后，图像传感器70进入读出期，在该期间，捕获到的图像帧可用。在图像传感器处于读出期的情况下，DSP 72经由PPI通过图像数据总线74读取图像传感器70所获取的图像帧数据。在该实施例中，图像传感器70的帧速率在每秒大约900和大约960帧之间。DSP 72进而对从图像传感器72接收到的图像帧进行处理，并且以近似120点/秒的减小速率向主控制器50提供指示器信息。然而，本领域技术人员应当理解的是，取决于期望的指示器跟踪精度和是否利用多触摸和/或有源指示器识别，可以利用其他帧速率。

三个选通电路80经由TWI和经由通用输入/输出（GPIO）接口与DSP 72通信。IR选通电路80还与图像传感器70通信，并且接收经由电源适配器52在LED电力线82上提供的电力。每一个选通电路80驱动以红外线（IR）发光二极管（LED）84a至84c形式的相应照明源，其在交互式表面24上提供红外线背光。在Akitt的、于2010年2月19日提交的、题为“Interactive Input System and Illumination SystemTherefor”的美国申请序列号No.12/709,451中描述了关于选通电路80及其操作的进一步细节，通过引用将其内容整体合并入本文。

DSP 72还经由串行端口（SPORT）和非可屏蔽中断（NMI）端口与RS-422收发器86通信。收发器86通过差分同步信号（DSS）通信链路88和同步线路90与主控制器50通信。用于成像组件60的部件的电力通过电源适配器52在电力线92上提供。DSP 72还可以可选地经由USB端口被连接到USB连接器94，如虚线所指示。USB连接器94可以用来将成像组件60连接到诊断装置。

图像传感器70和其相关联的透镜以及IR LED 84a至84c被安装到在图4a和4b中最佳图示的外壳组件100上。如可以看见的，外壳组件100包括聚碳酸酯外壳主体102，其具有前面部分104和从前面部分延伸出的后面部分106。成像孔径108在外壳主体102中在中心形成并且容纳有IR-通过/可见光阻挡滤波器110。滤波器110具有在大约830nm和大约880nm之间的IR-通过波长范围。图像传感器70和相关联的透镜被定位在滤波器110后面，并且被定向为使得图像传感器70的视场穿过滤波器110看出去并且一般跨交互式表面24。使后面部分106成形为包围图像传感器70。形成通过外壳主体102的三个通道112a至112c。通道112a和112b被定位在滤波器110的对边，并且一般与图像传感器70成水平直线。通道112c被中心地定位在滤波器110之上。每一个管状通道接纳光源插孔114，其被配置成接纳IR LED 84中的相应一个。具体地，在通道112a中接纳的插孔114容纳IR LED 84a，在通道112b中接纳的插孔114容纳IR LED 84b，以及在通道112c中接纳的插孔114容纳IR LED 84c。在后面部分106的相对侧边提供了安装用法兰116，以便于经由适当紧固件将外壳组件100连接到边框26。由反向反光材料形成的标签118覆盖在前面部分104的前表面。在Liu等人的、于2010年2月19日提交的、题为“Housing Assembly forInteractive Input System and Fabrication Method”的美国申请序列号No.12/709,419中描述了关于外壳组件及其制造方法的进一步细节，通过引用将其内容整体合并入本文。

在图5中更好地图示了主控制器50。如可以看见的，主控制器50包括诸如由Analog Devices制造的产品型号为ADSP-BF522Blackfin的DSP 200或其他适当的处理设备。串行外围接口（SPI）闪存202经由SPI端口被连接到DSP 200，并且存储主控制器操作所需的固件。存储系统操作必需的临时数据的同步动态随机存取存储器（SDRAM）204经由SDRAM端口被连接到DSP 200。DSP 200经由USB端口通过USB线缆30与通用计算设备28通信。DSP 200通过其串行端口（SPORT）经由RS-422收发器208通过差分同步信号（DSS）通信链路88与成像组件60通信。在该实施例中，因为多于一个成像组件60通过DSS通信链路88与主控制器DSP 200通信，因此利用时分复用（TDM）通信。DSP 200还经由RS-422收发器208通过相机同步线路90与成像组件60通信。DSP 200通过集成电路间I2C信道与工具托盘附件模块48e通信，并且通过通用异步接收器/发送器（UART）、串行外围接口（SPI）和I2C信道与通信附件模块48f通信。

如应当理解的，成像组件60和主控制器50的体系结构相似。通过在每一个成像组件60和主控制器50之间提供相似体系结构，可以将相同的电路板组件和共有部件用于两者，因此减少了交互式输入系统20的零件数量和成本。在制造期间，取决于电路板组件是意欲在成像组件60中还是在主控制器50中使用，将不同部件添加到电路板组件。例如，主控制器50可能需要SDRAM 76，而成像组件60可以不需要。

在该实施例中，通用计算设备28是个人计算机或其他适当的处理设备，包括例如：处理单元、系统存储器（易失性和/或非易失性存储器）、其他非可移除或可移除存储器（例如，硬盘驱动器、RAM、ROM、EEPROM、CD-ROM、DVD、闪存等）以及将各种计算机部件耦接到处理单元的系统总线。计算机还可以包括访问共享或远程驱动器、一个或多个联网计算机或其他联网设备的网络连接。

在操作期间，主控制器50的DSP 200输出经由收发器208被应用到同步线路90的同步信号。应用到同步线路90的每一个同步信号经由收发器86由每一个成像组件60的DSP 72接收，并且触发DSP 72上的非可屏蔽中断（NMI）。响应于同步信号所触发的非可屏蔽中断，每一个成像组件60的DSP 72确保其本地计时器在系统容忍内，以及如果不是，则校正其本地计时器以匹配主控制器50。使用一个本地计时器，DSP 72经由快照线路发起脉冲序列，其用来将图像传感器适应快照模式，并且控制图像传感器70在快照模式下的整合期和帧速率。DSP 72还发起第二本地计时器，其用来提供在LED控制线路174上的输出，使得IR LED 84a至84c在图像帧捕获周期期间被恰当供电。

响应于在快照线路上输出的脉冲序列，每一个成像组件60的图像传感器70以期望的图像帧速率获取图像帧。以这种方式，每一个成像组件的图像传感器70所捕获到的图像帧可以参考同一时间点，其允许被带入图像传感器70的视场的指示器的位置被准确地三角测量。并且，通过为成像组件60分发同步信号，通过减少将快速时钟信号从中央位置传输给每一个成像组件60的需要，最小化了电磁干扰。替代地，每一个成像组件60具有其自身的本地振荡器（未示出），以及使用较低的频率信号（例如，点速率，120Hz）来保持图像帧捕获同步。

在图像帧捕获期间，每一个成像组件60的DSP 72还向选通电路80提供输出，以控制IR LED 84a至84c的切换，使得IR LED以与每一个图像传感器70的图像帧捕获序列协调的给定序列照明。具体地，在该序列中，当IR LED 84c以高电流模式完全照明并且其他IR LED断开时，图像传感器70捕获第一图像帧。当所有IR LED 84a至84c都断开时，捕获下一图像帧。在IR LED 84c接通然后断开的情况下捕获这些连续图像帧允许在捕获到的图像帧中的环境光假象通过生成差异图像帧被消除，如在转让给SMART Technologies ULC的、McReynolds等人的美国申请公开No.2009/0278794中所描述的，通过引用将其内容整体合并入本文。当仅仅IR LED 84a接通时图像传感器70捕获第三图像帧，以及当仅仅IR LED 84b接通时图像传感器70捕获第四图像帧。捕获这些图像帧允许指示器边缘和指示器形状被确定，如在SMART Technologies ULC等的、于2011年1月14日提交的、题为“Interactive Input System and Illumination System Therefor”的国际PCT申请No.PCT/CA2011/000036中描述的，通过引用将其内容整体合并入本文。选通电路80还控制IR LED 84a至84c，以阻止闪光（blooming），并且减小由其他成像组件60在图像传感器70的视场内的存在引起的在捕获到的图像帧中暗区的大小，如现将描述的。

在图像捕获序列期间，当每一个IR LED 84接通时，IR LED以红外线照明充斥在交互式表面24上的感兴趣区。照射在边框段40、42、44和46的反向反光带上以及在外壳组件100的反向反光标签118上的红外线照明返回到成像组件60。结果，在缺乏指示器的情况下，每一个成像组件60的图像传感器70看见与任何环境光假象一起的在其长度上具有基本上均匀强度的亮带。当指示器被带入与交互式表面24接近的地方时，指示器阻隔边框段40、42、44和46的反向反光带和/或反向反光标签118所反射的红外线照明。结果，每一个成像组件60的图像传感器70看见在所捕获到的图像帧中的中断亮带的暗区。在交互式表面24上出现的边框段40、42、44和46的被照明的反向反光带和被照明的反向反光标签118的反射对图像传感器70也是可见的。

图6A示出在图像帧捕获期间，当与其他成像组件60相关联的IRLED 84断开时，成像组件60中的一个的图像传感器70所捕获到的示例性图像帧。如可以看见的，其他成像组件60的IR LED 84a至84c和滤波器110显现为中断亮带159的暗区。当这些暗区可能被非故意地辨识为指示器时，这些暗区会成问题。

为了解决这个问题，当成像组件60中的一个的图像传感器70正捕获图像帧时，其他成像组件60的选通电路80被DSP 72适应成低电流模式。在低电流模式下，选通电路80控制供应给IR LED 84a至84c的操作电力，使得它们以与由在边框段40、42、44和46上的反向反光带以及由反向反光标签118所反射的反射照明的强度基本上相等的强度水平散发红外线照明。图6B示出当与其他成像组件60相关联的IR LED 84a至84c以低电流模式被操作时，成像组件60中的一个的图像传感器70所捕获到的示例性图像帧。结果，减小了每一个暗区的大小。以这种方式操作IR LED 84a至84c还阻止闪光（即，图像传感器像素的饱和），如果其他成像组件60的IR LED 84a至84c在图像帧捕获期间全部接通，则这可以发生。IR LED 84a至84c在低电流模式下所需的亮度水平与在图像传感器70和相对边框段40、42、44和46之间的距离有关。通常，当由于空气中的光损失以及来自每一个IR LED朝向边框段40、42、44和46的不足光分布，在图像传感器70和相对边框段40、42、44和46之间的距离增加时，需要较低的亮度水平。

DSP 72对每一个成像组件60的图像传感器70所捕获到的图像帧序列进行处理来识别在每一个图像帧中的每一个指示器，并且获得指示器形状和接触状态信息，如在上述合并的SMART Technologies ULC等的国际PCT申请No.PCT/CA2011/000036中所描述的。每一个成像组件60的DSP 72进而将表示指示器在图像帧中的位置以及指示器形状和接触状态（实际接触或悬停）的指示器数据传递给主控制器50的DSP 200。DSP 200使用从DSP 72接收的指示器数据，来使用众所周知的三角测量法计算每一个指示器相对于交互式表面24在（x，y）坐标系中的位置，如在上述合并的Morrison等人的美国专利No.6,803,906中所描述的。指示器坐标数据以及指示器形状和接触状态被传递给通用计算设备28，其允许呈现在交互式表面24上的图像数据被更新。

如上所述，交互式输入系统20能够检测被带入与交互式表面24接近的地方并且在成像组件60的视场内的无源指示器，诸如用户的手指、圆柱体或其他适当物体以及笔工具P。随着指示器被带入与交互式表面24接近的地方，取决于指示器的角度，区分笔工具P和手指的困难可能出现。为了缓解这个问题，与交互式输入系统20一起使用带有独特反光特征的笔工具，以允许笔工具P在被带入与交互式表面24接近的地方时与手指区分开来，而不考虑其朝向，如现在将描述的。

现转到图7A至7C，图示了笔工具P。在该实施例中，笔工具P是无源的，并且被配置成使交互式输入系统20能够在笔工具P被带入与交互式表面24接近的地方时与其角度无关地辨识笔工具P。如可以看见的，笔工具P包括一般圆柱形的主体200。在主体200的一端204处提供末端布置202。末端布置202包括一般圆锥形部分206和邻近圆锥形部分206的窄端的尖端208。圆锥形部分206的宽端的直径小于主体200的直径，从而界定在主体上的包围圆锥形部分206的环形端表面210。在主体200的邻近端204的外侧表面以及环形端表面210上提供具有高度反光特性的材料，诸如反向反光材料。在主体200上的反向反光材料以在主体200的圆周周围延伸的连续窄带212的形式。

在主体200上的反向反光带212和在端表面210上的反向反光材料的位置确保当笔工具P被带入与交互式表面24接近的地方并且成像组件60响应于在其快照线路上提供的脉冲序列输出而正获取图像帧时，反向反光材料对成像组件60中的至少一个可见。反向反光材料的形状也在捕获到的图像帧中产生与图像帧中由手指所产生的特征不同的特征。具体地，反向反光材料在图像帧中在亮区典型地不会出现的位置，诸如在表示边框段40、42和44上的反向反光带的亮带之上，显现为亮区或斑点（spot）。

现转到图8，图示了成像组件60中的一个所捕获到的示例性图像帧，其示出在不同朝向与交互式表面24接触的不同指示器。在情况（a）中，邻近其末端没有反向反光材料的传统笔工具与交互式表面24接触并且朝向垂直于交互式表面24。在情况（b）中，手指与交互式表面24接触并且朝向垂直于交互式表面24。在情况（c）中，传统笔工具与交互式表面24接触，但是离开捕获图像帧的成像组件60成角度。结果，传统笔工具类似于情况（b）的手指，潜在导致了指示器消歧问题。在情况（d）中，笔工具P与交互式表面24接触，并且朝向垂直于交互式表面24。如可以看见的，在笔工具P的主体200上的反向反光带212在表示边框段40、42和44上的反向反光带的亮带之上清楚可见。在情况（e）中，笔工具P与交互式表面24接触，但是离开捕获图像帧的成像组件60成角度。如可以看见的，在这个朝向上，在主体200的端表面210上的反向反光材料圆环在图像帧中可见，其允许笔工具P被辨识。另外，由反向反光材料环形圈所引起的亮带的弯曲可以用来确定笔工具P的角度。

因此，每一个成像组件60利用笔工具/手指辨识过程来对捕获到的图像帧进行处理，以检测笔工具P所创建的特征的存在，并且允许笔工具P的存在被验证。现将具体参考图9A和9B描述笔工具/手指辨识过程对图像帧进行处理来检测笔工具P所创建的特征的存在的方式。

在笔工具/手指辨识过程期间，一旦图像帧已被捕获，就从在为每一个成像组件60执行的校准例程期间创建的背景图像帧（参见图9A中的步骤300）减去该图像帧。在校准例程期间，为了生成背景图像帧，多个图像帧，在该示例中一百（100）个图像帧，在没有指示器接近交互式表面24时并且在IR LED 84a至84c接通的情况下，被捕获并且获得平均背景图像帧（参见图9B中的步骤350）。然后，使用平均背景图像帧来寻找在平均背景图像帧中的表示在边框段上的反向反光带的亮带（步骤352）。在边框寻找期间，背景图像帧中的表示在边框段上的反向反光带的亮带的可见界限被确定，并且在亮带的相对端的暗或亮区被遮罩，使得在背景图像帧的这些区中的所有像素值被设置成零。可以手动或自动执行端遮罩。

一旦平均背景图像帧中的亮带的端已被遮罩，在平均背景图像帧的每一列处，亮带因此边框的上下界限就被确定。在该过程期间，在给定列处跨平均背景图像中的亮带的亮度分布被规范化成范围[0,1]，并且具有高于0.25的值的所有像素被识别。满足该标准的第一和最后像素分别被认为是上下边框界限（假设图像行数从顶部到底部增加）。在图10中示出了示例。在图10中，曲线360表示在给定图像列处跨边框的规范化的图像帧亮度。线362是阈值，以及方形364是在对应列数处的边框界限。在每一列处的上下边框界限的平均值然后被找到，并且这被采用为反射线，即，在平均背景图像帧中的线，在该线处边框在交互式表面24中被反射，如图11中所示。

如上所述，在步骤300处，每一个捕获到的图像帧被除以为捕获了图像帧的成像组件60生成的平均背景图像帧，来生成背景校正图像帧。由于在笔工具P上的反向反光材料产生亮斑点，所以背景校正图像帧可以被表示为：

$a=\frac{1}{\mathrm{bg}}-1$

其中a是背景校正图像帧，以及bg是平均背景图像帧。

如果背景校正图像帧具有暗背景，以及如果其上具有反向反光材料的笔工具P存在于背景校正图像帧中，则反向反光材料在背景校正图像帧中将显现为亮特征。背景校正图像帧然后被端遮罩（步骤302），以及作为结果的反射线被用来为图像帧提取中央分布，其表示图像帧沿着反射线的像素值。这是垂直强度分布概念的一般化。中央分布被规范化为范围[0,1]，使得背景校正图像帧中的任何依赖时间的特征显现为在接近零或暗背景上的高峰（步骤304）。中央分布用于检测在背景校正图像帧中的手指，如稍后将说明的。

为了确定笔工具P是否存在于背景校正图像帧中，阈值化背景校正图像帧，并且作出检查以确定是否任何亮区或“斑点”存在于阈值化的背景校正图像帧中（步骤306）。如果阈值化的背景校正图像帧具有亮区或斑点，则执行斑点测试（spot test）来验证笔工具P的存在（步骤308）。在斑点测试期间，使用传统垂直强度分布来找到斑点在阈值化的背景校正图像帧中的近似列位置。然后，执行界限测试来确定斑点在近似列位置处是在边框界限之上还是之下（步骤310）。在界限测试期间，提取通过阈值化的背景校正图像的垂直切片h。如果界限测试适用，则验证笔工具P在捕获到的图像帧中的存在（步骤312）。在图12中图示了界限测试。实曲线是在笔工具的位置处通过图像帧的垂直切片。

斑点测试允许看见笔工具P的成像组件60被确定，因此识别可用于对笔工具的位置作三角测量的最佳成像组件60。在步骤306，如果斑点测试对于所有成像组件60均失败，但是成像组件60中的一个或多个所生成的中央分布示出高峰，则验证捕获到的图像帧中的手指（步骤314）。

如应当理解的，在笔工具上提供的反向反光材料的配置在相对于交互式表面24的各种角度给予笔工具独特反光特征，同时减少了所使用的反向反光材料量，并且同时维持了在捕获到的图像帧中在笔工具末端的至少一部分和表示边框段上的反向反光材料的亮带之间的对比度。

如果期望的话，可以对IR光源82进行调制，如在McReynolds等人的、于2008年5月9日提交并且转让给亚伯达省卡尔加里的SMART Technologies ULC的、题为“Interactive Input System withControlled Lighting”的美国专利申请No.12/118,521中所描述的，通过引用合并其内容。以这种方式，可以生成关于每一个成像组件的仅基于来自其相关联的IR光源的照明贡献的图像帧。还可以对笔工具P所输出的经调制的信号进行调制。

尽管图7A至7C示出利用反向反光材料的笔工具P的一个示例，所述反向反光材料便于与笔工具P被带入与交互式表面24接近的地方的角度无关地区分笔工具P和手指，然而，替选笔工具配置可用。例如，图13示出替选笔工具P。在该实施例中，邻近端表面210圆周地围绕主体200延伸的连续反向反光带212比在先前实施例中所示的厚。图14a和14b示出了又一个笔工具P。在该实施例中，两个垂直间隔、连续的反向反光带212a和212b邻近端表面210圆周地围绕主体200延伸。当然，可以利用多于两个反向反光材料带。图15a和15b示出又一个笔工具P。在该实施例中，反向反光带212在围绕主体200的圆周的一个或多个位置处中断。当然，如果在主体上提供多于一个反向反光材料带，则带中的一个或多个可以中断。在端表面210上的反向反光材料还在圆周间隔的位置处中断。

笔工具P的末端布置202还可以采用不同配置。如可以在图16A和16B中看见的，笔工具P的末端布置202包括从主体200的端表面210延伸出的一般圆柱形的主体部分406，其在直径上比主体200的直径小。一般圆锥形的主体部分410从主体部分406延伸，以及在主体部分410的窄端处提供尖端408。在该实施例中，在主体200的环形端表面210上以及在圆柱形主体部分406在其圆周周围提供反向反光材料。如果期望的话，圆柱形主体部分406可以被由光学透明材料形成的一般圆锥形罩420包围，如图17A和17B中所示、或被由光学透明材料形成的一般圆柱形罩包围，如图18a和18b中所示，以填充在主体200和主体部分406之间的台阶。替选地，可以在圆锥形主体部分和尖端之间提供末端布置202的一般圆柱形的主体部分406，如图19a和19b中所示。在这种情况下，邻近端表面210围绕主体200以及围绕主体部分406提供反向反光带。

在上面的实施例中，笔工具P被描述为在其上具有反向反光材料。然而，本领域技术人员应当理解的是，替选可用。例如，可以使用高度反光或发光材料，而不是利用反向反光材料。替选地，笔工具P可以包括有源元件，诸如LED或照明的其他源。如果与交互式输入系统一起使用多个指示器，则可以在不同笔工具P上提供不同图案的反向反光材料以允许不同的笔工具P可被区分，并且诸如颜色、线宽等的不同属性被分配给笔工具。

尽管主要参考了笔工具，然而，本领域技术人员应当理解的是，还可以将反向反光或其他适当材料应用到其他类型的工具，诸如橡皮擦工具。如果工具的一端用于书写，并且相对端用于擦除，则可以在工具上在两端均提供反向反光或其他适当材料。

在上面的实施例中，每一个边框段40至44被示出为包括单一反向反光材料带。本领域技术人员应当理解的是，边框段可以包括具有不同反光特性的带。例如，可以使用由高度反光材料形成的带，而不是使用反向反光带。替选地，可以使用包括两个或更多个带的边框段，其中所述带具有不同或交替的反光特性。

尽管成像组件60被描述为被邻近显示表面的底部角落的弯角容纳，然而，本领域技术人员应当理解的是，可以将成像组件放置在相对于显示表面的不同位置处。

本领域技术人员应当理解的是，尽管已参考被定位在与交互式表面24接近的地方的单个指示器或笔工具P描述了交互式输入系统20的操作，然而，交互式输入系统20能够随着每一个指示器在图像传感器所捕获到的图像帧中出现，检测接近触摸表面的多个指示器/笔工具的存在。

尽管已参考附图描述了实施例，然而，本领域技术人员应当理解的是，在不背离所附权利要求所限定的精神和范围的情况下，可以作出变化和修改。

Claims (5)

1.一种在包括由边框包围的感兴趣区和具有查看所述感兴趣区的视场的至少一个成像组件的机器视觉交互式输入系统中识别其上具有至少一个反向反光带的指示器的方法，所述方法包括：

捕获包括所述边框的图像帧；

对所捕获的图像帧进行处理以形成背景校正的图像帧并且确定所述边框的上界限和下界限；

对所述背景校正的图像帧执行阈值分割；

确定在所述背景校正的图像帧中是否存在表示指示器的区；以及

在确定了在所述背景校正的图像帧中存在表示指示器的区的情况下，执行界限测试以确定所述区是否超出了所述边框的界限并且从而识别其上具有至少一个反向反光带的指示器。

2.根据权利要求1所述的方法，其中对所述图像帧进行处理包括从每一个捕获到的图像帧减去背景图像帧来形成所述背景校正的图像帧。

3.根据权利要求2所述的方法，其中对所述图像帧进行处理进一步包括：遮罩每一个背景校正的图像帧的超出所述边框的所述上界限和所述下界限的区。

4.根据权利要求3所述的方法，其中确定所述边框的所述上界限和所述下界限是自动地被执行的。

5.一种交互式输入系统，包括：

由边框包围的感兴趣区；

具有瞄向所述感兴趣区并且被配置为捕获包括所述边框的图像帧的至少一个成像组件；以及

处理结构，所述处理结构被配置为：对所捕获到的图像帧进行处理以形成背景校正的图像帧并且确定所述边框的上界限和下界限；对所述背景校正的图像帧执行阈值分割；确定在所述背景校正的图像帧中是否存在表示指示器的区；以及在确定了在所述背景校正的图像帧中存在表示指示器的区的情况下，执行界限测试以确定所述区是否超出了所述边框的界限并且从而识别其上具有至少一个反向反光带的指示器。