CN102016771A - 具有受控照明的交互输入系统 - Google Patents

Abstract

交互输入系统(20)，包括：至少一个成像装置(60，62)，用于捕获感兴趣的区域的图像；多个辐射源(40至44，64，66)，每一个辐射源向所述感兴趣的区域提供照明；以及，控制器，用于协调所述辐射源和所述至少一个成像装置的操作，以允许产生基于来自不同的辐射源的影响的独立图像帧。

Description

具有受控照明的交互输入系统

技术领域

本发明总体上涉及交互输入系统，具体地，涉及具有受控照明的交互输入系统。

背景技术

允许用户使用主动指示器(例如，发出光、声音或其他信号的指示器)、被动指示器(例如，手指、柱体或其他物体)或诸如鼠标或轨迹球的其他适当输入装置来向应用程序注入“墨水”的交互输入系统是公知的。这些交互输入系统包括但是不限于：触摸系统，其包括触摸板，该触摸板使用模拟电阻或机器视觉技术来记录指示器输入，诸如美国专利No.5,448,263、6,141,000、6,337,681、6,747,636、6,803,906、7,232,986、7,236,162和7,274,356，已转让给本申请的受让方加拿大的Alberta的SMART Technologies ULC of Calgary，其内容通过引用被并入于此；触摸系统，包括触摸板，该触摸板使用电磁、电容、声音或其他技术来记录指示器输入；平板个人计算机(PC)；膝上型PC；个人数字助理(PDA)；以及，其他类似装置。

为了便利相对于交互输入系统的触摸表面检测指示器，已经考虑了各种照明方案。例如，Carroll等人的美国专利No.4,243.879公开了一种用于包含多个光电换能器的光电触摸板的动态电平位移器。该动态电平位移器周期地感测在当每一个光电换能器在触摸板的正常运行期间可以接收到辐射能量脉冲时的间隔紧前的环境光等级。将在这样的间隔期间的每一个光电换能器的输出与前一个环境间隔期间的输出作比较，以便产生用于指示辐射能量脉冲的存在与否的信号，而与环境光波动无关。

Doering等人的美国专利No.4,893.120公开了一种触摸屏系统，该触摸屏系统使用调制光束以即使在亮的环境光条件下也检测何时一个或多个光束被阻挡。触摸板系统包括具有限定的周界的触敏显示表面。多个发光元件和光接收元件围绕该显示表面。发光和光接收元件被定位，以使得由所选择的发光和光接收元件的对所限定的光路通过该显示表面，并且限定交叉的光路的网格。扫描电路继而使能所选择的发光和光接收元件的对，以调制根据预定模式发射的光的振幅。如果当前使能的光接收元件未产生根据预定模式调制的输出信号，则滤光器产生阻挡的路径信号。如果滤光器正在产生与在显示表面的周界内彼此相交的光路对应的至少两个阻挡的路径信号，则计算机确定物体是否接近显示表面，并且如果如此，则计算机确定该物体的位置。

Toh的美国专利No.6,346,966公开了一种图像获取系统，该系统允许向包含感兴趣的物体的场景同时应用不同的照明技术。在单个位置内，通过选择用于获取每一个图像的特定波长带来获取由不同的照明技术照亮的多个图像。在典型的应用中，同时使用背光照明和前置照明来照亮物体，并且向所获取的图像应用不同的图像分析方法。

Ogava的美国专利No.6,498,602公开了一种光学数字化器，该光学数字化器识别指示器仪器，由此允许使用手指或指示器来进行输入。光学数字化器包括：光源，用于发出光线；图像拍摄装置，其被布置在坐标平面的周边，并且在拍摄了指示仪器的图像后将指示仪器的图像转换为电信号；以及，计算装置，用于在处理了由所述图像拍摄装置转换的电信号后计算指示位置坐标。极化装置将由光源发射的光线极化为第一偏振光线或第二偏振光线。开关装置将在坐标平面上的辐射光转换为第一偏振光或第二偏振光。具有回射特性的回射材料被安装在坐标平面的框处。具有透射轴的偏振片使得透射第一偏振光。判断装置当通过第一偏振光线来拍摄指示仪器的图像时将指示仪器判断为第一指示仪器，并且当通过第二偏振光线来拍摄指示仪器的图像时将指示仪器判断为第二指示仪器。

King的美国专利申请公开No.2003/0161524公开了一种方法和系统，用于通过下述方式来改善机器视觉系统区别期望的目标特征的能力：在一个或多个不同的照明条件下拍摄图像，并且使用图像分析来提取关于目标的感兴趣的信息。单独地或与直接在轴上的或低角度的照明相结合地使用紫外线，以加亮目标的不同特征。在目标和照相机之间布置的一个或多个滤光器帮助从由照相机拍摄的一个或多个图像中滤除不需要的光。该图像可以由传统图像分析技术分析，并且结果被记录或显示在计算机显示器上。

Newton的美国专利申请公开No.2005/0248540公开了一种触摸板，该触摸板具有前表面、后表面、多个边缘和内部容积。能量源被定位在触摸板的第一边缘附近，并且被配置来发射在触摸板的内部容积内传播的能量。漫反射器被定位在触摸板的前表面附近，以漫反射从内部容积溢出的能量的至少一部分。至少一个检测器定位在触摸板的第一边缘附近，并且被配置为检测通过触摸板的前表面漫反射的能量的强度等级。与触摸板的第一边缘接近的两个相间的检测器允许使用简单的三角测量技术来计算触摸位置。

Nakamura等人的美国专利申请公开No.2006/0170658公开了一种边缘检测电路，用于检测图像中的边缘，以便增强确定物体是否已经接触了屏幕的精度和计算物体的坐标位置的精度。接触确定电路确定物体是否已经接触了屏幕。校准电路响应于外部光来控制光学传感器的灵敏度，据此，基于光学传感器的输出值来改变光学传感器的驱动条件。

虽然上面的参考文献公开了使用照明技术的系统，但是期望在照明技术上的改善以增强在交互输入系统中的用户输入的检测。因此，本发明的目的是提供一种具有受控照明的新颖交互输入系统。

发明内容

因此，在一个方面，提供了一种交互输入系统，包括：至少一个成像装置，用于捕获感兴趣的区域的图像；多个辐射源，每一个辐射源都向所述感兴趣的区域提供照明；以及，控制器，用于协调所述辐射源和所述至少一个成像装置的操作，以允许产生基于来自不同的辐射源的影响的独立图像帧。

在一个实施例中，根据不同的转换模式来点亮和熄灭每一个辐射源。选择所述不同的转换模式和成像装置帧率，以基本上消除来自环境光和闪烁的光源的效应。所述不同的转换模式基本上是正交的，并且可以遵循沃尔什码。

根据另一个方面，提供了一种交互输入系统，包括：至少两个成像装置，用于从不同的有利地位(vantage)捕获感兴趣的区域的重叠图像；辐射源，与每一个所述成像装置相关联，以向所述感兴趣的区域提供照明；控制器，用于使用向所述辐射源分配的不同的转换模式来定时所述成像装置的帧率，并且解调所捕获的图像帧，以产生基于来自不同辐射源的影响的图像帧；以及，处理结构，用于处理所述独立图像帧，以确定指示器在所述感兴趣的区域内的位置。

根据另一个方面，提供了一种在交互输入系统中产生图像帧的方法，所述交互输入系统包括用于捕获感兴趣的区域的图像的至少一个成像装置和用于向所述感兴趣的区域内提供照明的多个辐射源，所述方法包括：根据不同的模式来点亮和熄灭每一个辐射源，所述模式大体是正交的；将所述成像装置的帧率与所述不同的模式同步；以及，解调捕获的图像帧，以获得基于来自不同的辐射源的影响的图像帧。

根据另一个方面，在包括用于捕获感兴趣的区域的图像的至少一个成像装置和用于向所述感兴趣的区域内提供照明的多个辐射源的交互输入系统中，提供了一种成像方法，包括：调制所述辐射源的输出；将所述成像装置的帧率与调制的辐射源输出同步；以及，解调捕获的图像帧，以获得基于来自不同的辐射源的影响的图像帧。

附图说明

现在将参考附图更全面地描述实施例，其中：

图1是具有受控照明的交互输入系统的透视图；

图2是图1的交互输入系统的示意前正视图；

图3是图1的交互输入系统的一部分的透视概念图；

图4是图1的交互输入系统的一部分的示意图；

图5示出在子帧捕获期间的图像传感器和红外线光源的点亮/熄灭时序模式。

图6是示出通过组合不同的图像子帧来产生图像帧的示意图；

图7是在图4中所示的调制照明控制器的示意图；

图8是形成图7的调制照明控制器的一部分的子帧控制器的示意图；

图9是形成图7的调制照明控制器的一部分的解调器的示意图；

图10是形成图7的调制照明控制器的一部分的光输出接口的示意图。

具体实施方式

现在转向图1至4，允许用户向应用程序内加入诸如“墨水”的输入的交互输入系统被示出，并且整体上被附图标记20表示。在这个实施例中，交互输入系统20包括：组件22，其接合显示单元(未示出)，诸如等离子体电视、液晶显示(LCD)装置、平板显示装置、阴极射线管等，并且组件22围绕显示单元的显示表面24。组件22使用机器视觉来检测被使得进入接近显示表面24的感兴趣区域内的指示器，并且经由通用串行总线(USB)电缆28来与执行一个或多个应用程序的计算机26进行通信。计算机26处理组件22的输出，并且调整向显示单元输出的图像数据，使得在显示表面24上呈现的图像反映指示器行为。以这种方式，组件22和计算机26允许将接近显示表面24的指示器行为记录为书写或绘图或用于控制由计算机26执行的一个或多个应用程序的执行。

组件22包括与显示单元整合或附接到显示单元的框组件，并且围绕显示表面24。框组件包括边框，该边框具有三个边框分段40至44、四个角件46和一个工具盘分段48。边框分段40和42沿着显示表面24的相对的侧边延伸，同时，边框分段44沿着显示表面24的顶边延伸。被照亮的边框分段40至44形成围绕显示表面周界的红外线(IR)光源，该红外线(IR)光源可以被调节以发射红外线照明，使得位于接近显示表面24的感兴趣的区域内的指示器由发射的红外线辐射从后面照射。边框分段40至44可以是在Akitt等人的并且被转让给本申请的受让方加拿大的Alberta的SMART Technologies ULC of Calgary的美国专利No.6,972,401中公开的类型，该申请的内容通过引用被并入。工具盘分段48沿着显示表面24的底边延伸，并且支撑一个或多个笔工具P。接近显示表面24的左上和右上角的角件46将边框分段40和42耦合到边框分段44。接近显示表面24的左下和右下角的角件46将边框分段40和42耦合到工具盘分段48。

在这个实施例中，接近显示表面24的左下和右下角的角件46容纳图像传感器60和62，图像传感器60和62从不同的有利地位(vantage)上整体扫视整个显示表面24。图像传感器60和62是由Micron制造的、型号No.MT9V022的类型，并且被配备了由Boowon制造的、型号No.BW25B的类型的880nm透镜，该透镜向图像传感器提供了98度的视场。当然，本领域技术人员可以明白，可以使用其他商用或定制的图像传感器。接近显示表面24的左下和右下角的每一个角件46也容纳被定位使接近其相关联的图像传感器的红外线光源64、66。可以调节红外线光源64和66能够以发射红外线照明，使得在感兴趣的区域内的指示器被所发射的红外线辐射从正面照亮。

图像传感器60和62与调制照明控制器70进行通信，调制照明控制器70经由光控制电路72至76来控制被照亮的边框分段40至44与红外线光源64和66的操作。每一个光控制电路72至76包括功率晶体管和镇流电阻器。光控制电路72与被照亮的边框分段40至44相关联，光控制电路74与红外线光源64相关联，并且光控制电路76与红外线光源66相关联。光控制电路72至76的功率晶体管和镇流电阻器在它们相关联的红外线光源和电源之间起作用。调制照明控制器70接收从晶体振荡器78输入的时钟，并且与微处理器80进行通信。微处理器80也通过USB电缆28与计算机26进行通信。

优选的是，调制照明控制器70被实现在诸如例如现场可编程门阵列(FPGA)或专用集成电路(ASIC)的集成电路上。替代地，调制照明控制器70可以被实现在一般的数字信号处理(DSP)芯片或其他适当的处理器上。

交互输入系统20被设计来检测使得接近显示表面24并且在图像传感器60和62的视场内的诸如例如用户手指F、圆柱体或其他适当物体的被动指示器以及具有回射或高反射尖端的笔工具P。一般，在操作期间，被照亮的边框分段40至44、红外线光源64和红外线光源66每一个被调制照明控制器70以不同的模式点亮和熄灭(即调制)。点亮/熄灭转换模式被选择成使得转换模式是大体正交的。结果，如果一个转换模式与另一个转换模式交叉相关，则结果大致为0，并且如果一个转换模式与其本身交叉相关，则结果是正增益。这允许图像传感器60和62捕获图像帧，而被照亮的边框分段40至44和红外线光源64和66同时起作用，并且图像帧被处理以得到仅包括来自红外线光源的被选择的一个的影响的独立图像帧。

在这个实施例中，诸如在码分多址(CDMA)通信系统中使用的那些的沃尔什码的正交属性用于调制被照亮的边框分段40至44和红外线光源64和66，由此允许分离不同光源的图像影响。例如，沃尔什码W₁＝{1，-1，1，-1，1，-1，1，-1}和W₂＝{1，1，-1，-1，1，1，-1，-1}是正交的，这表示当对应的元素被相乘并相加时，结果是0。可以明白，光源不能呈现负强度。因此，通过调制照明控制器70根据不同的修改的沃尔什码MW_x，点亮和熄灭被照亮的边框分段40至44、红外线光源64和红外线光源66每一个，其中，值一(1)的沃尔什码比特表示点亮情况，值零(0)的沃尔什码比特表示熄灭情况。具体地说，根据修改的沃尔什码MW₁＝{1，0，1，0，1，0，1，0}来点亮或熄灭被照亮的边框分段40至44。根据修改的沃尔什码MW₂＝{1，1，0，0，1，1，0，0}来点亮或熄灭红外线光源64。根据修改的沃尔什码MW₃＝{1，0，0，1，1，0，0，1}来点亮或熄灭红外线光源66。可以明白，将负沃尔什码比特值替换为零值向IR照明引入了直流偏置。

在解调期间，使用沃尔什码W₁＝{1，-1，1，-1，1，-1，1，-1}、W₂＝{1，1，-1，-1，1，1，-1，-1}和W₃＝{1，-1，-1，1，1，-1，-1，1}。这些沃尔什码是所感兴趣的，因为它们在960Hz的子帧率具有在直流、120Hz、240Hz和360Hz的频谱空值。结果，如果这些沃尔什码交叉相关，则消除在直流、120Hz、240Hz和360Hz的频率，以允许滤除外部稳态光(例如，太阳光)的效应、由修改的沃尔什码MW_x引入的直流偏置和在常用频率，即在北美洲的120Hz，闪烁的光源(例如，荧光和白炽光源等)的效应。如果在其中照明以不同的频率闪烁的不同环境中使用交互输入系统20，则调整子帧率以滤除这个闪烁的光的影响。

图像传感器60和62由调制照明控制器70与被照亮的边框分段40至44、红外线光源64和红外线光源66的点亮/熄灭转换模式同步地操作，使得捕获具有每秒960帧(fps)的子帧率的八(8)个子帧，以向每一个图像传感器提供120Hz的帧率。图5示出了红外线光源的点亮/熄灭转换模式和图像传感器60和62的子帧捕获速率。由图像传感器60和62捕获的子帧被调制照明控制器70以不同的组合进行组合，以获得多个结果产生的图像帧，即：如图6中所示的，来自每一个图像传感器60、62的图像帧90，其大致仅基于由被照亮的边框分段40至44发射的红外线照明的影响；来自图像传感器60的图像帧92，其大致仅基于由红外线光源64发射的红外线照明的影响；来自图像传感器62的图像帧94，其大致仅基于由红外线光源66发射的红外线照明的影响；以及，来自每一个图像传感器60、62的图像帧96，其基于由边框分段40至44、红外线光源64、红外线光源66发射的红外线照明和环境光的影响。

由调制照明控制器70产生的结果图像帧然后被传送到微处理器80。在接收到图像帧后，微处理器80查看由对于每一个图像传感器60、62产生的、大致仅基于被照亮的边框分段40至44发射的红外线照明的影响的图像帧，以检测指示器的存在。对于这些图像帧，被照亮的边框分段40至44显现为在图像帧中的亮带。如果指示器在子帧的捕获期间接近显示表面24，则指示器将挡住由被照亮的边框分段40至44发射的背光红外线照明。结果，指示器将在每一个图像帧中显现为中断亮带的暗区域。

微处理器80成对地处理由每一个图像传感器60、62输出的连续图像帧。当可以获得来自图像传感器的一对图像帧时，微处理器80将图像帧相减以形成差图像帧，然后处理差图像帧，以产生不连续值，该不连续值表示指示器在差图像帧中存在的可能性。当没有指示器接近显示表面24时，不连续值为高。当有指示器接近显示表面24时，一些不连续值下降低于阈值，以使得容易确定在差图像帧中的指示器的存在。

为了产生每一个差图像帧的不连续值，微处理器80通过求和在图像帧的每一个像素列中的像素的强度值来计算图像帧的垂直强度分布(VIP_bezel)。如果不存在指示器，则VIP_bezel值将对于图像帧的所有像素列保持为高。然而，如果在图像帧中存在指示器，则VIP_bezel值将在与在图像帧中的指示器的位置对应的区域降低为低值。查看由每一个图像帧的VIP_bezel值定义的结果VIP_bezel曲线以确定VIP_bezel曲线是否下降低于表示指示器的存在的阈值，并且如果如此，则检测用于表示指示器的相对侧的、在VIP_bezel曲线中的左和右边。

具体地说，为了在每一个图像帧中定位左和右边，计算VIP_bezel曲线的一阶导数以形成梯度曲线

如果VIP_bezel曲线降低得小于用于表示指示器的存在的阈值，则结果产生的梯度曲线

将包括由正峰值和负峰值界定的区域，正峰值和负峰值表示由在VIP_bezel曲线中的凹陷部分形成的边。为了检测该峰值并且因此检测区域的边界，梯度曲线

被边缘检测器处理。

具体地说，首先向梯度曲线

应用阈值T，使得对于每一个位置x，如果梯度曲线

的绝对值小于阈值，则梯度曲线

的值被设置为0，如下式所表达：

如果 $|\&dtri;{\mathrm{VIP}}_{\mathrm{bezel}}\left(x\right)|<T,$ 则 $\&dtri;{\mathrm{VIP}}_{\mathrm{bezel}}\left(x\right)=0$

按照该阈值化过程，被阈值化的梯度曲线

包含与用于表示指示器的相对侧的左边和右边对应的负尖峰和正尖峰，并且在其他位置是零。然后，由被阈值化的梯度曲线

的两个非零的尖峰分别检测左和右边。为了计算左边，根据下式，从自像素列X_left开始的阈值化的梯度曲线

的左尖峰计算质心距离CD_left：

${\mathrm{CD}}_{\mathrm{left}}=\frac{\underset{i}{\mathrm{\&Sigma;}}(x_i-X_{\mathrm{left}})\&dtri;{\mathrm{VIP}}_{\mathrm{bezel}}\left(x_i\right)}{\underset{i}{\mathrm{\&Sigma;}}\&dtri;{\mathrm{VIP}}_{\mathrm{bezel}}\left(x_i\right)}$

其中，x_i是在梯度曲线

的左尖峰中的第i像素列的像素列编号，从1向阈值化的梯度曲线

的左尖峰的宽度迭代i，并且X_left是与沿着梯度曲线

的值相关联的像素列，其值与零(0)相差基于系统噪声而在经验上确定的阈值。然后，将在阈值化的梯度曲线

中的左边确定为等于X_left+CD_left。

为了计算右边，根据下式，由自像素列X_right开始的阈值化的梯度曲线的右尖峰计算质心距离CD_right：

${\mathrm{CD}}_{\mathrm{right}}=\frac{\underset{j}{\mathrm{\&Sigma;}}(x_i-X_{\mathrm{right}})\&dtri;{\mathrm{VIP}}_{\mathrm{bezel}}\left(x_j\right)}{\underset{j}{\mathrm{\&Sigma;}}\&dtri;{\mathrm{VIP}}_{\mathrm{bezel}}\left(x_j\right)}$

其中，x_j是在梯度曲线

的右尖峰中的第j像素列的像素列编号，从1向阈值化的梯度曲线的右尖峰的宽度迭代j，并且X_right是与沿着梯度曲线的值相关联的像素列，其值与零(0)相差基于系统噪声而在经验上确定的阈值。然后，将在阈值化的梯度曲线

中的右边确定为等于X_right+CD_right。

一旦计算了阈值化的梯度曲线

的左和右边，则计算在所识别的左和右边之间的中点，由此确定在差图像帧中的指示器的位置。

如果在大致仅基于由被照亮的边框分段40至44发射的红外线照明的影响的图像帧中检测出指示器，则大致仅基于由红外线光源64发射的红外线照明的影响的图像帧和大致仅基于由红外线光源66发射的红外线照明的影响的图像帧被处理，以确定指示器是否是笔工具P。可以明白，如果指示器是笔工具P，则由于由回射笔工具尖端将发射的红外线照射向红外线光源并且因此向图像传感器60和62的反射，笔工具P将作为亮区域显现在由每一个图像传感器捕获的图像帧中的暗背景上。如果指示器是手指F，则指示器将在这些图像帧的至少一个中显现为实质上更暗。

如果确定了笔工具P的存在，则以如上所述相同的方式来处理图像帧，以便确定笔工具P在图像帧中的位置。

在已经确定了指示器在图像帧中的位置后，微处理器80使用在图像帧中的指示器位置来以诸如在上面并入的Morrison等人的美国专利No.6,803,906中所述的方式的公知方式，使用三角测量计算指示器在(x，y)坐标上相对于显示表面24的位置。然后，微控制器80经由USB电缆28向计算机26传送所计算的指示器坐标。计算机26继而处理所接收的指示器坐标，并且如果需要，则更新向显示单元提供的图像输出，以便在显示表面24上呈现的图像反映指示器行为。以这种方式，与显示表面24的指示器交互可以被记录为书写或绘图，或用于控制在计算机26上运行的一个或多个应用程序的执行。

现在具体参考图7至10来描述调制照明控制器70的部件和它的操作。现在转向图7，更好地图示了调制照明控制器70。如可以看出的，调制照明控制器70包括图像传感器控制器100，图像传感器控制器100接收由晶体振荡器78输出的时钟信号。图像传感器控制器100向图像传感器60和62提供定时信号以设置图像传感器子帧率，并且经由PIXCLK、LED、Frame_Valid和Line_Valid信号线而连接到子帧控制器102。图像传感器控制器100也与多个解调器进行通信，在该情况下为六(6)个解调器104a至104f。具体地说，图像传感器控制器100经由CAM1DATA线连接到解调器104a至104c，并且经由CAM2DATA线连接到解调器104d至104f。图像传感器控制器100也经由PIXCLK信号线而连接到解调器104a至104f。解调器104a至104f经由D、A和OE_x信号线而连接到输出接口106。输出接口106也经由线108连接到子帧控制器102，经由PLXCLK信号线而连接到图像传感器控制器100，并且连接到微处理器80。

子帧控制器102经由subframe_D、EN和地址信号线连接到解调器104a至104f的每一个。子帧控制器102也经由subframe_L和EXP信号线而连接到光控制接口110至114的每一个。光控制接口110至114也连接到PIXCLK信号线。光控制接口110连接到光控制电路72，光控制接口112连接到光控制电路74，并且光控制接口114连接到控制电路76。

图8更好地图示子帧控制器102。可以看到，子帧控制器102包括四个输入端150-156，四个输入端150-156接纳从图像传感器控制器100延伸的LED、Frame_Valid、PIXCLK和Line_Valid信号线。具体地说，输入端150接纳LED信号线，输入端152接纳PIXCLK信号线，输入端154接纳Frame_Valid信号线，并且输入端156接纳Line_Valid信号线。子帧控制器102也包括6个输出端，即EXP输出端160、subframe_L输出端162、subframe_D输出端164、INT输出端166、地址输出端168和EN输出端170。三比特计数器180具有连接到LED输入端150的输入，以及连接到subframe_L输出端162的输出。锁存器182的输入也连接到LED输入端150。锁存器182的输出耦合到EXP输出端160。锁存器182的控制输入连接到PIXCLK输入端152。PIXCLK输入端152也连接到一对锁存器184和186的控制输入，并且连接到计数器188的控制输入。锁存器184的D输入通过反相器190而连接到计数器188的零输入。锁存器184的Q输入连接到门电路192的反相输入和锁存器186的D输入。锁存器186的Q输入连接到门电路192的非反相输入。门电路192的输出连接到门电路194的一个输入。门电路194的另一个输入连接到比较器196的输出。门电路194的输出连接到INT输出端166。

锁存器200的控制输入也连接到LED输入端150。锁存器200的D输入连接到subframe_L输出端162。锁存器200的Q输入连接到锁存器202的D输入。锁存器202的控制输入连接到Frame_Valid输入端154，而其Q输入连接到subframe_D输出端164，并且连接到比较器196的输入。计数器188的EN输入连接到Line_Valid输入端156，而控制器188的输出引脚连接到地址输出端168。Line_Valid输入端156也直接连接到EN输出端170。

图9较好地图示解调器104a至104f之一。如可以看出的，解调器包括七(7)个输入端，即子帧输入端210、数据输入端212、EN输入端214、PIXCLK输入端216、地址输入端218、OE输入端220和A输入端222。解调器也包括单个D输出端224。锁存器230的输入连接到数据输入端，并且其输出连接到扩展器单元232的输入。锁存器230的控制输入连接到PIXCLK输入端216。扩展器单元232的输出连接到代数加/减单元234的B输入。代数单元234的A输入连接到复用器236的输出，代数单元234的输出连接到具有两部分存储器单元形式的工作缓冲器240的D_A输入。复用器236的一个输入连接到空输入242，并且复用器236的另一个输入连接到在工作缓冲器240的D_B输入和具有两部分存储器单元形式的输出缓冲器250的D_A输入之间延伸的线244。复用器236的控制输入连接到在比较器254的输出和门电路256的一个输入之间延伸的线252。比较器254的输入和查找表258的输入连接到子帧输入端210。查找表258的输出连接到代数单元234的控制输入。在查找表258中的逻辑一(1)指示沃尔什码比特值“1”，并且指令代数单元234以执行相加运算。在查找表258中的逻辑零(0)指示沃尔什码比特值“-1”，并且指令代数单元234以执行相减运算。在这个示例中，使用沃尔什码W₁：{1，-1，1，-1，1，-1，1，-1}来编程查找表258，以使得能够解调来自边框分段40至44的照明，使用W₂：{1，1，-1，-1，1，1，-1，-1}来编程查找表258，以使得能够解调来自红外线光源64的照明，并且使用沃尔什码W₃：{1，-1，-1，1，1，-1，-1，1}来编程查找表258，以使得能够解调来自红外线光源66的照明。为了使得能够捕获基于包括环境光的所有发射的红外线照明的影响的图像帧，使用沃尔什码W₀：{1，1，1，1，1，1，1，1}来编程查找表250。

门电路256的另一个输入连接到在锁存器262的输出和工作缓冲器240的WE_A输入之间延伸的线260。门电路256的输出连接到输出缓冲器250的WE_A输入。锁存器262的输入连接到EN输入端214，并且锁存器262的控制输入连接到PIXCLK输入端216。PIXCLK输入端216也分别连接到工作和输出缓冲器240和250的控制输入，并且连接到锁存器264的控制输入。锁存器264的输入连接到地址输入端218。锁存器264的输出分别连接到工作和输出缓冲器240和250的A_A输入。地址输入端218也连接到工作缓冲器240的A_B输入。输出缓冲器250的OE_B和A_B输入分别连接到OE和A输入端220和222。

图10更好地图示光控制接口110至114之一。如可以看出的，光控制接口包括SF输入端280、EXP输入端282和CLK输入端284。光控制接口也包括单个输出端286。8x1查找表290的输入连接到SF输入端280。查找表290的输出连接到门电路292的一个输入。门电路292的第二输入连接到EXP输入端282，并且门电路292的第三输入连接到脉冲发生器294的Q输入。脉冲发生器294的T输入连接到EXP输入端282，并且脉冲发生器294的控制输入连接到CLK输入端284。门电路292的输出连接到输出端286。查找表290存储每一个子帧的沃尔什码的状态，该沃尔什码的状态确定在捕获那个子帧期间相关联的红外线光源的点亮/熄灭情况。因此，对于被照亮的边框分段40至44，使用修改的沃尔什码MW₁＝{1，0，1，0，1，0，1，0}来编程光控制接口110的查找表290。对于红外线光源64，使用修改的沃尔什码MW₂＝{1，1，0，0，1，1，0，0}来编程光控制接口112的查找表290。对于红外线光源66，使用修改的沃尔什码MW₃＝{1，0，0，1，1，0，0，1}来编程光控制接口114的查找表290。

在操作方面，解调器104a和104d被编程来输出大致仅基于由边框分段40至44反射的红外线照明的、来自图像传感器60和62的图像帧。解调器104b被编程来输出大致仅基于由红外线光源64发射的红外线照明的、来自图像传感器60的图像帧，并且解调器104e被编程来输出仅基于由红外线光源66发射的红外线照明的、来自图像传感器62的图像帧。解调器104c和104f被编程来输出基于由所有的红外线光源以及环境光发射的红外线照明的、来自图像传感器60和62的输出帧。这些图像帧向微处理器80提供了感兴趣的区域的未调制的视图，以允许微处理器执行图像传感器的曝光控制和可能的进一步的对象分类。

光输出接口110-114按照所分配的修改的沃尔什码MW_x向它们的相关联的红外线光源提供输出信号。如上所述，将沃尔什码与图像传感器60和62的曝光时间同步。

图像传感器控制器100向图像传感器60和62的每一个提供控制信号，并且从图像传感器60和62的每一个收集图像子帧。来自晶体振荡器78的时钟信号用于产生用于两个图像传感器的时钟信号。图像传感器60和62被驱动使得它们同时曝光它们的图像子帧，并且同时提供子帧数据。在这个实施例中，图像传感器分别在CAM1DATA和CAM2DATA数据线上提供子帧数据，在PIXCLK信号线上提供像素时钟信号，在LED信号线上提供用于指示子帧被曝光的信号，在FRAME_VALID信号线上提供用于指示子帧结束的信号，并且在LINE_VALID信号线上提供用于指示数据线具有有效的像素信息的信号。图像传感器具有12比特的分辨率(0至4095)，使用非线形函数或其他适当的压缩方法来将12比特的分辨率压缩为10比特的字(0至1023)。在解调之前，解压缩10比特数据线，以便抑制结果产生的非线性函数破坏沃尔什码的属性。

输出接口106向微处理器80提供获得结果产生的图像帧所必要的信号。输出接口的形式取决于所使用的微处理器的类型和所选择的传送模式。当在解调器104a至104f中可获得新的子帧时，子帧控制器102产生在INT线上的内部信号。输出接口106通过OE₁信号线使能第一解调器104a的输出。输出接口106然后通过地址(A)来排序和读取每一个像素的数据(D)，串行化结果，并将结果发送到微处理器80。然后，使用5个剩余的输出使能线OE₂至OE₆来对于5个其他解调器104b至104f重复该处理，直到向微处理器80发送了所有的像素信息。

子帧控制器102担任保持同步和子帧计数的任务。3比特计数器180经由subframe_L线向光输出接口110至114输出当前由图像传感器60和62曝光的子帧编号(0-7)。计数器180在通过在LED线上的信号每一个图像传感器曝光的开始时递增，并且在最后的子帧后回卷(wrap around)到零。来自图像传感器60和62的数据未结束，直到在曝光的结束后的某个时间(信号的下降沿)。锁存器300和202将子帧计数延迟到Frame_VALID信号的下一个上升沿，并且将这个信息向解调器104a至104f发送，以指示它们当前正在处理哪个子帧。将EXP信号输出到光输出接口110-114，以允许它们点亮它们的相关联的红外线光源。EXP信号被锁存器182略微延迟，以保证当激活红外线光源时subframe_L信号线是稳定的。

在每一个子帧内，计数器188向每一个像素提供唯一地址。计数器在每一个子帧的开始被清零，并且每当读入有效的像素时递增。这个地址与使能(EN)一起被发送到解调器104a至104f的每一个，使能(EN)指示CAM1DATA和CAM2DATA数据线何时有效。

在每一个子帧0的结尾，可以从解调器104a-104f获得有效数据。锁存器184和186与门电路192在每一个FRAME_VALID信号的结尾提供单个正脉冲。比较器196和门电路194允许这个正脉冲仅在子帧0的结尾通过。这在INT信号线上向输出结果106提供了用于指示准备好发送新的结果图像帧的信号。

工作缓冲器240用于存储中间的图像帧。根据在查找表258中存储的所选择的沃尔什码，使用代数单元234来相对于工作缓冲器240增加或减去新的像素。

在子帧0期间，直接地向工作存储器240中传送图像传感器数据。比较器254在子帧0期间输出逻辑1，该逻辑1强制复用器236在代数单元234的A输入上强制0。查找表258的输出在子帧0期间总是逻辑1，因此，代数单元234将总是向输入A(0)加上输入B，以有效地向工作缓冲器240内复制输入B。在每一个PIXCLK上升沿时，来自图像传感器的原始数据被锁存到锁存器230内，其地址被锁存到锁存器264内，并且其有效状态(EN)被锁存到锁存器262内。如上所述，来自图像传感器的数据为压缩的10比特形式，在处理之前必须将其扩展为其原始的线形12比特形式。这是由扩展器单元232进行的。扩展器单元232还增加了额外的3个高阶比特，以建立15比特的带符号格式，以抑制在处理期间的下溢或溢出错误。如果数据是有效的(锁存器262的输出高)，则被扩展的数据将未修改地通过代数单元234，并且在像素地址A_A通过工作缓冲器240的D_A输入被锁存到工作缓冲器240内。在子帧0的结尾，整个第一子帧被锁存到工作缓冲器240内。

必须相对于在工作缓冲器240中的对应的像素值来增加或减去在剩余的子帧(1-7)中的像素数据。在锁存器230、264和262中锁存数据、地址和EN信号的同时，那个像素的当前工作值被锁存到工作缓冲器240的D_B输入内。比较器254在这些子帧中变为逻辑0，这使得复用器236将像素的当前工作值置于代数单元234的A输入。查找表258根据沃尔什码来确定应当相对于当前工作值来增加还是减去在输入B的新的图像数据，其中，沃尔什码比特值一(1)表示相加运算，沃尔什码比特值零(0)表示相减运算。然后，通过D_A输入在下一个时钟周期将结果放回工作缓冲器240中的同一地址内。

在处理了所有的8个子帧后，工作缓冲器240包含最后的结果图像帧。在随后的子帧的子帧0期间，将这个结果的图像帧传送到输出缓冲器250。因为子帧0不使用来自工作缓冲器240的D_B输入的输出，所以使用这同一端口来向输出缓冲器250传送结果产生的图像帧。门电路256在子帧0期间使能输出缓冲器250的A端口的写入使能输入(WE_A)。然后，来自工作缓冲器240的数据刚好在被下一个进入的子帧重写之前传送到输出缓冲器250。然后，使用输出缓冲器250的D_B、地址和输出使能O_B线以通过输出接口106向微处理器80传送结果图像帧。

刚好在曝光信号(EXP)变成高之前，子帧控制器102设置被曝光的当前子帧(SF)。如果查找表290输出零(0)，则门电路292对于这个子帧将相关联的红外线光源保持熄灭。如果查找表输出一(1)，则点亮相关联的红外线光源。由脉冲发生器294来确定点亮持续时间。以触发(T)启动的脉冲发生器294输出给定数量的时钟周期(在该情况下为像素时钟)长的正脉冲。在脉冲的结尾，或当到达图像传感器曝光时间时，门电路292熄灭相关联的红外线光源。

脉冲发生器294允许独立于其他光源和传感器整合时间来动态地调整每一个红外线光源的影响，以获得期望的平衡。在每一个红外线光源中的脉冲时间保持不变的情况下，可以调整图像传感器60和62的曝光时间，以获得最好的环境光图像(解调器104c和104f)，而不影响调制的图像帧(解调器104a、104b、104d和104e)。图像传感器的最小的可能整合时间等于三个红外线光源的最长脉冲时间。图像传感器的最大可能整合时间是像素开始饱和的点，在该情况下，解调方案将经历失败。

在如上所述的实施例中，使用沃尔什码来调制和解调红外线光源。本领域技术人员可以明白，可以使用其他数字代码来调制和解调红外线光源，诸如例如在OOK、FSK、ASK、PSK、QAM、MSK、CPM、PPM、TCM、OFDM、FHSS或DSSS通信系统中使用的数字代码。

虽然图像传感器被示出为位于接近显示表面的底部角，但是本领域技术人员可以明白，可以将图像传感器相对于显示表面定位在不同的位置。不必包括工具盘分段，并且必要时，可以用被照亮的边框分段替换。此外，虽然被照亮的边框分段40至44和光源64和66被描述为红外线光源，但是本领域技术人员可以明白，可以使用其他适当的辐射源。

虽然交互输入系统20被描述为检测具有回射或高反射的尖端的笔工具，但是本领域技术人员可以明白，交互输入系统也可以检测当接近显示表面24时发射信号的主动指示器。例如，交互输入系统可以检测发射红外线辐射的主动笔工具，诸如在下文中描述的笔工具：Bolt等人的、题目为“Interactive Input System And Pen Tool Therefor”、在2008年5月9日提交，并且被转让给Alberta的SMART Technologies ULC of Calgary的美国专利申请No.12/118,535，其内容通过引用被并入。

在这个实施例中，当使得主动笔工具接近显示表面24时，主动笔工具发射调制信号，该调制信号具有等于120Hz、240Hz和360Hz的频率的分量。当沃尔什码具有在这些频率的频谱空值时，选择这些频率。结果，在进行处理以检测在感兴趣的区域中的主动笔工具的存在期间，滤除由主动笔工具输出的调制光，因此，不影响指示器检测。当检测到指示器的存在时，微处理器80将基于由所有的红外线光源发射的红外线辐射以及环境光的图像帧进行傅立叶变换，由此去除表示来自被照亮的边框分段的影响的图像帧的DC偏置和480Hz的分量。微处理器80然后查看结果图像帧，以确定是否存在在120Hz、240Hz和360Hz的结果图像帧的任何较大分量。如果如此，则微处理器80使用在这些频率的信号模式来识别主动笔工具。

可以明白，当由主动笔工具发射的调制信号可以被通信线28使用来识别主动笔工具时，便利了在显示表面24附近的多个主动笔工具的检测。如果在指示器检测期间检测到中断亮带的两个或更多的暗区域，则可以独立地处理由主动笔工具输出的调制光，以确定是否在等于120Hz、240Hz和360Hz的频率的调制信号分量，由此允许识别单独的主动笔工具。这抑制了由主动笔工具输出的调制信号彼此干扰，并且使得每一个主动笔工具能够与在显示表面24上呈现的图像相关联，以允许正确地处理主动笔工具输入。

交互输入系统当前可以采取其他形式。例如，被照亮的边框分段可以被替换为在上面的Bolt等人的申请中所述的回射或高反射的边框。然而，本领域技术人员可以明白，可以向基本上任何包括多个辐射源的交互输入系统应用辐射调制技术，以减小干扰，并且允许分离与每一个辐射源相关联的信息。

虽然已经参考附图描述了实施例，但是本领域技术人员可以明白，在不偏离由所附的权利要求限定的本发明的精神和范围的情况下，可以进行改变和修改。

Claims (27)

1.一种交互输入系统，包括：

至少一个成像装置，用于捕获感兴趣的区域的图像；

多个辐射源，每一个辐射源都向所述感兴趣的区域提供照明；以及，

控制器，用于协调所述辐射源和所述至少一个成像装置的操作，以允许产生基于来自不同的辐射源的影响的独立图像帧。

2.根据权利要求1所述的交互输入系统，其中，根据不同的转换模式来点亮和熄灭每一个辐射源。

3.根据权利要求2所述的交互输入系统，其中，所述不同的转换模式是基本上正交的。

4.根据权利要求2或3所述的交互输入系统，其中，选择所述不同的转换模式和成像装置帧率，以基本上消除来自环境光和闪烁的光源的效应。

5.根据权利要求4所述的交互输入系统，其中，所述不同的转换模式遵循沃尔什码。

6.根据权利要求3所述的交互输入系统，其中，所述多个辐射源包括至少三个辐射源。

7.根据权利要求3所述的交互输入系统，其中，所述辐射源中的至少一个从背面照亮位于所述感兴趣的区域内的指示器。

8.根据权利要求3所述的交互输入系统，其中，所述辐射源中的至少一个从正面照亮位于所述感兴趣的区域内的指示器。

9.根据权利要求8所述的交互输入系统，其中，所述辐射源中的两个从正面照亮位于所述感兴趣的区域内的指示器。

10.根据权利要求4所述的交互输入系统，包括：至少两个成像装置，用于从不同的有利地位捕获感兴趣的区域的图像；以及，与每一个成像装置相关联的辐射源。

11.根据权利要求10所述的交互输入系统，其中，将每一个辐射源都定位成接近所述相应的成像装置。

12.根据权利要求7所述的交互输入系统，其中，从背面照亮位于所述感兴趣的区域内的指示器的所述辐射源是围绕所述感兴趣的区域的被照亮的边框。

13.根据权利要求12所述的交互输入系统，其中，所述感兴趣的区域是多边形的，并且其中，所述被照亮的边框沿着所述感兴趣的区域的多条边延伸。

14.根据权利要求13所述的交互输入系统，其中，所述感兴趣的区域是大体矩形的，所述被照亮的边框沿着所述感兴趣的区域的至少三条边延伸，将成像装置定位成接近所述感兴趣的区域的相对角。

15.根据权利要求4所述的交互输入系统，其中，所述辐射源发射红外和可见辐射之一。

16.根据权利要求1至15的任何一个的交互输入系统，进一步包括处理结构，用于处理所述独立图像帧，以确定在所述感兴趣的区域内的指示器的位置。

17.根据权利要求16所述的交互输入系统，其中，所述辐射源发射红外辐射。

18.一种交互输入系统，包括：

至少两个成像装置，用于从不同的有利地位上捕获感兴趣的区域的重叠图像；

辐射源，与每一个所述成像装置相关联，以向所述感兴趣的区域提供照明；

控制器，用于使用向所述辐射源分配的不同的转换模式来定时所述成像装置的帧率，并且解调所捕获的图像帧，以产生基于来自不同辐射源的影响的图像帧；以及

处理结构，用于处理所述独立图像帧，以确定在所述感兴趣的区域内指示器的位置。

19.根据权利要求18所述的交互输入系统，其中，所述不同的转换模式是基本上正交的。

20.根据权利要求19所述的交互输入系统，其中，选择所述不同的转换模式和成像装置帧率，以基本上消除来自环境光和闪烁的光源的效应。

21.根据权利要求20所述的交互输入系统，其中，所述不同的转换模式遵循沃尔什码。

22.根据权利要求18至21的任何一个所述的交互输入系统，其中，所述辐射源发射红外和可见辐射之一。

23.根据权利要求18至22的任何一个的交互输入系统，进一步包括至少部分地围绕所述感兴趣的区域的背光辐射源。

24.根据权利要求18至22的任何一个的交互输入系统，进一步包括至少部分地围绕所述感兴趣的区域的反射边框。

25.根据权利要求24所述的交互输入系统，其中，所述反射边框包括回射材料。

26.一种在交互输入系统中产生图像帧的方法，所述交互输入系统包括用于捕获感兴趣的区域的图像的至少一个成像装置、和用于向所述感兴趣的区域内提供照明的多个辐射源，所述方法包括：

根据不同的模式来点亮和熄灭每一个辐射源，所述模式大体是正交的；

将所述成像装置的帧率与所述不同的模式同步；以及，

解调捕获的图像帧，以获得基于来自不同的辐射源的影响的图像帧。

27.在包括用于捕获感兴趣的区域的图像的至少一个成像装置和用于向所述感兴趣的区域内提供照明的多个辐射源的交互输入系统中，一种成像方法，包括：

调制所述辐射源的输出；

将所述成像装置的帧率与调制的辐射源输出同步；以及，

解调捕获的图像帧，以获得基于来自不同的辐射源的影响的图像帧。

Images