CN102216890A - 带有图像传感器和信号处理器的触摸输入 - Google Patents

带有图像传感器和信号处理器的触摸输入 Download PDF

Info

Publication number
CN102216890A
CN102216890A CN200980145279XA CN200980145279A CN102216890A CN 102216890 A CN102216890 A CN 102216890A CN 200980145279X A CN200980145279X A CN 200980145279XA CN 200980145279 A CN200980145279 A CN 200980145279A CN 102216890 A CN102216890 A CN 102216890A
Authority
CN
China
Prior art keywords
indicator
imaging
imageing sensor
frame
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN200980145279XA
Other languages
English (en)
Inventor
格兰特·麦克吉布尼
克林顿·拉姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Smart Technologies ULC
Original Assignee
Smart Technologies ULC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Smart Technologies ULC filed Critical Smart Technologies ULC
Publication of CN102216890A publication Critical patent/CN102216890A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0428—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by sensing at the edges of the touch surface the interruption of optical paths, e.g. an illumination plane, parallel to the touch surface which may be virtual
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Position Input By Displaying (AREA)
  • Image Input (AREA)

Abstract

一种交互式输入系统，包括：至少两个成像配件，所述至少两个成像配件从不同视点捕捉感兴趣区域的图像帧；以及处理结构，所述处理结构处理由成像配件捕捉到的图像帧，以确定指示器在感兴趣区域内的位置，其中每一个成像配件包括图像传感器和集成信号处理电路。

Description

带有图像传感器和信号处理器的触摸输入
相关申请的交叉引用
本申请是Hansen等人于2008年5月9日提交并且题为“Interactive Input System and Bezel Therefor”的美国专利申请No.12/118,545的部分接续申请，通过引用的方式将其内容合并于此。本申请还要求McGibney等人于2008年9月15日提交的、题为“Interactive Input System”的美国临时申请No.61/097,206的权益，通过引用的方式将其内容合并于此。
技术领域
本发明涉及交互式输入系统。
背景技术
以下交互式输入系统是公知的：允许用户使用有源指示器(例如，发射光、声或其它信号的指示器)、无源指示器(例如，手指、圆柱体或其它对象)或者诸如鼠标或跟踪球的其它适当的输入设备将输入(例如，数字墨水、鼠标事件等)注入应用程序中。这些交互式输入系统包括但不限于：包括采用模拟电阻或机器视觉技术来注册指示器输入的触摸板的触摸系统，诸如在转让给本申请的受让人加拿大亚伯达省卡尔加里的SMART Technologies ULC的美国专利No.5,448,263；6,141,000；6,337,681；6,747,636；6,803,906；7,232,986；7,236,162；以及7,274,356中所公开的那些，通过引用的方式将其内容合并于此；包括采用电磁、电容、声或其它技术注册指示器输入的触摸板的触摸系统；平板个人计算机(PC)；膝上型PC；个人数字助理(PDA)；或其它相似设备。
上述合并的Morrison等人的美国专利No.6,803,906公开了一种采用机器视觉来检测与在其上呈现计算机生成的图像的触摸表面的指示器交互的触摸系统。矩形边框或框架围绕触摸表面并且支撑在其角落处的数字相机。数字相机具有包围并且一般地扫视触摸表面的重叠视场。数字相机从不同视点获取扫视触摸表面的图像并且生成图像数据。数字相机所获取的图像数据由自带的(on-board)数字信号处理器来进行处理，以确定在已捕捉到的图像数据中是否存在指示器。当确定在已捕捉到的图像数据中存在指示器时，数字信号处理器将指示器特性数据传递到主控制器，该主控制器进而处理该指示器特性数据，以使用三角测量法来确定指示器相对于触摸表面在(x，y)坐标系中的位置。将该指示器坐标传递到执行一个或多个应用程序的计算机。计算机使用指示器坐标来更新在触摸表面上呈现的计算机生成的图像。因此，触摸表面上的指示器接触能够被记录为写入或绘制或用于控制由计算机执行的应用程序的执行。
Morrison等人的美国专利申请公开No.2004/0179001公开了一种触摸系统和方法，该触摸系统和方法区分用于接触触摸表面的无源指示器，使得可以根据用于接触触摸表面的指示器的类型来处理响应于与触摸表面的指示器接触而生成的指示器位置数据。该触摸系统包括待由无源指示器接触的触摸表面和具有一般地沿着触摸表面查看的视场的至少一个成像设备。至少一个处理器与至少一个成像设备通信并且分析由至少一个成像设备获取的图像，以确定用于接触触摸表面的指示器的类型以及在进行指示器接触的触摸表面上的位置。所确定的指示器类型和进行指示器接触的触摸表面上的位置由计算机使用以控制由计算机执行的应用程序的执行。
尽管存在许多不同类型的交互式输入系统，但是不断寻求对这样的交互式输入系统的改进。因此，本发明的目的是提供一种新颖的交互式输入系统。
发明内容
因此，在一个方面中，提供了一种交互式输入系统，包括：至少两个成像配件，所述至少两个成像配件从不同视点捕捉感兴趣区域的图像帧；以及处理结构，所述处理结构处理由所述成像配件捕捉到的图像帧以确定指示器在感兴趣区域内的位置，其中每一个成像配件包括图像传感器和集成信号处理电路。
根据另一个方面，提供了一种交互式输入系统，包括：至少一个成像设备，所述至少一个成像设备具有查看感兴趣区域的视场；以及至少一个辐射源，所述至少一个辐射源将辐射散发到所述感兴趣区域中，其中在图像帧由所述至少一个成像设备捕捉期间，对至少一个辐射源的操作与所述至少一个成像设备的曝光时间同步。
附图说明
现在将参考附图更全面地描述实施例，在附图中：
图1是交互式输入系统的立体图；
图2是图1的交互式输入系统的框图视图；
图3是图1的交互式输入系统的一部分的立体概念图；
图4A是形成图1的交互式输入系统的一部分的图像传感器和关联信号处理电路的框图；
图4B是用于图1的交互式输入系统的图像传感器和关联信号处理电路的另一个实施例的框图；
图5是图4A的图像传感器和关联信号处理电路的另一个示意框图；
图6A和6B是用于图1的交互式输入系统的进一步替代图像传感器和关联信号处理电路的框图，以及
图7A和7B是用于图1的交互式输入系统的又一替代图像传感器和关联信号处理电路的框图。
具体实施方式
现在转向图1至3，示出了允许用户将输入(例如，数字墨水、鼠标事件等)注入应用程序中的交互式输入系统，并且其通常通过附图标记20来标识。在该实施例中，交互式输入系统20包括配件22，配件22接合诸如等离子电视、液晶显示(LCD)设备、平板显示设备、电子射线管等的显示单元(未示出)，并且环绕显示单元的显示表面24。配件22采用机器视觉来检测与显示表面24接近的、带入感兴趣区域的指示器，并且经由通信线路28与中央集线器26通信。在该实施例中，通信线路28被具体化为串行总线。
中央集线器26还经由USB电缆32与执行一个或多个应用程序的通用计算设备30通信。计算设备30包括例如处理单元、系统存储器(易失性和/或非易失性)、其它不可移动或可移动存储器(硬盘驱动器、RAM、ROM、EEPROM、CD-ROM、DVD、闪速存储器等)以及将各种计算设备组件耦接到处理单元的系统总线。计算设备30处理经由中央集线器26接收到的配件22的图像数据输出，并且调整输出到显示单元的图像数据，使得在显示表面24上呈现的图像反映指示器活动。以这种方式，配件22、中央集线器26和计算设备30允许接近显示表面24并且在感兴趣区域内的指示器活动被记录为写入或绘制或用于控制由计算设备30执行的一个或多个应用程序的执行。
配件22包括机械地附设到显示单元并且环绕显示表面24的框架配件。框架配件包括具有三个边框段40、42和44、四个弯角46以及工具托盘段48的边框。边框段40和42沿着显示表面24的相对侧边缘延伸，而边框段44沿着显示表面24的顶边缘延伸。工具托盘段48沿着显示表面24的底边缘延伸并且支撑一个或多个笔工具P。与显示表面24的左上角和右上角相邻的弯角46将边框段40和42耦接到边框段44。与显示表面24的左下角和右下角相邻的弯角46将边框段40和42耦接到工具托盘段48。在该实施例中，与显示表面24的左下角和右下角相邻的弯角46还容纳一般地从不同视点扫视整个显示表面24的成像配件60。使边框段40、42和44定向，使得成像配件60看见其面朝内的表面。
在该实施例中，每一个边框段40、42、44的面朝向的表面包括单个反向反光材料条或带。为了最好地利用反向反光材料的属性，使边框段40、42和44定向，使得其面朝内的表面位于通常与显示表面24的平面垂直的平面中。替代地，边框段40、42和44可以是在以上合并的Hansen等人的美国专利申请序列号No.12/118,545中公开的类型。
现在转向图4A和5，更好地图示了成像配件60中的一个。如可以看出的，每一个成像配件60包括与信号处理电路72通信的图像传感器70。在该实施例中，每一个成像配件60的图像传感器70是由Micron根据型号No.MT9V023制造的类型，并且装配有由Boowon根据型号No.BW25B制造的类型的880nm透镜，给予图像传感器70大于九十(90)度的视场。当然，本领域技术人员将理解的是，可以采用其它市售或定制图像传感器。
在该实施例中，如图4A中所示，信号处理电路72在诸如现场可编程门阵列(FPGA)芯片的集成电路上实现，并且与图像传感器70一起被装配在印刷电路板上。替代地，如图4B中所示，图像传感器70和信号处理电路72可以被制备在单个集成电路模(die)102上。信号处理电路72包括向边框处理器82以及向聚光灯处理器84提供图像数据的传感器接口80。传感器接口80还向照明控制器88和输出缓冲器90提供同步信息。输出缓冲器90被耦接到串行接口92，串行接口92自身被相应地耦接到串行总线28的时钟和数据线路92a和92b。传感器接口80包括控制在图像传感器70和信号处理电路72之间的数据传输的I2C总线接口80a。图像传感器70的所有输入/输出和时钟线路被直接接线到信号处理电路72，使得不需要支持硬件。通过串行接口92进入、被寻址到图像传感器70的数据由I2C总线接口80a重新格式化并且直接发送到图像传感器70。
信号处理电路72还包括4Mbit(兆比特)的闪速存储器94、边框文件96和控制寄存器98。闪速存储器94包含充足空间用于两个FPGA芯片配置文件，以及大约1Mbit用于用户信息。一个配置文件用于对FPGA芯片重编程序用于故障保险或工厂诊断模式。用户信息存储器用于存储图像传感器参数、序列号以及与图像传感器相关的其它信息。
照明控制器88被连接到辐射源，诸如包括多个IR发光二极管(LED)和关联透镜配件的红外(IR)光源100。在该实施例中，IR光源100的总功率是300mW。IR光源100只有在图像传感器70的曝光时间期间才被打开，导致大约8％的占空比以及大约25mW的平均功耗。IR光源100的控制信号由照明控制器88响应于从图像传感器70输出的同步信号而供给，所述同步信号由照明控制器88经由传感器接口80接收到。
在该实施例中，FPGA芯片包括安全系统，该安全系统包括FPGA芯片的独特标识符(64字节)和一次性可编程安全寄存器(64字节)。安全寄存器可以在工厂被编码有解锁FPGA芯片的独特代码。将配置文件从一个FPGA芯片复制到另一个FPGA芯片的任何尝试造成FPGA芯片关闭。FPGA芯片还包括多个片上或内部时钟。图像传感器70的时钟和所有FPGA内部时钟从由串行接口92经由串行总线28的时钟线路92a接收到的时钟输入合成，而不需要外部晶体。在成像配件60上本地生成高频时钟帮助减少电磁干扰(EMI)。在该实施例中，FPGA芯片还包括大约200,000个门、288Kbit(千比特)片上静态存储器以及195个I/O管脚。例如，可以使用Xilinx XC3S200AN FPGA芯片。可以如下分配静态存储器。边框文件96使用16kbit的静态存储器，边框处理器92的内部寄存器使用16kbit的静态存储器、聚光灯处理器84的内部寄存器使用16kbit的静态存储器、以及被双缓冲的输出缓冲器90使用32kbit的静态存储器。
信号处理电路72提供多种用途。信号处理电路72的主要功能是执行对由图像传感器70生成的图像数据的预处理，并且将结果流送(stream)到中央集线器26。信号处理电路72还执行其它功能，包括对IR光源100、透镜配件参数存储、反复制的安全保护、时钟生成、串行接口以及图像传感器同步和控制的控制。
中央集线器26包括通用串行总线(USB)微控制器，该USB微控制器用于维持到成像配件60的串行链路、将从成像配件60接收到的图像信息封装成USB分组并且通过USB电缆32将USB分组发送给计算设备30用于进一步处理。
通过串行总线28在中央集线器26和成像配件60之间的通信是双向的，并且在每一个方向上以2Mbit/s的速率同步执行。如果期望的话，则可以增加通信速率以减少等待时间。串行总线28的时钟和数据线路92a或92b分别携带不同的时钟和数据信号对。时钟线路92a从中央集线器26驱动，并且用于为图像数据连续计时以及为成像配件60提供基准时钟的双重用途。当数据在串行总线28的数据线路92b上时，时钟和数据线路92a和92b由中央集线器26以相反极性驱动。当释放串行总线28时，上拉电阻(未示出)将时钟和数据线路两者均拉高。中央集线器26将时钟和数据线路两者同时拉低以重置成像配件60。因此，中央集线器26能够一起重置和释放所有印刷电路板以使成像配件60同步。串行总线28对于短距离是带状电缆的形式，并且对于较长距离是cat-5电缆的形式。
中央集线器26还包括开关式电压调节器，用于向每一个成像配件60提供输入3.3V逻辑电源电压，其用于向图像传感器70提供电力。用于FPGA芯片的1.2V逻辑电源电压由单个线性电压调节器(未示出)从每一个成像配件60中的3.3V逻辑电源电压生成。用于运行IR光源100的外部电流调节器、储能电容器以及开关式电容器也可以被包含在中央集线器26中。用来运行IR光源100的开关式电压调节器高于LED正向偏压大约0.5V。
交互式输入系统20被设计成检测无源指示器，诸如用户的手指F、圆柱体或被带入与显示表面24接近并且在成像配件60的视场内的其它适当的对象。
现在将描述交互式输入系统20的一般操作。每一个成像配件60获取以由信号处理电路时钟信号建立的帧速率一般地扫视在其图像传感器60的视场内的显示表面24的图像帧。当IR光源100打开时，IR光源的LED使显示表面24上的感兴趣区域充满红外光照明。对边框段40、42和44的反向反光带有影响的红外光照明被返回给成像配件60。结果，当不存在指示器时，每一个成像配件60看到越过其长度的具有基本上均衡亮度的亮带。当指示器被带入与显示表面24接近时，指示器挡住边框段40、42和44的反向反光带所反射的红外光照明。结果，指示器显现为中断已捕捉到的图像帧中的亮带的暗区。信号处理电路72处理图像帧以确定在图像帧中是否捕捉到一个或多个指示器，以及如果是的话，则生成指示器数据。
中央集线器26为指示器数据以设定频率(在该实施例中，由于960帧每秒(fps)的图像捕捉频率，故为120次每秒)轮询成像配件60，并且对指示器数据执行三角测量法以确定指示器位置数据。中央集线器26进而将指示器位置数据和/或图像配件状态信息传送给计算设备30。以这种方式，传送给计算设备30的指示器位置数据可以被记录为写入或绘制，或可以用于控制由计算设备30执行的应用程序的执行。计算设备30还更新传递给显示单元的显示输出，使得所呈现的图像反映指示器活动。中央集线器26还从计算设备30接收命令，并且相应地作出响应以及生成诊断信息并向成像配件60传递诊断信息。
最初，执行对准例程以使图像传感器70对准。在对准例程期间，指示器保持在显示表面24的近似中心中。在图像帧捕捉以后，然后选择图像传感器70的像素的子集，直到对于每一个图像传感器70，找到捕捉指示器和显示表面24上的指示器尖端的像素的子集。该对准例程允许放宽图像传感器70的机械安装。对在显示表面24上的指示器尖端的识别还给出校准信息，用于确定每一个图像传感器70的对应于与显示表面24进行的实际指示器接触的像素行。知道这些像素行允许容易地确定指示器悬停与指示器接触之间的差异。
在该实施例中，由于计算设备显示被投射到显示表面24上，所以在对准例程期间，若干已知的坐标位置也在显示表面24上显示，以及向用户提示使用指示器顺次触摸这些坐标位置，使得图像传感器70的每一个的像素的子集还包括所有这些触摸坐标位置。然后存储校准数据用于参考，使得在显示表面24上的指示器接触可以被映射到计算机显示上的对应区域。
如前所述，每一个成像配件60获取一般地扫视其视场内的显示表面24的图像帧。图像帧由图像传感器70响应于从信号处理电路72接收到的时钟信号而不时获取。信号处理电路72进而从图像传感器70读取每一个图像帧，并且处理图像帧以确定指示器是否位于图像帧中，以及如果是的话，则从图像帧提取指示器和相关的指示器统计信息。如将描述的，为了避免处理包含无用信息的大量像素，信号处理电路72的若干组件预处理图像帧数据。
由每一个成像配件60的信号处理电路72生成的指示器数据仅在中央集线器26轮询成像配件60时才被发送给中央集线器26。信号处理电路72比中央集线器26轮询成像配件60更快地创建指示器数据。然而，中央集线器26可以以与对已处理的图像数据的创建同步的速率来轮询成像配件60。未被发送给中央集线器26的已处理的图像数据被覆写。
当中央集线器26轮询成像配件60时，帧同步脉冲被发送给成像配件60以发起由信号处理电路72创建的指示器数据的传输。一旦接收到帧同步脉冲，则每一个信号处理电路72通过串行总线28的数据线路92b将指示器数据传送给中央集线器26。由中央集线器26接收到的指示器数据被自动缓冲到中央集线器处理器中。
在中央集线器处理器已经从成像配件60中的每一个接收到指示器数据之后，中央集线器处理器处理所接收到的指示器数据，来以公知的方式，诸如在以上合并的Morrison等人的美国专利No.6,803,906中所描述的，使用三角测量法来计算指示器相对于显示表面24在(x，y)坐标系中的位置。所计算的指示器坐标然后被传递给计算设备30。计算设备30进而处理所接收到的指示器坐标，并且如果需要的话，则更新提供给显示单元的图像输出，使得在显示表面24上呈现的图像反映指示器活动。以这种方式，与显示表面24的指示器交互可以被记录为写入或绘制，或用于控制在计算设备26上运行的一个或多个应用程序的执行。
如上所述，信号处理电路72的若干组件对图像数据进行预处理以创建指示器数据。边框处理器82执行预处理步骤以提高交互式输入系统信号处理操作的效率。这些预处理步骤中的一个是环境光(ambient light)减少。图像传感器70以比所需要的帧速率高得多的帧速率运行，并且IR光源100在交替图像帧期间被打开。边框处理器82从在IR光源100关闭时捕捉到的图像帧减去在IR光源100打开时捕捉到的图像帧。环境光跨图像帧是相对恒定的，因此环境光在该处理期间被取消，并且没有在差额图像帧中出现。在该实施例中，图像传感器70以8倍于期望输出速率的帧速率运行。对于所捕捉到的每一八个图像帧，四个图像帧在IR光源100打开时被捕捉，并且四个帧在IR光源100关闭时被捕捉。然后从在IR光源100打开时捕捉到的四个帧减去在IR光源100关闭时捕捉到的四个帧，并且加上作为结果的差额帧以产生一个图像。
边框处理器82还执行信号处理操作以捕捉以及跟踪显示表面24上的一个或多个指示器。对于指示指示器的存在的图像数据的每一列，边框处理器82的输出是单个数字。在该实施例中，边框处理器82执行连续计算来识别图像数据中的指示器。边框处理器82将多个像素加入与边框的亮部相对应的图像数据中的列中，并且然后从与边框正上方的暗部相对应的图像数据减去相同数目的像素。如果不存在指示器，则这将示出非常高的对比度。如果存在指示器，则无论是亮还是暗，在两个区域中照明近似相等，并且对比度将较低。边框的位置以及加上/减去的点数目被存储在边框文件96中。
不考虑所使用的边框和指示器的类型，由边框处理器82完成误差校验。边框处理器监视图像传感器70以确定是否非常强的光源已经使图像传感器饱和。如果图像传感器是饱和的，则设置标志。该标志触发警示消息被显示，使得用户可以采取措施来移除或减弱非常强的光源。
虽然边框处理器82是捕捉以及跟踪显示表面24上的对象的主要装置，但是聚光灯处理器84是允许可能包含指示器的图像数据中的区域被提取的次级机制。与边框处理器不同，聚光灯处理器84采用来自中央集线器26的反馈。如果反馈延迟或不正确，则仍然可以在减少功能性/精确度的情况下检测指示器。聚光灯处理器84采用可移动窗口，优选地32x32像素或64x16像素，其从图像数据提取并且在光处理和缩放之后被发送回中央集线器26。中央集线器26可以为聚光灯选择独立于边框处理器82的若干照明模式。这些照明模式包括环境光抑制、边框光抑制以及正常曝射(环境和边框光)。中央集线器26还可以指定聚光灯被缩小以查看较大目标。例如，为了捕捉150像素宽的目标，中央集线器指定图像在水平方向上被缩小为原来的1/4，以便适合64x16的像素窗口。通过将多个像素混合(bin)在一起来实现缩放。
为了跟踪移动的指示器，中央集线器26指定指示器在其当前图像帧中的估计的位置和速度，并且将其报告回聚光灯处理器84。聚光灯处理器84观察刚由图像传感器70获取的图像帧的帧数，并且相应地调整聚光灯位置以说明源自中央集线器26的任何等待时间。如果必要的话，则可以用聚光灯扫描完整图像数据，以用非常慢的速率来获得全帧查看。在初始化交互式输入系统20时完成该慢扫描以确定边框的位置。聚光灯的输出格式是8比特块浮点(一个指数用于整个图像)，以允许大的动态范围。
除被制备为FPGA芯片外，信号处理电路可以采用其它形式。例如，在图6A和6B中所示的实施例中，信号处理电路是数字信号处理器(DSP)的形式。如图6A中所示，DSP可以与图像传感器一起被装配在印刷电路板上，或替代地，如图6B中所示，数字信号处理器可以与图像传感器一起被组装在单个集成电路模上。在图7A和7B的实施例中，信号处理电路可以是专用集成电路(ASIC)上的定制电路和微型DSP的组合的形式。如图7A中所示，定制电路和微型DSP可以与图像传感器一起被装配在印刷电路板上，或替代地，如图7B中所示，定制电路和微型DSP可以与图像传感器一起被制备在单个集成电路模上。微型DSP还可以被包含在ASIC中。在图6A至7B的实施例中，除了上述功能外，信号处理电路还执行附加功能，包括从由图像传感器生成的图像数据生成指示器数据以及确定指示器悬停和接触状态。在以上合并的Morrison等人的美国专利No.6,803,906中描述了这些附加功能。
尽管图像传感器70被示出为邻近显示表面24的底角放置，但是本领域技术人员将理解的是，图像传感器可以位于相对于显示表面的不同位置处。并且，尽管照明源52被描述为IR光源，但是本领域技术人员将理解的是，可以采用其它适当的辐射源。
当然，交互式输入系统可以采用其它形式。例如，可以用发光边框段替代反向反光边框段。发光边框段可以如在转让给本申请的受让人SMART Technologies ULC的、Akitt等人的美国专利No.6,972,401中所描述的，通过引用的方式将其内容合并于此。如在McGibney等人的美国专利申请序列号No.12/118,521中所描述的辐射调制技术—通过引用的方式将其内容合并于此—也可以用来减少干扰，以及允许分离与各种IR光源相关联的信息。如果期望的话，则可以独立于图像传感器70的曝光时间来控制IR光源100的打开时间(on-time)，以便创建环境和有源照明的平衡。例如，可以增加图像传感器曝光时间，同时保持IR光源100打开的时间不变，以让更多环境光进入。还可以独立地控制每一个IR光源的打开时间。这允许动态地均衡IR光源的输出功率以获得一致的照明。
尽管在上面将交互式输入系统20描述为检测无源笔工具，诸如手指，但是本领域技术人员将理解的是，交互式输入系统还可以检测当在显示表面24附近时散发光或其它信号的有源指示器、或与吸收光的边框结合，可能具有反向反光或高反光尖端的指示笔。
当在没有发光边框的情况下使用有源指示器、或当将反光无源指示器与吸收光的边框一起使用时，在捕捉以及跟踪显示表面上的一个或多个指示器的信号处理操作期间，边框处理器82执行垂直强度分布计算以识别图像数据中的指示器。垂直强度分布是与边框相对应的图像数据中的垂直列中的多个像素的总和。边框在每一列处的位置和合计的点数由中央集线器26事先确定，并且被加载到FPGA芯片自带的边框文件96中。
本领域技术人员将理解的是，中央集线器26的功能可以被合并到成像配件60中的一个或多个的电路中，一个益处是总成本减少。在这样的配置中，将带有中央集线器功能的成像配件视为主要配件。替代地，每一个成像配件可能具有这样的集线器功能，以及投票协议被用来确定成像配件中的哪些将作为中央或主要集线器来操作。替代地，连接到PC的成像配件将默认为主要配件。
本领域技术人员将理解的是，配件、中央集线器26和计算设备30可以被合并到单个设备中，并且信号处理电路可以在图形处理单元(GPU)上实现或包括基于单元(cell-based)的处理器。
将理解的是，虽然以上将中央集线器26描述为对于960fps的图像捕捉频率，以120次每秒轮询成像配件60，但是可以根据实现的需求和/或限制而采用其它图像捕捉速率。并且，尽管通信线路28被描述为被具体化为串行总线，但是本领域技术人员将理解的是，还可以将通信总线具体化为并行总线、通用串行总线(USB)、以太网连接或其它适当的有线连接。替代地，配件22可以使用诸如蓝牙、WiFi、ZigBee、ANT、IEEE 802.15.4、Z-Wave等的适当的无线协议通过无线连接与中央集线器26通信。另外，尽管中央集线器26被描述为经由USB电缆32与计算设备30通信，替代地，中央集线器26可以通过诸如并行总线、RS-232连接、以太网连接等的另一个有线连接与计算设备30通信、或可以使用诸如蓝牙、WiFi、ZigBee、ANT、IEEE 802.15.4、Z-Wave等的适当的无线协议通过无线连接与计算设备30通信。
虽然以上已经阐述了使图像传感器对准的对准例程，但是可以采用替代对准例程。例如，在一些实施例中，标志可以被放置在边框(多个)上或在其它位置处并且被检测，以便使得交互式输入系统能够在没有大量用户交互的情况下自校准。替代地，反向反光边框自身可以被检测，并且所捕捉到的包含反向反光边框的像素被用来确定每一个图像传感器70的像素行。通常，由于可以减少行数，所以可以增加图像处理的帧速率。
尽管已经参考附图描述了实施例，但是本领域技术人员将理解的是，在没有背离如由所附权利要求限定的精神和范围的情况下，可以进行变化和修改。

Claims (22)

1.一种交互式输入系统，包括：
至少两个成像配件，所述至少两个成像配件从不同视点捕捉感兴趣区域的图像帧；以及
处理结构，所述处理结构处理由所述成像配件捕捉到的图像帧，以确定指示器在所述感兴趣区域内的位置，其中每一个成像配件包括图像传感器和集成信号处理电路。
2.根据权利要求1所述的系统，其中，所述每一个成像配件的信号处理电路和图像传感器被安装在共用印刷电路板上。
3.根据权利要求1所述的系统，其中，所述每一个成像配件的信号处理电路和图像传感器被制备在集成电路模上。
4.根据权利要求1至3中的任何一个所述的系统，其中，所述信号处理电路在现场可编程门阵列(FPGA)上实现。
5.根据权利要求1至3中的任何一个所述的系统，其中，所述信号处理电路在数字信号处理器(DSP)上实现。
6.根据权利要求1至3中的任何一个所述的系统，其中，所述信号处理电路至少部分地在专用集成电路(ASIC)上实现。
7.根据权利要求1至3中的任何一个所述的系统，其中，所述信号处理电路包括在专用集成电路(ASIC)上实现的电路。
8.根据权利要求7所述的系统，其中，所述信号处理电路包括微型DSP。
9.根据权利要求8所述的系统，其中，所述微型DSP在所述ASIC上实现。
10.根据权利要求8所述的系统，其中，所述ASIC、微型DSP以及图像传感器被安装在共用印刷电路板上。
11.根据权利要求8所述的系统，其中，所述ASIC、微型DSP以及图像传感器被制备在单个集成电路模上。
12.根据权利要求1所述的系统，其中，所述每一个成像配件的信号处理电路从由相关联的图像传感器生成的图像数据来生成指示器数据。
13.根据权利要求12所述的系统，其中，所述每一个成像配件的信号处理电路从所述图像数据来确定指示器悬停和接触状态。
14.根据权利要求1所述的系统，其中，所述处理结构包括照明控制器，所述照明控制器用于驱动照亮所述感兴趣区域的辐射源。
15.根据权利要求1所述的系统，其中，所述处理结构包括聚光灯处理器，所述聚光灯处理器用于提取包含指示器的图像帧的区域。
16.根据权利要求1所述的系统，其中，所述处理结构包括边框处理器，所述边框处理器用于跟踪图像帧中的指示器。
17.根据权利要求14所述的系统，其中，所述照明控制器在所述成像配件不活动时停用所述辐射源。
18.根据权利要求17所述的系统，其中，所述照明控制器使所述辐射源的操作与所述成像配件的图像帧捕捉速率同步。
19.根据权利要求16所述的系统，其中，所述边框处理器处理捕捉到的图像帧以减少环境光的影响。
20.根据权利要求1所述的系统，其中，所述处理结构是基于单元的处理器。
21.根据权利要求1所述的系统，其中，所述处理结构是图形处理器。
22.一种交互式输入系统，包括：
至少一个成像设备，所述至少一个成像设备具有查看感兴趣区域的视场；以及
至少一个辐射源，所述至少一个辐射源将辐射散发到所述感兴趣区域中，其中在由所述至少一个成像设备捕捉图像帧期间，对所述至少一个辐射源的操作与所述至少一个成像设备的曝光时间同步。
CN200980145279XA 2008-09-15 2009-09-15 带有图像传感器和信号处理器的触摸输入 Pending CN102216890A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US9720608P 2008-09-15 2008-09-15
US61/097,206 2008-09-15
PCT/CA2009/001261 WO2010028490A1 (en) 2008-09-15 2009-09-15 Touch input with image sensor and signal processor

Publications (1)

Publication Number Publication Date
CN102216890A true CN102216890A (zh) 2011-10-12

Family

ID=42004752

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200980145279XA Pending CN102216890A (zh) 2008-09-15 2009-09-15 带有图像传感器和信号处理器的触摸输入

Country Status (6)

Country Link
US (1) US20110221706A1 (zh)
EP (1) EP2329344A4 (zh)
CN (1) CN102216890A (zh)
AU (1) AU2009291462A1 (zh)
CA (1) CA2737251A1 (zh)
WO (1) WO2010028490A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104067209A (zh) * 2011-11-11 2014-09-24 原相科技股份有限公司 交互式输入系统及方法
CN105700668A (zh) * 2016-03-04 2016-06-22 华为技术有限公司 一种对触摸屏采集的数据进行处理的方法及终端设备

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9213443B2 (en) * 2009-02-15 2015-12-15 Neonode Inc. Optical touch screen systems using reflected light
US9471170B2 (en) * 2002-11-04 2016-10-18 Neonode Inc. Light-based touch screen with shift-aligned emitter and receiver lenses
US9052777B2 (en) 2001-11-02 2015-06-09 Neonode Inc. Optical elements with alternating reflective lens facets
US9778794B2 (en) 2001-11-02 2017-10-03 Neonode Inc. Light-based touch screen
US8674966B2 (en) 2001-11-02 2014-03-18 Neonode Inc. ASIC controller for light-based touch screen
US20100238139A1 (en) * 2009-02-15 2010-09-23 Neonode Inc. Optical touch screen systems using wide light beams
US9052771B2 (en) * 2002-11-04 2015-06-09 Neonode Inc. Touch screen calibration and update methods
US8587562B2 (en) * 2002-11-04 2013-11-19 Neonode Inc. Light-based touch screen using elliptical and parabolic reflectors
US8902196B2 (en) * 2002-12-10 2014-12-02 Neonode Inc. Methods for determining a touch location on a touch screen
US20100215215A1 (en) * 2008-12-18 2010-08-26 Hiromu Ueshima Object detecting apparatus, interactive system, object detecting method, interactive system realizing method, and recording medium
US9063614B2 (en) 2009-02-15 2015-06-23 Neonode Inc. Optical touch screens
US8872772B2 (en) * 2010-04-01 2014-10-28 Smart Technologies Ulc Interactive input system and pen tool therefor
TW201140197A (en) * 2010-05-03 2011-11-16 Sonix Technology Co Ltd Optical touchable liquid crystal display module
WO2012000437A1 (zh) * 2010-06-30 2012-01-05 北京联想软件有限公司 一种光效设备及电子设备
US20120154297A1 (en) * 2010-12-21 2012-06-21 Microsoft Corporation Display-screen adaptation for interactive devices
US8600107B2 (en) * 2011-03-31 2013-12-03 Smart Technologies Ulc Interactive input system and method
GB201110159D0 (en) * 2011-06-16 2011-07-27 Light Blue Optics Ltd Touch sensitive display devices
WO2013040691A1 (en) * 2011-09-22 2013-03-28 Technologies Ulc Smart Interactive input system with variable reflector pen tool
US8941619B2 (en) * 2011-11-18 2015-01-27 Au Optronics Corporation Apparatus and method for controlling information display
SG11201401769XA (en) * 2011-11-28 2014-05-29 Neonode Inc Optical elements with alternating reflective lens facets
TWI590134B (zh) * 2012-01-10 2017-07-01 義隆電子股份有限公司 觸控面板掃描方法
WO2013104062A1 (en) * 2012-01-11 2013-07-18 Smart Technologies Ulc Interactive input system and method
US9213436B2 (en) 2012-06-20 2015-12-15 Amazon Technologies, Inc. Fingertip location for gesture input
US9207800B1 (en) 2014-09-23 2015-12-08 Neonode Inc. Integrated light guide and touch screen frame and multi-touch determination method
US9164625B2 (en) 2012-10-14 2015-10-20 Neonode Inc. Proximity sensor for determining two-dimensional coordinates of a proximal object
US9921661B2 (en) 2012-10-14 2018-03-20 Neonode Inc. Optical proximity sensor and associated user interface
US10282034B2 (en) 2012-10-14 2019-05-07 Neonode Inc. Touch sensitive curved and flexible displays
WO2014065389A1 (en) * 2012-10-25 2014-05-01 Semiconductor Energy Laboratory Co., Ltd. Central control system
US8884906B2 (en) * 2012-12-21 2014-11-11 Intel Corporation Offloading touch processing to a graphics processor
CN104076989B (zh) * 2013-03-25 2017-06-13 南京瓦迪电子科技有限公司 一种光学多点触控装置、触控框及实现触控的方法
EP3435245A1 (en) * 2017-07-27 2019-01-30 Nxp B.V. Biometric sensing system and communication method
CN115039060A (zh) 2019-12-31 2022-09-09 内奥诺德公司 非接触式触摸输入系统
US11669210B2 (en) 2020-09-30 2023-06-06 Neonode Inc. Optical touch sensor

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1183151A (zh) * 1995-04-28 1998-05-27 松下电器产业株式会社 接口装置
WO1999030269A1 (en) * 1997-12-08 1999-06-17 Roustaei Alexander R Single chip symbology reader with smart sensor
US6603867B1 (en) * 1998-09-08 2003-08-05 Fuji Xerox Co., Ltd. Three-dimensional object identifying system
US20050052427A1 (en) * 2003-09-10 2005-03-10 Wu Michael Chi Hung Hand gesture interaction with touch surface
US20050248539A1 (en) * 2004-05-05 2005-11-10 Morrison Gerald D Apparatus and method for detecting a pointer relative to a touch surface
CN101082835A (zh) * 2006-05-30 2007-12-05 台达电子工业股份有限公司 具有设备控制桥接器的人机接口系统及其设计操作方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020050518A1 (en) * 1997-12-08 2002-05-02 Roustaei Alexander R. Sensor array
JP2001265516A (ja) * 2000-03-16 2001-09-28 Ricoh Co Ltd 座標入力装置
US6803906B1 (en) * 2000-07-05 2004-10-12 Smart Technologies, Inc. Passive touch system and method of detecting user input
US7874917B2 (en) * 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
FI20065452A0 (fi) * 2006-06-29 2006-06-29 Valtion Teknillinen Menetelmä sisällön välittämiseen
EP3451123B8 (en) * 2010-09-24 2020-06-17 BlackBerry Limited Method for conserving power on a portable electronic device and a portable electronic device configured for the same

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1183151A (zh) * 1995-04-28 1998-05-27 松下电器产业株式会社 接口装置
WO1999030269A1 (en) * 1997-12-08 1999-06-17 Roustaei Alexander R Single chip symbology reader with smart sensor
US6603867B1 (en) * 1998-09-08 2003-08-05 Fuji Xerox Co., Ltd. Three-dimensional object identifying system
US20050052427A1 (en) * 2003-09-10 2005-03-10 Wu Michael Chi Hung Hand gesture interaction with touch surface
US20050248539A1 (en) * 2004-05-05 2005-11-10 Morrison Gerald D Apparatus and method for detecting a pointer relative to a touch surface
CN101082835A (zh) * 2006-05-30 2007-12-05 台达电子工业股份有限公司 具有设备控制桥接器的人机接口系统及其设计操作方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104067209A (zh) * 2011-11-11 2014-09-24 原相科技股份有限公司 交互式输入系统及方法
CN104067209B (zh) * 2011-11-11 2017-03-22 原相科技股份有限公司 交互式输入系统及方法
CN105700668A (zh) * 2016-03-04 2016-06-22 华为技术有限公司 一种对触摸屏采集的数据进行处理的方法及终端设备
CN105700668B (zh) * 2016-03-04 2019-05-28 华为技术有限公司 一种对触摸屏采集的数据进行处理的方法及终端设备

Also Published As

Publication number Publication date
CA2737251A1 (en) 2010-03-18
AU2009291462A1 (en) 2010-03-18
EP2329344A4 (en) 2013-08-14
EP2329344A1 (en) 2011-06-08
WO2010028490A1 (en) 2010-03-18
US20110221706A1 (en) 2011-09-15

Similar Documents

Publication Publication Date Title
CN102216890A (zh) 带有图像传感器和信号处理器的触摸输入
CN110308789B (zh) 用于与外围设备的混合现实交互的方法和系统
CN103003778B (zh) 交互式输入系统和用于其的笔工具
CN102622108B (zh) 一种交互式投影系统及其实现方法
CN102169366B (zh) 三维立体空间中的多目标跟踪方法
US20130135260A1 (en) Camera-based multi-touch interaction and illumination system and method
CN102918480A (zh) 通过解调图像帧确定有源指示器属性
EP0686935A1 (en) Pointing interface
MX2010012264A (es) Sistema de entrada interactivo y montaje de iluminacion para el mismo.
CN102945091B (zh) 一种基于激光投影定位的人机交互方法与系统
CN103299259A (zh) 检测装置、输入装置、投影机以及电子设备
CN105593786A (zh) 对象位置确定
JP2014517361A (ja) カメラ式マルチタッチ相互作用装置、システム及び方法
CN102934057A (zh) 交互式输入系统和方法
CN101231450A (zh) 多点及物体触摸屏装置及多点触摸的定位方法
CN102016764A (zh) 交互输入系统和及其笔工具
KR20130055119A (ko) 싱글 적외선 카메라 방식의 투영 영상 터치 장치
CN104951117B (zh) 利用影像辨识产生相对应信息的影像处理系统及相关方法
CN104423721A (zh) 基于雷达眼的无框式多点触控人机交互方法及系统
CN100478860C (zh) 一种电子平面显示定位系统及定位方法
CN101520707A (zh) 红外线与摄像头相结合的多点定位触摸装置及定位方法
CN104516532A (zh) 使用光学感测阵列确定光源姿态的设备和方法
Chen Design of many-camera tracking systems for scalability and efficient resource allocation
CN101581998B (zh) 红外线与双摄像头结合的多点定位触摸装置及方法
CN202584030U (zh) 一种交互式投影系统及射击游戏设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20111012