CN103348306B - 交互式显示设备以及交互式显示设备中的方法 - Google Patents

交互式显示设备以及交互式显示设备中的方法 Download PDF

Info

Publication number
CN103348306B
CN103348306B CN201080071041.XA CN201080071041A CN103348306B CN 103348306 B CN103348306 B CN 103348306B CN 201080071041 A CN201080071041 A CN 201080071041A CN 103348306 B CN103348306 B CN 103348306B
Authority
CN
China
Prior art keywords
sub
image
district
touch
light source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201080071041.XA
Other languages
English (en)
Other versions
CN103348306A (zh
Inventor
T·伊尔莫南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MULTITOUCH Oy
Original Assignee
MULTITOUCH Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MULTITOUCH Oy filed Critical MULTITOUCH Oy
Publication of CN103348306A publication Critical patent/CN103348306A/zh
Application granted granted Critical
Publication of CN103348306B publication Critical patent/CN103348306B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412Digitisers structurally integrated in a display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Image Input (AREA)
  • Studio Devices (AREA)

Abstract

一种交互式显示设备(100)具有用于向用户呈现可感知的视觉内容的图像层(102),以及覆盖图像层(102)或由图像层(102)形成的触摸表面(101)。此外,存在用于交替地照明触摸表面(101)的不同子区的多个不可见光源(110),以及用于从图像层(102)后方捕获照明的子区的图像的多个触摸检测单元(107)。根据捕获的图像,检测指点物体(112)接触触摸表面并且因此在捕获的图像中相应地引起一个或多个标记的接触区域。控制不可见光源(110)中的剩余光源为可操作,而控制邻近的触摸检测单元和相关联的不可见光源为不可操作,从而减少不可见光从触摸表面附近的非接触物体的不期望反射。

Description

交互式显示设备以及交互式显示设备中的方法
技术领域
本发明一般地涉及一种交互式显示。
背景技术
存在交互式显示,其包括例如在表面形成图像的投影仪或液晶显示器(LCD)面板、表面后面的摄像机或其它光检测器、以及用于检测用户输入的计算机视觉电路。
存在众多不同的用于光多点触控检测技术。许多这些技术在由Steve Hodges、Shahram Izadi、Alex Butler、Alban Rrustemi、和Bill Buxton发表的公开文献“ThinSight:Versatile Muti-touch Sensing for Thin Form-factor Displays”中描述,参见http://www.billbuxton.com/UISTthinSight.pdf。光触摸检测由于多种原因是有利的,包括能够检测显示器上的多个触摸点或区域。然而,触摸的光识别遭受环境中的照射相关改变。典型地,红外(IR)光用于照射触摸屏幕,且测量IR光的反射或阴影。这种触摸屏幕的操作依赖于例如周围光的频率和幅度分布、周围光的方向、和反射率以及用户手指的尺寸。
本发明的一个目的是避免关于现有技术的问题和/或给已有的技术提供一种替换方案。
发明内容
根据本发明的第一方面,提供了一种交互式显示设备包括:
图像层,配置为向用户提供用户可感知的视觉内容;
触摸表面,覆盖图像层或由图像层形成;其特征在于:
多个不可见的光源,配置为交替地照明触摸表面的不同子区;
多个触摸检测单元,配置为捕获照明的子区的图像;
第一处理器,配置为从捕获的图像检测指点物体接触触摸表面且因此相应地在捕获的图像中引起一个或更多标记的接触区域;以及
第二处理器,配置为控制至少一个不可见光源为可操作,同时控制不可见光源中的剩余光源为不可操作,从而减少不可见光从触摸表面附近的非接触物体的不期望反射。
有利地,可以通过控制一些不可见光源为不可用而减少来自非接触物的不期望反射。反射的这种减少可以帮助检测指点物体接触触摸表面的区域。
公共处理器可以作为第一和第二处理器工作。可替换地,第一和第二处理器之一或两者可以包括两个或更多不同的处理器。
第二处理器可以是除了控制不可见光源进入可操作或不可操作状态外,具有很少或没有其它任务的相对简单的控制处理器。
触摸检测单元可以配置为由关联的不可见光源提供的不可见光操作。不可见光可以是红外光。
触摸检测单元和相关联的不可见光源可以排布成为组,从而至少一些邻近的触摸检测单元和相关联的不可见光源分布在该组的不同的组中。
触摸检测单元可以配置为从图像层后方捕获图像。
触摸检测单元可以以网格排布。
触摸检测单元可以包括摄像机单元。摄像机可以是滚动快门摄像机单元,比如通常可获得的互补金属氧化物半导体(CMOS)摄像机单元。滚动快门摄像机单元可以以使得滚动快门操作从一个滚动快门摄像机单元延伸至另一个滚动快门摄像机单元的方式而同步。
图像层可以配置为通过具有不可见频率范围的光。
每个标记可以呈现为阴影或高亮。
图像捕获单元可以配置为经过图像层获得捕获的图像。可替换地,图像捕获单元可以形成在图像层上或图像层前方,使得由图像层产生的图像经过图像捕获单元对用户是可见的。
根据本发明的第二方面,提供了在交互式显示设备中的一种方法,包括:
在图像层上向用户提供用户可感知的视觉内容,其中存在覆盖在图像层或由图像层形成的触摸表面;
其特征在于:
以多个不可见的光源交替地照明触摸表面的不同子区;
以触摸检测单元捕获照明的子区的图像,其中每个不可见光源关联于一个或更多触摸检测单元;
从捕获的图像检测指点物体接触触摸表面且因此相应地在捕获的图像中引起一个或更多标记的接触区域;以及
控制至少一个不可见光源为可操作的,同时控制不可见光源中的剩余光源为不可操作,从而减少不可见光从触摸表面附近的非接触物的不期望反射。
所述方法可以进一步包括拍摄子区的滚动快门图像和从一个子区至另一个子区推进图像的捕获,从而滚动快门操作从一个子区和关联的触摸检测单元延伸至邻近的子区和关联的触摸检测单元。
根据本发明的第三方面,提供了一种计算机程序,配置为当由计算机执行时,产生根据本发明第二方面的方法。
根据本发明的第四方面,提供了一种嵌入有计算机程序的计算机可读存储器介质,所述计算机程序当由计算机执行时使得计算机执行根据本发明第二方面的方法。
根据本发明的第五方面,提供了一种包括非暂时性的计算机可读介质的计算机程序产品,非暂时性的计算机可读介质具有计算机可执行的程序代码存储其上,当由至少一个处理器执行计算机可执行的程序代码时,使得装置至少执行根据本发明第二方面的方法。
已经仅参考本发明的某些方面而举例说明了本发明的各种实施例。应当意识到,相应的实施例也可以应用至其它方面以及其它实施例以产生更多非限定的示例。
附图说明
本发明将仅以示例的方式,参考附图而描述,其中:
图1示出根据本发明的实施例的系统的框图;
图2示出根据本发明的实施例的图1中示出的控制单元结构的简化框图;
图3a示出将触摸表面分成为多个子区的示例;
图3b示出根据本发明的实施例的示意流程图,用于说明从红外(IR)图像确定指点物体的过程中的第一阶段,其中在明亮日光或强且相对相干的周围IR光下由IR图像捕获单元从指点物体的后方捕获所述红外(IR)图像;以及
图4示出用于说明关于适用于例如实现图3a中示出的子区的可能电路的进一步细节的系统。
具体实施方式
在下列的说明中,相似的标记表示相似的元件。
在下列本发明的各种实施例的示例中,LCD屏幕用作图像层的示例。LCD屏幕可以包括形成可见图像的薄膜,以及可选地还包括其它元件,比如背景照明、红外(IR)照明、穿过屏幕进入的IR强度检测、和/或一个或更多用于输出声音的扬声器。将意识到,本发明可以同样地还装配有任何其它类型的图像层,或用于更简单表示的屏幕。一般地,图像层是用于为用户产生可见图像的任何手段,比如电显示器、显示投影图像的屏幕或携带印刷的、染色的图像或编织的图像的物质。然而,图像层应当对IR光充分地透明或半透明,IR光用来经过图像层检测指点物体,如将在下列的更详细地解释的。
图1示出根据本发明的实施例的系统100的框图。为了便利不同元件的特定顺序的描述,图1还示出用户113。系统100适合于用作交互式用户界面设备,例如,作为餐馆中的内置动态菜单,作为售票处的显示屏幕,或通常需要交互式显示和光指点识别的任何地方。
系统100包括作为最外面的元件或作为面对用户113的触摸表面 101,比如坚韧的玻璃板,然后作为显示屏幕的LCD薄膜102,以及屏幕后方的漫射层103。优选地,触摸表面、屏幕102和漫射层103都在紧密的叠层中,使得出于将在本说明中更详细地描述的机器浏览性能原因,使触摸表面至漫射层的距离尽可能地小。
漫射层103的目的是扩散来自背景光源(在下面描述)的光,从而即使从很多方向也在屏幕上显示图像。这个扩散能够以漫射薄膜或以全息后投射薄膜得到。通过将漫射层103放在屏幕102后方,可以获得与将漫射层103放在屏幕102的前方或省略漫射层103相比显著的优点。即,漫射层103减少了来自屏幕102的典型平滑背部的反射,所述典型平滑背部的反射可以干扰指点物体的识别。当被用户113看到时,将漫射层103定位在屏幕102后方也是有利的,因为否则它在屏幕102和观看者之间提供了另外的反射表面,因此特别地削弱了图像质量或对比度。
为了支持上述的光元件,提供了壳体104。壳体104包括附接至侧壁106的后壁105。侧壁一端附接至后壁105,且它们的相对端附接至触摸表面101、屏幕102和漫射层103。背景光源108可以定位于壳体104中,用于屏幕102的背景照明。背景光源108可以包括例如一个或更多的:LED灯、光导体、荧光灯、以及冷光灯。
在可替换的实施例中,省略了漫射层103。这可以特别是在当由冷光灯提供均匀照明背景光时的情形,所述冷光灯本身在LCD薄膜102上提供均匀的照明场。
为了传送最大量的光给屏幕,且最后给系统的用户,侧壁106可以从内侧涂上一些反射材料。借助于反射侧壁,可以避免或至少减少对由屏幕102后面的摄像机捕获的IR图像中的背景光可能引起的阴影。反射侧壁还可以以光能够扩散至用户而不允许用户经过屏幕看见系统内部细节并且同时改进系统的视角的方式,帮助传送背景光至屏幕。除了反射侧壁(或反射壳体),漫射层103可以有助于实现这个效果。更具体地,侧壁可以例如是镜壁,这个情形中在图像层上的图像可以得到特别好的一致性。
在壳体内部,存在图像捕获单元107,其在这个特定情形中是配置为透过漫射层103、屏幕102和触摸表面101而看见任何放在触摸表面101附近或在触摸表面101的物体的IR摄像机。
进一步在图1中,以打点区域画出对于IR摄像机的IR光接收空间107’。摄像机配置为检测在可见光波长外的信号。在摄像机镜头的前面可以存在例如滤波器从而提供这个效果。摄像机可以基于例如CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体)技术。此外,图像捕获单元107可以包括多于一个的摄像机,例如用于更高的分辨率、用于在屏幕和摄像机之间的更小距离、或用于覆盖更大的LCD屏幕102。
背景光源108和漫射层103之间的距离一般可以取决于摄像机设置需要的空间。为了更紧凑尺寸的系统,例如通过向前移动摄像机和/或掉转摄像机(以指点远离屏幕)以及在摄像机的前面使用镜子或棱镜以捕获屏幕上的行为,距离可以缩短。
可替换地,图像捕获单元107可以由平面的传感结构形成,所述平面的传感结构具有在平面上散布的许多传感器,以通过屏幕102的每个像素或像素块识别进入光的强度。为了背景照明LCD屏幕和/或在弱的环境IR照明下照明LCD屏幕前方的物体,这个结构还可以兼作屏幕102后方的可见光和/或IR照明。在作为图像捕获单元107操作的平面传感结构的情形中,不存在如在图1中画出的IR光接收空间107’,但替代地,在屏幕和图像捕获单元之间仅存在小的平行空间。进一步,图像捕获单元可以直接集成进入图像平面,例如屏幕。
如果忽略它们的阴影,例如由于来自背景光的高漫射照明和因为系统的反射内侧提供显示表面的进一步照明,摄像机107和IR LED110从系统的外部可以看不见。进一步,漫射层103可以防止用户从系统的内部看见任何细节。
作为IR图像捕获单元的摄像机典型地比多个发射器/检测器对提供更加经济的方案,所述多个发射器/检测器对典型地使用在平面照明和感应元件中。首先,由一个摄像机覆盖的区域典型地需要相对多数 量的发射器/检测器对,因此招致相对多数量的组件和线路。第二,当使用摄像机,系统的生产可以更简单。另一方面,通过在平面图像捕获单元中使用发射器/检测器对,系统的尺寸可以减小且对于精确地定位以及关于屏幕102以要求的角度定向摄像机没有需求。
系统100可以进一步包括IR反射抑制器109,所述IR反射抑制器109配置为减小IR光从后壁的反射,以及再次从摄像机107前方的任何元件的反射。IR反射抑制器109可以包括例如黑板,比如放在背景光源108周围或背景光源108后方的烟熏(sooted)铝板。可替换地,IR反射抑制器109可以在背景光源108和IR光接收空间107’之间包括另外地的或可替换的选择的屏幕。
另外,系统100包括不可见光源110,比如用于便利在IR波长上输入检测的IR光源。不可见光源可以包括例如放在图像捕获单元视角外的IR LED。在摄像机用作图像捕获单元的情形中,不可见光源110可以定位于由摄像机的视区形成的锥体之外。另一方面,如果使用LCD屏幕后方或与LCD屏幕集成的平面捕获单元,LCD屏幕自身可以配置为跨它的视区提供IR照明,或IR照明可以配置为使得它照明在LCD屏幕的物体而不用先穿过LCD屏幕而产生。
系统100可以进一步包括用于提供听得见的信号给用户113的音频扬声器114。系统可以配置为例如提供轻敲的声音来指示确定的触摸表面101上的轻敲,以便增强可操作系统的用户体验,以及教导用户当光学地进行了指点物体112的识别时,不需要对触摸表面施加大的力量。
尽管图1仅示出单个摄像机,本发明的一些实施例当假定存在摄像机107和不可见光源110的矩阵时更容易理解。例如,可以有8列×4行的摄像机107和不可见光源,每个覆盖触摸表面101的不同子区。不同的子区可以具有重叠部分,或者不同的子区可以是非重叠的。
图2示出控制单元111的结构的简化框图。控制单元111可以基于例如装备有合适软件的通用计算机和/或基于特别改装的计算设备。尽管由基于纯硬件的设备实现控制单元111是可能的,典型地通过使 用软件更加经济和快速。
在图2中,控制单元111画为包括存储器201,存储器201包括工作存储器202、配置为存储软件204的非易失性存储器203、呈现信息205以及例如对于系统100的手动或自动校准所需要的设置206,其中呈现信息206描述了将由系统100呈现的内容,和/或在屏幕上不同的区域的指点应当如何对待。软件204可以包括任何一个或更多下列项目:操作系统、设备驱动器、显示器呈现应用、超文本标记语言分析器、图像处理软件、以及用于可以连接至系统的不同外部设备的驱动器,外部设备比如打印机、更多的显示器、更多的交互式系统100、音频系统、以及外部IR照明设备(未示出)。
控制单元111进一步包括处理器207,处理器207配置为根据软件204通过执行包含在工作存储器202中的软件中的计算机可执行程序代码,控制所述控制单元111的工作。可替换地,控制单元可以配置为执行位于非易失性存储器中的软件,在这个情形中,工作存储器可以不是必需的。控制单元进一步包括输入/输出单元(I/O)208以便与系统100的其它元件以及可选地还与外部设备交换信号。I/O 208可以包括例如任何一个或更多的通用串行总线端口、局域网端口、ISA总线、PCI快速端口、IR端口、蓝牙元件、以及并行端口。可替换地配置为能够与外部设备通信,系统100可以被提供具有可转移的存储器接收单元209,比如cd-rom或dvd-rom驱动、存储卡读取器或存储棒读取器,所述可转移的存储器接收单元209使取代一部分非易失性存储器成为可能,例如用于更新在LCD屏幕102上显示的信息。
为了控制系统的各种组件的工作以及获得捕获的图像,控制单元或特别是它的输入/输出单元208与系统100的其它组件之间存在连接,尽管为了图清楚的缘故而未示出。控制单元一般具有以下的任务:从摄像机107接收信号、检测触摸表面101是否以及在何处被指点、以及典型地还以标准的方式例如仿真计算机画板、鼠标或其它已知的指点设备输出所述确定。
一般地,控制单元工作可以包括下列动作:
-控制屏幕示出需求的图像给用户113;
-控制IR灯110根据需要产生IR光以便在诸如用户113的手指的指点物体112接近屏幕时示出指点物体112;
-从图像捕获单元107获得对应于接收的IR光的信号;
-从接收的信号检测在触摸表面101的指点物体;
-基于检测的输入进行预定的动作,例如改变显示在屏幕102上的图像,或跟随与检测到指点物体的区域相关联的的超链接;和/或
-检测环境IR光的量,从而相应地控制IR灯110。
将意识到,尽管控制单元可以由一个单独的单元组成,控制单元111可以替换地与任何其它元件集成,或包括两个或更多分离元件,分离元件的每一个用于一个或更多前述的动作。
图3a示出触摸表面101分配成为多个子区的示例。子区画为形成8×4矩阵且用参考符号1-1至4-8表示。子区可以对应于形成交互式显示设备的不同分隔块(例如用分隔壁),或者子区可以只是代表触摸表面可由不同的图像捕获单元107看到的不同部分。在一些其它的实施例中,不同子区之间的一些边界具有分隔壁,而一些其它的子区没有分隔。在没有隔离不同子区的壁时,本发明人理解配置为照明给定子区的不可见光源110也可以某种程度上照明相邻的子区。这可以特别是当用户的身体接近触摸表面且用户穿了明亮衣服的情形,其中明亮的衣服反射了由不可见光源110发射的不可见光的大部分。结果,相邻子区可以严重地干扰在彼此处的触摸检测。
图4示出关于适合于例如实现图3a中示出的子区的可能电路的一些更多细节。然而,过程描述首先参考图3b而呈现。
图3b示出根据本发明的实施例的示意流程图,用于举例说明从一个IR图像捕获单元107或更精确地多个图像捕获单元107捕获的IR图像确定指点物体的过程。考虑图像捕获单元107是滚动快门摄像机,比如CMOS摄像机。换句话说,图像基于逐行而形成。这个操作尤其对于移动物体的拍照具有一些不利的效果,但此处可以获得新的优点。考虑图像捕获单元107顺序地被操作,从而一旦在最上一行 中的图像捕获单元107完成拍摄一个子区的一个图像,正下方的图像捕获单元将开始拍摄另一个子区的下一个图像。例如,每个图像捕获单元可以配置为逐行操作以及然后前进至下一列。在下面,描述了示例过程,在示例过程中两个不同的图像捕获单元107正在被同时使用以用于说明具有空间相邻干扰减小的并行操作。
在步骤301,用于检测指点物体112的过程开始,且不可见光源和摄像机单元对于第一(通常非邻近的)子区比如对于子区1-1和3-5被激活。优选地当所有的子区已经被处理,这些子区被照明以及捕获图像用于随后的处理。
接下来在步骤302,沿着子区的处理顺序、按照步骤301中的第一子区选择和处理后面的子区。将理解,可以同时处理多于(或少于)两个子区。此外,子区不需要精确地被同时处理;不同子区的并行处理的精确时序可以部分随机,或可以存在给定的时间偏移量,比如例如图像捕获周期的一半(例如1/60秒/2=1/120s)。使用图3作为参考,可以因此经过每个垂直列以及然后至下一个列,以及然后最后一列之后跳回第一列来扫描子区。当然,在一些其它的实施例中,扫描可以沿着行而非列进行。在优选的实施例中,如果使用滚动快门摄像机,扫描顺序仍然如此,从而操作可以从一个子区和它的摄像机前进至针对滚动快门的方向的下一个计算,从而可以达到平稳的推进。因此,不同于滚动快门图像可能遭受暂时的中断的当前系统,在通过合并多个邻近子图像而形成的图像中应当不存在孔或其它不连续。
然后检查303是否所有的子区已经被捕获。如果否,则过程重新开始至步骤302,否则过程前进至步骤304。
在步骤304,基于所有不同的子区,针对整个触摸表面101形成图像。这个步骤304可以在处理如图3b中所画出的所有子区之后而执行。可替换地,可以在预定数量的子区已经被处理时或满足预定阈值时执行步骤303。
通过以暂时并行的方式处理两个或更多子区,可能计入更多数量的摄像机,和/或可以应用其它的增强,比如用变化的、不可见照明强 度拍摄每个子区的不同图像。然而,为了避免来自用户的反射,典型地通过对子区逐个照明和成像达到最好的结果。
一个或多个指点物体112可以使用任何已知技术检测。例如,可以采用在共同未决的专利申请PCT/FI2010/050082和PCT/FI2008/050475中公开的方法。
图4示出系统410以说明关于用于实现图3a中示出的子区的可能电路的更多细节。图4还表明电路如何可以极大地简化。这个简化利用了图像捕获单元107的滚动快门性质—当图像捕获单元107在略微不同的时刻上对图像的不同部分产生图像像素。
系统410中,一些图像捕获单元107在一个或更多电路板上布局成为阵列。为了简洁,图像捕获单元107现称为摄像机107。在阵列中,一个或更多摄像机107作为一个公共摄像机单元420而连接。
公共摄像机单元420包括与每个摄像机107通信连接的现场可编程门阵列(FPGA)422。FPGA 422配置为同步摄像机107使得计入滚动快门时,由相邻的摄像机107形成的图像连续地被形成。就是说,一个摄像机107首先曝光第一图像且FPGA 422扫描输出所述第一图像。另一个摄像机107曝光第二图像,从而FPGA 422在第一图像之后连续地扫描输出第二图像,即使得扫描出第一图像之后和扫描出第二图像之前没有显著的延迟。如果公共摄像机单元420包括摄像机107的矩阵,则FPGA 422控制公共摄像机单元420的摄像机107以在滚动快门操作的方向(在图4中,水平地或垂直地)逐个地被扫描输出。摄像机107因此逐行、逐列、或以其它一些顺序被扫描出。扫描输出操作的时序可以使得FPGA 422以基本上连续的数据流从不同摄像机107接收图像数据。
系统410进一步包括一个或更多公共摄像机单元数据总线430,FPGA 422经过所述总线传递数据流以便后续处理。公共摄像机单元数据总线430是被配置为能够从所有连接至总线的FPGA 422传输图像数据的数据通道。
接口单元440连接至每个公共摄像机单元数据总线,并且配置为 传递所有的图像数据和必要的元数据。元数据包括例如探讨中的图像数据所来自的摄像机107的标识7。元数据典型地由FPGA 422提供。
接口单元440可以包括协调处理器442(比如FPGA电路、中央处理单元、数字信号处理器等)、数据输入端口444以及可能还包括用于控制FPGA 422的控制输出端口446。
接口单元进一步包括数据输出端口448,数据输出端口448可以包括相对小的缓冲存储器4482,例如以允许数据在系统410和接收图像数据的辅助设备(比如计算机,未示出)之间的连接450上损坏时重新传送。
当数据从摄像机107扫描输出,相关联的FPGA 422接收且转发所述数据以及潜在的摄像机107的标识,并且接口单元440进一步传递它从不同FPGA 422接收的图像数据。所有的这些可以在不需要缓冲和重缓冲扫描输出的图像数据的情形下发生。
公共摄像机单元可以完全没有存储缓冲器,而在正常的实施方式中,每个FPGA422将与足够大以存储至少一个完整的图像帧的存储缓冲器相关联。因此,系统410能够被简化,优点是制造和维护变得更便宜和更快速,以及与提供了存储缓冲器的备选实施方式相比也改善了对可能问题的调试。这个备选实施方式在例如出于任何理由不需要快速数据总线时可以更为有利。
将意识到,通过逻辑地将触摸表面101划分为多个子区,以及通过暂时地分开处理不同的子区,可以极大地减少例如来自用户衣服的有害的反射。特别地,可以减少来自用户的对角反射(diagonal reflections),使得由指点物体反射的阴影或光标记相对于认为不所述接触的周围区域具有更好的对比度。
应当意识到,在本文中词语“包括”、“包含”和“含有”每个都用作不带有意排他的开放型表达。此外,术语“光”此处与“辐射”是可互换的。尽管红外光在场合中使用,这个术语仅是为了解释的方便,即解释术语“光”并不意图暗示了借助人眼感知的适宜性。
通过本发明特定实施方式和实施例的非限定示例的方式,前述的 描述已经提供了发明人为执行本发明当前所构思的最佳模式的完全的和有益的描述。然而对本领域的技术人员清楚的是,本发明不限制于以上呈现的实施例的细节,而在不偏离本发明的特性的前提下,可以使用等价的手段以其它实施例实施本发明。
此外,使用本发明的上面公开的实施例的一些特征而没有相应地使用其它特征可以是有利的。如此,前述的说明将被认为仅仅是对本发明的原理的示例,而不由其限定。因此,本发明的范围只由附带的专利权利要求书限制。

Claims (14)

1.一种交互式显示设备,包括:
图像层,配置为向用户提供可感知的视觉内容;
覆盖所述图像层或由所述图像层形成的触摸表面,所述触摸表面包括多个子区,所述多个子区至少包括第一子区和第二子区;
多个不可见光源,配置为交替地照明所述触摸表面的不同子区,所述多个不可见光源包括配置为照明所述触摸表面的所述第一子区的第一不可见光源和配置为照明所述触摸表面的所述第二子区的第二不可见光源;
多个触摸检测单元,配置为捕获被照明的子区的图像,其包括配置为捕获所述第一子区的第一图像的第一触摸检测单元和配置为捕获所述第二子区的第二图像的第二触摸检测单元;
第一处理器,配置为从所述捕获的图像检测指点物体接触所述触摸表面并且因此在所述捕获的图像中相应地引起一个或更多标记的接触区域;以及
第二处理器,配置为在所述第一图像的捕获期间控制所述第一不可见光源可操作用于照明所述第一子区,而控制所述第二不可见光源不可操作用于照明所述第一子区,从而减少不可见光从所述触摸表面附近的非接触物体的不期望反射;
第二处理器,还配置为在所述第二图像的捕获期间控制所述第二不可见光源可操作用于照明所述第二子区,而控制所述第一不可见光源不可操作用于照明所述第一子区,从而减少不可见光从所述触摸表面附近的非接触物体的不期望反射。
2.根据权利要求1所述的交互式显示设备,其中公共处理器作为所述第一处理器和所述第二处理器两者而工作。
3.根据权利要求1所述的交互式显示设备,其中所述不可见光是红外光。
4.根据权利要求1所述的交互式显示设备,其中所述触摸检测单元以网格排布。
5.根据前述权利要求中任一项所述的交互式显示设备,其中所述触摸检测单元包括滚动快门摄像机单元。
6.根据权利要求5所述的交互式显示设备,其中所述滚动快门摄像机单元图像捕获操作以这种方式同步:滚动快门操作从一个滚动快门摄像机单元延伸至另一个滚动快门摄像机单元。
7.根据权利要求1-4任一项所述的交互式显示设备,其中所述触摸检测单元配置为从所述图像层后方捕获所述图像。
8.一种交互式显示设备中的方法,包括:
在图像层上向用户提供可感知的视觉内容,其中存在覆盖所述图像层或由所述图像层形成的触摸表面,所述触摸表面包括多个子区,所述多个子区至少包括第一子区和第二子区;
以多个不可见光源交替地照明所述触摸表面的不同子区,其中所述第一子区由所述多个不可见光源中的第一光源照明;以及所述第二子区由所述多个不可见光源中的第二光源照明;
以触摸检测单元捕获被照明的子区的图像,其中每个所述不可见光源与一个或更多触摸检测单元关联,从而当所述第一光源被控制以照明所述第一子区以及所述第二光源被控制为不可操作时,所述第一子区的图像由第一触摸检测单元捕获,以便避免不可见光从所述触摸表面附近的非接触物体的不期望反射;以及当所述第二光源被控制以照明所述第二子区以及所述第一光源被控制为不可操作时,所述第二子区的图像由第二触摸检测单元捕获,以便避免不可见光从所述触摸表面附近的非接触物体的不期望反射;以及
从所述捕获的图像检测指点物体接触所述触摸表面并且因此在所述捕获的图像中相应地引起一个或更多标记的接触区域。
9.根据权利要求8所述的方法,包括拍摄所述子区的滚动快门图像,并且从一个子区至另一个子区推进图像的捕获,从而滚动快门操作从一个子区和关联的触摸检测单元延伸至邻近的子区和关联的触摸检测单元。
10.根据权利要求8所述的方法,其中所述不可见光是红外光。
11.根据权利要求8至10的任何一个权利要求所述的方法,其中所述触摸检测单元以网格排布。
12.根据权利要求8至10的任何一个权利要求所述的方法,其中触摸检测单元包括滚动快门摄像机单元。
13.根据权利要求12所述的方法,包括:以这种方式同步所述滚动快门摄像机单元图像捕获操作:滚动快门操作从一个滚动快门摄像机单元延伸至另一个滚动快门摄像机单元。
14.根据权利要求8至10的任何一个权利要求所述的方法,其中所述触摸检测单元配置为从所述图像层的后方捕获所述图像。
CN201080071041.XA 2010-12-31 2010-12-31 交互式显示设备以及交互式显示设备中的方法 Active CN103348306B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/FI2010/051102 WO2012089894A1 (en) 2010-12-31 2010-12-31 Interactive display

Publications (2)

Publication Number Publication Date
CN103348306A CN103348306A (zh) 2013-10-09
CN103348306B true CN103348306B (zh) 2017-02-15

Family

ID=46382358

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080071041.XA Active CN103348306B (zh) 2010-12-31 2010-12-31 交互式显示设备以及交互式显示设备中的方法

Country Status (5)

Country Link
US (1) US9075482B2 (zh)
EP (1) EP2641148A4 (zh)
KR (1) KR101507458B1 (zh)
CN (1) CN103348306B (zh)
WO (1) WO2012089894A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103425357A (zh) * 2013-09-04 2013-12-04 北京汇冠新技术股份有限公司 一种光学触摸屏的控制系统
JP6452103B2 (ja) * 2014-02-14 2019-01-16 キヤノン株式会社 画像表示装置及びその制御方法
US10901548B2 (en) * 2015-04-07 2021-01-26 Omnivision Technologies, Inc. Touch screen rear projection display
CN106874866B (zh) * 2017-02-13 2019-09-03 京东方科技集团股份有限公司 显示装置及其控制方法
US11379081B2 (en) * 2020-08-17 2022-07-05 Dynascan Technology Corp. Touch system and method of operating the same

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1945514A (zh) * 2006-07-27 2007-04-11 广东威创日新电子有限公司 抗干扰型红外触摸装置及定位方法
CN101253464A (zh) * 2005-08-31 2008-08-27 微软公司 用于交互式显示器的表面的输入方法
CN102473061A (zh) * 2009-07-17 2012-05-23 微软公司 滚动图像捕获系统中的环境校正

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10007891C2 (de) * 2000-02-21 2002-11-21 Siemens Ag Verfahren und Anordnung zur Interaktion mit einer in einem Schaufenster sichtbaren Darstellung
US7292229B2 (en) * 2002-08-29 2007-11-06 N-Trig Ltd. Transparent digitiser
US20060132454A1 (en) 2004-12-16 2006-06-22 Deng-Peng Chen Systems and methods for high resolution optical touch position systems
US8022941B2 (en) * 2006-10-12 2011-09-20 Disney Enterprises, Inc. Multi-user touch screen
US8212857B2 (en) 2007-01-26 2012-07-03 Microsoft Corporation Alternating light sources to reduce specular reflection
US8581852B2 (en) 2007-11-15 2013-11-12 Microsoft Corporation Fingertip detection for camera based multi-touch systems
KR20100121257A (ko) * 2009-05-08 2010-11-17 삼성전자주식회사 멀티 인식 터치 패널 및 이를 적용한 디스플레이 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101253464A (zh) * 2005-08-31 2008-08-27 微软公司 用于交互式显示器的表面的输入方法
CN1945514A (zh) * 2006-07-27 2007-04-11 广东威创日新电子有限公司 抗干扰型红外触摸装置及定位方法
CN102473061A (zh) * 2009-07-17 2012-05-23 微软公司 滚动图像捕获系统中的环境校正

Also Published As

Publication number Publication date
EP2641148A4 (en) 2014-04-23
KR20130105711A (ko) 2013-09-25
WO2012089894A1 (en) 2012-07-05
US20130285987A1 (en) 2013-10-31
US9075482B2 (en) 2015-07-07
KR101507458B1 (ko) 2015-03-31
EP2641148A1 (en) 2013-09-25
CN103348306A (zh) 2013-10-09

Similar Documents

Publication Publication Date Title
CN101971123B (zh) 具有可切换漫射体的交互式表面计算机
US9185277B2 (en) Panel camera, and optical touch screen and display apparatus employing the panel camera
CN104063704B (zh) 图像采集装置、液晶终端设备、指纹、图像的采集方法
EP2335141B1 (en) Interactive display device with infrared capture unit
CN106774685A (zh) 一种全屏显示终端
CN103348306B (zh) 交互式显示设备以及交互式显示设备中的方法
TW200608294A (en) User input apparatus, system, method and computer program for use with a screen having a translucent surface
CN101836180A (zh) 检测视觉系统中的环境光级别
EP1695197A2 (en) Self-contained interactive video display system
WO2016132568A1 (ja) 非接触入力装置及び方法
JP2016154035A5 (zh)
JP6182830B2 (ja) 電子機器
CN102053763A (zh) 光学位置检测装置及带位置检测功能的显示装置
CN206421276U (zh) 一种全屏显示终端
CN102667689B (zh) 交互式显示器
CN101763782B (zh) 显示装置及显示方法
CN209170491U (zh) 图像设备及图像处理模组
JP2006350452A (ja) 撮影表示装置およびそのキャリブレーションデータ算出方法
CN109151283A (zh) 电子设备及图像处理模组
CN102132239B (zh) 交互式显示屏
KR101418305B1 (ko) 터치 스크린 장치
CN210295133U (zh) 指纹识别模组、电子设备
TWI821326B (zh) 一種屏下圖像獲取結構及電子設備
KR20120045274A (ko) 터치 시스템 및 그 터치 인식 방법
CN112580388A (zh) 指纹识别模组及其扫描方法、存储介质、电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant