CN101305339A - 用于提供交互界面的系统和方法 - Google Patents
用于提供交互界面的系统和方法 Download PDFInfo
- Publication number
- CN101305339A CN101305339A CNA2006800414373A CN200680041437A CN101305339A CN 101305339 A CN101305339 A CN 101305339A CN A2006800414373 A CNA2006800414373 A CN A2006800414373A CN 200680041437 A CN200680041437 A CN 200680041437A CN 101305339 A CN101305339 A CN 101305339A
- Authority
- CN
- China
- Prior art keywords
- infrared
- interface surface
- interactive
- interactive system
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Position Input By Displaying (AREA)
Abstract
公开一种交互系统,其包括用于使用基本均匀的红外照明光照射暴露给用户的暴露的界面表面的红外光源组件、用于散射红外照明光的扩散器、用于通过该扩散器捕获该暴露的界面表面的红外图像的红外探测系统。该红外探测系统提供表示该暴露的界面表面的红外照明强度的图像数据。
Description
优先权
本申请要求2005年9月16日提交的美国专利申请No.11/228,790的优先权。
背景技术
本发明总体涉及用于计算机相关应用的数据输入装置,具体地设计用于多用户和/或多计算机相关应用的交互输入/输出装置。
可以由多个用户同时观看的用于计算机相关应用的数据显示装置通常包括大格式显示器和其它显示投影装置。与这种显示器相关联的输入装置通常涉及个人输入单元(例如手持键盘)或者触摸屏输出显示器,该触摸屏输出显示器可以由用户物理地触摸,从而直接在屏幕上使用他们的手指。
这种触摸屏采用的用来识别用户正在触摸的屏幕上的位置的技术涉及多种技术,例如:电容传感、光束中断、光束生成、声波生成和摄影成像。电容传感涉及对屏幕的暴露表面进行充电,从而当用户用他或她的指尖触摸屏幕时指尖区域的电容电场发生改变。在电容电场中这个轻微变化的位置被识别,从而提供用户指尖的位置。例如,美国专利No.6,825,833公开了用于定位在电容触摸屏上的触摸的系统和方法。许多自动银行机显示屏幕采用电容传感识别在屏幕上的用户输入位置。
采样光束中断的系统通常包括在显示器两侧上的发光光源阵列,以及在显示器的其余两侧上的互补探测器阵列。每一个光源/光电探测器对提供当用户手指触摸屏幕时就会被阻断的光路。光电探测器探测到发生阻断的光路被识别出,并且该信息被用来定位用户手指的位置。例如,美国专利No.4,855,590公开了一种触摸输入装置,该触摸输入装置包括在显示器两侧上的红外发光二极管(LED)阵列,以及在显示器相对侧上的光电探测器阵列。
其它触摸式传感系统采用光导膜覆盖显示器。当用户按压该膜上的位置时,光进入该膜,接着例如通过全内反射被捕获到膜中。传感器沿两条或多条边缘放置,以便确定凹陷的位置,通过该凹陷,周围的光进入该膜。例如,美国专利No.6,172,667公开了一种基于光学的触摸屏输入装置,该触摸屏输入装置采用光导膜覆盖显示器。
采用声波生成技术的系统与那些采用光束生成技术的系统相似,因为用户的手指导致感应声波,该感应声波向边缘传播并在两个或四个边缘处被探测。
但是,上述的每一个系统通常要求同一时间只有一个用户触摸屏幕。而且,即使这种系统能够几乎同时探测到两个独立的触摸,如果两个或更多个用户同时沿着屏幕上的水平或垂直线触摸屏幕,那么也会失败。如果两个用户同时沿着这种线触摸使用上述技术的屏幕,那么系统通常只会登记第一个人对屏幕的最初触摸。这种系统也不无法适应在输入中发生的变化,例如如果一个人将其手指停留在屏幕上较长的一段时间时在输入中可能发生的变化。
涉及摄影成像的系统采用相机探测人或人的一部分的位置,例如他们的手指的位置和取向。这种基于相机的系统通常向计算机图像处理系统提供一系列数字帧输出数据。例如,美国专利No.5,917,490公开了一种交互处理系统,该交互处理系统包括记录用户在限定环境内的移动的相机。但是,这种系统必须适应环境中的变化以及输出显示器本身的变化。而且,这种系统可能难以区分用户手指对输入屏幕的触摸和在输入屏幕上轻轻划过的两种情况。
另外,美国公开专利申请2004/0183775公开了一种交互环境,该交互环境包括可以安装在天花板上的投影仪、以及捕获表示在该环境中的被摄体的位置的图像数据的相机。该投影仪被公开为用于投射可见照明光或红外照明光。但是,辨别用户在微小的移动之间,例如触摸或没有完全触摸到输入屏幕时,这种系统也可能会遭遇困难。
因此,对允许多用户同时与显示系统交互的改进的交互显示系统仍然有需求。
发明内容
根据一个实施例,本发明提供一种交互系统,该交互系统包括:用于使用基本均匀的红外照明光对暴露给用户的暴露的界面表面进行照射的红外光源组件、用于扩散红外照明光的扩散器、以及用于捕获通过扩散器的暴露的界面表面的红外图像的红外探测系统。该红外探测系统提供表示暴露的界面表面的红外照明强度的图像数据。
根据另一个实施例,本发明一种交互系统,该交互系统包括:界面表面,通过该界面表面,用户从所述界面表面的暴露侧与该交互系统交互;使用基本均匀的红外照明光从所述界面表面的内表面对所述界面表面进行照射的红外光源组件;以及从所述界面表面的内表面捕获暴露的表面的红外图像的红外探测系统。该红外探测系统提供表示暴露的表面的红外照明强度的图像数据。
根据另一个实施例,本发明提供一种方法,该方法提供一种交互系统,该方法包括以下的步骤:提供暴露的界面表面,通过该暴露的界面表面,用户可以与交互系统进行交互;使用基本均匀的红外照明光对所述暴露的界面表面进行照射;捕获暴露表面的红外图像并产生捕获的红外图像数据,以及从捕获的红外图像数据中过滤背景数据。
附图说明
参照附图可以进一步理解下面的描述,在附图中:
图1示出根据本发明实施例的系统的示意性功能图;
图2示出根据本发明实施例的系统的示意性侧视图;
图3示出图2中所示的系统的示意性俯视图;
图4A-4C示出根据本发明实施例的系统的操作步骤的示意性流程图;
图5A和5B示出可以与根据本发明实施例的系统一起使用的两个物体的底面的示意图;
图6示出根据本发明另一个实施例的屏幕组件的示意图;
图7示出根据本发明另一个实施例的多用户系统的示意图。
附图只为示意性目的而被示出。
具体实施方式
如图1所示,根据本发明实施例的系统包括显示输出系统10、触摸输入系统12和用于执行应用程序的计算机处理系统14,该应用程序将输出数据显示到显示输出系统10并接收来自触摸输入系统12的输入数据。
显示输出系统10包括显示控制器16、显示投影仪18和用于从显示输出中除去红外光的红外滤波器20。显示投影仪将显示图像投影到屏幕组件22的底面。例如,显示图像可以包括计算机屏幕的投影图像,以便多个人从屏幕组件22的相反一侧同时观看。该系统可以这样构造:屏幕组件22可以提供多个人可以围绕其聚集在一起的工作台表面,或者提供多个人可以同时观看的墙装显示屏幕。屏幕组件22可以包括支撑材料23(例如玻璃或聚合物-玻璃组合)并提供具有无光光洁度的非镜面表面的扩散器材料24。例如,该扩散器材料可以由聚酯膜(例如由位于德国Wilminton市的E.I.DuPontdeNemours&Co.销售的MYLAR膜)形成。支撑材料23和扩散器材料24应该至少是基本透明的。如下面所讨论的,扩散器材料24应该对通过支撑材料23的红外照明光提供理想的扩散量。
触摸输入系统包括只允许红外光通过的红外通过滤波器(infrared pass filter)、用于接收红外照明光的红外接收相机28和触摸输入控制器30。相机28可以专门设计为接收红外照明光,或者可以提供宽带的光谱灵敏度,如下文所讨论的,该光谱灵敏度对红外照明光具有低水平的接收,从而足够本发明使用。虽然本实施方式中使用的是近场红外光,但是任何非可变光都可以使用。
该系统还包括红外光源32和34,该红外光源32和34与输出透镜36和38一起在整个屏幕组件22上提供基本均匀的红外照明场。该红外光源可以作为沿着显示屏幕单元的任意的1到4个边的LED光源阵列提供。例如,系统可以包括如图1所示的在屏幕组件22的两个相对侧的每一个上的LED阵列,其中每一个阵列包括若干排紧密放置的LED(例如每一个阵列包括两排或三排)。根据另一个实施例,可以使用包括与红外通过滤波器在一起的白炽(例如钨、卤素等)光源的红外光源。在另一些实施例中,红外光源可以放置于不同的位置,包括,例如,在相机附近。
如图2和图3所示,实际的显示单元可以包括反射镜50和52,以便使投影仪和相机的聚焦区域指向屏幕组件22。具体来说,投影仪18可以通过反射镜50和52将投影图像引导到屏幕组件22上,而相机28可以通过反射镜52捕获屏幕组件22的图像帧,如图2和图3所示。如图2中的B所示,投影图像的大小(以及捕获的图像)也可以通过改变屏幕组件22到反射镜52的距离来调整。
在使用中,显示输出系统10的投影仪18把计算机输出屏幕的显示图像投影到屏幕组件22的第一侧。一个或多个用户可以通过屏幕组件22看见显示图像。任何来自显示投影仪18的红外照明光都被红外滤波器20去除(如果需要的话)。红外光源32、34在屏幕组件22的整个第一侧上提供基本均匀的红外照明光。触摸输入系统12的红外相机28只接收红外照明光(由于红外通过滤波器26的原因),并给触摸输入控制器30提供图像。
当一个人将其手指40置于屏幕组件22的外暴露表面上时,触摸输入控制器30探测在该人的手指40的位置处在红外照明场中出现的强度干扰。例如,该人可以指向显示图像上的特定项目,非常像人们使用计算机鼠标在传统个人电脑上做的那样。通过在启动时用户对特定部位的触摸,该系统可以初始化并校准,从而使得投影仪18的焦场与相机28的视场同步。
在使用中,两个或多个人可能同时指向(例如40、42)显示图像的不同部分。在另一些实施例中,一个或多个物体44可以置于屏幕组件22的暴露表面上。扩散器材料24提供投影仪表面以及漫射表面,该漫射表面的性质使得人的手指必须离屏幕组件22充分地近才能使红外照明光的强度干扰被充分地定义。当手指离屏幕组件22(如图1中的A所示)大于一定距离时,那么在手指区域中的反射的红外照明强度就太分散,所以控制器30能够有利地拒绝这种模糊强度区域。作为距离的函数,扩散器的分散或模糊透射光的能力有助于在手指或物体接触表面或几乎与表面接触时进行探测,而不是在离表面还有几英寸时进行探测。为了拒绝任何模糊的物体,图像处理软件在输入的图像信号上实现高通滤波器。该高通滤波器使锐边变亮并去除强度不变或缓慢变化的区域(例如模糊的形状)。这一步骤有效地排除了对离表面超过小距离的任何明亮物体的考虑。这一高通步骤也有助于提高系统对周围室内照明变化的鲁棒性。
例如,每一个图像帧可以包括640×520像素(每一像素8比特数据)的图像数据。该系统必须在生成实际事件数据(例如由用户触摸产生的)时不牺牲触摸输入系统的输出完整性的情况下快速处理数据。如图4A到4C所示,该系统通过接收来自相机的表示当前图像帧的图像帧数据(步骤102)开始每一次的迭代(步骤100)。使用一种加权平均技术,将小百分比的原始图像帧数据均分(步骤104)到动态更新的背景图像帧中(步骤106)。例如,可能给予背景大于50/100的权重,例如75/100到99/100,而给予当前图像帧数据介于1和背景数据的权重之间的差的权重。例如,背景权重可能是99%,而可以给予当前图像帧1%的权重。许多帧以后,之前是当前图像数据的帧数据的不变部分最终变成背景图像数据。随着时间的过去,这种形式的背景平均化将用背景指数淡入当前图像。在另一些实施例中,背景数据可能是以前的10、100或200个图像帧的加窗平均值。如果使处理帧图像数据的速度保持相对较高,则这种背景权重相减技术将使得该系统快速地调整到任何新的平衡状态,即使在最初的启动中不考虑最初的背景数据。这种调整能力使该系统能够对环境中的照明变化具有鲁棒性。
如果对于较慢的淡化时间给予背景图像非常长的半衰期,那么瞬时表面接触不会太快地淡入,权重必定小,因此当前图像的淡入会花费较长时间。合理的是给出小于1/256的加权,其小于8比特图像像素值的比特单位值。这样,为了实现上述两个8比特数(例如每一个像素)的加权相减,为了保持准确性和避免人造痕迹(artifact),人们希望允许转换到16比特和。简单地把这一比特和转换回到8比特数(例如通过十进制移位),然后基于传统的大于或小于0.5的方法进行四舍五入,发现得到的结果不能完全令人满意。但是,申请人发现基本的准确度可以通过执行不是基于0.5的舍入(四舍五入)函数来保持,而是对每次迭代基于介于0和1之间的随机数进行舍入从而进位到8比特。舍入触发器的这种随机生成的结果被发现获得了图像数据的准确性,远远超出用于进一步处理的实际的8比特图像数据,所述进一步处理可能是由于舍入操作所引起的错误的人造痕迹的随机分布而导致增加4比特的分辨率的等价物导致的。
在另一个实施例中,浮点值可以用于背景图像(和其它图像缓冲器),以便允许更精确的表示。在一些CPU架构中,浮点运算在速度上与整数运算可比,因此进行浮点图像处理没有多大的成本。
在由于在足够的时间内环境没有发生移动或改变而导致背景图像达到稳定状态后,当没有手或物体接触表面时,背景表示显示表面的状态。当环境改变时,上述系统将随着时间动态地调整。这个背景图像被从原始图像帧中减去,从而得到差图像(步骤104)。这种相减去除了图像的不变部分,只显露改变的内容以及其它瞬间的和反射的物体,特别是接触或靠近表面的手指将显现。因为红外光照射该物体,所以,当没有东西与表面接触时,该物体将比表面更亮,从而物体将比背景图像更亮。
接着该系统执行下文讨论的大量的图像处理功能,这些图像处理功能可以使用各种标准的图像处理工具来实现,所述图像处理工具,例如,由位于美国宾夕法尼亚州Pittsburgh市卡内基梅隆大学的计算机视觉组发布的那些工具(OpenCv)。为了减少噪声,用不同方法对原始的差图像进行平滑处理。在一个实施例中,采用了平滑滤波器,而在另一个实施例中,通过对像素组求平均值,可以减小图像的分辨率。接着,该系统使用例如常规拉普拉斯变化算法对图像帧数据执行高通滤波功能(步骤108)。例如,当手指触摸屏幕时,该高通操作找到边缘以及充分定义的快速的强度变化和特征。当手指移走时,其将变得模糊,因此被从此通过中滤出。然后,该系统通过在所有侧上的大约3到5个像素来裁剪图像的大小(步骤110),从而去掉边界。然后,该系统执行阈值化功能(步骤112)来确定大于所定义的阈值的像素。大于所定义的阈值的像素在下文中称为on,而其余的像素被认为是off。然后,该系统执行腐蚀(erosion)功能(步骤114),接着执行膨胀(dilation)功能(步骤116),从而去除大于阈值强度的像素的非常小的区域,即小组的on像素。这是通过首先腐蚀所有的on像素组例如通过每组的边缘周围的一个或两个像素来实现。于是,那些非常小的组将消失。然后,每一个其余的组通过例如在每一个on像素组的边缘周围的一个或两个像素来被膨胀。腐蚀/膨胀算子用于减少探测中的噪声(例如来自可能由于高通操作增强的图像中的偶然静止的),因此减少了对触摸的误报探测。
然后,该系统从图像边缘去除任何剩余的噪声像素(步骤118),接着计算每一个on像素连接组的形状的轮廓线(步骤120)。这些轮廓线表示为相连的顶点的列表,当三个或多个相邻顶点非常相似或彼此在同一直线上时,并且/或者当集合中的一个或多个线段非常短时,通过用一个输出顶点替换两个或多个相邻矢量的集合来减少每一个on像素组的顶点数。也可以使用其它多边形顶点减少技术,例如使用由OpenCv图像处理库(C.H.Teh,R.T.Chin.On the Detection ofDomin ant Points on Digital Curves.-IEEE Tr.PAMI,1989,v.11,No.8,p.859-872)提供的L1曲率的The-Chin算法。这一阶段(步骤124)的输出是描述每一个轮廓线形状(也称为团迹)的轮廓的简化的多边形列表。
现在,每一组on像素都由定义该组的形状的多边形集合所表示。然后,该系统形成这些形状或多边形的列表,如果图像帧包括太多的多边形(步骤126),那么图像帧数据被丢掉(步骤128),对图像帧数据的处理结束(步骤130)。在图像帧中有太多多边形的情况可能会发生,例如,如果阈值设定太低,或者如果屏幕组件被红外照明光照射得太亮。这可能导致许多团迹(数十或数百)出现在经处理的帧中,直到背景或相机的设置被重新调整到新的光水平。
如果图像帧里没有太多的多边形(步骤126),那么系统使用例如平移不变量,非正交中心矩例如Hu矩(步骤132)(M.Hu.VisualPattern Recognition by Moment Invariants,IRE Transactions onInformation Theory,8:2,pp.179-187,1962)描述每一个多边形。现在可以评定每一个多边形的形状和面积,并且该系统现在确定任何形状是否太大(步骤134),如果任何形状太大,该系统去除对应于被确定为太大的形状的数据(骤136)。然后,该系统确定任何形状是否太小(步骤138),如果任何形状太小,该系统去除对应于被确定为太小的形状的数据(骤140)。
然后,该系统寻求通过把所述形状与已知轮廓的集合相关联,从而识别每一个形状(步骤142),例如所述已知轮廓可以是与屏幕组件接触的人类手指40、42或者其他物体44。然后,任何剩余的彼此相距非常近的像素组(或者团迹)合并为组合形状(步骤144)。形状的汇集列表作为一个事件报告(步骤149)。
为了给终端用户应用提供更高级别的事件,例如按下鼠标(mouse-down)、移动鼠标(mouse-move)和放开鼠标按键(mouse-up)分别对应于手指接触、手指移动、手指移开的时刻,多边形形状必须随着时间一帧一帧地跟踪。在图像处理步骤完成后,每一帧都展现新的多边形集合,该多边形集合与前一帧的跟踪的多边形集合进行比较(步骤146)。对多边形的位置、大小和其它属性例如Hu矩进行比较。如果两个多边形具有相似的形状属性,并处于合理的距离之内(可以这样理解,一个人以合理的速度在一个帧内移动他的手指),那么这两个形状认为是匹配的。对于匹配的多边形,匹配的多边形的ID(标识符)与移动鼠标事件一同被报告。
如果没有发现与前一帧的多边形匹配的新的多边形,那么可以假定物体或手指从显示器表面移开了。跟踪算法可以等待一定数量的不匹配帧在没有匹配的情况下通过,从而允许瞬时遗失帧。当过去足够的帧而没有多边形匹配时,报告放开鼠标按键事件。如果发现不与以前的多边形匹配的新的多边形,那么分配新的唯一ID给新的多边形并将其报告为按下鼠标事件。使用这一技术,使得如使用鼠标一样熟练地直接使用人的手指成为可能。本发明中的一部分是用于与标准PC软件交互的普通鼠标装置的软件仿真器。在新型姿态相关(gesturerelated)的用户界面中同时使用多个手指也是可能的。对该图像帧的处理结束(步骤130)。然后,该系统对下一图像帧重复整个处理过程。
在系统初始化时,背景图像可以是任意的多种图像数据集合,例如全为零或者由相机捕获的第一帧。因为该系统对捕获的每一帧进行迭代循环,加权背景平均在最终(例如在几秒或几分钟后)将归一化,以便提供对未改变背景的准确表示。
在校准阶段,通过在指定时间让用户指向显示图像上的特定标记,可以对显示图像到由相机捕获的图像帧数据的映射进行细微地调整。通过至少四个点来了解这些点在哪里显示和触摸在哪里发生,可以计算透视映射,以便从在相机图像的坐标中感应到的触摸位置映射到投影仪的显示坐标。在另一个实施例中,可视块/红外滤波器可以从相机中去除,而投影仪可以投影用于自动定义映射的图案。
在使用中,为了确定在没有LED 32和34的屏幕组件的一般环境中的红外照明光的量,该系统也可以关闭红外发光LED阵列32、34。这一信息可以用来在图像处理中调整阈值和其它信息。
在其它实施例中,该系统可以提供红外光源32和34,该红外光源32和34提供在第一红外频率范围内的红外照明光。该系统还可以包括第二红外滤波器,该第二红外滤波器只将在第二红外频率范围内的红外照明光传递给第二红外相机,该第二红外频率范围内的红外照明光与第一红外频率范围内的红外照明光之间没有重叠。假定周围的任意红外照明光会在第一范围和第二范围内提供相等的强度,那么基于对在第二频率范围内的红外照明光的测量,在环境中的背景红外照明光可以被持续地监测和减去。
如图5A和5B所示,任何物体150、152可以在其底部包括:显示物体类型的物体类型红外反射码154,以及用来唯一识别每一个实际物体的一系列红外反射键码(key code)集合156、158。这些码形状可以如上述步骤142中讨论的那样识别,从而唯一地识别每一个物体和其取向。
除了一层扩散器材料160和支撑材料162外,屏幕组件还可以包括一个或多个减少眩光的透明材料层,例如图6所示的二色性材料164。例如,可以设计一种二色性膜164来减少以在166示出的限定角度α的眩光。在(关于较少光延伸靠近(as to a lesser extend near))α角度的红外照明光将被阻挡,从而不能通过屏幕组件。这可以帮助减少来自从房间窗口进入的阳光的红外照明光的影响。在另一些实施例中,可以使用多个这种膜,其中的每一个膜都有不同的阻挡角度:α、α2、α3等,以便覆盖更宽范围的角度。或者,红外阻挡膜可以置于任何窗口上。
在另一些实施例中,该系统可以包括多个投影仪/输入装置170、172、174、176、178和180,其中的一些可以作为工作台提供,一些可以作为墙装单元提供。每一个投影仪/输入装置都包括显示输出系统和触摸输入系统。该系统也可以包括网络182(例如无线网络),以及执行应用程序的中央处理器系统184。该中央处理器还为每一个装置提供普通的输出显示并从每一个装置接收输入。因此,每一个用户可以观看到同一输出显示,并且可以同时通过屏幕组件输入数据到该系统。由每一个用户造成的改变也可以展现在其他用户的显示上。
在另一些实施例中,红外接收相机18可以包括两个独立的图像记录阵列(例如CCD阵列),其中一个对第一范围(例如800nm-850nm)的红外照明光敏感,另一个对第二范围(例如850nm-900nm)的红外照明光敏感。敏感性可以通过使用特定的闭塞滤波器来实现,该特定的闭塞滤波器只使相应范围的红外照明光通过并照射到相关CCD阵列。因为我们知道红外光源32和34会在一个范围内而不是在两个范围内(例如825nm),所以,该系统能够识别作为背景红外照明光的由另一个记录阵列探测到的红外照明光。然后,这种背景照明光能够从记录的图像中被减去,因为该系统基于这种假定,即背景照明光(例如来自太阳)在两个范围内很可能包括相同量的红外照明光。
本领域的技术人员应该理解,在不脱离本发明的实质和范围的情况下,可以对上述公开的实施例进行许多修改和改变。
权利要求书如下:
Claims (30)
1.一种交互系统,该交互系统包括:
光源组件,用于使用基本均匀的照明光照射暴露给用户的暴露的界面表面;
扩散器,用于扩散照明光;
探测系统,用于通过所述扩散器捕获所述暴露的界面表面的图像,所述探测系统提供表示所述暴露的界面表面的照明强度的图像数据;以及
数据滤波器,用于对所述图像数据进行滤波,以便提供过经过滤波的图像数据,其中所述经过滤波的图像数据识别包括在其边缘强度快速转变的区域。
2.如权利要求1所述的交互系统,其中所述暴露的界面表面在所述扩散器的暴露表面提供。
3.如权利要求1所述的交互系统,其中系统还包括用于在所述暴露的界面表面处显示显示图像的显示组件和用于使所述暴露的界面表面上的显示图像与所述探测系统校准的校准装置。
4.如权利要求1所述的交互系统,其中所述扩散器插入在所述交互系统的用户与所述探测系统和光源组件二者之间。
5.如权利要求1所述的交互系统,其中所述交互系统还包括耦接到所述探测系统的控制系统,所述控制系统能够基本上同时探测在所述暴露的界面表面上的包括大于阈值照明强度的照明强度的多个区域。
6.如权利要求5所述的交互系统,其中所述控制系统捕获多个连续的图像数据集合,每一个图像数据集合表示在特定时间所述暴露的界面表面的区域的照明强度。
7.如权利要求6所述的交互系统,其中所述控制系统使用存储的背景图像均分当前图像。
8.如权利要求1所述的交互系统,其中所述探测系统包括用于分别探测在两个独立的照明光频率范围中的每一个内的照明光的装置,所述光源组件提供所述独立的照明光频率范围中的一个而不是两个内的照明光。
9.如权利要求1所述的交互系统,其中所述交互显示系统还包括选择滤波器,该选择滤波器用于去除以α角度接近所述选择滤波器的周围的照明光。
10.如权利要求1所述的交互系统,其中所述光源组件、所述扩散器和所述探测系统都包含在交互单元内,并且其中所述交互系统还包括多个附加的互连交互单元,每一个所述附加的交互单元包括光源组件、扩散器和探测系统。
11.一种交互系统,该交互系统包括:
界面表面,通过该界面表面,用户可以从所述界面表面的暴露侧与所述交互系统交互;
红外光源组件,用于使用基本均匀的红外照明光从所述界面表面的内侧照射所述界面表面;以及
红外探测系统,用于从所述界面表面的所述内侧捕获所述暴露表面的红外图像,所述红外探测系统提供经过滤波的图像数据,所述经过滤波的图像数据表示所述暴露表面的在包括在其边缘强度快速转变的区域中的红外照明强度。
12.如权利要求11所述的交互系统,其中所述界面表面由扩散器提供。
13.如权利要求11所述的交互系统,其中系统还包括用于在所述界面表面的暴露侧处显示显示图像的显示组件和用于使所述界面表面的暴露侧上的显示图像与红外探测系统校准的校准装置。
14.如权利要求11所述的交互系统,其中所述交互系统还包括耦接到所述红外探测系统的控制系统,所述控制系统能够基本上同时探测在所述暴露的界面表面上的包括大于照明强度阈值的照明强度的多个区域。
15.如权利要求14所述的交互系统,其中所述控制系统捕获多个连续的图像数据集合,每一个图像数据集合表示在特定时间所述界面表面的所述暴露侧的区域的红外照明强度。
16.如权利要求15所述的交互系统,其中所述控制系统使用存储的背景图像均分当前图像。
17.如权利要求11所述的交互系统,其中所述红外探测系统包括用于分别探测在两个独立的红外照明光频率范围中的每一个内的红外照明光的装置,所述红外光源组件提供所述独立的照明光频率范围中的一个而不是两个内的红外照明光。
18.如权利要求11所述的交互系统,其中所述交互系统还包括选择滤波器,该选择滤波器用于去除以α角度接近所述选择滤波器的周围的红外照明光。
19.如权利要求11所述的交互系统,其中所述界面表面、所述红外光源组件和所述探测系统都包含在交互单元内,并且其中所述交互系统还包括多个附加的互连交互单元,每一个所述附加的交互单元包括界面表面、红外光源组件和红外探测系统。
20.一种提供交互系统的方法,所述方法包括以下步骤:
提供暴露的界面表面,通过该暴露的界面表面,用户可以与所述交互系统进行交互;
使用基本均匀的红外照明光照射所述暴露的界面表面;
捕获所述暴露表面的红外图像并产生捕获的红外图像数据;
从所述捕获的红外图像数据中过滤背景数据;以及
对所述捕获的图像数据进行高通滤波,以便提供经过滤波的图像数据,所述经过滤波的图像数据识别包括在其边缘强度快速转变的区域。
21.如权利要求20所述的方法,其中从所述捕获的红外图像数据中过滤背景数据的所述步骤涉及使用存储的背景图像均分当前图像。
22.如权利要求20所述的方法,其中从所述捕获的红外图像数据中过滤背景数据的所述步骤涉及从当前图像减去背景图像,其中所述背景图像被捕获为不包括红外照明光的频率在内的频率范围。
23.如权利要求20所述的方法,其中,对于多次中的每一次,捕获所述暴露表面的所述红外图像的所述步骤包括通过扩散器捕获所述暴露表面的所述红外图像。
24.如权利要求23所述的方法,其中所述方法还包括对所述捕获的红外图像数据进行高通滤波。
25.如权利要求20所述的方法,其中所述方法还包括在所述暴露的界面表面处显示显示图像的步骤,以及将所述暴露的界面表面上的显示图像与红外探测系统进行校准的步骤。
26.如权利要求20所述的方法,其中所述方法还包括基本上同时探测在所述暴露的界面表面上的包括大于照明强度阈值的照明强度的多个区域的步骤。
27.如权利要求20所述的方法,其中所述方法还包括从所述捕获的红外图像数据去除以α角度接近所述选择滤波器的周围的红外照明光的步骤。
28.如权利要求1所述的交互系统,其中所述数据滤波器包括高通滤波器。
29.如权利要求1所述的交互系统,其中所述数据滤波器对所述图像数据执行拉普拉斯变换。
30.如权利要求20所述的方法,其中进行高通滤波的所述步骤包括对所述图像数据执行拉普拉斯变换。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US11/228,790 | 2005-09-16 | ||
US11/228,790 US20070063981A1 (en) | 2005-09-16 | 2005-09-16 | System and method for providing an interactive interface |
Publications (1)
Publication Number | Publication Date |
---|---|
CN101305339A true CN101305339A (zh) | 2008-11-12 |
Family
ID=37310728
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNA2006800414373A Pending CN101305339A (zh) | 2005-09-16 | 2006-09-12 | 用于提供交互界面的系统和方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20070063981A1 (zh) |
EP (1) | EP1949209A1 (zh) |
CN (1) | CN101305339A (zh) |
WO (1) | WO2007035343A1 (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102236474A (zh) * | 2010-04-27 | 2011-11-09 | 太瀚科技股份有限公司 | 光学式触控装置 |
CN102395030A (zh) * | 2011-11-18 | 2012-03-28 | 杭州海康威视数字技术股份有限公司 | 基于视频压缩码流的运动分析方法、码流转换方法及其装置 |
CN102722703A (zh) * | 2012-06-06 | 2012-10-10 | 深圳市海亿达能源科技股份有限公司 | 一种一体化空间人群分布监测装置及监测方法 |
CN102865927A (zh) * | 2012-09-07 | 2013-01-09 | 北京空间机电研究所 | 一种基于交流耦合的tdi红外探测器信号处理系统 |
CN101840089B (zh) * | 2009-03-17 | 2013-08-21 | 鸿富锦精密工业(深圳)有限公司 | 触控式显示装置 |
CN103455210A (zh) * | 2012-05-29 | 2013-12-18 | 李文杰 | 以光学方法驱动的高解析度与高敏感度触控器 |
CN106054512A (zh) * | 2015-04-07 | 2016-10-26 | 豪威科技股份有限公司 | 触摸屏后投影显示器 |
CN106292305A (zh) * | 2015-05-29 | 2017-01-04 | 青岛海尔洗碗机有限公司 | 一种用于厨房环境的多媒体装置 |
Families Citing this family (39)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050227217A1 (en) * | 2004-03-31 | 2005-10-13 | Wilson Andrew D | Template matching on interactive surface |
US7787706B2 (en) * | 2004-06-14 | 2010-08-31 | Microsoft Corporation | Method for controlling an intensity of an infrared source used to detect objects adjacent to an interactive display surface |
US7593593B2 (en) * | 2004-06-16 | 2009-09-22 | Microsoft Corporation | Method and system for reducing effects of undesired signals in an infrared imaging system |
US7519223B2 (en) | 2004-06-28 | 2009-04-14 | Microsoft Corporation | Recognizing gestures and using gestures for interacting with software applications |
US8066384B2 (en) | 2004-08-18 | 2011-11-29 | Klip Collective, Inc. | Image projection kit and method and system of distributing image content for use with the same |
US7499027B2 (en) * | 2005-04-29 | 2009-03-03 | Microsoft Corporation | Using a light pointer for input on an interactive display surface |
US7525538B2 (en) * | 2005-06-28 | 2009-04-28 | Microsoft Corporation | Using same optics to image, illuminate, and project |
US7911444B2 (en) | 2005-08-31 | 2011-03-22 | Microsoft Corporation | Input method for surface of interactive display |
US8060840B2 (en) | 2005-12-29 | 2011-11-15 | Microsoft Corporation | Orientation free user interface |
US7612786B2 (en) * | 2006-02-10 | 2009-11-03 | Microsoft Corporation | Variable orientation input mode |
US7515143B2 (en) * | 2006-02-28 | 2009-04-07 | Microsoft Corporation | Uniform illumination of interactive display panel |
US8930834B2 (en) * | 2006-03-20 | 2015-01-06 | Microsoft Corporation | Variable orientation user interface |
US8139059B2 (en) * | 2006-03-31 | 2012-03-20 | Microsoft Corporation | Object illumination in a virtual environment |
US20070284429A1 (en) * | 2006-06-13 | 2007-12-13 | Microsoft Corporation | Computer component recognition and setup |
US8001613B2 (en) * | 2006-06-23 | 2011-08-16 | Microsoft Corporation | Security using physical objects |
US20080040692A1 (en) * | 2006-06-29 | 2008-02-14 | Microsoft Corporation | Gesture input |
US20090225036A1 (en) | 2007-01-17 | 2009-09-10 | Wright David G | Method and apparatus for discriminating between user interactions |
US8212857B2 (en) * | 2007-01-26 | 2012-07-03 | Microsoft Corporation | Alternating light sources to reduce specular reflection |
US9171399B2 (en) * | 2013-03-12 | 2015-10-27 | Autodesk, Inc. | Shadow rendering in a 3D scene based on physical light sources |
US8031947B2 (en) * | 2007-04-03 | 2011-10-04 | Jacobsen Kenneth P | Method and system for rapid matching of video streams |
US8184101B2 (en) * | 2007-10-03 | 2012-05-22 | Microsoft Corporation | Detecting touch on a surface via a scanning laser |
US7973779B2 (en) * | 2007-10-26 | 2011-07-05 | Microsoft Corporation | Detecting ambient light levels in a vision system |
EP2335138A4 (en) * | 2008-08-15 | 2012-12-19 | Qualcomm Inc | ENHANCED MULTIPOINT DETECTION |
US7876424B2 (en) * | 2008-08-20 | 2011-01-25 | Microsoft Corporation | Distance estimation based on image contrast |
US8433138B2 (en) * | 2008-10-29 | 2013-04-30 | Nokia Corporation | Interaction using touch and non-touch gestures |
US20110081056A1 (en) * | 2009-10-05 | 2011-04-07 | Salafia Carolyn M | Automated placental measurement |
TWI426433B (zh) * | 2009-10-27 | 2014-02-11 | 私立中原大學 | An image touch panel method |
CN102053757B (zh) * | 2009-11-05 | 2012-12-19 | 上海精研电子科技有限公司 | 一种红外触摸屏装置及其多点定位方法 |
KR20110056167A (ko) * | 2009-11-20 | 2011-05-26 | 삼성전자주식회사 | 디스플레이장치 및 그 교정방법 |
EP2583159B1 (en) * | 2010-06-21 | 2017-05-31 | Microsoft Technology Licensing, LLC | System and method for finger resolution in touch screens |
US9152277B1 (en) * | 2010-06-30 | 2015-10-06 | Amazon Technologies, Inc. | Touchable projection surface system |
US9720525B2 (en) * | 2011-06-29 | 2017-08-01 | Wen-Chieh Geoffrey Lee | High resolution and high sensitivity optically activated cursor maneuvering device |
TWI482054B (zh) | 2012-03-15 | 2015-04-21 | Wen Chieh Geoffrey Lee | 具有多數個彩色光源的高解析度與高敏感度移動偵測器 |
JP5866027B2 (ja) * | 2012-10-19 | 2016-02-17 | 三菱電機株式会社 | 情報処理装置、情報端末、情報処理システムおよびキャリブレーション方法 |
KR102082702B1 (ko) * | 2013-03-28 | 2020-02-28 | 엘지전자 주식회사 | 레이저 영상표시장치 |
US10254855B2 (en) | 2013-06-04 | 2019-04-09 | Wen-Chieh Geoffrey Lee | High resolution and high sensitivity three-dimensional (3D) cursor maneuvering device |
US9243833B2 (en) * | 2013-11-05 | 2016-01-26 | General Electric Company | Ice making system for a refrigerator appliance and a method for determining an ice level within an ice bucket |
US9549101B1 (en) * | 2015-09-01 | 2017-01-17 | International Business Machines Corporation | Image capture enhancement using dynamic control image |
CN107577377A (zh) * | 2017-09-26 | 2018-01-12 | 哈尔滨工业大学 | 基于视觉和红外技术的触摸信号采集装置 |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4727506A (en) * | 1985-03-25 | 1988-02-23 | Rca Corporation | Digital scaling circuitry with truncation offset compensation |
US5175807A (en) * | 1986-12-04 | 1992-12-29 | Quantel Limited | Video signal processing with added probabilistic dither |
US4855890A (en) * | 1987-06-24 | 1989-08-08 | Reliance Comm/Tec Corporation | Power factor correction circuit |
US6008800A (en) * | 1992-09-18 | 1999-12-28 | Pryor; Timothy R. | Man machine interfaces for entering data into a computer |
US6239785B1 (en) * | 1992-10-08 | 2001-05-29 | Science & Technology Corporation | Tactile computer input device |
US5511153A (en) * | 1994-01-18 | 1996-04-23 | Massachusetts Institute Of Technology | Method and apparatus for three-dimensional, textured models from plural video images |
US5732227A (en) * | 1994-07-05 | 1998-03-24 | Hitachi, Ltd. | Interactive information processing system responsive to user manipulation of physical objects and displayed images |
DE4423005C1 (de) * | 1994-06-30 | 1995-11-30 | Siemens Ag | Eingabevorrichtung für einen Computer |
US6266057B1 (en) * | 1995-07-05 | 2001-07-24 | Hitachi, Ltd. | Information processing system |
US5687297A (en) * | 1995-06-29 | 1997-11-11 | Xerox Corporation | Multifunctional apparatus for appearance tuning and resolution reconstruction of digital images |
US5736975A (en) * | 1996-02-02 | 1998-04-07 | Interactive Sales System | Interactive video display |
JP3968477B2 (ja) * | 1997-07-07 | 2007-08-29 | ソニー株式会社 | 情報入力装置及び情報入力方法 |
US6172667B1 (en) * | 1998-03-19 | 2001-01-09 | Michel Sayag | Optically-based touch screen input device |
US6292171B1 (en) * | 1999-03-31 | 2001-09-18 | Seiko Epson Corporation | Method and apparatus for calibrating a computer-generated projected image |
US6290565B1 (en) * | 1999-07-21 | 2001-09-18 | Nearlife, Inc. | Interactive game apparatus with game play controlled by user-modifiable toy |
JP3583669B2 (ja) * | 1999-10-13 | 2004-11-04 | シャープ株式会社 | 液晶表示装置 |
JP3640156B2 (ja) * | 2000-02-22 | 2005-04-20 | セイコーエプソン株式会社 | 指示位置検出システムおよび方法、プレゼンテーションシステム並びに情報記憶媒体 |
US6801210B2 (en) * | 2001-07-12 | 2004-10-05 | Vimatix (Bvi) Ltd. | Method and apparatus for image representation by geometric and brightness modeling |
US6447396B1 (en) * | 2000-10-17 | 2002-09-10 | Nearlife, Inc. | Method and apparatus for coordinating an interactive computer game with a broadcast television program |
US6659872B1 (en) * | 2001-03-28 | 2003-12-09 | Nearlife | Electronic game method and apparatus in which a message is fortuitously passed between participating entities |
US7259747B2 (en) * | 2001-06-05 | 2007-08-21 | Reactrix Systems, Inc. | Interactive video display system |
US6825833B2 (en) * | 2001-11-30 | 2004-11-30 | 3M Innovative Properties Company | System and method for locating a touch on a capacitive touch screen |
US7710391B2 (en) * | 2002-05-28 | 2010-05-04 | Matthew Bell | Processing an image utilizing a spatially varying pattern |
US7576727B2 (en) * | 2002-12-13 | 2009-08-18 | Matthew Bell | Interactive directed light/sound system |
US7536032B2 (en) * | 2003-10-24 | 2009-05-19 | Reactrix Systems, Inc. | Method and system for processing captured image information in an interactive video display system |
KR100519782B1 (ko) * | 2004-03-04 | 2005-10-07 | 삼성전자주식회사 | 스테레오 카메라를 이용한 사람 검출 방법 및 장치 |
-
2005
- 2005-09-16 US US11/228,790 patent/US20070063981A1/en not_active Abandoned
-
2006
- 2006-09-12 WO PCT/US2006/035613 patent/WO2007035343A1/en active Application Filing
- 2006-09-12 EP EP06790217A patent/EP1949209A1/en not_active Withdrawn
- 2006-09-12 CN CNA2006800414373A patent/CN101305339A/zh active Pending
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101840089B (zh) * | 2009-03-17 | 2013-08-21 | 鸿富锦精密工业(深圳)有限公司 | 触控式显示装置 |
CN102236474A (zh) * | 2010-04-27 | 2011-11-09 | 太瀚科技股份有限公司 | 光学式触控装置 |
CN102236474B (zh) * | 2010-04-27 | 2013-08-28 | 太瀚科技股份有限公司 | 光学式触控装置 |
CN102395030A (zh) * | 2011-11-18 | 2012-03-28 | 杭州海康威视数字技术股份有限公司 | 基于视频压缩码流的运动分析方法、码流转换方法及其装置 |
US9380309B2 (en) | 2011-11-18 | 2016-06-28 | Hangzhou Hikvision Digital Technology Co. Ltd | Motion analysis method and code stream conversion method based on video compression code stream and apparatus thereof |
CN102395030B (zh) * | 2011-11-18 | 2014-05-07 | 杭州海康威视数字技术股份有限公司 | 基于视频压缩码流的运动分析方法、码流转换方法及其装置 |
CN103455210A (zh) * | 2012-05-29 | 2013-12-18 | 李文杰 | 以光学方法驱动的高解析度与高敏感度触控器 |
CN103455210B (zh) * | 2012-05-29 | 2019-04-05 | 李文杰 | 以光学方法驱动的高解析度与高敏感度触控器 |
CN102722703A (zh) * | 2012-06-06 | 2012-10-10 | 深圳市海亿达能源科技股份有限公司 | 一种一体化空间人群分布监测装置及监测方法 |
CN102865927A (zh) * | 2012-09-07 | 2013-01-09 | 北京空间机电研究所 | 一种基于交流耦合的tdi红外探测器信号处理系统 |
CN102865927B (zh) * | 2012-09-07 | 2015-05-27 | 北京空间机电研究所 | 一种基于交流耦合的tdi红外探测器信号处理系统 |
CN106054512A (zh) * | 2015-04-07 | 2016-10-26 | 豪威科技股份有限公司 | 触摸屏后投影显示器 |
CN106054512B (zh) * | 2015-04-07 | 2021-06-18 | 豪威科技股份有限公司 | 触摸屏后投影显示器 |
CN106292305A (zh) * | 2015-05-29 | 2017-01-04 | 青岛海尔洗碗机有限公司 | 一种用于厨房环境的多媒体装置 |
CN106292305B (zh) * | 2015-05-29 | 2020-03-17 | 青岛海尔洗碗机有限公司 | 一种用于厨房环境的多媒体装置 |
Also Published As
Publication number | Publication date |
---|---|
EP1949209A1 (en) | 2008-07-30 |
US20070063981A1 (en) | 2007-03-22 |
WO2007035343A1 (en) | 2007-03-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101305339A (zh) | 用于提供交互界面的系统和方法 | |
CN103477311B (zh) | 基于相机的多点触摸交互设备、系统和方法 | |
US7355594B2 (en) | Optical touch screen arrangement | |
US9582118B2 (en) | Optical touch system and object detection method therefor | |
US5317140A (en) | Diffusion-assisted position location particularly for visual pen detection | |
US9063577B2 (en) | User input using proximity sensing | |
CN101231450B (zh) | 多点及物体触摸屏装置及多点触摸的定位方法 | |
CN108291838A (zh) | 用于显示底板上的集成的光学传感器 | |
US20090267919A1 (en) | Multi-touch position tracking apparatus and interactive system and image processing method using the same | |
US20060044282A1 (en) | User input apparatus, system, method and computer program for use with a screen having a translucent surface | |
US20110234542A1 (en) | Methods and Systems Utilizing Multiple Wavelengths for Position Detection | |
JP2017518566A (ja) | モバイルプラットフォームにおける空中および表面マルチタッチ検出 | |
US20120098753A1 (en) | System and method for providing multi-dimensional touch input vector | |
CN101923413A (zh) | 交互输入系统及其部件 | |
CN103299259A (zh) | 检测装置、输入装置、投影机以及电子设备 | |
US20150131852A1 (en) | Object position determination | |
MX2010012264A (es) | Sistema de entrada interactivo y montaje de iluminacion para el mismo. | |
KR20100072207A (ko) | 터치-감응 장치상의 손가락 방향의 검출 | |
EP1516280A2 (en) | Apparatus and method for inputting data | |
TWI420357B (zh) | 觸控系統及其指示物座標偵測方法 | |
JP2006244446A (ja) | 表示装置 | |
CN102508574A (zh) | 基于投影屏幕的多点触控检测方法及多点触控系统 | |
CN101663637A (zh) | 利用悬浮和点击输入法的触摸屏系统 | |
JP2014510341A (ja) | 面上の放射遮蔽体の検出と追跡のためのシステム及び方法 | |
US20110095989A1 (en) | Interactive input system and bezel therefor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C41 | Transfer of patent application or patent right or utility model | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20090213 Address after: Massachusetts USA Applicant after: Tektronix tower Bole limited liability company Address before: Massachusetts USA Applicant before: Mega Fun Co. LLC |
|
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
ASS | Succession or assignment of patent right |
Owner name: TAIKETA BOYUE CO.,LTD. Free format text: FORMER OWNER: MECCA BRAHMA CO.,LTD. Effective date: 20090213 |
|
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |
Open date: 20081112 |