CN102375619B - 光学位置输入系统和方法 - Google Patents

光学位置输入系统和方法 Download PDF

Info

Publication number
CN102375619B
CN102375619B CN201110232700.XA CN201110232700A CN102375619B CN 102375619 B CN102375619 B CN 102375619B CN 201110232700 A CN201110232700 A CN 201110232700A CN 102375619 B CN102375619 B CN 102375619B
Authority
CN
China
Prior art keywords
image
indicant
coordinate
forming module
petting area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201110232700.XA
Other languages
English (en)
Other versions
CN102375619A (zh
Inventor
李进
刘冠松
吴东辉
单继章
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omnivision Technologies Inc
Original Assignee
HAOWEI TECH Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HAOWEI TECH Co Ltd filed Critical HAOWEI TECH Co Ltd
Publication of CN102375619A publication Critical patent/CN102375619A/zh
Application granted granted Critical
Publication of CN102375619B publication Critical patent/CN102375619B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0428Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by sensing at the edges of the touch surface the interruption of optical paths, e.g. an illumination plane, parallel to the touch surface which may be virtual

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Processing (AREA)
  • Position Input By Displaying (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Input (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供了一种光学位置输入系统,其用于确定有效触摸区内的至少一个指示物。该光学位置输入系统包括至少三个成像模块和处理器;其中,至少三个成像模块形成位于有效触摸区内的至少一个指示物的图像;处理器根据至少三个成像模块所形成的图像,来计算至少一个指示物中的每一个指示物的位置。

Description

光学位置输入系统和方法
背景技术
目前,触摸屏用于自动取款机(ATM)和其它互动式设备。使用者一般通过笔或者手指与ATM的输入设备的屏幕互动,目前也可使用电脑的其它输入设备,例如手写板或输入板。例如,手写板广泛用于书写字符,例如语言单词。一些输入设备可能需要特殊的指示物(pointingobject)例如特殊的笔,其可能不如手指方便。
大的触摸屏可能也需要输入设备,这种大触摸屏通常设置为会议室或教室里经常使用的白板。为了记录白板上的书写内容,可以使用线性传感器以扫描白板,进而记录书写内容。一段时间之后,传感器相对于板的运动可能不稳定且不可靠。在白板上进行读写的其它方法中包括使用带有非移动的压力传感器的触摸屏白板,并且在白板的边缘分别设置有红外发光二极管(LED)。然而,对于大的触摸屏来说,提供大量不移动的压力传感器及密集的LED,其成本极其高昂。
现有技术中公开了基于三角测量(triangulation)的单位置光学触摸屏,如名称为“OpticalTouchScreenArrangement”的美国专利7,355,594。然而,这种系统不能保证多个触摸(即多于一个的指示物)的分辨率,而且相对于三角测量的基线,其位置精度是随触摸而变化的。这种系统也受触摸区域外的运动的影响,可能报告错误的位置。
发明内容
根据本发明一实施方式,本发明提供了一种光学输入系统,用于在有效触摸区内检测一系列输入位置,其包括至少三个成像模块,该至少三个成像模块分布于有效触摸区的周边,每个成像模块在有效触摸区内获取至少一个指示物的图像。该系统进一步包括处理器,用于基于获取的图像确定相对于有效触摸区的一系列输入位置中的每一输入位置。
根据本发明另一实施方式,本发明提供了一种用于在有效触摸区内确定一个或多个指示物的位置的方法,其包括利用至少三个布置于有效触摸区周边的成像模块,同步获取指示物的图像。对于相邻成像模块所获取的每对图像,基于每一相邻成像模块所获取的图像,对该一个或多个指示物的可能位置进行三角测量,并将该一个或多个指示物的位置确定为每对所获取图像之可能位置的共同部分。
根据本发明又一实施方式,本发明提供了一种光学输入系统,其能在一矩形有效触摸区内检测一个或多个输入位置。该系统包括四个成像模块,该四个成像模块紧邻矩形有效触摸区的四个角布置,每一成像模块获取位于矩形有效触摸区内至少一个指示物的图像,其中,每两个相邻成像模块之间的连接形成基线,这样整个系统包括四条基线,每条基线与相邻的两条基线垂直、并与另外一条基线平行。该光学输入系统还进一步包括处理器,以基于至少一个指示物的获取图像对一个或多个输入位置进行三角测量,而且该一个或多个输入位置的确定是由来自每对相邻成像模块之共同部分来确定的。
根据本发明再一实施方式,本发明还提供了一种用于在有效触摸区内检测一个或多个指示物的方法。该方法包括使用四个成像模块同时获取一个或多个指示物的图像,该四个成像模块位于矩形有效触摸区的周边,且紧邻矩形有效触摸区的四个角布置。对于相邻成像模块所获取的每对图像,处理器基于每对获取的图像,对该一个或多个指示物的可能位置进行三角测量,而且该一个或多个指示物的位置的确定是由每对所获取图像之可能位置的共同部分来确定的。
本发明提供了用于输入及检测一个或多个指示物或设备之位置的光学系统和方法,以及包括至少三个成像模块的光学位置输入系统。光学位置输入系统的某些实施方式和相关方法提供了物体位置的基本上一致的分辨率。此外,某些实施方式是很有优点的,其能识别多个指示物,和/或能从背景的变化中区分出指示物。例如,触摸屏上的指示物的位置是从一对相邻的成像模块所获取的图像来确定的。指示物的最终位置是由从不同对的成像模块所获取图像计算出的两个、三个、或四个位置来确定的。指示物的位置从背景的变化中予以识别和区分。进一步地,利用某些光学位置输入系统的实施方式,可以同时识别多个指示物。
附图说明
图1A显示了一实施方式中一示例性的光学位置输入系统。
图1B-图1D显示了图1A所示光学位置输入系统的成像模块之示例性的图像。
图2A-图2C显示了示例性的三角测量,其根据图1A的光学位置输入系统的每对相邻成像模块所获取的图像,确定多个输入位置。
图2D显示了由两个成像模块所观察的物体的坐标PM(A)和PM(B)。
图3为维恩图(Venndiagram),其显示了基于图2A-图2C的中间坐标集的重叠,来选族用于输出坐标集(coordinatesset)的坐标。
图4为图3的光学位置输入系统的侧面图。
图5显示了根据一实施方式的光学位置输入系统,其包括四个成像模块、扩散光源、处理器。
图6是在一成像模块所获取的图像中确定指示物(pointingobject)之位置的流程图。
图7是基于至少三个成像模块所获取的图像而在触摸屏上确定指示物之位置的流程图。
图8显示了采用两个成像模块的光学位置输入系统的位置分辨率的分析。
图9显示了根据一实施方式、采用三个正交布置的成像模块的光学位置输入系统的位置分辨率的分析。
图10显示了根据一实施方式、采用四个成像模块的光学位置输入系统的位置分辨率的分析。
具体实施方式
图1A显示了示例性的光学位置输入系统100,其带有形成三角形的三个成像模块102(A)-102(C)。虽然图中显示的是等边三角形,但该三角形的形状并不限于等边三角形。每一成像模块102(A)-102(C)分别包括一个光学传感器阵列104(A)-104(C),每个光学传感器阵列104(A)-104(C)分别带有起始于基准点107(A)-107(C)的视场106(A)-106(C)。成像模块102设置于有效触摸区108的周边,以获取有效触摸区108内的多个指示物(例如,指示物M和N)的图像。有效触摸区108具有坐标系109,其具有相对于有效触摸区108之操作所定义的方向,并且基准点107(A)-107(C)的坐标(即X和Y坐标)是相对于坐标系109确定的。虽然显示了两个指示物,但系统100可以操作更少或更多的指示物。
每对相邻成像模块102的基准点107之间形成概念上的基线110。基线110(AB)为基准点107(A)和107(B)之间的直线,基线110(BC)为基准点107(B)和107(C)之间的直线,基线110(AC)为基准点107(A)和107(C)之间的直线。基线110(AB)和基线110(BC)形成角112(AC),成像模块102(B)的视场基准114(B)与基线110(BC)形成角116(B)。虽然为了清楚未在图1中显示,基线110(AB)-110(AC)和基线110(AC)-110(BC)分别形成角112(BC)和112(AB),视场基准114(A)和114(C)分别和角112(BC)和112(AB)形成角。
有效触摸区108可以是选自以下的、一项或多项的检测触摸区域:白板、签字板、电脑绘图输入设备。每个成像模块102可以包括透镜以在光学传感器阵列104上形成图像。例如,光学传感器阵列104可为电荷耦合元件(CCD)图像传感器或互补金属氧化物半导体(CMOS)图像传感器。在一实施方式中,图像传感器阵列104为线性图像传感器,其仅具有一行像素;并且透镜至少部分为圆柱形,其具有一维光学功率(opticalpower)。在另一实施方式中,光学图像传感器阵列104为像素的二维阵列;透镜为球形的,且具有二维光学功率。或者,透镜可以为具有一维光学功率的圆柱形。
成像模块102由处理器130控制,处理器130接收由成像模块102获取的图像120。成像模块102(A)将图像120(A)发送到处理器130,成像模块102(B)将图像120(B)发送到处理器130,成像模块102(C)将图像120(C)发送到处理器130。处理获取的图像也可以由位于每个成像模块102之内的处理器处理,或由每个成像模块102的局部处理器处理,这同样不偏离本发明的范围。处理器130确定位于有效触摸区108内的每个指示物的坐标,并输出这些坐标作为输出坐标集124,以用于其它系统、子系统、或部件。例如,指示物M显示位于坐标(X1,Y1),指示物N显示位于坐标(X2,Y2)。在一实施方式中,处理器130可以为这里未显示的其它系统和设备提供其它功能。处理器130可以输出指示物的其它信息,其可从确定的坐标中推出,例如定义了速度的方向矢量,这仍不偏离本发明的宗旨。
在一操作实例中,当指示物不在有效触摸区108内,处理器130从每个成像模块102获取图像,并将其存储在内存132中,作为背景基准图像133。然后,处理器130从相应的图像120中减去这些背景基准图像133,以更好地识别指示物M和N。
图1B-图1D显示了来自图1A的光学输入系统100的成像模块102的示例性图像120。图像120(A)为一维的图像,其由成像模块102(A)所捕获的二维图像或一维图像处理而得到。图像120(A)包括指示物M和N各自的图像M’和N’。图像120(A)内,视场基准114(A)和图像M’中点之间的距离确定为PM(A)。类似的,图像120(A)内,视场基准114(A)和图像N’的中点的距离确定为PN(A)。PM(A)取决于角122(AM),角122(AM)为从基准点107(A)至指示物M的位置、相对于视场基准114(A)的角。类似的,PN(A)取决于角122(AN),角122(AN)为从基准点107(A)至指示物N的位置、相对于视场基准114(A)的角。图像120(B)为成像模块102(B)所成的一维图像,其包括指示物M和N各自的图像M’和N’。图像120(B)内,视场基准114(B)和图像M’的中点的距离确定为PM(B)。类似的,图像120(B)内,视场基准114(B)和图像N’的中点的距离确定为PN(B)。为了清楚,图1A中未显示角122(BM)和角122(BN)。PM(B)取决于角122(BM),角122(BM)为从基准点107(B)至指示物M的位置、相对于视场基准114(B)的角;PN(B)取决于从基准点107(A)至指示物N的位置、相对于视场基准114(B)的角。图像120(C)为成像模块102(C)所成的一维图像,其包括指示物M和N各自的图像M’和N’。图像120(C)内,视场基准114(C)和图像M’的中点的距离确定为PM(C)。类似的,图像120(C)内,视场基准114(C)和图像N’的中点的距离确定为PN(C)。为了清楚,图1A中未显示角122(CM)和角122(CN)。PM(C)取决于角122(CM),角122(CM)为从基准点107(C)至指示物M的位置、相对于视场基准114(C)的角;PN(C)取决于角122(CN),角122(CN)为从基准点107(C)至指示物N的位置、相对于视场基准114(C)的角。
图2A-图2C显示了示例性的三角测量,以从每对相邻成像模块102所获取的图像来确定多个输入位置。基于来自获取图像的确定位置值PM(A)、PN(A)、PM(B)、PN(B)、PN(C)、PN(C),系统100利用三角测量,来确定每对相邻成像模块102可能的输入位置的坐标。这些三角测量计算的原理显示于图2A-图2C中三个独立的方案(scenario)200、220、240。由于在初始时系统100不知道指示物的数目(例如,指示物M和N),因而,对于每一对成像模块102均生成来自矢量202所有可能的输入位置。也即,如果两个获取图像中的每一个均包括两个指示物图像,在由那些图像所获得的角122所生成的矢量的交叉点处,可以识别到四个可能的输入位置。
换句话说,图1B(图像120(A))和图1C(图像120(B))中的M’和N’的位置将生成四个可能的指示物位置。在这四个可能位置中,两个位置分别为指示物M和N,两个可能位置代表指示物的幻象(phantom)。后文将描述如何排除指示物的幻象。指示物的幻象问题源于系统不能识别图像M’和N’,或不能将M’和N’区别开。值得注意的是,在常规视觉的三角测量中,操作人员可以识别物体M的图像M’和物体N的图像N’,这样不会使用图像M’和N’来实施三角测量。仅仅将来自图像120(A)的图像M’,或者仅仅将来自图像120(B)的图像N’,用于三角测量。在这种情况下,仅仅产生两个位置。
图2A中,方案200显示了基于确定的PM(A)、PN(A)、PM(B)、PN(B),对基线110(AB)和矢量202(AM)、202(AN)、202(BM)和202(BN)实施三角测量。在方案200中,处理器130生成中间坐标集204,其具有四个可能的输入位置(X3,Y3)、(X1,Y1)、(X4,Y4)、(X2,Y2)。
图2B中,方案220显示了基于确定的PM(A)、PN(A)、PM(C)、PN(C),对基线110(AC)和矢量202(AM)、202(AN)、202(CM)和202(CN)实施三角测量。在方案220中,处理器130生成中间坐标集224,其具有四个可能的输入位置(X5,Y5)、(X1,Y1)、(X6,Y6)、(X2,Y2)。
图2C中,方案240显示了基于确定的PM(B)、PN(B)、PM(C)、PN(C),对基线110(BC)和矢量202(BM)、202(BN)、202(CM)和202(CN)实施三角测量。在方案240中,处理器130生成中间坐标集244,其具有四个可能的输入位置(X7,Y7)、(X1,Y1)、(X2,Y2)、(X8,Y8)。
图2D中,成像模块102(A)和102(B)观察到物体M。PM(A)为物体M到成像模块102(A)的视场基准114(A)的距离。PM(B)为物体M到成像模块102(B)的视场基准114(B)的距离。视场基准114(A)和114(B)分别垂直于成像模块102(A)和102(B)的图像平面A和图像平面B。基于如L所示的、沿着连接成像模块102(A)和102(B)的基线110(AB)的、成像模块102(A)和102(B)之间的距离,以及视场基准114(A)和114(B)相对于基线110(AB)的角度,可以从PM(A)和PM(B)得到物体M的(X,Y)坐标位置。
图3为维恩图(Venndiagram)300,其显示了基于图2A-图2C的中间坐标集204、224、244的重叠,来选择用于输出坐标集124的坐标。如图所示,输出的坐标集124仅仅由所有三个可能的坐标集204、224、244中共同的坐标形成。
图4为光学位置输入系统100的部分侧面图。每个成像模块102设置为具有光轴402,该光轴402与有效触摸区108的表面404平行、且刚好位于该表面404之前。在一实施方式中,表面404不在成像模块102的视场106中,从而降低了表面404光反射的效果。指示物X为手指,但一可以是其它指示物,例如笔、白板笔、木指示器,或其它选项。
图5显示了一示例性的光学位置输入系统500,其具有位于矩形有效触摸区508的四个角的四个成像模块502(A)、502(B)、502(C)、502(D)。例如,光学位置输入系统500为电脑的输入设备,如手写板或输入板或白板。成像模块502连接于处理器530,处理器530识别位于有效触摸区508内一个或多个指示物中每一个的位置。在一实施方式中,有效触摸区508可以为手写板或白板,以获取其所用指示物的输入。例如,成像模块502和处理器530可以构造为一个单元,以与其它设备结合,以获取书写设备或指示器的位置。
光学位置输入系统500也可以包括扩散光源540,扩散光源540的位置靠近有效触摸区508的四条边中的每条边,或为靠近有效触摸区508的任何其它结构。扩散光源540有助于为成像模块提供适当的照明(illumination),以便精确检测物体。扩散光源540可以具有细长的形状,或其它形状。可以使用不同类型的扩散光源。在一可选择的实施方式中,可以使用一个扩散光源540。扩散光源540的强度可以由处理器530控制,以在各种变化的环境中获取指示物的图像。本发明的实施方式可以包括扩散光源的多种架构,包括光源的类型、形状、光源相对于有效触摸区508的位置。有效触摸区508可以位一个或多个手写板或输入板、白板、ATM触摸屏、电脑显示器、大屏幕显示器或任何用于记录设备和/或包括游戏的互动式设备的位置输入屏幕。
图6为光学位置输入方法600的流程图。例如,方法600由图1所示系统100的处理器130和存储器132、以及图5所示系统500来实现。方法600通过使用一个成像模块识别指示物,并确定其在获取的图像中的位置。方法600也可以应用于三个成像模块中的每一个,这里三个成像模块共同使用,以识别及确定指示物的位置。在步骤602中,从每一个成像模块获取图像。在步骤602的一实施例中,处理器130从每一成像模块102获取图像120。在步骤602的另一实施例中,处理器530从每一成像模块502获取图像。对于每个获取的图像,重复步骤604到步骤620(如虚线外轮廓线603所示)。特别地,在每个获取的图像中识别指示物图像的位置。步骤604为判断步骤。在步骤604中,如果方法600确定这些图像为第一图像,方法继续执行步骤606,否则方法600继续执行步骤610和614。在步骤604的一实施例中,当系统100启动(例如打开开关),步骤604识别从成像模块102接收的第一图像120。方法600假定在系统(如系统100、500)开始的时候,有效触摸区(如有效触摸区108、508)内没有指示物。方法600也可以利用来自每个成像模块的一组图像(例如,开始的10张图像),使得判断步骤604仅在接收到这些图像之后,转换到步骤610和614。在步骤606中,方法600产生背景图像。在步骤606的一实施例中,处理器130使用来自每个成像模块102的第一图像120,为该成像模块生成背景图像。在一实施例中,处理器130对来自一成像模块102的图像进行求平均,以产生该成像模块的背景图像133。在步骤608中,方法600根据步骤606所生成的每个背景图像来计算背景纹理。当检测到指示物时,北京纹理可以用来减少阴影和反射的影响。然后,方法600返回步骤602以接收下一个图像。
如图所示,步骤序列(a)610和612,以及序列(b)614、616、618可以平行地进行,或先后进行。步骤610中,方法600提取差分图像(differentialimage)。在步骤610的一实施例中,处理器130从当前图像集120中减去背景图像133,以为每一成像模块102形成差分图像。在步骤612中,方法600分割(segment)该差分图像。在步骤612的一实施例中,处理器130分割步骤610所形成的差分图像。分割后的图像可以是指示物、触摸屏上的阴影、触摸屏反射的光。
在步骤614中,方法600计算当前图像的图像纹理。在步骤614的一实施例中,处理器130从当前图像120生成图像纹理。在步骤616中,方法600提取差分纹理。在步骤616的一实施例中,处理器130确定步骤608之背景纹理与步骤614之图像纹理的差值。在步骤618中,方法600识别纹理改变的区域。在步骤618的一实施例中,处理器130通过与步骤608形成的背景纹理进行比对,以识别步骤614形成的图像纹理中纹理发生改变的区域。在步骤620中,方法600将步骤612中形成的分割图像与步骤618中识别到的纹理发生改变的区域进行合并,以在图像中识别指示物。
分割步骤610中形成的差分图像,会使指示物的图像与阴影和触摸屏的反射产生更好的区别。提取差分纹理能够识别变化的纹理区域。基于变化的纹理区域,可以更好地识别指示物的图像。特别地,在每个成像模块(如成像模块102、502)所接收的图像中,能够确定指示物M和N的位置,即PM(A)、PN(A)、PM(B)、PN(B)、PM(C)、PN(C)。
步骤622为判断步骤。在步骤622中,如果方法600确定在获取的图像中识别到至少一个指示物,那么方法600继续步骤624;否则方法600继续步骤626。在步骤624中,方法600输出与该成像模块相关的指示物的位置,其中,该成像模块捕获了用于确定位置的图像。在步骤624的一实施例中,处理器130输出关于图像120(A)的位置值PM(A)和PN(A)、关于图像120(B)的位置值PM(B)和PN(B)、关于图像120(C)的位置值PM(C)和PN(C)。然后,方法600继续步骤602。在步骤626中,方法600输出图像中没有识别到指示物的指示。在步骤626的一实施例中,处理器130输出“NULL”,以表明在当前图像中没有识别到位置。
需要重点注意的是,这些位置值PM(A)、PN(A)、PM(B)、PN(B)、PM(C)、PN(C)不是指示物M和N关于有效触摸区的X-Y坐标。如果在步骤620中没有成功地检测到指示物,在步骤626就分配一个特殊值,以表明没有检测到指示物。如前所述,位置值PM(A)、PN(A)、PM(B)、PN(B)、PM(C)、PN(C)是一维的,而且是从获取的一维图像中或由获取的二维图像处理得到的一维图像中获得的。
图7是确定指示物M和N关于有效触摸区108的X-Y坐标的、示例性方法700的流程图。方法700可以分别由图1A和图5所示的系统100、500的处理器130和530实现。在步骤702中,方法700输入识别到的、由图6的方法600获取到的图像中的位置值。在步骤702的一实施例中,处理器130输入来自方法600的步骤624的位置值PM(A)、PN(A)、PM(B)、PN(B)、PM(C)、PN(C)。步骤704为可选步骤。若包括步骤704,在步骤704中,方法700修正变形,以提高识别到的位置值的精确性。在步骤704的一实施例中,基于系统100的校准处理中所确定的结构参数,校正位置值PM(A)、PN(A)、PM(B)、PN(B)、PM(C)、PN(C)。对于具有大的观察角度的成像模块102、502,步骤704可能很重要。
在步骤706中,方法700计算相对于有效触摸区的、识别到的指示物的X-Y位置。在步骤706的一实施例中,处理器130基于如图2A-2D所示的三角测量,确定位置值PM(A)、PN(A)、PM(B)、PN(B)、PM(C)、PN(C)的X-Y坐标(X1,Y1)、(X2,Y2)、(X3,Y3)、(X4,Y4)、(X5,Y5)、(X6,Y6)、(X7,Y7)、(X8,Y8)。
在步骤708中,方法700为识别到的指示物确定最终的X-Y值。在步骤708的一实施例中,处理器130选择(X1,Y1)和(X2,Y2)作为由每对成像模块102所识别的指示物M和N的实际位置,如图3的维恩图300所示。特别地,如下文更详细的描述,基于每对成像模块位置分辨率,可以进一步处理共同的X-Y位置(X1,Y1)、(X2,Y2),以提高识别到的位置的精确性。在步骤710中,方法700输出最终X-Y值。在步骤710的一实施例中,处理器130输出(X1,Y1)、(X2,Y2)为输出坐标集124。
光学位置输入系统100、500的校准可能是必要的,因为相机的对中通常是不完善的。通过在有效触摸区108、508内设置校准接触点,可以对系统100、500进行校准。这些校准接触点可以由使用者在系统启动的时候或在系统第一次使用的时候予以设置。例如,可以指导使用者在标记的校准接触点之内或之上放置指示物。可以基于两个点集(setofpoints)实现校准,其中一个点集为已知位置的校准接触点的点集,另一个则是指示物计算位置的点集。可以基于默认的系统对中参数计算该位置。例如,可使用反双线性插值和/或非线性转换或其它方法进行校准。
使用三个或更多成像模块(如成像模块102、502)具有进一步的优点,其改进了位置分辨率的均匀性。图8显示了使用两个成像模块802(A)和802(B)的光学位置输入的分辨率的分析。每个成像模块802(A)和802(B)分别包括线性阵列传感器804(A)和804(B),例如,每个具有十个像素。图中显示了从每个像素出发的示例性的射线痕迹806,来说明每个像素所成像的区域。如图所示,位置分辨率在成像区内是变化的。例如,在靠近位于成像模块802(A)和802(B)之间的基线的位置,如坐标轴808所示,Y方向的分辨率随着向有效触摸区的中心移动迅速增加,并且随着接近有效触摸区的基线的对面而轻微减小,如箭头810(3)、810(2)、810(1)和810(4)所示。请注意,较长的箭头代表较低的分辨率。类似地,在离开成像模块802的区域,X分辨率如箭头812(1)、812(2)、812(3)的指示迅速减小。如区域814和816所示,传感器804所分辨的区域显著变化。
图9显示了带有三个正交设置的成像模块902(A)、902(B)、902(C)的分辨率分析,例如,每个成像模块分别具有包括十个像素的传感器阵列。图中显示了从每个像素出发的示例性的射线痕迹906,来说明每个像素所成像的区域。通过选择由成像模块902(B)和902(C)获取的图像的位置值,对于靠近成像模块902(A)和902(B)之间的基线的区域,坐标轴908所示的Y方向的分辨率比双模块系统提高,如箭头910(1)和910(2)所示,因为这些图像模块在该区域中具有更好的Y分辨率。类似的,X方向的分辨率在离开成像模块902(A)和902(B)的区域也得以提高,如箭头910(1)和910(2)所示。这样,通过使用来自在该区域中具有最高的分辨率成像模块的图像,选择确定的X和Y位置,提高了结果的精度。
进一步地,具有四个成像模块的光学位置输入系统具有额外的优势。例如,图10显示了一种基于图8所示系统但另外包括两个附加的成像模块1002(C)和1002(D)。为了显示清楚,在图10中,来自成像模块802(A)和802(B)的像素的射线未予显示。成像模块1002(C)和成像模块1002(D)设置于成像模块802(A)和成像模块802(B)的对面。例如,四个成像模块中的每一个分别靠近矩形的一个角设置。如图10所示,对于靠近802(A)和802(B)之间基线的指示物,成像模块1002(C)和1002(D)比成像模块802(A)和802(B)提供了更好的Y分辨率,如图所示,图10中的箭头1010(5)较短,而图8中的箭头810(3)较长。对于具有相同光学分辨率的成像模块,位于成像模块802(A)和802(B)之间基线上的Y分辨率,与位于成像模块1002(C)和1002(D)之间基线上的Y分辨率相同。当指示物向着连接成像模块1002(C)和1002(D)的基线移动时,可以选择成像模块802(A)和802(B)的图像,以生成比成像模块1002(C)和1002(D)的图像具有更好的Y分辨率的成像的指示物。例如,较短的箭头810(4)所指示的Y分辨率,比较长的箭头1010(3)所指示的Y分辨率好。可以基于已分辨的指示物的位置的分辨率的值,选择成像模块对。
在具有四个成像模块的系统的操作的一实施例中,成像模块802(A)和802(B)的图像用于当指示物接近连接成像模块802(A)和802(B)之间的基线时,提供更好的X分辨率,如图8中的箭头812(1)、812(2)、812(3)所示。成像模块1002(C)和1002(D)的图像用于当指示物接近连接成像模块1002(C)和1002(D)之间的基线时,提供更好的X分辨率,如图10中的箭头1012(1)、1012(2)、1012(3)所示。成像模块对可以简单地基于X分辨率选择。
在所有相邻的成像模块对中,如成像模块802(A)和802(B)、成像模块802(B)和1002(C)、成像模块802(A)和1002(D)、以及成像模块1002(C)和1002(D),对于指示物的给定位置,采用具有最好X分辨率的相邻成像模块对的图像来确定X坐标,采用具有最好Y分辨率的相邻成像模块对的图像来确定Y坐标。选择这样的成像模块对,可以实现指示物的位置分辨率的最佳均匀性。
在一可选择的实施方式中,对于指示物的给定位置,成像模块对具有最好的X分辨率和Y分辨率的结合的图像,用于确定指示物的X坐标和Y坐标。X分辨率和Y分辨率的最优结合定义为X分辨率和Y分辨率的最高平均分辨率。
在具有四个成像模块的系统的操作的另一实施例中,对于指示物,成像模块802(B)和1002(C)比成像模块802(A)和802(B)提供了X分辨率和Y分辨率的更好结合。特别地,接近连接成像模块802(A)和802(B)的基线,成像模块802(A)和802(B)比成像模块802(B)和1002(C)提供了更好的X分辨率,如图9中的箭头912(3)和图8中的箭头812(4)所示。然而,成像模块802(A)和802(B)在接近连接成像模块802(A)和802(B)的基线处提供了非常差的Y分辨率,如图8中的810(3)所示。成像模块802(B)和1002(C)比成像模块802(A)和802(B)提供了更好的Y分辨率,如图9的910(1)所示。因此,成像模块802(B)和1002(C)的图像用于确定指示物的X、Y坐标,因为与其它成像模块对相比,这些图像提供了X分辨率和Y分辨率的最优结合。
如图9所示,使用三个成像模块的系统可以具有连接成像模块的正交基线,但是不包括平行基线,而在图10所示的使用四个成像模块的系统则具有两对额外的平行基线。在有效区域内,与具有三个成像模块的系统相比,带有该两对额外的平行基线、使用四个成像模块的系统的X分辨率和Y分辨率更加均匀。例如,通过选择成像模块对,可以说使得具有四个成像模块的系统在接近每一条平行基线之处的X分辨率和Y分辨率基本相同。具有三个成像模块的系统的X分辨率和Y分辨率具有较低的均匀性。
在一可选择的实施方式中,可以通过求平均值、加权平均值或选择性地合并计算后的位置来确定最终输入。例如,对于每对相邻成像模块计算X坐标。这些X坐标随后基于不同的权重求平均值,以生成最终输入位置的最终X坐标。每个X坐标的权重取决于其X分辨率。在一种特殊的实施方式中,每个X坐标的权重随着其X分辨率增加。类似的,对于每对相邻成像模块计算Y坐标。这些Y坐标随后基于不同的权重求平均值,以生成最终输入位置的最终X坐标。每个Y坐标的权重取决于其Y分辨率。在一种特殊的实施方式中,每个Y坐标的权重随着其Y分辨率增加。进一步地,可以基于选择的或合并的生成位置值(X,Y)的统计确定最终物体位置值(X,Y)以提供实质上均匀的X分辨率和Y分辨率。
描述了几种实施方式之后,本领域的技术人员会认识到,在不偏离本发明宗旨的前提下,可以做出许多修改、替代的结构及其等同,例如,步骤序列的变化和成像模块及透镜的架构和数目,等等。此外,未描述许多已知的数学推导和表达式、流程和单元,以避免不必要的模糊本发明。因而,上述描述不应作为本发明范围的限制。
应该注意的是,上述描述或相关附图中包括的内容应该解释为说明性的,而非限制性的。后面的权利要求的目的是覆盖这里描述的通用及特定特征,以及本方法和系统的范围的所有陈述。

Claims (13)

1.一种光学输入系统,用于在有效触摸区内检测一个或多个输入位置,其包括:
至少三个成像模块,其设置于所述有效触摸区的周边,每一成像模块在所述有效触摸区内能获取至少一个指示物的图像;以及
处理器,相对于所述有效触摸区,该处理器能根据所获取的图像确定一个或多个输入位置中的每一输入位置X和Y坐标;
其中,所述的处理器根据以下对所述的一个或多个输入位置进行三角测量:对每一成像模块所获取的当前图像相对于先前背景图像进行差分处理,以获得差分图像;对该差分图像进行处理,以识别每一图像中的指示物;对相邻成像模块对所获取图像中的指示物的位置进行三角测量;以及然后将该一个或多个输入位置确定为由另一相邻成像模块对三角测量时通过第一位置坐标值和第二位置坐标值所确定位置中的共同部分;以及
其中,确定位置的步骤包括:利用所在位置的每对图像,来确定每一位置的X坐标和Y坐标;根据该位置的最高X分辨率,选择一个X坐标;以及根据该位置的最高Y分辨率,选择一个Y坐标。
2.如权利要求1所述的系统,其中,所述有效触摸区为矩形,且所述至少三个成像模块中的每一个都紧邻所述有效触摸区的三个角中的不同角。
3.如权利要求1所述的系统,其中,该系统进一步包括用于存储每个成像模块之基准图像的存储器,并从获取的图像中减去该基准图像,以识别所述至少一个指示物的位置。
4.如权利要求1所述的系统,其中,所述至少三个成像模块中的每一成像模块均包括图像传感器,该图像传感器选自于线性图像传感器和二维图像传感器。
5.一种用于在有效触摸区内确定一个或多个指示物的位置的方法,其包括:
利用至少三个设置于所述有效触摸区的周边的成像模块,同步获取该一个或多个指示物的图像;
对于相邻的成像模块所获取的每对图像:根据每对图像进行三角测量,为每对相邻成像模块确定每一位置的X坐标和Y坐标,以得到该一个或多个指示物的可能位置;以及
确定位置:将该一个或多个指示物的位置确定为由每对图像的X坐标和Y坐标所确定的可能位置中的共同部分;
其中,确定位置的步骤包括:
对于所有的相邻成像模块对,根据该位置处X分辨率和Y分辨率的最优结合,来选择一对相邻的成像模块。
6.一种用于在有效触摸区内确定一个或多个指示物的位置的方法,其包括:
利用至少三个设置于所述有效触摸区的周边的成像模块,同步获取该一个或多个指示物的差分图像;
对于相邻的成像模块所获取的每对差分图像:根据每对差分图像进行三角测量,通过确定X坐标和Y坐标,得到该一个或多个指示物的可能位置;以及
确定位置:将该一个或多个指示物的位置确定为由每对差分图像通过X坐标和Y坐标所确定的可能位置中的共同部分;
其中,确定位置的步骤包括:
根据该位置的最高X分辨率,选择一个X坐标;以及
根据该位置的最高Y分辨率,选择一个Y坐标。
7.如权利要求6所述的方法,其进一步包括:
为每一成像模块存储背景图像;
在所获取的图像和与其相关的背景图像之间提取差分图像;以及
分割该差分图像。
8.如权利要求7所述的方法,其进一步包括:
利用每一所存储的背景图像,计算并存储背景图像纹理;
计算所获取图像的图像纹理;以及
提取具有差分纹理的区域,该差分纹理为所获取图像的计算的图像纹理与相关的背景图像纹理之间的差分纹理。
9.如权利要求7所述的方法,该方法进一步包括:如果至少三个成像模块没有同时检测到指示物,则更新背景图像。
10.一种光学输入系统,用于在一个矩形有效触摸区内检测一个或多个输入位置,其包括:
四个成像模块,该四个成像模块设置为紧邻所述矩形有效触摸区的四个角,每一成像模块捕获位于所述矩形有效触摸区内至少一个指示物的差分图像,其中,每两个相邻成像模块之间的连接形成基线,使得该系统包括四条基线,该四条基线中的每一条都与相邻的每一基线垂直、而与另外的那条基线平行;以及
处理器,该处理器根据所获取的该至少一个指示物的图像,对所述的一个或多个输入位置进行三角测量,通过位置坐标将该一个或多个输入位置确定为由每对相邻成像模块所确定位置中的共同部分;
其中,所确定的位置包括X坐标和Y坐标,并根据具有最高X分辨率的第一对相邻成像模块的位置来确定X坐标,根据具有最高Y分辨率的第二对相邻成像模块的位置来确定Y坐标。
11.一种光学输入系统,用于在一个矩形有效触摸区内检测一个或多个输入位置,其包括:
四个成像模块,该四个成像模块设置为紧邻所述矩形有效触摸区的四个角,每一成像模块捕获位于所述矩形有效触摸区内至少一个指示物的图像,其中,每两个相邻成像模块之间的连接形成基线,使得该系统包括四条基线,该四条基线中的每一条都与相邻的每一基线垂直、而与另外的那条基线平行;以及
处理器,该处理器根据所获取的该至少一个指示物的图像,对所述的一个或多个输入位置进行三角测量,通过位置坐标将该一个或多个输入位置确定为由每对相邻成像模块所确定位置中的共同部分;
其中,所确定的位置包括X坐标和Y坐标,并根据所有相邻成像模块对中具有X分辨率和Y分辨率的最优组合的那对相邻成像模块,来确定X坐标和Y坐标。
12.一种用于在一矩形有效触摸区内检测一个或多个指示物的方法,其包括:
使用四个成像模块同时获取一个或多个指示物的差分图像,该四个成像模块位于所述矩形有效触摸区的周边,且分别设置于紧邻该矩形有效触摸区的四个角;
对于相邻成像模块所获取的每对图像:对该一个或多个指示物的可能位置进行三角测量;以及
确定一个或多个指示物的位置:通过位置坐标的三角测量,将该一个或多个指示物的位置确定为由每对图像所确定的可能位置中的共同部分;
其中,确定一个或多个指示物位置的步骤包括:为每对图像确定每一位置的X坐标和Y坐标;计算每一位置的X坐标和Y坐标的加权平均值,作为最终的X坐标和Y坐标,其中,每一X坐标和Y坐标的权重随着相应的X分辨率和Y分辨率的增加而增加。
13.一种用于在一矩形有效触摸区内检测一个或多个指示物的方法,其包括:
使用四个成像模块同时获取一个或多个指示物的图像,该四个成像模块位于所述矩形有效触摸区的周边,且分别设置于紧邻该矩形有效触摸区的四个角;
对于相邻成像模块所获取的每对图像:对该一个或多个指示物的可能位置进行三角测量;以及
确定一个或多个指示物的位置:通过位置坐标的三角测量,将该一个或多个指示物的位置确定为由每对图像所确定的可能位置中的共同部分;
其中,确定一个或多个指示物位置的步骤包括:在一对相邻的成像模块中,根据具有X分辨率和Y分辨率之最优组合的位置来确定X坐标和Y坐标。
CN201110232700.XA 2010-08-13 2011-08-15 光学位置输入系统和方法 Active CN102375619B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/856,161 US8269750B2 (en) 2010-08-13 2010-08-13 Optical position input system and method
US12/856,161 2010-08-13

Publications (2)

Publication Number Publication Date
CN102375619A CN102375619A (zh) 2012-03-14
CN102375619B true CN102375619B (zh) 2016-03-02

Family

ID=44532660

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110232700.XA Active CN102375619B (zh) 2010-08-13 2011-08-15 光学位置输入系统和方法

Country Status (4)

Country Link
US (1) US8269750B2 (zh)
EP (1) EP2418567B1 (zh)
CN (1) CN102375619B (zh)
TW (1) TWI471784B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI484391B (zh) * 2013-05-14 2015-05-11 Pixart Imaging Inc 光學觸控裝置及其相關的影像偵測元件和定位方法
US9274650B2 (en) 2009-11-16 2016-03-01 Pixart Imaging Inc. Optical touch device and related image detecting component and locating method
TWI494824B (zh) * 2010-08-24 2015-08-01 Quanta Comp Inc 光學觸控系統及方法
JP5598232B2 (ja) * 2010-10-04 2014-10-01 ソニー株式会社 情報処理装置、情報処理システムおよび情報処理方法
TWI437476B (zh) * 2011-02-24 2014-05-11 Au Optronics Corp 互動式立體顯示系統及計算三維座標的方法
TWI454999B (zh) * 2011-11-21 2014-10-01 Wistron Corp 光學觸控螢幕、校正裝置及其校正方法
TWI475191B (zh) * 2012-04-03 2015-03-01 Wistron Corp 用於實景導航之定位方法、定位系統及電腦可讀取儲存媒體
TWI582672B (zh) * 2015-01-20 2017-05-11 緯創資通股份有限公司 光學觸控裝置及其觸控偵測方法
US10901548B2 (en) * 2015-04-07 2021-01-26 Omnivision Technologies, Inc. Touch screen rear projection display
WO2016183750A1 (en) * 2015-05-15 2016-11-24 Qualcomm Incorporated Touch detection with improved accuracy
CN109753157B (zh) * 2019-01-11 2022-04-26 京东方科技集团股份有限公司 显示屏的手势控制方法及装置
CN116295278A (zh) * 2022-12-09 2023-06-23 中国科学院上海技术物理研究所 一种动态双目视觉相机基线的三维视觉测量系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1262909A2 (en) * 2001-06-01 2002-12-04 Smart Technologies Inc. Calculating camera offsets to facilitate object position determination using triangulation
US7355593B2 (en) * 2004-01-02 2008-04-08 Smart Technologies, Inc. Pointer tracking across multiple overlapping coordinate input sub-regions defining a generally contiguous input region
CN101206547A (zh) * 2006-12-13 2008-06-25 Lg.菲利浦Lcd株式会社 具有多触摸识别装置的显示装置及其驱动方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4033582B2 (ja) 1998-06-09 2008-01-16 株式会社リコー 座標入力/検出装置および電子黒板システム
JP3905670B2 (ja) * 1999-09-10 2007-04-18 株式会社リコー 座標入力検出装置、情報記憶媒体及び座標入力検出方法
JP4768143B2 (ja) * 2001-03-26 2011-09-07 株式会社リコー 情報入出力装置、情報入出力制御方法およびプログラム
US7492357B2 (en) * 2004-05-05 2009-02-17 Smart Technologies Ulc Apparatus and method for detecting a pointer relative to a touch surface
US7372456B2 (en) * 2004-07-07 2008-05-13 Smart Technologies Inc. Method and apparatus for calibrating an interactive touch system
US7355594B2 (en) 2004-09-30 2008-04-08 Symbol Technologies, Inc. Optical touch screen arrangement
TWI352923B (en) * 2007-09-29 2011-11-21 Htc Corp Method for determing pressed location of touch scr
US20110050640A1 (en) * 2009-09-03 2011-03-03 Niklas Lundback Calibration for a Large Scale Multi-User, Multi-Touch System

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1262909A2 (en) * 2001-06-01 2002-12-04 Smart Technologies Inc. Calculating camera offsets to facilitate object position determination using triangulation
US7355593B2 (en) * 2004-01-02 2008-04-08 Smart Technologies, Inc. Pointer tracking across multiple overlapping coordinate input sub-regions defining a generally contiguous input region
CN101206547A (zh) * 2006-12-13 2008-06-25 Lg.菲利浦Lcd株式会社 具有多触摸识别装置的显示装置及其驱动方法

Also Published As

Publication number Publication date
EP2418567A2 (en) 2012-02-15
US20120038588A1 (en) 2012-02-16
EP2418567B1 (en) 2016-10-26
US8269750B2 (en) 2012-09-18
TWI471784B (zh) 2015-02-01
CN102375619A (zh) 2012-03-14
EP2418567A3 (en) 2012-07-25
TW201214249A (en) 2012-04-01

Similar Documents

Publication Publication Date Title
CN102375619B (zh) 光学位置输入系统和方法
CN110555889B (zh) 一种基于CALTag和点云信息的深度相机手眼标定方法
CN106651752B (zh) 三维点云数据配准方法及拼接方法
TWI419081B (zh) 提供擴增實境的標籤追蹤方法、系統與電腦程式產品
CN108562250B (zh) 基于结构光成像的键盘键帽平整度快速测量方法与装置
US20130106833A1 (en) Method and apparatus for optical tracking of 3d pose using complex markers
US20110035952A1 (en) Display of results of a measurement of workpieces as a function of the detection of the gesture of a user
JP2007129709A (ja) イメージングデバイスをキャリブレートするための方法、イメージングデバイスの配列を含むイメージングシステムをキャリブレートするための方法およびイメージングシステム
CN110163918A (zh) 一种基于射影几何的线结构光标定方法
CN101730876A (zh) 使用相机和输出标记的指点装置
CN113034612B (zh) 一种标定装置、方法及深度相机
CN109672878A (zh) 对校准物体两相对侧成像的视觉系统的场校准系统和方法
US10386930B2 (en) Depth determining method and depth determining device of operating body
JP2016162162A (ja) 接触検出装置、プロジェクタ装置、電子黒板装置、デジタルサイネージ装置、プロジェクタシステム及び接触検出方法
WO2010082226A1 (en) Pointing device, graphic interface and process implementing the said device
US20180157328A1 (en) Calibration systems and methods for depth-based interfaces with disparate fields of view
CN107560541A (zh) 图像中心偏差的测量方法及装置
CN111399634B (zh) 一种手势引导物体识别的方法及装置
JP2016218893A (ja) 入力操作検出装置、画像表示装置、プロジェクタ装置、プロジェクタシステム、及び入力操作検出方法
CN113012238B (zh) 一种多深度相机快速标定与数据融合的方法
US20180089522A1 (en) CALIBRATION DEVICE FOR CAMERA-fINGER - OFFSET
KR20230171859A (ko) 사물 식별 장치 및 이를 이용한 입체 영상 생성 방법
CN116128981A (zh) 光学系统标定方法、装置和标定系统
KR101669850B1 (ko) 센서 켈리브레이션 방법 및 이를 위한 전자 장치와 마커 보드 장치
CN116974400B (zh) 屏幕触显识别方法、装置、设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C56 Change in the name or address of the patentee
CP01 Change in the name or title of a patent holder

Address after: American California

Patentee after: OmniVision Technologies, Inc.

Address before: American California

Patentee before: Haowei Tech Co., Ltd.