CN102591488B - 改进的输入设备和相关联的方法 - Google Patents

改进的输入设备和相关联的方法 Download PDF

Info

Publication number
CN102591488B
CN102591488B CN201110378639.XA CN201110378639A CN102591488B CN 102591488 B CN102591488 B CN 102591488B CN 201110378639 A CN201110378639 A CN 201110378639A CN 102591488 B CN102591488 B CN 102591488B
Authority
CN
China
Prior art keywords
proximity detector
distance
light source
light
input equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201110378639.XA
Other languages
English (en)
Other versions
CN102591488A (zh
Inventor
L·斯塔克
W·哈利迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
STMicroelectronics Research and Development Ltd
Original Assignee
STMicroelectronics Research and Development Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by STMicroelectronics Research and Development Ltd filed Critical STMicroelectronics Research and Development Ltd
Publication of CN102591488A publication Critical patent/CN102591488A/zh
Application granted granted Critical
Publication of CN102591488B publication Critical patent/CN102591488B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0428Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by sensing at the edges of the touch surface the interruption of optical paths, e.g. an illumination plane, parallel to the touch surface which may be virtual
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Position Input By Displaying (AREA)
  • Electronic Switches (AREA)
  • Switches Operated By Changes In Physical Conditions (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本公开涉及改进的输入设备和相关联的方法。具体地,提供了一种用于设备的输入设备。该输入设备包含邻近检测器和光源。该光源发射光到感测区域,当该感测区域的邻近区域中存在物体时,该光被反射回到邻近检测器,从而使得该邻近检测器可以产生指示物体距该邻近检测器的距离的输出,以产生用于控制该设备的控制信号。还提供了一种控制设备的方法。该方法使用包含邻近检测器和光源的输入设备。该方法包括以下步骤:将光从光源发射到感测区域;在邻近检测器处接收由在感测区域的邻近区域中的物体反射的光;导出指示物体距邻近检测器的距离的输出;以及基于该输出而向设备提供控制信号。

Description

改进的输入设备和相关联的方法
技术领域
本发明涉及改进的输入设备和相关联的方法。
背景技术
SPAD基于偏置为超过其击穿区域的p-n结器件。高的反向偏置电压生成具有足够量值的电场,从而使得被引入到该器件的耗尽层中的单个电荷载流子可以引起经由碰撞离子化的自持雪崩。主动或者被动地淬灭该雪崩,以允许该器件“复位”以便检测进一步的光子。可以借助于照射高电场区域的单个入射光子而光电地生成起始电荷载流子。该特征导致了名字“单光子雪崩二极管”。该单光子检测操作模式通常称作“盖革(Geiger)模式”。
US7,262,402公开了一种使用SPAD阵列的成像设备,以用于当场景由光学脉冲照明时捕获场景的深度和强度图。
US2007/0182949公开了用于测量到物体的距离的布置。该布置使用调制的光子波来照亮物体,并且使用SPAD阵列来检测反射波。公开了各种分析方法来减小反射波中的干扰的影响。
在输入设备的领域中,存在一种朝向触摸屏等的推力。触摸屏技术根本地受限于用户可以获得的精确度。例如,用户的手指、触笔或者其他触摸物体将阻挡显示器的用户视野,从而减小用户可以获得的精确度。此外,触敏用户界面与用于直观的用户操作的设备显示器之间的映射要求触敏用户界面与设备显示器之间的1∶1位置映射--该需求可能导致太小以致不能精确操作的用户界面。
这些问题可以通过将诸如轨迹板之类的触敏用户界面定位在不覆盖屏幕并且因此不意味着1∶1位置映射的位置处。然而,这要求在设备上的附加的面积,从而使得其对于其中空间非常珍贵的移动设备(诸如但是不限于移动电话、膝上式笔记本以及平板PC)而言是不实际的。
附加的问题是触摸屏和轨迹板的成本与它们的面积成比例增加。这是由于检测用户输入所需的硬件需要跨触摸屏或者轨迹板的整个面积而存在。
用于解决该问题的一种尝试已经使用虚拟的投影键盘,虚拟的投影键盘使用常规的光学器件来投影按键的位置并且产生场景的深度图,以确定用户是否与投影按键交互。然而,由于多种原因,并未证明其是成功的。
具体地,虽然常规的3D照相机能够产生场景的深度图,但是它们昂贵、体积巨大、具有高功耗并且要求非常高的数据带宽以在高帧速率下进行操作,该高帧速率对用户对系统性能感知所必需的低延迟响应时间而言是所需的。
微软KinectTM系统使用光矩阵散射检测技术来产生场景的深度图,但是这需要大量的数据处理、物理上较大并且仅可以获得30Hz的帧速率,而这损害了物体追踪的精确度。投影键盘利用类似的检测方法,但是也受限于帧速率,例如CanestraTMElectronicPerceptionTechnology(EPT)键盘可以感测“高达每分钟400字符”(每秒6.667)。
此外,使用最广泛的触摸屏技术要求部件安装在感测区域的多于一个的侧上,或者要求父设备显示的覆盖,这排除了它们用在不在固体表面上的区域中感测,并且将它们的感测区域限制到父设备上的区域。
由于这些问题,虚拟的投影键盘已非常昂贵,受限于在成像模式中操作,具有高的带宽和处理需求,并且由于需要投影到硬、非反射性的表面上来进行工作而受到限制。
发明目的
本发明的目的是克服与现有技术相关联的问题中的至少一些。
本发明的又一目的是提供触摸屏作为界面机构或者输入设备的备选。
发明内容
本发明提供了如在所附权利要求中阐述的方法和系统。
根据本发明的一个方面,提供了一种用于设备的输入设备,该输入设备包含邻近检测器和光源,其中该光源发射光到感测区域,当该感测区域的邻近区域中存在物体时,该光被反射回到邻近检测器,从而使得该邻近检测器可以产生指示物体距该邻近检测器的距离的输出,以生成用于控制该设备的控制信号。
可选地,输入设备包括彼此远离定位的至少两个邻近检测器,其中:
第一邻近检测器产生指示第一距离的输出,所述第一距离是所述第一邻近检测器与所述物体之间的距离;以及
第二邻近检测器产生指示第二距离的输出,所述第二距离是所述第二邻近检测器与所述物体之间的距离。
可选地,处理器基于第一距离、第二距离以及第一邻近检测器与第二邻近检测器之间的距离来计算物体的二维位置。
可选地,处理器将物体的二维位置提供为具有其原点定位在第一邻近检测器处的平面的笛卡尔坐标,其中x轴穿过第二邻近检测器。
可选地,物体的x坐标由给出,并且物体的y坐标由给出,其中r1是第一距离,是r2第二距离,并且d是两个光检测器之间的距离。
可选地,该邻近检测器包括单光子雪崩二极管。
可选地,该邻近检测器包括单光子雪崩二极管的阵列。
可选地,该单光子雪崩二极管的阵列包括布置成行与列的多个单光子雪崩二极管。
可选地,该单光子雪崩二极管的阵列连接到多工器和计数器,以允许反射照明的测量。
可选地,来自该邻近检测器的输出被传递到该设备的操作系统,以实现一个或者多个控制功能。
可选地,该邻近检测器检测由物体反射的光的相位。
可选地,每个邻近检测器与光源相关联,并且每个邻近检测器和与其相关联的光源彼此邻近定位。
可选地,处理器每次接收一个邻近检测器的输出。
可选地,该邻近检测器包括颜色滤波器。
可选地,该邻近检测器还包括相位板。
可选地,该光源适于发射不可见光。
根据本发明的另一方面,提供了一种包括根据本发明的前述方面所述的输入设备的设备。
可选地,该设备是电话。
可选地,该设备是计算机。
根据本发明的又一方面,提供了一种用于控制使用包含邻近检测器和光源的输入设备的设备的方法,该方法包括:将光从光源发射到感测区域;在邻近检测器处接收由在感测区域的邻近区域中的物体反射的光;导出指示物体距邻近检测器的距离的输出;以及基于该输出向该设备提供控制信号。
可选地,该输入设备包括彼此远离定位的至少两个邻近检测器,并且该方法还包括:
使用第一邻近检测器导出指示第一距离的输出,所述第一距离是所述第一邻近检测器与所述物体之间的距离;以及
使用第二邻近检测器导出指示第二距离的输出,所述第二距离是所述第二邻近检测器与所述物体之间的距离。
可选地,该方法包括基于第一距离、第二距离以及第一邻近检测器与第二邻近检测器之间的距离来计算物体的二维位置。
可选地,计算步骤将物体的二维位置提供为具有其原点定位在第一邻近检测器处的平面的笛卡尔坐标,其中x轴穿过第二邻近检测器。
可选地,物体的x坐标由给出,并且物体的y坐标由给出,其中r1是第一距离,是r2第二距离,并且d是两个光检测器之间的距离。
所提出的发明能够将物体定位在设备外的区域内,而不需要该物体与固体表面接触,并且该物体可以被定位成使得不意味着1∶1位置映射并且同时不需要任何附加的设备空间。因此,该系统能够提供为父设备提供鼠标型控制和精确度,而不需要对轨迹板或者任何附加的外围设备(诸如鼠标或者触笔)的空间需求。
附图说明
现在将通过示例的方式参照所附附图,在附图中:
图1是图示了根据本发明的实施例的确定SPAD中的相移的示意图,
图2是根据本发明的实施例的SPAD的示意图及其相关联的时序图,
图3是根据本发明的实施例的邻近检测器的方框图,
图4是根据本发明的实施例的输入设备的示意图。
具体实施方式
尽管存在基于直接飞行时间测量(directtimeofflightmeasurement)使用SPAD进行距离确定的备选方法,但是SPAD可以通过应用用于距离确定的相移提取方法而在测距应用中使用。在本申请中的术语测距旨在覆盖所有测距设备和方法,包括但是不限于测距设备、邻近设备加速度计等。测距可以在多种应用中出现,这些应用包含相对容易实现并且廉价的邻近检测、比邻近检测器更复杂并且成本更高的激光测距以及作为可以用来识别姿势和面部表情的高端应用的三维成像。
邻近传感器是最基本的测距应用。在其最简单情形下,该传感器能够通过检测存在或者不存在反射信号而指示存在或者不存在用户或者物体。附加的计算和照明器复杂性可以提供增强型数据,诸如到物体的距离。典型的距离在0.01m到0.5m左右。在简单的邻近传感器中,照明源可以是在大约850nm波长下的调制的LED。
下一应用群组是激光测距群组,其中照明源是调制的二极管激光器。性能范围可以从<1cm到20m(并且对于顶端系统更高),并且具有毫米精确度。增强了对光学器件的需求,需要半球形透镜和窄的带通滤波器。近场回波(near-fieldreturn)可能导致引入视差误差,即返回的激光光斑在传感器像素阵列上的移动取决于到物体的距离。为了克服这些问题,测距器包括校正功能以允许通过主机系统减去电延迟和光学延迟。照明源波长应当是可见的,从而使得用户可以看见正靶定的事物,并且照明源波长典型地在635nm左右。
第三应用群组是3D照相机群组。在该应用中,使用了像素阵列以便避免阵列的机械扫描。系统可以基于多个不同的架构。使用了基于飞行时间(TOF)的架构和调制的照明器的架构这两者,然而,后者对环境光更加稳健并且因此最适合所建立的光电二极管构造。诸如脸部识别和姿势识别之类的特征是这种类型的测距设备的应用。
大多光学测距实现方式使用立体的、结构化的光、直接飞行时间或者相位提取方法之一,以便查明到目标的距离。立体的解决方案使用两个常规的照相机,并且可能具有大量的计算开销以便提取距离。结构化的光方案使用折射性光学器件,并且基于当已知的投影形状或者光斑矩阵照射目标时它们如何形变而使用常规的照相机来计算距离。直接飞行时间(TOF)方法使用窄脉冲激光器,而时间数字转换器(TDC)测量发射与第一光子接收之间在时间上的差值。通常采用“反转模式”,在该模式中TDC测量时间的后部分(back-portion),即,从第一光子接收到下一脉冲发射之间的时间。该方案将系统活动最小化到仅当检测到光子时的情景,并且因此与紧密控制的、低光通量水平和医学应用(诸如,荧光寿命成像(FLIM))之间具有良好的匹配。
相位提取方法很可能是使用最广泛的方法,这是由于其非常适合于使用现有的光电二极管技术来实现通用距离方程的计算的系统。相位提取方法也对背景环境光条件非常稳健,并且可以适于允许变化的照明器调制波长形状(即,正弦或者方形)。该方案有利于在邻近检测应用中的SPAD。
本发明利用以下事实,即相位提取方法系统并入了可以与SPAD结合使用的内在环境光水平检测功能。
重要的是理解测距方程的导出,这是由于其指示了将SPAD应用于相位提取邻近检测和测距解决方案的方便性。其也有助于理解内在特征。诸如环境光计量以及为特定目的测量感兴趣的深度。
距离如下地根据光速和飞行时间(TOF)确定:
s=ct
其中s是距离,c是光速,并且t是时间。然而,对于测距系统而言,由于存在发送路径和接收路径的事实,距离加倍。这样,在测距系统中测量的距离s由以下给出:
s=1/2ct
由于光子TOF导致的时间偏移分量(=‘t’)依赖于波形的调制频率和相移量值。
t=返回波形的偏移百分比×tmod_period
并且如果tmod_period=1/fmod,则:
⇒ t = φ 2 π · 1 f
⇒ t = φ 2 π · f
单位为弧度。然后,通过将以上方程代入起始方程,则“距离方程”表达如下:
⇒ s = c · φ 4 π · f
在该方程中的关键分量是φ,其是返回波形的偏移百分比的未知分量。以下部分讨论其如何确定。
由于c、f与π的值是常数;所以距离结果简单地与φ成比率缩放(接收的光波形相对于所发射的光波形的偏移百分比)。图2显示了对于采用方波调制的照明器的系统来说,如何确定φ。发射的波形和接收的波形相对彼此偏移了φ。通过分别测量到达箱体(bin)1和箱体2中的“a”和“b”的光子,可以如下确定φ的值:
φ 2 π = b count ( a + b ) count
在这种类型的系统中,存在由照明器调制频率设置的距离极限,这称为不模糊距离。从远离该距离的目标接收的光子可以通过错误地出现在后续测量的合法箱体中而引入混叠误差。由于通过调制过程来允许距离的确定,所以期望最大化调制波形的边缘的数目,以便尽快地累积用于求平均目的的数据。然而,高的调制频率可以降低不模糊距离,并且在照明器驱动器电路中引入更多的技术复杂性。因此,两个或者更多个不同的调制频率可以交织或者交替使用,以便经由适当数据处理降低或者抵消混叠的光子的影响。
图2图示了基于SPAD的邻近传感器的可能实现方式以及关联的波形图。图2示出了连接到多工器202的SPAD200。来自多工器的输出通过计数器1和计数器2(204)。主要在200处示出的SPAD器件是标准类型的,其包括光电二极管210、p型MOSFET212和非门214。
以表示相对光子到达量值的方式示出了时序波形。可见,添加了额外的相位,以允许背景环境光水平偏移“c”的计算,尽管如果需要,这可以通过使用与照明器波长相匹配的、窄光学带通滤波器来显著地降低。元素“c”然后可以在对所接收的光相移φ的计算中调节。确定针对a、b、c的计算结果,并且将它们写入到临时存储器存储或者I2C寄存器中。相移φ的计算如下地计算:
φ = a count - c ( a + b ) count - 2 c
对调制频率的预定选择由为距离传感器的应用选择适当的频率或者多个频率的专用逻辑或者主机系统来执行。图2的距离传感器依赖于可以被发射到场景上的光的量、系统功耗和目标反射率。
由于图2中示出的系统需要计算背景光条件,以便查明从目标返回的光脉冲的偏移,因此包含了环境光计量。如果仅需要环境光水平数据,则采用简化的时序方案,这是由于目标照明循环不是必需的。如果在光学路径上采用了窄带IR滤波器,则c的值将仅表示滤波器通带的内容。这然后可以被外推到一般环境光条件的近似。
参照图3,其示出了邻近传感器的方框图。邻近传感器300包括在块302中的SPAD功能及其淬熄功能。淬熄可以是如示出的被动式或者任何其他适当的类型。SPAD的偏置电压可以由电荷泵或者任何其他适当的设备304提供。该传感器模块还包括LED或者其他照明源以及关联驱动器306以确保向照明源施加所要求的调制。
传感器可以包括用于确定距离的距离计算逻辑模块。备选地,其可以定位在主机设备中,在该主机设备中使用了距离传感器。传感器还包括多工器和计数器308,以及诸如I2C模块之类的存储装置310。该传感器还可以包括用于钟控和后续时序信号生成目的的锁相环(PLL)。
SPAD和它们的读出电路的功耗依赖于入射光子到达率。测距系统的平均功耗可以通过以目标运动失真为代价使用例如以~10Hz的速率的功率节省模式(诸如脉冲开/关操作)来减小。
传感器可以在1mm2裸片尺寸上实现,并且I2C模块也可以在适当的裸片上实现。I2C模块可以集成到与传感器相同的裸片上,或者在分离的第二裸片上实现。传感器可以包括光学封装、集成的IR带通滤波器(覆盖在光学元件上或者为光学元件固有的)以及大约30°的最优视场。由于传感器并不旨在“创建图像”,而是用于确保尽可能多的光子被检测到,所以光学器件可以由注入模制的半球状元件制成。
照明器源理想地应当是不可见波长类型,例如在近红外(NIR)带中,诸如850nm。
应当注意,术语“光学”、“照明”和“光”旨在覆盖光谱范围内的其他波长,并且并不限于可见光谱。
虽然已经参照简单的低成本系统描述了邻近传感器,但是应当理解,也可以使用以上讨论的激光测距和3D照相机技术。
虽然SPAD最适于与本发明一起使用,但是潜在地也可以使用用于物体定位的任何其他形式的邻近检测。
本公开的输入设备包括处理器、照明源和邻近检测器,该邻近检测器优选地为SPAD。在使用中,照明源和邻近检测器用来提供指示物体到检测器的邻近的输出。
然后使用处理器将来自邻近检测器的输出转换成控制信号,该控制信号可以由父设备使用来实现动作或控制或者用来生成典型地由鼠标或键盘生成的类型的输入。该处理器可以包括位于父设备中的软件/固件,或者位于容纳照明源和邻近检测器的组件内的软件/固件,或者它们的组合。
优选地,如图4所示,输入设备包括两个组件410、420。照明源411、421和邻近检测器412、422安装在每个组件410、420上,从而使得每个组件包括彼此靠近安装并且面向相同方向的邻近检测器-照明源对。组件410、420安装在父设备400上,从而使得照明源411、421和邻近检测器412、422共享被定义为x轴的共同轴。组件410、420可以定位在父设备400的边缘处,或者可以靠近它们的边缘定位。附加的组件可以用来在系统中提供冗余,并且如果需要的话,可以用来增加系统的精确度。
备选地,邻近检测器412、422和照明源411、421可以直接安装在父设备上,只要它们相对于彼此的位置已知。优选地,邻近检测器412、422和照明源411、421被布置成邻近检测器-照明源对,每对包括彼此靠近安装并且面向相同方向的邻近检测器和照明源。
照明源411、421和邻近检测器412、422被定向成与照明平面和感测平面对准。照明平面和感测平面这两者都与设备显示器的平面对准。此外,照明源411、421和邻近检测器412、422被定位成用于分别优化在该平面中的投影光和检测光的强度。这通过为邻近传感器412、422和照明源411、421提供圆柱形光学器件来实现,该圆柱形光学器件将照明场和接收场聚焦到在X-Y维度上较宽并且在Z维度上较窄的视场中。
来自照明源的照明场413、423以及邻近检测器412、422的视场414、424(其中邻近检测器可以检测到物体的场)重叠的区域形成物体感测区域430。物体感测区域430沿着y轴的范围(即,父设备400与物体感测区域430的、最远离父设备400的边缘431之间的距离)由所使用的邻近检测器412、422的距离和由照明源411、421提供的照明强度决定。感测区域430的宽度由照明场413、423与接收场414、424的角度决定。因此,照明场413、423与接收场414、424的角度越宽,则物体感测区域430的宽度越大。结果,物体感测区域430的尺寸不需要和设备的显示器面积联系,并且可以大于设备的显示器面积,这是由于感测区域430的尺寸由邻近检测器412、422和照明源411、421以及它们的光学器件决定。
感测区域430与父设备400的邻近由照明场413、423和接收场414、424的角度决定。照明场413、423和接收场414、424的角度越宽,则感测区域430将离父设备越接近。因此,对于照明源411、421和邻近检测器412、422的固定的位置和角度而言;并且如果照明场413、423和接收场414、424越宽,则这些场彼此重叠的区域将离该设备越近。
在一个实施例中,物体感测区域是并不需要屏幕或者任何部件的虚拟空间。照明被引导到一个表面、多个表面或者构成背景场景的自由空间。可以使用照明源411、421的光学功率密度来确定由邻近检测器412、422检测到的、反射自背景场景的光子数目。从背景反射的光子数目然后可以用来确定平均距离和背景场景的反射率,这继而可以用来对背景场景的反射率进行补偿。照明场(以及邻近检测器视场)可以适于其中正在使用父设备的情况。可以包括控制电路或者过程以允许为这一目的而操纵视场。改变视场将导致不同形状和大小的虚拟屏幕。
当物体440放置在物体感测区域430中时,邻近检测器412、422中的每一个检测从物体440反射的光,并且输出到物体440上光反射的点的距离。这些距离然后可以用来三角测量对象440在感测区域430内的位置。通过识别对象在虚拟屏幕或者对象感测区域上的位置,该系统可以解读某一功能。例如,在某一区域触摸虚拟屏幕可以构成特定输入,例如在键盘上的字母。此外,还可以识别并且进一步确定对象的附加移动。例如,物体从一个地方移动到另一个地方的可以构成又一输入,诸如使用轨迹球或者鼠标的情况。由于检测从物体反射的光的本质,也可以检测相对于表面的向上和向下移动,并且以特定方式对它们进行解释。
在本发明的特定实施例中,虚拟屏幕或者物体感测区域可以用来是被在1维、2维或者3维姿势。姿势可以采取通过在预定位置的单次触摸的小键盘录入形式;通过将物体从一个点移动到另一点的在屏幕上的类似鼠标的移动,其中移动被识别;2D或者3D的更加复杂的移动,这可以是简单的字符识别或者姿势或形状识别的基础。以上所有这些可以用来生成到父设备的输入,然后可以对该父设备起作用。
物体可以是手指或者拇指或者其他类型的指针或者适当的物体。当正在识别姿势时,这些姿势可以通过若干手指或者指针设备的组合来录入。
图4展示了利用两个邻近检测器配置进行操作的系统,其中在x-y方向上的感测区域430由被传感器照明场413、423与接收场414、424的重叠围起的区域确定,并且不需要与父设备的任何一个维度有关。
感测区域430的厚度(即,感测区域的z轴距离)应当尽可能薄,以便创建良好限定的感测层。利用较薄的感测区域430,在当物体进入感测区域430时,在系统检测到存在和不存在物体之间存在较快速且更好限定的转换。此外,对于给定的照明源411、421而言,通过将输出聚焦到较小的感测区域430,光学功率密度增加。这具有的结果是传感器可以在较短的时间段中收集相同数目的光子。
对于使用具有2°的z轴光束角的激光器并且阈值距离dth为20cm的照明源411、421而言,感测区域430的厚度在3mm与4mm之间,并且优选地为3.49mm。对于使用具有15°的z轴光束角的发光二极管(LED)的照明源411、421而言,感测区域430的厚度在20mm与30mm之间,并且优选地为26.3mm。感测层的厚度由照明和感测光学器件的z轴光束角决定。z轴光束角由邻近检测器412、422,照明源411、421以及它们的光学器件决定。以下详细说明阈值距离dth
对于两个或者更多个组件或者对而言,每个组件或者每对被顺序地激活。这样,各个邻近检测器与其耦合到的照明源这两者同时都被激活。当一个组件或者一对激活时,其余组件是停用的。因此,激活的邻近检测器将仅接收来自其耦合的照明源的反射光,并且将不接收来自任何其他照明源的反射。此外,存在环境光感测周期,在该周期中,邻近检测器412、422是激活的,并且照明源411、421是停用的。这允许邻近检测器412、422测量环境光水平,这是由于没有竞争的照明源411、421的干扰。
用于邻近检测器的每个箱体的读取的时序、用于不同邻近检测器的读取的时序以及下一帧的开始的时序可由I2C进行配置。在优选的实施例中,每个组件或者每对持续激活100ns(50ns针对箱体A,并且50ns针对箱体B)。此外,环境感测周期优选地为50ns。
优选地,照明源411、421发射不可见光--即在可见光谱外的电磁辐射(例如,红外光)。优选地,邻近检测器412、422具有颜色滤波器,以滤除不是由耦合到邻近检测器的照明源生成的光。考虑到已经从物体反射的光将与并未反射的光具有不同的相位,所以邻近检测器412、422可以具有相位板,该相位板被选择成滤除具有指示其不是从感测区域430内的物体反射的相位的光。当物体440进入感测区域430时,来自当前激活的照明源的光将从物体反射到当前激活的邻近检测器。当前激活的邻近检测器然后将报告指示到物体的距离的值。该值然后可以用来计算从物体到传感器的距离。例如,该计算可以如上关于SPAD邻近检测器讨论的那样来计算。通过依次循环经过组件的每个,可以从每个邻近检测器获得指示到物体的距离的值,并且继而获得到物体的实际距离的值。
每个邻近检测器-照明源组件或者对可以具有波长匹配的颜色滤波器,以降低或者消除来自其他检测器-照明源组件或者对的干扰。滤除来自其他检测器-照明源组件或者对的波长允许针对所有邻近检测器的装箱(binning)序列同时运行,这是由于滤波器移除了干扰源。因此可以以功耗为代价,同时利用传感器装箱来增加帧速率(由于照明源将所有都同时启用,而不是顺序启用,并且照明源是系统中的功率的主导消耗者)。
在两个组件(或者两对)410、420的情况下,获得了两个距离(r1和r2)。使用传感器之间的距离(d),然后可以计算物体440相对于父设备400的位置。在图4的本实施例中,r1是从第一邻近检测器412到物体440的距离。第一邻近检测器412限定笛卡尔坐标平面的原点。r2是从图4中的从第二邻近检测器422到物体440的距离。第一邻近检测器412和第二邻近检测器422位于限定笛卡尔坐标平面的x轴的线上,并且d是第一邻近检测器412和第二邻近检测器422之间的距离。
在该情况中,然后可以根据以下方程计算物体440相对于父设备400的位置的笛卡尔坐标:
x = r 1 2 - r 2 2 + d 2 2 d
y = r 1 2 - ( r 1 2 - r 2 2 + d 2 2 d ) 2
可以使用处理装置经由在父设备400中的软件或者固件来计算物体440相对于父设备的位置,或者对于包括组件的系统而言,经由嵌入在一个或者多个组件中的软件或者固件来计算物体440相对于父设备的位置,或者任何它们的任何混合来计算物体440相对于父设备的位置。
物体440的位置的经计算的笛卡尔坐标由x和y给出。从具有距x轴大于阈值距离dth的物体440的反射(其中该距离平行于y轴测量)被拒绝,以消除生成不希望的输入给父设备的背景物体。阈值距离dth可以基于应用来选择。例如,对于诸如移动电话之类的移动设备而言,该设备将很可能靠近用户,并且因此较短的dth(例如,20cm)是适当的。对于其他设备而言,不同的阈值距离将是适当的。
由该系统输出的坐标然后可以由父设备400以与来自常规触摸屏的输出类似的方式使用,从而对父设备400的用户界面提供适当的控制。类似的,与物体的多个接触之一之间的相对移动可以用来确定第一位置、第二位置以及它们之间的距离。此外,两个位置的距离测量之间的时间可以允许检测移动的速度。同样,这些测量可以都用作父设备的输入。
由于感测区域430的尺度与父设备400的尺度去耦合,所以与触摸屏或者轨迹板先前可以提供的相比,可以提供较大的感测区域430。
所提出的输入设备也可以支持可变的敏感度设置,这可以通过改变虚拟触摸屏移动到父设备显示器的映射来实现。例如,输入设备可以被配置成使得物体从检测区域的左边缘移动到右边缘仅使父设备上的光标横跨父设备的显示器的一半。检测到的物体跨感测区域430移动速度可以用来自动地调制系统的敏感度,从而允许快速扫动以更远地移动光标以使操作简易,而较慢扫动用于更精确的控制。这允许比触摸屏用户界面更精确的定位,这是由于触摸屏界面和以前提到的触摸物体尺寸所要求的1∶1映射以及用户视野阻挡问题。所提出的输入设备也比基于轨迹板的解决方案更加精确,这是由于该输入设备允许提供比轨迹板可以提供的更大的感测区域。这继而使得输入设备中较低的移动敏感度是实际可行的,从而不要求精细的马达控制。
由于输入设备并不要求用户与特定区域或者显示器接触,所以这对于在延长的时间段中使用更加便利。
如果组件410、420位于在父设备的一个边缘上,该父设备在使用中面向下,则在正常使用中,感测区域430将朝下,并且因此将不易于受到来自父设备之上的外部照明源(诸如日光等)的干扰。边缘指的是表面的将父设备的正面(即,包括显示器的面)与背面(即,位于基本上平行于正面的平面中的面)连接起来的部分,其中作为边缘的表面的部分位于不平行于父设备的正面的平面中。
此外,可以将两个或者更多个组件定位在父设备的周长处的每个边缘上,从而使得无论如何持握父设备两个或者更多个组件在使用中都将面向下。
将理解,可以应用本发明的多种变形,并且这些多种变形旨在涵盖在权利要求书的范围内。
例如,两个或者更多个组件不需要定位在父设备的底部边缘上,并且可以定位成使得感测区域覆盖在父设备的正面。
此外,可能的是,可以一次检测到多于一个的物体。因此,一个手指可以用来控制指针在父设备的显示器上的位置,而另一个手指可以用来执行诸如选择在显示器上高亮或者由指针指向的图标。此外,保持静止某一时间段的所检测到的物体也可以用作一种选择图标或者命令的方法。
此外,感测区域430可以被划分成提供不同功能性的多个区域。例如,在底部和一个侧边的移动可以用于滚动目的,并且在另一例边的移动可以用于缩放。
利用以特定模式的移动,姿势识别也可以用来触发附加的命令。例如,在互联网浏览器中针对前进命令的顺时针圆周运动,以及针对后退命令的逆时针圆周运动。
也将理解,本文中描述的输入设备可以与大量父设备一起使用。例如,输入设备可以在移动电话、膝上式电脑、个人计算机、服务器、智能手机、游戏控制器、平板电脑、个人数字助理(PDA)、照相机或者数字音频播放器中使用。输入设备也可以在使用小键盘的其他类型的环境中使用,诸如到建筑物或者其他位置的接入系统、生物计量传感器等。

Claims (20)

1.一种用于电子设备的输入设备,所述输入设备包含:
第一邻近检测器和第二邻近检测器;
光源,被配置成将具有多种不同调制频率的光发射至感测区域,以及
处理器;
其中所述光源发射光到感测区域,当所述感测区域的邻近区域中存在物体时,所述光被反射回到所述邻近检测器,从而使得所述第一邻近检测器生成指示第一距离的输出,所述第一距离是所述第一邻近检测器和所述物体之间的距离;
以及其中所述第二邻近检测器生成指示第二距离的输出,所述第二距离是所述第二邻近检测器和所述物体之间的距离;
其中所述第一邻近检测器和所述第二邻近检测器均包括单光子雪崩二极管;
其中所述处理器基于所述第一距离、所述第二距离以及所述第一邻近检测器与所述第二邻近检测器之间的距离来计算所述物体的二维位置并且使用具有所述多种不同调制频率的光来操作所述光源。
2.根据权利要求1所述的输入设备,其中,处理器将所述物体的所述二维位置提供为具有其原点定位在所述第一邻近检测器处的平面的笛卡尔坐标,其中x轴穿过所述第二邻近检测器。
3.根据权利要求2所述的输入设备,其中,所述物体的x坐标由给出,并且所述物体的y坐标由给出,其中r1是所述第一距离,是r2所述第二距离,并且d是两个光检测器之间的距离。
4.根据权利要求1所述的输入设备,其中,所述邻近检测器包括单光子雪崩二极管的阵列。
5.根据权利要求4所述的输入设备,其中,所述单光子雪崩二极管的阵列包括布置成行与列的多个单光子雪崩二极管。
6.根据权利要求4或者5所述的输入设备,其中,所述单光子雪崩二极管的阵列连接到多工器和计数器,以允许反射照明的测量。
7.根据权利要求1-5中任一项所述的输入设备,其中,来自所述邻近检测器的输出被传递到所述电子设备的操作系统,以实现一个或者多个控制功能。
8.根据权利要求1-5中任一项所述的输入设备,其中,所述邻近检测器检测由所述物体反射的光的相位。
9.根据权利要求1所述的输入设备,其中,每个邻近检测器与光源相关联,并且每个邻近检测器和与其相关联的光源彼此邻近定位。
10.根据权利要求9所述的输入设备,包括用于顺序地激活每个邻近检测器和与其相关联的光源的控制装置。
11.根据权利要求1-5中任一项所述的输入设备,其中,所述邻近检测器包括颜色滤波器。
12.根据权利要求11所述的输入设备,其中每个邻近检测器和与其相关联的光源具有波长匹配的颜色滤波器,以用于滤除来自于与其他邻近检测器相关联的光源的波长。
13.根据权利要求1-5中任一项所述的输入设备,其中,所述邻近检测器还包括相位板。
14.根据权利要求1-5中任一项所述的输入设备,其中,所述光源适于发射不可见光。
15.一种包括前述任一权利要求所述的输入设备的电子设备。
16.根据权利要求15所述的电子设备,其中所述电子设备是电话。
17.根据权利要求15所述的电子设备,其中所述电子设备是计算机。
18.一种用于控制使用包含第一邻近检测器、第二邻近检测器和光源的输入设备的电子设备的方法,其中所述第一邻近检测器和所述第二邻近检测器包括单光子雪崩二极管并且在所述电子设备的外围边缘处间隔开,所述方法包括:
将具有多种不同调制频率的光从光源发射到感测区域;
在所述第一邻近检测器和所述第二邻近检测器处接收由在所述感测区域的邻近区域中的物体反射的光;
导出指示所述物体距所述第一邻近检测器和所述第二邻近检测器的第一距离和第二距离的输出;以及
使用处理器基于所述第一距离、所述第二距离以及所述第一邻近检测器与所述第二邻近检测器之间的距离来计算所述物体的二维位置,并且使用具有所述多种不同调制频率的光来操作所述光源。
19.根据权利要求18所述的方法,其中,计算步骤将所述物体的所述二维位置提供为具有其原点定位在所述第一邻近检测器处的平面的笛卡尔坐标,其中x轴穿过所述第二邻近检测器。
20.根据权利要求19所述的方法,其中,所述物体的x坐标由给出,并且所述物体的y坐标由给出,其中r1是所述第一距离,是r2所述第二距离,并且d是两个光检测器之间的距离。
CN201110378639.XA 2010-11-30 2011-11-21 改进的输入设备和相关联的方法 Active CN102591488B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GBGB1020282.8A GB201020282D0 (en) 2010-11-30 2010-11-30 An improved input device and associated method
GB1020282.8 2010-11-30

Publications (2)

Publication Number Publication Date
CN102591488A CN102591488A (zh) 2012-07-18
CN102591488B true CN102591488B (zh) 2016-04-27

Family

ID=43500863

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201120473731XU Expired - Lifetime CN202600634U (zh) 2010-11-30 2011-11-21 用于电子设备的输入设备以及包括该输入设备的电子设备
CN201110378639.XA Active CN102591488B (zh) 2010-11-30 2011-11-21 改进的输入设备和相关联的方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201120473731XU Expired - Lifetime CN202600634U (zh) 2010-11-30 2011-11-21 用于电子设备的输入设备以及包括该输入设备的电子设备

Country Status (4)

Country Link
US (1) US9195347B2 (zh)
EP (1) EP2458484B1 (zh)
CN (2) CN202600634U (zh)
GB (1) GB201020282D0 (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201020282D0 (en) * 2010-11-30 2011-01-12 Dev Ltd An improved input device and associated method
US8730190B2 (en) * 2011-01-13 2014-05-20 Qualcomm Incorporated Detect motion generated from gestures used to execute functionality associated with a computer system
GB2494663A (en) 2011-09-14 2013-03-20 St Microelectronics Res & Dev A system and corresponding method for monitoring vibration isolators
WO2013142958A1 (en) * 2012-03-30 2013-10-03 Smart Technologies Ulc Method for generally continuously calibrating an interactive input system
GB2504291A (en) * 2012-07-24 2014-01-29 St Microelectronics Ltd A proximity and gesture detection module
CN102854981A (zh) * 2012-07-30 2013-01-02 成都西可科技有限公司 基于体感技术的虚拟键盘文字输入方法
GB2510891A (en) * 2013-02-18 2014-08-20 St Microelectronics Res & Dev Apparatus
CN104122541B (zh) 2013-04-28 2016-08-17 意法半导体研发(深圳)有限公司 具有互连层的接近检测器设备及相关方法
JP6372487B2 (ja) * 2013-06-26 2018-08-15 ソニー株式会社 情報処理装置、制御方法、プログラム、および記憶媒体
CN104347644B (zh) 2013-07-25 2018-06-19 意法半导体研发(深圳)有限公司 具有透镜组件的图像检测器及相关方法
US9433065B2 (en) * 2014-11-05 2016-08-30 Stmicroelectronics (Research & Development) Limited Lighting system including time of flight ranging system
CA2938990A1 (en) * 2015-08-17 2017-02-17 Zurn Industries, Llc Time-of-flight recognition system for a bathroom fixture
US20170090608A1 (en) * 2015-09-30 2017-03-30 Apple Inc. Proximity Sensor with Separate Near-Field and Far-Field Measurement Capability
US20170351336A1 (en) * 2016-06-07 2017-12-07 Stmicroelectronics, Inc. Time of flight based gesture control devices, systems and methods
US10061441B2 (en) * 2016-12-27 2018-08-28 Microvision, Inc. Touch interactivity with occlusions in returned illumination data
US11002855B2 (en) 2016-12-27 2021-05-11 Microvision, Inc. Occlusion-based height estimation
US10761188B2 (en) 2016-12-27 2020-09-01 Microvision, Inc. Transmitter/receiver disparity for occlusion-based height estimation
CN109426355B (zh) * 2017-08-31 2022-12-30 华为终端有限公司 一种电子设备的输入方法、输入装置及电子设备
US11393346B1 (en) * 2018-06-11 2022-07-19 Amazon Technologies, Inc. Location beacon using pre-existing infrastructure
US11698457B2 (en) * 2019-09-04 2023-07-11 Pixart Imaging Inc. Object detecting system and object detecting method
CN112860053B (zh) * 2019-11-28 2024-02-20 京东方科技集团股份有限公司 手势识别装置、手势识别方法、计算机设备和存储介质
CN116097124A (zh) 2020-06-24 2023-05-09 斯洛文阀门公司 混合飞行时间传感器和ir传感器
CN112860200A (zh) * 2021-01-28 2021-05-28 广州视源电子科技股份有限公司 显示控制方法、装置、存储介质及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1170869A (zh) * 1996-05-22 1998-01-21 杰维斯·B·韦布国际公司 光学位置传感器
US7301608B1 (en) * 2005-01-11 2007-11-27 Itt Manufacturing Enterprises, Inc. Photon-counting, non-imaging, direct-detect LADAR
CN101802760A (zh) * 2007-08-30 2010-08-11 奈克斯特控股公司 具有改进照明的光学触摸屏
CN202600634U (zh) * 2010-11-30 2012-12-12 意法半导体(R&D)有限公司 用于电子设备的输入设备以及包括该输入设备的电子设备

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4157223B2 (ja) 1999-04-13 2008-10-01 Hoya株式会社 3次元画像入力装置
US6535694B2 (en) 2001-02-12 2003-03-18 Thomson Licensing S.A. Finger actuated device having a proximity detector
US6781133B2 (en) * 2001-11-01 2004-08-24 Radiation Monitoring Devices, Inc. Position sensitive solid state detector with internal gain
US7359041B2 (en) 2003-09-04 2008-04-15 Avago Technologies Ecbu Ip Pte Ltd Method and system for optically tracking a target using a triangulation technique
US7841533B2 (en) * 2003-11-13 2010-11-30 Metrologic Instruments, Inc. Method of capturing and processing digital images of an object within the field of view (FOV) of a hand-supportable digitial image capture and processing system
US7184022B2 (en) 2004-01-16 2007-02-27 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Position determination and motion tracking
US7262402B2 (en) 2005-02-14 2007-08-28 Ecole Polytechnique Federal De Lausanne Integrated imager circuit comprising a monolithic array of single photon avalanche diodes
JP3938193B2 (ja) * 2005-10-07 2007-06-27 松下電器産業株式会社 データ処理装置
US20070109527A1 (en) 2005-11-14 2007-05-17 Wenstrand John S System and method for generating position information
US8355117B2 (en) 2005-12-21 2013-01-15 Ecole Polytechnique Federale De Lausanne Method and arrangement for measuring the distance to an object
WO2008068607A2 (en) * 2006-12-08 2008-06-12 Flatfrog Laboratories Ab Position determination in optical interface systems
WO2008075194A2 (en) * 2006-12-19 2008-06-26 Inverness Medical Switzerland Gmbh Assay device and method
US7468785B2 (en) 2007-02-14 2008-12-23 Lumio Inc Enhanced triangulation
GB2456149B (en) * 2008-01-03 2012-05-30 Toshiba Res Europ Ltd A photon detection system and a method of photon detection
WO2009120568A2 (en) * 2008-03-24 2009-10-01 Nanolambda, Inc. Multi-purpose plasmonic ambient light sensor and visual range proximity sensor
EP2283383B1 (en) * 2008-04-11 2013-07-17 École Polytechnique Fédérale de Lausanne (EPFL) Time-of-flight based imaging system using a display as illumination source
US8295903B2 (en) * 2008-05-25 2012-10-23 Auraprobe, Inc. Electron avalanche putative energy field analyzer
DE112009002612B4 (de) * 2008-12-04 2015-07-23 Mitsubishi Electric Corporation Anzeige-Eingabevorrichtung, Navigationssystem mit einer Anzeige-Eingabevorrichtung sowie Fahrzeuginformationssystem mit einer Anzeige-Eingabevorrichtung
US7896498B2 (en) * 2009-03-30 2011-03-01 Ottawa Hospital Research Institute Apparatus and method for optical measurements
US20100295821A1 (en) * 2009-05-20 2010-11-25 Tom Chang Optical touch panel
KR101623008B1 (ko) * 2009-10-23 2016-05-31 엘지전자 주식회사 이동 단말기
KR101613555B1 (ko) * 2009-10-26 2016-04-19 엘지전자 주식회사 이동 단말기
GB0921216D0 (en) * 2009-12-03 2010-01-20 St Microelectronics Res & Dev Improved touch screen device
US8742316B2 (en) * 2009-12-09 2014-06-03 Electronics And Telecommunications Research Institute Photo detector having coupling capacitor

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1170869A (zh) * 1996-05-22 1998-01-21 杰维斯·B·韦布国际公司 光学位置传感器
US7301608B1 (en) * 2005-01-11 2007-11-27 Itt Manufacturing Enterprises, Inc. Photon-counting, non-imaging, direct-detect LADAR
CN101802760A (zh) * 2007-08-30 2010-08-11 奈克斯特控股公司 具有改进照明的光学触摸屏
CN202600634U (zh) * 2010-11-30 2012-12-12 意法半导体(R&D)有限公司 用于电子设备的输入设备以及包括该输入设备的电子设备

Also Published As

Publication number Publication date
US20120194479A1 (en) 2012-08-02
EP2458484B1 (en) 2019-08-07
EP2458484A3 (en) 2015-01-14
US9195347B2 (en) 2015-11-24
EP2458484A2 (en) 2012-05-30
CN202600634U (zh) 2012-12-12
GB201020282D0 (en) 2011-01-12
CN102591488A (zh) 2012-07-18

Similar Documents

Publication Publication Date Title
CN102591488B (zh) 改进的输入设备和相关联的方法
US9058081B2 (en) Application using a single photon avalanche diode (SPAD)
US10324566B2 (en) Enhanced interaction touch system
US10437391B2 (en) Optical touch sensing for displays and other applications
CN106133664B (zh) 触摸传感器中的频率转换
US9264037B2 (en) Keyboard including movement activated optical keys and related methods
CN101663637B (zh) 利用悬浮和点击输入法的触摸屏系统
US8115753B2 (en) Touch screen system with hover and click input methods
US8872800B2 (en) Optical tablet stylus and indoor navigation system
US8681124B2 (en) Method and system for recognition of user gesture interaction with passive surface video displays
CN102741782A (zh) 用于位置探测的方法和系统
KR20080044017A (ko) 터치 스크린
TWI461990B (zh) 光學影像式觸控裝置與觸控影像處理方法
US20120133617A1 (en) Application using a single photon avalanche diode (spad)
US9285894B1 (en) Multi-path reduction for optical time-of-flight
GB2485997A (en) Camera using a Single Photon Avalanche Diode (SPAD) array
WO2018214691A1 (en) Optical touch sensing for displays and other applications
US8896553B1 (en) Hybrid sensor module
JP2005242452A (ja) 座標入力装置
TWM409651U (en) Image reading module

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant