CN102981608A - 使用多分段光电二极管和一个或更少的照明源检测手势的方法 - Google Patents
使用多分段光电二极管和一个或更少的照明源检测手势的方法 Download PDFInfo
- Publication number
- CN102981608A CN102981608A CN2012102255468A CN201210225546A CN102981608A CN 102981608 A CN102981608 A CN 102981608A CN 2012102255468 A CN2012102255468 A CN 2012102255468A CN 201210225546 A CN201210225546 A CN 201210225546A CN 102981608 A CN102981608 A CN 102981608A
- Authority
- CN
- China
- Prior art keywords
- segmentation
- moving
- maximal value
- negative
- goal problems
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000005286 illumination Methods 0.000 title abstract description 8
- 239000013598 vector Substances 0.000 claims abstract description 57
- 230000008569 process Effects 0.000 claims abstract description 12
- 230000011218 segmentation Effects 0.000 claims description 224
- 239000002131 composite material Substances 0.000 claims description 68
- 238000004458 analytical method Methods 0.000 claims description 8
- 238000007792 addition Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 abstract description 4
- 239000010410 layer Substances 0.000 description 26
- 241001247287 Pentalinon luteum Species 0.000 description 25
- 239000002184 metal Substances 0.000 description 25
- 238000010276 construction Methods 0.000 description 20
- 230000003287 optical effect Effects 0.000 description 15
- 239000000758 substrate Substances 0.000 description 14
- 238000002955 isolation Methods 0.000 description 12
- 230000000007 visual effect Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 7
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 6
- 238000003491 array Methods 0.000 description 6
- 230000001413 cellular effect Effects 0.000 description 6
- 230000014509 gene expression Effects 0.000 description 6
- 230000001965 increasing effect Effects 0.000 description 6
- 238000009792 diffusion process Methods 0.000 description 5
- 239000004065 semiconductor Substances 0.000 description 5
- 230000000712 assembly Effects 0.000 description 4
- 238000000429 assembly Methods 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 4
- 239000011229 interlayer Substances 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000003760 hair shine Effects 0.000 description 3
- 238000006116 polymerization reaction Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 235000012239 silicon dioxide Nutrition 0.000 description 3
- 239000000377 silicon dioxide Substances 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003071 parasitic effect Effects 0.000 description 2
- 238000002161 passivation Methods 0.000 description 2
- 230000005622 photoelectricity Effects 0.000 description 2
- 230000011514 reflex Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 239000012780 transparent material Substances 0.000 description 2
- 238000011282 treatment Methods 0.000 description 2
- 229940126062 Compound A Drugs 0.000 description 1
- 241000196324 Embryophyta Species 0.000 description 1
- NLDMNSXOCDLTTB-UHFFFAOYSA-N Heterophylliin A Natural products O1C2COC(=O)C3=CC(O)=C(O)C(O)=C3C3=C(O)C(O)=C(O)C=C3C(=O)OC2C(OC(=O)C=2C=C(O)C(O)=C(O)C=2)C(O)C1OC(=O)C1=CC(O)=C(O)C(O)=C1 NLDMNSXOCDLTTB-UHFFFAOYSA-N 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
- G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J1/00—Photometry, e.g. photographic exposure meter
- G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
- G01J1/44—Electric circuits
- G01J2001/4446—Type of detector
- G01J2001/446—Photodiode
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
- Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
- Y02B20/30—Semiconductor lamps, e.g. solid state lamps [SSL] light emitting diodes [LED] or organic LED [OLED]
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Position Input By Displaying (AREA)
- Geophysics And Detection Of Objects (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明的实施例公开了一种使用多分段光电二极管和一个或更少的照明源检测手势的方法。手势感测设备包括多分段光传感器和用于处理从传感器输出的所感测电压的控制电路。控制电路处理感测电压信号以确定相对于分段光传感器的目标移动。控制电路包括算法，该算法被配置成使用从分段光传感器输出的感测电压信号来计算多个差分模拟信号之一。根据所计算的差分模拟信号确定向量，该向量用于确定目标移动的方向和/或速度。
Description
相关申请的交叉引用
本专利申请是于_______提交，标题为“Optical Gesture Sensor UsingA Single Illumination Source，”的美国专利申请序列号(代理人案卷号No.MAXIM-06401)的部分延续案。美国专利申请序列号(代理人案卷号No.MAXIM-06401)要求由这些相同申请人在2011年5月5日提交的、标题为“Optical Gesture Sensor Using A SingleIllumination Source”的美国临时申请序列号61/483,034的优先权。本申请通过引用并入序列号为61/483,034的美国临时申请和序列号(代理人案卷号为No.MAXIM-06401)的美国专利申请的全文。
技术领域
本发明涉及电子设备的显示器。更具体地，本发明涉及感测并且确定物理手势的设备。
背景技术
手势传感器是一种如下的人机界面设备，该设备支持检测物理移动而并不需要用户实际接触手势传感器驻留于其中的设备。所检测的移动继而可以用作设备的输入命令。在某些应用中，设备被编程以识别明显的非接触手部移动，诸如从左至右、从右至左、从上至下、从下至上、从入至出、以及从出至入的手部移动。手势传感器常用于手持设备(诸如平板式计算设备和智能手机)以及其他便携设备(诸如膝上型电脑)。手势传感器也可以在检测视频游戏玩家的移动的视频游戏控制台中实现。
许多常规手势传感器实施方式使用三个或更多个照明源(诸如发光二极管(LED))以及光电传感器(诸如光检测器)。照明源被相继打开和关闭、或闪烁，以便传感器从闪烁光的反射获取空间信息。图1示出常规手势传感器的简化框图。光电传感器4位于LED1、LED 2、LED 3的邻近。控制电路5被编程以连续开启和关闭LED1-3并分析光电传感器4感测的所得测量。由光电传感器4感测的数据针对每个LED单独存储。例如，对应于LED 1的每次闪烁所感测的数据被存储在LED 1寄存器中，对应于LED 2的每次闪烁所感测的数据被存储在LED 2寄存器中，对应于LED 3的每次闪烁所感测的数据被存储在LED 3寄存器中。结果是针对每个LED的时域信号。图2示出使用图1的手势传感器检测移动目标的示例性方法。通过观察来自相同轴LED的所感测信号之间的相对延迟来检测移动。例如，如图2所示，为了检测从左至右或从右至左的移动，比较由LED1和LED 2感测的信号。LED 1在和LED 2不同的时间闪烁。LED 1和LED 2置于已知位置并以已知顺序开启和关闭。当来自LED的光照射在LED之上移动的目标时，光从移动目标反射回光电传感器4。所感测的反射光被转换为电压信号，该电压信号被发送到控制电路5。控制电路5包括使用LED位置、LED点亮顺序以及所接收感测数据以确定目标的相对移动的算法。相继的LED的闪烁之间的在时间上的分隔相比于移动目标的速度小地多，并且因此当比较一个LED和另一LED的时域信号时它可以忽略不计。
图2显示了针对从左至右的移动和从右至左的移动的两种情况的时域感测电压信号。标记为“来自LED 1的信号”的曲线显示了从LED 1的重复闪烁得到的感测电压。每个曲线的下部表示目标没有在LED 1之上经过或与其接近。换言之，目标不在光电传感器4的“视场”内或覆盖区域中，凭借该视场，从LED 1发射的光可以从目标反射到光电传感器4上。如果目标不在与LED 1相关的光电传感器4的视场内，则光电传感器4并不感测从LED 1发射的光的任何反射。曲线的高部表示目标在与LED 1相关的视场内，这表示目标正在LED 1之上经过或接近。标记为“来自LED 2的信号”的曲线显示从LED 2的重复闪烁所得的感测电压。LED 1和LED 2交替闪烁，从而当LED 1开启时，LED 2关闭，反之亦然。当目标位于对应于LED 1的视场内而不在对应于LED 2的视场内时，与LED
1的闪烁相关的感测电压高，而与LED 2的闪烁相关的感测电压低。简而言之，这对应于目标处于LED 1之上或与其接近。当目标被放置在LED 1和LED 2之间的中间时，光电传感器4检测从LED 1和LED 2两者的闪烁所反射的光，从而产生对应于LED 1和LED 2两者的高感测电压电平。当目标正处于LED 2之上或与其邻近时，与LED 2的闪烁相关的感测电压为高值，但是与LED 1的闪烁相关的感测电压为低值。当目标没有放置在LED 1或LED 2任一者之上或LED 1和LED 2之间时，该光电传感器4并不感测与任一LED相关联的反射光，并且对应的感测电压电平为低值。
如图2的从左至右移动信号中所示，对于从左至右的移动而言，“来自LED 1的信号”的感测电压电平比“来自LED 2的信号”的感测电压电平先变高。换言之，当目标从左向右移动时，“来自LED2的信号”的电压比对时间的曲线相对于“来自LED 1的信号”的电压比对时间的曲线延迟。
图2还显示了对于从右至左的移动的情况所感测电压信号。对于从右至左移动，如图2的从右至左移动信号所示，“来自LED 2的信号”的感测电压电平比“来自LED 1的信号”的感测电压电平早变高。换言之，当目标正从右至左移动时，“来自LED 1的信号”的电压比对时间的曲线相对于“来自LED 2的信号”的电压比对时间的曲线延迟。
从上至下的移动(其中上下都被认为是y-轴移动)使用LED 2和LED 3以及对应的电压比对时间的数据类似地进行确定。控制电路5从光电传感器4接收感测电压并以与上述x-轴相关的描述的相似方式确定y-轴的相对目标移动。
多个照明源配置的缺陷在于，多数量的照明源部件必须集成在设备内。随着不断减小的设备尺寸，不期望附加的部件。
发明内容
手势感测设备的实施例包括单个光源和多分段单个光电传感器，或光电传感器阵列，本文中统称为分段光电传感器。基于诸如手或手指之类的目标的位置，光修改结构将来自光源的反射光中继到分段光电传感器的不同分段上。光修改结构可以是光学透镜结构或机械结构。光电传感器的不同分段感测反射光并且输出对应的感测电压信号。控制电路接收并且处理感测电压信号以确定相对于分段光电传感器的目标移动。控制电路包括算法，该算法被配置成使用从分段光电传感器输出的感测电压信号来计算多个差分模拟信号之一。在一些实施例中，根据所计算的差分模拟信号确定向量，该向量用于确定目标移动的方向和/或速度。
一方面，公开一种检测手势的方法。该方法包括配置具有多个分段的分段传感器，每个分段输出对应于由该分段感测的光的分段信号；根据从多个分段输出的分段信号计算一个或多个差分信号；并且通过向一个或多个差分信号应用向量分析来确定经过分段传感器的目标的目标移动方向。
该方法还可以包括：通过向一个或多个差分信号应用向量分析来确定经过分段传感器的目标的目标移动速度的比例值。在一些实施例中，由分段感测的光包括源自照明源并从目标反射的光。在其他一些实施例中，由分段感测的光包括环境光。在一些实施例中，一个或多个差分信号包括一个或多个差分复合信号，其中复合信号是通过将两个或更多个分段信号相加而形成的信号。
计算一个或多个差分信号可以包括：计算第一差分信号，表示沿着x-轴的目标移动方向。在一些实施例中，第一差分信号包括正的最大值和负的最大值。如果在时间上正的最大值先于负的最大值，则该目标移动方向可以被确定在正的x-方向，如果在时间上负的最大值先于正的最大值，则该目标移动方向可以被确定在负的x-方向。计算一个或多个差分信号可以包括：计算第二差分信号，表示沿着y-轴的目标移动方向。在一些实施例中，第二差分信号包括正的最大值和负的最大值。如果在时间上正的最大值先于负的最大值，则目标移动方向可以被确定在正的y-方向，如果在时间上负的最大值先于正的最大值，则目标移动方向可以被确定在负的y-方向。
该方法还可以包括：使用第一差分信号的相继零交叉之间的时间差计算目标移动速度沿着x-轴的比例值，并使用第二差分信号的相继零交叉之间的时间差计算目标移动速度沿着y-轴的比例值。该方法还可以包括：叠加目标移动速度沿着x-轴的比例值和目标移动速度沿着y-轴的比例值以形成目标向量。该方法还可以包括：根据目标向量确定预定的方向集合之一。预定的方向集合可以包括：正的x-方向，负的x-方向，正的y-方向和负的y-方向。在一些实施例中，目标向量具有目标向量角度以及确定预定的方向集合之一包括：将目标向量角度与确定的阈值角度集合进行比较。在其他一些实施例中，确定预定的方向集合之一包括：将比较目标向量与预定的分布图案集合进行比较，每个分布图案对应于预定的方向集合中的一个方向。在该备选实施例中，比较目标向量可以包括：确定与将目标向量与每个分布图案进行比较相关联的置信度值，并根据最高置信度值选择预定的方向集合之一。
另一方面，公开一种装置，该装置包括：具有多个分段的分段传感器，每个分段输出对应于由分段感测的光的分段信号；存储器，配置成存储分段信号；以及处理器，耦合到存储器。处理器包括程序指令，该程序指令配置成：根据从多个分段输出的分段信号计算一个或多个差分信号；通过向一个或多个差分信号应用向量分析来确定经过分段传感器的目标的目标移动方向。
附图说明
图1示出常规手势传感器的简化框图。
图2示出用于使用图1的手势传感器检测移动目标的示例性方法。
图3示出根据一个实施例的手势感测设备的概念图。
图4和图5示出响应于在多个方向移动的目标而从分段光电传感器输出的信号产生的示例性复合信号。
图6示出根据一个实施例的日规配置的截面视图。
图7示出图6的单元的自上而下视图。
图8示出图7的单元旋转90度。
图9示出经配置成形成四个分段的多个单元的自上而下视图。
图10示出根据一个备选实施例的日规配置的截面视图。
图11示出根据另一备选实施例的日规配置的截面视图。
图12示出根据实施例的针孔(pinhole)配置的截面视图。
图13示出图12的单元的自上而下的平面视图。
图14示出根据一个实施例的罩盖(canopy)配置的截面视图。
图15示出根据一个实施例的四角(corner quad)配置的自上而下视图。
图16示出图15的四角配置的截面视图。
图17示出在百叶帘配置中所用的成角壁的示例性实施方式。
图18示出在百叶帘配置中的相邻单元。
图19示出根据一个实施例的微四角单元配置的自上而下视图。
图20示出对应于从左至右图像移动经过图3的分段传感器的示例性波形。
图21示出对应于从上至下图像移动经过分段传感器的示例性波形，而目标移动如图20所示从右至左。
图22示出对应于从左至右图像移动经过分段传感器的示例性波形，而目标移动如图23所示从下至上。
图23示出对应于从上至下图像移动经过图3的分段传感器的示例性波形。
图24-图27分别示出与图20-图23的波形类似的波形，除了对应于图24-图27中的波形的目标移动比起对应于图20-图23中的波形的目标移动更快。
图28示出对应于经识别的方向左、右、上、下的四个高斯分布。
图29示出光电二极管分段的示例性4×4阵列。
具体实施方式
本申请的实施例涉及手势感测设备以及对应的用于检测手势的算法。本领域技术人员将理解，下面详细描述的设备和算法只用于示例并非以任何方式限制。设备和算法的其他一些实施例将容易地为具有本公开优势的本领域技术人员所想到。
将详细参考如所附附图所示的设备和算法的实现方式。相同的参考标记将在整个附图和随后的详细描述中用于指示相同或相似的部件。为了清楚起见，并非所有实施方式的常规特征都在此展示和描述。当然，可以理解，在任何这类实际实现方式的开发过程中，很有可能做出专用于多个实现方式的决定以便实现开发者的特定目标，诸如符合应用和商用相关约束，这些特定目标在不同实现方式之间以及不同开发者之间有所不同。此外，将理解，这些开发的努力可以是复杂并且耗时的，但绝不是具有本公开的优势的本领域技术人员的例行任务。
手势感测设备的实施例包括：单个光源和多分段的单个光电传感器，或光电传感器阵列。通过添加诸如光学透镜结构或机械结构之类的光修改结构，基于相对于分段光电传感器的目标位置，从诸如手或手指之类的邻近目标反射的光可以被聚焦和/或导向光电传感器的不同分段上。光电传感器的不同分段同时感测反射光，并且来自每个分段的相对幅度指示目标的移动。控制电路接收和处理来自分段光电传感器的感测数据以确定相对于分段光电传感器的目标移动。一个光电传感器配置比起多个源配置更加紧凑并且更加便宜。手势感测设备的另一个好处是，用户可以通过手势递送设备命令，而不需要激活触摸屏控制器或使用机械按钮。这提供了显著的功率和成本节约。
图3示出根据实施例的手势感测设备的概念图。手势感测设备10包括由LED 11表示的单个照明源，以及分段光电传感器12。在一些实施例中，分段光电传感器12被配置成仅感测光的一个或多个特定波长，诸如从照明源11发出的波长。可以通过使用过滤器实现该配置。分段光电传感器12可以是功能上划分为多个分段的单个传感器或单独的光电传感器的阵列。例如，四分段光电传感器功能上等同于以方形布局布置的四个单独的光电传感器。如本文所用，“分段”是指单个传感器中划分的分段或传感器阵列中的单独的传感器。图3以边视图(标记为12的上部元件)和平面图显示分段光电传感器12以显示不同分段(标记为12的下部元件)。
在图3的示例性配置中，分段光电传感器12包括四个分段，分段A、分段B、分段C和分段D。虽然四分段检测器是最简单的实施方式，但是可以理解，可以增加分段的数量以增加系统的分辨率。随着分段数量的增加，信号处理电子器件将变得日益复杂。每个分段彼此隔离。LED 11邻近分段光电传感器12定位。当移动的目标接近LED 11并且进入分段光电传感器12的对应视场内时，从LED11输出的光从移动的目标反射到分段光电传感器12。手势感测设备10也包括光学透镜结构13以将光聚焦在分段光电传感器12上。聚焦透镜将从移动的目标(诸如手势)反射的光聚焦到在分段光电传感器12之上的空间中。可以理解，只有在“视场”内的反射的光才会聚焦在分段光电传感器12上。虽然在图3中表示为单个元件13，但是光学透镜结构13代表用于将光导向分段光电传感器12的任何数量的透镜和/或光学元件。光学透镜结构和/或光传感器的示例性实现方式如在2011年5月26日提交的、申请序列号为61/490,568、并且标题为“Light Sensor Having Glass Substrate With Lens FormedTherein”的共有和共同待决美国临时专利申请以及在2011年5月31日提交的、序列号为61/491,805、标题为“Light Sensor Having GlassSubstrate With Lens Formed Therein”的共有和共同待决美国临时专利申请中描述，这两个文献通过引用整体并入本文。分段光电传感器12的每个分段向控制电路14输出分段信号，在控制电路14处处理分段信号。
LED 11持续或定期激活以照亮目标。从目标反射的光导致在每个分段光电传感器上的分段信号。这些分段信号经过处理并储存在缓冲存储器中，缓冲存储器与控制电路14集成或与其分离。控制电路14分析所存储的数据并确定是否已检测到有效的手势。相同的数据同样可以使用，从而分段光电传感器12作为邻近检测器操作。相同的光电传感器结构可以与不同的信号处理电路一起使用，从而手势感测设备也用作环境光传感器。
当LED 11加电或闪烁时，如果目标在分段光电传感器12之上的邻近空间中，则目标被照亮。移动的目标在概念上如图3所示为平面反射器。目标反射由光学透镜结构13成像到分段光电传感器12上。图3的示例示出目标的从右至左移动。当目标的边缘移动经过成像区域的中心时，目标的边缘的聚焦图像移动经过分段光电传感器12。分段A和分段C首先响应移动的图像，之后是分段B和分段D。控制电路14可被编程以检测该事件序列，并且识别从右至左的目标移动。类似地，从左至右的目标移动可以通过相反的序列识别，从上至下以及从下至上目标移动这两者可以使用正交信号集合识别。入和出目标移动可以通过感测四个分段A-D之和的绝对幅度而识别，其同样是邻近测量。
图4和图5示出响应于在各种方向移动的目标而从分段光电传感器12输出的信号产生的示例性复合信号。复合信号是两个或更多个分段信号的复合，每个分段信号提供感测电压比对时间的数据。如图4和图5所示的复合信号以及分析复合信号的方法显示了如何分析分段信号以用于确定目标移动的示例性方法。可以理解，备选的分析方法可以应用于分段信号以确定相对目标移动。
参见图4，为了确定目标是否正在从左至右或从左至右移动，来自分段A和分段C的分段信号相加在一起以形成复合信号A+C，而来自分段B和分段D的分段信号相加在一起以形成复合信号B+D。图4示出对应于确定目标的从右至左或从左至右移动的示例性复合信号。从复合信号A+C减去复合信号B+D以形成差分复合信号(A+C)-(B+D)。如果存在从右至左的移动，则差分复合信号(A+C)-(B+D)具有正向峰值，之后是负向峰值，如图4的左下角曲线所示。如果存在从左至右的移动，则差分复合信号(A+C)-(B+D)具有负向峰值，之后是正向峰值，如图4的右下角曲线所示。
注意在图3中，目标的移动方向与分段光电传感器12上的图像的移动方向相反。图像翻转是光学透镜结构13的结果。在如下详细描述的备选实施例中，光学透镜结构由多个机械结构之一取代。在这些备选配置的一些实施例中，分段光电传感器12上的图像以与目标的方向相同的方向移动，并且交换如图4所示的复合信号(A+C)和(B+D)并且翻转差分复合信号(A+C)-(B+D)。如图3所示，当目标从右至左移动时，分段光电传感器12上的图像从左至右移动。当应用于图4时，当目标从右至左移动时，则当目标在右侧时图像最初出现在分段A和分段C上，但图像还没有出现在分段B和分段D上，如图4左上侧曲线所示，所得的复合信号A+C开始增加，但复合信号B+D仍为零。当目标向左侧移动时，图像开始出现在分段B+D上并且还出现在分段A+C上，如图4的中间左侧曲线所示，所得的复合信号B+D开始增加。最后，图像完全出现在所有分段A-D上。当目标图像的尾缘移动离开分段A和分段C时，复合信号A+C返回到零，并且形成差分复合信号(A+C)-(B+D)的负向峰值。
类似地，当目标从左向右移动时，则当目标在左侧时，图像最初出现在分段B和分段D上，但图像还未出现在分段A和分段C上，如图4的右上侧曲线所示，所得的复合信号B+D开始增加，但复合信号A+C仍为零。当目标向右侧移到时，图像开始出现在分段A+C上并且仍出现在分段B+D上，并如图4的中间右侧曲线所示，所得的复合信号A+C开始增加。最后，图像完全出现在所有分段A-D上。当目标图像的尾缘移动离开分段B和D时，复合信号B+D返回到零，并形成差分复合信号(A+C)-(B+D)的正向峰值。
类似地确定上下移动。为了确定目标是否正从上至下或从下至上移动，来自分段A和分段B的分段信号相加在一起以形成复合信号A+B，以及来自分段C和分段D的分段信号相加在一起以形成复合信号C+D。图5示出对应于确定目标的从上至下或从下至上移动的示例性复合信号。从复合信号A+B减去复合信号C+D以形成差分复合信号(A+B)-(C+D)。如果存在从下至上移动，则差分复合信号(A+B)-(C+D)具有正向峰值，之后是负向峰值，如图5的左下角曲线所示。如果存在从上至下移动，差分复合信号(A+B)-(C+D)具有负向峰值，之后是正向峰值，如图5的右下侧曲线所示。
当目标从下至上移动时，则图像最初出现在分段A和分段B上，但图像还未出现在分段C和分段D上。如图5的左上侧曲线所示，所得的复合信号A+B开始增加，但复合信号C+D仍为零。当目标向下移动时，图像开始出现在分段C+D上并且还出现在分段A+B上，如图5的中间左侧曲线所示，所得的复合信号C+D开始增加。最后，图像完全出现在所有分段A-D上。与从右至左移动一样，如图5的左下侧曲线所示，从下至上移动中差分复合信号(A+B)-(C+D)展示正向峰值，之后是负向峰值。可以容易看出，相反的移动(从上至下)形成类似的差分复合信号(A+B)-(C+D)，但具有相反相位，如图5的右下侧曲线所示。
执行附加处理以确定去往和远离分段光电传感器的移动，被称为入移动和出移动。为了确定入移动和出移动，所有四个分段A、B、C、D相加以形成复合信号A+B+C+D。如果复合信号A+B+C+D在给定时段内增加，则确定存在去往分段光电传感器的移动、或进入。如果复合信号A+B+C+D在给定时段内减少，则确定存在远离分段光电传感器的移动，或出去。
一般而言，测量分段并且酌情处理分段信号以确定复合信号的幅度变化。这些幅度变化，当在时间上和其他复合信号的幅度变化相比时，确定将光反射回分段光电传感器的目标的相对移动。
在一些备选实施例中，机械结构用于取代光学透镜结构。机械结构用于影响反射的光被如何导向分段光电传感器。第一机械结构称为日规配置。日规配置实现了物理“壁”，其从分段光电传感器的传感器表面突出。当目标移动经过分段光电传感器之上的空间时，壁有效地在多个传感器分段上投射“阴影”。追踪该阴影并切对应地确定目标移动。
图6示出根据一个实施例的日规配置的截面视图。日规配置提供机械装置，其用于将反射光导向到光电传感器上，该光电传感器在此情形下为光电二极管。中心结构是用于阻挡反射光的物理日规。在壁的两侧上的两个N-EPI到P-衬底的结形成两个光电二极管。壁是一系列金属层，其被构建成分离两个光电二极管。在图6的示例性配置中，壁包括第一金属层M1、第二金属层M2、第三金属层M3、以及顶层金属层TM。每个金属层由钝化层分隔，诸如其中形成有通孔的二氧化硅。可使用常规半导体处理技术形成金属层、钝化层以及通孔。在衬底上形成壁，该衬底经掺杂形成光电二极管，也称为单元。通过N-EPI到P-衬底的结形成第一光电二极管或光电二极管单元。金属接触M1耦合到N-EPI区域，以便接触光电二极管单元A阴极。P-衬底用作光电二极管阳极，并且其对于两个光电二极管单元A和B单元是共同的。存在通过在光电二极管单元A的N-EPI层的顶部上添加P-阱层形成的附加的光电二极管。在P-阱层末端处制成用于P-阱层的接触，其在图6中未显示。在一些实施例中，P-阱光电二极管被用来当没有使用手势功能时测量环境光。该配置和功能在2010年9月23日提交的、序列号为12/889,335、标题为“DoubleLayer Photodiodes in Ambient Light Sensors and Proximity Detectors”的共有的美国专利申请中描述，该申请在此通过引用整体并入本文。以与光电二极管A单元的相同的方式形成第二光电二极管或光电二极管单元B。这两个光电二极管单元A和B由两个P+扩散隔离，P+扩散延伸通过N-EPI区域并与P-衬底接触。在两个P+隔离扩散之间形成N-EPI的岛状物。该岛状物形成附加的二极管，其收集可能从光电二极管单元A之下迁移出的任何杂散光电流，否则由光电二极管单元B收集。附加二极管也收集可能从光电二极管单元B之下迁移出的任何杂散光电流，否则由光电二极管单元A收集。这两个P+隔离扩散和其间的N-EPI岛状物一起形成A/B隔离区域。A/B隔离区域的所有三个部件由第一金属层M1短路，其在顶部金属层TM处连接到接地。在复合A/B隔离区域中收集的任何光电流被分流到接地，从而减少光电二极管单元A和光电二极管单元B之间的串扰。
图6中的结构是包括光电二极管单元A、光电二极管单元B、隔离区域和壁的单元。图7示出图6的单元的自上而下视图。该单元被配置成当壁与待确定的移动方向(左-右)垂直对准时确定左-右移动。为了确定上下移动，单元旋转90度，如图8所示。在图8的单元配置中，壁结构与待确定的上-下移动垂直对准。创建单元的原因在于，光电二极管单元的尺寸受到限制，特别是从壁结构延伸出的光电二极管单元的宽度。这就限制了可以用于测量反射光的表面区域。图9示出根据一个实施例的配置成形成四个块的多个单元的自上而下视图。每个单元与相邻单元通过隔离区域I隔离。在图9中，块1由交替的光电二极管单元A和B的阵列形成。块1和块4相同，块4也包括交替的光电二极管单元A和B的阵列。块1和块4两者中所有的光电二极管单元A短路连接在一起形成聚合的A节点。聚合单元的阵列增加信号强度。类似地，块1和块4中的所有光电二极管单元B被聚合在一起形成单个B节点。相同的连接方式用于通过块2和块3中的交替的光电二极管单元C和D的阵列形成C节点和D节点。块2和块3中的光电二极管单元相对于块1和块4中的光电二极管单元旋转90度。以这种方式，有四个不同的信号，信号来自节点A、B、C、D中的每一个。
通过分析差分信号再次确定在左-右、上-下方向的目标移动。为了确定左-右方向的目标移动，形成差分信号A-B。以与图3的四角单元配置相关的差分复合信号(A+C)-(B+D)类似的方式分析差分信号A-B。为了确定上-下方向的目标移动，形成差分信号C-D。以与图3四角单元配置相关的差分复合信号(A+B)-(C+D)类似的方式分析差分信号C-D。
如图6所示的单元结构是示例性日规配置，并且也可以考虑备选结构。图10示出根据以一个备选实施例的日规配置的截面视图。在图10的备选配置中，备选地形成壁，并备选地掺杂底层衬底。在该实施例中，两个光电二极管单元A和B之间的隔离区域由单个P+扩散组成。与图6相比，图10的较小隔离区域允许增加的堆积密度。在阵列末端形成P-阱接触和N-EPI区域接触，其在图10中未显示。衬底中的P+区域在顶部金属层TM处连接到接地。
图11示出根据另一备选实施例的日规配置的截面视图。在图11的备选配置中，备选地形成壁，并备选地掺杂底层衬底。在该配置中光电二极管单元不包括P-阱。在阵列末端处形成N-EPI区域接触，其在图11中未显示。光电二极管单元A和B之间的P+隔离区域在顶部金属层TM处连接到接地。在该实施例中，与图6相比，没有P-阱层允许制造较窄的光电二极管单元A和B。该结构相比于图6提供更高的单元堆积密度。
第二机械结构被称为细条(pinstripe)配置。图12示出根据一个实施例的细条配置的截面视图。细条配置提供了用于将反射光导向光电传感器上的机械装置，在这种情况下该光电传感器是光电二极管。细条结构类似于针孔相机，其中针孔被拉伸为条或槽。衬底中的两个N-EPI分区形成光电二极管单元A和B的阴极，P-衬底形成共同的阳极。在单元之上形成金属层M3，并在金属层中形成开口槽。在层间电介质(诸如二氧化硅)之上形成金属层，其中层间电介质是光学透明的。使用常规的半导体制造工艺形成金属层和开口槽。在一些实施例中，利用常规CMOS、数字半导体制造工艺形成单元结构。图13示出图12的单元的自上而下平面图。如图13所示，开口槽沿着单元的长度对准。开口槽可以延伸单元的整个长度或部分长度。
在操作中，反射光经过开口槽并照射光电二极管，N-EPI分区。当目标位置在开口槽的右侧时，从目标反射的光经过开口槽并照射左侧光电二极管单元A。当目标从右至左移动时，更多的反射光照射左侧光电二极管单元A，直到目标通过临界角，在临界角时较少的反射光照射左光电二极管单元A，并且相反反射光开始照射右侧光电二极管单元B。当目标直接在槽的正上方时，在交叉点时，从光电二极管单元A和B接收的信号相同。这是整体信号强度最高的位置，也是两个信号之间的差异A-B为零的位置。当目标继续向左侧移动时，更多的反射光照射右侧光电二极管单元B，从而差分信号A-B改变符号并变成负的。在目标继续向左移动时，零反射光照射左侧光二极管单元A。类似于日规配置，针孔配置中的多个单元相邻布置以形成块，并且来自单独的光电二极管单元A的信号聚合在一起形成共同的A节点。同一类型的信号聚合用于B至D信号。开口槽的对准确定待确定的目标移动的方向。例如，图13中的开口槽水平对准用于确定上-下移动。对准的多个单元(诸如图13中的单元)形成分段，该分段被配置成测量上下移动。开口槽的竖直对准用于确定左右移动。在示例性配置中，具有细条配置的分段按照与图9所示具有日规配置的分段的类似方式对准，其中分段A和分段D被配置成确定左右移动而分段B和分段C被配置成确定上下移动。以与上述日规配置的相同方式使用差分信号确定在左-右和上-下方向的目标移动。
在备选配置中，金属层和开口槽可以由任何类型的光遮蔽组件取代，光遮蔽组件使光经过确定区域并在其他位置阻挡光，诸如MEMS(微机电系统)设备或其他分层或部分浮动镜片，其中遮蔽组件由光学透明材料的支撑或悬浮在紧邻开口槽的空气中。MEMS设备是电力驱动的非常小的机械设备。
一个备选实施例是向四角单元设计应用细条原理以产生微四角单元。图19示出根据实施例的微四角单元配置的自上而下视图。微四角单元由小的四角单元的阵列组成。所有的独立的A分段聚合在一起以形成单个A信号，对于B、C、D分段也是如此。四角单元阵列被金属层覆盖，金属层具有让光穿过的方形或圆形开口。使用半导体工艺，以与所述细条概念的类似方式形成金属层。四角单元A至D的尺寸、金属层间距以及金属层中开口的尺寸符合半导体工艺中通常可用的尺寸。在金属层中的开口被定位成当光直接在开口正上方时，所有单元同样地但部分地照亮。当光的角度变化时，四个单元的相对照明变得不平衡。以与之前针对图3描述的方式相同的方式处理四个信号A至D。
第三个机械结构被称为罩盖配置。该罩盖配置类似于细条配置地操作，除了作为针孔配置中反射光经过单元结构中心的开口槽进入单元的光电二极管的替代，罩盖配置中单元结构的中心被“罩盖”覆盖并且结构的周界侧开放以允许反射光进入单元的光电二极管。图14示出根据一个实施例的罩盖配置的截面视图。罩盖配置提供用于将反射光导向光电传感器(在这种情况下，是光电二极管)上的机械装置。两个N-EPI分区形成光电二极管单元A和B。顶部金属层TM在单元结构的中心之上形成罩盖，从而覆盖光电二极管的内部而不覆盖外部。顶部金属层是壁的顶层，该壁形成为使两个光电二极管单元A和B隔开的一系列金属层。以与日规配置的壁结构的类似的方式形成壁结构，除了罩盖配置的顶层金属层TM在两个光电二极管A和B的部分之上延伸。在层间电介质(未示出)，例如二氧化硅之上形成在两个光电二极管A和B的部分之上延伸的顶层金属层TM部分，层间电介质是光学透明的。类似于细条配置和日规配置，罩盖配置的多个单元邻近放置以形成分段，并且多个分段被配置成和定向成确定左-右和上-下移动。反射光由光电二极管单元A和B感测，并以类似于上述的细条配置和日规配置来收集并处理感测电压。
第四个机械结构被称为四角配置。在使用置于光电感测组件之间的物理壁方面，四角配置在概念上类似于日规配置，但是并非如在日规配置中那样地在硅层处实现壁并且具有用于每个分段的多个单元，四角配置在芯片封装层中实现，其中在分段之间形成壁。图15示出根据一个实施例的四角配置的自上而下视图。图16示出图15的四角配置的截面视图。在如图15、图16所示的示例性配置中，光电传感器分段A-D形成为集成电路芯片上的四个光电二极管。四个光电二极管可视为与图3的四个光电二极管相同，不同之处在于作为使用图3的紧密间隔的四角几何形状的替代，光电二极管是间隔开并置于衬底的四个角落。集成电路芯片被封装在芯片封装体中，该芯片封装体包括由阻挡光的光学不透明材料制成的壁，该光诸如从移动目标反射的光。光电二极管之上的芯片封装体部分由光学透明材料制成。四角配置中壁的高度足够高，从而每个分区是单个传感器组件，与日规和罩盖配置中的多个单元正相反。以与日规配置中相似方式确定目标移动，但不需要为给定分区聚合独立的单元电压。四角配置包括具有芯片封装量级的壁，而日规配置包括具有晶体管量级的壁。
第五机械结构被称为百叶帘配置。百叶帘配置类似于日规配置，不同之处在于以与光电二极管单元成非垂直的角度形成每个单元中的壁结构，这与日规配置中垂直角度相反。如图17所示，通过在步进配置中形成金属层和通孔来制造成角度的壁。附加地，百叶帘配置中的每个单元包括置于成角壁的一侧上的单个光电二极管单元，如图18所示。在百叶帘配置中，四个分段中的每个面对不同的90度方向。例如，分段A配置具有向左成角的壁，分段B配置以具有向上成角的壁，分段C配置具有向下成角的壁，分段D配置具有向右成角的壁。换言之，每个分段都有不同的视场。使用这些对准，以与上述日规配置中相同的方式使用差分信号确定左-右和上-下方向的目标移动。可以理解可以使用备选对准。
在一些实施例中，过滤器被添加到光电传感器的顶部以滤出具有不同于照明源的波长的光。
示例性实施例描述具有四个对称配置的分段或光电传感器的手势感测设备。可以理解，本文所述概念可以扩展到多于四个的对称或非对称配置(如NxN、NxM)、环形、或其他形状的光电分段或传感器阵列。如前所述，“分段”指单个传感器中内的划分分段，或传感器阵列中的分立传感器或光电二极管。
如前所述，控制电路被配置成处理从分段光电传感器接收的分段信号。特别地，控制电路包括算法，其用于识别两个维度的手势的方向和速度，例如左、右、上和下的组合，以产生“手势向量”。这可以扩展到更大的光电二极管阵列以允许形成向量域，这进一步增加了算法的精度。向量可用于命令识别、后续处理，或其他的专门应用使用。通过能够追踪速度，如果只使用“慢”和“快”，则可识别手势的有效数量可以提高两倍或者更多，从而提供增强功能。原始向量数据可以用来预定手势，或者原始向量数据可被转化为如下可能性，即向量对应于四个基本方位或一些其他定义的基础方向集合之一。
该算法也并入沿着z-轴的手势识别，例如朝向或远离分段光电传感器。在一些实施例中，该算法也包括手指追踪。
在图3手势感测设备的情形下解释该算法。LED 11照亮目标，目标在分段传感器12之上移动，从而导致从目标反射的光照射分段传感器。光修改结构13在概念上表示将反射光导向分段传感器12上的任何装置，其中用于导向的装置包括但不限于之前所述的光学装置和机械装置。在分段传感器上形成的图像以与目标移动相关的平移模式移动。复合信号源自从四个分段A、B、C、D输出的分段信号。采用两个轴X和Y的不同组合，通过分段信号的相加和相减来确定移动，其中x-轴对应于左右移动，y-轴对应于上下移动。根据X＝(A+C)-(B+D)确定左右方向的移动，根据Y＝(A+B)-(C+D)确定上下方向的移动。在z-轴朝向或远离分段传感器的移动是照射所有分段的光的总量，并根据Z＝A+B+C+D确定。
当图像在分段传感器之上从左向右移动时，复合信号X先从零增加到某个正值，然后在最终返回到0前朝某个负值减少到零以下。如果移动完全是在x-方向，则复合信号Y没有多大改变，如果不是，则由于分段被光源非对称照明，因此Y值只朝一个方向移动。复合信号Z随着照明增加，不论移动方向沿x-轴或y-轴。
可以理解，目标移动方向和传感器上对应图像移动方向之间的关系依赖于用于将反射光导向分段传感器上的光导向装置。图3显示从右至左的示例性目标移动。如前所述，目标移动是分段传感器12上的图像移动的相反平移。对于从右至左的目标移动，具有对应的从左至右图像移动，反之亦然。同样，对于从上至下的移动目标，具有对应的从下至上的图像移动，反之亦然。在上述示例中，具有目标移动方向与图像移动方向相反的对立关系。也可考虑备选的关系。
图20示出对应于左至右的图像移动经过图3的分段传感器12的示例性波形。从左至右的图像移动对应从右至左的目标移动。当目标从远处右方朝向分段传感器12移动时，图像最终开始出现在分段A和分段C上。当图像继续从右至左移动时，越来越多的目标在分段A和分段C上成像，从而导致X值增加。在某个时刻，分段A和C上感测到最大图像，其对应于图像照射分段B和D之前的点。该点对应于最大X值，其在图20例示为正弦波形的正向峰值。当目标进一步向左移动时，图像进一步向右移动并开始照射分段B和分段D。在计算值X的公式中，从A+C减去具有正值的B+D，产生X的下降值。最终，当目标向左移动到半个图像照射分段A和分段C以及半个图像照射分段B和分段D的点时，其对应于图20中的中间零交叉。当目标继续向左移动时，图像继续向右移动，照射越来越多的分段B和分段D，以及越来越少的分段A和分段C，导致X的越来越大的负值。最终，X的值达到负的最大值，其对应于图像不再照射分段A和C并照射最大量的分段B和D的目标位置。当目标进一步左移，越来越少的图像照射分段B和D，直到目标到达没有反射光照射任何分段的位置，其对应于图20中的最右侧零交叉。
图21示出对应于从上至下的图像移动经过分段传感器12的示例性波形，而目标移动如图20所示从右至左。如图20和图21所示的示例性波形对应于完全在x-方向的目标移动。理想地，完全x-方向目标移动的Y值是零。然而，在实践中，由于分段传感器被LED11非对称照明，通常确定某些非零值。如图21所示的波形显示正的非零值，但是旨在表示琐碎的非零值，它可以是正的、负的、零或者随着时间的某种组合。
图23示出对应于从上至下的图像移动经过图3的分段传感器12的示例性波形。从上至下的图像移动对应于从下至上的目标移动。如图23所示的波形对应于复合信号Y，并且类似于对应于图20所示的复合信号X的波形而确定。Y的正值对应于反射光排它地或主导地照射分段A和分段B，而Y的负值对应于图像排它地或主导地照射分段C和分段D。零交叉对应于零图像照射分段A、分段B、分段C和分段D，或同等数量的图像照射分段A+B和照射分段C+D。
图22示出对应于从左至右的图像移动经过分段传感器的示例性波形，而目标移动如图23所示从下至上。如图22和图23所示的示例性波形对应于目标移动完全在y-方向。理想地，完全y-方向的目标移动的X值是零。然而，在实践中，由于分段传感器被LED 11非对称照明，通常确定某些非零值。如图22所示的波形显示正的非零值，但是旨在表示一些琐碎的非零值，它可以是正的、负的、零或者随着时间的某种组合。
为了确定z-方向的手势，必须寻找Z、或VSUM、信号(A+B+C+D)的充分增加，而在x或y方向上没有检测到向量。
参见图20和图23，正和负的零交叉符合图像从分段传感器的一侧移动到另一侧。因此，目标移动越快，则图像越快地从分段传感器的一侧穿越到另一侧，从而使波形的零交叉在时间上间隔更紧密。这正好与速度相关。图24-图27分别示出与图20-23的波形类似的波形，不同之处在于图24-图27的波形对应的目标移动比图20-图23的波形对应的目标移动更快。图24-图27中的波形分别具有与图20-图23中波形类似的关系。与类似但更慢目标移动所对应的波形(诸如图20-图23中所示波形)相比，对应于更快目标移动的波形(诸如图24-图27中所示波形)具有较短周期，或被压缩。
以预定速率(例如每毫秒一次)对反射光采样。在时间零处，X值开始变为正值，如图20所示。在之后的时间(诸如等于30毫秒的时间)处，X值经过零并成为负值。将采样率除以零交叉之间的时间，则结果是与速度成比例的值。这是目标速度的粗略估计，这是因为还有其他影响因素，诸如目标与传感器的距离，但该估计提供了与其他方向相比的准确的相对速度，例如x-方向的相对速度比较y-方向的相对速度，因为可以使用相应的零交叉计算x和y方向的估计速度，并然后随后相互比较。示例性应用是使用估计的速度确定作为过程级(course-level)命令，其中基于不同的估计速度确定不同命令。例如，如果所确定的估计速度大于高阈值，则可以命令显示对象以快速率旋转，如果所确定的估计速度在高阈值和低阈值之间则以中间速率，或如果所确定的估计速度低于低阈值则以较慢速率旋转。
以上是手势或目标移动完全在x或y方向产生的波形的示例。然而，许多手势可以包括诸如对角目标移动之类的两个方向的分量，并且手势波形幅度可以随情况而改变。因此，寻找正负之间相对变化是合理的，特别是零交叉，并且同时对于左-右通道和上-下通道如此执行是合理的。在目标移动不是完全的左-右或上-下的情形中，所得的X和Y信号波形可在振幅和周期上有所不同。
使用在复合信号X和复合信号Y中获取的信息，可以确定二维向量。如果指定零交叉后必须是相反方向的零交叉以识别左右通道或上下通道的手势，并且第一个零交点发生在时间t1和第二零交点发生在时间t2，则沿x或y方向的速度与1/(t2-t1)成正比例。方向取决于第一个零交点是正的或是负的。对于左右通道和上下通道两者执行这些允许x-方向速度Vx和y-方向速度Vy叠加成使用笛卡尔坐标的具有Vxi+Vyj形式的二维向量。笛卡尔坐标很容易被转换为包括向量角的极坐标。结果是可以检测x、y平面上沿着任何角度和任何速度的目标移动，其仅受限于采样速率。采样率越大，则向量角的分辨率越精细。例如，在确定的速度Vx大于速度Vy的情形中，可以确定目标在左-右方向比在上-下方向移动更多。
在一些实施例中，可以定义各种角度阈值，并且将向量角与角度阈值相比较。例如，+45度和+135度之间的向量角被确定为向上的目标移动，+45度和-45度之间的向量角被确定是向右的目标移动。该算法也可以非对称加权。例如，60度的向量角仍可以被确定为向右目标移动，尽管向量更指向对应于向上目标移动的90度。该示例示出一般概念，即算法可被编程以考虑之前手势分布，该手势分布可以是均匀的或非均匀的。
可以使用具有概率可能性函数集合的向量来扩展该概念，以绘制目标移动在特定确定方向的置信度。以该方式，用户不需要做精确的手势以使得该手势被识别为确定的目标移动方向之一，诸如左、右、上和下。这也可以补偿可能引入的某些噪音。例如，如果用户仅仅希望识别左到右，上至下、右到左，和下至上的方向，则可以定义四个可能性函数，诸如高斯分布，其中最大值在每个预期向量的中心，而半最大值确切地位于相邻期望向量之间的一半(径向地)。图28示出对应识别方向左、右、上和下的四个高斯分布。在这个示例中，最大值发生在0度(右)，+90度(上)，-90度(下)，和180度(左)，其中最大值的一半发生在±45和±135度。在这个示例中，每个方向都是同等可能发生的。给定一些向量，确定关于0度向量角(正的x-方向)，并计算对应于所有四个可能分布的向量的可能性。这些值中的最大值从而是“最有可能的”，并且被确定是目标移动。图28所示是两个示例向量，每个向量对应于所测量的目标移动。向量1被确定是具有90％的置信度的从左至右移动。向量2被确定是不明确的上至下和右至左，因为向量同等可能地在左环和下环。在一些实施例中，该算法被编程以给每个这种模糊情况提供预定结果。在其他一些实施例中，该算法被编程以不响应模糊结果或产生错误信息和指示。
如上所述，该算法应用于四分段传感器。分段传感器和算法可适配用于具有多于四个的分段传感器，例如，NxN或NxM的分段阵列。图29示出光电二极管分段的示例性4×4阵列。可以针对九个不同的四分段配置的每个确定向量。例如，第一四分段布置包括分段1、2、5和6，第二四分段布置包括6、7、10和11，第三四分段布置包括11、12、15和16，等等。通过对于九个四分段配置的每个应用该算法，可以组合向量域，其可以用于获得更复杂的目标移动信息。
手势感测设备被描述为使用单个照明源，诸如图3中的LED 11。然而，在一些实施例中，单个照明源旨在表示同时脉冲的一个或多个照明源，与图1的常规设备中顺序脉冲的多个照明源相反。通过使用同时脉冲的多个照明源，可以实现更广泛的覆盖范围。给定照明源的覆盖范围被定义为照明源之上的区域，其中目标在覆盖区域内的从反射的光将照射传感器。覆盖区域符合分段传感器的视场。尽管来自照明源的光可以照射覆盖区域之外的区域的目标，但是只有当目标在覆盖区域内反射光将成角以照射分段传感器。在覆盖区域外，反射光并不适当地成角以照射分段传感器。同时脉冲的多于一个的照明源进行操作以增加覆盖范围。
分段传感器可以与多于一个的照明源一起使用，其中照明源并不是同时脉冲。以此方式，可以实现多个x-通道和多个y-通道，第一x-通道和第一y-通道对应于第一照明源，等等。
手势感测设备和算法也可适配于没有照明源。作为检测对应于源自照明源的反射光的图像的替代，检测环境光，并且确定由于经过的目标而产生的环境光减少。以此方式，经过的目标在分段传感器之上投射阴影，阴影被测量为环境光的减少。环境光配置中的阴影相反地类似于照明源配置中的图像。在环境光配置中，三个复合信号X，Y，Z的极性被翻转。
手势感测设备和算法也可以用作手指追踪应用。通过分析复合信号X和Y的瞬态值，可以确定诸如手指之类的目标的当前位置。例如，如果复合信号X的值是正值，或大于某预定X正阈值的某些值，并且复合信号Y的值为零，或不超过一些Y近零阈值的某些接近零值，则确定用户的手指位于分段传感器的左侧。同样，如果复合信号X的值是零，或者不超过一些X近零阈值的某些近零值，并且复合信号Y的值是负值，或大于一些预定的Y负阈值的某些值，则确定用户的手指在传感器下方。如果复合信号X的值是正值，并且复合信号Y的值是负值，则确定用户的手指位于传感器左下角附近。以此方式，可以确定9个位置。八个位置围绕周长，其是四个角落，左、右、上和下。第九位置是的分段传感器的中心，其对应于当复合信号X的值和复合信号Y值的都是零而Z、或VSUM、信号(A+B+C+D)不为零时。追踪相继的手指位置也确定向量。例如，对应于传感器左侧、传感器中心，传感器右侧的三个相继的手指位置表示右至左目标移动。以此方式，引起向量确定的手指追踪是确定目标移动向量的更复杂的方法。手指追踪也可用于简单的应用，诸如单个的手指位置，而不是指示命令的相继手指位置序列。
已通过并入细节的特定实施例形式描述本申请，用于帮助理解手势感测设备和检测手势方法的构建原理和操作。多个图中表示和描述的许多组件可以互换以实现必要效果，本说明书应该也包括这样的交换。因此，本文对特定实施例和细节的引用并不用于限制所附权利要求的范围。对本领域技术人员明显的是，可以在不背离本申请精神和范围的情况下对说明所选实施例进行修改。
Claims (36)
1.一种检测手势的方法，所述方法包括：
a.配置具有多个分段的分段传感器，每个分段输出对应于由所述分段感测的光的分段信号；
b.根据从所述多个分段输出的所述分段信号计算一个或多个差分信号；
c.通过向所述一个或多个差分信号应用向量分析来确定经过所述分段传感器的目标的目标移动方向。
2.根据权利要求1所述的方法，进一步包括：通过向所述一个或多个差分信号应用向量分析来确定经过所述分段传感器的所述目标的目标移动速度的比例值。
3.根据权利要求1所述的方法，其中由所述分段检测的所述光包括源自照明源并且从所述目标反射的光。
4.根据权利要求1所述的方法，其中由所述分段检测的光包括环境光。
5.根据权利要求1所述的方法，其中所述一个或多个差分信号包括一个或多个差分复合信号，其中复合信号是通过将两个或更多个分段信号相加而形成的信号。
6.根据权利要求1所述的方法，其中计算一个或多个差分信号包括计算指示沿着x-轴的所述目标移动方向的第一差分信号。
7.根据权利要求6所述的方法，其中所述第一差分信号包括正的最大值和负的最大值，进一步其中如果在时间上所述正的最大值先于所述负的最大值，则确定所述目标移动方向在正的x-方向。
8.根据权利要求6所述的方法，其中所述第一差分信号包括正的最大值和负的最大值，进一步其中如果在时间上所述负的最大值先于所述正的最大值，则确定所述目标移动方向在负的x-方向。
9.根据权利要求6所述的方法，其中计算一个或多个差分信号包括计算指示沿着y-轴的所述目标移动方向的第二差分信号。
10.根据权利要求9所述的方法，其中所述第二差分信号包括正的最大值和负的最大值，进一步其中如果在时间上所述正的最大值先于所述负的最大值，则确定所述目标移动方向在正的y-方向。
11.根据权利要求9所述的方法，其中所述第二差分信号包括正的最大值和负的最大值，进一步其中如果在时间上所述负的最大值先于所述正的最大值，则确定所述目标移动方向在负的y-方向。
12.根据权利要求9所述的方法，进一步包括使用所述第一差分信号的相继零交叉之间的时间差计算目标移动速度沿着x-轴的比例值，以及使用所述第二差分信号的相继零交叉之间的时间差计算目标移动速度沿着y-轴的比例值。
13.根据权利要求12所述的方法，进一步包括叠加所述目标移动速度沿着x-轴的比例值和所述目标移动速度沿着y-轴的比例值以形成目标向量。
14.根据权利要求13所述的方法，进一步包括根据所述目标向量确定预定的方向集合之一。
15.根据权利要求14所述的方法，其中所述预定的方向集合包括正的x-方向、负的x-方向、正的y-方向和负的y-方向。
16.根据权利要求14所述的方法，其中所述目标向量具有目标向量角度，并且确定所述预定的方向集合之一包括将所述目标向量角度与确定的阈值角度集合进行比较。
17.根据权利要求14所述的方法，其中确定所述预定的方向集合之一包括将所述目标向量与预定的分布模式集合进行比较，每个分布模式对应于所述预定的方向集合中的一个方向。
18.根据权利要求17所述的方法，其中比较所述目标向量包括确定与将所述目标向量和每个分布模式进行比较相关联的置信度值，并且根据最高置信度值选择所述预定的方向集合之一。
19.一种装置，包括：
a.具有多个分段的分段传感器，每个分段输出对应于由所述分段感测的光的分段信号；
b.被配置成存储所述分段信号的存储器；以及
c.耦合到所述存储器的处理器，所述处理器包括程序指令，所述程序指令被配置成：
i.根据从所述多个分段输出的所述分段信号计算一个或多个差分信号；
ii.通过向所述一个或多个差分信号应用向量分析来确定经过所述分段传感器的目标的目标移动方向。
20.根据权利要求19所述的装置，其中所述程序指令进一步被配置成通过向所述一个或多个差分信号应用向量分析来确定经过所述分段传感器的所述目标的目标移动速度的比例值。
21.根据权利要求19所述的装置，其中由所述分段检测的所述光包括源自照明源并从所述目标反射的光。
22.根据权利要求19所述的装置，其中由所述分段检测的光包括环境光。
23.根据权利要求19所述的装置，其中所述一个或多个差分信号包括一个或多个差分复合信号，其中复合信号是通过将两个或更多个分段信号相加而形成的信号。
24.根据权利要求19所述的装置，其中计算所述一个或多个差分信号包括计算指示沿着x-轴的所述目标移动方向的第一差分信号。
25.根据权利要求24所述的装置，其中所述第一差分信号包括正的最大值和负的最大值，进一步其中如果在时间上所述正的最大值先于所述负的最大值，则确定所述目标移动方向在正的x-方向。
26.根据权利要求24所述的装置，其中所述第一差分信号包括正的最大值和负的最大值，进一步其中如果在时间上所述负的最大值先于所述正的最大值，则确定所述目标移动方向在负的x-方向。
27.根据权利要求24所述的装置，其中计算一个或多个差分信号包括计算指示沿着y-轴的所述目标移动方向的第二差分信号。
28.根据权利要求27所述的装置，其中所述第二差分信号包括正的最大值和负的最大值，进一步其中如果在时间上所述正的最大值先于所述负的最大值，则确定所述目标移动方向在正的y-方向。
29.根据权利要求27所述的装置，其中所述第二差分信号包括正的最大值和负的最大值，进一步其中如果在时间上所述负的最大值先于所述正的最大值，则确定所述目标移动方向在负的y-方向。
30.根据权利要求27所述的装置，其中所述程序指令进一步被配置成使用所述第一差分信号的相继零交叉之间的时间差计算目标移动速度沿着x-轴的比例值，以及使用所述第二差分信号的相继零交叉之间的时间差计算目标移动速度沿着y-轴的比例值。
31.根据权利要求30所述的装置，其中所述程序指令进一步被配置成叠加所述目标移动速度沿着x-轴的比例值和所述目标移动速度沿着y-轴的比例值以形成目标向量。
32.根据权利要求31所述的装置，所述程序指令进一步被配置成根据所述目标向量确定预定的方向集合之一。
33.根据权利要求32所述的装置，其中所述预定的方向集合包括正的x-方向、负的x-方向、正的y-方向和负的y-方向。
34.根据权利要求33所述的装置，其中所述目标向量具有目标向量角度，并且确定所述预定的方向集合之一包括将所述目标向量角度和确定的阈值角度集合进行比较。
35.根据权利要求32所述的装置，其中确定所述预定的方向集合之一包括将所述目标向量和预定的分布模式集合进行比较，每个分布模式对应于所述预定的方向集合中的一个方向。
36.根据权利要求35所述的装置，其中比较所述目标向量包括：确定与将所述目标向量和每个分布模式进行比较相关联的置信度值，并且根据最高置信度值选择所述预定的方向集合之一。
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201161483034P | 2011-05-05 | 2011-05-05 | |
| US61/483,034 | 2011-05-05 | ||
| US13/352,299 US9229581B2 (en) | 2011-05-05 | 2012-01-17 | Method for detecting gestures using a multi-segment photodiode and one or fewer illumination sources |
| US13/352,299 | 2012-01-17 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102981608A true CN102981608A (zh) | 2013-03-20 |
| CN102981608B CN102981608B (zh) | 2018-02-16 |
Family
ID=47855732
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210225546.8A Active CN102981608B (zh) | 2011-05-05 | 2012-05-07 | 使用多分段光电二极管和一个或更少的照明源检测手势的方法 |
Country Status (3)
| Country | Link |
|---|---|
| KR (1) | KR101765771B1 (zh) |
| CN (1) | CN102981608B (zh) |
| TW (1) | TWI573045B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105518576A (zh) * | 2013-06-28 | 2016-04-20 | 陈家铭 | 根据手势的控制装置操作 |
| WO2016192076A1 (en) * | 2015-06-04 | 2016-12-08 | Huawei Technologies Co., Ltd. | Input device, user equipment and method for determining movement |
| CN110045824A (zh) * | 2014-02-10 | 2019-07-23 | 苹果公司 | 使用光学传感器检测到的运动手势输入 |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102062840B1 (ko) | 2014-10-31 | 2020-02-11 | 삼성전자주식회사 | 양안 시차를 이용한 물체 위치 검출 장치 및 그 장치의 동작 방법 |
| TWI554248B (zh) * | 2015-02-25 | 2016-10-21 | 國立交通大學 | 光偵測裝置及使用該光偵測裝置之影像重建方法 |
| US9454259B2 (en) * | 2016-01-04 | 2016-09-27 | Secugen Corporation | Multi-level command sensing apparatus |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080122803A1 (en) * | 2006-11-27 | 2008-05-29 | Microsoft Corporation | Touch Sensing Using Shadow and Reflective Modes |
| CN101447145A (zh) * | 2007-11-26 | 2009-06-03 | 索尼株式会社 | 显示装置和电子设备 |
| CN101558367A (zh) * | 2006-12-05 | 2009-10-14 | 索尼爱立信移动通讯有限公司 | 用于检测物体移动的方法和系统 |
| CN101819498A (zh) * | 2009-02-27 | 2010-09-01 | 瞬联讯通科技(北京)有限公司 | 面向触摸屏滑动体的屏幕显示控制方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4093971B2 (ja) * | 2004-02-12 | 2008-06-04 | シャープ株式会社 | 光学式移動情報検出装置および移動情報検出システムおよび電子機器およびエンコーダ |
| US7714265B2 (en) | 2005-09-30 | 2010-05-11 | Apple Inc. | Integrated proximity sensor and light sensor |
| US7884871B2 (en) * | 2007-06-15 | 2011-02-08 | Aptina Imaging Corporation | Images with high speed digital frame transfer and frame processing |
| WO2009067103A1 (en) | 2007-11-20 | 2009-05-28 | Hewlett-Packard Development Company, L.P. | Liquid handling device |
| TW201007531A (en) * | 2008-08-01 | 2010-02-16 | Yu-Hsiang Huang | Gesture detecting method of capacitive touch pad is disclosed |
| TW201106614A (en) * | 2009-08-10 | 2011-02-16 | Holtek Semiconductor Inc | Low-frequency amplifier and PIR detector |
-
2012
- 2012-05-03 KR KR1020137029375A patent/KR101765771B1/ko active IP Right Grant
- 2012-05-04 TW TW101115988A patent/TWI573045B/zh active
- 2012-05-07 CN CN201210225546.8A patent/CN102981608B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080122803A1 (en) * | 2006-11-27 | 2008-05-29 | Microsoft Corporation | Touch Sensing Using Shadow and Reflective Modes |
| CN101558367A (zh) * | 2006-12-05 | 2009-10-14 | 索尼爱立信移动通讯有限公司 | 用于检测物体移动的方法和系统 |
| CN101447145A (zh) * | 2007-11-26 | 2009-06-03 | 索尼株式会社 | 显示装置和电子设备 |
| CN101819498A (zh) * | 2009-02-27 | 2010-09-01 | 瞬联讯通科技(北京)有限公司 | 面向触摸屏滑动体的屏幕显示控制方法 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105518576A (zh) * | 2013-06-28 | 2016-04-20 | 陈家铭 | 根据手势的控制装置操作 |
| CN105518576B (zh) * | 2013-06-28 | 2019-04-16 | 陈家铭 | 根据手势的控制装置操作 |
| CN110045824A (zh) * | 2014-02-10 | 2019-07-23 | 苹果公司 | 使用光学传感器检测到的运动手势输入 |
| US11422635B2 (en) | 2014-02-10 | 2022-08-23 | Apple Inc. | Optical sensing device |
| WO2016192076A1 (en) * | 2015-06-04 | 2016-12-08 | Huawei Technologies Co., Ltd. | Input device, user equipment and method for determining movement |
| CN108027691A (zh) * | 2015-06-04 | 2018-05-11 | 华为技术有限公司 | 确定运动的输入设备、用户设备和方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101765771B1 (ko) | 2017-08-07 |
| TW201308127A (zh) | 2013-02-16 |
| TWI573045B (zh) | 2017-03-01 |
| CN102981608B (zh) | 2018-02-16 |
| KR20140022404A (ko) | 2014-02-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10521017B1 (en) | Method for detecting gestures using a multi-segment photodiode and one or fewer illumination sources | |
| US8716649B2 (en) | Optical gesture sensor using a single illumination source | |
| CN102981608A (zh) | 使用多分段光电二极管和一个或更少的照明源检测手势的方法 | |
| CN100524181C (zh) | 光学运动感知方法 | |
| US9702690B2 (en) | Lens-less optical position measuring sensor | |
| CN100541407C (zh) | 指点设备及指点设备中用于光学导航的集成电路 | |
| US20140035812A1 (en) | Gesture sensing device | |
| US20170123593A1 (en) | Detector for determining a position of at least one object | |
| US11125614B2 (en) | Sensor for motion information, illumination information and proximity information, and operating method of central processing unit (CPU) using the sensor | |
| US20150049062A1 (en) | Motion gesture sensing module and motion gesture sensing method | |
| CN102782616A (zh) | 用于检测和跟踪触摸对象的方法 | |
| US20150090884A1 (en) | Compact opto-electronic sensor modules for detecting gestures or other movements by a user | |
| CN108876848B (zh) | 追踪系统及其追踪方法 | |
| CN102929440A (zh) | 基于算法选择利用速度进行光学导航 | |
| Löffler et al. | Evaluation criteria for inside-out indoor positioning systems based on machine learning | |
| US20130187867A1 (en) | Multi-touch sensing system capable of optimizing touch bulbs according to variation of ambient lighting conditions and method thereof | |
| US9431440B2 (en) | Optical sensor | |
| JP6367234B2 (ja) | 表示画面上の動作要素の位置を検出するためのシステム及び方法 | |
| US20150193019A1 (en) | Mobile apparatus with optical indexer, and method for indexing using the same | |
| Liu et al. | Monocular Machine Vision Method for Watchcase Center Coordinates and Deflection Angle Recognition | |
| El Ahmar | Thermal-RGB Sensory Data for Reliable and Robust Perception | |
| Fang et al. | P. 133: 3D Multi‐Touch System by Using Coded Optical Barrier on Embedded Photo‐Sensors | |
| Chen et al. | Border-oriented post-processing refinement on detected vehicle bounding box for ADAS |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |