CN106462296A - 用于交互式显示器屏幕的压力、旋转及触控笔功能性 - Google Patents

用于交互式显示器屏幕的压力、旋转及触控笔功能性 Download PDF

Info

Publication number
CN106462296A
CN106462296A CN201580022431.0A CN201580022431A CN106462296A CN 106462296 A CN106462296 A CN 106462296A CN 201580022431 A CN201580022431 A CN 201580022431A CN 106462296 A CN106462296 A CN 106462296A
Authority
CN
China
Prior art keywords
light
front surface
photo
processor
equipment according
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580022431.0A
Other languages
English (en)
Inventor
约翰·迈克尔·维尔瓦斯
艾弗杰尼·佩托维奇·高瑟夫
鲁塞尔·韦恩·格鲁尔克
胡尔希德·赛义德·阿拉姆
亚切克·马伊坦
琳达·斯泰西·艾里什
艾弗杰尼·尤里耶·波利亚科夫
托马斯·戈登·布朗
萨米尔·库马尔·古普塔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN106462296A publication Critical patent/CN106462296A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03542—Light pens for emitting or receiving light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0386—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry for light pen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0414—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04109—FTIR in optical digitiser, i.e. touch detection by frustrating the total internal reflection within an optical waveguide due to changes of optical properties or deformation at the touch location

Abstract

本发明提供与运用电子交互式显示器的触摸及手势辨识相关的系统、方法及设备。所述交互式显示器具有包含观看区域的前表面、经安置成接近于所述前表面且在所述前表面后方的平面光导、光源，及与所述第一平面光导耦合的至少一个感光元件。所述平面光导经配置以接收散射光，所述所接收的散射光产生于由所述光源发射的光与光学接触所述前表面的对象之间的交互。所述感光元件经配置以检测所述所接收的散射光中的至少一些且将图像数据输出到处理器。所述处理器经配置以从所述图像数据辨识所述对象的接触压力及旋转定向中的一者或两者。

Description

用于交互式显示器屏幕的压力、旋转及触控笔功能性
相关申请案的交叉参考
本发明主张2014年4月28日申请的名为“PRESSURE,ROTATION AND STYLUSFUNCTIONALITY FOR INTERACTIVE DISPLAY SCREENS(用于交互式显示器屏幕的压力、旋转及触控笔功能性)”的美国临时专利申请案第61/985,325号(代理人案号QUALP250PUS/144464P1)及2014年9月30日申请的名为“PRESSURE,ROTATION AND STYLUS FUNCTIONALITYFOR INTERACTIVE DISPLAY SCREENS(用于交互式显示器屏幕的压力、旋转及触控笔功能性)”的美国专利申请案第14/502,726号(代理人案号QUALP250US/144464)的优先权。这些先前申请案的揭示内容被视为本发明的一部分且特此以引用的方式并入本文中。
技术领域
本发明涉及用于将触摸响应能力提供到装置且更具体来说提供到交互式显示器的技术，所述交互式显示器提供用户输入/输出接口，所述用户输入/输出接口响应于与显示器的触摸交互的具体特性而被控制。
背景技术
本发明的受让人已开发出用于将多点触摸功能性提供到显示屏幕(尤其是具有大幅面的显示屏幕)的基于光学的技术。举例来说，其全文出于所有目的而特此以引用方式并入到本申请案中的序列号为61/947,971的申请案“LARGE AREA INTERACTIVE DISPLAYSCREEN”揭示用于将触摸响应能力提供到具有大显示屏幕的装置(包含交互式显示器)的技术，所述交互式显示器提供用户输入/输出接口，所述用户输入/输出接口响应于用户的触摸及/或多个同时触摸而被控制。这些技术相对于其它方法(例如投射式电容触摸(PCT)及其它光学方法)的优点包含通过少数组件到较大大小的可扩展性、对于电磁干扰及对于环境光的经降低敏感度及可避免显示器防护玻璃罩与框架之间的气隙的平整边框。
发明内容
本发明的系统、方法及装置各自具有若干创新方面，其中没有单个方面单独负责本文所揭示的合乎需要的属性。
本发明中所描述的主题的一个创新方面可在包含交互式显示器的设备中实施，所述交互式显示器具有包含观看区域的前表面、经安置成接近于所述前表面且在所述前表面后方的平面光导、发射可见光及红外光中的一者或两者的光源，及与所述第一平面光导耦合且经安置成在所述观看区域的周边外部或接近于所述观看区域的周边的至少一个感光元件。所述平面光导经配置以接收散射光，所述所接收的散射光产生于由所述光源发射的光与光学接触所述前表面的对象之间的交互。所述感光元件经配置以检测所述所接收的散射光中的至少一些且将图像数据输出到处理器。所述处理器经配置以从所述图像数据辨识所述对象的接触压力及旋转定向中的一者或两者。
根据一些实施方案，一种设备包含交互式显示器，所述交互式显示器具有包含观看区域的前表面、经安置成接近于所述前表面且在所述前表面后方的平面光导、发射可见光及红外光中的一者或两者的光源，及与所述第一平面光导耦合且经安置成在所述观看区域的周边外部或接近于所述观看区域的周边的至少一个感光元件。所述平面光导经配置以接收光，所述所接收的光产生于以下各者中的一者或两者：由所述光源发射的光被与所述前表面光学接触的对象进行的散射，及由所述对象发射的光。所述感光元件经配置以检测所述所接收的光中的至少一些且将图像数据输出到处理器。所述处理器经配置以从所述图像数据辨识所述对象的接触压力及旋转定向中的一者或两者。
在一些实例中，所述光源可在与所述前表面基本上正交的方向上发射光。所述光源可经配置为或包含液晶或场序色彩显示器的背光、反射式显示器的前光或来自发射型显示器的光。
在一些实例中，所述对象可为无源触控笔或用户的手指或附肢。
在一些实例中，所述对象可为无源触控笔。所接收的光可产生于由所述光源发射的光被所述无源触控笔的笔尖进行的散射。所述笔尖可具有在压力下变形的弹性体特性及漫反射表面。所述处理器可经配置以从所述图像数据辨识所述无源触控笔的部位、接触压力及角定向中的一或多者。所述处理器可经配置以从所述图像数据辨识所述无源触控笔的部位、接触压力及角定向中的每一者。
在一些实例中，所述对象可为有源触控笔，其包含笔尖。所接收的光可产生于由所述有源触控笔发射通过所述笔尖的光。所述笔尖可具有在压力下变形的弹性体特性。所述笔尖可经配置成以基本上各向同性方式散射由所述有源触控笔发射通过所述笔尖的光。
在一些实例中，所述对象可具有在压力下变形的弹性体特性，且所检测到的光的图像数据可包含与施加在所述对象与所述前表面之间的接触压力相关的特性信息。所述处理器可经配置以从所述特性信息辨识及区分用于多个触摸点的个别接触压力。
在一些实例中，所述感光元件可包含光敏检测器阵列或相机。所述感光元件可经安置在所述平面内或在所述平面光导的所述平面后方。
在一些实例中，所述处理器可经配置以辨识及区分触控笔触摸及手指两者进行的同时或几乎同时触摸。
在一些实例中，感光元件可为相机，所述相机包含具有光轴的透镜，所述相机经安置成光轴大致平行于所述前表面。
根据一些实施方案，一种电子显示器具有包含观看区域的前表面、经安置成接近于所述前表面且在所述前表面后方的平面光导、发射可见光及红外光中的一者或两者的光源，及与所述第一平面光导耦合且经安置成在所述观看区域的周边外部或接近于所述观看区域的周边的至少一个感光元件。所述平面光导经配置以接收散射光，所述所接收的散射光产生于由所述光源发射的光与光学接触所述前表面的对象之间的交互。所述感光元件经配置以检测所述所接收的散射光中的至少一些且将图像数据输出到处理器。
在一些实例中，所述处理器可经配置以从所述图像数据辨识所述对象的接触压力及旋转定向中的一者或两者。在一些实例中，所述处理器可经配置以从所述图像数据辨识所述对象的部位、接触压力及角定向中的每一者。
在一些实例中，所述对象可具有在压力下变形的弹性体特性，且所检测到的光的图像数据包含与施加在所述对象与所述前表面之间的接触压力相关的特性信息。
在一些实例中，所述对象可为无源触控笔，所接收的散射光可产生于由所述光源发射的光与所述无源触控笔的笔尖之间的交互，且所述笔尖可具有弹性体特性及漫反射表面。
根据一些实施方案，一种设备包含交互式显示器，所述交互式显示器具有包含观看区域的前表面、发射可见光及红外光中的一者或两者的光源、经安置成在所述观看区域的周边外部或接近于所述观看区域的周边的至少一个感光元件，及经安置成接近于所述前表面且在所述前表面后方、与所述至少一个感光元件耦合的用于接收光的装置，所述所接收的光产生于以下各者中的一者或两者：由所述光源发射的光与光学接触所述前表面的对象之间的交互，及由所述对象发射的光。所述感光元件经配置以检测所接收的光中的至少一些且将图像数据输出到处理器。所述处理器经配置以从所述图像数据辨识所述对象的接触压力及旋转定向中的一者或两者。
根据一些实施方案，一种方法包含：运用感光元件检测所接收的光，所述所接收的光产生于以下各者中的一者或两者：由光源发射的光与至少部分地光学接触交互式显示器的显示器防护玻璃罩的前表面的对象的之间的交互，及由所述对象发射的光；将图像数据从所述感光元件输出到处理器；及运用处理器从所述图像数据辨识所述对象的接触压力及旋转定向中的一者或两者。
在一些实例中，所述处理器可经配置以从所述图像数据对所述对象的部位进行确定。
在一些实例中，所述处理器可经配置以通过以下操作中的一或多者进行确定：测量所述对象相对于所述感光元件的方位角及范围；测量所述对象相对于多个感光元件的方位角；及测量所述对象相对于多个感光元件的范围。
附图说明
在附图及以下描述中阐述本说明书中描述的主题的一或多个实施方案的细节。其它特征、方面及优点将从所述描述、图式及权利要求书而变得显而易见。应注意，以下各图的相对尺寸可能未按比例绘制。各个图式中的相同参考数字及名称指示相同元件。
图1说明根据一实施方案的交互式显示器的简化框图。
图2说明根据一实施方案的交互式显示器的横截面正视图。
图3说明从对象散射的光可怎样与平面光导交互。
图4说明所检测到的光的图像数据可怎样包含与接触压力相关的信息。
图5根据一实施方案说明所检测到的光的图像数据可怎样包含旋转定向信息。
图6说明万花筒效应的实例。
图7说明使用本发明所揭示的技术获得的图像的实例。
图8根据一实施方案说明所检测到的光的图像数据可怎样用于获得旋转定向信息。
图9说明根据一些实施方案的无源触控笔与平面光导的交互的实例。
图10说明根据一些实施方案的有源触控笔与平面光导的交互的实例。
图11说明有源触控笔的实例实施方案。
图12说明有源触控笔的另外实例实施方案。
图13说明有源触控笔的又另外实例实施方案。
图14说明触控笔笔尖具有抛物线形状的实例实施方案。
图15说明具有可变形笔尖的有源触控笔的实例实施方案。
图16说明在一些实施方案中关于两个光敏元件中的每一者的触摸部位的方位角坐标可怎样用于获得触摸部位的X-Y坐标。
图17说明在一些实施方案中关于四个光敏元件中的每一者的触摸部位的范围坐标可怎样用于获得触摸部位的X-Y坐标。
图18说明用于从图像数据辨识与交互式显示器接触的对象的接触压力及旋转定向中的一者或两者的过程流程图。
具体实施方式
以下描述针对出于描述本发明的创新方面的目的的某些实施方案。然而，所属领域的一般技术人员将容易认识到，可以许多不同方式应用本文中的教示。所描述实施方案可实施于可经配置以显示图像(不论运动(例如，视频)还是固定(例如，静态图像)，且不论文本、图形还是图片)的任何装置或系统中。更具体来说，预期所描述的实施方案可包含于多种电子装置中或与所述电子装置相关联，所述电子装置例如为(但不限于)：移动电话、具备多媒体因特网功能的蜂窝式电话、移动电视接收器、无线装置，智能电话、装置、个人数据助理(PDA)、无线电子邮件接收器、手持式或便携式计算机、上网本、笔记本、智能本、平板计算机、打印机、复印机、扫描仪、传真机装置、GPS接收器/导航器、相机、MP3播放器、摄像机、游戏控制台、腕表、时钟、计算器、电视监视器、平板显示器、电子阅读装置(即，电子阅读器)、计算机监视器、汽车显示器(包含里程表及速度计显示器等等)、驾驶舱控制及/或显示器、相机取景显示器(例如，车辆中的后视相机的显示器)、电子照片、电子广告牌或标志、投影仪、建筑结构、微波炉、冰箱、立体声系统、磁带录音机或播放器、DVD播放器、CD播放器、VCR、收音机、便携式存储器芯片、洗衣机、烘干机、洗衣机/烘干机、停车计时器、包装(例如，在机电系统(EMS)、微机电系统(MEMS)及非MEMS应用中)、美学结构(例如，一件首饰上的图像的显示)及多种EMS装置。本文中的教示还可用于非显示器应用中，例如(但不限于)电子切换装置、射频滤波器、传感器、加速度计、陀螺仪、运动传感装置、磁力计、用于消费型电子装置的惯性组件、消费型电子产品的零件、变容器、液晶装置、电泳装置、驱动方案、制造过程及电子测试设备。因而，所述教示并不希望仅限于图中所描绘的实施方案，而是具有如所属领域的技术人员将容易显而易见的广泛适用性。
本文在下文描述用于提供交互式电子显示器的新技术，所述交互式电子显示器提供响应于与所述显示器的触摸交互的具体特性而被控制的用户输入/输出接口。使用几乎不添加显示器的成本、大小及复杂性的光学技术确定所述特性。在各种实施方案中，所述交互式显示器经配置以响应于用户的触摸的接触压力及角定向中的一或多者。所述交互式显示器可响应于人手指的触摸或借助于有源或无源触控笔的触摸中的任一者或两者。
可实施本发明中所描述的主题的具体实施方案以实现以下可能优点中的一或多者。相对于先前技术，本发明所揭示的技术实现更加稳健且多样的用户接口。举例来说，在一些实施方案中，交互式显示器上的多个同时触摸的部位及特性可为突出的。所揭示的技术使得交互式显示器能够检测且响应于与显示器的触摸交互的具体特性，例如，施加触摸伴以的力或压力(“接触压力”)及触摸的角定向。对于除了触摸部位之外的用户的触摸的接触压力及角定向的响应提供多个应用所需的经增强用户接口。举例来说，在一些实施方案中，接触压力信息可结合在交互式显示器上运行的软件应用程序(例如，绘图或绘画程序、乐器仿真及游戏)进行使用。在一些实施方案中，交互式显示器经配置以检测且响应于手指触摸的旋转定向。旋转定向信息可用于(例如)取决于用户如何握持移动装置而将显示器定向从肖像旋转到景观，且还可用于游戏及其它应用。旋转定向信息还可用于区分多个用户，及/或使得能够辨识用于与屏幕上对象工作的新手势。在一些实施方案中，交互式显示器可与触控笔操作，所述触控笔可为有源(发光)触控笔或无源(光反射)触控笔。
本发明中所描述的主题的一个创新方面可实施在交互式显示器中，所述交互式显示器包含例如相机的一或多个感光元件，其各自安装在显示器防护玻璃罩的平面内或在所述平面后方。感光元件可输出图像数据，可从所述图像数据确定触摸或多个同时触摸的部位、接触压力及/或角定向。
在一些实施方案中，一种设备或电子装置可与交互式显示器协作以向所述设备的用户提供输入/输出(I/O)接口。所述交互式显示器具有包含观看区域的前表面。所述电子装置可包含交互式显示器或电性地或无线地耦合到交互式显示器。所述设备可包含处理器、平面光导、光源，及一或多个感光元件、光电检测器阵列或相机。所述平面光导可经安置成接近前表面且在前表面后方。在一些实施方案中，平面光导可包含经安置成接近且平行于移动装置计算机监视器、电视或其类似者的显示器层的防护玻璃罩或透镜，以使得平面光导安置于显示器层与用户之间。当在本文中以及所附权利要求书中使用术语“平面光导”时，可通过参考序列号为13/480,377的申请案“FULL RANGE GESTURE SYSTEM”来获得对所述术语的较好理解，所述申请案被指派给本发明的受让人，其揭示内容特此出于所有目的，以全文引用的方式并入到本申请案中。
一或多个相机可经安置成接观看区域的周边。可出于触摸部位感测的双重目的使用此系统中的相机，如序列号为61/947,971的申请案“LARGE AREA INTERACTIVE DISPLAYSCREEN”中所描述，所述申请案被指派给本发明的受让人，其揭示内容特此出于所有目的，以全文应用的方式并入到本申请案中。当对象(例如，用户的手指、触控笔或待成像的其它受用户控制对象)接触交互式显示器的前表面时，从对象散射的光可在平面光导内经历全内反射(TIR)。经历TIR的至少一些光可到达一或多个相机。所述相机可检测到此经TIR的光且将表示所检测到的经TIR的光的图像数据输出到处理器。处理器(使用特殊算法)可从所述图像数据辨识用户触摸的情况及部位，且可响应于用户触摸而控制交互式显示器及电子装置中的一者或两者。
图1说明根据一实施方案的交互式显示器的简化框图。交互式显示器100包含显示器防护玻璃罩165(图2)，其具有包含观看区域101的前表面167(图2)。电子显示器100包含经配置以检测光的至少一个感光元件133。如下文中将更详细地阐释，当对象150至少部分地与前表面167光学接触时，感光元件133可检测产生于光与物件150(图2)的交互的散射光。
感光元件133可将图像数据输出到处理器1004。举例来说，在一些实施方案中，感光元件133可将指纹图像数据输出到处理器1004。作为另一实例，在一些实施方案中，感光元件133可输出表示有源或无源触控笔的特征的图像数据。处理器1004可与感光元件133且与交互式显示器100的其它元件通信地耦合。在一些实施方案中，处理器1004可为电子显示器100的组成部分。在其它实施方案中，如图1所建议，处理器1004可与电子显示器100分开配置。在一些实施方案中，处理器可远程位于例如远程服务器中。
在一些实施方案中，处理器1004可经配置以从图像数据辨识对象的接触压力及旋转定向中的一者或两者。在一些实施方案中，所述图像数据包含指纹图像数据，且处理器1004可经配置以将从感光元件133接收的指纹图像数据与已知及/或经授权用户的指纹图像数据比较，如与本申请案同时申请的名为“DISPLAY-INTEGRATED USER-CLASSIFICATION,SECURITY AND FINGERPRINT SYSTEM”的专利申请案中所揭示，所述申请案的揭示内容特此出于所有目的而以全文引用的方式并入到本申请案中。
在一些实施方案中，所述对象具有在压力下变形的弹性体特性。举例来说，所述对象可为人的手指或具有可变形笔尖的触控笔，所述笔尖具有弹性体表面材料，例如橡胶或塑料。在此类实施方案中，所检测到的光的图像数据可包含与施加在对象与前表面167之间的接触压力相关的特性信息，且处理器1004可经配置以从特性信息辨识及区分用于多个触摸点的个别接触压力。
在一些实施方案中，处理器1004可经配置以辨识及区分触控笔触摸及手指两者进行的同时或几乎同时触摸。
图2说明根据一实施方案的交互式显示器的横截面正视图。交互式显示器100包含第一平面光导165(其在本文中还可被称作“防护透镜”或“防护玻璃罩”且可经安置在(例如)移动装置、监视器或电视上的显示器上方)。第一平面光导165可经安置成接近于交互式显示器100的前表面167且在所述前表面167后方。在所说明的实施方案中，背光135(其在本文中还可被称作“光源”)经安置在第一平面光导165后方。显示器层145可安置在第一平面光导165与背光135之间。在所说明的实施方案中，背光135经配置以在与前表面167基本上正交的方向上发射光142。光142可包含可见光及/或红外光。
在所说明的实施方案中，光源135经配置为背光(即，光源135在显示器层145“后方”，使得显示器层145安置于光源135与第一平面光导165之间)。然而，在其它实施方案中，光源135可经配置为前光(即，光源135可在显示器层145“上方”，使得光源135安置于显示器层145与第一平面光导165之间)。更一般地说，将了解，光源135可为或包含液晶或场序色彩显示器的背光、反射式显示器(例如，干涉式调制器(IMOD)显示器)的前光，或发射型显示器(例如，有机发光二极管显示器)发射的光，或在对可见光不透明的防护玻璃罩165的布线图区域下面且穿过所述布线图区域发射的红外光。
在一些实施方案中，光源135可经配置为第二平面光导，所述第二平面光导并有光转向布置，所述光转向布置在与前表面167正交的具有相当大分量的方向上反射从外部发光元件131接收的光。发光元件131可为(例如)发光二极管(LED)。在一些实施方案中，发光元件131可包含安置在光源135的周边周围的多个LED。发光元件131可发射红外光、红光、蓝光、绿光，或另一种色彩的光或色彩的组合的光，或白光。
如上文所指示，交互式显示器100包含至少一个感光元件133。感光元件可包含例如具有透镜、针孔或光栅的二维像素阵列(“相机”)。在一些实施方案中，感光元件133可经配置为具有透镜、针孔或光栅的沿着第一平面光导165的平面内方向对准的一维像素阵列(“1D相机”)。
在一些实施方案中，感光元件133中的至少一者为视频图形阵列(VGA)微型相机。在一些实施方案中，VGA微型相机可包含大约500μm直径的透镜，且包含于小于4mm直径的传感器封装中。因此，感光元件133可位于共面布置中，且第一光导165不明显地添加交互式显示器100的堆叠高度。
现参考图2的细节A，光142可传递通过第一平面光导165且与对象150交互。对象150至少部分地与第一平面光导165的顶表面光学接触。对象150可为用户的手指或其它附肢或具有待成像的表面的另一对象(例如，触控笔、或包含可由可见光或IR光相机检测的条形码标识符或密码水印的文件或以电子方式显示的图像)。散射光146产生于光142与对象150的交互。如由光线轨迹146(0)说明，散射光146中的一些可行进到感光元件133且可由感光元件133检测到而不被第一平面光导165内部反射。散射光146中的至少一些可经历TIR。举例来说，如由光线轨迹146(1)说明，散射光中的一些可在由感光元件133检测到之前经历单次内部反射。将了解，散射光中的一些可在由感光元件133检测到之前经历两次、三次或多于三次内部反射。感光元件133可将所检测到的光的图像数据输出到处理器1004(图1)。
仍参考图2的细节A，应注意，感光元件133可为相机，其包含具有光轴134的透镜132。在一些实施方案中，感光元件133可经安置成使得光轴134大致平行于前表面167。
图3说明从对象散射的光可怎样与平面光导交互。在所说明的实例中，对象150(1)不与前表面167光学接触。因此，入射到对象150(1)的表面上的光142(1)散射开，且散射光146(1)经折射通过第一平面光导165。在所说明的实例中，对象150(2)与前表面167光学接触，且由于此接触，来自对象150(2)的散射光146(2)可在第一平面光导165内经历TIR且可被导引朝向一或多个感光元件(未说明)并可由所述一或多个感光元件检测到。
在对象150(例如，人的手指或具有弹性体属性的人造材料或布置)具有在压力下变形的弹性体特性情况下，所检测到的光的图像数据可包含与对象150接触前表面伴以的力或压力(“接触压力”)相关的信息。图4说明所检测到的光的图像数据可怎样包含与接触压力相关的信息。由于人的皮肤的脊形结构(或人造对象的表面粗糙度)，因此当以最小接触压力将触摸施加到平面光导165时(细节B)，对象150的仅相对小比例的表面可实际上与玻璃光学接触。由防护玻璃罩捕获的散射光的强度与接触面积成比例。当接触压力增加时(细节C)，接触面积也增加，这是因为气隙被去除或在大小上被缩减，且所捕获的散射光的强度可相应地增加。另外，当施加较大接触压力时(细节D)，手指或有弹性体对象的软尖端或软垫会压缩，且与前表面接触的对象区的大小会增加。因此，可在由感光元件133输出的图像数据中观测到较宽的“点”。在一些实施方案中，包含所观测到的点的信号强度级及/或大小的由感光元件133输出的图像数据用于确定由对象150施加的接触压力。由处理器1004执行的计算机算法可解释相机图像以使用所述点的信号强度及/或大小确定施加到一或多个触摸点的压力。
在一些实施方案中，可针对多个手指触摸点个别地确定接触压力。
图5根据一实施方案说明所检测到的光的图像数据可怎样包含旋转定向信息。在所说明的实施方案中，交互式显示器500经配置以按以下方式提供旋转定向感测能力。交互式显示器500包含第一平面光导565(其在本文中还可被称作“防护透镜”或“防护玻璃罩”且可经安置在(例如)移动装置、监视器或电视上的显示器上方)、光源或背光535，及位于平面光导565的周边周围的一或多个感光元件533。感光元件533可包含具有透镜、针孔或光栅的二维像素阵列。
第一平面光导565可经安置成接近于交互式显示器500的前表面567且在所述前表面567后方。在所说明的实施方案中，光源535(其在本文中还可被称作“背光”)经安置在第一平面光导465后方。显示器层545可安置在第一平面光导565与光源535之间。
光源535可在与前表面567正交上具有相当大分量的方向上发射可见光及/或红外光，且可经配置为或包含液晶或场序色彩显示器、反射式显示器(例如，干涉式调制器(IMOD)显示器)的前光、来自发射型显示器(例如，有机发光二极管显示器)的光。
仍参考图5，来自光源535的光542可与对象550的表面交互，所述对象550接触前表面567。当对象550的表面的一部分与前表面567光学接触时，其将光546散射到光导中，所述光546被导引且接着由一或多个感光元件533检测到。感光元件533可将所检测到的光的图像数据输出到处理器(未经说明)。在一些实施方案中，处理器可为交互式显示器500的组成部分，但并不一定如此。在其它布置中，处理器可远程位于例如远程服务器中。
在对象550为人的手指或拇指或经类似塑形的人造对象的情况下，其将在具有长度与宽度纵横比可测量地大于一的椭圆形形状区中接触前表面567，如可在图5的视图A-A中观测到。因此，如将在下文中较详细描述，可识别相机处的透视图像中的椭圆形的斜角，所述斜角取决于相机与对象550的定向的相对定向。
现参考图5的细节E，光542可传递通过第一平面光导565且与对象550交互。对象550至少部分地与第一平面光导565的顶部表面567光学接触。散射光546产生于光542与对象550的交互。如由光线轨迹546(0)说明，散射光546中的一些可行进到感光元件533且可由感光元件533检测到而不在平面光导565内被内部反射。散射IR光546中的至少一些可经历TIR。举例来说，如由光线轨迹546(1)说明，散射光中的一些可在由感光元件533检测到之前经历单次内部反射。
将了解，散射光中的一些可在由感光元件533检测到之前经历两次、三次或多于三次内部反射。因此，对象550的图像的多个离散反射可由感光元件533检测到。这些多个离散反射的产生可在本文中被称作万花筒效应。
图6说明万花筒效应的实例。更具体地说，图6说明在感光元件533的视场610内对齐的多个图像中的每一者怎样对应于以不同角度从对象550散射的光，所述不同角度可与相应虚拟对象的部位相关。举例来说，图像i550对应于对象150的直接图像。图像iv1产生于已经历单次内部反射的光线，且对应于虚拟对象部位v1。图像iv2产生于已经历两次内部反射的光线，且对应于虚拟对象部位v2。尽管出于说明清楚起见，仅在图6中描绘三个图像——图像i550、iv1及iv2，但通常可预期相当大数目的图像产生于万花筒效应。
图7说明使用本发明所揭示的技术获得的图像的实例。应注意对象550的椭圆形形状接触区的可检测斜角α的存在。预计所检测到的斜角α可与对象550的旋转定向相关。举例来说，由处理器1004执行的计算机算法可解释所述图像数据以确定对象550的旋转定向。在一些实施方案中，处理器1004可确定经成像椭圆形中的主要斜角，且将所述主要斜角与对象550的旋转定向相关。图8根据一实施方案说明所检测到的光的图像数据可怎样用于获得旋转定向信息。处理器1004还可使用所感测到的旋转定向来响应于旋转手势及/或转动显示器的视图。
图9说明根据一些实施方案的无源触控笔与平面光导的交互的实例。如本文下文更详细地描述，触控笔980可经配置有“可变形笔尖”。类似于上文所描述的实施方案，交互式显示器可包含平面光导565、光源(未经说明)，及位于平面光导565的周边周围的一或多个感光元件(未经说明)。平面光导565可经配置为安置在(例如)移动装置、监视器或电视的显示器上方的防护玻璃罩(或“防护透镜”)。
感光元件可包含具有透镜、针孔或光栅的二维像素阵列(“相机”)，具有透镜、针孔或光栅的沿着平面光导565的平面内方向对准的一维像素阵列(“1D相机”)或个别光电检测器。
光源可发射可见光及/或红外光，且可经配置为或包含液晶或场序色彩显示器、反射式显示器(例如，干涉式调制器(IMOD)显示器)的前光、来自发射型显示器(例如，有机发光二极管)的光。
在所说明的实施方案中，触控笔980经配置为“无源”触控笔，这意味着结合图9描述的触摸辨识技术主要取决于从触控笔980被动地反射或散射的光，且不需要触控笔980包含其自身的光源。所述触控笔980可经配置为类似于传统书写工具的杆形状或笔形状装置，且可包含笔尖981。笔尖981可经配置以具有在压力下变形的弹性体特性，且可包含经配置以漫射性地散射作用于表面的光的表面。可变形笔尖可经配置以改进触控笔与光导之间的光学接触。
仍参考图9，可通过比较细节F与细节G来获得对本发明所揭示的技术的更好理解。为了使由笔尖981反射的光946在平面光导565内经历TIR，此光必须以大于临界角θ的角度进入平面光导565。细节F说明笔尖981不与平面光导565光学接触的实例，而细节G说明笔尖981与平面光导565光学接触的实例。在细节F中，当光942与笔尖981交互时，产生于所述交互的散射光946F在其进入平面光导565时经历大量折射。因此，大部分或所有此光以小于临界角θ的角度(对于玻璃或塑料/空气界面约为42度)进入平面光导565，且因此不经历TIR而是离开平面光导565而非被导引朝向感光元件，例如，相机(未经说明)或光电检测器(未经说明)。然而，当笔尖981与平面光导光学接触时(如细节G中所说明)，从笔尖981散射的光946G经受极少或不经受折射，且光946G中的至少相当大部分在平面光导565内经历TIR，从而可将所述光导引到感光元件。
通过将笔尖981配置为具有弹性体特性的可变形笔尖，所检测到的散射光的量可达成显著的增加。此外，触控笔980以及可变形笔尖981可用于需要接触压力感测的布置中，如上文结合图2到4所描述。
已经历TIR的所述光中的至少一些可到达一或多个感光元件。所述感光元件可检测到此经TIR的光且将表示所检测到的经TIR的光的图像数据输出到处理器。所述处理器可从所述图像数据辨识触控笔触摸的情况及部位，且可响应于所述触控笔触摸来控制交互式显示器及所述电子装置中的一者或两者。
在一些实施方案中，笔尖981可经配置以提供某一最低级别的可变形性，使得在接触平面光导565的前表面567后其形状即符合前表面567的微观及宏观表面几何形状。
在一些实施方案中，笔尖981包含接近或在外部表面处的弹性体层。替代地或另外，平面光导565的前表面567可包含弹性体层。在一些实施方案中，弹性体层可具有在五微米到1000微米的范围内的厚度。弹性体层可经安置在较硬材料的表面上，笔尖981的主体由所述较硬材料形成。在一些实施方案中，笔尖981的主体还可由弹性体材料组成。
在一些实施方案中，所述处理器可经配置以辨识出是触控笔而非手指触摸了光导565，因为(例如)由相机捕获的产生于触控笔触摸的图像的大小可不同于产生于手指触摸的图像的大小。举例来说，笔尖981可看起来像小亮点而非经扩展的椭圆形。在一些实施方案中，笔尖981可为可由相机检测到的特定形状(例如，星形)。
在一些实施方案中，所述处理器可经配置以辨识及区分触控笔触摸及手指两者进行的同时或几乎同时触摸。
图10说明根据一些实施方案的有源触控笔与平面光导的交互的实例。在所说明的实施方案中，交互式显示器可经配置以检测及响应于来自触控笔1080的触摸，所述触控笔1080包含光源1082且可经配置有可变形笔尖1081。类似于上文所描述的实施方案，交互式显示器可包含平面光导565及一或多个感光元件(未经说明)。所述感光元件可位于(例如)平面光导565的周边周围。平面光导565可经配置为安置在(例如)移动装置、监视器或电视的显示器上方的防护玻璃罩(或“防护透镜”)。
感光元件可包含具有透镜、针孔或光栅的二维像素阵列(“相机”)，具有透镜、针孔或光栅的沿着平面光导565的平面内方向对准的一维像素阵列(“1D相机”)或个别光电检测器。
在所说明的实施方案中，触控笔1080经配置为“有源”触控笔，这意味着结合图10描述的触摸辨识技术主要取决于由触控笔1080的光源1082发射的光，且不需要交互式显示器包含其自身的光源。在一些实施方案中，光源1082可为或包含发光二极管(LED)。触控笔1080可经配置为杆形状或笔形状装置，且包含笔尖1081。笔尖1081可至少部分地对由光源1082发射的光透明。更具体地说，预计笔尖1081将跨越广泛范围的角度漫射性地传递由光源1082发射的光。因此，可能不需要交互式显示器的漫射层将光“转向”到光导565中。
在一些实施方案中，笔尖1081可经配置以具有在压力下变形的弹性体特性。可变形笔尖可经配置以改进触控笔与光导之间的光学接触。此实现在漫射光从笔尖1081传播到平面光导565中时保持所述漫射光的方向性的光学耦合。从笔尖1081发射的光的大角度范围可包含超过与防护玻璃罩/空气界面相关联的临界角的角度。此光借助于全内反射被截留在光导中。此光中的一些被实现触控笔功能性的周边传感器收集。
仍参考图10，可通过比较细节H与细节I来获得对本发明所揭示的技术的更好理解。为了使离开笔尖1081的光在平面光导565内经历TIR，此光必须以大于临界角θ的角度进入平面光导565。细节H说明笔尖1081不与平面光导565光学接触的实例，而细节I说明笔尖1081与平面光导565光学接触的实例。在细节H中，从笔尖1081离开的光1046(H)在其进入平面光导565时经历大量折射。因此，大部分或所有此光以小于临界角θ的角度(对于玻璃或塑料/空气界面约为42度)进入平面光导565，且因此不经历TIR而是离开平面光导565而非被导引朝向感光元件，例如，相机(未经说明)或光电检测器(未经说明)。然而，当笔尖1081与平面光导光学接触时(如细节I中所说明)，光1046I经受极少或不经受折射，且光1046I中的至少相当大部分在平面光导865内经历TIR，从而可将所述光导引到感光元件。
通过将笔尖1081配置为具有弹性体特性的可变形笔尖，所检测到的光1046的量可达成显著的增加。此外，触控笔1080以及可变形笔尖1081可用于需要接触压力感测的布置中，如上文结合图2到4所描述。
已经历TIR的所述光中的至少一些可到达一或多个感光元件。所述感光元件可检测到此经TIR的光且将表示所检测到的经TIR的光的图像数据输出到处理器。使用适当算法，所述处理器可从所述图像数据辨识触控笔触摸的情况及部位，且可响应于触控笔触摸而控制交互式显示器及电子装置中的一者或两者。
在一些实施方案中，笔尖1081可经配置以提供某一最低级别的可变形性，使得在接触平面光导565的前表面567后其形状即符合前表面567的微观及宏观表面几何形状。
图11说明有源触控笔的实例实施方案。在所说明的实施方案中，触控笔1080包含笔尖1081及光源1082。如上文所描述，预计笔尖1081具有某一最低级别的可变形性，以使得在与平面光导565的前表面567接触后其形状即符合光导表面的微观及宏观表面几何形状。在一些实施方案中，光源1082可为IR LED。在此实施方案中，预计笔尖1081可由对红外光基本上透明的材料形成。在一些实施方案中，所述材料可为(例如)聚硅氧烷。
在一些实施方案中，笔尖1081包含接近或在外部表面处的弹性体层。所述弹性体层可为薄达5到10微米且多达1000微米的材料薄层，所述材料薄层在形成笔尖1081的主体的较硬材料的表面上。笔尖1081的主体还可主要由较厚体积的弹性体材料组成。
图12说明有源触控笔的另外实例实施方案。在所说明的实施方案中，设想出增加光被截留到显示器的光导或防护玻璃罩中的效率且缩减以小于临界角的角度传递到光导中的光的量的布置。如下详述，图12中所说明的布置缩减此损失光的量。
现参考图12的细节J，说明笔尖1281J的中心区经配置为第一反射器1284的实施方案。以小于临界角的角度从光源1282发射的光照在第一反射器1284上且被反射回到触控笔1280中。在所说明的实施方案中，第一反射器具有金字塔形状，然而，第一反射器1284可具有其它形状，且可替代地为扁平的。第二反射器1286可经配置以将从第一反射器1284反射的光转回朝向光导565，以使所述光具有离开笔尖1281J且被截留到光导565中的第二次机会。
现参考图12的细节K，说明笔尖1281J的中心区经配置成在笔尖1281K的中心有金字塔形状的空隙1283(或“气隙”)的实施方案。以小于临界角的角度从光源1282发射的光借助于气隙1283经全内反射回到触控笔1280K中。因此，所述光经再循环且具有离开笔尖1281K且被截留到光导565中的第二此机会。
现参考图12的细节L，说明衍射微型结构1288经压印到笔尖1281L的底部部分中的实施方案。照在衍射微型结构1288上的从光源1282发射的光经衍射成特定方向；在此状况下，那些方向成大于临界角的角度。在一些实施方案中，由光源1282发射的光可经准直及/或为单色的。在替代实施方案(未经说明)中，衍射微型结构1288可由全息膜代替。
图13说明有源触控笔的又另外实例实施方案。在所说明的实施方案中，由触控笔内部的光源发射的光被透镜聚焦。因此，触控笔与光导或防护玻璃罩的接触点可较小，从而允许更好的空间分辨率。此外，通过增加光的发散(用于光学系统的小f#)，可得到成超过临界角的角度的较多光，所述光因此可在光导565内经TIR。
参看图13的细节M，触控笔1380M包含透镜1387。透镜1387可经配置以将从光源1382M发射的光聚集朝向与光导565接触的笔尖1381的点。在替代实施方案中，参看图13的细节N，触控笔1380N包含负(或“发散”)透镜1387及经准直光的源1382N。
图14说明触控笔笔尖具有抛物线形状的实例实施方案。在所说明的实施方案中，笔尖1481可充当由光源1482发射的光的聚光器。对于图14中所展示的触控笔笔尖几何形状，可观测到，来自光源1482的光首先入射在笔尖1481的光入口1481a处。进入笔尖的光从侧壁反射开，直到其到达笔尖1481的较窄端部1481b为止。因为窄的笔尖端部1481b具有小于光入口1481a的区域的区域，因此发射角度由于光学扩展的已知属性而变得较大。因此，经截留到与笔尖1481接触的光导565中的光的量可能增加。此外，可增强空间分辨率，因为可考虑较小触控笔接触点。
如上文结合图10所描述，在本发明所揭示的技术的一些实施方案中，有源触控笔包含经配置以漫射性地传递从光源发射通过笔尖的光的可变形笔尖。由于笔尖的漫射特征，经发射通过笔尖的光可被基本上各向同性地分散。
图15说明具有可变形笔尖的有源触控笔的实例实施方案。可通过首先参考图15的细节P来更好地理解此类实施方案的特征及益处，细节P说明在不存在漫射笔尖的情况下，当有源触控笔1580P倾斜时，光发射到光导565中将在对应于所述倾斜的方向上偏移。
现参考图15的细节Q，可观测到有源触控笔1580Q包含可经配置以各向同性地散射光而不管触控笔倾斜的漫射笔尖1581。在一些实施方案中，从光源1582入射且穿过笔尖的光可由笔尖1581以最小吸收散射。嵌入有透明或反射性粒子的透明塑料材料可实现此类型的散射。因此，即使当触控笔倾斜时(细节R)，光以至少几乎各向同性的方式离开笔尖1581。因此，光可在所有“平面内”方向上被同等地截留在光导565中，且感光元件检测光，如同触控笔经固持成正交于屏幕一般。
如上文所指示，处理器1004可执行一或多个算法以便从图像数据辨识用户触摸的情况及部位。另外，处理器1004可执行一或多个算法以便从图像数据辨识用户触摸或有源或无源触控笔的部位、接触压力及角定向中的一或多者。
举例来说，在一些实施方案中，处理器1004可执行包含通过分析从至少一个感光元件接收的图像数据确定用户触摸或有源或无源触控笔的部位(“触摸部位”)的算法。在一些实施方案中，再次参考图6，视场610内的相应图像i550、iv1及iv2的Y-Z坐标可用于确定触摸部位。首先可依据关于感光元件的方位角及与光敏元件的分离距离(“范围”)来测量触摸部位。
更具体地说，相应图像的Y轴部位可定量地与触摸部位的方位角相关。举例来说，在感光元件输出像素图像数据阵列的情况下，可通过识别(例如)哪一像素在输出峰值光强度来确定对应于触摸部位的中心的像素。考虑到感光元件(例如透镜系统)的光学特性，经识别像素可经映射到触摸部位的方位角。
仍参考图6，考虑到感光元件的光学特性，所述算法可将万花筒图像i550、iv1与iv2之间的Z轴分离映射到触摸部位的范围。
视需要，所述算法还可执行从以上所获得的(方位角,范围)坐标到(X,Y)坐标的坐标变换。
作为另一实例，在一些实施方案中，处理器1004可执行包含使用两个或多于两个感光元件的输出确定触摸部位的算法。图16说明在一些实施方案中关于两个光敏元件中的每一者的触摸部位的方位角坐标可怎样用于获得触摸部位的X-Y坐标。无论感光元件是否为2-D相机(如所说明)或输出1-D标绘图(等效于行扫描相机)，都可通过识别(例如)哪一像素在输出峰值光强度来确定对应于关于每一感光元件的触摸部位方位角坐标的像素。考虑到相应感光元件(例如透镜系统)的光学特性，经识别像素可经映射到触摸部位的方位角。使用已知三角测量技术，可从少到两个感光元件的相应方位角来在计算上确定触摸部位的X-Y坐标。
在来自多于两个光敏元件的方位角坐标数据为可供使用的情况下，可应用拟合技术以获得更精确的触摸部位确定。
作为又一实例，在一些实施方案中，处理器1004可执行包含使用三个或多于三个感光元件的范围信息输出来确定触摸部位的算法。图17说明在一些实施方案中关于四个光敏元件中的每一者的触摸部位的范围坐标可怎样用于获得触摸部位的X-Y坐标。可通过信号电平的分析或如上文所描述的万花筒图像之间的Z轴分离的分析来确定范围信息。
图18说明根据一些实施方案的用于从图像数据辨识与交互式显示器接触的对象的接触压力及旋转定向中的一者或两者的过程流程图。交互式显示器可经配置以执行过程1800。在一些实施方案中，包含感光元件133的交互式显示器100可经配置以执行与处理器1004合作的过程1800。过程1800可通过运用感光元件检测所接收的光而在方框1801处开始。在一些实施方案中，所接收的光可产生于由光源发射的光与至少部分地光学接触交互式显示器100的显示器防护玻璃罩的前表面的对象之间的交互。替代地或另外，所接收的光可由对象发射，其中所述对象为(例如)有源触控笔。
在方框1803处，感光元件可将图像数据输出到处理器。在方框1805处，所述处理器可从所述图像数据辨识对象的接触压力及旋转定向中的一者或两者。
因此，已揭示了用于使交互式显示器能够检测并响应与交互式显示器的触摸交互的具体特性的经改进的技术。在上文所描述的实施方案中的一些或全部中，可实施以下技术中的一或多者：可将膜或表面处理应用于光导的顶部表面直到光学耦合。替代地或另外，可将调制应用于照明光的强度以改进系统的敏感度。在一些实施方案中，相干光(例如，由激光器产生的光)可用于照明光。所得的斑点图案可用于改进系统的敏感度。在一些实施方案中，可使用以下方法增强相机图像：锐化算法、几何变换或失真校正、空间频率滤波(移除背景光及噪音，因为多个反射在特定空间频率范围中)、反卷积算法(用以分离重叠的多个反射)，或超分辨率算法(使用多个反射来构建较高分辨率图像)。这些算法可用于使初始触摸阈值对于用户“更柔和”。
对于所属领域的技术人员而言，对本发明中所描述的实施方案的各种修改可为显而易见的，并且在不脱离本发明的精神或范围的情况下，本文中所定义的一般原理可适用于其它实施方案。因此，权利要求书并不意图限于本文中所展示的实施方案，而应符合与本文中所揭示的揭示内容、原理及新颖特征相一致的最广泛范围。
如本文中所使用，指一列项目“中的至少一者”的短语是指那些项目的任何组合，包含单一成员。作为一实例，“a、b或c中的至少一者”意图涵盖：a、b、c、a-b、a-c、b-c及a-b-c。
结合本文中所揭示的实施方案描述的各种说明性逻辑、逻辑块、模块、电路及算法过程可实施为电子硬件、计算机软件或两者的组合。硬件与软件的互换性已大体在功能性方面加以描述，且在上文所描述的各种说明性组件、块、模块、电路及过程中加以说明。此功能性是以硬件来实施还是以软件来实施取决于具体应用及强加于整个系统的设计约束。
结合本文中所揭示的方面而描述的用于实施各种说明性逻辑、逻辑块、模块及电路的硬件及数据处理设备可通过以下各者来实施或执行：通用单芯片或多芯片处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件或其经设计以执行本文中所描述的功能的任何组合。通用处理器可为微处理器或任何常规处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合，例如，DSP与微处理器的组合、多个微处理器、一或多个微处理器结合DSP核心、或任何其它此配置。在一些实施方案中，具体过程及方法可由特定针对给定功能的电路执行。
在一或多个方面中，可以用硬件、数字电子电路、计算机软件、固件(包含本说明书中所揭示的结构及其结构等效物)或以其任何组合来实施所描述的功能。本说明书中所描述的主题的实施方案还可实施为在计算机存储媒体上编码用于由数据处理设备执行或控制数据处理设备的操作的一或多个计算机程序，即，计算机程序指令的一或多个模块。
如果在软件中实施，则所述功能可作为一或多个指令或代码而存储于计算机可读媒体(诸如，非暂时性媒体)上或经由所述计算机可读媒体(诸如，非暂时性媒体)传输。本文中所揭示的方法或算法的过程可在可驻留于计算机可读媒体上的处理器可执行软件模块中实施。计算机可读媒体包含计算机存储媒体及通信媒体两者，通信媒体包含可经启用以将计算机程序从一处传送到另一处的任何媒体。存储媒体可为由计算机存取的任何可供使用的媒体。借助于实例而非限制，非暂时性媒体可包含RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置，或可用于以指令或数据结构形式存储所要程序代码且可由计算机存取的任何其它媒体。而且，可将任何连接适当地称为计算机可读媒体。如本文中所使用的磁盘及光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘及蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘用激光以光学方式再现数据。上文的组合也应包含在计算机可读媒体的范围内。另外，方法或算法的操作可作为代码及指令中的一者或任何组合或集合驻留于可并入到计算机程序产品中的机器可读媒体及计算机可读媒体上。
另外，所属领域的技术人员将易于了解，有时为了易于描述诸图而使用术语“上部”及“下部”，且所述术语指示对应于在经适当定向的页面上的图的定向的相对位置，且可能并不反映如所实施的装置的适当定向。
在本说明书中在单独实施方案的上下文中描述的某些特征也可在单个实施方案中组合地实施。相反地，在单个实施方案的上下文中描述的各种特征也可单独地在多个实施方案中实施或以任何合适的子组合来实施。此外，尽管上文可将特征描述为以某些组合起作用且甚至最初如此主张，但在一些状况下，可将来自所主张的组合的一或多个特征从组合中删除，且所主张的组合可针对子组合或子组合的变化。
类似地，尽管在图式中按具体次序描绘操作，但此情形不应被理解为要求按所展示的具体次序或按顺序次序执行此类操作，或执行所有所说明的操作，以实现所期望的结果。另外，图式可以流程图形式示意性地描绘多于一个的实例过程。然而，可将未描绘的其它操作并入于经示意性说明的实例过程中。举例来说，可在所说明的操作中的任一者之前、之后、同时地或之间执行一或多个额外操作。在某些情况下，多重任务处理及并行处理可为有利的。此外，上文所描述的实施方案中的各种系统组件的分离不应被理解为在所有实施方案中要求此分离，且应理解，所描述的程序组件及系统一般可一起整合在单个软件产品中或封装到多个软件产品中。另外，其它实施方案在所附权利要求书的范围内。在一些状况下，权利要求书中所叙述的动作可以不同次序来执行且仍实现所要结果。

Claims (30)

1.一种设备，其包括：
交互式显示器，其具有包含观看区域的前表面；
平面光导，其经安置成接近于所述前表面且在所述前表面后方；
光源，其发射可见光及红外光中的一者或两者；以及
至少一个感光元件，其与所述第一平面光导耦合且经安置成在所述观看区域的周边外部或接近于所述观看区域的周边；其中：
所述平面光导经配置以接收光，所述所接收的光产生于以下各者中的一者或两者：由所述光源发射的光被与所述前表面光学接触的对象进行的散射，及由所述对象发射的光；
所述感光元件经配置以检测所述所接收的光中的至少一些且将图像数据输出到处理器；且
所述处理器经配置以从所述图像数据辨识所述对象的接触压力及旋转定向中的一者或两者。
2.根据权利要求1所述的设备，其中所述光源在与所述前表面基本上正交的方向上发射光。
3.根据权利要求2所述的设备，其中所述光源经配置为或包含液晶或场序色彩显示器的背光、反射式显示器的前光或来自发射型显示器的光。
4.根据权利要求1所述的设备，其中所述对象为无源触控笔或用户的附肢或手指。
5.根据权利要求1所述的设备，其中：
所述对象为无源触控笔；
所述所接收的光产生于由所述光源发射的光被所述无源触控笔的笔尖进行的散射；且
所述笔尖具有在压力下变形的弹性体特性及漫反射表面。
6.根据权利要求5所述的设备，其中所述处理器经配置以从所述图像数据辨识所述无源触控笔的部位、接触压力及角定向中的一或多者。
7.根据权利要求5所述的设备，其中所述处理器经配置以从所述图像数据辨识所述无源触控笔的部位、接触压力及角定向中的每一者。
8.根据权利要求1所述的设备，其中：
所述对象为有源触控笔，其包含笔尖；
所述所接收的光产生于由所述有源触控笔发射通过所述笔尖的光；且
所述笔尖具有在压力下变形的弹性体特性。
9.根据权利要求8所述的设备，其中所述笔尖经配置成以基本上各向同性方式散射由所述有源触控笔发射通过所述笔尖的所述光。
10.根据权利要求1所述的设备，其中所述对象具有在压力下变形的弹性体特性，且所述所检测到的光的图像数据包含与施加在所述对象与所述前表面之间的接触压力相关的特性信息。
11.根据权利要求10所述的设备，其中所述处理器经配置以从所述特性信息辨识及区分用于多个触摸点的个别接触压力。
12.根据权利要求1所述的设备，其中所述感光元件包含光敏检测器阵列或相机。
13.根据权利要求12所述的设备，其中所述感光元件经安置在平面内或在所述平面光导的平面后方。
14.根据权利要求1所述的设备，其中所述处理器经配置以辨识及区分由触控笔触摸及手指两者进行的同时或几乎同时触摸。
15.根据权利要求1所述的设备，其中所述感光元件为相机，其包含具有光轴的透镜，所述相机经安置成所述光轴大致平行于所述前表面。
16.一种设备，其包括：
电子显示器，其具有包含观看区域的前表面；
平面光导，其经安置成接近于所述前表面且在所述前表面后方；
光源，其发射可见光及红外光中的一者或两者；以及
至少一个感光元件，其与所述第一平面光导耦合且经安置成在所述观看区域的周边外部或接近于所述观看区域的周边；其中：
所述平面光导经配置以接收散射光，所述所接收的散射光产生于由所述光源发射的光与光学接触所述前表面的对象之间的交互；
所述感光元件经配置以检测所述所接收的散射光中的至少一些且将图像数据输出到处理器；且
其中所述光源在与所述前表面基本上正交的方向上发射光。
17.根据权利要求16所述的设备，其中所述处理器经配置以从所述图像数据辨识所述对象的接触压力及旋转定向中的一者或两者。
18.根据权利要求17所述的设备，其中所述处理器经配置以从所述图像数据辨识所述对象的部位、接触压力及角定向中的每一者。
19.根据权利要求16所述的设备，其中所述光源经配置为或包含液晶或场序色彩显示器的背光、反射式显示器的前光或来自发射型显示器的光。
20.根据权利要求16所述的设备，其中所述对象具有在压力下变形的弹性体特性，且所述所检测到的光的图像数据包含与施加在所述对象与所述前表面之间的接触压力相关的特性信息。
21.根据权利要求16所述的设备，其中：
所述对象为无源触控笔；
所述所接收的散射光产生于由所述光源发射的光与所述无源触控笔的笔尖之间的交互；且
所述笔尖具有弹性体特性及漫反射表面。
22.一种设备，其包括：
交互式显示器，其具有包含观看区域的前表面；
光源，其发射可见光及红外光中的一者或两者；
至少一个感光元件，其经安置成在所述观看区域的周边外部或接近于所述观看区域的周边；以及
经安置成接近于所述前表面且在所述前表面后方、与所述至少一个感光元件耦合的用于接收光的装置，所述所接收的光产生于以下各者中的一者或两者：由所述光源发射的光与光学接触所述前表面的对象之间的交互，及由所述对象发射的光；且其中：
所述感光元件经配置以检测所述所接收的光中的至少一些且将图像数据输出到处理器；且
所述处理器经配置以从所述图像数据辨识所述对象的接触压力及旋转定向中的一者或两者。
23.根据权利要求22所述的设备，其中所述光源在与所述前表面基本上正交的方向上发射光。
24.根据权利要求23所述的设备，其中所述光源经配置为或包含液晶或场序色彩显示器的背光、反射式显示器的前光或来自发射型显示器的光。
25.一种方法，其包括：
运用感光元件检测所接收的光，所述所接收的光产生于以下各者中的一者或两者：由光源发射的光与至少部分地光学接触交互式显示器的显示器防护玻璃罩的前表面的对象之间的交互，及由所述对象发射的光；
将图像数据从所述感光元件输出到处理器；以及
运用处理器从所述图像数据辨识所述对象的接触压力及旋转定向中的一者或两者。
26.根据权利要求25所述的方法，其中所述光源在与所述前表面基本上正交的方向上发射光。
27.根据权利要求25所述的方法，其中所述光源经配置为或包含液晶或场序色彩显示器的背光、反射式显示器的前光或来自发射型显示器的光。
28.根据权利要求25所述的方法，其中所述处理器经配置以从所述图像数据辨识所述对象的部位、接触压力及角定向中的每一者。
29.根据权利要求25所述的方法，其中所述处理器经配置以从所述图像数据对所述对象的部位进行确定。
30.根据权利要求29所述的方法，其中所述处理器经配置以通过以下操作中的一或多者进行所述确定：
测量所述对象相对于所述感光元件的方位角及范围；
测量所述对象相对于多个感光元件的方位角；以及
测量所述对象相对于多个感光元件的范围。
CN201580022431.0A 2014-04-28 2015-03-18 用于交互式显示器屏幕的压力、旋转及触控笔功能性 Pending CN106462296A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201461985325P 2014-04-28 2014-04-28
US61/985,325 2014-04-28
US14/502,726 US9582117B2 (en) 2014-04-28 2014-09-30 Pressure, rotation and stylus functionality for interactive display screens
US14/502,726 2014-09-30
PCT/US2015/021245 WO2015167683A1 (en) 2014-04-28 2015-03-18 Pressure, rotation and stylus functionality for interactive display screens

Publications (1)

Publication Number Publication Date
CN106462296A true CN106462296A (zh) 2017-02-22

Family

ID=54334776

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580022431.0A Pending CN106462296A (zh) 2014-04-28 2015-03-18 用于交互式显示器屏幕的压力、旋转及触控笔功能性

Country Status (7)

Country Link
US (1) US9582117B2 (zh)
EP (1) EP3137978A1 (zh)
JP (1) JP2017514232A (zh)
KR (1) KR20160146735A (zh)
CN (1) CN106462296A (zh)
BR (1) BR112016024940A2 (zh)
WO (1) WO2015167683A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11983363B1 (en) * 2023-09-05 2024-05-14 Primax Electronics Ltd. User gesture behavior simulation system and user gesture behavior simulation method applied thereto

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10116868B2 (en) 2014-04-28 2018-10-30 Qualcomm Incorporated Display-integrated user-classification, security and fingerprint system
US9582117B2 (en) 2014-04-28 2017-02-28 Qualcomm Incorporated Pressure, rotation and stylus functionality for interactive display screens
DE112015004010T5 (de) * 2014-09-02 2017-06-14 Rapt Ip Limited Instrumentenerfassung mit einer optischen berührungsempfindlichen Vorrichtung
US9965101B2 (en) 2014-09-02 2018-05-08 Rapt Ip Limited Instrument detection with an optical touch sensitive device
US10108301B2 (en) 2014-09-02 2018-10-23 Rapt Ip Limited Instrument detection with an optical touch sensitive device, with associating contacts with active instruments
KR102299365B1 (ko) * 2014-11-03 2021-09-07 삼성전자주식회사 스페클을 이용한 인증 장치, 이를 포함하는 인증 시스템 및 스페클을 이용한 인증 방법
HUE059960T2 (hu) * 2016-12-07 2023-01-28 Flatfrog Lab Ab Ívelt érintésérzékelõ eszköz
US10635195B2 (en) * 2017-02-28 2020-04-28 International Business Machines Corporation Controlling displayed content using stylus rotation
US11169641B2 (en) 2018-01-23 2021-11-09 Beechrock Limited Compliant stylus interaction with touch sensitive surface
US10983611B2 (en) * 2018-06-06 2021-04-20 Beechrock Limited Stylus with a control
KR102260868B1 (ko) 2019-12-12 2021-06-07 금오공과대학교 산학협력단 제스처 기반 모드 선택 기능을 갖는 전자 장치, 그 방법 및 기록매체
CN113220140B (zh) * 2020-01-21 2023-10-13 京东方科技集团股份有限公司 一种交互笔、感应屏、交互系统及定位方法
EP4104042A1 (en) 2020-02-10 2022-12-21 FlatFrog Laboratories AB Improved touch-sensing apparatus
US11749014B2 (en) * 2020-08-13 2023-09-05 Novatek Microelectronics Corp. Optical fingerprint sensing apparatus, driver apparatus thereof and operation method

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060001654A1 (en) * 2004-06-30 2006-01-05 National Semiconductor Corporation Apparatus and method for performing data entry with light based touch screen displays
CN102089736A (zh) * 2008-07-15 2011-06-08 伊斯奇里因特菲斯技术股份有限公司 用于数据处理系统的控制面
US20120019481A1 (en) * 2010-07-26 2012-01-26 Po-Sheng Lai Controller of Contact Sensing Type Using Optical Principle for Controlling a Pointer on a Display Screen
US20120249477A1 (en) * 2011-03-30 2012-10-04 Smart Technologies Ulc Interactive input system and method
US20140098058A1 (en) * 2012-10-04 2014-04-10 Corning Incorporated Pressure-sensing touch system utilizing optical and capacitive systems

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69407628T2 (de) 1993-02-01 1998-08-27 Matsushita Electric Ind Co Ltd Wellenleiter-Bildübertragungsvorrichtung und Vorrichtung zur Identifikation von Fingerabdrücken
GB9516441D0 (en) 1995-08-10 1995-10-11 Philips Electronics Uk Ltd Light pen input systems
DE19535803A1 (de) 1995-09-26 1997-03-27 Computer Ges Konstanz Abtastvorrichtung zur optischen Abtastung von Objekten mit Oberflächenstruktur
US7859519B2 (en) * 2000-05-01 2010-12-28 Tulbert David J Human-machine interface
JP3559754B2 (ja) 2000-07-25 2004-09-02 Ｎｅｃエレクトロニクス株式会社 指紋認証装置
US6956608B1 (en) 2000-08-11 2005-10-18 Identix Incorporated Fingerprint imaging device including an optical plate having microreflectors
US20020131624A1 (en) 2000-08-11 2002-09-19 Yury Shapiro Fingerprint imaging device with fake finger detection
US20030028872A1 (en) 2001-08-03 2003-02-06 Rajko Milovanovic System and method for real-time non-participatory user recognition and content provisioning
JP4186440B2 (ja) 2001-08-07 2008-11-26 オムロン株式会社 車両搭載機器の制御システム、携帯電話機、及び車両搭載機器の制御方法
DE60307077T2 (de) 2002-03-13 2007-03-01 O-Pen Aps Berührungs-pad und verfahren zum betreiben des berührungs-pads
US7313255B2 (en) 2003-05-19 2007-12-25 Avago Technologies Ecbu Ip Pte Ltd System and method for optically detecting a click event
US7358514B2 (en) 2003-09-05 2008-04-15 Authentic, Inc. Multi-biometric finger sensor apparatus and associated methods
US7442914B2 (en) * 2003-09-12 2008-10-28 Flatfrog Laboratories Ab System and method of determining a position of a radiation emitting element
KR100575144B1 (ko) 2004-03-10 2006-04-28 씨큐트로닉스 (주) 모바일기기용 광학 지문입력 장치
JP2007529797A (ja) 2004-03-19 2007-10-25 フンベル ローガー 認証機能および支払い機能を備えた、無線自転車キー、自動車、家屋、ｒｆｉｄタグのための携帯電話におけるオールインワンキーまたは制御ソフトウェアカード
GB2417858B (en) 2004-08-16 2009-03-04 Anwar Sharif Bajwa Access control device and arrangement using mobile phones or handheld wireless communicators for automatic wireless access with secure codes and biometrics da
ES2760474T3 (es) 2004-11-12 2020-05-14 Koninkl Philips Electronics Nv Identificacion distinctiva de los usuarios y autenticacion para el acceso de multiples usuarios a dispositivos de visualizacion.
US8077929B2 (en) 2006-02-22 2011-12-13 Wasatch Photonics, Inc. Ambient light rejection filter
JP4599320B2 (ja) 2006-03-13 2010-12-15 富士通株式会社 指紋認証装置、生体指判定装置および生体指判定方法
US7969426B2 (en) 2006-10-31 2011-06-28 Hewlett-Packard Development Company, L.P. Light sensitive display interface for computing devices
EP2131322A4 (en) 2007-04-04 2011-08-03 Sony Corp DEVICE FOR BIOMETRIC AUTHENTICATION
EP1988489B1 (en) 2007-05-04 2021-02-17 STMicroelectronics (Research & Development) Limited Biometric sensor apparatus and method
JP4823985B2 (ja) 2007-08-07 2011-11-24 株式会社日立製作所 生体認証装置及び情報端末
US8120762B2 (en) * 2007-11-30 2012-02-21 Nokia Corporation Light guide and optical sensing module input device and method for making same
US8350831B2 (en) * 2008-08-07 2013-01-08 Rapt Ip Limited Method and apparatus for detecting a multitouch event in an optical touch-sensitive device
EP2336859A4 (en) 2008-08-29 2011-08-31 Sharp Kk COORDINATE DETECTOR, ELECTRONIC DEVICE, DISPLAY DEVICE, AND LIGHT RECEIVING UNIT
US8605960B2 (en) 2009-03-02 2013-12-10 Avago Technologies General Ip (Singapore) Pte. Ltd. Fingerprint sensing device
RU2012118595A (ru) * 2009-10-19 2013-11-27 ФлэтФрог Лэборэторис АБ Извлечение данных касания, представляющих один или несколько предметов на сенсорной поверхности
US9336428B2 (en) 2009-10-30 2016-05-10 Synaptics Incorporated Integrated fingerprint sensor and display
US8436833B2 (en) * 2009-11-25 2013-05-07 Corning Incorporated Methods and apparatus for sensing touch events on a display
US10725564B2 (en) 2011-10-28 2020-07-28 Wacom Co., Ltd. Differential sensing in an active stylus
US9367173B2 (en) 2012-01-17 2016-06-14 Apple Inc. Finger sensor having pixel sensing circuitry for coupling electrodes and pixel sensing traces and related methods
JP2013175142A (ja) 2012-01-27 2013-09-05 Sharp Corp 座標入力装置、及び座標入力システム
US20130265137A1 (en) 2012-04-02 2013-10-10 Validity Sensors, Inc. Integratable fingerprint sensor packagings
US9880653B2 (en) 2012-04-30 2018-01-30 Corning Incorporated Pressure-sensing touch system utilizing total-internal reflection
US9726803B2 (en) 2012-05-24 2017-08-08 Qualcomm Incorporated Full range gesture system
JP2014021790A (ja) * 2012-07-19 2014-02-03 Sharp Corp 座標入力装置、座標検出方法、及び座標入力システム
US9285923B2 (en) * 2012-12-19 2016-03-15 Sharp Laboratories Of America, Inc. Touch sensitive display system
AU2014232432A1 (en) * 2013-03-15 2015-09-24 Tactual Labs Co. Fast multi-touch noise reduction
US10116868B2 (en) 2014-04-28 2018-10-30 Qualcomm Incorporated Display-integrated user-classification, security and fingerprint system
US9582117B2 (en) 2014-04-28 2017-02-28 Qualcomm Incorporated Pressure, rotation and stylus functionality for interactive display screens

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060001654A1 (en) * 2004-06-30 2006-01-05 National Semiconductor Corporation Apparatus and method for performing data entry with light based touch screen displays
CN102089736A (zh) * 2008-07-15 2011-06-08 伊斯奇里因特菲斯技术股份有限公司 用于数据处理系统的控制面
US20120019481A1 (en) * 2010-07-26 2012-01-26 Po-Sheng Lai Controller of Contact Sensing Type Using Optical Principle for Controlling a Pointer on a Display Screen
US20120249477A1 (en) * 2011-03-30 2012-10-04 Smart Technologies Ulc Interactive input system and method
US20140098058A1 (en) * 2012-10-04 2014-04-10 Corning Incorporated Pressure-sensing touch system utilizing optical and capacitive systems

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11983363B1 (en) * 2023-09-05 2024-05-14 Primax Electronics Ltd. User gesture behavior simulation system and user gesture behavior simulation method applied thereto

Also Published As

Publication number Publication date
US20150309662A1 (en) 2015-10-29
WO2015167683A1 (en) 2015-11-05
KR20160146735A (ko) 2016-12-21
US9582117B2 (en) 2017-02-28
JP2017514232A (ja) 2017-06-01
BR112016024940A2 (pt) 2017-08-15
EP3137978A1 (en) 2017-03-08

Similar Documents

Publication Publication Date Title
CN106462296A (zh) 用于交互式显示器屏幕的压力、旋转及触控笔功能性
TWI666566B (zh) 顯示器整合式使用者分類、安全及指紋系統
CN104145276B (zh) 用于通过光学成像进行的对象检测和表征的增强对比度
Cruz et al. Kinect and rgbd images: Challenges and applications
CN101971123B (zh) 具有可切换漫射体的交互式表面计算机
US9185277B2 (en) Panel camera, and optical touch screen and display apparatus employing the panel camera
EP2898399B1 (en) Display integrated camera array
JP2017518566A (ja) モバイルプラットフォームにおける空中および表面マルチタッチ検出
CN105637456B (zh) 集成光收集光导与场序色彩显示器
US10261584B2 (en) Touchless user interface for handheld and wearable computers
CN106030481A (zh) 大面积交互式显示屏
CN106415437A (zh) 用于光学对象运动检测的成像布置
Tsuji et al. Touch sensing for a projected screen using slope disparity gating
Yoo et al. Symmetrisense: Enabling near-surface interactivity on glossy surfaces using a single commodity smartphone
KR20090116544A (ko) 적외선 카메라 방식의 공간 터치 감지 장치, 방법 및스크린 장치
CN108803781A (zh) 具有光学成像传感器的平板显示器
US11275467B1 (en) Integrating optical fingerprinting into a front-facing smartphone camera
US9551922B1 (en) Foreground analysis on parametric background surfaces
Abdul-Al et al. The Impacts of Depth Camera and Multi-Sensors for Face and Fingerprint Recognition in 2D and 3D-A Case Study
Verdié Surface gesture & object tracking on tabletop devices

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170222