CN102165399A - 结合笔跟踪的多点触摸触摸屏 - Google Patents
结合笔跟踪的多点触摸触摸屏 Download PDFInfo
- Publication number
- CN102165399A CN102165399A CN2009801358035A CN200980135803A CN102165399A CN 102165399 A CN102165399 A CN 102165399A CN 2009801358035 A CN2009801358035 A CN 2009801358035A CN 200980135803 A CN200980135803 A CN 200980135803A CN 102165399 A CN102165399 A CN 102165399A
- Authority
- CN
- China
- Prior art keywords
- display panel
- layer
- pattern
- touch
- projection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001914 filtration Methods 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 5
- 230000003287 optical effect Effects 0.000 claims description 3
- 230000011514 reflex Effects 0.000 claims description 2
- 239000010410 layer Substances 0.000 description 72
- 238000005033 Fourier transform infrared spectroscopy Methods 0.000 description 29
- 238000005516 engineering process Methods 0.000 description 28
- 239000002344 surface layer Substances 0.000 description 13
- 239000000463 material Substances 0.000 description 11
- 238000001514 detection method Methods 0.000 description 10
- 239000011888 foil Substances 0.000 description 10
- 230000000694 effects Effects 0.000 description 8
- 230000003993 interaction Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000000034 method Methods 0.000 description 7
- 230000001681 protective effect Effects 0.000 description 6
- NIXOWILDQLNWCW-UHFFFAOYSA-N 2-Propenoic acid Natural products OC(=O)C=C NIXOWILDQLNWCW-UHFFFAOYSA-N 0.000 description 5
- 230000035945 sensitivity Effects 0.000 description 5
- 241001422033 Thestylus Species 0.000 description 4
- SMZOUWXMTYCWNB-UHFFFAOYSA-N 2-(2-methoxy-5-methylphenyl)ethanamine Chemical compound COC1=CC=C(C)C=C1CCN SMZOUWXMTYCWNB-UHFFFAOYSA-N 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 3
- 230000036039 immunity Effects 0.000 description 3
- 230000008676 import Effects 0.000 description 3
- 229920003023 plastic Polymers 0.000 description 3
- 229920001296 polysiloxane Polymers 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 239000004033 plastic Substances 0.000 description 2
- 239000004417 polycarbonate Substances 0.000 description 2
- 229920000515 polycarbonate Polymers 0.000 description 2
- BTIHMVBBUGXLCJ-OAHLLOKOSA-N seliciclib Chemical compound C=12N=CN(C(C)C)C2=NC(N[C@@H](CO)CC)=NC=1NCC1=CC=CC=C1 BTIHMVBBUGXLCJ-OAHLLOKOSA-N 0.000 description 2
- 229920004142 LEXAN™ Polymers 0.000 description 1
- 239000004418 Lexan Substances 0.000 description 1
- 229920005372 Plexiglas® Polymers 0.000 description 1
- 239000004809 Teflon Substances 0.000 description 1
- 229920006362 Teflon® Polymers 0.000 description 1
- 238000005299 abrasion Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 239000004816 latex Substances 0.000 description 1
- 229920000126 latex Polymers 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 239000004926 polymethyl methacrylate Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000037072 sun protection Effects 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
- G06F3/03545—Pens or stylus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
- G06F2203/04109—FTIR in optical digitiser, i.e. touch detection by frustrating the total internal reflection within an optical waveguide due to changes of optical properties or deformation at the touch location
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
Abstract
本发明涉及一种多点触摸显示系统，其支持多点触摸人体输入以及来自数字笔的输入。该显示系统具有显示面板，该显示面板被配置为允许检测和跟踪沿前表面的人体触摸。该显示面板还包括位置图案，该位置图案优选地覆盖显示面板的可见区域。位置图案被配置为允许通过分析显示图案的与特定位置相关的一部分来检测位置图案内的任何位置。数字笔被用来在显示面板上进行“写”，其中，这种写功能涉及检测写发生的位置以及控制在显示面板上被显示以反映正被写的显示内容。
Description
技术领域
本发明涉及多点触摸触摸屏，更具体地，涉及将笔跟踪与多点触摸触摸屏系统相结合。
背景技术
触摸屏是特别配置的显示装置，其通常能够检测显示面板何时被触摸以及显示面板内的触摸位置。该触摸可以通过触笔、人的手指等来提供。触摸屏为大量电子设备提供了对小键盘、键盘或鼠标的附加或替代性输入设备，所述电子设备例如为销售点(point of sale)设备、手持电子装置、交互显示装置、工作站、个人计算机、自动取款机等。历史上，这些触摸屏系统采用不同类型的技术来感测触摸位置，但被局限于仅能够在任何给定时间检测单个触摸的位置。
近年来，开发了多点触摸触摸屏，其能够同时感测多点触摸。触摸屏检测和跟踪多点触摸的能力代表了接口技术的革命性进步。能够容易地想象，这种技术的自由可赋予专业用户，例如图形设计员、主持人、摄影师和建筑师，以及赋予给普通的计算机用户。利用多点触摸触摸屏，一个或多个用户能够同时使用多个手指来选择、操作和拖拽所显示的对象。这种应用的潜能是巨大的，特别是随着多点触摸触摸屏的尺寸增大。
迄今为止，商业上最著名的多点触摸触摸屏是初级接口，并显示在苹果
iPhone上。iPhone允许用户同时使用两个手指通过触摸屏来执行各种功能，包括通过分别沿触摸屏的表面使手指滑动分开或者使手指滑向彼此来放大或缩小正被显示的对象。iPhone触摸屏依靠电容栅来检测不同触摸的坐标和移动；然而，使用电容栅意味着触摸屏不能通过不导电的手套检测触笔的触摸或人的触摸。此外，使用电容栅基本上限制了触摸屏的可扩展性和能够在任何给定时间跟踪的触摸的数量。对于iPhone，通常在任何给定时间仅仅使用两个触摸。因此，只有相对小的显示器能够结合iPhone的触摸屏技术。当前的许多其他的触摸屏技术也存在相同的操作和尺寸方面的限制。
诸如Perceptive Pixel公司(www.perceptivepixel.com)和微软公司(www.microsoft.com/surface)等企业正在针对大显示面板开发具有前景的新的多点触摸技术。这些技术采用背投(rear projection)技术，以将显示内容投影到大显示面板的背部，使得从显示面板的前部能够看到显示内容。该触摸检测依赖对响应于显示面板的前部被触摸而从显示面板的背部发出或反射的红外(IR)光进行感测。IR光通常仅从被触摸的点发出，并且IR传感器能够检测与触摸相关的强度、位置和任何移动。相关的处理器接收来自IR传感器的相应的触摸信息，并处理触摸信息作为用户输入。处理器被配置以基于从被触摸的显示面板得到的用户输入来控制显示内容。
尽管这些技术提供了卓越的多点触摸互动性能，但该技术基本上被限制于人的触摸，并且通常不能跟踪较小的、非人体的物体(例如，来自笔类设备的触笔或类似物)的接触和移动。显示面板和IR传感器的有效触摸灵敏度相对低些，因此将用户可操作处的分辨率限制于其手指的大小。因此，多点触摸应用被限制于相对较高等级的选择、移动和轮廓圈定(outlining)功能。需要在较高分辨率下操作的小范围的手写、绘图、选择等当前是不可行的。此外，当多个用户与显示面板互动时，这些技术不能在触摸显示面板的不同用户之间进行区分。
此外，这些技术的其他缺点在于环境光对检测从显示面板的背部发出或反射的IR光的影响。环境光通常是白炽光或自然光，其具有相对高的IR光内容。环境IR光干扰响应于触摸而从显示面板的背部发出或反射的IR光，并有效地降低IR传感器检测显示面板何时被触摸以及如何被触摸的能力。例如，确定与触摸相关的相对强度或力的能力通常与环境IR光的量成反比，并且在环境光改变时是困难的。
因此，存在对于大规模的多点触摸触摸屏系统的需求，该多点触摸触摸屏系统能够检测来自触笔或其他非人体的物体的触摸以及与触摸相关的移动。还存在对于能够区分来自不同用户的触摸的多点触摸屏系统的需求。进一步，还需要能够在白炽光和自然光环境下以更高效的方式工作的多点触摸屏系统。
发明内容
本发明涉及一种多点触摸显示系统，其支持多点触摸人体输入以及来自数字笔的输入。该显示系统具有显示面板，该显示面板被配置为允许检测和跟踪沿着前表面的人体触摸(human touch)。这些人体触摸被用作到整个显示系统的输入。显示面板还包括位置图案，该位置图案优选地覆盖显示面板的可见区域。位置图案被配置成允许通过分析显示图案的与特定位置相关的一部分来检测位置图案内的任何位置。数字笔被用来在显示面板上“写”，其中，这种写功能包含检测写发生的位置以及控制显示在显示面板上以反映写了什么的显示内容。为了有助于这样的写，在任何给定时间数字笔正在写的地方的位置图案部分被分析，以确定写发生在显示面板上的什么位置。该显示内容被操作，以包括被写的写入内容以及被写的地方所在的位置。这样，显示内容反映了数字笔将什么写在了显示面板上。
在一个实施例中，位置图案为由Anoto公司开发的Anoto图案。诸如Anoto图案的位置图案使用点、标记、或其他图形来创建连续可变的图案，其中，位置图案的每个独特(unique)部分提供了足以识别该部分位置图案的位置的信息。位置图案还可以被编码以识别在其上提供位置图案的特定显示面板。这样，可以从位置图案识别不同的显示面板。
数字笔代表了任意类型的数字写装置，并且可以采用多种形式。通常，数字笔能够检测位置图案并通过有线或者优选为无线的通信将相应的信息提供给显示系统的中央处理系统。显示面板可以是集成显示面板，其中，显示技术被集成到面板中，例如用于LCD或基于等离子的显示器的面板。在优选的实施例中，显示系统采用背投技术，其中，投影仪被用来将显示内容的图像投影到显示面板的背部，并且图像从显示面板的前部是可见的。用于感测人体触摸的多点触摸技术可包括能够与所采用的显示技术兼容的任何已知的技术。然而，本发明的优选实施例采用背投显示技术和多点触摸技术，其依赖于对与人体触摸对应的红外反射的感测。
在阅读了与附图相结合的优选实施例的以下详细描述之后，本领域技术人员将清楚本发明的范围并实现本发明的其他方面。
附图说明
结合在说明书中并构成说明书的一部分的附图示出了本发明的几个方面，并与说明书一起用于解释本发明的原理。
图1是根据现有技术的多点触摸显示系统的框图表示。
图2示出了在现有技术的显示面板中的全内反射。
图3示出了在根据现有技术的显示面板中的受抑全内反射(frustrated total internal reflection)。
图4是根据本发明的一个实施例的多点触摸显示系统的框图表示。
图5示出了根据本发明的一个实施例的数字笔。
图6A和图6B示出了用在本发明的某些实施例中的Anoto图案。
图7示出了在根据本发明的一个实施例的显示面板中的全内反射。
图8示出了在根据本发明的一个实施例的显示面板中的受抑全内反射。
图9A和图9B示出了在现有技术和本发明的一个实施例之间渐逝场强度的区别。
图10示出了根据本发明的一个实施例的挡板框架的使用。
图11示出了根据本发明第一实施例的显示面板构成。
图12示出了根据本发明第二实施例的显示面板构成。
图13示出了根据本发明第三实施例的显示面板构成。
具体实施方式
下述实施例呈现了使得本领域技术人员能够实现本发明的必要信息，并示出了实现本发明的最佳模式。在参照附图阅读以下描述之后，本领域技术人员将理解本发明的概念，并将认识到未在文中特别指出的这些概念的应用。应当理解，这些概念和应用落在本公开和所附权利要求的范围内。
本发明涉及一种多点触摸显示系统，其支持多点触摸人体输入以及来自数字笔的输入。显示系统具有显示面板，该显示面板被配置为允许检测和跟踪沿着前表面的人体触摸。这些人体触摸被用作对整个显示系统的输入。显示面板还包括位置图案，该位置图案优选地覆盖显示面板的可见区域。位置图案被配置成允许通过分析显示图案的与特定位置相关的一部分来检测位置图案内的任何位置。数字笔被用来在显示面板上“写”，其中，这种写功能包含检测写发生的位置以及控制显示在显示面板上以反映写了什么的显示内容。为了方便这种写，在任何给定时间数字笔正在写的地方的部分位置图案被分析，以确定写正发生在显示面板上的什么位置。该显示内容被操作，以包括在其被写时的写入内容以及其被写得所在位置。这样，显示内容反映了数字笔将什么写在了显示面板上。
在一个实施例中，位置图案为由Anoto公司开发的Anoto图案。诸如Anoto图案的位置图案使用点、标记、或其他图形来创建连续可变的图案，其中，位置图案的每个独特部分提供了足以识别位置图案的该部分的位置的信息。位置图案还可以被编码以识别在其上提供有位置图案的特定显示面板。这样，可以从位置图案识别不同的显示面板。
数字笔代表了任意类型的数字写装置，并且可采用多种形式。通常，数字笔能够检测位置图案并通过有线或者优选为无线的通信将相应的信息提供给显示系统的中央处理系统。显示面板可以是集成显示面板，其中，显示技术被集成到面板中，例如用于LCD或基于等离子的显示器的面板。在优选的实施例中，显示系统采用背投技术，其中，投影仪被用来将显示内容的图像投影到显示面板的背部，并且图像从显示面板的前部可见。用于感测人体触摸的多点触摸技术可包括能够与正在使用的显示技术兼容的任何已知的技术。然而，本发明的优选实施例采用背投显示技术和多点触摸技术，其依赖于对与人体触摸对应的红外反射的感测。
在深入研究本发明的细节之前，提供用于较大显示面板的具有前景的多点触摸的触摸屏技术的概述，该技术由Perceptive Pixel公司的Jeff Han开发。可以在perceptivepixel.com获得其他信息。本发明的实施例可以结合Perceptive Pixel技术使用；然而，本发明并不局限于与Perceptive Pixel技术相结合地来实现。具体参照图1，诸如由Jeff Han开发的多点触摸显示系统10着重于特别配置的显示面板12，显示面板12兼用作背投屏和多点触摸触摸屏面板。从显示面板12的背部所投影的图像从显示面板12的前部可见，并且显示面板12的前部提供了触觉或触摸表面，以供用户在对多点触摸显示系统10提供输入时触摸。
多点触摸显示系统10依赖于全内反射(TIR)和受抑全内反射(frustrated total internal reflection，FTIR)的光学现象来检测显示面板12被触摸的时间、位置和方式。在多点触摸显示系统10的各个部件的概述之后，对这些现象进行更详细的描述。通常，当在显示面板12内行进的光线保持在显示面板12内并且没有光线部分有效地逸出并传播到显示面板12外时，出现TIR状态。对于多点触摸显示系统10，显示面板12的至少一部分用作红外(IR)光的波导，该IR光通过IR发光二极管(LED)14的阵列射入到显示面板12中。IR LED 14沿显示面板12的周围边缘间隔布置，并且被设置成发射IR光到显示面板12中，使得IR光通常被保持在显示面板12中，以促进显示面板12不被触摸时的TIR状态。
当TIR状态被干扰或受抑时，出现FTIR状态。这种干扰可以由触摸显示面板12引起。显示面板12被触摸的点被称作触摸点16。当在触摸点16处触摸显示面板12的前表面时，TIR状态被干扰。结果，否则将保持在显示面板12内的某些IR光被散射并作为FTIR18离开显示面板12的背部。
多个FTIR传感器20被定位在显示面板12的后面，并被配置为检测和监控来自显示面板12的背部的FTIR 18的相对位置和强度。由于逸出显示面板12的光为IR光，因此FTIR传感器20为IR光检测器。尽管本文描述的是IR光，但也可以采样其他类型的可见或不可见光。FTIR传感器20确定与FTIR 18相关的度量，并向处理器22提供相应的FTIR信息，该处理器22可以取个人计算机、服务器、控制系统等形式。该处理器能够处理FTIR信息并确定显示面板12如何被触摸。利用该系统，能够在任何给定时间检测和跟踪多点触摸。触摸的范围可以从简单的轻点到触摸的精确路径被监测的复杂触摸和拖拽移动。还可以监测触摸的强度，这是因为FTIR 18的强度通常与和每个触摸相关的压力成比例。因此，可以在任何给定时间由处理器22来跟踪显示面板12的多点触摸的各个方面。触摸和触摸的属性被处理，作为对多点触摸显示系统10的触摸输入。触摸输入被用来控制多点触摸显示系统10的操作。
多点触摸显示系统10还包括能够将静态或视频内容投影到显示面板12的背部的投影仪24。如注意到的，显示面板12被配置成使得投影到显示面板背部上的图像以传统的背影的方式从显示面板12的前部可见。被投影的内容是多点触摸显示系统10的显示内容。显示内容可以全部或部分地由处理器22生成，并提供至投影仪24，该投影仪将把显示内容投影到显示面板12的背部。处理器22可以包括任意数量的媒体设备或播放器，或与它们相结合，所有或部分显示内容可以从所述媒体设备或播放器访问或得到。至少部分地，处理器22将响应于触摸输入来控制呈送给投影仪24并因此被投影仪24投影的显示内容，以提供互动系统。值得注意的是，整个多点触摸显示系统10可以被设置在单个外壳中，其中，至少显示面板12被联接到铰接构件，该铰接构件允许显示面板12在水平和竖直方向之间旋转。
以下提供了与前述显示面板12相关联的TIR和FTIR的概念的概述。参照图2，示出了显示面板12，其中，电源26驱动围绕在显示面板12的周围边缘的IR LED 14。为了清楚起见，仅示出了多个IR LED 14中的一个。显示面板12被示出为包括波导面板28和表面层结构30，该表面层结构30位于波导面板28的顶面上并且可以包括一个或多个层。波导面板28通常为透明的丙烯酸或类似聚合物(clear acrylic or like polymer)。表面层结构30表示显示面板12的前部，并提供被触摸的表面。表面层结构30优选地为柔性(compliant)的，并且提供了显示内容被投影于其上的半透明表面，因为波导面板28由透明的材料形成。波导面板28的底面表示显示面板12的面向投影仪24的背部。
在波导面板28的顶面与表面层结构30的底面之间形成有边界。假设波导面板28的丙烯酸具有与表面层结构30的底层不同的折射率。通常，当IR光线在波导面板28中行进经过所述边界并进入表面层结构30时，IR光线被部分地折射以及部分地反射。折射的IR光线在边界处改变方向，并行进到表面层结构30中及穿过表面层结构30。反射的IR光线被反射回第一材料中，并继续行进穿过波导面板28。对于在波导面板28的底面与空气之间形成的边界，情况相同。
当在波导面板28中行进的几乎所有IR光线在到达边界之后全部被反射回波导面板28中，并且因此没有IR光线有效地在波导面板28的任一侧上折射到表面层结构30或空气中时，实现了TIR的状态。这样，IR光线停留在波导面板28中。这些停留在波导面板28内的IR光线被称作内部反射32。TIR通常需要特定的条件。首先，波导面板28的折射率必须大于表面层结构30的底层以及波导面板28的另一侧上的空气的折射率。其次，IR光线的入射角必须大于与波导面板28相关的临界角。入射角是光线相对于正交或垂直于波导面板28的顶面或底面的线行进的角度的度量。临界角通常取决于波导面板28的构成并且对应于在其以上TIR出现在波导面板28中的入射角。
参照图3，当TIR状态被干扰，并且通常反射回第一材料中的IR光线被散射并作为FTIR 18行进到波导面板28外时，出现示例的FTIR状态。如所示出的，FTIR 18可以由人在触摸点16处触摸表面层结构30而引起。这种触摸使得柔性的表面层结构30压缩，造成沿边界的干扰，其中，IR光线以具有小于与TIR的状态相关的临界角的入射角的方式反射回波导面板28中。这样，这些IR光线作为FTIR 18离开波导面板28的底面，并能够由FTIR传感器20检测。FTIR 18在与触摸点16基本相对的点处离开波导面板28的底面。此外，触摸点16处的触摸力通常控制FTIR 18的强度。取决于环境光的量，FTIR传感器20能够确定触摸的持续时间、位置和相对强度，并且跟踪触摸点16的任何后续移动。任何数量的触摸都能够被跟踪并用作到处理器22的输入。在某些实施例中，可以在任何给定时间跟踪10个或更多个触摸。
如上所述，这些多点触摸触摸屏技术提供了卓越的多点触摸交互性。然而，该技术基本上限制于人体触摸，并且通常不能跟踪较小的、非人体的物体(例如，来自笔类设备的触笔或类似物)的接触和移动。现有技术的显示面板12和IR传感器20的有效触摸灵敏度相对较低，因此将用户可以其操作的分辨率限制于其手指的大小。因此，多点触摸应用被限制于相对较高等级的选择、移动和轮廓圈定功能。需要以较高分辨率操作的小范围的手写、绘图、选择等是不可行的。此外，这些技术不能在触摸显示面板12的不同用户之间进行区分。
本发明向这些多点触摸触摸屏技术提供了检测触笔接触及其相关强度以及跟踪触笔横跨显示面板12的后续移动的能力。为了描述的目的，触笔被定义为非人体装置(例如，笔装置)的用来与显示面板12互动的一部分。
根据本发明的一个实施例，上述多点触摸显示系统10被修改，如图4所示。具体地，无线访问点36与处理器22相关联地设置，并被配置为支持与数字笔38的无线通信。如将在以下进一步详细描述的，数字笔38能够收集写信息，该写信息足以确定数字笔38什么时候被用于在显示面板12上进行“写”、在显示面板12上写什么、以及在显示面板12上的什么位置写。此外，写信息识别在每次笔对着显示面板12划线期间数字笔38的位置。术语“写”、“进行写”和“被写”被定义为涉及文本(包括数字、字母和符号)、绘制对象、符号、涂鸦等。因此，这些术语不仅限于文本。数字笔38可以处理写信息，以生成笔数据，并将该笔数据无线地传送到无线访问点36。可替代地，可以从数字笔38将经过很少处理或者未经处理的写信息作为笔数据发送到无线访问点36。值得注意的是，数字笔38可以具有或没有墨水盒。无论墨水盒是否存在，数字笔38都被配置为允许在显示面板12上进行写，而不将墨水涂覆到显示面板12上。任何出现在显示面板12上的写通过处理器22被表现为显示内容。
笔数据被传送到处理器22并被处理作为用户输入，该用户输入可以与从FTIR传感器20提供的其他触摸信息一起使用，以控制投影在显示面板12上的显示内容。优选地，实际的或处理的写信息经由无线访问点36实时地提供给处理器22。处理器22将立即处理笔数据，以确定写的内容以及该内容被写在显示面板12上的什么位置。处理器22还可以处理显示内容，以在写入内容被写时将所写的内容包括在显示内容中。优选地，在内容正被写在显示面板12上时，利用所写内容的实质复制对显示内容实时地连续更新。这样，手写实时地表现为实际的手写，并且素描实时地表现为实际的素描。除了实时地捕捉和显示所写内容之外，笔划或类似的互动可以被用作任何其他的触摸输入，以进行选择、拖拽等。这些控制互动还可以以被处理或未处理的形式作为笔数据传送到处理器22。
每个数字笔38将优选地具有随笔数据一起传输的独特标识。处理器22能够识别任何给定的所写内容由其创建的特定数字笔38并对其进行处理。多个数字笔38可以被用来同时在显示面板12上写。处理器22可以根据支持的应用，以相同或不同的方式同时处理来自不同的数字笔38中的多个的写信息。因此，提供了一种大型多点触摸显示系统10，其能够同时处理多个人体触摸以及多个数字笔互动。此外，来自不同数字笔38的互动可以被彼此区分，使得能够区分来自不同用户的输入。
参照图5，示出了示例性数字笔38与显示面板12的表面接合。在该实施例中，显示面板12包括波导面板28和位于波导面板28上的表面层40。具体地，表面层40包括柔性层42，柔性层42具有比波导面板28的折射率低的折射率。优选地，柔性层42是相对透明的，并且允许穿过波导面板28的投影图像呈现在位于柔性层42上的投影层44上。优选地，投影层44有效地提供了在其上显示被投影的显示内容的屏幕。再次，被投影的显示内容从显示面板12的前部或顶部可见。
如所示出的，位置图案46被印在表面层40上或表面层40中，优选地印在投影层44上。位置图案46优选地提供遍布显示面板12的整个可见区域的独特图案。数字笔38能够基于位置图案46收集写信息，并处理位置图案46以确定数字笔38的精确位置，或者将位置信息作为笔数据传输到处理器22，处理器22可以处理位置图案46以确定数字笔38的位置。通常，位置信息被连续地更新，并被用来跟踪与使用数字笔38在显示面板12上写信息相关的移动，并因此跟踪笔划。
优选地，位置图案46被配置成使得在显示面板12的整个表面区域上的任何位置处的图案都是独特的，并且能够通过分析位置图案46的一小部分来检测精确位置。这样，可以在任何给定时间跟踪和处理对于任何数量的数字笔38写发生的位置。在优选实施例中，位置图案46与Anoto图案相同或类似。Anoto图案被与能够读取其上由Anoto公司印有Anoto图案的纸上的Anoto图案的数字笔相关联地开发。关于Anoto图案的进一步信息可在Anoto.com获得。Anoto图案包括大量的非常小的点，这些点具有0.3mm的标定间距。尽管点具有0.3mm的标定间距，但这些点创建了唯一地识别显示面板12的表面上的任何位置的图案。在图6A中提供了放大的Anoto图案的示例部分，其中，图6B中示出了从0.3mm栅格的点的连续可变偏差。除了能够唯一地识别显示面板12上的任何位置之外，Anoto图案还可以被配置为唯一地识别显示面板12，使得不同的显示面板12将具有唯一的签名。数字笔38可以能够与任意数量的多点触摸显示系统10进行互动，这些多点触摸显示系统10均在彼此的无线通信范围内，其中，数字笔38和处理器22将能够识别正在其上进行写的特定显示面板12。
回到图5，数字笔38通常将包括主体48，触笔50附接至该主体48。触笔50表示数字笔38到显示面板12的写尖端，因此表示了接触点。数字笔38的核心为控制系统52，其与压力传感器54、诸如IR发光二极管(LED)的IR光源(LS)56、图像传感器(IS)58、收发器电路60以及存储器62相关联。优选地，由电池64通过适当的供电电路(未示出)为这些组件供电。值得注意的是，收发器电路60与控制系统52以及一个或多个天线66相关联，以促进与无线访问点36的双向无线通信。这些通信可以基于任何无线通信标准，如IEEE的802.11无线局域网标准以及个人域网络标准，如蓝牙或无线通用串行总线(USB)。尽管文中描写和描述了无线配置，但数字笔38可以通过有线接口与处理器22进行通信，这种情况未被示出。
压力传感器54被耦接到触笔50，并被配置为当触笔50压靠在显示面板12上时进行检测，并且优选地监测与接触相关的相对力。这样，压力传感器54可以将相关的力信息发送到控制系统52，以进行存储、处理、或其结合。这些力信息被认为是写信息，并可以被用来确定数字笔38何时被用来在数字面板12上进行写，以及或许可以确定与该写相关的强度。这样，最终可将所写内容以表示与将内容写在显示面板12上相关的有效权重的方式显示在显示内容中。压力传感器54至少允许控制系统52确定写正发生的时间。
检测写本身涉及IR光源56和图像传感器58。优选地，位置图案46和投影层44被配置成使得位置图案46的点或其他图案标记吸收从IR光源56所发射的IR光，并将未被位置图案46吸收的光反射回图像传感器58。图像传感器58和控制系统52彼此相配合，以有效地提供IR照相机。该IR照相机可以在触笔50与显示面板12接触时，每秒钟获得多张位置图案46的照片。每个照片均捕捉到未被位置图案46吸收并接近或围绕显示面板12上的与触笔50接触的点的反射IR光。该照片信息可以被认为是写信息，并由控制系统52进行处理，或传送到处理器22进行处理。与处理的位置无关地，每个图像被处理以识别其被捕获的时间、以及捕获图像时触笔50的位置。该位置可以被识别作为坐标等。在处理图像序列时，能够计算与数字笔38的给定笔划相关的任何移动的位置、方向和距离。在检测笔划时，能够确定写入内容。因此，数字笔38将有助于对数字笔38对着显示面板12的每次笔划的精确位置和属性的检测。
现在转向图7，示出了显示面板12的横截面，其中，数字笔38与投影层44接触。值得注意地，TIR效应优选地不受数字笔38的触笔50与表面层40接触的影响。一般地，当与人类手指相比时的触笔50的点的相对较小的尺寸使得由触笔50导致的任何表面干扰不足以触发FTIR效应。可替代地，处理器22可以减除由数字笔38导致的任何FTIR 18的输入，因为数字笔38的位置是已知的。
如图7所示，波导面板28的周围边缘(左侧)是斜切的，而不是如图2和3的现有技术实施例中示出的那样，与显示面板12的表面垂直。申请人发现，形成具有斜面的周围边缘以及联接IRLED 14使其垂直于该周围边缘的斜面大大提高了多点触摸的性能。如果斜面在大约30到60度之间并且优选地与波导面板28的顶面或底面成大约45度，则TIR和FTIR效应被增强并提供了对人体触摸的较大灵敏度。如图8所示，与图2和图3中所示的现有技术实施例相比，当数字笔38与显示面板12接触时仍然保持了TIR效应，并且响应于人体触摸仍提供了明显更强的FTIR 18。此外，斜切的周围边缘的使用显著提高了对人体触摸的灵敏度以及在不同强度的人体触摸之间进行区分的能力。
性能提高主要是由于在波导面板28的表面外形成的渐逝场的显著增大。渐逝场是在TIR状态期间延伸通过波导面板28的表面的光场。当渐逝场被干扰时，可以触发FTIR效应。渐逝场越大，对渐逝场干扰的灵敏度就越大，并且产生的FTIR 18的强度就越大。图9A和图9B示出了与垂直的周围边缘和斜切的周围边缘相关的相对渐逝场强度的比较。如图清楚所示，在波导面板28的表面处渐逝场强度显著较高，并在波导面板28外的所有距离处都保持显著较高。如图10所示，可以作为显示面板12的框架的一部分的挡板67的使用可以被用来保留捕集在波导面板28中的IR光，直至达到显示面板12的可用部分。较高的渐逝场强度的另一优点在于对环境光照(特别是具有高IR内容的环境光照)的影响的抗扰度增强。如下面将进一步描述的，本发明的其他实施例提供对环境光照的更进一步的抗扰度。
参照图11至图13，示出了本发明的三个不同实施例。在这些实施例中，为显示面板12提供了独特的构成。对于这三个实施例中的每一个，标识各个层并描述了每个层的示例性材料。具体地参照图11，显示面板12包括波导面板28、在波导面板28上方的柔性层42、在柔性层42上方的投影层44、以及在投影层44上方的保护层68。可以在这些被标识的层之间或者之内形成附加层。值得注意地，柔性层42、投影层44和保护层68被认为是表面层40的一部分。这对于配置显示面板12使得位置图案46能够以有助于数字笔38操作的方式印在显示面板12上是有益的。显示面板12应当适用于背投，并且位置图案46应当以不明显干扰投影图像的观看的方式印在显示面板12上。最后，显示面板12应当具有可接受的FTIR效应，并且应当优选地能够在环境光照下良好地工作并提供高度灵敏的FTIR效应。
对于图11的实施例，诸如Anoto图案的位置图案46被印在投影层44上。优选地，投影层44提供了半透明屏幕以及用于数字笔38的反射背景，投影图像对照半透明屏幕可见。具体地，对于不包括与位置图案46相关的点或其他图案标记的区域，从IR光源56发射的IR光应当被朝着数字笔38的图像传感器58反射回去。进一步，投影层44应当被配置为使其不粘着于柔性层42。白色的Rosco屏幕或类似的背投屏幕满足投影层44的期望要求。用于投影层44的其他材料可以包括HP Backlit UV或Backlit刚性PVC层。柔性层42优选地由硅树脂或其他适当的柔性材料形成。优选的硅树脂包括SORTA-ClearTM 40和Elastocil
RT 601。用于柔性层42的其他材料可以包括Supatex或其他适当的乳胶薄层。波导面板28优选地为丙烯酸或类似聚碳酸酯板(acrylic or like polycarbonate plate)，例如Lexan9030。用于波导面板28的其他材料包括树脂玻璃。保护层68可由透明且优选为非常薄的塑料薄膜(plastic foil)形成，并且仅被提供以减小对投影层44的损坏、磨损和磨蚀。保护层68可由诸如用于玻璃、公交车站或陈列橱的透明的抗划薄膜(foil)形成。值得注意的是，可以在投影层44上设置任意数量的层；然而，层的添加最终将使投影图像弯曲，以及可能阻碍数字笔38读取位置图案46的能力。
参照图12，显示面板12的总的构成与图11中所示出的类似。主要的不同之处在于投影层44由包括屏幕层70和图案层72的两个单独的层形成。在这种情况下，图案层72是其上印有位置图案46的透明的塑料层。值得注意的是，图案层72将不按照数字笔38的操作要求反射IR光。然而，屏幕层70将为IR光提供反射背景，并使数字笔38能够如上所述地工作。除了为图案层72提供无光泽(matte)的IR光反射背景之外，屏幕层70还将提供在其上投影图像可见的介质。再次，白色Rosco屏幕等满足屏幕层70的所有要求。保护层68、柔性层42和波导面板28可以被如上所述地配置。
现在转向图13，示出了显示面板12的第三实施例。该实施例提供了对具有高IR内容的环境光的最大抗扰度。该实施例示出为与图12的实施例相同，其中不同之处在于在投影层44和柔性层42之间设有过滤器层74。此外，过滤器层74被分成包括IR过滤层76和抗粘层78的两个层。IR过滤层76优选地为能够过滤环境光、并具体地能够过滤环境光的IR内容的薄箔片(foil)。用于IR过滤层76的材料可以包括透明防晒箔片(foil)和热反射箔片(foil)。这样，IR过滤层76将至少减少来自环境光的将达到柔性层42和波导面板28的IR内容的量。设有抗粘层78以防止IR过滤层76在触摸事件之后粘着到柔性层42。当人将在保护层68上按压时，如果没有抗粘层78，IR过滤层76的箔片(foil)有粘着到柔性层42的硅树脂上的趋势。在触摸事件移除之后，这种粘着可能触发连续且延续的FTIR效应。优选地，抗粘层78是透明的。描图纸(tracing paper)被证明是用于该层的适当材料。其他用于抗粘层78的材料可以包括Teflon喷雾或透明涂层(clear coat)的薄层。
本领域技术人员能够认识到本发明优选实施例的改进和更改。所有这种改进和更改均被认为落入文中公开的概念以及后面权利要求的范围内。
Claims (14)
1.一种用于多点触摸显示系统的显示面板，包括：
波导面板；
与所述波导面板相邻的柔性层；
背投层，所述背投层位于所述柔性层上并被配置为提供投影表面，显示内容的图像从所述显示面板的后方投影在所述投影表面上并从所述显示面板的前表面可见；以及
位置图案，所述位置图案提供在所述背投层上或所述背投层中，由数字笔从所述显示面板的所述前表面可读，所述位置图案为所述显示面板的前表面提供独特的位置标记，其中所述位置图案中的独特位置从所述独特的位置标记的相应部分可识别。
2.根据权利要求1所述的显示面板，其中，所述位置图案的位置标记横跨所述显示面板的整个前表面是连续可变的，使得所述位置标记在所述位置图案内的任何点处都是独特的。
3.根据权利要求1所述的显示面板，其中，所述位置标记包括多个点。
4.根据权利要求1所述的显示面板，其中，所述位置标记是Anoto图案。
5.根据权利要求1所述的显示面板，其中，所述位置图案内的任何点处的所述位置标记对应于所述点相对于所述显示面板的所述前表面的独特位置坐标。
6.根据权利要求1所述的显示面板，其中，所述显示面板的独特的标识符被编码在所述位置图案内。
7.根据权利要求1所述的显示面板，其中，所述背投层包括半透明屏幕层和在所述半透明屏幕层上的图案层，其中，所述半透明屏幕层提供投影表面，并且所述图案层包括所述位置图案。
8.根据权利要求1所述的显示面板，进一步包括过滤器层，所述过滤器层适于过滤至少某些波长的环境光。
9.根据权利要求8所述的显示面板，其中，所述过滤器层被提供在所述柔性层与所述背投层之间。
10.根据权利要求9所述的显示面板，其中，所述过滤器层包括：
过滤层，所述过滤层过滤至少某些波长的环境光；以及
抗粘层，所述抗粘层位于所述过滤层与所述柔性层之间，并被配置为防止所述过滤层响应于人体触摸而粘着到所述柔性层。
11.根据权利要求1所述的显示面板，其中，所述波导面板包括斜切的周围边缘，所述周围边缘具有基本平坦的边缘表面，光源安装在所述边缘表面上，所述光源通过所述基本平坦的边缘表面将光射入到所述波导面板中。
12.根据权利要求11所述的显示面板，其中，在所述基本平坦的边缘表面与所述前表面之间形成的角在大约30度和60度之间。
13.根据权利要求12所述的显示面板，其中，在所述基本平坦的边缘表面与所述前表面之间形成的角为大约45度。
14.根据权利要求1所述的显示面板，其中，所述背部投影层进一步提供反射表面，从所述数字笔的光源提供的并且没有被所述位置图案吸收的光从所述反射表面往回反射向所述数字笔的光传感器。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US12/168,688 US8842076B2 (en) | 2008-07-07 | 2008-07-07 | Multi-touch touchscreen incorporating pen tracking |
| US12/168688 | 2008-07-07 | ||
| PCT/IB2009/005741 WO2010004381A1 (en) | 2008-07-07 | 2009-05-27 | Multi-touch tochscreen incorporating pen tracking |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN102165399A true CN102165399A (zh) | 2011-08-24 |
Family
ID=41463987
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2009801358035A Pending CN102165399A (zh) | 2008-07-07 | 2009-05-27 | 结合笔跟踪的多点触摸触摸屏 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US8842076B2 (zh) |
| EP (1) | EP2300897A4 (zh) |
| JP (1) | JP5411265B2 (zh) |
| KR (1) | KR20110038120A (zh) |
| CN (1) | CN102165399A (zh) |
| BR (1) | BRPI0915659A2 (zh) |
| WO (1) | WO2010004381A1 (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102662528A (zh) * | 2011-10-04 | 2012-09-12 | 友达光电股份有限公司 | 光感式触控感应系统、装置及其触控感应方法 |
| CN103649887A (zh) * | 2012-04-26 | 2014-03-19 | 松下电器产业株式会社 | 显示控制系统、指示装置以及显示面板 |
| CN106457879A (zh) * | 2014-05-22 | 2017-02-22 | 索立德度株式会社 | 电子板以及包括电子板的电子板系统 |
| US10409143B2 (en) | 2015-01-23 | 2019-09-10 | Hewlett-Packard Development Company, L.P. | Tracking a handheld device on surfaces with optical patterns |
Families Citing this family (100)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4170952B2 (ja) | 2004-01-30 | 2008-10-22 | 株式会社東芝 | 半導体記憶装置 |
| WO2005102282A1 (en) * | 2004-04-19 | 2005-11-03 | Strategic Science & Technologies, Llc | Transdermal delivery of beneficial substances effected by a hostile biophysical environment |
| US8094137B2 (en) * | 2007-07-23 | 2012-01-10 | Smart Technologies Ulc | System and method of detecting contact on a display |
| US8810522B2 (en) * | 2008-09-29 | 2014-08-19 | Smart Technologies Ulc | Method for selecting and manipulating a graphical object in an interactive input system, and interactive input system executing the method |
| US20100083109A1 (en) * | 2008-09-29 | 2010-04-01 | Smart Technologies Ulc | Method for handling interactions with multiple users of an interactive input system, and interactive input system executing the method |
| US20100079385A1 (en) * | 2008-09-29 | 2010-04-01 | Smart Technologies Ulc | Method for calibrating an interactive input system and interactive input system executing the calibration method |
| US20100079409A1 (en) * | 2008-09-29 | 2010-04-01 | Smart Technologies Ulc | Touch panel for an interactive input system, and interactive input system incorporating the touch panel |
| JP2012508913A (ja) * | 2008-11-12 | 2012-04-12 | フラットフロッグ ラボラトリーズ アーベー | 一体型タッチセンシングディスプレー装置およびその製造方法 |
| US20100309169A1 (en) * | 2009-06-03 | 2010-12-09 | Lumio Inc. | Optical Touch Screen with Reflectors |
| US8416206B2 (en) * | 2009-07-08 | 2013-04-09 | Smart Technologies Ulc | Method for manipulating a graphic widget in a three-dimensional environment displayed on a touch panel of an interactive input system |
| EP2473904A1 (en) * | 2009-09-01 | 2012-07-11 | SMART Technologies ULC | Interactive input system with improved signal-to-noise ratio (snr) and image capture method |
| US8502789B2 (en) * | 2010-01-11 | 2013-08-06 | Smart Technologies Ulc | Method for handling user input in an interactive input system, and interactive input system executing the method |
| KR101669618B1 (ko) * | 2010-01-15 | 2016-10-26 | 삼성전자주식회사 | 디스플레이 장치 및 그 디스플레이 방법 |
| EP2357220A1 (en) * | 2010-02-10 | 2011-08-17 | The Procter & Gamble Company | Cleaning composition comprising amylase variants with high stability in the presence of a chelating agent |
| JP5888838B2 (ja) * | 2010-04-13 | 2016-03-22 | グリッドマーク株式会社 | 手書き入力ボードを用いた手書き入力システム、手書き入力ボード、スキャナーペンおよび手書き入力ボードを用いた情報処理システム |
| US8638318B2 (en) * | 2010-05-28 | 2014-01-28 | Elo Touch Solutions, Inc. | Multi-layer coversheet for saw touch panel |
| US10620754B2 (en) | 2010-11-22 | 2020-04-14 | 3M Innovative Properties Company | Touch-sensitive device with electrodes having location pattern included therein |
| JP4816808B1 (ja) * | 2010-12-14 | 2011-11-16 | 大日本印刷株式会社 | コンピュータ装置、入力システム、及びプログラム |
| US8619062B2 (en) | 2011-02-03 | 2013-12-31 | Microsoft Corporation | Touch-pressure sensing in a display panel |
| US9201185B2 (en) | 2011-02-04 | 2015-12-01 | Microsoft Technology Licensing, Llc | Directional backlighting for display panels |
| JP2012185798A (ja) * | 2011-02-16 | 2012-09-27 | Ricoh Co Ltd | 座標検出システム、情報処理装置、方法、プログラムおよび記録媒体 |
| KR101811636B1 (ko) * | 2011-04-05 | 2017-12-27 | 삼성전자주식회사 | 디스플레이 장치 및 이의 오브젝트 표시 방법 |
| JP5729116B2 (ja) * | 2011-05-06 | 2015-06-03 | 大日本印刷株式会社 | 入力システム及びプログラム |
| DE102011101782A1 (de) * | 2011-05-17 | 2012-11-22 | Trw Automotive Electronics & Components Gmbh | Optisches Anzeige- und Bedienelement und Verfahren zur optischen Positionsbestimmung |
| US9294869B2 (en) | 2013-03-13 | 2016-03-22 | Aliphcom | Methods, systems and apparatus to affect RF transmission from a non-linked wireless client |
| WO2012177260A1 (en) | 2011-06-24 | 2012-12-27 | Hewlett-Packard Development Company, L.P. | Touch discrimination using fisheye lens |
| US9035911B2 (en) | 2011-07-14 | 2015-05-19 | 3M Innovative Properties Company | Digitizer using position-unique optical signals |
| US9292131B2 (en) * | 2011-07-14 | 2016-03-22 | 3M Innovative Properties Company | Light guide for backlight |
| US9035912B2 (en) | 2011-07-14 | 2015-05-19 | 3M Innovative Properties Company | Digitizer for multi-display system |
| US8963838B2 (en) * | 2011-10-25 | 2015-02-24 | Texas Instruments Incorporated | Enhanced projected image interface |
| WO2013090494A1 (en) | 2011-12-16 | 2013-06-20 | 3M Innovative Properties Company | Optical digitizer system with position-unique photoluminescent indicia |
| US9052414B2 (en) | 2012-02-07 | 2015-06-09 | Microsoft Technology Licensing, Llc | Virtual image device |
| US9354748B2 (en) | 2012-02-13 | 2016-05-31 | Microsoft Technology Licensing, Llc | Optical stylus interaction |
| US8749529B2 (en) | 2012-03-01 | 2014-06-10 | Microsoft Corporation | Sensor-in-pixel display system with near infrared filter |
| US8935774B2 (en) | 2012-03-02 | 2015-01-13 | Microsoft Corporation | Accessory device authentication |
| US9426905B2 (en) | 2012-03-02 | 2016-08-23 | Microsoft Technology Licensing, Llc | Connection device for computing devices |
| US9064654B2 (en) | 2012-03-02 | 2015-06-23 | Microsoft Technology Licensing, Llc | Method of manufacturing an input device |
| US9134807B2 (en) | 2012-03-02 | 2015-09-15 | Microsoft Technology Licensing, Llc | Pressure sensitive key normalization |
| US9870066B2 (en) | 2012-03-02 | 2018-01-16 | Microsoft Technology Licensing, Llc | Method of manufacturing an input device |
| US9075566B2 (en) | 2012-03-02 | 2015-07-07 | Microsoft Technoogy Licensing, LLC | Flexible hinge spine |
| US8873227B2 (en) | 2012-03-02 | 2014-10-28 | Microsoft Corporation | Flexible hinge support layer |
| US9360893B2 (en) | 2012-03-02 | 2016-06-07 | Microsoft Technology Licensing, Llc | Input device writing surface |
| USRE48963E1 (en) | 2012-03-02 | 2022-03-08 | Microsoft Technology Licensing, Llc | Connection device for computing devices |
| EP2689320B1 (en) * | 2012-03-11 | 2016-02-03 | Neonode Inc. | Optical touch screen using total internal reflection |
| TWI543045B (zh) * | 2012-04-10 | 2016-07-21 | 揚明光學股份有限公司 | 觸控裝置和觸控投影系統 |
| US9880653B2 (en) | 2012-04-30 | 2018-01-30 | Corning Incorporated | Pressure-sensing touch system utilizing total-internal reflection |
| US20130300590A1 (en) | 2012-05-14 | 2013-11-14 | Paul Henry Dietz | Audio Feedback |
| US10031556B2 (en) | 2012-06-08 | 2018-07-24 | Microsoft Technology Licensing, Llc | User experience adaptation |
| US8947353B2 (en) | 2012-06-12 | 2015-02-03 | Microsoft Corporation | Photosensor array gesture detection |
| US9019615B2 (en) | 2012-06-12 | 2015-04-28 | Microsoft Technology Licensing, Llc | Wide field-of-view virtual image projector |
| US9684382B2 (en) | 2012-06-13 | 2017-06-20 | Microsoft Technology Licensing, Llc | Input device configuration having capacitive and pressure sensors |
| US9073123B2 (en) | 2012-06-13 | 2015-07-07 | Microsoft Technology Licensing, Llc | Housing vents |
| US9459160B2 (en) | 2012-06-13 | 2016-10-04 | Microsoft Technology Licensing, Llc | Input device sensor configuration |
| US9063693B2 (en) | 2012-06-13 | 2015-06-23 | Microsoft Technology Licensing, Llc | Peripheral device storage |
| US9256089B2 (en) | 2012-06-15 | 2016-02-09 | Microsoft Technology Licensing, Llc | Object-detecting backlight unit |
| US9355345B2 (en) | 2012-07-23 | 2016-05-31 | Microsoft Technology Licensing, Llc | Transparent tags with encoded data |
| US8964379B2 (en) | 2012-08-20 | 2015-02-24 | Microsoft Corporation | Switchable magnetic lock |
| US9152173B2 (en) | 2012-10-09 | 2015-10-06 | Microsoft Technology Licensing, Llc | Transparent display device |
| US8654030B1 (en) | 2012-10-16 | 2014-02-18 | Microsoft Corporation | Antenna placement |
| WO2014059624A1 (en) | 2012-10-17 | 2014-04-24 | Microsoft Corporation | Metal alloy injection molding protrusions |
| WO2014059618A1 (en) | 2012-10-17 | 2014-04-24 | Microsoft Corporation | Graphic formation via material ablation |
| CN104903026B (zh) | 2012-10-17 | 2017-10-24 | 微软技术许可有限责任公司 | 金属合金注射成型溢流口 |
| US8692212B1 (en) | 2012-10-29 | 2014-04-08 | 3M Innovative Properties Company | Optical digitizer system with position-unique photoluminescent indicia |
| US8952892B2 (en) | 2012-11-01 | 2015-02-10 | Microsoft Corporation | Input location correction tables for input panels |
| US10753746B2 (en) | 2012-11-29 | 2020-08-25 | 3M Innovative Properties, Inc. | Multi-mode stylus and digitizer system |
| US9958954B2 (en) | 2012-12-13 | 2018-05-01 | 3M Innovative Properties Company | System and methods for calibrating a digitizer system |
| US9513748B2 (en) | 2012-12-13 | 2016-12-06 | Microsoft Technology Licensing, Llc | Combined display panel circuit |
| US9176538B2 (en) | 2013-02-05 | 2015-11-03 | Microsoft Technology Licensing, Llc | Input device configurations |
| US10578499B2 (en) | 2013-02-17 | 2020-03-03 | Microsoft Technology Licensing, Llc | Piezo-actuated virtual buttons for touch surfaces |
| US9638835B2 (en) | 2013-03-05 | 2017-05-02 | Microsoft Technology Licensing, Llc | Asymmetric aberration correcting lens |
| US9319149B2 (en) | 2013-03-13 | 2016-04-19 | Aliphcom | Proximity-based control of media devices for media presentations |
| US11044451B2 (en) | 2013-03-14 | 2021-06-22 | Jawb Acquisition Llc | Proximity-based control of media devices for media presentations |
| US9304549B2 (en) | 2013-03-28 | 2016-04-05 | Microsoft Technology Licensing, Llc | Hinge mechanism for rotatable component attachment |
| US9552777B2 (en) | 2013-05-10 | 2017-01-24 | Microsoft Technology Licensing, Llc | Phase control backlight |
| US20140342660A1 (en) * | 2013-05-20 | 2014-11-20 | Scott Fullam | Media devices for audio and video projection of media presentations |
| US9448631B2 (en) | 2013-12-31 | 2016-09-20 | Microsoft Technology Licensing, Llc | Input device haptics and pressure sensing |
| US9317072B2 (en) | 2014-01-28 | 2016-04-19 | Microsoft Technology Licensing, Llc | Hinge mechanism with preset positions |
| US9759854B2 (en) | 2014-02-17 | 2017-09-12 | Microsoft Technology Licensing, Llc | Input device outer layer and backlighting |
| US10120420B2 (en) | 2014-03-21 | 2018-11-06 | Microsoft Technology Licensing, Llc | Lockable display and techniques enabling use of lockable displays |
| CN106662936B (zh) | 2014-05-30 | 2020-09-11 | 惠普发展公司，有限责任合伙企业 | 显示器上的位置输入 |
| US10324733B2 (en) | 2014-07-30 | 2019-06-18 | Microsoft Technology Licensing, Llc | Shutdown notifications |
| US9513671B2 (en) | 2014-08-01 | 2016-12-06 | Microsoft Technology Licensing, Llc | Peripheral retention device |
| US10191986B2 (en) | 2014-08-11 | 2019-01-29 | Microsoft Technology Licensing, Llc | Web resource compatibility with web applications |
| US9705637B2 (en) | 2014-08-19 | 2017-07-11 | Microsoft Technology Licensing, Llc | Guard band utilization for wireless data communication |
| US9397723B2 (en) | 2014-08-26 | 2016-07-19 | Microsoft Technology Licensing, Llc | Spread spectrum wireless over non-contiguous channels |
| US9424048B2 (en) | 2014-09-15 | 2016-08-23 | Microsoft Technology Licensing, Llc | Inductive peripheral retention device |
| US9447620B2 (en) | 2014-09-30 | 2016-09-20 | Microsoft Technology Licensing, Llc | Hinge mechanism with multiple preset positions |
| CA2975420A1 (en) | 2015-01-30 | 2016-08-04 | Hewlett-Packard Development Company, L.P. | Microfluidic sensing |
| US10416799B2 (en) | 2015-06-03 | 2019-09-17 | Microsoft Technology Licensing, Llc | Force sensing and inadvertent input control of an input device |
| US10222889B2 (en) | 2015-06-03 | 2019-03-05 | Microsoft Technology Licensing, Llc | Force inputs and cursor control |
| US9752361B2 (en) | 2015-06-18 | 2017-09-05 | Microsoft Technology Licensing, Llc | Multistage hinge |
| US9864415B2 (en) | 2015-06-30 | 2018-01-09 | Microsoft Technology Licensing, Llc | Multistage friction hinge |
| US10061385B2 (en) | 2016-01-22 | 2018-08-28 | Microsoft Technology Licensing, Llc | Haptic feedback for a touch input device |
| US10344797B2 (en) | 2016-04-05 | 2019-07-09 | Microsoft Technology Licensing, Llc | Hinge with multiple preset positions |
| US10037057B2 (en) | 2016-09-22 | 2018-07-31 | Microsoft Technology Licensing, Llc | Friction hinge |
| US10254858B2 (en) | 2017-01-25 | 2019-04-09 | Microsoft Technology Licensing, Llc | Capturing pen input by a pen-aware shell |
| TWI646448B (zh) * | 2017-05-15 | 2019-01-01 | 宏碁股份有限公司 | 電子系統及操作方法 |
| CN109844702B (zh) * | 2017-08-21 | 2020-10-27 | 华为技术有限公司 | 一种对电子设备的控制方法以及输入设备 |
| US10540023B2 (en) * | 2017-09-26 | 2020-01-21 | Yong Bum Kim | User interface devices for virtual reality system |
| US10955943B1 (en) | 2020-02-28 | 2021-03-23 | Microsoft Technology Licensing, Llc | Touch screen panel with surface friction modification |
Family Cites Families (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4091382A (en) * | 1976-09-27 | 1978-05-23 | Willis J. Ball | Display system |
| US4346376A (en) | 1980-04-16 | 1982-08-24 | Bell Telephone Laboratories, Incorporated | Touch position sensitive surface |
| US4484179A (en) | 1980-04-16 | 1984-11-20 | At&T Bell Laboratories | Touch position sensitive surface |
| EP2104055B1 (en) | 1999-08-30 | 2013-07-03 | Anoto AB | Information management system |
| JP3908470B2 (ja) | 2001-03-05 | 2007-04-25 | 日東電工株式会社 | 偏光板の製造方法 |
| US20050162398A1 (en) | 2002-03-13 | 2005-07-28 | Eliasson Jonas O.P. | Touch pad, a stylus for use with the touch pad, and a method of operating the touch pad |
| JP2005056357A (ja) | 2003-08-07 | 2005-03-03 | Dainippon Printing Co Ltd | 電子ペン用帳票 |
| US7385594B2 (en) | 2004-02-19 | 2008-06-10 | Au Optronics Corporation | Position encoded sensing device and a method thereof |
| US7705835B2 (en) * | 2005-03-28 | 2010-04-27 | Adam Eikman | Photonic touch screen apparatus and method of use |
| KR100652755B1 (ko) | 2005-08-30 | 2006-12-01 | 엘지전자 주식회사 | 백라이팅이 가능한 터치 및 푸시 입력 방식의 휴대폰 |
| WO2007127258A2 (en) | 2006-04-27 | 2007-11-08 | Wms Gaming Inc. | Wagering game with multi-point gesture sensing device |
| US9213929B2 (en) * | 2006-05-30 | 2015-12-15 | Dai Nippon Printing Co., Ltd. | Pattern printed sheet |
| US8441467B2 (en) * | 2006-08-03 | 2013-05-14 | Perceptive Pixel Inc. | Multi-touch sensing display through frustrated total internal reflection |
| US8144271B2 (en) * | 2006-08-03 | 2012-03-27 | Perceptive Pixel Inc. | Multi-touch sensing through frustrated total internal reflection |
| JP2009545828A (ja) | 2006-08-03 | 2009-12-24 | パーセプティブ ピクセル，インク． | 全反射妨害による多接触検知表示装置 |
| JPWO2008066004A1 (ja) | 2006-11-30 | 2010-03-04 | 株式会社セガ | 位置入力装置 |
| JP4915232B2 (ja) | 2006-12-19 | 2012-04-11 | ソニー株式会社 | 座標入力装置及び座標入力システム |
| JP2008165385A (ja) * | 2006-12-27 | 2008-07-17 | Dainippon Printing Co Ltd | 赤外線反射パターン印刷透明シート |
| WO2009018317A2 (en) * | 2007-07-30 | 2009-02-05 | Perceptive Pixel, Inc. | Liquid multi-touch sensor and display device |
| US20090219253A1 (en) * | 2008-02-29 | 2009-09-03 | Microsoft Corporation | Interactive Surface Computer with Switchable Diffuser |
| JP4243642B2 (ja) | 2008-03-24 | 2009-03-25 | 健治 吉田 | キャリブレーション方法および情報入力補助シート |
-
2008
- 2008-07-07 US US12/168,688 patent/US8842076B2/en not_active Expired - Fee Related
-
2009
- 2009-05-27 EP EP09794046A patent/EP2300897A4/en not_active Withdrawn
- 2009-05-27 CN CN2009801358035A patent/CN102165399A/zh active Pending
- 2009-05-27 BR BRPI0915659A patent/BRPI0915659A2/pt not_active IP Right Cessation
- 2009-05-27 KR KR1020117002788A patent/KR20110038120A/ko not_active Application Discontinuation
- 2009-05-27 JP JP2011517255A patent/JP5411265B2/ja not_active Expired - Fee Related
- 2009-05-27 WO PCT/IB2009/005741 patent/WO2010004381A1/en active Application Filing
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102662528A (zh) * | 2011-10-04 | 2012-09-12 | 友达光电股份有限公司 | 光感式触控感应系统、装置及其触控感应方法 |
| CN103649887A (zh) * | 2012-04-26 | 2014-03-19 | 松下电器产业株式会社 | 显示控制系统、指示装置以及显示面板 |
| CN106457879A (zh) * | 2014-05-22 | 2017-02-22 | 索立德度株式会社 | 电子板以及包括电子板的电子板系统 |
| US10409143B2 (en) | 2015-01-23 | 2019-09-10 | Hewlett-Packard Development Company, L.P. | Tracking a handheld device on surfaces with optical patterns |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5411265B2 (ja) | 2014-02-12 |
| US20100001963A1 (en) | 2010-01-07 |
| US8842076B2 (en) | 2014-09-23 |
| EP2300897A1 (en) | 2011-03-30 |
| KR20110038120A (ko) | 2011-04-13 |
| WO2010004381A1 (en) | 2010-01-14 |
| EP2300897A4 (en) | 2013-01-23 |
| BRPI0915659A2 (pt) | 2019-09-24 |
| JP2011527478A (ja) | 2011-10-27 |
| WO2010004381A8 (en) | 2010-04-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102144208B (zh) | 结合笔跟踪的多点触摸触摸屏 | |
| CN102165399A (zh) | 结合笔跟踪的多点触摸触摸屏 | |
| CN101730874B (zh) | 基于免接触的手势的输入 | |
| CN101231450B (zh) | 多点及物体触摸屏装置及多点触摸的定位方法 | |
| US9063577B2 (en) | User input using proximity sensing | |
| Rekimoto | SmartSkin: an infrastructure for freehand manipulation on interactive surfaces | |
| KR102335132B1 (ko) | 하나의 단일 감지 시스템을 이용하는 멀티 모드 제스처 기반의 상호작용 시스템 및 방법 | |
| CN101963848B (zh) | 一种判断目标点是否属于平面的方法和鼠标及触摸屏 | |
| CN102341814A (zh) | 姿势识别方法和采用姿势识别方法的交互式输入系统 | |
| US20060028457A1 (en) | Stylus-Based Computer Input System | |
| CN201191355Y (zh) | 多点及物体触摸屏装置 | |
| EP2284668A2 (en) | Interactive input system and components therefor | |
| US20110298708A1 (en) | Virtual Touch Interface | |
| CN102799317A (zh) | 智能互动投影系统 | |
| US20230057020A1 (en) | Meeting interaction system | |
| US20130257809A1 (en) | Optical touch sensing apparatus | |
| CA2885950A1 (en) | Interactive input system and method for grouping graphical objects | |
| US9733738B2 (en) | System and method for communication reproducing an interactivity of physical type | |
| Kudale et al. | Human computer interaction model based virtual whiteboard: A review | |
| CN105659193A (zh) | 多功能人机交互设备 | |
| US20140164918A1 (en) | Communication method reproducing an interactivity of physical type | |
| Izadi et al. | Experiences with building a thin form-factor touch and tangible tabletop | |
| KR20110038900A (ko) | 다중키 유닛을 포함한 모바일 디바이스의 문자입력장치 및 이를 이용한 문자입력방법 | |
| Quigley et al. | Face-to-face collaborative interfaces | |
| CN103942000A (zh) | —种触摸事件识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C12 | Rejection of a patent application after its publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20110824 |