CN103154869A - 检测并响应于用户输入对象的外形和/或高度轮廓的电子设备用显示器 - Google Patents

检测并响应于用户输入对象的外形和/或高度轮廓的电子设备用显示器 Download PDF

Info

Publication number
CN103154869A
CN103154869A CN2011800470571A CN201180047057A CN103154869A CN 103154869 A CN103154869 A CN 103154869A CN 2011800470571 A CN2011800470571 A CN 2011800470571A CN 201180047057 A CN201180047057 A CN 201180047057A CN 103154869 A CN103154869 A CN 103154869A
Authority
CN
China
Prior art keywords
electromagnetic radiation
user
input object
emitter
response
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011800470571A
Other languages
English (en)
Other versions
CN103154869B (zh
Inventor
P·J·贝尔克里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Mobile Communications AB
Original Assignee
Sony Ericsson Mobile Communications AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Ericsson Mobile Communications AB filed Critical Sony Ericsson Mobile Communications AB
Publication of CN103154869A publication Critical patent/CN103154869A/zh
Application granted granted Critical
Publication of CN103154869B publication Critical patent/CN103154869B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3215—Monitoring of peripheral devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/325—Power saving in peripheral device
    • G06F1/3262—Power saving in digitizer or tablet
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

一种电子设备（10）包括触敏显示屏（12），所述触敏显示屏包括电磁辐射检测器（D）的阵列。所述电磁辐射检测器（D）的阵列被配置为生成表示与显示器紧密间隔的用户输入对象（22）的图像的图像信号，并且响应于显示屏（12）被用户输入对象（22）触摸来生成触摸信号。该电子设备还包括控制器电路（232），所述控制器电路被配置为显示形成了键盘的多个键（300）并显示键上的字符。控制器根据图像信号来识别用户输入对象相对于显示屏的大小（r）和/或角定向（θ）。控制器响应于用户输入对象所识别出的大小和/或角定向并响应于所述触摸信号来识别在键盘键上指示的字符中用户的选择，并且输出与所识别的用户选择的字符相对应的字符数据。

Description

检测并响应于用户输入对象的外形和/或高度轮廓的电子设备用显示器
相关申请
本申请涉及待审并共同转让的2008年11月13日提交的题为“用于移动装置的用户输入显示器”的第12/250,108号美国申请以及待审并共同转让的2008年11月14日提交的题为“针对利用用户输入对象的触摸和追踪来检测用户输入的移动装置的显示器”的第12/271,239号美国申请以及待审并共同转让的2009年5月12日提交的题为“针对检测并响应于用户输入对象的尺寸和角定向的电子设备的显示器”的第12/464,403号美国申请，将其公开通过引用并入于此。
背景技术
本发明涉及电子设备的显示器，具体地，涉及用于接收用户输入的显示器。
可以用各种技术来检测触笔和/或手指在触敏显示器中的接触。例如，电阻式触屏面板包括两层隔开的、金属导电的电阻式薄层。当用户输入对象触摸这种面板时，这两层被连接起来，导致电流的变化。这种电流的变化被检测为用户输入触摸事件。电阻式触屏通常是相对精准的，但是不够灵敏，特别是当使用用户的手指来触摸触摸屏时。
电容式触屏通常涂敷有例如铟锡氧化物的材料，其传导流经传感器的连续电流。传感器在水平轴和垂直轴上均展现出对存储的电子的受控场以获取电容。当传感器的电容场被例如用户的手指的另一电容场改变时，位于面板的各角落的电子电路测量失真，并确定干扰的位置。电容式触摸屏具有相对高的灵敏度，但是检测到的事件的位置的精确度会低。
侧面光学触屏（side-optical touchscreen）使用显示器的表面上面的光学检测器的网格。光从一侧发出并到达另一侧，并且在水平和垂直方向上被检测器接收。当手指或触笔极为接近时，光束被阻断，使得位置可以被检测器转换为坐标。然而，由于需要将光源和检测器置于显示器上，所以该配置产生了通常在移动装置中所不需要的高度。
另一种光学触屏使用全内反射原理。折射介质内充满了光，当手指或另一对象按压表面时，内部反射光路被阻断，这导致光被反射到折射介质外部。摄像头可以检测到折射介质外部的光。折射光学触屏通常具有良好的灵敏度和精确度。然而，因为显示器接合有摄像头，所以光源和折射介质所需的空间会增大显示器的尺寸并限制显示器的对比度，因此，这种光学触屏针对手持装置的用途而言并不实用。
此外，因为仅当与屏幕接触时才会产生用户输入，所以触屏会无法使用与基于鼠标的用户接口相同的通用协议。因而，与使用鼠标相比，用户会更难于追踪图标的移动（例如，来选择区域）。然而，鼠标输入装置可能不希望被用于紧凑的手持装置。
发明内容
根据某些实施方式的电子设备包括：触敏显示屏，所述触敏显示屏包括电磁辐射发射器和电磁辐射检测器的阵列，其中，所述电磁辐射检测器的阵列被配置为响应于检测到的被用户输入对象反射的电磁辐射来生成图像信号，该图像信号表示与显示器紧密间隔开的所述用户输入对象的图像；以及控制器电路，所述控制器电路被配置为控制所述电磁辐射发射器的阵列的启用，使得在没有检测到被所述用户输入对象反射的电磁辐射的情况下，所述电磁辐射发射器的阵列的至少一部分是未启用的，并且被配置为响应于所述电磁辐射检测器的阵列检测到被所述用户输入对象反射的电磁辐射而选择性地启用所述电磁辐射发射器的阵列中的电磁辐射发射器。
在某些进一步的实施方式中，选择性地启用的所述电磁辐射发射器的阵列中的各电磁辐射发射器近似于被所述用户输入对象反射的检测到的电磁辐射。
在某些进一步的实施方式中，选择性地启用的所述电磁辐射发射器的阵列中的各电磁辐射发射器近似于被所述用户输入对象反射的电磁辐射的外周。
在某些进一步的实施方式中，所述控制器电路被配置为生成与所述用户输入对象的表面的外形曲线相近似的所述用户输入对象的外形轮廓（contour profile）并且响应于由所述电磁辐射检测器中的各电磁辐射检测器检测到的电测辐射量。
在某些进一步的实施方式中，所述控制器电路被配置为生成与所述用户输入对象的表面和所述显示器之间的距离相近似的所述用户输入对象的高度轮廓，并且响应于由所述电磁辐射检测器中的各电磁辐射检测器检测到的电测辐射量。
在某些进一步的实施方式中，所述控制器电路被配置为响应于来自第一组一个或更多个电磁辐射发射器的、被所述用户输入对象反射的并被所述电磁辐射检测器的阵列检测到的电磁辐射来启用所述第一组一个或更多个电磁辐射发射器并且生成第一电磁辐射轮廓，所述控制器电路被配置为启用与所述第一组一个或更多个电磁辐射发射器不同的第二组一个或更多个电磁辐射发射器，并且响应于来自所述第二组一个或更多个电磁辐射发射器的、被所述用户输入对象反射并且被所述电磁辐射检测器的阵列检测到的电磁辐射来生成第二电磁辐射轮廓，并且所述控制器电路被配置为基于所述第一电磁辐射轮廓和所述第二电磁辐射轮廓来识别所述用户输入对象的外形轮廓。
在某些进一步的实施方式中，所述控制器电路被配置为在所述显示屏上显示形成了键盘的多个键并在所述多个键上显示字符，以根据所述第一电磁辐射轮廓和所述第二电磁辐射轮廓来识别包括所述用户输入对象相对于所述显示屏的外形的外形轮廓，以响应于识别出的所述用户输入对象的外形轮廓在指示在所述键盘键上的字符之中识别用户的选择，并且输出与识别出的用户所选择的字符相对应的字符数据。所述显示器可以被配置为响应于被所述用户输入对象所触摸的显示屏生成触摸信号，并且所述控制器电路被配置为响应于触摸信号连同识别出的所述用户输入对象的外形轮廓在指示在所述键盘键上的字符之中进一步识别用户的选择。所述控制器电路可以进一步被配置为在多个键盘键的各键盘键上显示至少两个不同的字符，并且响应于识别出的对键进行选择的所述用户输入对象的外形轮廓在显示在所选择的一个多字符键上的字符之中识别用户的选择。所述控制器电路可以进一步被配置为响应于所述外形轮廓识别所述用户输入对象与所述显示器最接近的一部分，并且将在所选择的键上的多个字符中的与所述用户输入对象的最靠近显示器的部分接近的第一个字符识别为用户所选择的字符。
在某些进一步的实施方式中，所述控制器电路被配置为响应于所述用户输入对象的识别出的大小基于所述图像信号对至少某些键盘键所显示的大小进行修改。所述控制器电路可以进一步被配置为响应于识别所述用户输入对象的第一阈值大小在显示屏上显示QWERTY键盘的第一多个键，并且响应于识别所述用户输入对象的第二阈值大小在显示屏上将所显示的所述QWERTY键盘的第一多个键替换为第二多个键，其中，所述第二阈值大小大于所述第一阈值大小，并且所述第二多个键少于所述第一多个键。
在某些进一步的实施方式中，一种对包括电磁辐射发射器的阵列和电磁辐射检测器的阵列的触敏显示器进行操作的方法。该方法包括：在所述电磁辐射检测器没有检测到电磁辐射的情况下启用减少的数量的电磁辐射发射器；响应于被用户输入对象反射的电磁辐射的检测选择性地启用电磁辐射发射器；生成对所获取的所述用户输入对象的图像进行表示的图像；以及响应于所获取的所述用户输入对象的图像识别字符和/或图标的用户选择。
在某些进一步的实施方式中，对在多个电磁辐射发射器的阵列中的与所检测到的被所述用户输入对象反射的电磁辐射相接近的电磁辐射发射器进行选择性地启用。
在某些进一步的实施方式中，选择性启用的多个电磁辐射发射器的阵列中的电磁辐射发射器与被所述用户输入对象反射的电测辐射的外周相近似。
在某些进一步的实施方式中，生成与所述用户输入对象的表面的外形曲线相近似的所述用户输入对象的外形轮廓，并且响应于由各电磁辐射检测器检测到的电磁辐射量。
在某些进一步的实施方式中，生成与所述用户输入对象的表面和所述显示器之间的距离相近似的所述用户输入对象的高度轮廓，并且响应于由各电磁辐射检测器检测到的电磁辐射量。
在某些进一步的实施方式中，启用第一组一个或更多个电磁辐射发射器，并且响应于来自所述第一组一个或更多个电磁辐射发射器的、被所述用户输入对象反射的并由电测辐射检测器的阵列检测到的电磁辐射生成第一电磁辐射外形。启用与所述第一组一个或更多个电磁辐射发射器不同的第二组一个或更多个电磁辐射发射器。响应于来自所述第二组一个或更多个电磁辐射发射器的、被所述用户输入对象反射的并由电测辐射检测器的阵列检测到的电磁辐射生成第二电磁辐射外形。基于所述第一电磁辐射外形和所述第二电磁辐射外形识别所述用户输入对象的外形轮廓。在所述显示屏上显示形成键盘的多个键和在所述多个键上的字符。响应于识别出的所述用户输入对象的外形轮廓在指示在键盘键上的字符中识别用户的选择。输出与识别出的用户所选择的字符相对应的字符数据。响应于显示屏被所述用户输入对象触摸来生成触摸信号，并且响应于触摸信号连同识别出的所述用户输入对象的外形轮廓在所述键盘键上所指示的字符中识别所述用户的选择。
附图说明
以下附图被并入并组成本申请的一部分，附图例示了本发明的实施方式，并与说明书一起用于解释本发明的原理。
图1是具有根据本发明的实施方式的显示器的移动通信设备的正视图。
图2是图1的显示器的分解图。
图3是图1的显示器的截面图。
图4是根据本发明的实施方式的包括电磁辐射发射器的图1的显示器的层的截面图。
图5A是根据本发明的实施方式的电磁辐射轮廓的数字图像。
图5B是从图1A的图像得到的增强图像。
图5C是利用图5A至图5B的图像来识别用户输入装置的示意性例示。
图5D基于图5C的例示所识别出的目标区域的示例性例示。
图6是例示了根据本发明的实施方式的操作的流程图。
图7是根据本发明的某些实施方式的触敏显示器的截面图。
图8是根据本发明的某些实施方式的另一触敏显示器的截面图。
图9是例示了根据本发明的实施方式的操作的流程图。
图10是例示了具有根据本发明的某些实施方式的无线移动通信设备的无线通信系统的示意性框图。
图11是根据进一步的实施方式的显示器的平面图。
图12是根据进一步的实施方式的显示器的像素的示意性例示。
图13是例示了根据本发明的实施方式的操作的流程图。
图14例示了根据各种实施方式的用户输入对象的数字图像。
图15例示了根据某些实施方式可以采集并特征化的热点的某些轮廓。
图16例示了根据某些实施方式的控制器电路可以在显示装置上显示的示意性QWERTY键盘。
图17例示了根据某些实施方式的控制器电路可以在显示装置上显示的另一示意性键盘。
图18是根据某些实施方式的可以由控制器执行以识别在显示在键盘键上的多个字符中的用户选择的操作的流程图。
图19是根据某些实施方式的可以由控制器执行以识别在显示在所选择的键盘键上的两个字符中的用户选择的操作的流程图。
图20是根据某些实施方式的可以由控制器执行以启用并停用预测性文本录入操作的流程图。
图21是根据某些实施方式的可以由控制器执行以启用并停用预测性文本录入操作并响应于对键进行选择的用户的手指的大小来确定在显示在所选择的键上的数字字符、字母字符和/或其它字符中的用户选择的流程图。
图22例示了根据某些实施方式的可以由控制器每个键一个字符地显示在显示装置上的示例性QWERTY键盘。
图23例示了根据某些实施方式的可以由控制器每个键两个字符地显示在显示装置上的示例性QWERTY键盘。
图24例示了根据某些实施方式的可以由控制器每个键两个字符地显示在显示装置上的更紧凑的键盘。
图25是根据某些实施方式的可以由控制器执行以响应于用户是用非拇指手指还是拇指来选择键执行至少某些功能来控制键盘键的数量和大小以显示在各键上的及字符的数量的示例性操作的流程图。
图26是根据某些实施方式的可以由控制器执行以响应于用户是用拇指还是用非拇指手指进行输入以及用户是否用双手进行输入来执行至少某些功能来控制键盘键的数量和大小以显示在各键上的及字符的数量的示例性操作的流程图。
图27是根据进一步的实施方式的显示器的平面图。
图28是图27的显示器的像素的示意性例示。
图29是根据某些实施方式的图27的具有某些启用的像素的发射器的显示器以及用户输入对象的平面图。
图30是根据某些实施方式的某些像素的发射器被启用的图27的显示器的平面图。
图31是根据某些实施方式的与用户输入对象的外周临近的某些发射器被启用的图27的显示器的平面图。
图32是根据某些实施方式的所有的发射器被启用的电磁辐射发射器的阵列的示意性侧面图。
图33至图34是根据某些实施方式的所选择的发射器被启用的图32的阵列的示意性侧面图。
图35至图37是根据某些实施方式的可以由控制器执行的示例性操作的流程图。
具体实施方式
下面将参照附图和示例来描述本发明，附图中示出了本发明的实施方式。然而，本发明可以具体实施为许多不同的形式，并且不应被解读为受限于本文所阐述的实施方式。此外，提供这些实施方式使得本公开将是透彻的和完整的，并将想本领域技术人员完整地传达本发明的范围。
相同的标号贯穿说明书表示相同的元件。在附图中，为了简明可以夸大特定的线、层、组件、元件或特征的厚度。
本文所使用的术语仅为了描述特定的实施方式，并不旨在限制本发明。如在本文所使用的，除非上下文中另外地具体指明，否则单数形式“一”、“一个”和“该”也旨在包括复数形式。还将理解的是，当在该说明书中使用措辞“包含”和/或“包括”时，是指所述的特征、步骤、操作、元件和/或组件的存在，但不排除其一个或更多个其它特征、步骤、操作、元件和/或组件的存在或添加。如在本文所使用的，诸如“在X和Y之间”以及“在大约X和Y之间”的措辞应被解读为包括X和Y。如在本文所使用的，诸如“在大约X和Y之间”的措辞表示“在大约X和大约Y之间”。如本文所使用的，诸如“从大约X到Y”的措辞表示“从大约X到大约Y”。
除非另外定义，否则本文所使用的全部术语（包括技术术语和科学术语）具有与本发明所属于的技术领域的技术人员所通常理解的含义相同的含义。还将理解的是，例如在常用的字典中所定义的术语应被解读为具有与它们在该说明书的上下文和相关技术中的含义相一致的含义，并且不应被解读为理想化的或过于字面的含义，除非在本文中清楚地如此定义。为了简明和/或清楚，可以不具体地描述熟知的函数和结构。
应理解的是，当元件被称为“在另一元件上”、“附接至另一元件”、“连接至另一元件”、“与另一元件耦接”、“与另一元件接触”等时，它可以直接地在另一元件上、附接至另一元件、连接至另一元件、与另一元件耦接、与另一元件接触，或者也可以存在中间元件。相反地，当元件被称为例如“直接位于另一元件上”、“直接附接至另一元件”、“直接连接至另一元件”、“直接耦接至另一元件”或“直接与另一元件接触”时，不存在中间元件。本领域技术人员还应理解的是，提到“邻近”另一元件布置的结构或特征时，其可以具有与邻近的特征交叠或在邻近的特征之下的部分。
例如“在......下面”、“在......下方”、“在......下部”、“在......之上”、“在......上部”等这样的空间上相对的措辞可以在本文用于便于描述如在图中所例示的一个元件或特征与另一元件（其它元件）或特征（其它特征）的关系。将理解的是，空间上相对的措辞旨在包含所使用的装置或操作除在图中所描绘的方向以外的不同的方向。例如，如果图中的装置被反转，则接着将描述为“在其它元件或特征下面”或“在其它元件或特征下方”的元件调整为在其它元件或特征“上方”。可以另外确定装置的方位（旋转90度或在其它方向）并且本文所使用的空间相对的描述符相应地进行解释。同样地，除非另外明确地指明，否则本文所使用的措辞“向上”、“向下”、“垂直”、“水平”等是仅为了说明的目的。
还应理解的是，尽管措辞“第一”、“第二”等可以在本文用于描述各种元件，但是这些元件不被这些措辞所限制。这些措辞仅用于将一个元件从另一元件中区分。因而，在不脱离本发明的教导的情况下，下面讨论的“第一”元件也可以被称为“第二”元件。除非另外具体指明，否则操作（或步骤）的顺序不限于在权利要求或附图中所提出的顺序。
如本文所使用的，“移动通信终端”或“终端”包括但不限于被配置为通过无线接口从例如蜂窝网络、广域网、无线局域网、GPS系统和/或另一RF通信设备接收通信信号的通信设备。
如本文所使用的，“显示器”包括但不限于能够提供可视化表示的例如用于显示信息和/或用于美学目的的图形、光或背光这样的装置。
如图1至图3所例示的，示例性手持移动电子设备10包括液晶二极管（LCD）显示器12。显示器12包括背光层14、液晶层16、保护层18（例如，玻璃）和触摸板层20。如图4所例示的，可以使用利用了有机发光二极管（OLED）的另选配置，其中省略了背光层14和/或液晶层16。图4的显示器12包括位于基板S之上的电磁辐射发射器E和电磁辐射检测器D。在某些实施方式中，电磁辐射发射器E和电磁辐射检测器D分别可以包括红外发射器和检测器。基板S也包括例如发光二极管（LED）或OLED这样的光发射器R、G和B，用于在显示器12上显示各种颜色的像素。
如图3所示，发射器发射离开显示器12的电磁辐射ER。如果例如手指这样的用户输入对象22位于邻近显示器12附近（虽然不一定与显示器12接触），则电磁辐射ER在朝向显示器12的方向上被反射。在液晶层16内或下方的检测器D可以检测到被反射的电磁辐射ER。不需要用户输入对象22和显示器之间的接触，并且当对象22从显示器12隔开时，电磁辐射ER可以被对象22反射。
如图5A至5D和图6所示，电磁辐射检测器D的输出可以用于响应于所检测到的电磁辐射外形（profile）（图5A；框100，图6）来生成二维图像，该二维图像可以用于识别用户输入，例如显示器的被用户选择或突出显示的区域（图5D；框102，图6）。在该配置中，当对象与显示器12隔开并且不与显示器12物理接触时可以检测到例如手指或触笔这样的用户输入对象。
例如，如图5A所示，来自检测器D的数据可以用于提供在图5A中所示的图像，其例示了用户手指的示例性红外（IR）图像。可以如图5B所示地可选择地增强图像的像素之间的对比度。用户的手指F可以接着被识别为如图5C所示的形式。如图5D所示，接着可以识别目标区域T，例如通过利用本领域技术人员已知的图像分析技术来根据手指F的形状（例如，手指F的末端）识别区域。在某些实施方式中，可以通过在目标区域T中显示图标来在图1至图4的显示器12上指示目标区域T。因而，通过响应于手指F的移动来显示图标，可以在显示器12上追踪用户输入对象或手指F。在该配置中，可以通过显示器登记各种用户输入而无需来自手指F的接触。
在特定的实施方式中，显示器12还可以包括触敏显示器，使得当用户输入对象接触显示器时可以检测到附加的用户输入。在该配置中，可以与在传统鼠标环境中所使用的用户输入相似地来使用对显示器12的用户输入。例如针对图5A至图5D所描述的，当用户移动用户输入对象而不与显示器12接触时，例如传统的鼠标箭头这样的图标可以移动。当用户触摸显示器12时，电子设备10可以接收到另一用户输入，这可以与在特定位置选择或“点击”鼠标按钮相似。因此，显示器12可以检测用户输入对象的运动和/或对比度，以提供与常规鼠标环境相似的用户界面。
尽管针对图4中的红外电磁辐射发射器E和红外电磁辐射检测器D来描述根据本发明的实施方式，但是应理解的是，其它合适的技术可以用于响应于用户输入对象的位置来提供电磁辐射外形。例如，在某些实施方式中，图4中所示的发射器E可以被省略，并且检测器D可以被配置为响应于用户输入对象的位置来检测背景电磁辐射的阻碍。在某些实施方式中，电磁辐射检测器D可以被配置为将（例如，来自用户的手的手指）的热辐射检测为红外（IR）信号。
根据本发明的另一实施方式，可以提供触敏显示系统。如图7所例示的，显示器12’可以包括大量的电磁辐射发射器E1、E2和电磁辐射检测器D1、D2以及折射介质30。在没有来自例如手指F这样的用户输入对象对于发射器E2和检测器D2的接触时，发射器E2被配置为向折射介质30发射电磁辐射，并且折射介质30的全内反射向检测器D2反射电磁辐射。折射介质30的全内反射由于如所示出的来自手指F的针对发射器E1和检测器D1的接触而被干扰或改变，使得被反射的电磁辐射的方向发生改变，从而检测器D1检测到的电磁辐射的量减少。可以由包括透明的和/或半透明的塑料、弹性材料或玻璃的任何适合的材料来形成折射介质30。在某些实施方式中，表面30可以包括反射涂层或部分反射涂层。因而，通过在检测器D1中所检测到的电磁辐射的减少或消失可以检测到手指F的出现。
在如图8所示的某些实施方式中，可以将发射器E和检测器D与分别针对红光、绿光和蓝光的光发射器R、G和B一起设置在基板S上。光发射器R、G和B可以是LED或OLED。因此，可以将发射器E和/或检测器D集成在显示器中。
如图9所示，例如通过显示器12’上的检测器D的阵列所检测到的电磁辐射量，发射器E和检测器D可以用于检测显示器的电测辐射外形（框150）。可以接触显示器的折射介质（框152），并且可以检测到所导致的电测辐射外形的改变（框154）。基于例如识别到其中检测器检测到反射光量的减少的区域，可以检测到接触区域（框156）。
在特定的实施方式中，图7和图8中所示的配置可以包括附加的发射器E和检测器D，其被配置为检测如针对图2至图6所描述的没有与显示器12’相接触的用户输入对象。图7和图8的折射介质30的表面可以基于由发射器E发射的电测辐射的入射角（例如，针对塑料或玻璃和空气界面约为45度）而变为反射式的。在其它角度，折射介质30的表面可以是透射式的。因此，可以选择发射器E在折射介质30上的入射角以提供均被按照针对图7和图8的描述所配置的发射器E和检测器D（即，通过与折射介质30接触来检测反射的电磁辐射及其中断）以及按照针对图2至图6所描述的通过折射介质30来发射或传播电磁辐射的发射器E（即，检测与显示器12、12’分开的用户输入对象）。
图10是包括例如移动无线通信终端这样的无线终端200的无线通信系统的示例性框图，其中，无线终端200接收来自蜂窝基站202和/或无线局域网216的无线通信信号。蜂窝基站202被连接至MTSO206，而MTSO206又连接至PSTN212和网络214（例如，因特网）。移动终端200可以利用通信协议与无线局域网216进行通信，其中，通信协议可以包括但不限于802.11a、802.11b、802.11e、802.11g、802.11i和/或其它无线局域网协议。无线局域网216可以连接至网络214。
在本发明的某些实施方式中，移动终端200包括控制器电路232、蜂窝收发器电路234、存储器电路236、定时电路（时钟）238、局域网收发器电路240、扬声器装置242、麦克风244、显示装置246和键盘248。显示器246可以包含本文所讨论的显示器12、12’的元件。
存储器236存储由控制器电路232所执行的软件，并且可以包括一个或更多个可擦除可编程只读存储器（EPROM或Flash EPROM）、由电池支持的随机存储器（RAM）、电磁存储装置、光学存储装置或其它数字存储装置，并且可以与控制器电路232分离或至少部分地位于控制器电路232内。控制器电路232可以包括例如通用处理器和数字信号处理器这样的一个或更多个处理器，其可以被封在一般的封装中或彼此隔开并分离。
具体地，控制器电路232可以被配置为例如通过根据由显示器12、12’的检测器D检测到的电磁辐射外形来识别用户输入并且通过响应于所识别到的输入来确定用户在在显示装置246上所显示的项目中的选择来控制如针对图1至图9所描述的操作。
蜂窝收发器234通常包括发射器（TX）250和接收器（RX）252以允许双向通信，但是本发明不限于这种装置，本文所使用的“收发器”可以仅包括接收器252。因而，移动终端200可以利用能够通过天线254进行传送的射频信号与基站202进行通信。例如，移动终端200可以被配置为利用一种或更多种蜂窝通信协议（例如，高级移动电话服务（AMPS）、ANSI-136、全球移动标准（GSM）通信、通用分组无线业务（GPRS）、增强数据速率的GSM演进（EDGE）、码分多址（CDMA）、宽带CDMA、CDMA2000和全球移动通信系统（UMTS））、通过蜂窝收发器234进行通信。本文所使用的通信协议可以指定所传送的信息、时序、频率、调制方式和/或用于建立和/或保持通信连接的操作。在某些实施方式中，天线228和254可以是单个天线。
在图11和图12中例示了进一步的实施方式。如图中所示，显示器12可以包括多个像素42，各像素可以包括OLED和/或LED发射器R、G、B和IR检测器D。IR检测器D的输出可以被采样，以生成表示对显示器12的空间接近所感测到的图像的图像信号，例如在图5A中所例示的IR图像。如上所述，可以利用常规的图像处理技术来处理IR图像，以识别例如用户手指和/或触笔这样的用户输入对象的出现。根据某些实施方式，控制器电路232可以与各种类型的输入或命令相对应地解释用户输入对象的运动和/或动作。因为检测器D的阵列可以在用户输入对象触摸显示器12之前感测其运动，所以移动终端200可以响应于触摸或基于触摸的手势之外的其它类型的动作或动作的组合。根据某些实施方式，可以使用与基于触摸的手势相结合的非基于触摸的手势来控制移动终端200的操作。
与利用常规的仅触摸（touch-only）触摸板相比，可以更多地涉及根据某些实施方式的手势解释。例如，图13是例示了根据某些实施方式的手势解释的图。在图13的图中的框可以表示移动终端200在手势解释中所使用的步骤，并且可以实现为由控制器电路232在移动终端200中所执行的软件程序中的功能模块。
参照图13，手势解释可以包括图像获取（框/模块302）、图像滤波和归一化（框/模块304）、形状识别（框/模块306）、热点检测（框/模块308）、触摸检测（框/模块310）和手势确定（框/模块312）中的一个或更多个。
可以通过对IR检测器D的输出进行采样并且分别生成表示用户输入对象（例如，手指或触笔）的二维电磁图像的图像信号来执行图像获取（框/模块302）。可以对所生成的图像信号进行滤波和归一化（框/模块304）以减小噪声、锐化边缘、突出图像特征或其它目的。形状识别（框/模块306）使用图案识别（pattern recognition）来识别在图像信号中表示的形状。通常，图形识别可以包含特征提取，其中，对关于图像的数字或符号信息进行计算。分类或描述方案将提取出的特征进行分类。例如，可以从由图像信号表示的图像中提取出的特征可以包括图像的尺寸不变的特征和/或转动不变的特征。对象/图像识别技术对于本领域技术人员是熟知的，因而不需要在此进行具体的描述。
一旦在图像中识别出例如用户的手指、触笔末端等这样的用户输入对象的形状，就识别出用户输入对象的“热点”的位置（框/模块308）。“热点”是指如果用户要以用户输入对象来触摸显示器12则用户输入对象上期望出现用户输入对象和显示屏12之间的接触的点。也就是说，即使用户输入对象（例如，手指、触笔等）没有与显示器12相接触，也可以响应于热点的位置来控制移动终端200的操作，这将在下面进行更具体的讨论。
可以利用一种或更多种启发性的和/或确定性的技术来执行热点确定。例如，可以基于确定具体识别到的用户输入对象是用户的手指、用户的拇指、触笔或其它人造的指示装置，来预测/定位热点。也可以基于校准数据来执行热点确定。例如，可以确定最初的热点，接着可以请求用户触摸屏幕。接着可以基于触摸在屏幕上的预期位置和实际位置之间的差异来校正热点的位置。
在图14中更具体地例示了形状确定。如在此处所示，形状确定可以用于确定如由边缘模糊所确定的用户输入对象55的轮廓，例如形状（例如，食指、拇指或触笔）、方向（左手或右手）和到屏幕的距离。例如，如图14（d）中所示的，保持离开屏幕的用户输入对象55会表现出边缘模糊55a。可以将边缘模糊的量理解为测量用户输入对象55离开显示器12的距离。
参照图14（a），基于用户输入对象55的位置和方向来确定热点60。在图15中更具体地示出了热点60。
根据某些实施方式，移动终端200可以包括热点检测模块308，其对由显示器12的检测器D所采样的图像进行分析。热点检测模块可以识别并输出热点的各种轮廓，例如形状（s）、位置（x,y）、角定向（θ）、半径（r）、距显示屏的距离（z）和/或速度矢量（u,v,w）。响应于这些轮廓可以推断出一个或更多个手势。在某些实施方式中，响应于这些轮廓并结合触屏显示器12上的触摸可以推断出一个或更多个手势。
形状（s）是指由热点检测模块308检测为用户输入对象的形状的类型，例如手指、拇指、触笔等。
位置（x,y）表示热点60的中心。可以基于对用作用户输入对象的形状的类型的了解来确定位置（x,y）。一旦确定了形状，热点检测模块308就可以基于形状的类型应用启发性的或确定性的技术来对热点60的中心进行定位。此外，在某些实施方式中，不同的形状可以被用作用户输入对象来启用移动终端200中的不同功能。例如，在某些实施方式中，拇指形状可以被用于启用与手指形状不同的功能。热点中心位置限定了由特定手势在显示器12上启用的位置。
通过指示用户触摸显示器12上的位置可以校正热点中心位置（x,y）。该位置可以是屏幕上的任何位置，或者可以是预先定义的位置，例如，由图标指示的位置。由显示器12的触屏功能来检测触摸的位置，并且确定热点中心（x,y）相对于该形状（s）的位置。
角定向（θ）可以表示用户输入对象的主轴相对于显示屏12的方向的角度。知道角定向（θ）可以允许更精确地确定热点。此外，在某些实施方式中，可以基于用户输入对象的角定向来生成不同的命令。
由热点60的半径（r）来表示热点60的大小。半径表示用户输入对象与显示器12相接触的部分的大小。例如，手指相比触笔可以与显示屏12具有更大的接触半径。热点60的半径可以用于确定手势所影响的启用面积。在某些实施方式中，可以使用对热点的大小进行考虑的概率模型来估计或预测显示屏12的哪个区域正被手势所启用。
输出（z）表示用户输入对象55到显示屏12的距离。通过追踪用户输入对象到显示屏的距离，即使用户输入对象没有与显示屏接触，手势也可以被解释并用于在移动终端200中产生命令或行为。
根据某些实施方式，通过对追踪到的对象的边缘的相对模糊程度进行分析可以估计从热点60到屏幕12的距离（z）。也就是说，距离（z）可以被估计为被追踪的对象的类型/形状以及追踪到的对象的模糊程度两者的函数。在某些实施方式中可以使用用户输入对象距显示屏12的距离来调用图像缩放功能。
热点的速度矢量（u,v,w）在x方向和y方向（u和v）以及z方向（w）上追踪热点的速度。可以通过计算由最后获知的热点坐标所得到的距离来确定热点的速度（u,v,w）。当确定z方向上的速度时，z方向上的速度矢量w也可以将热点半径（r）考虑进来。
显示器12也包括触屏性能，并且移动终端200被配置为确定屏幕12在什么时间和什么位置被用户输入对象触摸（框/模块310）。显示器12可以包括常规的触摸屏（例如，电阻式触摸屏、电容式触摸屏等）并且/或者可以如以上针对图7和图8的实施方式所描述地被配置为根据用户输入对象来检测触摸。
手势确定可以基于由热点检测模块308输出的一种或更多种热点轮廓。例如，可以基于一种或更多种热点轮廓来识别在下表1中所示的手势。如表1中所示，可以基于前置条件、触发条件和后置条件来识别手势。前置条件、触发条件和后置条件的组合表示了事件的发生，其可以被映射至移动终端200中的特征或功能。在表1中，“HS”表示“热点”。“事件”栏表示从手势检测传递到更高层（例如，应用层）的数据。根据所讨论的手势，不同的数据可以被用于该应用。事件栏中的数字“1”表示存在一个事件。事件栏中的符号“*”表示当检测到手势时可以存在多个事件。
表1-可能的手势检测算法
从表1可以看到，三维用户输入对象追踪和手势解释是触摸板和触摸屏的用户所熟悉的二维手势解释的超集。然而，三维用户输入对象追踪和手势解释能够实现包括例如拖拽这样的直觉手势的更加多样化的手势。
将用户输入对象追踪和算法相结合来检测不同的手势，能够产生和实现宽范围的唯一的用户界面行为。例如，表1定义了“选择”手势和“点击”手势。响应于检测到热点（前置条件），接着在显示器上检测到触摸（触发事件），然后再次检测到热点（后置条件）来解释“选择”手势。响应于以在z方向上超过阈值速度wclick的速度w检测到在显示器上触摸（触发事件），接着再次检测到热点（后置条件）来解释“点击”手势。尽管这些手势可以是相似的，但是这些手势可以有不同的效果。例如，“选择”手势可以用于缓慢地选择一小部分的显示屏（例如，显示在网页上的超链接），而“点击”手势可以用于选择大的击中区域，例如触屏上的可点击的按钮。
“追踪”手势可以提供更好的可用性，例如，在高密度的网页中，可以用鼠标指针将实际链接突出显示，以向用户给出将用“选择”手势选择显示屏的哪一部分的视觉反馈。
应理解的是，取决于所使用的特定的用户输入对象，手势可以是不同的，并且/或者取决于用户输入对象的使用方式（例如，手指相对于拇指），同一手势可以在移动终端200内实现不同的功能。因此，应理解的是，在某些实施方式中，形状可以用于触发不同的事件。此外，形状可以用于提高期望的目标的选择的精确度。
根据某些其它的实施方式，电子设备包括触敏显示器和控制器电路，其中，控制器电路被配置为检测用户触摸对象相对于显示器的尺寸和/或角定向，并使用信息来帮助确定用户选择了哪个视觉显示在键盘上的字符，并且/或者修改如何向用户显示键盘和相关的字符。这些实施方式和进一步的实施方式将在下面参照图16至图26进行具体的描述。尽管在图10的移动终端200的语境下在此处描述了各种实施方式，但是本发明不限于此，而是可以具体实施在包括触敏显示屏和控制器电路的任何电子设备中。
如本文所使用的，措辞“所选择的（selected）”表示对手指或其它用户输入对象进行指示的图像信号与例如触敏显示器246这样的显示器接近但不必一定进行触摸。因此，当用户输入对象邻近但不触摸键时，用户输入对象可以被确定为选择了显示键。因而，根据某些实施方式，用户输入对象可以靠近显示器但不必一定触摸显示器以触发本文所描述的各种功能，例如选择所显示的键盘上的字符和/或使得显示不同的键盘配置。另选地，在某些其它实施方式中，只有用户输入对象物理地接触显示器的一个或更多个定义的区域，这种功能才会被触发。
在某些实施方式中，如上所述，显示装置246包括大量的电磁辐射检测器D，它们被配置为生成表示与显示器紧密地隔开的用户输入对象的图像的图像信号。用户输入对象可以包括但不限于用户的手上的手指和/或触笔或由用户操纵的其它对象。检测器D可以进一步被配置为响应于显示器246被用户输入对象所触摸而生成触摸信号。
控制器电路232被配置为在显示装置246上以形成键盘的排列视觉地显示多个键并显示键上的字符。如本文所使用的，术语“键盘”包括但不限于QWERTY全键盘或部分键盘布局、触摸板布局（具有字母和数字符号的常规的电话键布置）或任何其它键布局。图16例示了控制器电路232可以在显示装置246上产生的示例性的QWERTY键盘。参照图16，QWERTY键盘包括对显示在键300中的键300和字符进行表示的图形符号。
控制器电路232可以被配置为从图像信号识别出相对于显示装置246紧密间隔开的用户输入对象的大小和/或角定向。控制器电路232可以响应于识别出的用户输入对象的大小和/或角定向并响应于触摸信号来识别在键盘键300上所指示的字符之中的用户选择，并且向移动终端200中的其它电路/功能性应用输出与识别出的用户所选择的字符相对应的字符数据。
例如，当触点好像是在两个相邻的键300之间时，控制器电路232可以将两个键中在由识别出的用户输入的角定向所指示的方向上出现的第一个键识别为用户所选择的键。因而，当左手的手指在两个水平相邻的键之间触摸键盘时，控制器电路232可以通过确定选择了左边的键来对此作出响应。同样地，当来自右手的手指在两个水平相邻的键之间触摸键盘时，控制器电路232可以通过确定选择了右边的键来对此作出响应。
另选地或附加地，控制器电路232可以响应于用户的手指的大小识别在显示在所选择的键上的多个字符之中用户的选择。例如，控制器电路232可以在由用户的拇指所作的键选择和由用户的拇指以外的其它手指（例如，食指）所作的选择之间进行区分。因此，用户的手指的角定向和/或大小可以用于识别选择了键盘上的哪一键并且/或者识别在显示在所选择的键上的多个字符中选择了哪一字符。下面将更具体地描述这些实施方式和其它实施方式。
控制器电路232可以被配置为在某些键盘键300或全部键盘键300上显示多个不同的字符，并且响应于所识别的选择了键的用户输入对象的角定向来识别在显示在所选择的一个多字符键300上的字符中用户的选择。
图17例示了控制器电路232可以在显示装置246上产生的示例性键盘（例如，小键盘）。参照图16，键盘包括显示在各键310上的多个字符。所例示的字符包括字母字符和非字母字符（例如，数字、数学符号或其它符号）。控制器电路232可以被配置为响应于识别出的正在选择键的用户输入对象的角方向来识别在显示在所选择的一个多字符键310上的多个字符中用户的选择。
图18是可以由控制器电路232执行以识别在显示在键盘键上（例如，在图17的键盘310上）的多个字符中用户的选择的操作320的流程图。参照图17和图18，显示器246可以生成（框322）表示在用户输入对象接触显示器246之前和/或之后由用户输入对象所获取的图像的图像信号。控制器电路232识别（框324）由图像信号指示的用户输入对象相对于显示器246的角定向。控制器电路232接着响应于所识别出的角定向来识别（框326）在显示在所选择的键310上的多个字符中用户的选择，并输出用户所选择的字符（框328）。
例如，图17中所示出的其中一个键310包括字母字符“a”、“b”和“c”。控制器电路232可以被配置为当用户的手指从左边接近所选择的键时识别最左边的字符（“a”）已被用户选择，当用户的手指从右边接近所选择的键时可以识别最右边的字符（“c”）已被用户选择，并且当用户的手指从键盘键310的顶部/底部接近所选择的键时可以识别中间的字符（“b”）已被用户选择。
图19是可以由控制器电路232执行以识别在显示在键盘键（例如，图17的键盘310）上的两个字符之中用户的选择的进一步的操作330。图19的操作330与图18的操作320的主要区别在于，控制器电路232可以响应于所识别的角定向来识别用户是用左手上的手指还是用右手上的手指选择了键，并且可以响应于此在所选择的键上的两个字符中进行选择。
参照图19，显示器246生成（框332）表示所获取的手指相对于所选择的键的图像的图像信号。控制器电路232生成（框334）对由左手上的手指所作的键选择与由右手上的手指所作的键选择进行区分的选择信号。控制器电路232确定（框336）是否是用户左手上的手指选择了键，如果是，则输出（框338）显示在所选择的键上的两个字符中的左边的一个字符作为用户所选择的字符。相反地，如果用户的右手上的手指选择了键，则控制器电路232输出显示在所选择的键上的右边的字符作为用户所选择的字符。
某些其它实施方式旨在响应于用户输入对象相对于显示器的角定向来启用并停用预测性的文本录入操作。预测性的文本录入操作在所定义的文字的数据库之中利用当用户在显示在触敏显示器上的键盘上进行输入时所输入的字母字符的序列来选择备选的文字。
图20是可以由控制器电路232执行以启用并停用预测性文本录入的操作340的流程图。参照图20，显示器246生成（框342）表示所获取的手指相对于所选择的键的图像的图像信号。控制器电路232响应于所识别的用户输入对象的角定向来生成（框344）对由左手上的手指所作的键键盘选择和由右手上的手指所作的键选择进行区分的选择信号。控制器电路232根据选择信号来确定（框346）用户是否用一只手进行打字，如果是，则控制器电路232启用（框348）预测性文本录入操作，该操作利用当用户用一只手在键盘上进行打字时用户所选择的键盘字符的序列在数据库中选择备选文字以找到文字。另选地，控制器电路232通过停用（框349）预测性文本录入操作来对确定（框346）用户用双手在键盘上进行输入进行响应。
某些进一步的实施方式旨在响应于对键进行选择的用户的手指的大小来启用并停用预测性文本录入操作并且确定在显示在所选择的键上的数字字符、字母字符和/或其它字符中用户的选择。图21是可以由控制器电路232执行以执行该功能中的至少某些功能的操作350的流程图。参照图21，显示器246生成（框352）表示所获取手指相对于所选择的键的图像的图像信号。控制器电路232响应于选择手指的大小来生成（框354）对用户利用拇指来选择键和利用非拇指手指来选择键进行区分的选择信号。控制器电路232根据选择信号来确定（框356）用户是否用拇指来选择键，如果是，则控制器电路232启用（框358）预测性文本录入操作并且将用户的可能的字符选择限制到（框360）在所选择的键的多个显示字符中的非数字字符。另选地，控制器电路232通过停用（框362）预测性文本录入操作（如果它是在用的）并且将用户可能的字符选择限制到（框364）在所选择的键的多个显示字符中的数字字符来对确定（框356）用户利用非拇指手指选择键进行相应。
通过特定的非限制性示例，参照图17中所示的键盘键310，控制器电路232可以通过停用预测性文本录入并将用户可能的字符选择限制到显示在所选择的键上的非字母字符来对用户利用非拇指手指选择键进行响应。相反地，控制器电路232可以通过启用预测性文本录入并将用户可能的字符选择限制到显示在所选择的键上的字母字符来对用户利用拇指选择键进行响应。
某些进一步的实施方式旨在响应于用户的手指的大小和用户用于选择键盘键的手指的数量来控制控制键盘键的大小和/或数量和/或显示在各键上的字符数量。下面参照图22至图26描述示例性实施方式。图22例示了示例性QWERTY键盘370，其中，控制器电路232可以响应于用户利用非拇指手指（例如，食指）在键盘上进行输入的情况每个键一个字符地在显示装置246上进行显示。图23例示了更加紧凑的QWERTY键盘380，其中，控制器电路232可以响应于用户利用两个拇指在键盘380上进行输入的情况每个键两个字符地在显示装置246上进行显示。图24例示了更加紧凑的键盘390（例如，电话键盘配置），其中，控制器电路232可以响应于用户利用两个拇指在键盘380上进行输入的情况每个键两个字符地在显示装置246上进行显示。
图25是控制器电路232可以执行的示例性操作400的流程图，其中，控制器电路232可以响应于用户是利用非拇指手指还是拇指选择键来执行至少某些功能来控制键盘键的数量和大小以及显示在各键上的字符的数量。参照图25并且结合图22至图23的示例性键盘，显示器246生成（框402）表示所获取的手指相对于所选择的键的图像的图像信号。控制器电路232响应于选择手指的大小来生成（框404）对用户利用拇指选择键和利用非拇指手指选择键进行区分的选择信号。控制器电路232根据选择信号来确定（框406）用户是否用非拇指手指（例如，食指）选择键，如果是，则控制器电路232以各键上不同字符的方式来显示（框408）第一多个QWERTY键盘键370。当控制器电路232确定（框410）用户利用拇指选择键时，控制器电路232显示（框412）具有数量更少、但比键盘370的键更大的键的更加紧凑的QWERTY键盘380。键盘380的更大的键可以被正在利用一个或两个拇指在键盘380上进行输入的用户更加精确地进行选择。控制器电路232可以响应于确定用户利用拇指在键盘380上进行输入的情况进一步启用预测性文本录入操作（框414）。
因此，控制器电路232可以响应于用户是用拇指还是用非拇指的手指输入来向用户显示不同的键盘，其中，可以对不同的键盘进行特定的配置以帮助用户利用相关的拇指/非拇指手指更容易地并更精确地进行输入。
图26是控制器电路232可以执行的示例性操作420的流程图，其中，控制器电路232可以响应于用户是利用拇指还是非拇指手指进行输入以及用户是否用双手进行输入来执行至少某些功能来控制键盘键的数量和大小以及显示在各键上的字符的数量。参照图26并且结合图22至图24的示例性键盘，显示器246生成（框422）表示所获取的手指相对于所选择的键的图像的图像信号。控制器电路232响应于所识别的手指相对于显示器246的角定向来生成（框424）对用户用左手上的手指进行输入和用户用右手上的手指进行输入进行区分的选择信号。控制器电路232根据选择信号来确定（框426）用户是否利用非拇指手指进行输入（例如，检测所限定的非拇指键选择的长度序列），如果是，则控制器电路232显示（框428）在各键上具有不同字符的第一多个QWERTY键盘键370。当控制器电路232确定（框430）用户利用双手进行输入时，控制器电路232显示（框432）数量更少的但比键盘370的键更大的键的更加紧凑的QWERTY键盘380。用户通过利用两个拇指进行输入可以更加精确地选择键盘380的更大键。尽管未示出，但是当用户利用两个拇指在键盘380上进行输入时，控制器电路232可以进一步启用预测性文本录入操作来预测文字。当控制器电路232确定（框434）用户仅用一只手（例如，一只手上的一个拇指）进行打字时，控制器电路232仍然显示（框436）具有更少数量的但比键盘370的键更大的键的更加紧凑的键盘380。用户通过利用一个拇指进行输入可以更容易并更精确地选择键盘380的更大的键。当用户利用一只手在键盘390上进行打字时，控制器电路232启用（框438）预测性文本录入操作来预测文字。
在图27和图28中例示了进一步的实施方式。如图中所示，显示器12可以包括多个像素42，各像素可以包括OLED和/或LED发射器R、G、B以及红外（IR）发射器E和红外（IR）检测器D。IR发射器E在离开显示器12的方向上发射红外辐射。当例如触笔或手指这样的用户输入装置位于显示器附近时，由IR发射器E发射的红外辐射被反射回显示器12，并且被IR检测器D检测到。IR检测器D的输出可被采样，以生成表示感测到的与显示器12接近的空间的图像（例如，图5A中所例示的IR图像）的图像信号。如上所述，可以利用常规的图像处理技术来处理IR图像，以识别例如用户的手指和/或触笔这样的用户输入对象的出现。根据某些实施方式，控制器电路232可以将用户输入对象的某些动作和/或行为解释为对应于各种类型的输入或命令。因为检测器D的阵列可以在用户输入对象触摸显示器12之前感测到用户输入对象的运动，所以用户终端200可以对触摸或基于触摸的手势以外的其它类型的动作或动作的组合进行响应。根据某些实施方式，可以使用与基于触摸的手势相结合的非基于触摸的手势来控制移动终端200的操作。
如图27所示，像素42的IR发射器E可以是如由黑色的像素42A所指示的在用的，或者是如由打开的像素42D所指示的停用的。在像素42D中的发射器的停用可以降低显示器12的能耗。如所例示的，像素42A的启用的发射器可以分开，使得当用户输入对象靠近显示器12时用户输入对象可以被像素42A的检测器检测到。
例如，如图29中所例示的，具有图像外周55的用户输入对象56靠近显示器12。当像素42的检测器检测到例如从用户输入对象56反射的红外辐射这样的电磁辐射时，控制器电路232如图30所示的在邻近对象52的区域中启用附加的像素42。在该配置中，显示器12可以如图27所示地在不存在用户输入对象的情况下节省能量或能耗。然而，当如图29所示地检测到用户输入对象56时，可以启用在邻近对象56的区域中的像素42A的附加的检测器D，以如图30所示地对从对象56反射的电磁辐射提供改进的检测。尽管在图30中示出邻近对象56的所有像素42A都被启用，但是应理解的是，可以以任何适合的模式选择性地启用像素42。例如，如图31所示，与对象56的外周55相邻的像素42A被启用，而在对象56的内部的像素42D没有被启用。因而，通过在如图30至图31所示的出现用户输入对象56的情况下停用在某些像素42D中的发射器而启用像素42A中的发射器，显示器12可以提供减小的电力消耗或能耗。因此，可以使用例如外周55这样的用户输入对象56的更加相关的位置来确定显示器12的哪个区域包括更高集中度的启用的像素42A。
在某些实施方式中，控制器电路232被配置为启用显示器12上的像素42中的不同组的发射器，以响应于作为启用的发射器42的不同组的结果所检测到的不同电磁辐射轮廓来识别用户输入对象56的高度或外形轮廓。例如，如图32所示，显示器12的所有发射器E1至E5都被启用。检测器D1至D6响应于所检测到的被反射的电磁辐射R的量来生成信号。辐射R响应于由发射器E1至E5发射的辐射的量、用户输入对象56与显示器12之间的距离以及用户输入对象56的表面相对于显示器12的角度而变化。例如，如图32所例示的，检测器D4通常比检测器D3和D5检测到更多的电磁辐射R。然而，检测器D3和D3比检测器D6检测到更多的电磁辐射R。检测器D1和D2通常没有从用户输入对象56检测到电磁辐射。
如图33所例示的，发射器E3被启用，并且发射器E1、E2、E4和E5被停用。检测器D3比检测器D4检测到更多的电磁辐射R，其指示用户输入对象56的表面在发射器E3上的角度。具体地，如图33的表面外形线S所指示的，用户输入对象56的表面通常在发射器E3之上的区域中从检测器D3向检测器D4从左至右地向下倾斜。因此，在发射器（例如，图33中的发射器E3）之上的区域中的用户输入对象56的外形的倾斜通常远离检测到更大量电磁辐射的相邻检测器在向下的方向上（例如，检测器D3比检测器D4检测到更多的辐射，因此，在发射器E3之上的用户输入对象56的外形的倾斜在远离检测器D3的向下的方向上）。此外，当如在图33中所示地检测器D3和D4与发射器E3等距时，所检测到的电磁辐射的比例通常与在发射器E3之上的对象56的表面外形的角度的倾斜成比例，使得检测器D3和D4之间的更大的比例指示更大的倾斜。
当如图34所例示地发射器E1至E3和E5被停用并且发射器E4被启用时，由检测器D4和D5在发射器E4的两侧检测到等量的电磁辐射R。这指示如由发射器E4上面的用户输入对象56的区域中的图34的表面外形线S所表示的大体平坦的表面。此外，应理解的是由检测器D1至D4检测到的电磁辐射的幅度通常与用户输入对象56和显示器之间的距离成比例。
因此，可以启用发射器E1至E5的不同组来确定对象56的总的外形轮廓和/或高度轮廓。如本文所描述的，外形和/或高度轮廓可用于例如确定热点中心位置。例如，可以基于所检测到的外形和/或高度轮廓以及已知的形状特征来识别用户手指的末端。用户的手指的末端或其它热点识别可用于在显示器上定义由例如参照表1所讨论的这样的特定手势或命令所启用的位置。
显示器12可用于例如在图17的键盘310上显示包括图标和字符的各种键盘。图35是可以由控制器电路232执行的操作320的流程图，其中，该操作320用于识别在显示在例如图17的键盘310这样的键盘键上的多个字符中用户的选择。参照图10和图27至图34，控制器电路232可以在没有检测到由用户输入对象所反射的电磁辐射的情况下在显示器12的像素42中启用减少的数量的电磁辐射发射器E（图27至图29）（框502）。当由显示器12上的像素42中的电磁辐射检测器D检测到用户输入对象56时，显示器在例如与用户输入对象56相邻的区域或在与用户输入对象56的外周相邻的区域中选择性地启用电磁辐射发射器（图30至图31）（框504）。显示器12生成表示所获取的例如用户输入对象56这样的图像的图像信号（框506）。控制器电路232可以输出图像信号和/或用户选择（框508）。
应理解的是，可以如本文所描述地将检测到的电磁辐射用于基于用户输入对象56的角定向、用户输入对象56的高度和/或外形轮廓来识别图像。例如，如在图36的操作510的流程图中所例示的，控制器电路232可以在没有检测到由用户输入对象反射的电磁辐射的情况下在显示器12上的像素42中启用减少数量的电磁辐射发射器E（图27至图29）（框512）。当由显示器12上的像素42中的电磁辐射检测器D检测到用户输入对象56时，显示器选择性地在例如与用户输入对象56邻近的区域或在与用户输入对象56的外周邻近的区域中启用电磁辐射发射器（图30至图31）（框514）。显示器12生成用户输入对象56的高度和/或外形轮廓（框516）。控制器电路232可以基于用户输入对象56的高度和/或外形轮廓来输出图像信号和/或用户选择（框508）。例如，高度和/或外形轮廓可用于识别例如手指末端或触笔模锻这样的用户输入对象56的特征。
图37例示了操作530的流程图。参照图29至图34，在没有检测到由用户输入对象反射的电磁辐射的情况下启用减少的数量的发射器E1至E5（框532）。响应于检测到的用户输入对象56，启用第一组一个或更多个电磁辐射发射器E1至E5（框534）。响应于由用户输入对象56反射并且被电磁辐射检测器D1至D6的阵列检测到的来自第一组一个或更多个电磁辐射发射器E1至E5的电磁辐射，生成第一电磁辐射轮廓（框536）。与第一组一个或更多个电磁辐射发射器E1至E5不同的第二组一个或更多个电磁辐射发射器E1至E5被启用（框538）。响应于被用户输入对象反射并被电磁辐射检测器E1至E6的阵列检测到的来自第二组一个或更多个电磁辐射发射器E1至D5的电磁辐射来生成第二电磁辐射轮廓（框540）。基于第一和第二电磁辐射轮廓来识别用户输入对象56的外形轮廓（542）。比较两个电磁辐射轮廓（框542）并且生成用户输入对象的外形轮廓（框544）。输出图像信号和/或用户选择（框546）。
因此，可以响应于外形轮廓、高度轮廓、角定向、热点中心标识和/或检测与屏幕12的接触触摸来确定屏幕上的字符或图标的图像信号和/或用户选择。可以利用电磁辐射检测器来识别手势和其它命令以确定在常规的触摸屏中无法识别的用户输入装置的特征。
以上描述例示了本发明，但不被解读为限制本发明。尽管已经描述了本发明的示例性实施方式，但是本领域技术人员将容易地理解，在不实质上脱离本发明的新颖教导和特征的情况下，可以对示例性实施方式进行许多修改。因此，所有的这种修改旨在被包括在如权利要求所限定的本发明的范围内。因此，应理解的是，本发明的以上描述是示例性的，不将其解读为限于所公开的特定的实施方式，并且对于所公开的实施方式的修改和其它实施方式旨在被包括在所附权利要求的范围内。由所附权利要求限定本发明，其中包括了权利要求的等价物。

Claims (20)

1.一种电子设备，所述电子设备包括：
触敏显示屏，所述触敏显示屏包括电磁辐射发射器和电磁辐射检测器的阵列，其中，所述电磁辐射检测器的阵列被配置为响应于检测到的被用户输入对象反射的电磁辐射来生成图像信号，该图像信号表示与显示器紧密间隔开的所述用户输入对象的图像；以及
控制器电路，所述控制器电路被配置为控制所述电磁辐射发射器的阵列的启用，使得在没有检测到被所述用户输入对象反射的电磁辐射的情况下，所述电磁辐射发射器的阵列的至少一部分是未启用的，并且被配置为响应于所述电磁辐射检测器的阵列检测到被所述用户输入对象反射的电磁辐射而选择性地启用所述电磁辐射发射器的阵列中的电磁辐射发射器。
2.根据权利要求1所述的电子设备，其中，所述电磁辐射发射器的阵列中的被选择性地启用的多个电磁辐射发射器接近检测到的被所述用户输入对象反射的电磁辐射。
3.根据权利要求1所述的电子设备，其中，所述电磁辐射发射器的阵列中的被选择性地启用的多个电磁辐射发射器接近被所述用户输入对象反射的电磁辐射的外周。
4.根据权利要求1所述的电子设备，其中，所述控制器电路被配置为生成所述用户输入对象的外形轮廓，该外形轮廓近似了所述用户输入对象的表面的外形曲线并且响应于由所述电磁辐射检测器中的各电磁辐射检测器检测到的电测辐射量。
5.根据权利要求1所述的电子设备，其中，所述控制器电路被配置为生成所述用户输入对象的高度轮廓，该高度轮廓近似了所述用户输入对象的表面与所述显示器之间的距离并且响应于由所述电磁辐射检测器中的各电磁辐射检测器检测到的电磁辐射量。
6.根据权利要求1所述的电子设备，其中，所述控制器电路被配置为启用所述电磁辐射发射器的第一组一个或更多个电磁辐射发射器并且响应于来自所述第一组一个或更多个电磁辐射发射器的、被所述用户输入对象反射并被所述电磁辐射检测器的阵列检测到的电磁辐射来生成第一电磁辐射轮廓，所述控制器电路被配置为启用与所述第一组一个或更多个电磁辐射发射器不同的第二组一个或更多个电磁辐射发射器，并且响应于来自所述第二组一个或更多个电磁辐射发射器、被所述用户输入对象反射并且被所述电磁辐射检测器的阵列检测到的电磁辐射来生成第二电磁辐射轮廓，并且所述控制器电路被配置为基于所述第一电磁辐射轮廓和所述第二电磁辐射轮廓来识别所述用户输入对象的外形轮廓。
7.根据权利要求6所述的电子设备，其中，所述控制器电路被配置为在所述显示屏上显示形成了键盘的多个键并在所述多个键上显示字符，以根据所述第一电磁辐射轮廓和所述第二电磁辐射轮廓来识别包括所述用户输入对象相对于所述显示屏的外形的外形轮廓、响应于识别出的所述用户输入对象的外形轮廓来识别在键盘键上指示的字符之中用户的选择，并且输出与识别出的用户所选择的字符相对应的字符数据。
8.根据权利要求7所述的电子设备，其中，所述显示器被配置为响应于所述显示屏被所述用户输入对象所触摸而生成触摸信号，并且所述控制器电路被配置为响应于触摸信号连同识别出的所述用户输入对象的外形轮廓进一步识别在所述键盘键上指示的字符之中用户的选择。
9.根据权利要求8所述的电子设备，其中，所述控制器电路进一步被配置为在多个键盘键的各键盘键上显示至少两个不同的字符，并且响应于识别出的对键进行选择的所述用户输入对象的外形轮廓来识别用户在所选择的多字符键上显示的字符之中的选择。
10.根据权利要求9所述的电子设备，其中，所述控制器电路进一步被配置为响应于所述外形轮廓来识别所述用户输入对象的与所述显示器最接近的一部分，并且将所选择的键上的多个字符中的、与所述用户输入对象最接近所述显示器的一部分相邻的第一个字符识别为用户所选择的字符。
11.根据权利要求1所述的电子设备，其中，所述控制器电路进一步被配置为响应于识别出的所述用户输入对象的大小、基于所述图像信号来改变至少一些键盘键的显示大小。
12.根据权利要求11所述的电子设备，其中，所述控制器电路进一步被配置为响应于识别到所述用户输入对象的第一阈值大小在所述显示屏上显示QWERTY键盘的第一多个键，并且响应于识别到所述用户输入对象的第二阈值大小在所述显示屏上将所显示的QWERTY键盘的第一多个键替换为第二多个键，其中，所述第二阈值大小大于所述第一阈值大小，并且所述第二多个键少于所述第一多个键。
13.一种对包括电磁辐射发射器和电磁辐射检测器的阵列的触敏显示器进行操作的方法，该方法包括以下步骤：
在所述电磁辐射检测器没有检测到电磁辐射的情况下启用数量较少的电磁辐射发射器；
响应于检测到被用户输入对象反射的电磁辐射而选择性地启用电磁辐射发射器；
生成表示所获取的所述用户输入对象的图像的图像信号；以及
响应于所获取的所述用户输入对象的图像来识别对字符和/或图标的用户选择。
14.根据权利要求13所述的方法，其中，所述电磁辐射发射器的阵列中的被选择性地启用的电磁辐射发射器接近检测到的被所述用户输入对象反射的电磁辐射。
15.根据权利要求13所述的方法，其中，所述电磁辐射发射器的阵列中的被选择性地启用的电磁辐射发射器接近被所述用户输入对象反射的电磁辐射的外周。
16.根据权利要求13所述的方法，所述方法还包括以下步骤：生成所述用户输入对象的外形轮廓，该外形轮廓近似了所述用户输入对象的表面的外形曲线并且响应于由所述电磁辐射检测器中的各电磁辐射检测器检测到的电测辐射量。
17.根据权利要求13所述的方法，所述方法还包括以下步骤：生成所述用户输入对象的高度轮廓，该高度轮廓近似了所述用户输入对象的表面与所述显示器之间的距离并且响应于由所述电磁辐射检测器中的各电磁辐射检测器检测到的电磁辐射量。
18.根据权利要求13所述的方法，所述方法还包括以下步骤：
启用所述电磁辐射发射器的第一组一个或更多个电磁辐射发射器；
响应于来自所述第一组一个或更多个电磁辐射发射器的、被所述用户输入对象反射并被所述电磁辐射检测器的阵列检测到的电磁辐射来生成第一电磁辐射轮廓；
启用与所述第一组一个或更多个电磁辐射发射器不同的第二组一个或更多个电磁辐射发射器；
响应于来自所述第二组一个或更多个电磁辐射发射器的、被所述用户输入对象反射并且被所述电磁辐射检测器的阵列检测到的电磁辐射来生成第二电磁辐射轮廓；
基于所述第一电磁辐射轮廓和所述第二电磁辐射轮廓来识别所述用户输入对象的外形轮廓。
19.根据权利要求18所述的方法，所述方法还包括以下步骤：
在所述显示屏上显示形成了键盘的多个键并在所述多个键上显示字符；
响应于识别出的所述用户输入对象的外形轮廓来识别用户在键盘键上指示的字符之中的选择；以及
输出与识别出的用户所选择的字符相对应的字符数据。
20.根据权利要求19所述的方法，所述方法还包括以下步骤：
响应于所述显示屏被所述用户输入对象所触摸而生成触摸信号；
响应于触摸信号连同识别出的所述用户输入对象的外形轮廓来识别用户在所述键盘键上指示的字符之中的选择。
CN201180047057.1A 2010-10-06 2011-09-12 检测并响应于用户输入对象的外形和/或高度轮廓的电子设备用显示器 Expired - Fee Related CN103154869B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/899,037 US8514190B2 (en) 2010-10-06 2010-10-06 Displays for electronic devices that detect and respond to the contour and/or height profile of user input objects
US12/899,037 2010-10-06
PCT/IB2011/002123 WO2012046112A1 (en) 2010-10-06 2011-09-12 Displays for electronic devices that detect and respond to the contour and/or height profile of user input objects

Publications (2)

Publication Number Publication Date
CN103154869A true CN103154869A (zh) 2013-06-12
CN103154869B CN103154869B (zh) 2016-06-08

Family

ID=45065932

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180047057.1A Expired - Fee Related CN103154869B (zh) 2010-10-06 2011-09-12 检测并响应于用户输入对象的外形和/或高度轮廓的电子设备用显示器

Country Status (4)

Country Link
US (1) US8514190B2 (zh)
EP (1) EP2625592A1 (zh)
CN (1) CN103154869B (zh)
WO (1) WO2012046112A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104699232A (zh) * 2013-12-09 2015-06-10 联想(北京)有限公司 三维位置检测装置、电子设备和方法
CN105960625A (zh) * 2014-02-04 2016-09-21 瑟克公司 使用动态标定的线性校正以提高触摸传感器上的手指追踪线性
CN107870665A (zh) * 2016-09-23 2018-04-03 中兴通讯股份有限公司 一种控制终端的方法、装置及终端
CN111129074A (zh) * 2018-10-30 2020-05-08 北京小米移动软件有限公司 显示屏和电子设备

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8878773B1 (en) 2010-05-24 2014-11-04 Amazon Technologies, Inc. Determining relative motion as input
KR20120080845A (ko) * 2011-01-10 2012-07-18 삼성전자주식회사 광 감지 기능을 구비한 ｏｌｅｄ 디스플레이 장치
CN103168281B (zh) 2011-08-10 2016-08-10 赛普拉斯半导体公司 检测传导体的存在的方法和装置
US9141234B2 (en) * 2011-08-29 2015-09-22 Lenovo (Singapore) Pte. Ltd. Pressure and position sensing pointing devices and methods
US20130088434A1 (en) * 2011-10-06 2013-04-11 Sony Ericsson Mobile Communications Ab Accessory to improve user experience with an electronic display
US8436828B1 (en) * 2012-01-27 2013-05-07 Google Inc. Smart touchscreen key activation detection
JP5904440B2 (ja) * 2012-04-20 2016-04-13 シャープ株式会社 操作入力装置、操作入力方法およびプログラム
US20140198059A1 (en) * 2013-01-16 2014-07-17 Research In Motion Limited Electronic device with touch-sensitive display and gesture-detection
US9335922B2 (en) 2013-01-16 2016-05-10 Research In Motion Limited Electronic device including three-dimensional gesture detecting display
WO2014112994A1 (en) * 2013-01-16 2014-07-24 Blackberry Limited Electronic device including three-dimensional gesture detecting display
US9323380B2 (en) 2013-01-16 2016-04-26 Blackberry Limited Electronic device with touch-sensitive display and three-dimensional gesture-detection
WO2014112995A1 (en) * 2013-01-16 2014-07-24 Blackberry Limited Electronic device with touch-sensitive display and gesture-detection
US20140368470A1 (en) * 2013-06-13 2014-12-18 Samsung Display Co., Ltd. Adaptive light source driving optical system for integrated touch and hover
US9454265B2 (en) * 2013-09-23 2016-09-27 Qualcomm Incorporated Integration of a light collection light-guide with a field sequential color display
CN104731493A (zh) * 2013-12-20 2015-06-24 中兴通讯股份有限公司 终端状态切换方法及装置
CN106415454A (zh) * 2014-04-30 2017-02-15 Lg伊诺特有限公司 触控设备、具有该触控设备的可穿戴设备及触控识别方法
CN106055174B (zh) * 2016-05-23 2019-03-29 京东方科技集团股份有限公司 一种触控显示装置
KR102586792B1 (ko) * 2016-08-23 2023-10-12 삼성디스플레이 주식회사 표시장치 및 그의 구동방법
CN114222967B (zh) * 2019-08-22 2024-08-06 索尼集团公司 电子透镜、电子设备和方法
CN111124201A (zh) * 2019-11-29 2020-05-08 华为技术有限公司 一种单手操作的方法和电子设备
WO2023023517A1 (en) * 2021-08-16 2023-02-23 Al Majid Newar Husam Displaying profile from message system contact feed

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080098331A1 (en) * 2005-09-16 2008-04-24 Gregory Novick Portable Multifunction Device with Soft Keyboards
US20080122803A1 (en) * 2006-11-27 2008-05-29 Microsoft Corporation Touch Sensing Using Shadow and Reflective Modes
US20080297487A1 (en) * 2007-01-03 2008-12-04 Apple Inc. Display integrated photodiode matrix
WO2010018577A2 (en) * 2008-08-12 2010-02-18 Benjamin Firooz Ghassabian Data entry system
US20100110002A1 (en) * 2008-11-06 2010-05-06 Sony Ericsson Mobile Communications Ab Communication device with combined input and display device

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5105186A (en) 1990-05-25 1992-04-14 Hewlett-Packard Company Lcd touch screen
WO2003073159A1 (en) 2002-02-20 2003-09-04 Planar Systems, Inc. Light sensitive display
JP4257221B2 (ja) 2003-03-31 2009-04-22 東芝松下ディスプレイテクノロジー株式会社 表示装置および情報端末装置
CN1846248A (zh) 2003-07-09 2006-10-11 怀尔德西德有限公司 共享输入键方法及设备
US7230608B2 (en) 2004-04-23 2007-06-12 Eastman Kodak Company OLED display and touch screen
US7519223B2 (en) 2004-06-28 2009-04-14 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications
JP2006276223A (ja) 2005-03-28 2006-10-12 Sony Corp 表示装置及び表示方法
US20070097096A1 (en) 2006-03-25 2007-05-03 Outland Research, Llc Bimodal user interface paradigm for touch screen devices
WO2008007372A2 (en) * 2006-07-12 2008-01-17 N-Trig Ltd. Hover and touch detection for a digitizer
US20080048996A1 (en) 2006-08-11 2008-02-28 Unidym, Inc. Touch screen devices employing nanostructure networks
JP4567028B2 (ja) 2006-09-26 2010-10-20 エルジー ディスプレイ カンパニー リミテッド マルチタッチ感知機能を有する液晶表示装置とその駆動方法
US7924272B2 (en) 2006-11-27 2011-04-12 Microsoft Corporation Infrared sensor integrated in a touch panel
TWI337318B (en) * 2007-05-15 2011-02-11 Htc Corp Electronic device operated by using touch display
EP2198359A1 (en) 2007-08-31 2010-06-23 Sony Ericsson Mobile Communications AB Portable communication device having a near-infrared touch input display
KR101352994B1 (ko) 2007-12-10 2014-01-21 삼성전자 주식회사 적응형 온 스크린 키보드 제공 장치 및 그 제공 방법
CN101169689B (zh) 2007-12-10 2011-06-01 北京安效技术有限公司 应用手指识别的输入方法和键盘
US20090231282A1 (en) 2008-03-14 2009-09-17 Steven Fyke Character selection on a device using offset contact-zone

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080098331A1 (en) * 2005-09-16 2008-04-24 Gregory Novick Portable Multifunction Device with Soft Keyboards
US20080122803A1 (en) * 2006-11-27 2008-05-29 Microsoft Corporation Touch Sensing Using Shadow and Reflective Modes
US20080297487A1 (en) * 2007-01-03 2008-12-04 Apple Inc. Display integrated photodiode matrix
WO2010018577A2 (en) * 2008-08-12 2010-02-18 Benjamin Firooz Ghassabian Data entry system
US20100110002A1 (en) * 2008-11-06 2010-05-06 Sony Ericsson Mobile Communications Ab Communication device with combined input and display device

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104699232A (zh) * 2013-12-09 2015-06-10 联想(北京)有限公司 三维位置检测装置、电子设备和方法
CN105960625A (zh) * 2014-02-04 2016-09-21 瑟克公司 使用动态标定的线性校正以提高触摸传感器上的手指追踪线性
CN107870665A (zh) * 2016-09-23 2018-04-03 中兴通讯股份有限公司 一种控制终端的方法、装置及终端
CN111129074A (zh) * 2018-10-30 2020-05-08 北京小米移动软件有限公司 显示屏和电子设备
CN111129074B (zh) * 2018-10-30 2022-07-15 北京小米移动软件有限公司 显示屏和电子设备

Also Published As

Publication number Publication date
US8514190B2 (en) 2013-08-20
CN103154869B (zh) 2016-06-08
EP2625592A1 (en) 2013-08-14
US20120086647A1 (en) 2012-04-12
WO2012046112A1 (en) 2012-04-12

Similar Documents

Publication Publication Date Title
CN103154869B (zh) 检测并响应于用户输入对象的外形和/或高度轮廓的电子设备用显示器
CN102422254B (zh) 用于检测和响应用户输入对象的大小和/或角度取向的电子装置的显示器
US20100123665A1 (en) Displays for Mobile Devices that Detect User Inputs Using Touch and Tracking of User Input Objects
US9323410B2 (en) User input displays for mobile devices
CN101963848B (zh) 一种判断目标点是否属于平面的方法和鼠标及触摸屏
US20110012856A1 (en) Methods for Operation of a Touch Input Device
EP2419812B1 (en) Optical touch screen systems using reflected light
US20180018088A1 (en) Assisting input from a keyboard
US20090289902A1 (en) Proximity sensor device and method with subregion based swipethrough data entry
US20110148786A1 (en) Method and apparatus for changing operating modes
TWI396123B (zh) 光學式觸控系統及其運作方法
EP2107445A1 (en) Optical pointing device and method of detecting click event in optical pointing device
US11604538B2 (en) Electric field touchscreen
Gao et al. Conductive inkjet printed passive 2D trackpad for VR interaction
CN101441515A (zh) 输入装置与方法
KR102456034B1 (ko) 비접촉 터치 디스플레이 시스템
CN103677379B (zh) 触控装置及其手势判断方法
WO2023229646A1 (en) Using touch input data to improve fingerprint sensor performance
CN105302349A (zh) 无挡触控的手持式电子装置及其触控外盖
CN103941923A (zh) —种拼合触摸装置方法及拼合触摸装置
CN105302386A (zh) 无挡触控的手持式电子装置及其触控外盖
CN105278774A (zh) 无挡触控的手持式电子装置及其触控外盖

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160608

Termination date: 20170912

CF01 Termination of patent right due to non-payment of annual fee