CN102414653A - 控制电路和方法 - Google Patents

Abstract

一种系统包括配置用于显示图像的显示屏幕、具有感测区域的触摸传感器、主处理系统和触摸屏控制系统。触摸屏控制系统包括配置成操作触摸传感器的触摸传感器控制电路以及配置成操作显示屏幕的显示控制电路。显示电路包括配置成保存原像的第一存储器、配置成保存副像的第二存储器以及显示刷新电路。显示刷新电路配置成更新显示屏幕，响应用户输入并且无需主处理系统的介入而生成包含原像和副像的混合图像，并且采用混合图像来更新显示屏幕。

Description

控制电路和方法

相关申请的交叉引用

本申请要求2009年4月30日提交的美国临时专利申请61/174403的优先权益，通过引用将其完整地结合到本文中。

背景技术

电子装置在当今社会普遍存在。随着电子装置的技术进步，在这类装置上实现的集成功能的数量也增加。作为一个示例，许多当今的电子装置包括向用户显示信息并且从用户接收基于触摸的输入的能力。为了接收和处理基于触摸的输入，许多当前的电子装置利用与显示装置结合的电容感测装置。通常，这类电容感测装置处理从例如一个或多个手指、触控笔或者电容传感器装置的感测区域中的其它物体所接收的用户输入。

但是，随着电子装置上集成功能的数量增加，对其主处理器所施加的处理负担也增加。(作为一个示例，当电子装置包括显示器以及电容传感器装置时，电子装置的主处理器操纵两种组件的处理。)因此，电子装置因置于其主处理器上的负担而可能遭受性能缺点。例如，用户输入与对用户的视觉反馈之间的延迟可因主处理器导致的等待时间而发生。

由于这类缺点，用户可能变得失望和/或困惑。用户失望或困惑可能导致用户不满或者使用户执行重复和/或不必要的用户输入动作，这进一步加重主处理器的负担。另外，随着集成到电子装置上的功能的数量增加，功率消耗也增加。

以移动装置作为具体示例，移动装置的使用往往要求加载、显示和控制包括图片、网页、地图、文本和非文本文档等的大量数据。在一些移动装置中，在用户输入(例如单击、双击、卷动命令等)与对用户的视觉反馈之间往往存在延迟。

发明内容

广义来说，本技术涉及用户输入与视觉反馈之间的等待时间的降低。

附图说明

图1示出按照本发明的一个实施例的电子装置的示例。

图2示出按照本发明的一个实施例的触摸屏控制系统的示例。

图3示出按照本发明的一个实施例、用于操作触摸屏控制系统以便在显示屏幕上显示图像的示例方法。

图4A-6B示出按照本发明的实施例、响应用户输入而提供的视觉反馈的示例。

本描述中所参照的附图应当被理解为不是按比例绘制，除非具体指出。

具体实施方式

现在将详细参照本发明的实施例，在附图中示出其示例。虽然将结合各个实施例来描述本发明，但是大家会理解，描述不是要将本发明局限于这些实施例。相反，本发明预计涵盖可包含在所附权利要求书所定义的各个实施例的意向和范围之内的备选、修改和等效方案。

此外，在实施例的以下描述中，提出大量具体细节，以便提供对本发明的透彻理解。但是，可在具有子集或者没有这些具体细节的情况下实施本发明。在其它情况下，没有详细说明众所周知的方法、过程、组件和电路，以免不必要地使当前实施例的方面难懂。预期任何元件或步骤的明显修改或替换。优选地包含(但不要求包含)各元件和步骤。

组件描述

图1示出按照本发明的一个实施例的电子装置100。电子装置100包括触摸屏控制系统(TSCS)110(它包括触摸传感器控制电路(TSCC)120和显示控制电路(DCC)130)、显示屏幕140、触摸传感器150和主处理系统160，它们全部将在稍后来详细描述。连接箭头170、180和190指示在一些实施例中主处理系统160具有与TSCS 110的双向交互，TSCC 120具有与触摸传感器150的双向交互，以及DCC130具有与显示屏幕140的双向交互。在其它实施例中，这些交互的部分或全部可以是单向的。

在各个实施例中，电子装置100是包括上述组件和功能(例如接收用户输入并且向用户提供视觉反馈)的任何电子装置。例如，电子装置100可包括：个人计算机(例如台式计算机、膝上型计算机、便携计算机、工作站、个人数字助理和视频游戏机)、通信装置(例如无线电话、寻呼机和其它消息传递装置)、记录和/或播放各种形式的媒体的媒体装置(例如电视机、有线电视盒、音乐播放器、数字相框、视频播放器、数字照相机和摄像机)、较大系统的外设(例如打印机、键盘和远程控件)、白色货物(例如家电)、汽车装置、工业装置、电子玩具以及可获益于具有不会明显加重它的主处理系统的负担的复杂用户接口的任何其它电气装置。

在一些实施例中，电子装置100的元件在物理上是统一的，并且TSCS 110、显示屏幕140、触摸传感器150和主处理系统160全部设置在共同外壳中。例如，电子装置100可以是手持计算系统。

显示屏幕140配置用于显示图像。显示屏幕140可以是阴极射线管(CRT)、液晶显示器(LCD)、有机发光二极管(OLED)显示器、电致发光显示器或者适合于集成在电子装置中的任何其它类型的显示屏幕。另外，在一些实施例中，电子装置100包括背光(未示出)，以便增强显示屏幕140上的图像的可见性。

触摸传感器150在图1中示为重叠显示屏幕140的虚线框。但是，在各个实施例中，触摸传感器150的实际物理传感器组件可位于虚线框的内部或外部。

虽然称作“触摸”传感器，但是触摸传感器150的实施例可响应其相应感测区域中的接触式或非接触式用户输入。感测区域与显示屏幕140的有源区重叠。有源区是其中可由显示屏幕140来显示电子图像的区域。大家会理解，显示屏幕140的一些实施例可包括其中可以不显示电子图像的区域、如边界区域。

触摸传感器150的实施例可使用表面来区分其感测区域。在操作期间，操作触摸传感器150以检测感测区域中的一个或多个输入物体，用于感测用户输入。本文所使用的“感测区域”预计广义地包含其中触摸传感器150能够可靠地检测输入物体的任何空间。在触摸传感器150的一些实施例中，感测区域沿一个或多个方向从触摸传感器150的表面延伸到空间中，直到降低的信噪比阻止准确的物体检测。这个距离可以是大约小于一毫米、数毫米、厘米或者以上，并且可随所使用的感测技术的类型和预期的精度而极大改变。因此，实施例可要求带有或者没有所施加压力来与表面接触，而其它实施例则不要求。相应地，在一些实施例中，特定感测区域的平面度、大小、形状和准确位置对逐个实施例极为不同。

触摸传感器150可利用传感器组件和感测技术的任何组合。作为若干非限制性示例，触摸传感器150可使用电容、倒介电(elastive)、电阻、电感、表面声波、光或其它技术。触摸传感器150所采集的数据可用于确定一个或多个手指、触控笔和/或其它物体的存在、位置和/或运动。

在触摸传感器150的一些电阻实现中，柔性和导电第一层通过一个或多个隔离元件与导电第二层分隔。在操作期间，在层上创建一个或多个电压梯度。按压柔性第一层可使它充分弯曲以便在层之间创建电接触，从而产生反映层之间的接触点的电压输出。这些电压输出可用于确定位置信息。

在触摸传感器150的一些电感实现中，一个或多个传感器元件拾取(pick up)谐振线圈或线圈对所感应的回路电流。电流的幅值、相位和频率的一些组合可用于确定位置信息。

在触摸传感器150的一些电容实现中，施加电压或电流以创建电场。附近的输入物体引起电场的变化，并且产生可作为电压、电流等的变化来检测的电容耦合的可检测变化。电容耦合的这些变化可用于确定位置信息。

一些电容实现利用电容传感器电极的阵列或其它模式来创建电场。一些电容实现利用可以是电阻均匀的电阻片。

一些电容实现利用基于传感器电极与自由空间之间的电容耦合的“自电容”(又称作“绝对电容”)感测方法。在一个实现中，绝对电容感测方法通过相对参考电压(例如系统地)来调制传感器电极以及通过检测传感器电极与输入物体之间的电容耦合进行操作。

一些电容实现利用基于传感器电极之间的电容耦合的“互电容”(又称作“跨电容”)感测方法。在一个实现中，跨电容感测方法通过检测一个或多个发射电极与一个或多个接收电极之间的电容耦合进行操作。可实质上相对参考电压(例如系统地)来调制发射传感器电极以便于传输，而接收传感器电极可相对参考电压实质保持为恒定以便于接收。传感器电极可以是专用发射器和接收器，或者可以传送也可以接收。

主处理系统160可用于处理图像供在显示屏幕140上显示。例如，在一些实施例中，为了在显示屏幕140上显示视频，主处理系统160提供视频帧的图像数据，使得显示屏幕140可采用不同帧进行更新，并且向用户呈现视频。

在一些实施例中，主处理系统160配置用于供在显示屏幕140上显示的图像的主要处理。也就是说，主处理系统160配置用于执行供在显示屏幕140上显示的图像的处理的大部分。换言之，在一些实施例中，电子装置100设计成使得将要在显示屏幕140上显示的图像数据的大多数将经过主处理系统160并且由其处理。但是，在一些实施例中，主处理系统160没有配置用于供在显示屏幕140上显示的图像的主要处理，而主处理系统160对于供在显示屏幕140上显示的图像进行极少处理或者没有进行处理。

“原像”是由主处理系统160所处理并且保存在TSCS110的存储器(例如下面论述的第一存储器131)中供在显示屏幕140上的主要显示的图像。原像可以是静态的，或者可在一段时间发生变化。在一些实施例中，原像由主处理系统160、由TSCS 110或者由它们两者来修改或完全替换。

当表示图像的数据部分或全部改变时，在存储器中“更新”图像。在一些实施例中，主处理系统160或TSCS 110改变与已改变部分关联的位，或者写入新图像数据以替换存储器中存储的数据。

当由显示屏幕140显示的图像部分或全部改变时，在显示屏幕140上“更新”图像。在一些实施例中，TSCS 110改变显示屏幕140上显示的图像的一个或多个部分，或者完全替换显示屏幕140上显示的图像。

当重新绘制所显示内容时，“刷新”显示屏幕140，即使所绘制图像与已经显示的图像是相同的。采用与已经显示的相同图像刷新显示屏幕140可帮助降低闪烁或者以其它方式帮助保持所显示图像。因此，显示屏幕140可在没有被更新时刷新。

本文所使用的“显示图像更新速率”一般表示更新显示屏幕140上的图像的速率。例如，与适当质量的动画或视频关联的一些典型显示图像更新速率包括每秒15、24和30帧。作为另一个示例，与质量用户界面体验关联的典型显示图像更新速率是每秒60帧。

本文所使用的“图像数据更新速率”一般表示在TSCS110的存储器(例如下面论述的第一存储器131)中更新图像数据的速率。TSCS 110的存储器中的图像数据的更新可由主处理系统160、TSCS 110或者另外某个元件进行。

“显示刷新速率”用于表示重复扫描显示器上的像素以保持显示器上的质量图像的速率。例如，常规显示屏幕的一些典型刷新速率包括用于LCD的60Hz、用于CRT的60-85Hz等等。

本发明的不同实施例可具有比其最大图像数据更新速率更慢、更快或者与其相等的最大显示刷新速率。类似地，本发明的不同实施例可具有比其最大显示图像更新速率更慢、更快或者与其相等的最大显示刷新速率。

在各个实施例中，按照本发明，TSCC 120和DCC 130以及可选的TSCS 110的其它部分共同用于操作触摸传感器150以检测感测区域中的用户输入，以及操作显示屏幕140以响应用户输入而显示图像，而无需主处理器160的介入。换言之，TSCC 120和DCC130以及可选地采用TSCS 110的其它部分自主地操作触摸传感器150和显示屏幕140，而没有直接响应感测区域中的用户输入而执行实时主图像处理或者提供指导。TSCC 120和DCC 130(以及可选地采用TSCS 110的其它部分)可按照硬连线规则或者采用主处理系统160先前所提供规则来执行这些功能。

在一些实施例中，主处理系统160有时处于低功率状态(包括可能断开)，而TSCS 110自主地操作。在一些实施例中，主处理系统160有时与更新显示屏幕140不是直接相关地执行处理或者提供指令或者不是直接响应用户输入而执行处理或提供指令。

在电子装置100的实施例中，这种自主操作降低或消除上述缺点。例如，这种自主操作可降低等待时间、降低响应时间可变性以及增加对用户输入的响应度。这些改进能够增加用户的轻松感、舒适度或者电子装置100的操作的可信度。

在电子装置100的实施例中，这种自主操作降低所需的主处理系统160的处理，并且因而降低电子装置100的功率消耗。例如，主处理系统160可在显示屏幕140上的图像的更新由TSCS 110本地进行的同时进入低功率状态。低功率状态的示例包括断开状态、睡眠状态以及主处理系统160耗用较少处理功率的状态。

另外，在电子装置100的实施例中，这种自主操作降低主处理系统160需要支持的最大图像数据更新速率，同时仍然提供平滑和响应反馈。例如，TSCS 110可配置成使得它能够产生图像并且以比主处理系统160能够更新TSCS 110的存储器(例如以下所述的存储器131)中保存的原像更高的速率来更新显示屏幕140。在一些实施例中，TSCS 110能够响应用户输入而以60Hz或以上来产生已更新显示。这减轻主处理系统160的负荷，使得主处理系统160可采用低于60Hz的最大更新速率(例如30Hz)来配置，而对用户体验没有明显有害影响。这还允许电子装置100对于通信带宽(例如串行链路要求)、其它性能特性等等具有宽松要求。宽松要求可提供更大的设计选择和成本节省。

电子装置100的一些实施例能够比主处理系统160能够更新原像更快地更新显示屏幕140。也就是说，电子装置100的一些实施例支持比与主处理系统160关联的图像数据更新速率更高的显示图像更新速率。例如，在一些实施例中，TSCS 110配置成能够生成已更新图像，并且以比主处理系统160执行图像处理时更快的速率来更新显示屏幕。这种TSCS 110功能性支持那些系统中的更高显示图像更新速率。

与最大更新速率无关，在操作中，所使用的图像数据更新速率可比所使用的显示屏幕更新速率明显要低。例如，TSCS 110可在诸如拖曳功能之类的功能期间混合图像以提供视觉反馈。原像可以是被拖曳项在其上移动的“背景”，并且存储器中保存的用于原像的图像数据可在拖曳功能期间很少或者完全不会发生变化。因此，更低图像数据更新速率由一些实施例来使用(与所使用的显示图像更新速率相比)。

被拖曳项的图像在拖曳功能期间可在存储器中保持为静态。但是，与被拖曳项的图像关联的混合坐标在拖曳功能期间可发生变化。TSCS 110采用在混合坐标所指定的位置混合被拖曳项的图像的自主生成的图像来更新显示屏幕140，从而相对原像或显示屏幕140或者它们两者来有效地移动被拖曳项。因此，(与所使用的图像数据更新速率相比)使用更高显示图像更新速率。

在各个实施例中，TSCC 230(可选地与TSCS 110的其它部分一起)用于操作触摸传感器150，以便得到实现诸如输入物体的数量和运动之类的用户输入特性的确定的测量。在一些实施例中，这种(这类)测量由TSCS 110用于确定针对用户输入相对于触摸传感器150的感测区域的位置信息。

本文所使用的术语“位置信息”预计广义地包含其中包括沿一个或多个方向的运动的绝对和相对位置类型信息，以及还包含诸如速度、加速度等的其它类型的空间域信息。各种形式的位置信息还可包括时间历史成分，如同手势识别等的情况中那样。来自TSCS110的位置信息可用于促进全系列的界面动作，包括接近传感器装置用作光标控制、卷动和其它功能的指针装置。

TSCS 110的元件(例如TSCC 120和DCC 130)可实现为物理上与主处理系统160分离的一个或多个集成电路和/或分立组件的部分或全部。也就是说，TSCS 110可包括与主处理系统160分离的一个IC的部分或全部。类似地，TSCS 110可包括与主处理系统160分离的多个IC的部分或全部。

在一些实施例中，TSCC 120和DCC 130没有共享电路。也就是说，用于操作触摸传感器的电路没有用于操作显示屏幕，反过来也是一样。在一些实施例中，TSCC 120和DCC 130确实共享电路，使得TSCC 120的电路也是DCC 130的电路。例如，触摸传感器150的操作特定的电路以及显示屏幕140的操作特定的电路可在物理上耦合到执行触摸传感器和显示器操作的计算的同一处理单元。作为另一个示例，TSCC 120和DCC 130可将数据保存在同一存储器中。

现在将图2的结构和组件的详细描述提供如下。

图2示出按照本发明的一个实施例的触摸屏控制系统(TSCS)110。TSCS 110包括触摸屏控制电路(TSCC)120、显示控制电路(DCC)130、第一存储器131和第二存储器132。在一些实施例中，DCC 130可选地包括显示刷新电路134，显示刷新电路134可选地包括显示屏幕更新器136和混合图像生成器138。另外，在一些实施例中，TSCS 110可选地包括装置控制模块125。

如上所述，TSCS 110及其关联组件实现为一个或多个集成电路和/或分立组件的部分或全部。按照本发明的TSCS 110的实施例非常适合具有分立组件，例如各单独包括TSCC 120或DCC 130的IC等。按照本发明的TSCS 110的实施例还非常适合集成在单个IC中，例如形成TSCC 120和DCC 130的部分或全部的一个IC。

又如上所述，在各个实施例中，TSCS 110的元件共享公共电路元件。例如，TSCC 120和DCC 130可使用同一电路的一部分进行操作。

在一些实施例中，第一存储器131和第二存储器132设置为物理上分离的存储器结构，如图2所示。但是，按照本发明的实施例还非常适合具有作为同一存储器结构的分区的第一存储器131和第二存储器132。在各个实施例中，第一存储器131和第二存储器132或者是毗邻或者是非毗邻的。在各个实施例中，第一存储器131和第二存储器132由易失性存储器(例如各种类型的随机存取存储器(RAM))或非易失性存储器(例如各种类型的闪速或只读存储器(ROM))或者它们的组合来组成。

此外，在一些实施例中，第二存储器132的存储器容量比第一存储器131要小。在一些实施例中，第一存储器131是帧缓冲器。

仍然参照图2，在一些实施例中，显示刷新电路134包括显示屏幕更新器136和混合图像生成器138。正如以下将在操作描述中描述，显示屏幕更新器136和混合图像生成器138(可选地与TSCS 110的其它部分一起)共同用于更新显示屏幕140，而无需主处理器160的介入。

在各个实施例中，显示屏幕更新器136所使用的同一电路由混合图像生成器138来使用。相反，在一些实施例中，显示屏幕更新器136具有仅由显示屏幕更新器136所使用的专用电路。类似地，混合图像生成器138具有仅由混合图像生成器138使用的专用电路。

操作中的组件描述

图3示出按照本发明的一个实施例、用于操作电子装置100和TSCS 110以便在显示屏幕140上显示图像的方法。将结合图4A-6B来描述图3所示的方法。在一个实施例中，方法300由处理器和电气组件在计算机可读和计算机可执行代码的控制下执行。计算机可读和计算机可执行代码例如驻留在诸如计算机可用易失性和非易失性存储器之类的数据存储介质中。但是，计算机可读和计算机可执行代码可驻留在任何类型的计算机可读存储介质中。在一些实施例中，方法300至少由图1、图2和图4A-6B中所述的系统来执行。具体来说，图4A-6B示出在显示屏幕140上显示图像的各个实施例。

在方法300的310，采用由主处理系统160所处理并且从主处理系统160所接收的图像中的一些图像来更新显示屏幕140，其中主处理系统160配置用于供在显示屏幕140上显示的图像的主要处理。例如，在一个实施例中，参照图4A，采用由主处理系统160所处理并且从主处理系统160所接收的图像来更新显示屏幕140。由主处理系统160所处理并且从主处理系统160所接收的图像能够包括视频帧、图片、网页、地图、文本和非文本文档等等。

在方法300的320，从图1的主处理系统160所接收的原像保存在图2的第一存储器131中。第一存储器131配置成保存供在显示屏幕140上显示的原像。在一个实施例中，第一存储器131还配置成保存多个原像。在一个实施例中，预先加载原像。

例如，参照图1和图2，供在显示屏幕140上显示、来自视频流的图像能够首先由主处理系统160来处理，并且随后作为一系列原像保存在第一存储器131中。也就是说，第一存储器可在不同时间点保存一组图像中的不同图像作为原像，并且这些不同图像可形成用户可查看的视频的部分。在另一个示例中，原像调整成产生用户可查看的动态显示。

作为另一个示例，原像可以是静态图像，例如用户界面、背景、诸如文本输入图像之类的应用缺省页面等等。作为其它示例，原像还能够包括图像信息的单帧(例如来自文档或网页的帧)、采用图形用户界面的应用的菜单页面(例如顶级菜单页面)等等。

在方法300的330，副像保存在图2的第二存储器132中。在一个实施例中，多个图像保存在第二存储器132中，其中之一是副像。在一些实施例中，预先加载(可选地与保存在第二存储器132中的其它图像一起)副像。

在一些实施例中，第三图像或多个第三图像随副像同时保存在第二存储器132中。在一些实施例中，第二存储器132配置成保存副像、第三图像、多个第三图像或者它们的组合。

副像(或者保存在第二存储器中的任何其它图像，例如第三图像)可以是多个不同图像的图像。例如，副像可包括弹出窗口供在原像之上显示。作为其它示例，副像(或者保存在第二存储器中的其它图像)可以是控件(例如一个或多个指针、按钮、媒体控件等)、状态指示符(例如用于提供电池信息、帮助信息等)、被动图像(passiveimage)(例如标志)、与一种类型的用户输入(例如悬浮、触摸、敲击、按压、重击、抚摸、手写、绘制、其它手势等)关联的图像等等。

按照本发明的一些实施例，副像小于原像。例如，在各个实施例中，副像在物理尺寸、位尺寸等方面小于原像。

在副像通常小于原像的实施例的一部分中，第二存储器的容量小于第一存储器。

保存图像所需的存储器大小随图像的色彩深度和大小(以像素来测量)而增加。可通过将较低色彩深度用于那些图像来减小保存供混合的图像(例如保存在第二存储器132中的副像或者任何其它图像)所需的存储器。

在一个实施例中，副像由主处理系统160来提供。在一些实施例中，副像由TSCS 110来提供。副像可由主处理系统160、TSCS 110或者它们两者来修改。副像的提供或适配可响应用户输入(例如使用触摸传感器150所检测的用户输入)而进行。

在一个实施例中，副像发生变化。作为一些示例，变化可影响副像的大小、形状、颜色、透明度等。例如，副像可由主处理系统160或TSCS 110来修改或者完全替换。正如下面将结合图5详细描述，在一些实施例中，副像发生变化以加亮显示用户可与其交互的控件或者指示按键起动。又如下面将结合图6详细描述，在一些实施例中，副像(例如图6A的副像620A)因响应用户输入进行的上墨功能而发生变化。此外，在各个实施例中，TSCS 110配置成执行图像处理，例如但不限于解压缩、加窗或者对比度增强。

在方法300的340，响应感测与显示屏幕140的有源区重叠的感测区域中的用户输入：(1)自主生成包含原像和副像的混合图像；以及(2)采用混合图像自主地更新显示屏幕140。

如上所述，执行方法300，本发明的实施例能够向用户提供低等待时间视觉反馈，这改进对电子装置100的用户体验。部分通过TSCS 110自主地生成混合图像供在显示屏幕140上显示，并且采用混合图像自主地更新显示屏幕140，来提供对用户的低等待时间视觉反馈。另外，降低电子装置100的功率消耗，和/或放宽对电子装置100的各种组件的性能要求。

在按照本发明的各个实施例中，混合技术用于生成混合图像。例如，实施例可使用α混合技术。α混合是用于将一个或多个覆盖图像与主要图像进行组合的一个过程，并且对于混合来自单独源的图像元素以创建单个合成图像是有用的。覆盖和主要图像的大小、分辨率、色彩深度、纵横比等等可以有所不同。

在一些实施例中，覆盖图像的透明度或混合因子可控制为定义在两个图像的任何重叠区域中的主要图像和覆盖图像的合并的百分比。在重叠区域外部，显示主要图像而没有进行任何修改。混合功能可按照下列关系来实现：

合成图像＝覆盖图像(α)+主要图像(1-α)  (等式1)

在许多情况下，主要图像和覆盖图像的形状为矩形。在这类实施例中，使用色度键技术来覆盖非矩形形状图像仍然是可能的。色度键允许系统识别覆盖图像中将为“透明的”特定颜色。当覆盖图像中的像素包含色度键值时，未经改变地显示被这些像素所重叠的主要图像的部分。因此，各个实施例可保存作为覆盖图像的副像，保存作为原像的主要图像，并且使用α混合来将副像覆盖到原像上。

利用α混合或其它混合技术的实施例可从各种混合选项中选取。例如，TSCS 110可在不同位置混合相同副像，以便生成多个不同混合图像。不同位置可以是相对于原像、显示屏幕140的有源区或者它们两者。这可随时间进行，使得产生在依次示出时移动副像的一组混合图像。作为另一个示例，TSCS 110可在不同位置将副像的多个实例混合为一个混合图像。作为又一个示例，TSCS 110可在不同位置将副像的多个实例混合为多个混合图像，使得产生有效移动副像的实例的一组混合图像。

除了副像之外，实施例还可混合一个或多个其它图像。例如，一些实施例还可混合第三图像或者第三图像的实例，以便形成混合图像。

在一些实施例中，混合副像(或第三图像或者其它图像)的位置基于用户输入。例如，响应包含输入物体的用户输入，可在基于输入物体的位置的位置混合副像。具体来说，可选择位置，以便将副像放置成使得它被输入物体重叠或者偏离输入物体。偏离可基于诸如速度、力、时长等的用户输入因子而静态或动态确定。作为另一个示例，响应多个输入物体所提供的用户输入，可在基于输入物体的位置的位置混合副像的多个实例(或者副像、第三图像以及可选地其它图像)。

在一些实施例中，选择作为副像(或第三图像或者其它图像)并且经过混合的图像基于用户输入。例如，特定图像可与一种类型的用户输入序列关联，并且那个特定图像可以是响应那种类型的用户输入序列而混合的副像。作为另一个示例，特定图像可与一种类型的输入物体关联，并且那个特定图像可以是响应包含那种类型的输入物体的用户输入的副像。

一些实施例通过定期或连续更新指定其中混合副像的实例的位置的坐标，来实现混合。这种方式允许TSCS 110生成不同混合图像，同时允许副像在第二存储器132中保持不变。

实施例还可随空间、随时间或者它们两者来改变混合因子。例如，一些实施例可增加或降低混合因子，以便使图像淡入或淡出。作为另一个示例，一些实施例可定义原像或者显示屏幕有源区的不同区域的不同混合因子。在那些区域中混合副像时，使用关联混合因子。

在一些实施例中，这种自主混合和更新以显示刷新速率或者以接近显示刷新速率进行；因此，这些实施例支持接近显示刷新速率的图像更新速率(并且因而支持感知运动速率)。

下面描述的是本发明的操作的具体示例。具体示例参照图4A-6B，图4A-6B示出按照本发明的实施例、响应用户输入的视觉反馈。图4A-6B。具体来说，在各个示例中，本发明的操作包括TSCS 110自主地生成混合图像并且采用混合图像自主地更新显示屏幕140。

现在参照图4A，示出按照本发明的一个实施例的拖曳操作。一般来说，响应用户输入，连续更新副像420A，以便表现为沿用户输入路径430A(在该路径或者与其偏离)从位置410A拖曳到位置414A。

具体来说，提供用户输入(例如包括发起拖曳操作的一个或多个用户手指)。用户输入在与显示屏幕140的有源区重叠的触摸传感器150的感测区域中的位置410A开始。响应用户输入，包括原像405A(例如背景图像)和副像420A(例如圆形图标)的混合图像由TSCS 110自主地生成。此外，显示屏幕140由TSCS 110采用混合图像自主地更新。混合图像将副像420定位在位置410A(或者与其偏离)。

当用户输入路径430A由用户输入来创建时，多个混合图像由TSCS 110自主地生成。这些混合图像在沿用户输入路径430A的不同位置示出副像420A。显示屏幕140由TSCS 110采用混合图像自主地更新。例如，当提供用户输入的一个或多个输入物体沿用户输入路径430A定位在位置412A时，混合图像由TSCS 110自主地生成。这个混合图像将副像420A定位在由位置412A处的用户输入所确定的位置中并且在原像405A前面。显示屏幕140由TSCS 110采用这个混合图像自主地更新。

类似地，当提供用户输入的一个或多个输入物体定位在位置414A时，混合图像由TSCS 110响应用户输入而自主地生成，并且采用混合图像自主地更新显示屏幕140。这个混合图像将副像420A定位在由位置414A处的用户输入所确定的位置中。响应用户输入的移动，TSCS 110相对于原像405A(或者相对于另一个适当参考、如显示屏幕140的有源区)重复更新其中混合副像420A的位置。TSCS 110还采用混合图像来重复更新显示屏幕140。这相对于原像405A、显示屏幕140或者它们两者来移动副像420A。

在一些实施例中，用户输入与对应视觉反馈之间的所产生等待时间是处理用户输入的时间、确定所更新混合的时间以及采用混合图像来更新显示屏幕140的时间的函数。在一些实施例中，即时生成混合图像，并且组合图像直接写到显示屏幕140。在这类实施例中，确定所更新混合的时间可实质上仅包含确定副像(和/或其它图像)与原像混合的坐标所需的时间。

图4A示出拖曳功能的不同部分的相同副像和相同原像。其它实施例可在不同时间点、空间或用户输入功能序列来混合不同图像。例如，指示拖曳发起的图像可用作位置410A的副像，指示拖曳延续的图像可用作位置412A的副像，或者指示拖曳终止的图像可用作位置414A的副像。

在一些实施例中，响应拖曳操作的终止，主处理系统160更新第一存储器131中保存的原像，以便包括在拖曳操作所确定的新位置拖曳的项。例如，在图4A所示的拖曳操作在位置414A终止之后，一些实施例更新原像405A，以便包括在位置414A拖曳的项的图像(作为副像420A的圆形图标)。在一些实施例中，主处理系统160执行原像的这种更新。

通过这种方式，原像405A在第一存储器131中没有被破坏或改变，同时混合图像示出副像420A响应用户输入而被拖曳。

所示的副像420A是用户正拖曳的项。但是，在一些实施例中，不同图像被认为是副像，并且对不同操作来混合。例如，当拖曳操作发生时可提供蓝星。相比之下，响应另一种操作、如双击操作而可提供两个叠加手指。

仍然参照图4A，在另一个示例中，触摸传感器150用于跟踪用户输入(例如，手指悬浮于显示屏幕140上或接触显示屏幕140并且划过显示屏幕140)。然后，TSCS 110能够自主地执行混合，以便提供采取光标或者用户手指的历史踪迹的形式的视觉反馈，而无需关联主处理系统160的介入。在一些实施例中，主处理系统160在用户与显示屏幕140上显示的图标或其它互动元素进行交互时介入。

参照图1和图2，论述将继续详细描述按照本发明的各个实施例的结构和组件的操作。具体来说，是TSCS 110、TSCC 120和DCC 130的操作。

TSCS 110的实施例可包括使它能够区分或确定对用户输入的正确响应的计算能力。例如，TSCS 110可自行进行判定、系统表示(formulate)响应或者引起动作。另外，TSCS 110可响应与一个或多个电子应用相关的用户输入，而无需与主处理系统160的持续或周期通信。示例响应包括对所显示图像的调整。

在各个实施例中，TSCC 120和DCC 130被集成或者以其它方式直接通信，使得减少与执行某些触摸或显示任务关联的主处理系统160的职责。可通过TSCC 120在向主处理系统160发送诸如触摸坐标或手势命令之类的信息之前或者与其并行地将它们发送给DCC 130，来实现TSCC 120、主处理系统160和DCC 130之间的通信。

在各个实施例中，TSCS 110包括逻辑电路。逻辑电路配置成控制下列一个或多个之间的信息流动：(1)TSCC 120与DCC130，(2)DCC 130与主处理系统160，以及(3)TSCC 120与主处理系统160。逻辑电路能够控制TSCS 110与主处理系统160之间的通信链路。在一些实施例中，逻辑电路控制DCC 130与主处理系统160之间、TSCC 120与主处理系统160之间或者这两者的通信链路。

在一些实施例中，逻辑电路控制主处理系统160与TSCC 110之间的通信流动，并且提供通信中的辨别或解释能力。通过这种配置，逻辑电路能够降低与主处理系统160的交互频率。

逻辑电路可包括专门用于实现计算逻辑的电路、编程为执行计算逻辑的功能的通用处理器电路或者它们的组合。例如，在一些实施例中，逻辑电路根据规则进行硬连线。作为另一个示例，在一些实施例中，逻辑电路包括与存储器中保存的适当规则耦合的计算电路。规则可包括计算机可执行代码、将动作与表或其它结构中存储的条件关联的数据等等。

所实现的逻辑能够是专用的。在一些实施例中，这通过采用与不同应用结合的不同逻辑电路来实现。在一些实施例中，这通过采用存储器中同时保存的不同规则集来实现。在其它一些实施例中，这通过改写存储器中保存的规则集来实现。

现在参照图2，显示刷新电路134包括混合图像生成器138和显示屏幕更新器136。混合图像生成器138通过混合第一存储器131中保存的原像和辅助存储器132中保存的副像(可选地随TSCS110中保存的其它图像和/或副像的一个或多个副本)，来自主地生成混合图像。例如，对于图4所示的响应，混合图像包括原像405A和副像420A。显示屏幕更新器136采用混合图像生成器138所生成的混合图像自主地更新显示屏幕140。

混合图像还可用于提供弹出装置(pop-ups)，这增强用户体验。例如，在音频、图片或视频回放期间，媒体控制(例如播放、暂停、快进、倒带、音量、后退、前进等)能够在所显示映像之上弹出。参照图1，这个弹出响应可由TSCS 110响应TSCS 110检测到接近显示屏幕140的接触(例如单击、特定时长的触摸)或非接触(例如静止或动态悬浮)用户输入而提供，而无需涉及主处理系统160。因此，一些实施例采用弹出菜单或控件来响应选择非接触用户输入。响应没有触摸触摸传感器150的用户输入的这种“浮动”或“基于悬浮”的踪迹反馈也可使用混合方案来实现。

在一些实施例中，主处理系统160可在用户与影响所显示媒体的混合图像中所示的控件之一进行交互时被涉及。这种弹出功能性可用于其它控制，例如当绘制程序是活动时绘制控制、当文档编辑器是活动时编辑命令等等。

在各个实施例中，混合图像还可用于通过响应用户输入而产生的各种图标或其它类似图像来提供视觉反馈。例如，如果执行涉及旋转图像的手势，则“旋转”图标能够用作副像，并且随原像来显示，而无需主处理系统的介入。同时，主处理系统160可执行旋转图像所需的图像处理，提供执行旋转所需的已更新原像。

在一个实施例中，参照图4B，方法300还包括将第三图像425B与副像420B同时保存在TSCS 110中。所生成的混合图像包括原像405B、副像420B和第三图像425B。在一个实施例中，第三图像425B保存在第二存储器132中。在另一个实施例中，第三图像425B保存在TSCS 110的其它位置，例如第三存储器(未示出)中。

例如，仍然参照图4B，示出按照本发明的一个实施例、通过两个输入物体所执行的平移(pan)操作(例如双手指平移操作)。在一些实施例中，显示屏幕140中所示的原像405B是较大图像(例如地图、图片、文本文档、网页)的一部分。图4B所示的平移操作改变显示屏幕140示出的内容，以便示出在较大图像之上移动“视口”(viewport)。在一些实施例中，主处理系统160更新原像，以便提供运动。在一些其它实施例中，第一存储器保存较大图像，并且TSCS110确定要显示较大图像的哪一部分。为了清楚起见，图4B中未示出变化图像。

如上所述，TSCS 110的一些实施例可自主地实现视口。在视口的一些实现中，第一存储器配置成通过在物理上更大、经由图像数据的压缩或者它们的组合来保存比一次能够显示的更多图像数据。压缩技术可能是高效的(例如基于行程长度编码(RLE)的压缩)，或者可能是有损的(例如单独像素替换)。在一些实施例中，在操作期间，“视口”可以是相同尺寸或者比显示屏幕140的有源区的物理尺寸更小。“视口”能够例如响应感测区域中的用户输入而实际在图像之上移动，并且定义显示屏幕140上显示什么图像数据。

如图4B所示，为了指示平移功能，副像420B和第三图像425B在与第一和第二输入物体关联的位置与原像405B混合。如图所示，副像420B与沿着用户输入路径430B的第一输入物体关联，而第三图像425B与沿着用户输入路径435B的第二输入物体关联。相应地，自主生成的混合图像包括原像405B、副像420B和第三图像425B。当输入物体移动时，TSCS 110在与输入物体的位置关联的位置重复生成具有副像420B和第三图像425B的混合图像，并且采用混合图像重复更新显示屏幕140。因此，副像420B和第三图像425B按照使得它们完全或者以某个偏移沿用户输入路径430B和435B跟随输入物体的方式移动。

例如，参照图4C，示出按照本发明的一个实施例的另一个双输入物体平移操作。图4C所示的操作与图4B所示的操作相似，如上所述。但是，为了指示该功能，在相对于原像的两个不同位置来混合副像。为了方便起见，它们在这里称作副像420C以及副像的副本425C。副像420C与沿用户输入路径430C的第一输入物体关联。类似地，副像的副本425C与沿用户输入路径435C的第二输入物体关联。相应地，自主生成的混合图像包括原像405C、副像420C以及副像的副本425C。当输入物体移动时，TSCS 110在相对于显示屏幕140(或者另一个适当参考，例如相对于原像405C)的不同位置重复生成具有副像420C以及副像的副本425C的混合图像，并且采用混合图像重复更新显示屏幕140。因此，副像420C以及副像的副本425C表现为相对原像405C和/或显示屏幕140移动，并且分别沿用户输入路径430C和435C跟随输入物体。

在方法300的另一个实施例中，按照本发明的一个实施例，确定用户输入操作的序列的开始。响应用户输入操作的序列而生成附加混合图像。响应用户输入操作的序列而采用附加混合图像来更新图4C的显示屏幕140，而无需图1的主处理系统160的介入。确定用户输入操作的序列的结束。向主处理系统160提供关于用户输入操作的序列的指示。

在各个实施例中，提供给主处理系统160的指示可包括只指示用户输入操作的序列的终止的信号。在一些实施例中，提供给主处理系统160的关于用户输入的指示能够包括与用户输入有关的信息(例如所识别的手势、所输入的字符、组成用户输入的输入物体的整体运动、所输入的所选文本的功能(functions selected textentered)、输入物体的数量、输入物体的类型、定位信息、力信息等等)。该指示可使主处理系统160从低功率状态切换到全功率状态、发起或关闭应用等等。

例如，参照图4C，在一个实施例中，指示用户输入操作的序列的开始的用户输入通过位置410C和415C的输入物体来提供。响应确定用户输入操作的序列的开始，TSCS 110生成包含原像405C和副像420C的混合图像。混合图像用于更新显示屏幕140。

在用户输入操作的序列中，第一输入物体沿用户输入路径430C移动到位置140，而第二输入物体沿用户输入路径435C移动到位置445C。响应涉及输入物体沿用户输入路径430C和435C的移动的用户输入操作的序列，生成附加混合图像。附加混合图像在与输入物体关联的沿用户输入路径430C和435C的不同位置混合副像420C以及副像的副本425C。TSCS 110使用附加的混合图像来更新显示屏幕140。TSCS 110实现这些动作而无需主处理系统160的介入。

图4A-4C示出将副像与原像进行混合的几个示例，它们提供对用户输入的视觉反馈。存在并且考虑许多变化。例如，副像可包括任何数量的形状、颜色和尺寸。作为另一个示例，例如可在不同时间、不同取向或不同位置来混合任何数量的图像和图像的副本。

作为一个具体示例，副像可包括角形状。分别响应其中输入物体聚拢或散开的“压缩”或“展开”用户输入，角形状可定向和定位成跟随输入物体运动。在一些实施例中，这能够模仿图片框的两个或更多角以及那个图片“框”的扩张或收缩。

在一些实施例中，混合副像，以便加亮显示原像的部分。在一些实施例中，在与用户输入的位置对应的位置混合副像。

例如当用户输入包括向上离开触摸传感器的表面或者离开感测区域的一个或多个输入物体时，确定用户输入操作的序列的结束。一些实施例通过确定在触摸传感器150的感测区域中不再感测到用户输入，来确定结束。在一些实施例中，TSCS 110响应用户输入操作的序列的终止而向主处理系统160提供用户输入操作的序列的指示。

在方法300的各个实施例中，响应第一信号而发起单独混合功能，并且响应第二信号而终止单独混合功能。在单独混合功能期间，TSCS 110自主地生成混合图像，并且采用混合图像来更新显示屏幕140，而无需主处理系统160的介入。例如，单独混合功能是α混合功能，正如以上详细描述。

在一些实施例中并且参照图1，主处理系统160确定对用户输入的响应不需要主处理系统160的介入。相应地，主处理系统160提供第一信号以发起单独混合功能。在一些实施例中，主处理系统160还提供第二信号以终止单独混合功能。在一些实施例中，TSCS110终止单独混合功能，并且向主处理系统160提供单独混合功能的终止的指示。

又参照图1，在一些实施例中，TSCS 110确定对用户输入的响应不需要主处理系统160的介入。相应地，在各个实施例中，TSCS 110自主地发起混合功能。在一些实施例中，TSCS 110则向主处理系统160提供关于单独混合功能已经开始的指示。在一些实施例中，TSCS 110自主地执行单独混合功能，并且在功能结束之后向主处理系统160指示发生单独混合功能。

在方法300的另一个实施例中，参照图5A-B，原像505A包括虚拟键盘的图像。第二存储器132包含与虚拟键盘关联的多个按键图像(例如空格键的已起动图像，如按键图像520A)。确定基于用户输入的虚拟键盘的按键(例如空格键)的用户起动。多个按键图像中的按键图像选择作为将与原像进行混合的副像，使得混合图像示出其中起动所选按键的虚拟键盘。例如，响应用于起动按键图像520A的用户输入，选择已起动空格键的图5B的副像520B，以便示出虚拟键盘上起动的空格键。在一些实施例中，第二存储器132中保存的多个按键图像是可起动按键的子集(而不是全集)。响应没有与第二存储器132中保存的按键图像关联的按键的起动，主处理系统160可提供已起动按键的图像供TSCS 110进行混合，或者提供其中适当按键示为已起动的虚拟键盘的图像。

在方法300的另一个实施例中，TSCS 110将第二存储器132中保存的多个图像与原像进行混合。例如，原像可包括虚拟键盘的图像，并且第二存储器132可保存通用按键图像连同与特定按键关联的多个附加图像(例如字符或字根的图像)。响应起动虚拟键盘的按键(例如“#”)的用户输入，TSCS 110混合与“#”按键关联的适当图像、通用按键图像和原像，使得混合图像示出其中起动所选按键的虚拟键盘。

在方法300的另一个实施例中，TSCS 110在与原像进行混合之前对副像进行修改。示例修改包括尺寸、形状、颜色、透明度等。例如，原像可包括虚拟键盘的图像，而副像可包括通用按键图像。响应起动虚拟键盘的按键(例如“W”)的用户输入，TSCS 110修改副像，以便将“W”放置在副像的适当部分，使得混合图像示出其中起动所选按键的虚拟键盘。

除了已起动按键的图像之外的指示符可用于提供来自按键起动的视觉反馈。例如，参照图5A-B，包括有色矩形的轮廓色(highlighter)可以是与原像520A混合的副像520B，以便提供起动的视觉反馈。在一些实施例中，第二存储器132保存单个轮廓色，并且将同一轮廓色(经过或者没有经过TSCS 110修改)用于多个按键。在一些实施例中，第二存储器132保存不同尺寸和形状的多个轮廓色，并且TSCS 110对已起动按键混合适当轮廓色(经过或者没有经过TSCS 110修改)。

按键的加亮显示可用于指示哪一个(哪些)按键在提供选择输入时将被起动，作为对指示按键起动的替代或补充。例如，在与“Q”按键关联的区域之上悬浮超过参考时间量的非接触用户输入可引起“Q”按键加亮显示。接触用户输入则可引起“Q”按键的起动并且将“Q”输入到存储缓冲器中。

在方法300的一个实施例中，参照图6A-B，响应用户输入而修改副像620A，而无需图1的主处理系统160的介入。具体来说，副像620A包括与用户输入的移动关联的上墨。

例如，提供手写字母“T”的用户输入。当手写字母“T”通过沿用户输入路径621和622的用户输入来创建时，TSCS 110修改副像以便匹配。因此，自主生成并且用于更新显示屏幕140的混合图像沿手写字母“T”上墨。也就是说，原像605A和适合副像620A的重复混合显示上墨。此外，在一些实施例中，当手写字母“T”的用户输入被识别为字母“T”时，手写字母“T”在显示屏幕140上由键入字母“T”取代。

在各个实施例中，图1的主处理系统160将字符识别码下载到TSCS 110中。TSCS 110实现大多数或者整个字符识别功能性。这能够包括低等待时间笔划绘制、触觉反馈和词典校正等等。标准手写或小键盘输入接口能够用于与主处理系统160进行通信。主处理系统160能够通过下载不同代码、不同语言、字符集等，来配置字符识别功能性。

在方法300的一些实施例中，TSCS 110向主处理系统160提供在生成混合图像并且采用混合图像来更新显示屏幕140的至少部分期间将主处理系统160触发成处于低功率状态的指示。在各个实施例中，该指示包括用户输入信息，根据用户输入信息，主处理系统160确定它可进入低功率状态。在一些实施例中，该指示包括专门向主处理系统160指示它可进入低功率状态的信号。

例如执行如图4A所示的拖曳操作。一旦确定拖曳操作已经发起，则将图1的主处理系统160触发成处于低功率状态。相应地，降低功率消耗。

在一些实施例中，主处理系统160向TSCS 110提供实现完整嵌套菜单GUI的软件。用户能够浏览嵌套菜单结构，而无需来自主处理系统160的任何介入。TSCS 110呈现菜单，并且主处理系统160能够进入较低功率状态。当用户进行菜单选择时，处理系统160在必要时被唤醒，并且处理职责适当地回传给处理系统160。

在方法300的实施例中，根据运行于主处理系统160的应用来定制原像、副像和/或第三图像。在一些实施例中，基于运行于图1的主处理系统160的应用来提供副像。类似地，在一些实施例中，基于运行于主处理系统160的应用来提供原像。该应用能够被显示，具有焦点或者具有优于运行于主处理系统160的其它应用的优先级。在另一个实施例中，副像基于与用户输入相关的应用。

例如，字处理应用和网页浏览器均运行于主处理系统160。当用户积极地使用网页浏览器时，网页浏览器具有焦点或者具有优于字处理应用的优先级。类似地，当用户积极地使用字处理系统而不是网页浏览器时，字处理应用具有焦点或者具有优于网页浏览器的优先级。当字处理应用在显示屏幕140上具有优先级时，提供副像、例如包含字处理功能列表的半透明弹出框。相应地，响应感测与字处理应用关联的用户输入，自主地生成包含原像和半透明弹出框的混合图像，并且采用混合图像自主地更新显示屏幕140。字处理和网页浏览器是示例应用，并且任何数量和类型的应用可运行于主处理系统160。

此外，图1和图2的TSCS 110可提供用户输入的解释，作为它与主处理器的通信的一部分。能够使TSCS 110的解释功能是可重新配置的或者是应用特定的。TSCS 110可以不需要向主处理系统160报告用户输入的每一个实例，而是仅报告用户输入中对给定时间所处理的应用是有意义的或者与其相关的那些实例。

在本发明的各个实施例中，除了显示屏幕140之外的各种装置向用户提供反馈。在一个实施例中，触觉致动器(未示出)经由图2的装置控制模块125来控制，并且向用户提供触觉反馈。由于触觉反馈，图1的电子装置100的用户舒适感和信心得到增强。在一个示例中，触觉致动器提供触知(tactile)反馈，例如对用户输入的物理电阻或非线性机械响应。在另一个示例中，触觉致动器提供对用户输入的蜂鸣或振动响应。可利用经由喀哒(click)、咻咻、砰砰或其它声音来提供听觉反馈的其它装置。

此外，可利用备选或附加组件，例如其它接口或反馈装置。这些备选或附加装置包括话筒、喇叭和其它音频装置、力传感器、运动传感器、加速计、陀螺仪、光检测器、成像装置、机械按钮、弹键、杠杆、滑块等等。

在本发明各个实施例中，电子装置100包括安全功能，而无需主处理系统160的介入。在一个实施例中，响应感测与所述显示屏幕140的有源区重叠的感测区域中的用户输入而对电子装置100解锁。TSCS 110可能不允许主处理系统160加电或者不允许电子装置100接受其它输入，直到对电子装置100解锁。

在一些实施例中，响应对电子装置100解锁的失败尝试，在显示屏幕140上显示配置用于响应对电子装置100解锁的失败尝试的副像。

在各个实施例中，TSCS 110将安全密码和加密密钥保存在其存储器的无法被主处理系统160读出的受保护区域中。TSCS110显示屏幕上的虚拟小键盘，它允许用户输入密码。然后，TSCS 110将经由小键盘的用户输入与存储器中保存的一个或多个密码进行比较。如果密码正确，则TSCS 110向主处理系统160释放加密密钥。由于主处理系统160没有涉及密码的存储或输入，所以运行于主处理系统160的恶意软件无法窥探密码的存储和/或输入。

简言之，本文至少公开了下列广义概念。

概念1。一种电子装置，包括：

配置用于显示图像的显示屏幕；

具有感测区域的触摸传感器，其中所述感测区域与所述显示屏幕的有源区重叠；

主处理系统，配置用于供在所述显示屏幕上显示的所述图像的主要处理；以及

触摸屏控制系统，包括：

触摸传感器控制电路，配置成操作所述触摸传感器，以便检测所述感测区域中的用户输入；以及

显示控制电路，配置成操作所述显示屏幕，所述显示电路包括：

第一存储器，配置成保存所述主处理系统所提供的原像；

第二存储器，配置成保存副像；以及

显示刷新电路，配置成：

采用所述主处理系统所处理的所述图像中的一些图像来更新所述显示屏幕，以及

响应所述用户输入并且无需所述主处理系统的介入：生成包含所述原像和所述副像的混合图像，并且采用所述混合图像来更新所述显示屏幕。

概念2。如概念1所述的装置，其中，所述显示刷新电路配置成通过下列步骤来生成包含所述原像和所述副像的所述混合图像：

在相对于所述原像的位置来混合所述副像，其中所述位置基于所述用户输入的位置和运动中的至少一个。

概念3。如概念1所述的装置，其中，所述主处理系统还配置成基于运行于所述主处理系统的应用来提供多个图像之一作为所述副像。

概念4。如概念1所述的装置，其中，所述主处理系统还配置成基于运行于所述主处理系统的具有优先级的应用来提供多个图像之一作为所述副像。

概念5。如概念1所述的装置，其中，所述主处理系统还配置成：

响应拖曳操作的发起，作为所述副像来提供将在所述拖曳操作中拖曳的图像，使得所述混合图像包含待拖曳的所述图像相对于所述原像的移动；以及

响应所述拖曳操作的终止，更新所述原像，以便包括将在所述拖曳操作所定义的位置拖曳的所述图像的副本。

概念6。如概念1所述的装置，其中，所述主处理系统还配置成在所述显示刷新电路生成所述混合图像并且采用所述混合图像来更新所述显示屏幕的时间的至少一部分期间处于低功率状态。

概念7。如概念1所述的装置，其中，所述主处理系统还配置成以最大图像数据更新速率来更新所述原像或所述副像，其中所述显示控制电路配置成以最大混合图像更新速率进行生成和更新，并且所述最大图像数据更新速率低于所述最大混合图像更新速率。

概念8。一种触摸屏控制系统，配置成与主处理系统进行通信，其中所述主处理系统配置用于供在显示屏幕上显示的图像的主要处理，所述触摸屏控制系统包括：

触摸传感器控制电路，配置成控制用于检测所述触摸传感器元件的感测区域中的用户输入的触摸传感器元件，其中所述感测区域与所述显示屏幕的有源区重叠；以及

显示控制电路，配置成控制所述显示屏幕，所述显示控制电路包括：

第一存储器，配置成保存所述主处理系统所提供的原像；

第二存储器，配置成保存副像；以及

显示刷新电路，配置成：

采用所述主处理系统所处理的所述图像中的一些图像来更新所述显示屏幕，以及

响应所述用户输入并且无需所述主处理系统的介入：

生成包含所述原像和所述副像的至少部分的混合图像，以及

采用所述混合图像来更新所述显示屏幕。

概念9。如概念8所述的触摸屏控制系统，其中，所述触摸屏控制系统还配置成响应所述用户输入而修改所述副像，而无需所述主处理系统的介入。

概念10。如概念8所述的触摸屏控制系统，其中，所述第二存储器的存储器容量小于所述第一存储器。

概念11。如概念8所述的触摸屏控制系统，其中，所述第二存储器还配置成与所述副像同时保存第三图像。

概念12。如概念8所述的触摸屏控制系统，其中，所述显示刷新电路配置成通过下列步骤来生成所述混合图像：

在相对于所述原像的第一位置混合所述副像，以及

在相对于所述原像的第二位置混合第三图像或者所述副像的第二副本。

概念13。如概念8所述的触摸屏控制系统，其中，所述显示刷新电路配置成通过下列步骤来生成所述混合图像：

在相对于所述原像的位置来混合所述副像，其中所述位置基于所述用户输入的位置和运动中的至少一个。

概念14。一种显示控制电路，包括：

第一存储器，配置成保存供在显示屏幕上显示的原像；

第二存储器，配置成保存供在所述显示屏幕上显示的副像；以及

显示刷新电路，配置成：

采用由主处理系统所处理并且从主处理系统所接收的所述图像中的一些图像来更新所述显示屏幕；以及

响应触摸传感器的感测区域中检测到的用户输入且无需所述主处理系统的介入：生成包含所述原像和所述副像的混合图像，并且采用所述混合图像来更新所述显示屏幕，其中所述触摸传感器的所述感测区域与所述显示屏幕的所述有源区重叠。

概念15。如概念14所述的显示控制电路，其中，所述第二存储器的存储器容量小于所述第一存储器。

概念16。如概念14所述的显示控制电路，其中，所述显示刷新电路配置成通过下列步骤来生成所述混合图像：

在相对于所述原像的位置来混合所述副像，其中所述位置基于所述用户输入的位置和运动中的至少一个。

概念17。如概念14所述的显示控制电路，其中，所述用户输入包括多个输入物体的输入，并且所述显示刷新电路配置成通过下列步骤来生成所述混合图像：

在相对于所述原像的第一位置来混合所述副像，所述第一位置与所述多个输入物体的第一输入物体的位置关联，以及

在相对于所述原像的第二位置来混合第三图像或者所述副像的第二副本，所述第二位置与所述多个输入物体的第二输入物体的位置关联。

概念18。一种用于操作触摸屏控制系统以便在显示屏幕上显示图像的处理器实现方法，所述方法包括：

采用由主处理系统所处理并且从所述主处理系统所接收的所述图像中的一些图像来更新所述显示屏幕，其中所述主处理系统配置用于供在所述显示屏幕上显示的所述图像的主要处理；

将从所述主处理系统所接收的原像保存在第一存储器中；

将副像保存在第二存储器中；

响应感测与所述显示屏幕的有源区重叠的感测区域中的用户输入：

自主地生成包含所述原像和所述副像的混合图像；以及

采用所述混合图像自主地更新所述显示屏幕。

概念19。如概念18所述的处理器实现方法，还包括：

从所述主处理系统来接收所述副像。

概念20。如概念18所述的处理器实现方法，还包括与所述保存所述副像同时地将第三图像保存在所述辅助存储器中，其中所述生成所述混合图像包括：

混合所述原像、所述副像和所述第三图像。

概念21。如概念18所述的处理器实现方法，还包括：

与所述保存所述副像同时地将第三图像保存在所述辅助存储器中，其中所述生成所述混合图像包括：

响应所述感测所述用户输入而选择所述副像。

概念22。如概念18所述的处理器实现方法，还包括：

确定所述用户输入包括用户输入操作的序列；

响应所述用户输入操作的序列，生成附加混合图像，并且采用所述附加混合图像来更新所述显示屏幕，而无需所述主处理系统的介入；

确定所述用户输入操作的序列的结束；以及

响应所述结束而向所述主处理系统提供关于所述用户输入操作的序列的指示。

概念23。如概念18所述的处理器实现方法，还包括：

响应来自所述主处理系统的第一信号而发起单独混合功能，其中所述触摸屏控制系统生成混合图像，而无需所述主处理系统对所述单独混合功能的介入；以及

响应来自所述主处理系统的第二信号而终止所述单独混合功能。

概念24。如概念18所述的处理器实现方法，其中，所述原像包括虚拟键盘的图像，并且所述第二存储器包含与所述虚拟键盘关联的多个按键图像，所述方法还包括：

基于所述用户输入来确定所述虚拟键盘的按键的用户起动，以及

基于所述确定来选择作为所述副像的所述多个按键图像中的按键图像，使得所述混合图像显示其中起动了所述按键的所述虚拟键盘。

概念25。如概念18所述的处理器实现方法，还包括：

基于所述用户输入来处理拖曳操作的发起；以及

作为所述副像来接收将在所述拖曳操作中拖曳的图像，使得所述混合图像包含待拖曳的所述图像相对于所述原像的移动。

概念26。如概念25所述的处理器实现方法，还包括：

基于所述用户输入来处理所述拖曳操作的终止；以及

接收所述第一存储器中保存的另一个原像，其中所述另一个原像包括将在反映所述拖曳操作的位置被拖曳的所述图像。

概念27。如概念18所述的处理器实现方法，还包括：

响应所述用户输入而修改所述副像，而无需所述主处理系统的介入。

概念28。如概念27所述的处理器实现方法，其中，所述修改所述副像包括：

调整所述副像，使得所述混合图像包括与所述用户输入的移动关联的上墨。

概念29。如概念18所述的处理器实现方法，其中，所述用户输入包括所述感测区域中的多个输入物体的输入，并且所述生成所述混合图像包括：

在相对于所述原像的第一位置处混合所述副像，其中所述第一位置基于所述多个输入物体的第一输入物体的第一位置，以及

在相对于所述原像的第二位置处混合第三图像或者所述副像的第二副本，其中所述第二位置基于所述多个输入物体的第二输入物体的第二位置。

概念30。如概念18所述的处理器实现方法，还包括：

向所述主处理系统提供在所述生成和所述更新的至少一部分期间将所述主处理系统触发成处于低功率状态的信息。

概念31。如概念18所述的处理器实现方法，其中，所述第二存储器配置成保存多个图像，所述多个图像的各图像与多个用户输入手势的至少一个手势关联，所述方法还包括：

将所述用户输入识别为包含所述多个用户输入手势的第一手势；以及

将与所述第一手势关联的所述多个图像中的图像选择作为所述副像，使得所述混合图像提供所述识别的视觉反馈。

概念32。如概念18所述的处理器实现方法，其中，所述自主地生成和自主地更新以比最大图像数据更新速率更快的速率来执行，其中所述最大图像数据更新速率是所述处理系统能够更新所述原像或所述副像的最快速率。

这样描述了本发明的各个实施例。虽然在具体实施例中描述了本发明，但是应当理解，本发明不应当被理解为受到这类实施例限制，而是应当按照以下权利要求来理解。

Claims (32)

1.一种电子装置，包括：

配置用于显示图像的显示屏幕；

具有感测区域的触摸传感器，其中所述感测区域与所述显示屏幕的有源区重叠；

主处理系统，配置用于供在所述显示屏幕上显示的所述图像的主要处理；以及

触摸屏控制系统，包括：

触摸传感器控制电路，配置成操作所述触摸传感器，以便检测所述感测区域中的用户输入；以及

显示控制电路，配置成操作所述显示屏幕，所述显示电路包括：

第一存储器，配置成保存所述主处理系统所提供的原像；

第二存储器，配置成保存副像；以及

显示刷新电路，配置成：

采用所述主处理系统所处理的所述图像中的一些图像来更新所述显示屏幕，以及

响应所述用户输入并且无需所述主处理系统的介入：生成包含所述原像和所述副像的混合图像，并且采用所述混合图像来更新所述显示屏幕。

2.如权利要求1所述的装置，其中，所述显示刷新电路配置成通过下列步骤来生成包含所述原像和所述副像的所述混合图像：

在相对于所述原像的位置来混合所述副像，其中所述位置基于所述用户输入的位置和运动中的至少一个。

3.如权利要求1所述的装置，其中，所述主处理系统还配置成基于运行于所述主处理系统上的应用来提供多个图像之一作为所述副像。

4.如权利要求1所述的装置，其中，所述主处理系统还配置成基于运行于所述主处理系统的具有优先级的应用来提供多个图像之一作为所述副像。

5.如权利要求1所述的装置，其中，所述主处理系统还配置成：

响应拖曳操作的发起，作为所述副像来提供将在所述拖曳操作中拖曳的图像，使得所述混合图像包含待拖曳的所述图像相对于所述原像的移动；以及

响应所述拖曳操作的终止，更新所述原像，以便包括将在所述拖曳操作所定义的位置拖曳的所述图像的副本。

6.如权利要求1所述的装置，其中，所述主处理系统还配置成在所述显示刷新电路生成所述混合图像并且采用所述混合图像来更新所述显示屏幕的时间的至少一部分期间处于低功率状态。

7.如权利要求1所述的装置，其中，所述主处理系统还配置成以最大图像数据更新速率来更新所述原像或所述副像，其中所述显示控制电路配置成以最大混合图像更新速率进行生成和更新，并且所述最大图像数据更新速率低于所述最大混合图像更新速率。

8.一种触摸屏控制系统，配置成与主处理系统进行通信，其中所述主处理系统配置用于供在显示屏幕上显示的图像的主要处理，所述触摸屏控制系统包括：

触摸传感器控制电路，配置成控制用于检测所述触摸传感器元件的感测区域中的用户输入的触摸传感器元件，其中所述感测区域与所述显示屏幕的有源区重叠；以及

显示控制电路，配置成控制所述显示屏幕，所述显示控制电路包括：

第一存储器，配置成保存所述主处理系统所提供的原像；

第二存储器，配置成保存副像；以及

显示刷新电路，配置成：

采用所述主处理系统所处理的所述图像中的一些图像来更新所述显示屏幕，以及

响应所述用户输入并且无需所述主处理系统的介入：

生成包含所述原像和所述副像的至少部分的混合图像，以及

采用所述混合图像来更新所述显示屏幕。

9.如权利要求8所述的触摸屏控制系统，其中，所述触摸屏控制系统还配置成响应所述用户输入来修改所述副像，而无需所述主处理系统的介入。

10.如权利要求8所述的触摸屏控制系统，其中，所述第二存储器的存储器容量小于所述第一存储器。

11.如权利要求8所述的触摸屏控制系统，其中，所述第二存储器还配置成与所述副像同时保存第三图像。

12.如权利要求8所述的触摸屏控制系统，其中，所述显示刷新电路配置成通过下列步骤来生成所述混合图像：

在相对于所述原像的第一位置混合所述副像，以及

在相对于所述原像的第二位置混合第三图像或者所述副像的第二副本。

13.如权利要求8所述的触摸屏控制系统，其中，所述显示刷新电路配置成通过下列步骤来生成所述混合图像：

在相对于所述原像的位置处混合所述副像，其中所述位置基于所述用户输入的位置和运动中的至少一个。

14.一种显示控制电路，包括：

第一存储器，配置成保存供在显示屏幕上显示的原像；

第二存储器，配置成保存供在所述显示屏幕上显示的副像；以及

显示刷新电路，配置成：

采用由主处理系统所处理并且从其中所接收的所述图像中的一些图像来更新所述显示屏幕；以及

响应触摸传感器的感测区域中检测到的用户输入且无需所述主处理系统的介入：生成包含所述原像和所述副像的混合图像，并且采用所述混合图像来更新所述显示屏幕，其中所述触摸传感器的所述感测区域与所述显示屏幕的所述有源区重叠。

15.如权利要求14所述的显示控制电路，其中，所述第二存储器的存储器容量小于所述第一存储器。

16.如权利要求14所述的显示控制电路，其中，所述显示刷新电路配置成通过下列步骤来生成所述混合图像：

在相对于所述原像的位置来混合所述副像，其中所述位置基于所述用户输入的位置和运动中的至少一个。

17.如权利要求14所述的显示控制电路，其中，所述用户输入包括多个输入物体的输入，并且所述显示刷新电路配置成通过下列步骤来生成所述混合图像：

在相对于所述原像的第一位置来混合所述副像，所述第一位置与所述多个输入物体的第一输入物体的位置关联，以及

在相对于所述原像的第二位置来混合第三图像或者所述副像的第二副本，所述第二位置与所述多个输入物体的第二输入物体的位置关联。

18.一种用于操作触摸屏控制系统以便在显示屏幕上显示图像的处理器实现方法，所述方法包括：

采用由主处理系统所处理并且从所述主处理系统所接收的所述图像中的一些图像来更新所述显示屏幕，其中所述主处理系统配置用于供在所述显示屏幕上显示的所述图像的主要处理；

将从所述主处理系统所接收的原像保存在第一存储器中；

将副像保存在第二存储器中；

响应感测与所述显示屏幕的有源区重叠的感测区域中的用户输入：

自主地生成包含所述原像和所述副像的混合图像；以及

采用所述混合图像自主地更新所述显示屏幕。

19.如权利要求18所述的处理器实现方法，还包括：

从所述主处理系统接收所述副像。

20.如权利要求18所述的处理器实现方法，还包括与所述保存所述副像同时地将第三图像保存在所述辅助存储器中，其中所述生成所述混合图像包括：

混合所述原像、所述副像和所述第三图像。

21.如权利要求18所述的处理器实现方法，还包括与所述保存所述副像同时地将第三图像保存在所述辅助存储器中，其中所述生成所述混合图像包括：

响应所述感测所述用户输入而选择所述副像。

22.如权利要求18所述的处理器实现方法，还包括：

确定所述用户输入包括用户输入操作的序列；

响应所述用户输入操作的序列，生成附加混合图像，并且采用所述附加混合图像来更新所述显示屏幕，而无需所述主处理系统的介入；

确定所述用户输入操作的序列的结束；以及

响应所述结束而向所述主处理系统提供关于所述用户输入操作的序列的指示。

23.如权利要求18所述的处理器实现方法，还包括：

响应来自所述主处理系统的第一信号而发起单独混合功能，其中所述触摸屏控制系统生成混合图像，而无需所述主处理系统对所述单独混合功能的介入；以及

响应来自所述主处理系统的第二信号而终止所述单独混合功能。

24.如权利要求18所述的处理器实现方法，其中，所述原像包括虚拟键盘的图像，并且所述第二存储器包含与所述虚拟键盘关联的多个按键图像，所述方法还包括：

基于所述用户输入来确定所述虚拟键盘的按键的用户起动，以及

基于所述确定来选择作为所述副像的所述多个按键图像的按键图像，使得所述混合图像显示其中起动了所述按键的所述虚拟键盘。

25.如权利要求18所述的处理器实现方法，还包括：

基于所述用户输入来处理拖曳操作的发起；以及

作为所述副像来接收将在所述拖曳操作中拖曳的图像，使得所述混合图像包含待拖曳的所述图像相对于所述原像的移动。

26.如权利要求25所述的处理器实现方法，还包括：

基于所述用户输入来处理所述拖曳操作的终止；以及

接收所述第一存储器中保存的另一个原像，其中所述另一个原像包括将在反映所述拖曳操作的位置被拖曳的所述图像。

27.如权利要求18所述的处理器实现方法，还包括：

响应所述用户输入来修改所述副像，而无需所述主处理系统的介入。

28.如权利要求27所述的处理器实现方法，其中，所述修改所述副像包括：

调整所述副像，使得所述混合图像包括与所述用户输入的移动关联的上墨。

29.如权利要求18所述的处理器实现方法，其中，所述用户输入包括所述感测区域中的多个输入物体的输入，并且所述生成所述混合图像包括：

在相对于所述原像的第一位置处混合所述副像，其中所述第一位置基于所述多个输入物体的第一输入物体的第一位置，以及

在相对于所述原像的第二位置处混合第三图像或者所述副像的第二副本，其中所述第二位置基于所述多个输入物体的第二输入物体的第二位置。

30.如权利要求18所述的处理器实现方法，还包括：

向所述主处理系统提供在所述生成和所述更新的至少一部分期间将所述主处理系统触发成处于低功率状态的信息。

31.如权利要求18所述的处理器实现方法，其中，所述第二存储器配置成保存多个图像，所述多个图像中的各图像与多个用户输入手势的至少一个手势关联，所述方法还包括：

将所述用户输入识别为包含所述多个用户输入手势的第一手势；以及

将与所述第一手势关联的所述多个图像中的图像选择作为所述副像，使得所述混合图像提供所述识别的视觉反馈。

32.如权利要求18所述的处理器实现方法，其中，所述自主地生成和自主地更新以比最大图像数据更新速率更快的速率来执行，其中所述最大图像数据更新速率是所述处理系统能够更新所述原像或所述副像的最快速率。

Images