CN102498512A - 用于确定活跃输入区域的方法和装置 - Google Patents

用于确定活跃输入区域的方法和装置 Download PDF

Info

Publication number
CN102498512A
CN102498512A CN2010800405192A CN201080040519A CN102498512A CN 102498512 A CN102498512 A CN 102498512A CN 2010800405192 A CN2010800405192 A CN 2010800405192A CN 201080040519 A CN201080040519 A CN 201080040519A CN 102498512 A CN102498512 A CN 102498512A
Authority
CN
China
Prior art keywords
cursor
frame buffer
buffer data
image
bitmap
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010800405192A
Other languages
English (en)
Other versions
CN102498512B (zh
Inventor
R·伯斯
J·布拉肯西克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of CN102498512A publication Critical patent/CN102498512A/zh
Application granted granted Critical
Publication of CN102498512B publication Critical patent/CN102498512B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/393—Arrangements for updating the contents of the bit-mapped memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G06F3/1462—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay with means for detecting differences between the image stored in the host and the images displayed on the remote displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/08—Cursor circuits
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00—Command of the display device
    • G09G2310/04—Partial updating of the display screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/14—Solving problems related to the presentation of information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports

Abstract

提供了用于确定活跃输入区域的各种方法。一个示例方法包括：获取限定已被刷新的图像区域的帧缓存数据，以及检测帧缓存数据内的光标。检测光标可以包括：确定图像区域的维度与之前获取的、与成功光标检测相关联的图像区域的维度匹配，并且示例方法还可以包括：向远程环境引导图像区域的坐标和维度的传输。还提供了类似和相关的示例方法和示例装置。

Description

用于确定活跃输入区域的方法和装置
技术领域
本发明的实施方式总体涉及移动设备与远程环境或远程客户端的互操作性，并且更具体而言，涉及用于经由显示帧缓存处理来确定图像的活跃输入区域的方法和装置。
背景技术
移动计算设备持续演进，从而使得计算设备能够支持新的和强大的应用。示例包括定位和地图搜索技术(例如经由全球定位系统(GPS))、媒体播放器技术(例如音频和视频)、web浏览技术等。
随着移动计算设备的功能性增加，用户需要以各种方式与其移动计算设备进行接口通信的能力。例如，再次考虑GPS能力，用户可能希望让移动计算设备与远程环境接口通信，该远程环境具有较大的或在交通工具中更为方便地放置的显示器，以用于与地图和其他位置信息交互。类似地，操作为媒体播放器的移动计算设备还可以与具有定制的媒体播放器显示器的远程环境接口通信，在交通工具中同样有可能的是，经由定位在用于收音机的传统位置处的显示器向用户提供移动计算设备的接口。远程环境可以被配置以显示由移动计算设备提供的图像，以及接收可以被转发回移动计算设备以供处理的输入。例如，远程环境可以经由键盘(诸如触摸屏键盘)接收文本输入。文本输入可以被接收并且被传输至移动计算设备，并且移动计算设备继而可以提供用于向远程环境的显示器输出文本。相应地，可以经由例如具有较大显示器的远程环境(诸如在交通工具中，其中用户可以在交通工具正在运行时与远程环境交互)来以任何数目的设置实现多种多样的应用。
发明内容
描述了一些示例方法和示例装置，其提供显示帧缓存处理以确定待提供给远程环境的、图像内的活跃文本输入区域(例如文本框或文本域)。根据各种示例实施方式，确定活跃文本输入区域定位在何处的优势在于，该区域可以被放大或以不同颜色突出显示，从而辅助用户在用户无法聚焦并且无法与远程环境交互达一定时间段(诸如当用户在驾驶时)的情形下，快速识别活跃文本输入区域。因此本发明的示例实施方式通过处理由移动计算设备提供给远程环境的帧缓存数据来识别光标的定位，并且可能修改文本输入区域的与光标定位相关联的可视属性，来便于用户在远程环境的显示器上快速识别活跃文本输入区域的定位。
本文描述了本发明的各种示例方法和装置，包括用于确定活跃输入区域的示例方法。一个示例方法包括：获取限定已被刷新的图像区域的帧缓存数据，以及检测帧缓存数据内的光标，其中检测光标包括：确定图像区域的维度匹配与成功光标检测相关联的之前获取的图像区域的维度。示例方法还包括向远程环境引导图像区域的坐标和维度的传输。
附加示例实施方式是配置用于确定活跃输入区域的装置。示例装置包括至少一个处理器和包括计算机程序代码的至少一个存储器。至少一个存储器和计算机程序代码被配置以使用至少一个处理器使得示例装置执行各种功能性。就此而言，示例装置被使得执行：获取限定已被刷新的图像区域的帧缓存数据，以及检测该帧缓存数据内的光标，其中检测光标包括：确定图像区域的维度匹配与成功光标检测相关联的之前获取的图像区域的维度。示例装置还被使得向远程环境引导图像区域的坐标和维度的传输。
另一示例实施方式是具有存储于其中的计算机可读程序代码指令的示例计算机可读存储器介质。示例计算机可读存储介质的计算机可读程序代码指令用于使得装置执行：获取限定已被刷新的图像区域的帧缓存数据，以及检测帧缓存数据内的光标，其中用于使得装置执行检测光标的指令包括，用于使得装置执行以下项的指令：确定图像区域的维度匹配与成功光标检测相关联的之前获取的图像区域的维度。示例计算机可读存储介质还包括用于使得装置向远程环境引导图像区域的坐标和维度的传输的指令。
另一示例实施方式是用于确定活跃输入区域的设备。该示例设备包括：用于获取限定已被刷新的图像区域的帧缓存数据的装置，以及用于检测帧缓存数据内的光标的装置，其中用于检测光标的装置包括：用于确定图像区域的维度匹配与成功光标检测相关联的之前获取的图像区域的维度的装置。示例装置还包括用于向远程环境引导图像区域的坐标和维度的传输的装置。
附图说明
因此已总体描述了本发明，现在将参考所附附图，附图并不必须按比例绘制，并且在附图中：
图1示出了根据本发明一个实施方式的用于投射用户接口给远程环境的系统；
图2示出了根据本发明一个示例实施方式的分隔成显示区域的示例用户接口；
图3示出了根据本发明一个示例实施方式的用于显示帧缓存处理的示例依赖图；
图4示出了根据本发明各种示例实施方式的用于显示帧缓存处理的方法的流程图；
图5示出了根据本发明的一个示例实施方式的活跃文本输入区域向远程环境的示例投射；
图6示出了根据本发明的一个示例实施方式的用于检测光标位置的示例方法的流程图；
图7a示出了根据本发明的一个示例实施方式的示例光标模板；
图7b示出了根据本发明的一个示例实施方式的用于帧缓存数据内的光标检测的示例方法的流程图；
图8示出了根据本发明的一个示例实施方式的用于确定活跃输入区域的方法的流程图；
图9示出了根据本发明的一个示例实施方式的用于显示帧缓存处理和/或确定活跃输入区域的装置的框图；以及
图10示出了根据本发明的一个示例实施方式的用于显示帧缓存处理和/或确定活跃输入区域的移动终端的框图。
具体实施方式
现在将在下文中参考附图更为全面地描述本发明的一些示例实施方式，在附图中显示了本发明的一些而非所有实施方式。实际上，本发明可以以许多不同的方式实现，并且不应被解释为限制于本文所阐述的实施方式；而是，提供这些实施方式以使本公开将满足可适用的法律要求。类似的参考数字在全文中指代类似的元件。术语“数据”、“内容”、“信息”以及类似术语根据本发明的一些示例实施方式可以可互换地使用，以指代能够被传输、接收、操作和/或存储的数据。
如本文所使用地，术语“电路系统”指代以下的所有项：(a)纯硬件电路实现(诸如纯模拟和/或数字电路系统中的实现)；(b)电路和软件(和/或固件)的组合，诸如(根据可应用的情形)：(i)处理器的组合或(ii)共同工作以使诸如移动电话或服务器之类的装置执行各种功能的部分处理器/软件(包括数字信号处理器)、软件和存储器；以及(c)电路，诸如微处理器或微处理器的部分，该电路需要软件或固件以供操作，即使软件或固件在物理上并不存在。
“电路系统”的该定义应用至该应用中该术语的所有使用(包括在任一权利要求中)。作为又一示例，如该应用中所使用的那样，术语“电路系统”还将覆盖仅处理器(或多个处理器)或处理器的部分及其(或它们的)伴随的软件和/或固件的实施方式。术语“电路系统”还将覆盖(例如并且如果可应用至特定权利要求元素)移动电话的基带集成电路或应用处理器电路、或服务器、蜂窝网络设备或其他网络设备中类似的集成电路。
图1示出了根据本发明的各种示例实施方式的示例系统。示例系统包括远程环境100、用户设备(UE)101以及通信链路102。
远程环境100可以是被配置以显示图像的任何类型的计算设备。根据一些示例实施方式，远程环境100可以包括用户接口组件和功能性。在这方面而言，小键盘103可以是可选的用户输入设备。在一些示例实施方式中，远程环境100可以包括触摸屏显示器，其被配置以经由对显示器的触摸事件来接收来自用户的输入。此外，远程环境100可以包括键盘、扬声器、麦克风等。远程环境100还可以包括用于经由通信链路102与UE 101通信的通信接口。
通信链路102可以是能够支持远程环境100和UE 101之间的通信任何类型的通信链路。根据一些示例实施方式，通信链路102是蓝牙链路。虽然通信链路102被描绘为无线链路，但是可以想到，通信链路102可以是有线链路。
UE 101可以是任何类型的移动计算和通信设备。根据一些示例实施方式，UE 101是移动终端。UE 101可以被配置以经由通信链路102与远程环境100通信。UE 101还可以被配置以经由包括在UE 101内的处理器和存储器执行和实现应用。
根据一些示例实施方式，UE 101可以被配置以经由通信连接102引导远程环境100呈现图像，并接收经由远程环境100提供的用户输入。由远程环境100呈现的图像可以是与在UE 101的显示器上呈现的图像相同的图像、如果UE 101的显示器活跃则已经呈现的图像、或修改的图像。例如，考虑如下示例情形，在该情形中远程环境100安装在交通工具中作为交通工具头部单元。交通工具的驾驶者可能期望使用远程环境100作为UE 101的接口，这是例如由于交通工具内的远程环境100的便利位置。UE 101可以被配置以与远程环境100链接，并且引导远程环境100呈现图像。UE 101可以通过扫描UE 101的显示帧缓存并且经由通信链路102提供帧缓存数据给远程环境100而进行。显示帧缓存可以是UE 101中存储关于显示屏幕中每个像素的信息的连续存储器的一部分。显示帧缓存的大小可以等于屏幕分辨率与存储每个像素的数据所需的比特数目的乘积。
UE 101和远程环境100之间的交互提供移动设备交互性的示例，这也可以称为智能空间、远程环境和远程客户端。就此而言，UE 101的特征和能力可以被投射到外部环境(例如远程环境100)上，并且外部环境可以表现为仿佛该特征和能力为外部环境所固有，从而使得对于UE 101的依赖并不显现给用户。投射UE 101的特征和能力可以涉及输出UE 101的用户接口(UI)屏幕以及对外部环境的命令和控制，从而用户可以舒适地与代替UE 101的外部环境交互。
当UE 101的用户接口输出至例如远程环境100时，UE 101可以周期性地扫描显示帧缓存，以确定UE 101的显示的那一部分已改变，并且将改变传送给远程环境100。由于许多移动通信设备(例如UE101)的相对低的处理能力以及显示器的增加的显示分辨率(例如四分之一高清晰度(QHD)分辨率、广泛视频图形阵列(WVGA)分辨率等)，因此与帧缓存分析相关联的处理开销可以是可观的，从而可以影响(例如变缓)UE 101上其他应用的执行。继而，可以降低通过远程环境100访问UE 101的功能性的用户体验(UX)。相应地，与帧缓存分析和处理相关联的处理开销上的减小限制或避免上述的负面影响。
根据本发明的一些示例实施方式，降低与帧缓存分析和更新显示器相关联的计算开销。就此而言，本发明的一些示例实施方式利用限定的显示区域，并且针对显示区域(而非整个显示帧缓存数据)、以基于显示区域的更新标准的速率执行帧缓存分析和处理。就此而言，每个显示区域具有相关联的更新标准，并且更新标准可以选择成在改变显示区域的帧缓存数据的可能性时，满足该标准。以此方式，可以限制或避免在未出现内容改变时扫描与显示区域相关联的帧缓存数据，从而减少计算开销。根据各种示例实施方式，显示区域是较大显示器的子部分，并且显示区域的更新标准可以被选择成使得降低扫描帧缓存的累计率，从而使得在远程环境100和UE 101之间的交互的质量提高。
图2描绘了具有限定的显示区域的示例显示110。关于示例显示110限定的显示区域包括信号强度指示符区域111、标题栏区域112、状态信息区域113、电池指示符区域114、内容区域115、软键区域116以及窗口控制区域117。基于在每个区域内描绘的内容，可以选择相关联的更新标准。
就此而言，可以限定显示区域并且可以根据显示区域内内容改变的期望速率和/或导致显示区域内容改变的触发事件，对显示区域进行分类。基于显示区域的分类，可以限定相关联的更新标准。
一些显示区域可以分类为单独刷新的区域。单独刷新的区域包括与用户输入事件无关的单独改变的显示内容、或应用上下文的改变或其他区域的内容的改变。单独刷新的区域的示例包括电池指示符区域112、状态信息区域113，并且可能还包括(例如基于正被执行的应用的)内容区域115。根据一些示例实施方式，单独刷新的区域可以有具有形式为定时器阈值的更新标准。就此而言，当定时器经过阈值时，可以满足更新标准。单独刷新区域可以进一步分类为快更新区域和慢更新区域。定时器阈值的差异可以用于实现快更新区域对慢更新区域。快更新区域显示内容可以快速地改变。例如，信号强度指示符区域111可以快速改变。慢更新区域显示内容可以以相对较慢的速率改变。例如，状态信息区域113可以以较慢的速率改变。另一方面，一些显示区域可以分类为被触发的刷新区域。被触发的刷新区域可以具有响应于如下事件的内容改变：诸如用户输入、应用上下文改变(例如应用启动或终止)、或另一显示区域中内容改变。被触发的刷新区域的示例包括标题栏区域112、软键区域116、窗口控制区域117，并且可能包括内容区域115(基于正执行的应用的)。
根据各种示例实施方式，与显示区域相关联的区域限定(例如与显示区域相关联的区域坐标)以及显示区域的分类或更新标准可以存储为与平台无关格式的元数据，该格式诸如可扩展标记语言(XML)。就此而言，根据各种示例实施方式，基于例如屏幕尺寸、分辨率和UI布局，每个移动设备模型可以包括文件或存储与UI屏幕相关联的元数据的其他数据结构。此外，在设备(例如UE 101)上安装的各种应用可以具有用于显示区域限定和更新标准的数据。根据一些示例实施方式，显示区域数据无需针对每个UI屏幕存储，而是可以利用包含用于返回屏幕UI的显示区域的元数据的一个记录、包含用于菜单屏幕UI的区域的元数据的一个记录、以及包含所有其他UI屏幕(例如应用屏幕等)的区域的元数据的一个记录。
根据一些示例实施方式，显示区域的更新标准可以以依赖图的形式存储。该依赖图可以提供关于如下项的信息(例如标准)：哪个显示区域响应于用户输入(例如按键)而改变、应用上下文的改变、以及帧缓存数据/其他显示区域内容的改变。依赖图可以是非循环式的并且包括节点。依赖图内的每个节点可以表示不同的显示区域。在图3中显示了依赖图的示例。图3的依赖图描绘了Nokia N810因特网平板电脑的一般应用屏幕的依赖图。
为了对在出现另一显示区域的改变时所满足的更新标准的建模，边可以从触发节点指向至被触发的节点。就此而言，考虑存在从节点A至节点B的有向边的情形。由节点A表示的显示区域的改变可以触发由节点B表示的显示区域的改变。这样，基于相关联的依赖图，在出现节点A的显示区域的改变时，可以满足节点B的显示区域的更新标准。参见图3，内容区域125的帧缓存数据的改变满足标题栏区域124的更新标准。
就具有基于触发显示区域的帧缓存数据中的改变的更新标准的显示区域而言，可以在自从被触发的显示区域的上次更新之后出现触发显示区域的帧缓存数据改变时，分析和比较被触发的显示区域的帧缓存数据。如果识别出帧缓存数据的改变，则可以向远程环境提供改变。如果未检测到用户输入，则无需分析显示区域的帧缓存数据。根据一些示例实施方式，无论是否接收到用户输入，都可以以低的频率分析显示区域以避免失去同步。
为了对在出现用户输入时满足的更新标准进行建模，可以限定用户输入模式。就此而言，用户输入模式X和节点Y的显示区域之间的有向边指示用户输入的检测可以满足节点Y的显示区域的更新标准。参见图3，窗口控制区域和菜单栏区域的更新标准可以因用户输入的出现而被满足，如从用户输入节点120至窗口控制区域节点121和菜单栏区域节点122的边所指示的那样。
就具有基于用户输入的更新标准的显示区域而言，可以在自从上次更新显示区域之后检测到用户输入时，分析和比较显示区域的帧缓存数据。如果识别帧缓存数据的改变，则可以将改变提供给远程环境。如果未检测到用户输入，则无需分析用于显示区域的帧缓存数据。根据一些示例实施方式，无论是否接收到用户输入，都可以以低频率分析显示区域以避免失去同步。
为了对在出现用户输入时满足的更新标准建模，可以限定应用上下文输入节点。就此而言，应用上下文输入节点X和节点Y的显示区域之间的有向边指示，用户输入的检测可以满足节点Y的显示区域的更新标准。此外，参见图3，窗口控制区域和菜单栏区域的更新标准可以通过用户输入的出现而被满足，如从应用上下文输入节点123至窗口控制区域节点121和菜单栏区域节点122和标题栏节点124的边所指示的那样。
就具有基于应用上下文改变(例如应用启动和/或应用终止)的更新标准的显示区域而言，可以在自从上次更新显示区域之后出现应用上下文改变时，分析和比较显示区域的帧缓存数据。可以通过考察或查询底层操作系统(例如窗口管理器部件)来确定应用上下文中的改变。如果识别出帧缓存数据的改变，则可以将改变提供给远程环境。如果未识别出用户输入，则无需分析帧缓存的数据。根据一些示例实施方式，无论是否接收到用户输入，都可以以低频率分析显示区域以避免失去同步。
为了对单独刷新的显示区域的更新标准进行建模，可以提供不具有传入边的断开节点。就此而言，如果显示区域的帧缓存数据的改变满足其他显示区域的更新标准，则单独刷新的显示区域节点可以具有向外的边。参见图3，内容区域节点125和状态信息节点126被限定为单独地刷新。
作为单独刷新的显示区域，可以响应于定时器阈值的达到而将相关联的显示区域的当前帧缓存数据与显示区域的后续帧缓存数据进行比较。就此而言，可以针对快更新区域和慢更新区域设定合适的定时器阈值。当经过定时器阈值时，可以比较帧缓存数据并且可以将改变部分提供给远程环境。
备选地，更为精密的更新标准可以被利用于单独刷新的显示区域。就此而言，根据一些示例实施方式，可以在给定数目的帧改变之后对帧缓存数据进行比较，其中可以基于处理负载和/或显示区域的帧缓存数据中的改变的概率，来限定帧改变的给定数目。此外，对于显示时钟的状态信息区域(诸如状态信息区域113)而言，每1800次迭代(假定迭代出现的速率是每秒钟30次(基于每秒30帧))分析一次帧缓存数据可以是充足的，这在用户体验方面没有任何明显的损失。此外，根据各种示例实施方式，还可以基于在开始时或以常规间隔进行的观察和对显示区域的时间行为的学习(用于确定帧缓存数据改变的实际频率)来自动地确定更新标准(例如定时器阈值)。
此外，如参考图3的节点121、122和124所示，可以使用两组或更多组更新标准，来触发相关联的显示区域的帧缓存数据的分析。为了避免在单一迭代期间显示区域的重复遍历，在已经遍历每个显示区域之后，可以标记依赖图中对应节点(例如可以设定针对显示区域的标志)，从而指示已经分析过该显示区域。在单次迭代期间，无需重复分析已被标记的显示区域节点。继而可以在迭代之后清除标记。
图4描绘了显示帧缓存处理的示例方法的一个或多个流程图。一个示例方法包括在400处确定与显示区域相关联的更新标准已被满足。就此而言，显示区域小于显示器的整个区域。更新标准可以采取多种形式，并且可以以与该形式相关联的方式满足更新标准。例如，根据一些示例实施方式，在定时器阈值已经经过时可以满足显示区域的更新标准。附加地或备选地，根据一些示例实施方式，在经由用户接口接收到用户输入时，可以满足显示区域的更新标准。备选地或附加地，根据一些示例实施方式，在应用的与当前帧缓存数据相关联的上下文已改变时，可以满足显示区域的更新标准。附加地或备选地，根据一些示例实施方式，在与另一显示区域相关联的帧缓存数据已出现时，可以满足显示区域的更新标准。根据一些示例实施方式，可以将显示区域的更新标准和区域描述存储为相关联应用的元数据。
一种示例方法还可以包括，在410处将显示区域的当前帧缓存数据与显示区域的后续帧缓存数据进行比较，以确定与显示区域相关联的帧缓存数据改变。就此而言，可以响应于所满足的更新标准来实现比较。此外，根据一些示例实施方式，一种示例方法可以包括在420处便于在显示器或远程环境上的显示区域内呈现帧缓存数据。
除了如上所述地分析与显示区域相关联的帧缓存数据之外，还可以分析帧缓存数据以确定光标在提供给远程环境的图像(投射的图像或投射的UI)中的位置，从而识别活跃文本输入区域。当移动设备(例如UE 101)的UI被输出给远程环境(诸如远程终端、交通工具头部单元等)时，用户经由远程环境来利用可用的输入机制，并且可以将输入直接引导至移动设备。就用户的输入活动形式而言，文本输入经常可以是最多涉及的活动之一，这是用于文本输入经常要求用户的关注时间跨度较长以及较高程度地关注显示器。例如，当远程环境是交通工具头部单元时，用户可以希望当在停止灯处短暂停止时执行文本输入。这样，用于吸引用户注意力至图像的活跃区域的机制可以被期望辅助用户快速和集中输入文本。就此而言，活跃文本输入区域可以相对于图像的剩余部分被突出显示或放大，从而使得用户能够快速地将活跃文本输入区域从其他屏幕杂部(clutter)区分开来。
本发明的各种示例实施方式通过如下方式便于可视化地强调活跃文本输入区域：首先通过分析经由针对文本输入可能潜在出现的显示区域的帧缓存数据，定位光标并且确定光标驻留的屏幕坐标，来识别活跃文本输入区域的位置。整个帧缓存无需被分析，从而降低处理开销和增加光标检测的速度和概率。例如在图2中，可以针对文本光标的出现和位置仅分析对应于显示区域115的帧缓存数据。换言之，根据各种示例实施方式，光标驻留的整个显示区域或显示区域的当前包围光标的子部分可以是活跃文本输入区域。因而，根据各种示例实施方式，使用帧缓存数据检测光标的当前位置向远程环境提供用于识别图像的活跃文本输入区域部分(例如显示区域)所需的信息、并提供图像的活跃输入区域部分的坐标，以便于在远程环境的显示器上强调活跃文本输入区域(例如，通过放大区域、改变区域的背景颜色等)，从而使得用户可以容易地区分活跃文本输入区域和其他屏幕杂部。各种示例实施方式使用例如在移动设备上执行的软件实施方式来提供对光标的定位，该软件实施方式无需改变移动设备或远程环境的硬件，从而在各种硬件环境中提供实施方式。此外，根据各种示例实施方式，识别光标的定位并不取决于正实现的特定应用，并且可以与任何应用涉及的使用光标的文本输入组合利用。换言之，本发明的各种示例实施方式与应用无关。
图5描绘了UE 101(也称为移动设备)和远程环境100的示例。就此而言，图5示出其中光标已被定位并且已基于光标的定位确定活跃测试输入区域的示例情形。例如通过消除UE 101处的图像的其他部分(例如显示区域)和在远程环境100上显示活跃文本输入给用户，来强调活跃文本输入区域。考虑从图5选取的活跃文本区域，值得注意的是，整个显示区域无需指定活跃文本输入区域，而是可以指定显示区域的子部分为活跃文本区域。在图5中，根据各种示例实施方式，UE 101中包含光标的显示区域是全文本形式，而在远程环境100中显示的活跃文本区域仅是形成/显示区域的上半部。根据一些示例实施方式，一旦已经由检测(如下进一步描述)确定光标的坐标，则可以确定活跃文本输入区域为例如(但不限于)光标之上的X像素、光标之下的X像素、以及光标左侧的Y像素以及光标右侧的Y像素。
识别光标的位置以便于可以通过分析帧缓存数据来实现识别活跃文本输入区域。然而，为了减少处理开销并且减少误报(falsepositive)的可能性，一些示例方法仅分析部分的帧缓存数据。就此而言，本发明的一些示例实施方式仅分析可能包括光标的显示区域，诸如上述的内容区域显示区域。
为了识别活跃文本输入区域，一些示例实施方式将与文本光标相关联的帧缓存数据和帧缓存数据的剩余部分(例如与特定显示区域相关联的帧缓存的剩余部分，诸如内容区域显示区域)进行区分。就此而言，用于执行光标检测迭代以识别光标位置的触发(如下文进一步描述的那样)可以是帧缓存数据的、与待分析的显示区域相关联的帧缓存更新的出现。根据一些示例实施方式，用以识别光标位置的光标检测迭代的执行可以在每次将经更新的帧缓存数据提供给远程环境时被执行。就此而言，帧缓存数据更新可以周期性地(推送)或根据远程环境的请求(拉取)由移动设备传输给远程环境。
图6示出了根据本发明的一些示例实施方式的用于识别和提供光标定位的示例方法的流程图。如上所述，可以分析帧缓存数据以定位光标。与由已被刷新的显示区域限定的矩形相关联的帧缓存数据可以被分析以检测光标。为了确定光标的定位已被验证或光标的期望定位错误，可以执行光标检测的多个迭代。为了同一位置处的成功迭代，可以递增成功计数器(CursorDetected)，并且在成功计算器达到阈值成功值(SUCCESS_MAX)时，光标的定位已被验证。相应地，作为验证的结果，可以提供光标的定位和尺寸。类似地，对于失败迭代而言，可以递增失败计数器(CursorNotDetected)，并且在失败计数器达到阈值失败值(FAILURE_MAX)时，光标检测已失败。相应地，在光标检测已失败时可以提供失败通知。可以基于光标相对于显示的其余部分的更新速率来限定阈值成功值和阈值失败值。例如，如果光标闪烁或改变缓慢并且背景是快速改变的背景，则阈值失败值可以相对高于阈值成功值。备选地，对于快速闪烁或改变的光标而言，阈值成功值可以被设定为相对较缓慢的值(可能等于1)，这是由于光标的定位快速地改变。
附加地，由于可以基于此时正被实现的应用或UI上下文而改变光标的尺寸，因此可以限定潜在的光标高度和宽度的范围。就此而言，可以限定最小高度(MIN_HEIGHT)、最大高度(MAX_HEIGHT)、最小宽度(MIN_WIDTH)和最大宽度(MAX_WIDTH)。
现在参考图6的具体操作，示例方法可以在600处开始并且可以在602处实现定位和尺寸追踪变量和计数器的初始化。就此而言，光标定位和尺寸变量(例如cursor_x、cursor_y、cursor_width和cursor_height)可以被设定为nil(空)，并且成功和失败计数器(CursorDetected和CursorNotDetected)可以被归零。变量cursor_x和cursor_y可以分别指示光标的最后已知的X坐标位置和Y坐标位置。类似地，cursor_width和cursor_height变量可以分别指示上次知晓的光标的宽度和高度。
在604处，可以确定预期的光标矩形。出于说明的目的，预期光标矩形可以称为“U”，其中(Ux、Uy)代表左上角的坐标，而Uw和Uh分别代表矩形的宽度和高度。根据各种示例实施方式，可以通过各种方案确定预期光标矩形的定位和尺寸，诸如但不限于使用显示驱动器来注册以用于接收刷新通知，或通过将当前帧缓存数据(或与所选的显示区域相关联的当前帧缓存数据)与之前的帧缓存数据进行比较以识别区别。
在606处，可以获取对应于预期光标矩形的定位和尺寸的帧缓存数据。出于说明的目的，与光标矩形相关联的帧缓存数据可以称为“R”。R可以是对应于移动设备显示器的已经被更新的部分的单色或彩色位图。根据各种示例实施方式，所获取的预期更新光标矩形的帧缓存数据可以通过从与更新的内容区域显示区域相关联的帧缓存中的数据的部分来获取。
在608处，预期光标矩形的定位和尺寸可以与现有成功光标矩形的之前定位和尺寸进行比较，以确定是否识别出匹配，从而指示光标仍在相同定位并且光标仍为相同尺寸。换言之，cursor_x可以与Ux比较，cursor_y可以与Uy比较，ursor_width可以与Uw比较，并且cursor_height可以与Uh比较。如果识别出匹配，则可以在610处执行光标检测算法(下面进一步描述)并且可以获得结果(例如真或假)。
在612处，可以测试光标检测算法的结果，并且如果检测到光标，则在614处可以递增成功计数器(CursorDetected＝CursorDetected+1)，并且失败计数器可以归零(CursorNotDetected＝0)。在616处，可以将成功计数器与阈值成功值进行比较，以确定是否满足阈值成功值或超出阈值成功值。如果阈值已达到或会超过，则预期光标矩形已被验证为实际的光标矩形，并且例如可以在618处将实际的光标矩形的定位和尺寸(例如Ux、Uy、Uh和Uw)提供给远程环境。根据一些示例实施方式，远程环境可以被配置以经由处理器和存储器、基于实际光标矩形的定位和尺寸，确定活跃文本输入区域。此外，基于远程环境的UI上下文和显示能力，远程环境可以确定活跃文本输入区域的尺寸和/或颜色。例如，如果远程环境包括较大的显示器，则远程环境可以使用较大的维度来显示活跃文本输入区域。
在618处提供定位和尺寸之后，可以在602处再次初始化变量并且可以继续该示例方法。在成功计数器未达到阈值成功值的情形下，可以在604处确定新的预期光标矩形并且可以继续该示例方法。
在612处，如果光标检测算法的结果为假或光标未被检测到，则失败计数器可以在628处递增(CursorNotDetected＝CursorNotDetected+1)。随后在630处，可以确定失败计数器是否达到或超过阈值失败值。如果未达到或超过阈值失败值，则可以在604处确定新的预期光标矩形并且可以继续该示例方法。如果已达到或超过阈值失败值，则未检测到光标的通知可以在632处提供给远程环境，并且随后可以在602处再次初始化变量并且可以继续该示例方法。
在608处，如果预期光标矩形的定位和尺寸与现有的成功光标矩形的之前定位和尺寸并不相匹配，则可以在620处确定预期光标矩形的宽度和高度是否在潜在的光标高度和宽度的范围内。换言之，可以确定Uh是否落入MIN_HEIGHT和MAX_HEIGHT之间，并且可以确定Uw是否落入MIN_WIDTH和MAX_WIDTH之间。如果高度和宽度并不落入620处的范围，则在628处失败计数器可以递增并且可以继续该示例方法。如果高度和宽度落入620处的范围内，则可以在622处执行光标检测算法(下面进一步描述)，并且可以获得结果(例如真或假)。
在624，可以测试光标检测算法的结果，并且如果未检测到光标(例如返回假)，则在628处可以递增失败计数器并且可以继续示例方法。如果检测到光标(例如返回真)，则已验证预期光标矩形为实际光标矩形。作为结果，在626处可以将成功计数器归零(CursorDetected＝0)并且定位和尺寸变量可以被设定为现在经验证的实际光标矩形的定位和大小(例如cursor_x＝Ux、cursor_y＝Uy、cursor_width＝Uw并且cursorjieight＝Uh)。随后，在614处可以递增成功计数器(CursorDetected＝CursorDetected+1)，并且可以使失败计数器归零(CursorNotDetected＝0)，并且示例方法可以继续。
注意到，根据一些示例实施方式，参考图6描述的示例方法无需依赖于来自UI框架的任何支持。然而，根据一些示例实施方式，方法可以实现为涉及如下：无论何时在移动设备屏幕上显示文本输入区域(例如框、窗口或视域)，都接收来自UI框架的通知。这些通知可以确保当存在“屏幕上(on-screen)”文本输入区域时，可以执行下面描述的光标检测算法，而在没有时则不执行。
图6的操作610和622提出执行光标检测算法。下面提供了一些示例光标检测算法的描述。
可以在操作610或622处实现的第一示例光标检测算法被限定为针对简单的矩形闪速光标。由于图6的方法的其他操作固有地考虑了具有矩形闪速光标的情形，因此第一光标检测算法可以简单地返回“真”结果。
针对更为高级光标的第二示例光标检测算法利用了包括用于检测光标的多个光标位图的光标模板。更为高级的光标可以是具有多个可视状态、图案或形状的光标。第二示例光标检测算法还可以实现用于矩形闪烁光标。
参照第二示例光标检测算法，可以限定光标检测模板，其提供检测光标所需的标准。一个示例的文本光标模板可以由T＝{b1，b2，b3，b4…，bY}表示，其中Y是光标的可视状态的数目，而bi是光标的第i个状态，并且表示绘制光标可视状态的位图。由模板T表示的光标可以根据下面的状态转变、在一系列的状态间循环：b1→b2→b3→b4……→bY(循环回到b1)。
参照描绘示例光标模板的图7a，每个光标位图可以包括m×n个矩形网格，其中“m”是光标矩形区域的宽度，而“n”是光标矩形区域的高度。网格中的每个单元格(例如像素)可以被标记为“C”以表示该单元格是前景光标图像的一部分，或者被标记为“B”以表示该单元格是背景光标图像的一部分。根据各种示例实施方式，标记为“B”的单元格具有与标记为“C”的单元格不同的颜色值。作为结果，具有前景分量的可视状态的光标可以具有相对于背景分量的对比颜色。光标位图可以被存储为两个集合(bC和bB)的并集，其中bC是2元组(x，y)的集合，其中(x，y)表示标记为“C”的单元格在网格中的位置；而bB是2元组(x，y)的集合，其中(x，y)表示标记为“B”的单元格在网格中的位置。因此，b可以等于bC∪bB。由于可以预测前景和背景的颜色值，因而本发明的各种示例实施方式并不要求前景和背景的颜色为已知。而是，可以使用前景和背景之间仅存的颜色差异。这样，根据各种示例实施方式，背景颜色或非均匀背景的不可预测的改变并不有害地影响光标检测算法的结果。作为结果，根据各种示例实施方式，将背景改变为非默认颜色/图案的应用，并且UI框架需要对应地改变光标颜色以维持可视对比的情形并不有害地影响算法的结果。
图7b示出了根据第二示例光标检测方法的示例方法的流程图，该方法用于将光标模板和光标位图应用至与预期光标矩形“R”相关联的帧缓存数据，以确定光标是否存在于帧缓存中。与第二示例光标检测算法相关联的示例方法包括获得上述的光标模板T和生成光标位图。根据一些示例实施方式，可以在基于预期光标矩形的维度的缩放之后生成光标位图。
示例方法还可以包括在700处将位图计数器“I”设定为1(例如I＝1)。接着，示例方法可以包括获得位图bI，其中bI＝bIC∪bIB，以及如下地比较bI和R。就此而言，可以从对应于集合bIC的第一成员的R获得第一像素，并且可以提取像素的颜色值。经提取的颜色值可以称为“K”。在705处，对于集合bIC的每个成员而言，可以提取颜色值，并且可以执行检查以确定是否每个颜色值都等于K。根据一些示例实施方式，如果对于集合bIC的每个成员而言每个颜色值都等于K，则已找到关于集合bIC的文本光标匹配，并且该示例方法可以行进至710。
在710处，对于集合bIB的每个成员而言，可以提取颜色值并且可以执行检查以确定是否每个颜色值都等于K。根据一些示例实施方式，如果对于集合bIB的每个成员而言每个颜色值并不等于K，则在720处可以返回已检测到光标(例如返回真)的指示。如果集合bIB的成员的颜色值不等于K，则示例方法行进至如下所述的725。
如果在705处，集合bIC的成员的颜色值并不等于K，则位图bI并不匹配R，并且在725处可以递增位图计数器(I＝I+1)。根据一些示例实施方式，并不递增位图计数器，而是可以根据I＝(I+1)modY修改位图计数器。在730处，可以确定位图计数器是否达到或超过光标模板的位图数目(例如是否I＝Y？)。如果位图计数器并未达到或超过光标模板的位图数目，则示例方法可以在705处使用新值行进以用于I和另一位图。如果位图计数器已达到或超过光标模板的位图数目，则可以在735处返回未检测到光标的指示(例如返回假)。在725处经由I＝(I+1)mod Y修改位图计数器的一些示例实施方式中，可以确定是否I＝0(这指示所有位图已被检查过)；并且如果I＝0，则示例方法行进至735处。如果不是，则示例方法行进至705处。
参考图8来描述由图8描绘的本发明的其他一些示例方法。就此而言，一个示例方法可以包括获取已在800处刷新的、限定图像区域的帧缓存数据。根据一些示例实施方式，在800处获取帧缓存数据可以包括扫描与单一显示区域相关联的经缓存的数据(例如帧缓存数据)以识别帧缓存数据。
一个示例方法还可以包括在810处检测帧缓存数据内的光标。就此而言，在810处检测光标可以包括，确定与成功光标检测相关联的、之前获取图像区域的图像区域匹配维度的维度。进一步地，根据一些示例实施方式，检测光标还可以包括确定帧缓存数据匹配预定光标位图以检测光标。就此而言，预定的光标位图可以是限定光标模板的预定光标位图的集合之一。进一步地，在810处检测帧缓存数据内的光标块还可以包括：确定由帧缓存数据限定的给定像素的颜色值；以及确定由帧缓存数据限定的选定其他像素的颜色值与给定像素的颜色值匹配。选定其他像素可以具有对应于由预定光标位图限定的像素位置的像素位置。根据一些示例实施方式，示例方法还可以包括通过如下方式检测帧缓存数据内的光标：确定由帧缓存数据限定的给定像素的颜色值，以及确定由帧缓存数据限定的选定其他像素的颜色值与给定像素的颜色值并不匹配。就此而言，选定其他像素可以具有对应于由预定光标位图限定的像素位置的像素位置。根据一些示例实施方式，检测帧缓存数据内的光标还包括确定帧缓存数据匹配预定光标位图，其中预定光标位图通过矢量描述生成。一个示例方法还包括在820处将图像区域的坐标和维度直接传输给远程环境。
如本文所述地，本发明的各种示例实施方式具有因实施方式可以实现的方式所导致的有利方面。一些示例实施方式并不要求专有或定制的硬件来执行光标检测和确定活跃文本输入区域。一些示例实施方式并不要求来自UI框架的支持或是对UI框架修改，以执行光标检测和确定活跃文本输入区域。此外，一些示例实施方式并不要求关于光标的指定颜色信息或针对背景的颜色/图案信息以执行光标检测和确定有效文本输入区域。一些示例实施方式还在检测期间最小化处理要求，并且能够应对除简单闪速光标之外的精密光标以执行光标检测并且支持活跃文本输入区域的确定。上面提供的一般性描述在本文中示出了用于显示帧缓存处理和确定活跃文本输入区域的示例方法、示例装置和示例计算机程序产品。图9和图10示出了本发明的示例装置实施方式，其被配置以提供本文所述的各种功能性。图9从参照图1描述和如本文一般性描述的UE(例如UE 101)的角度描绘了一个示例装置，其被配置以执行各种功能性。图10从在图1中所描绘和本文一般性描述的UE 101的角度描绘了形式为移动终端的示例UE装置，其被配置以执行各种功能性。在图9和图10中描绘的示例装置还可以被配置以执行本发明的示例方法(诸如参考图4、图6和图8描述的示例方法)。
现在参见图9，在一些示例实施方式中，装置200可以体现为具有有线或无线通信能力的通信设备的部件，或作为该通信设备的部件而被包括。就此而言，装置200可以被配置以根据本文所述的UE的功能性操作。在一些示例实施方式中，装置200可以是通信设备(例如接入点100或UE 101)的一部分，诸如固定或移动终端。作为固定终端而言，装置200可以是接入点(例如基站、无线路由器等)、计算机、服务器、支持网络通信的设备的一部分。作为移动终端，装置200可以是移动计算机、移动电话、便携式数字助理(PDA)、寻呼机、移动电视、游戏设备、移动计算机、膝上型计算机、相机、录像机、音频/视频播放器、收音机和/或全球低昂为系统(GPS)设备、前述项的任何组合等。无论装置200是哪种类型的通信设备，装置200都可以包括计算能力。
示例装置200包括处理器205、存储器设备210、输入/输出(I/O)接口206、通信接口215、用户接口220、更新标准分析器230、帧数据分析器235以及帧数据光标检测器240，或另外地与上述项通信。处理器205可以体现为用于实现本发明的示例实施方式的各种功能性的各种装置，该装置例如包括处理器、协处理器、控制器、专用集成电路(诸如例如ASIC(专用集成电路))、FPGA(现场可编程门阵列)或硬件加速器、处理电路系统等。根据一个示例实施方式，处理器205可以代表多个处理器或一致操作的一个或多个核芯处理器。进一步地，处理器205可以包括多个晶体管、逻辑门、时钟(例如振荡器)、其他电路系统等以便于实现本文描述的功能性。处理器205可以但不必然包括一个或多个伴随的数字信号处理器。在一些示例实施方式中，处理器205被配置以执行存储在存储器设备210中的指令，或以其他方式供处理器205访问的指令。处理器205可以被配置以操作，从而处理器使得装置200执行本文所述的各种功能性。
无论处理器205被配置为硬件或经由存储在计算机可读存储介质上的指令配置或通过其组合配置，处理器205都可以是在被相应地配置时能够执行根据本发明的操作的实体。因此，在处理器205体现为ASIC、FPGA或其一部分等的示例实施方式中，处理器205被具体被配置以用于进行本文所述的操作的硬件。备选地，在处理器205体现为存储在计算机可执行存储介质上的指令的执行器的示例实施方式中，指令具体配置处理器205以执行本文所述的算法和操作。在一些示例实施方式中，处理器205是具体设备(例如移动终端)的处理器，该设备配置用于通过经由用于执行本文所述的算法、方法和操作的经执行的指令进一步配置处理器205来运用本发明的示例实施方式。
存储器设备210可以是一个或多个计算机可读介质，其包括易失性和/或非易失性存储器。在一些示例实施方式中，存储器设备210包括随机存取存储器(RAM)，该RAM包括动态和/或静态RAM、片上或片外高速缓存存储器等。此外，存储器设备210可以包括非易失性存储器，其可以是嵌入式和/或可移除式的，并且可以包括例如只读存储器、闪速存储器、磁存储设备(例如影片、软盘驱动、磁带等)、光盘驱动和/或介质、非易失性随机存取存储器(NVRAM)等。存储器设备210可以包括用于临时存储数据的高速缓存区域。就此而言，存储器设备210中的一些或全部可以包括在处理器205内。
进一步地，存储器设备210可以配置存储信息、数据、应用、计算机可读存储代码指令、和/或支持处理器205和示例装置200执行根据本文所述的本发明的示例实施方式的各种功能的类似物。例如，存储器设备210可以被配置以供处理器205处理的缓存输入数据。附加地或备选地，存储器设备210可以被配置以存储供处理器205执行的指令。
I/O接口206可以是在硬件、软件或硬件和软件的组合中体现的任何设备、电路或装置，该I/O接口206被配置以将处理器205与其他电路系统或设备(诸如通信接口215和用户接口220)连接。在一些示例实施方式中，处理器205可以经由I/O接口206与存储器210连接。I/O接口206可以被配置以将信号和数据转换成可以由处理器205解译的形式。I/O接口206还可以执行对输入和输出进行缓存以支持处理器205的操作。根据一些示例实施方式，处理器205和I/O接口206可以组合于单一芯片或集成电路上，该单一芯片或集成电路可以被配置以执行或使得装置200执行本发明的各种功能性。
通信接口215可以是在被配置以从网络225和/或与示例装置200(例如远程环境226)通信的任何其他设备或模块接收数据和/或向其传送数据的硬件、计算机程序产品、或硬件和计算机程序产品的组合中体现的任何类型的设备或装置。就此而言，根据各种示例实施方式，装置200经由通信接口215可以与远程环境(例如经由蓝牙)直接连接或经由网络225与远程环境连接。处理器205还可以被配置以便于经由通信接口通过控制例如包括在通信接口215内的硬件来通信。就此而言，通信接口215可以例如包括一个或多个天线、发射机、接收机、收发机、和/或例如用于支持通信的处理器之类的支持硬件。经由通信接口215，示例装置200可以以设备到设备的方式和/或通过经由基站、接入点、服务器、网关、路由器等的间接通信与各种其他网络实体通信。
通信接口215可以被配置以依据各种有线或无线通信标准提供通信。通信接口215可以被配置以支持诸如多输入多输出(MIMO)环境之类的多个天线环境中的通信。此外，通信接口215可以被配置以提供正交频分复用(OFDM)信号传输。在一些示例实施方式中，通信接口215可以被配置以根据各种技术进行通信，该各种技术诸如第二代(2G)无线通信协议、IS-136(时分多址(TDMA))、GSM(移动通信全球系统)、IS-95(码分多址(CDMA))、第三代(3G)无线通信协议(诸如通用移动电信系统(UMTS)、CDMA2000、宽带CDMA(WCDMA)和时分同步CDMA(TD-SCDMA))、3.9代(3.9G)无线通信协议(诸如演进的通用陆地无线电接入网络(E-UTRAN))、第4代(4G)无线通信协议、国际移动电信演进(LMT-高级)协议、包括LTE高级的长期演进(LTE)协议等。此外，通信接口215可以被配置以根据如下技术提供通信，该技术诸如例如射频(RF)、红外(IrDA)或多种不同无线联网技术中的任一种，该无线联网技术包括诸如IEEE 802.11(例如802.11a、802.11b、802.11g、802.11n等)之类的WLAN技术、无线局域网(WLAN)协议、诸如IEEE 802.16之类的微波接入的世界互操作(WiMAX)技术、和/或诸如IEEE 802.15、蓝牙(BT)、BT的低功率版本、超宽带(UWB)、Wibree、Zigbee之类的无线个人区域网络(WPAN)等。通信接口215还可以被配置以支持可能经由因特网协议(IP)在网络层的通信。
用户接口220可以经由用户接口220与处理器205通信以接收用户输入，和/或向用户呈现作为例如可听、可视、机械或其他输出指示的输出。用户接口220可以例如包括键盘、鼠标、操纵杆、显示器(例如触摸屏显示器)、麦克风、扬声器或其他输入/输出机构。进一步地，处理器205可以包括用户接口电路或与其通信，该用户接口电路被配置以控制用户接口的一个或多个元素的至少一些功能。处理器205和/或用户接口电路可以被配置以通过存储在处理器205可访问的存储器(例如易失性存储器、非易失性存储器等)上的计算机程序指令(例如软件和/或固件)，控制用户接口的一个或多个元件的一个或多个功能。在一些示例实施方式中，用户接口电路被配置以便于用户通过使用显示器控制装置200的至少一些功能，并且被配置以响应用户的输入。处理器205还可以包括显示器电路或与其通信，该显示器电路被配置以显示用户接口的至少一部分，显示器和显示器电路被配置以便于用户控制装置200的至少一些功能。
示例装置200的更新标准分析器230、帧数据分析器235和/或帧数据光标检测器240可以是在硬件、计算机程序产品、或硬件和计算机程序产品的组合中部分地或完全地体现的任何装置或设备，该硬件和计算机程序产品的组合诸如：实现所存储的指令以配置示例装置200的处理器205、存储被配置以执行本文所述的功能的可执行程序代码指令的存储器设备210、或被配置以执行本文所述的更新标准分析器230、帧数据分析器235、和/或帧数据光标检测器240的功能的、由硬件配置的处理器205。在一个示例实施方式中，处理器205包括或控制更新标准分析器230、帧数据分析器235、和/或帧数据光标检测器240。更新标准分析器230、帧数据分析器235、和/或帧数据光标检测器240可以部分地或完全地体现为与处理器205类似但是与其分离的处理器。就此而言，更新标准分析器230、帧数据分析器235、和/或帧数据光标检测器240可以与处理器205通信。在各种示例实施方式中，更新标准分析器230、帧数据分析器235、和/或帧数据光标检测器240可以部分地或完全地驻留在不同装置中，从而使得更新标准分析器230、帧数据分析器235、和/或帧数据光标检测器240中的一些或所有功能性可以通过第一装置执行，而更新标准分析器230、帧数据分析器235、和/或帧数据光标检测器240中的剩余功能性可以由一个或多个其他装置执行。
装置200和处理器205可以被配置以经由更新标准分析器230执行下面的功能性。就此而言，更新标准分析器230可以被配置以确定已满足与显示区域相关联的更新标准。就此而言，显示区域小于显示器的整个区域。根据一些示例实施方式，更新标准和显示区域的区域描述可以存储为可能针对相关联应用的元数据。就此而言，元数据可以存储在存储器设备210中。
更新标准可以采取多种形式并且可以与该形式相关联的方式满足更新标准。例如，根据一些示例实施方式，当经过定时器阈值时，可以满足显示区域的更新标准。附加地或备选地，根据一些示例实施方式，在经由用户接口接收到用户输入时，可以满足显示区域的更新标准。备选地或附加地，根据一些示例实施方式，当与当前帧缓存数据相关联的应用上下文已经改变时，可以满足显示区域的更新标准。备选地或附加地，根据一些示例实施方式，当出现与另一显示区域相关联的帧缓存数据改变时，可以满足显示区域的更新标准。
装置200和处理器205可以被配置以经由帧数据分析器235执行下面的功能性。就此而言，调度分析器235可以被配置以将显示区域的当前帧缓存数据与显示区域的后续帧缓存数据进行比较，以确定与显示区域相关联的帧缓存数据改变。当前帧缓存数据和/或后续帧缓存数据可以存储在包括在存储器设备210内的帧缓存中。根据一些示例实施方式，可以响应于满足更新标准而执行由帧数据分析器235执行的比较。进一步地，根据一些示例实施方式，帧数据分析器35可以被配置以便于在显示器上显示区域内呈现帧缓存数据改变。就此而言，显示可以是用户接口220的显示，或者显示可以是远程显示(例如远程环境100)。
装置200和处理器205可以被配置以经由帧数据光标检测器240执行下面的功能性。就此而言，帧数据光标检测器240可以被配置以获取限定已被刷新的图像区域的帧缓存数据，并且检测帧缓存数据内的光标。被配置以检测光标可以包括，被配置以确定图像区域的维度匹配与成功光标检测相关联的之前获取的图像区域的维度。帧数据光标检测器240还可以被配置以将图像区域的坐标和维度直接传输给远程环境。
根据一些示例实施方式，帧数据光标检测器240可以被配置以通过扫描与单一显示区域(例如内容区域)相关联的经缓存数据获取帧缓存数据以识别帧缓存数据。进一步地，根据一些示例实施方式，帧数据光标240还可以被配置以确定帧缓存数据匹配预定的光标位图以检测光标。就此而言，预定光标位图可以是限定光标模板的预定光标位图的集合中的一个。进一步地，被配置以检测帧缓存数据内的光标还可以包括：被配置以确定由帧缓存数据限定的给定像素的颜色值，并且确定由帧缓存数据限定的选定其他像素的颜色值与给定像素的颜色值相匹配。选定其他像素还可以具有对应于由预定光标位图限定的像素位置的像素位置。根据一些示例实施方式，帧数据光标检测器240还可以被配置以通过如下方式确定检测帧缓存数据内的光标：确定由帧缓存数据限定的给定像素的颜色值，并且确定由帧缓存数据限定的选定其他像素的颜色值与给定像素的颜色值不匹配。就此而言，选定其他像素可以具有对应于由预定光标位图限定的像素位置的像素位置。根据一些示例实施方式，帧数据光标检测器240可以被配置以通过如下方式检测帧缓存数据内的光标：确定帧缓存数据与预定光标位图匹配，其中预定光标位图通过矢量描述生成。根据一些示例实施方式，帧数据光标检测器240还可以被配置以将活跃文本输入区域的位置信息直接传输给远程环境。
现在参见图10，提供根据本发明的各种实施方式的更多具体示例装置。图10的示例装置是被配置以在无线网络(诸如蜂窝通信网络)内通信的移动终端10。移动终端10可以被配置以执行如本文描述的UE 101和/或装置200的功能性。更具体而言，可以使得移动终端10经由处理器20执行更新标准分析器230、帧数据分析器235和/或帧数据光标检测器240的功能性。就此而言，处理器20可以是如下集成电路或芯片，其被配置以类似于与例如I/O接口206的处理器205相结合。进一步地，易失性存储器40和非易失性存储器42可以被配置以支持作为计算机可读存储介质的处理器20的操作。
移动终端10还可以包括天线12、发射机14、以及接收机16，上述各项可以作为移动终端10的通信接口的部分而被包括。扬声器224、麦克风26、显示器28、和小键盘30可以作为用户接口的部分而被包括。
根据图4、图6、图7b和图8示出了根据本发明的一些示例实施方式示例系统、方法和/或计算机程序产品。将理解，流程图的每个框或操作、和/或流程图的框或操作的组合可以通过各种装置实现。用于实现流程图的框或操作、流程图中框或操作的组合、或本文描述的本发明的示例实施方式的其他功能性的装置可以包括硬件和/或计算机程序产品，该装置包括计算机可读存储介质(相对于描述传播信号的计算机可读传输介质)，该计算机可读存储介质包括存储于其中的一个或多个计算机程序代码指令、程序指令、或可执行的计算机可读程序代码指令。就此而言，程序代码指令可以存储在诸如示例装置200之类的示例装置的诸如存储器设备210之类的存储器设备上，并且由诸如处理器205之类的处理器执行。如将理解的那样，可以在计算机或其他可编程装置(例如处理器205、存储器设备210等)上从计算机可读存储介质加载任何这类程序代码指令以产生特定机器，从而使得特定机器变为用于实现在流程图的框或操作中指定的功能。这些程序代码指令还可以存储在计算机可读存储介质上，该程序代码指令可以引导计算机、处理器或其他可编程装置以特定的方式工作，从而生成特定的机器或特定的制品。存储在计算机可读存储介质中的指令可以产生制品，其中该制品变为用于实现在流程图的一个或者多个框或步骤中指定的功能的装置。可以从计算机可读存储介质检索程序代码指令并且将其加载进入计算机、处理器或其他可编程装置中，从而配置计算机、处理器或其他可编程装置，以执行将在计算机、处理器或其他可编程装置上执行的或将由其执行的操作。可以顺序地执行程序代码指令的检索、加载和执行，从而使得一次仅检索、加载和执行一条指令。在一些示例实施方式中，可以并行地执行检索、加载和/或执行，从而使得一起检索、加载和/或执行多条指令。程序代码指令的执行可以产生计算机执行的过程，从而使得由计算机、处理器或其他可编程装置执行的指令提供用于在流程图的框或操作中指定的功能的操作。
因此，由处理器执行与流程图的框或操作相关联的指令、或存储与计算机可读存储介质中与流程图的框或操作相关联的指令，其支持用于执行指定功能的操作的组合。还将理解，流程图的一个或多个框或操作和流程图中操作或框的组合可以由专用的、基于硬件的计算机系统或执行指定功能的处理器、或专业硬件和程序代码指令的组合来实现。
本发明的一些附加的示例实施方式描述如下。一个示例方法包括：获取限定已被刷新的图像区域的帧缓存数据；检测帧缓存数据内的光标，其中检测光标包括：确定图像区域的维度匹配与成功光标检测相关联的之前获取的图像区域的维度；以及向远程环境引导图像区域的坐标和维度的传输。根据一些示例实施方式，获取帧缓存数据包括：扫描与单一显示区域相关联的经缓存的数据以识别帧缓存数据。根据一些示例实施方式，检测帧缓存数据内的光标包括：确定帧缓存数据匹配预定的光标位图，预定的光标位图是限定光标模板的预定光标位图的集合中的一个。根据一些示例实施方式，检测帧缓存数据内的光标包括：确定由帧缓存数据限定的给定像素的颜色值；以及确定由帧缓存数据限定的选定其他像素的颜色值匹配给定像素的颜色值，选定其他像素具有对应于由预定光标位图限定的像素位置的像素位置。根据一些示例实施方式，检测帧缓存数据内的光标包括：确定由帧缓存数据限定的给定像素的颜色值；以及确定由帧缓存数据限定的选定其他像素的颜色值不匹配给定像素的颜色值，选定其他像素具有对应于由预定光标位图限定的像素位置的像素位置。根据一些示例实施方式，检测帧缓存数据内的光标包括：确定帧缓存数据匹配预定光标位图，预定的光标位图已经通过矢量描述生成。根据一些示例实施方式，引导图像区域的坐标和维度的传输包括：向远程环境引导活跃文本输入区域的位置信息的传输。
另一示例实施方式是包括至少一个处理器和包括计算机程序代码的至少一个存储器，至少一个存储器和计算机程序代码被配置以使用至少一个处理器使得装置至少执行：获取限定已被刷新的图像区域的帧缓存数据；检测帧缓存数据内的光标，其中使得装置执行检测光标包括，使得装置确定图像区域的维度匹配与成功光标检测相关联的之前获取的图像区域的维度；以及向远程环境引导图像区域的坐标和维度的传输。根据一些示例实施方式，使得装置执行获取帧缓存数据包括：使得装置扫描与单一显示区域相关联的经缓存的数据以识别帧缓存数据。根据一些示例实施方式，使得装置执行检测帧缓存数据内的光标包括：使得装置执行确定帧缓存数据匹配预定的光标位图，预定的光标位图是限定光标模板的预定光标位图的集合中的一个。根据一些示例实施方式，使得装置执行检测帧缓存数据内的光标包括：使得装置确定由帧缓存数据限定的给定像素的颜色值；以及确定由帧缓存数据限定的选定其他像素的颜色值匹配给定像素的颜色值，选定其他像素具有对应于由预定光标位图限定的像素位置的像素位置。根据一些示例实施方式，使得装置执行检测帧缓存数据内的光标包括：使得装置执行确定由帧缓存数据限定的给定像素的颜色值；以及确定由帧缓存数据限定的选定其他像素的颜色值并不匹配给定像素的颜色值，选定其他像素具有对应于由预定光标位图限定的像素位置的像素位置。根据一些示例实施方式，使得装置执行检测帧缓存数据内的光标包括：使得装置执行确定帧缓存数据匹配预定光标位图，预定的光标位图已经通过矢量描述生成。根据一些示例实施方式，使得装置引导所述图像区域的坐标和维度的传输包括：使得装置向所述远程环境引导活跃文本输入区域的位置信息的传输。根据一些示例实施方式，装置包括移动终端；以及其中装置还包括用户接口电路和用户接口软件，被配置以便于用户通过显示器的使用控制移动终端的至少一些功能，并且被配置以响应用户的输入；以及显示器和显示器电路，被配置以显示移动终端的用户接口的一部分，显示器和显示器电路被配置以便于用户控制移动终端的至少一些功能。根据一些示例实施方式，装置还包括被配置以传输信息给远程环境的通信接口。
本发明的另一示例实施方式是具有存储于其中的可执行的计算机可读程序代码指令的计算机可读存储介质，该指令用于使得装置执行：获取限定已被刷新的图像区域的帧缓存数据；检测帧缓存数据内的光标，其中用于使得装置执行检测光标的指令包括用于使得装置执行确定图像区域的维度匹配与成功光标检测相关联的之前获取的图像区域的维度的指令；以及向远程环境引导图像区域的坐标和维度的传输。根据一些示例实施方式，用于使得装置执行获取帧缓存数据的指令包括：用于使得装置扫描与单一显示区域相关联的经缓存的数据以识别帧缓存数据的指令。根据一些示例实施方式，用于使得装置执行检测帧缓存数据内的光标的指令包括，用于使得装置执行以下项的指令：确定帧缓存数据匹配预定的光标位图，预定的光标位图是限定光标模板的预定光标位图的集合中的一个。根据一些示例实施方式，用于使得装置执行检测帧缓存数据内的光标的指令包括，用于使得装置执行以下项的指令：确定由帧缓存数据限定的给定像素的颜色值；以及确定由帧缓存数据限定的选定其他像素的颜色值匹配给定像素的颜色值，选定其他像素具有对应于由预定光标位图限定的像素位置的像素位置。根据一些示例实施方式，用于使得装置执行检测帧缓存数据内的光标包括，用于使得装置执行以下项的指令：确定由帧缓存数据限定的给定像素的颜色值；以及确定由帧缓存数据限定的选定其他像素的颜色值不匹配给定像素的颜色值，选定其他像素具有对应于由预定光标位图限定的像素位置的像素位置。根据一些示例实施方式，用于使得装置执行检测帧缓存数据内的光标的指令包括，用于使得装置执行以下项的指令：确定帧缓存数据匹配预定光标位图，预定的光标位图已经通过矢量描述生成。根据一些示例实施方式，用于使得装置引导图像区域的坐标和维度的传输的指令包括，用于使得装置执行以下项的指令：向远程环境引导图像区域的坐标和维度的传输。
又一示例实施方式是如下设备，包括：用于获取限定已被刷新的图像区域的帧缓存数据的装置；用于检测帧缓存数据内的光标的装置，其中用于检测光标的装置包括确定图像区域的维度匹配与成功光标检测相关联的之前获取的图像区域的维度；以及用于向远程环境引导图像区域的坐标和维度的传输的装置。
在理解前面的描述和相关联的附图之后，本发明所属技术领域人员将想到本文阐述的本发明的许多修改和其他一些实施方式。因此，可以理解本发明并不限于所公开的具体实施方式，并且修改和其他一些实施方式旨在由所附权利要求书的范围所包括。此外，虽然前面的描述和相关联的附图在元件和/或功能的某些示例组合的上下文中描述了一些示例实施方式，但是应该理解，在不偏离所附权利要求书的范围的前提下，可以由备选实施方式提供元件和/或功能的不同组合。就此而言，例如，除了上面明确描述的那些元件和/或功能的组合之外，还可以想到可能在所附权利要求书中的一些中阐述的元件和/或功能的不同组合。虽然本文运用了具体术语，但是它们仅在一般和描述性的意义上被使用，而不是出于限制的目的。

Claims (24)

1.一种方法，包括：
获取限定已被刷新的图像区域的帧缓存数据；
检测所述帧缓存数据内的光标，其中检测所述光标包括：确定所述图像区域的维度匹配与成功光标检测相关联的之前获取的图像区域的维度；以及
向远程环境引导所述图像区域的坐标和维度的传输。
2.根据权利要求1所述的方法，其中获取所述帧缓存数据包括：扫描与单一显示区域相关联的经缓存的数据以识别所述帧缓存数据。
3.根据权利要求1所述的方法，其中检测所述帧缓存数据内的光标包括：确定所述帧缓存数据匹配预定的光标位图，所述预定的光标位图是限定光标模板的预定光标位图的集合中的一个。
4.根据权利要求1所述的方法，其中检测所述帧缓存数据内的所述光标包括：
确定由所述帧缓存数据限定的给定像素的颜色值；以及
确定由所述帧缓存数据限定的选定其他像素的颜色值匹配所述给定像素的颜色值，所述选定其他像素具有对应于由预定光标位图限定的像素位置的像素位置。
5.根据权利要求1所述的方法，其中检测所述帧缓存数据内的所述光标包括：
确定由所述帧缓存数据限定的给定像素的颜色值；以及
确定由所述帧缓存数据限定的选定其他像素的颜色值不匹配所述给定像素的颜色值，所述选定其他像素具有对应于由预定光标位图限定的像素位置的像素位置。
6.根据权利要求1所述的方法，其中检测所述帧缓存数据内的所述光标包括：确定所述帧缓存数据匹配预定光标位图，所述预定的光标位图已经通过矢量描述生成。
7.根据权利要求1所述的方法，其中引导所述图像区域的坐标和维度的传输包括：向所述远程环境引导活跃文本输入区域的位置信息的传输。
8.一种装置，包括至少一个处理器和包括计算机程序代码的至少一个存储器，所述至少一个存储器和所述计算机程序代码被配置以使用所述至少一个处理器使得所述装置至少执行：
获取限定已被刷新的图像区域的帧缓存数据；
检测所述帧缓存数据内的光标，其中所述装置被使得执行检测所述光标包括：使得所述装置确定所述图像区域的维度匹配与成功光标检测相关联的之前获取的图像区域的维度；以及
向远程环境引导所述图像区域的坐标和维度的传输。
9.根据权利要求8所述的装置，其中所述装置被使得获取所述帧缓存数据包括：所述装置被使得扫描与单一显示区域相关联的经缓存的数据以识别所述帧缓存数据。
10.根据权利要求8所述的装置，其中所述装置被使得检测所述帧缓存数据内的所述光标包括：所述装置被使得确定所述帧缓存数据匹配预定的光标位图，所述预定的光标位图是限定光标模板的预定光标位图的集合中的一个。
11.根据权利要求8所述的装置，其中所述装置被使得检测所述帧缓存数据内的所述光标包括所述装置被使得：
确定由所述帧缓存数据限定的给定像素的颜色值；以及
确定由所述帧缓存数据限定的选定其他像素的颜色值匹配所述给定像素的颜色值，所述选定其他像素具有对应于由预定光标位图限定的像素位置的像素位置。
12.根据权利要求8所述的装置，其中所述装置被使得检测所述帧缓存数据内的所述光标包括，所述装置被使得：
确定由所述帧缓存数据限定的给定像素的颜色值；以及
确定由所述帧缓存数据限定的选定其他像素的所述颜色值不匹配所述给定像素的颜色值，所述选定其他像素具有对应于由预定光标位图限定的像素位置的像素位置。
13.根据权利要求8所述的装置，其中所述装置被使得检测所述帧缓存数据内的所述光标包括：所述装置被使得确定所述帧缓存数据匹配预定光标位图，所述预定光标位图已经通过矢量描述生成。
14.根据权利要求8所述的装置，其中所述装置被使得引导所述图像区域的坐标和维度的传输包括：所述装置被使得向所述远程环境引导活跃文本输入区域的位置信息的传输。
15.根据权利要求8所述的装置，其中所述装置包括移动终端；以及其中所述装置还包括用户接口电路和用户接口软件，被配置以便于用户通过显示器的使用控制所述移动终端的至少一些功能，并且被配置以响应用户的输入；以及显示器和显示器电路系统，所述显示器和显示器电路系统被配置以显示所述移动终端的用户接口的至少一部分，所述显示器和显示器电路系统被配置以便于用户控制所述移动终端的至少一些功能。
16.根据权利要求8所述的装置，进一步包括通信接口，被配置以向所述所述远程环境传输信息。
17.一种具有存储于其中的可执行的计算机可读程序代码指令的计算机可读存储介质，所述指令用于使得装置：
获取限定已被刷新的图像区域的帧缓存数据；
检测所述帧缓存数据内的光标，其中用于使得所述装置检测所述光标的指令包括：用于使得所述装置确定所述图像区域的维度匹配与成功光标检测相关联的之前获取的图像区域的维度的指令；以及
向远程环境引导所述图像区域的坐标和维度的传输。
18.根据权利要求17所述计算机可读存储介质，其中用于使得所述装置执行获取所述帧缓存数据的指令包括：用于使得所述装置扫描与单一显示区域相关联的经缓存的数据以识别帧缓存数据的指令。
19.根据权利要求17所述计算机可读存储介质，其中用于使得所述装置检测所述帧缓存数据内的所述光标的指令包括，用于使得所述装置执行以下项的指令：确定所述帧缓存数据匹配预定的光标位图，所述预定的光标位图是限定光标模板的预定光标位图的集合中的一个。
20.根据权利要求17所述计算机可读存储介质，其中用于使得所述装置检测所述帧缓存数据内的所述光标的指令包括，用于使得所述装置执行以下项的指令：
确定由所述帧缓存数据限定的给定像素的颜色值；以及
确定由所述帧缓存数据限定的选定其他像素的颜色值匹配所述给定像素的颜色值，所述选定其他像素具有对应于由预定光标位图限定的像素位置的像素位置。
21.根据权利要求17所述计算机可读存储介质，其中用于使得所述装置检测所述帧缓存数据内的所述光标的指令包括，用于使得所述装置执行以下项的指令：
确定由所述帧缓存数据限定的给定像素的颜色值；以及
确定由所述帧缓存数据限定的选定其他像素的颜色值不匹配所述给定像素的颜色值，所述选定其他像素具有对应于由预定光标位图限定的像素位置的像素位置。
22.根据权利要求17所述计算机可读存储介质，其中用于使得所述装置检测所述帧缓存数据内的所述光标的指令包括，用于使得所述装置执行以下项的指令：确定所述帧缓存数据匹配预定光标位图，所述预定光标位图已经通过矢量描述生成。
23.根据权利要求17所述计算机可读存储介质，其中用于使得所述装置引导所述图像区域的坐标和维度的传输的指令包括，用于使得所述装置执行以下项的指令：向所述远程环境引导活跃文本输入区域的位置信息的传输。
24.一种设备，包括：
用于获取限定已被刷新的图像区域的帧缓存数据的装置；
用于检测所述帧缓存数据内的光标的装置，其中用于检测所述光标的装置包括：确定所述图像区域的维度匹配与成功光标检测相关联的之前获取的图像区域的维度；以及
用于向远程环境引导所述图像区域的坐标和维度的传输的装置。
CN201080040519.2A 2009-07-09 2010-07-01 用于确定活跃输入区域的方法和装置 Active CN102498512B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US22434809P 2009-07-09 2009-07-09
US61/224,348 2009-07-09
US24344009P 2009-09-17 2009-09-17
US61/243,440 2009-09-17
PCT/IB2010/001602 WO2011004234A1 (en) 2009-07-09 2010-07-01 Method and apparatus for determining an active input area

Publications (2)

Publication Number Publication Date
CN102498512A true CN102498512A (zh) 2012-06-13
CN102498512B CN102498512B (zh) 2015-11-25

Family

ID=43428839

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080040519.2A Active CN102498512B (zh) 2009-07-09 2010-07-01 用于确定活跃输入区域的方法和装置

Country Status (6)

Country Link
US (1) US9690599B2 (zh)
EP (1) EP2452333A4 (zh)
KR (1) KR20120027545A (zh)
CN (1) CN102498512B (zh)
RU (1) RU2523937C2 (zh)
WO (1) WO2011004234A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108073338A (zh) * 2016-11-15 2018-05-25 龙芯中科技术有限公司 光标显示方法及系统

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8264499B1 (en) * 2009-06-02 2012-09-11 Sprint Communications Company L.P. Enhancing viewability of information presented on a mobile device
CN102375554A (zh) * 2010-07-19 2012-03-14 鸿富锦精密工业（深圳）有限公司 手持装置及其输入字符的方法
US10564791B2 (en) 2011-07-21 2020-02-18 Nokia Technologies Oy Method and apparatus for triggering a remote data entry interface
US9772755B2 (en) * 2013-11-15 2017-09-26 Microsoft Technology Licensing, Llc Remote control for displaying application data on dissimilar screens
US9430085B2 (en) * 2014-09-12 2016-08-30 Microsoft Technology Licensing, Llc Classification of touch input as being unintended or intended
US10712897B2 (en) * 2014-12-12 2020-07-14 Samsung Electronics Co., Ltd. Device and method for arranging contents displayed on screen
CN104461366A (zh) * 2014-12-16 2015-03-25 小米科技有限责任公司 激活移动终端的操作状态的方法及装置
CN106293444B (zh) 2015-06-25 2020-07-03 小米科技有限责任公司 移动终端、显示控制方法及装置
CN110865856B (zh) * 2018-08-27 2022-04-22 华为技术有限公司 一种界面元素颜色显示方法及装置
JP2020177074A (ja) * 2019-04-16 2020-10-29 株式会社デンソー 車両用装置、車両用装置の制御方法
US11114060B2 (en) * 2019-08-08 2021-09-07 Adlink Technology Inc. Cursor image detection comparison and feedback status determination method
CN113504882B (zh) * 2021-04-30 2024-02-06 惠州华阳通用电子有限公司 一种多系统多区域显示方法
US11599265B1 (en) * 2021-12-30 2023-03-07 Motorola Solutions, Inc. Enhancement of non-touchscreen enabled mobile applications
US11949923B1 (en) * 2022-12-19 2024-04-02 Adobe Inc. Trigger based digital content caching

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5107251A (en) * 1989-08-25 1992-04-21 Sun Microsystems, Inc. Method and apparatus for detecting cursors
JP2000020243A (ja) * 1998-07-01 2000-01-21 Fujitsu Ltd カーソル制御方法、記憶媒体及び情報処理装置
US20080141120A1 (en) * 1996-06-03 2008-06-12 Microsoft Corporation Displaying Scaled-Down Versions of Documents on Favorites and Recent Menu
CN101228515A (zh) * 2005-04-12 2008-07-23 贝尔金国际公司 用于管理多个计算机的装置和系统
CN101309472A (zh) * 2007-05-18 2008-11-19 希姆通信息技术（上海）有限公司 实现移动通信终端三维场景拨号界面的方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5134697A (en) 1987-11-16 1992-07-28 Prime Computer Remote memory-mapped display with interactivity determination
AU8393191A (en) 1990-07-10 1992-02-04 Athenix Corporation Selective content synchronization of multiple image buffers
KR100318330B1 (ko) * 1991-04-08 2002-04-22 가나이 쓰도무 감시장치
GB2282307A (en) 1993-09-24 1995-03-29 Ibm Disabling display unit when image is unchanged
US5473343A (en) 1994-06-23 1995-12-05 Microsoft Corporation Method and apparatus for locating a cursor on a computer screen
US5898422A (en) 1996-05-31 1999-04-27 International Business Machines Corporation Method and system for recognition of pointers
JP2002182816A (ja) 2000-12-14 2002-06-28 Matsushita Electric Ind Co Ltd カーソル位置指示装置
EP1518211A2 (en) * 2000-12-22 2005-03-30 Anthropics Technology Limited Image processing system
US6995771B2 (en) * 2001-12-07 2006-02-07 Intel Corporation Sparse refresh of display
RU2328030C2 (ru) * 2003-08-21 2008-06-27 Майкрософт Корпорейшн Управление фокусом с использованием точек, соответствующих положению пера над поверхностью цифрового преобразователя
US20070288640A1 (en) * 2006-06-07 2007-12-13 Microsoft Corporation Remote rendering of multiple mouse cursors
US8144160B2 (en) 2007-02-16 2012-03-27 Emulex Corporation Methods and apparatus for non-intrusive capturing of frame buffer memory information for remote display
US20080297525A1 (en) 2007-05-31 2008-12-04 Barinder Singh Rai Method And Apparatus For Reducing Accesses To A Frame Buffer
JP4416031B2 (ja) 2007-10-11 2010-02-17 セイコーエプソン株式会社 画像処理装置、画像処理方法及びそれらの機能を実現するためのコンピュータプログラム並びにそのコンピュータプログラムを記録した記録媒体
US20100201617A1 (en) 2009-02-06 2010-08-12 Inventec Corporation Real-time Translation display interface and display method thereof

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5107251A (en) * 1989-08-25 1992-04-21 Sun Microsystems, Inc. Method and apparatus for detecting cursors
US20080141120A1 (en) * 1996-06-03 2008-06-12 Microsoft Corporation Displaying Scaled-Down Versions of Documents on Favorites and Recent Menu
JP2000020243A (ja) * 1998-07-01 2000-01-21 Fujitsu Ltd カーソル制御方法、記憶媒体及び情報処理装置
CN101228515A (zh) * 2005-04-12 2008-07-23 贝尔金国际公司 用于管理多个计算机的装置和系统
CN101309472A (zh) * 2007-05-18 2008-11-19 希姆通信息技术（上海）有限公司 实现移动通信终端三维场景拨号界面的方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108073338A (zh) * 2016-11-15 2018-05-25 龙芯中科技术有限公司 光标显示方法及系统
CN108073338B (zh) * 2016-11-15 2020-06-30 龙芯中科技术有限公司 光标显示方法及系统

Also Published As

Publication number Publication date
RU2523937C2 (ru) 2014-07-27
CN102498512B (zh) 2015-11-25
EP2452333A1 (en) 2012-05-16
US20110242122A1 (en) 2011-10-06
EP2452333A4 (en) 2013-03-06
RU2012104205A (ru) 2013-08-20
US9690599B2 (en) 2017-06-27
KR20120027545A (ko) 2012-03-21
WO2011004234A1 (en) 2011-01-13

Similar Documents

Publication Publication Date Title
CN102498512B (zh) 用于确定活跃输入区域的方法和装置
CN108562869B (zh) 一种室内定位导航系统及方法
EP2735133B1 (en) Method and apparatus for providing data entry content to a remote environment
KR101770529B1 (ko) 2차원 코드 인식 방법 및 장치
US20150019997A1 (en) Apparatus and method for processing contents in portable terminal
US10028318B2 (en) Method for connecting to external devices and electronic device implementing the same
CN105228177A (zh) 信息显示方法和装置
CN104866262A (zh) 可穿戴设备
US20160085518A1 (en) Systems and methods for imaging and generation of executable processor instructions based on ordered objects
US20140349627A1 (en) Displaying a group message
KR20210093671A (ko) 전자 장치 및 그 제어 방법
US10346799B2 (en) System to catalogue tracking data
KR20160028713A (ko) 사용자 단말기, 디스플레이 장치, 디스플레이 장치 제어 시스템 및 그 방법
CN104281568A (zh) 一种释义显示方法和装置
US11568157B2 (en) Scanner, control method of scanner, non-transitory computer readable storage medium, and scanning system
US20140223349A1 (en) Method and apparatus for controlling electronic device
US20110157001A1 (en) Method and apparatus for display framebuffer processing
US20150145749A1 (en) Image processing apparatus and image processing method
US8702001B2 (en) Apparatus and method for acquiring code image in a portable terminal
US10754663B2 (en) Dynamic determination of hardware
CN116175558A (zh) 一种智能机械手测试系统和测试方法
KR20130120298A (ko) 휴먼 머신 인터페이스를 지원하는 산업용 공장 자동화 장치, 이와 통신하는 휴대용 단말기 및 이들의 동작 방법
CN113342246A (zh) 操作方法、移动终端及存储介质
US20180260933A1 (en) Display apparatus and control method thereof
KR101799413B1 (ko) 스크롤 입력 기반 인터랙티브 노선정보 제공 시스템 및 방법, 그리고 이를 위한 사용자 장치 및 컴퓨터 프로그램이 기록된 기록매체

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20160112

Address after: Espoo, Finland

Patentee after: Technology Co., Ltd. of Nokia

Address before: Espoo, Finland

Patentee before: Nokia Oyj