管理电子装置虚拟控制界面的方法及其装置
技术领域
本发明涉及一种电子装置的用户界面(user interface,UI)。特别地,本发明涉及一种管理电子装置虚拟控制界面的方法及其装置。
背景技术
可将传统可携式电子装置(例如,传统多功能手机)设计为运行多种类型的传统应用。例如,一些传统应用可为游戏。当用户通过传统多功能手机玩游戏时,用户一般需要用户界面控制游戏。根据相关技术,游戏开发者必须分别设计自身的UI,并且典型地必须分别提供游戏显示所需的资源。然而,这将产生许多问题。例如,各种输入UI分别对应各种输入体验,并且用户需要花大量时间一遍遍地学习。在另一示例中,对于各种输入UI,需要开发者重新设计,这样也将浪费他们的时间。在另一示例中,当输入UI较奇特时,需要更多资源。因此,游戏可浪费传统多功能手机的存储空间,并且在下载游戏期间浪费用户的时间。总之,亟需一种新颖方法用于改进基础设计结构并且改善用户体验。
发明内容
有鉴于此,本发明揭露一种管理电子装置虚拟控制界面的方法及其装置。
根据本发明一实施例,本发明提供一种管理电子装置虚拟控制界面的方法,所述方法包含:应用特定组通用用户界面作为多个应用的通用服务,其中,该特定组通用用户界面是要在屏幕上显示的一组虚拟控制界面,并且运行在该电子装置的系统架构提供该特定组通用用户界面,而不是该多个应用中的任意应用提供该特定组通用用户界面;以及显示该特定组通用用户界面以允许用户通过该特定组通用用户界面控制该电子装置。
本发明另一实施例,本发明提供一种管理电子装置虚拟控制界面的装置,该装置包含该电子装置的至少一部分,所述装置包含:处理电路,用于根据程序说明控制该电子装置的操作,其中,该处理电路应用特定组通用用户界面作为多个应用的通用服务,其中,该特定组通用用户界面是要在屏幕上显示的一组虚拟控制界面,并且运行在该电子装置的系统架构提供该特定组通用用户界面,而不是该多个应用中的任意应用提供该特定组通用用户界面;其中,该处理电路控制该电子装置的显示模块显示该特定组通用用户界面以允许用户通过该特定组通用用户界面控制该电子装置。
本发明提供的管理电子装置虚拟控制界面的方法及其装置可改善用户体验。
附图说明
图1是根据本发明第一实施例描述的用于管理电子装置虚拟控制界面的装置示意图;
图2是根据本发明实施例描述的与图1中装置相关联的多功能移动电话的示意图;
图3是根据本发明实施例描述的管理电子装置虚拟控制界面的方法流程图;
图4是根据本发明实施例描述的与图3所示方法关联的游戏控制界面示意图;
图5是根据本发明实施例描述的与图3所示方法关联的游戏控制界面示意图;
图6是根据本发明实施例描述的与图3所示方法关联的游戏控制界面示意图;
图7是根据本发明实施例描述的与图3所示方法关联的控制方案示意图;
图8是根据本发明实施例描述的与图3所示方法关联的控制方案示意图;
图9是根据本发明实施例描述的与图3所示方法关联的控制方案示意图;
图10是根据本发明实施例描述的与图3所示方法关联的架构示意图;
图11是根据本发明实施例描述的与图3所述方法关联的时序图。
具体实施方式
在说明书及权利要求书当中使用了某些词汇来指称特定的元件。所属技术领域的技术人员应可理解,硬件制造商可能会用不同的名词来称呼同一个元件。本说明书及权利要求书并不以名称的差异作为区分元件的方式,而是以元件在功能上的差异作为区分的准则。在通篇说明书及权利要求项中所提及的“包含”为一开放式的用语,故应解释成“包含但不限定于”。此外,“耦接”一词在此包含任何直接及间接的电气连接手段。因此,若文中描述第一装置耦接于第二装置,则代表第一装置可直接电气连接于第二装置,或通过其它装置或连接手段间接地电气连接至第二装置。
接下来的描述是实现本发明的最佳实施例,其是为了描述本发明原理的目的,并非对本发明的限制。可以理解地是,本发明实施例可由软件、硬件、固件或其任意组合来实现。
请参考图1,图1是根据本发明第一实施例描述的用于管理电子装置虚拟控制界面的装置100的示意图,其中,装置100包含电子装置的至少一部分(例如,部分或全部)。例如,装置100包含上述电子装置的一部分,尤其是,可为电子装置中至少一个硬件电路(例如,至少一个集成电路)。在另一示例中,装置100可为上述的整个电子装置。在另一示例中,装置100包含具有上述电子装置的系统(例如,包含电子装置的音频/视频系统)。示例电子装置可包含手机(例如,多功能手机)、个人数字助理(PDA)、平板电脑或个人计算机(笔记本电脑),本发明并不局限于此。
如图1所示,装置100包含处理电路110,其中设置处理电路110以控制电子装置的操作,并且进一步包含收发机120,其为电子装置发送及/或接收信息,其中,收发机120耦接处理电路110,并且收发机120可耦接电子装置的一个或多个天线。例如,处理电路110可至少包含一个处理器及其硬件资源,并且收发机120可包含发射机与接收机,例如用于无线网络通信的发射机与接收机,其中处理器执行程序代码110P(例如,程序指令)。更特别地,装置100可进一步包含存储模块130(例如,硬盘驱动器、类似闪存的非易失性存储器或动态随机存取存储器),为电子装置存储信息、数据及/或程序代码,并且可根据内部存储器或存储模块130加载或恢复的程序代码110P(例如,程序指令)安排处理电路110控制电子装置的上述操作。
根据上述实施例,处理电路110允许多个应用使用相同虚拟控制界面集合,其中在电子装置中运行的系统架构(例如,电子装置操作系统的系统架构)可提供上述虚拟控制界面集合。例如,上述应用可为游戏应用(为了简化起见,在本示例中可称为游戏),并且上述游戏可共享并使用上述虚拟控制界面集合。此外,当电子装置运行游戏应用时,处理电路110可从系统架构原始提供的多组虚拟控制界面中选择一组,并且使用所选的该组虚拟控制界面作为电子装置与用户之间的控制界面。当许多应用的应用开发者(例如,游戏设计者)安排这些应用以呼叫系统架构原始提供的多组虚拟控制接口中的任意一组时,他们不需要设计(或重新设计)应用的输入界面,这样,既然这些应用可共享并使用上述多组虚拟控制界面中的一组或多组,则应用的设计负载将大幅降低,并且应用的大小也会大幅减小。此外,对于电子装置的用户,每个应用的下载时间会大幅缩短,并且每个应用不会占用电子装置的太多存储空间。
图2是根据本发明实施例描述的与图1中装置100关联的多功能移动电话200的示意图,其中,多功能移动电话200可作为上述电子装置的示例。如图2所示,多功能移动电话200可包含显示模块210与摄像头220。显示模块210可为触控显示模块。在某些实施例中,显示模块210可包含液晶显示(Liquid Crystal Display,LCD)模块(其可简称为LCM)以及触控面板,其中可安排LCD模块显示多功能移动电话200的信息,并且可安排触控面板检测用户输入(例如,用户手势输入)。这仅是为了说明的目的,并不是对本发明的限制。
图3是根据本发明实施例描述的管理电子装置虚拟控制界面的方法300流程图。可将图3所示的方法300应用于图1所示的装置100(更特别地,图2所示实施例的多功能移动电话200),并且上述方法300可应用于处理电路110(更特别地,图1所示实施例中执行应用代码110P的处理电路110)。例如,可通过具有程序指令用于指示处理器的计算机程序产品提供程序代码110P,以执行图3所示的方法300,其中可实施计算机程序产品作为存储程序指令或等值版本的非暂时计算机可读媒介(例如,软盘或光盘驱动器),例如用于安装的安装包。这仅是为了说明的目的,并不是对本发明的限制。下面将详细描述上述方法。
在步骤310,处理电路110可利用特定组通用用户界面(specific set of commonuser interface)作为多个应用的通用服务,其中特定组通用用户界面可为在屏幕上(例如,显示模块210)显示的一组虚拟控制界面,并且上述系统架构(例如,电子装置中运行的系统架构)提供特定组通用用户界面,而不是由多个应用中的任意应用提供。例如,多个应用可为游戏应用(其可简称为游戏),并且这些游戏可共享并使用上述特定组通用用户界面。在一实施例中,存在用于不同类型应用的多组通用用户界面。例如,存在用于第一类型游戏应用的第一组通用用户界面、用于第二类型游戏应用的第二组通用用户界面、用于电视观看应用的第三组通用用户界面以及用于音乐播放应用的第四组通用用户界面。因此,在一实施例中,处理电路110可从多组通用UI中选择特定组通用UI,用于多个应用的特定应用,其中多组通用UI中的每组通用UI可为要在显示模块210的屏幕上(例如,LCD模块或LCM)显示的一组虚拟控制界面,并且上述运行在电子装置的系统架构(例如,上述OS的系统架构)提供多组通用UI,而不是由多个应用的任意应用提供。尤其是,运行在电子装置上的系统架构提供多组通用UI中每组通用UI,而不是由安装在电子装置的任意应用提供。这仅是为了说明的目的,并不是对本发明的限制。不管是否执行上述的从多组通用UI中选择特定组通用UI的操作(例如,通过处理电路110),皆不会妨碍步骤310的操作的实施。另外,不管是否提供上述的多组通用UI(例如,通过处理电路110进行选择),皆不妨碍步骤310操作的实施。请注意,在特定应用开始在电子装置上运行之前、期间或之后,皆可执行步骤310的操作。为了更好理解,可将多组通用UI作为上述多组虚拟控制界面的示例。实际上,多组通用UI中的每组通用UI可至少包含一个通用UI,例如一个或多个通用UI。这仅是为了说明的目的,并不是对本发明的限制。
在步骤320,处理电路110可控制电子装置的显示模块210以显示特定组通用UI从而允许用户通过特定组通用UI控制电子装置。尤其是,当将电子装置切换至扩展模式时或者之后(例如,可检测到用户将电子装置切换至扩展模式,并且基于用户指令执行上述检测,其中通过多功能移动电话200应用的特定用户行为指示上述用户指令),处理电路110可控制显示模块210以显示特定组通用UI从而允许用户通过特定组通用UI控制电子装置,其中在上述扩展模式中,可安排电子装置向另一电子装置(例如,外部显示装置10,图3中并未示出,将在接下来的某些实施例中进行描述)输出要显示的显示数据。例如,类似外部显示装置10的其他电子装置可为数字电视(TV)。在另一示例中,类似外部显示装置10的其他电子装置可为监视器。这仅是为了说明的目的,并不是对本发明的限制。根据本实施例的各种变形,在电子装置未切换至上述扩展模式情况下,图1所示的装置100(尤其是,图2所示的多功能移动电话200)仍可应用图3所示的方法300,并且处理电路110(尤其是,图1所示执行程序代码110P的处理电路110)仍可应用图3所示的方法300。根据本实施例的各种变形,在不存在扩展模式的情况下,图1所示的装置100(尤其是,图2所示的多功能移动电话200)仍可应用图3所示的方法300,并且处理电路110(尤其是,图1所示执行程序代码110P的处理电路110)仍可应用图3所示的方法300。
根据本实施例,处理电路110可从特定应用中取得通用UI选择参数,其中,可使用上述通用UI选择参数指示多组通用UI中的一组通用UI。在某些实施例中,在特定应用开始在电子装置中运行时、之前或之后,处理电路110可取得通用UI选择参数。另外,处理电路110可根据上述通用UI选择参数从多组通用UI中选择特定组通用UI,从而用于特定应用。这仅是为了说明的目的,并不是对本发明的限制。根据本实施例的变形,基于用户设定或默认设定,处理电路110可决定特定应用的通用UI选择参数,并且处理电路110可根据处理电路110决定的上述通用UI选择参数从多组通用UI中选择特定组通用UI。根据本实施例的另一变形,基于用户设定或默认设定,处理电路110可从多组通用UI中选择特定组通用UI,从而用于特定应用。
根据本实施例的某些变形,多组通用UI可包含游戏控制界面、TV控制界面、音乐控制界面或上述组合,其中游戏控制界面可用于游戏控制并且可包含虚拟方向键以及一个或多个虚拟按键,TV控制界面可用于TV控制并且可包含虚拟数字键,以及音乐控制界面可用于音乐控制并且可包含虚拟圆环按键。例如,多组通用UI可包含游戏控制界面、TV控制界面以及音乐控制界面。在某些其他示例中,多组通用UI可包含一个或多个游戏控制界面、TV控制界面以及音乐控制界面。图4是根据本发明实施例描述的与图3所示方法300关联的游戏控制界面示意图,其中图4所示的游戏控制界面可作为上述游戏控制界面的示例。例如,上述虚拟方向盘可包含四个虚拟局部按键(在图4中分别标注为“L”、“R”、“U”、“D”)分别用于左、右、上、下的方向控制,并且上述一个或多个虚拟按键可包含两个虚拟按键(在图4中分别标注为“A”与“B”)。这仅是为了说明的目的,并不是对本发明的限制。例如,除了图4所示的虚拟方向盘,游戏控制界面可进一步包含一个或多个虚拟按键。
图5是根据本发明实施例描述的与图3所示方法300关联的游戏控制界面示意图,其中图5所示的TV控制界面可作为上述TV控制界面的示例。例如,上述虚拟数字键可包含多个虚拟按键,例如代表自然数1到9的那些按键。这仅是为了说明的目的,并不是对本发明的限制。例如,除了图5所示的虚拟数字键,TV控制界面可进一步包含一个或多个虚拟按键。
图6是根据本发明实施例描述的与图3所示方法300关联的游戏控制界面示意图,其中图6所示的音乐控制界面可作为上述音乐控制界面的示例。例如,上述虚拟圆环按键可模拟实际音乐播放器(例如,MP3播放器)上的实际圆环按键。这仅是为了说明的目的,并不是对本发明的限制。例如,除了图6所示的虚拟圆环按键,音乐控制界面可进一步包含一个或多个虚拟按键。
图7是根据本发明实施例描述的与图3所示方法300关联的控制方案示意图。例如,当电子装置切换至上述扩展模式时,或者在这之后,处理电路110可控制显示模块210显示特定组通用UI,例如图4所示的实施例的游戏控制界面,以允许用户通过该特定组通用UI控制电子装置。
在本实施例的扩展模式中,可安排电子装置输出显示数据供外部显示装置10(例如,数字TV或监视器)显示。因此,用户可使用相同的游戏控制界面(例如图4所示实施例的游戏控制界面)以操作许多不同游戏,其中,用户不需要浪费时间学习(或熟悉)各种游戏的新游戏控制界面。
图8是根据本发明实施例描述的与图3所示方法300关联的控制方案示意图。例如,当电子装置切换至上述扩展模式时,或者在切换之后,处理电路110可控制显示模块210显示特定组通用UI,例如图5所示的实施例的TV控制界面,以允许用户通过该特定组通用UI控制电子装置。
在本实施例的扩展模式中,可安排电子装置输出显示数据供外部显示装置10(例如,数字TV或监视器)显示。因此,当用户想观看TV时,用户可使用相同的TV控制界面(例如图5所示实施例的TV控制界面)以运行不同的TV接收机应用,其中,用户不需要浪费时间学习(或熟悉)各种TV接收机应用的新TV控制界面。
图9是根据本发明实施例描述的与图3所示方法300关联的控制方案示意图。例如,当电子装置切换至上述扩展模式时,或者在切换之后,处理电路110可控制显示模块210显示特定组通用UI,例如图6所示实施例的音乐控制界面,以允许用户通过该特定组通用UI控制电子装置。
在本实施例的扩展模式中,可安排电子装置输出显示数据供外部显示装置10(例如,数字TV或监视器)显示。因此,当用户想听音乐时,用户可使用相同的音乐控制界面(例如图6所示实施例的音乐控制界面)以运行不同的音乐播放器应用,其中,用户不需要浪费时间学习(或熟悉)各种音乐播放器应用的新音乐控制界面。
图10是根据本发明实施例描述的与图3所示方法300关联的架构示意图。如上所述,处理电路110可允许多个应用使用相同的虚拟控制界面集合,其中上述运行在电子装置中的系统架构(例如,上述OS系统架构)可提供上述虚拟控制界面集合。为了更好理解,可将特定组通用UI作为虚拟控制界面集合的示例。
根据本实施例,图10所示的上述系统架构可包含系统UI模块(图10中简称为“SystemUI”),其中系统UI模块可包含用于向电子装置提供特定组通用UI的通用输入板模块(common input panel module),尤其是,通用输入板模块响应请求以向电子装置提供多组通用UI中的任意组。可安排系统UI模块向电子装置提供虚拟本位键(virtual homekey)、虚拟按键栏(virtual key bar)以及状态栏(status bar)中的至少一个。例如,上述请求可包含通用UI选择参数。在本实施例中,可安排运行在电子装置上的手机窗口管理模块(图10中简称为“PhoneWindowManager”)将上述请求发送至系统UI模块(图10中简称为“SystemUI”),以引起上述通用输入板模块向电子装置提供特定组通用UI。更具体地,手机窗口管理模块可从特定应用中间接接收请求。这仅是为了说明的目的,并不是对本发明的限制。根据本实施例的一种变形,手机窗口管理模块可从特定应用中直接接收请求。
根据本实施例,在将电子装置切换至上述扩展模式情况下,可将图10所示的架构应用至电子装置。图10左上角所示的应用可作为上述特定应用的示例。在本实施例的扩展模式下,特定应用可通过图10最左侧的第一信息路径发送不同显示数据,例如第一显示数据(例如,特定组通用UI的显示数据)以及第二显示数据(例如,上述外部显示装置10要显示的上述显示数据),其中可安排第一信息路径穿过简报模块、视图根实施模块、窗口管理业务模块、显示管理业务模块以及surface投递模块(图10中分别简称为“Presentation”、“ViewRootImpl”、“WindowManagerService”、“DisplayManagerService”、“SurfaceFlinger”),并且可安排在紧接surface投递模块(图10中标注为“SurfaceFlinger”)的物理层将第一信息路径分为两条信息子路径。因此,可将第一显示数据与第二显示数据分别发送至显示模块210与外部显示装置10。
实际上,可通过建立发送请求的新信息路径实施图10所示的某些模块。例如,可安排新信息路径穿过简报模块、视图根实施模块、窗口管理业务模块以及手机窗口管理模块(图10中分别简称为“Presentation”、“ViewRootImpl”、“WindowManagerService”、“PhoneWindowManager”),并且到达系统UI模块(图10中标注为“SystemUI”),并且更具体地到达通用输入板模块。这仅是为了说明的目的,并不是对本发明的限制。
可进一步描述图10所示的模块执行的操作细节。如图10所示,应用(图10中标注为“应用”)可向简报模块发送至少一个命令以分配显示ID与控制界面类型。另外,简报模块可通过视图根实施模块向窗口管理业务模块发送至少一个命令,以增加至少一个扩展窗口(例如,一个或多个扩展窗口)并提供控制界面类型。视图根实施模块可作为简报模块与窗口管理业务模块之间的中间模块,其中沿着第一信息路径与新信息路径中的任意一条路径。
更具体地,沿着第一信息路径,窗口管理业务模块可向显示管理业务模块发送至少一个命令以将显示ID与窗口(尤其是,上述扩展窗口)进行结合,并且显示管理业务模块可向surface投递模块发送至少一个命令,以通知surface投递模块哪个窗口是扩展窗口。
另外,沿着新信息路径,窗口管理业务模块可向手机窗口管理模块发送至少一个命令以产生控制界面,并且手机窗口管理模块可通过窗口管理业务模块向系统UI模块发送至少一个命令,以请求系统UI模块产生控制界面。因此,手机窗口管理模块向系统UI模块发送上述请求,以使得上述通用输入板模块向电子装置提供特定组通用UI。
此外,系统UI模块可通过视图根实施模块(图10中的右侧)向窗口管理业务模块发送至少一个命令,以增加界面窗口响应上述请求,其中,视图根实施模块可作为系统UI模块与窗口管理业务模块之间的中间模块。这仅是为了说明的目的,并不是对本发明的限制。因此,窗口管理业务模块可向手机窗口管理模块发送至少一个命令,以安排除了导航栏的全屏布局,并且产生控制界面。如图10的右上角所示,可将控制界面窗口模块(图10中标注为“控制界面窗口”)作为已产生控制界面的示例。
如上所述,在将电子装置切换至上述扩展模式情况下,可将图10所示的架构应用至电子装置。这仅是为了说明的目的,并不是对本发明的限制。根据本实施例的某些变形例,在电子装置未切换至扩展模式的情况下,除了输出第二显示数据的操作移除外,电子装置仍可应用图10所示的架构。其中,既然将第二显示数据输出至外部显示装置10(例如,数字TV或监视器)是不必要的,因此无需输出第二显示数据的操作。根据本实施例的某些变形例,在扩展模式不存在的情况下,除了输出第二显示数据的操作移除外,电子装置仍可应用图10所示的架构。其中,既然将第二显示数据输出至外部显示装置10是不必要的,因此无需输出第二显示数据的操作。
图11是根据本发明实施例描述的与图3所述方法300关联的时序图。如上所述,处理电路110可允许多个应用使用相同的虚拟控制界面集合,其中上述运行在电子装置中的系统架构(例如,上述OS系统架构)可提供上述虚拟控制界面集合。为了更好理解,可将特定组通用UI作为虚拟控制界面集合的示例。实际上,处理电路110可从上述特定应用中取得通用UI选择参数,其中,可应用通用UI选择参数指示多组通用UI中一组通用UI。在某些实施例中,可在特定应用开始在电子装置中运行中、之前或之后,处理电路110可取得通用UI选择参数。这仅是为了说明的目的,并不是对本发明的限制。
如图11所示,应用(例如,特定应用)可发送带有上述通用UI选择参数的至少一个命令(图11中标记为“Select()”)以请求选择特定组通用UI,其可为对应控制界面类型的控制界面。接着,应用可基于上述特定用户行为指示的用户说明,发送至少一个命令(图11中标记为“Switch()”)以请求切换至扩展模式。然后,可将对应准备通知(图11中标记为“ready()”)分别发送至远程显示(例如上述的外部显示装置10)与手机控制(例如,图10所示实施例所述的系统UI模块,并且更具体地,其中的通用输入板模块)。在手机控制机制的控制下(图11中标记为“手机控制”),电子装置可将用户输入(例如,图11中标记为“input()”)发送至应用,因此,应用向远程显示发送关联控制(图11中标记为“control()”)以响应用户输入。为了简化起见,本实施例的相似描述细节不再重复。
呈现上述描述以允许本领域技术人员根据特定应用以及其需要的内容实施本发明。所述实施例的各种修改对于本领域技术人员来说是显而易见的,并且可将上述定义的基本原则应用于其他实施例。因此,本发明不局限于所述的特定实施例,而是符合与揭露的原则及新颖特征相一致的最宽范围。在上述细节描述中,为了提供对本发明的彻底理解,描述了各种特定细节。然而,本领域技术人员可以理解本发明是可实施的。
在不脱离本发明精神或本质特征的情况下,可以其他特定形式实施本发明。描述示例被认为说明的所有方面并且无限制。因此,本发明的范围由权利要求书指示,而非前面描述。所有在权利要求等同的方法与范围中的变化皆属于本发明的涵盖范围。