CN118283374A - 一种显示设备及基于虚拟按键的控制方法 - Google Patents
一种显示设备及基于虚拟按键的控制方法 Download PDFInfo
- Publication number
- CN118283374A CN118283374A CN202410489885.XA CN202410489885A CN118283374A CN 118283374 A CN118283374 A CN 118283374A CN 202410489885 A CN202410489885 A CN 202410489885A CN 118283374 A CN118283374 A CN 118283374A
- Authority
- CN
- China
- Prior art keywords
- option
- control
- target
- type
- key
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 230000008859 change Effects 0.000 claims abstract description 184
- 238000007667 floating Methods 0.000 claims description 13
- 238000013507 mapping Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 abstract description 14
- 230000002829 reductive effect Effects 0.000 abstract description 12
- 230000004044 response Effects 0.000 abstract description 9
- 238000004891 communication Methods 0.000 description 31
- 230000006870 function Effects 0.000 description 26
- 238000010586 diagram Methods 0.000 description 22
- 230000000694 effects Effects 0.000 description 14
- 230000003993 interaction Effects 0.000 description 13
- 235000010627 Phaseolus vulgaris Nutrition 0.000 description 6
- 244000046052 Phaseolus vulgaris Species 0.000 description 6
- 238000012790 confirmation Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Abstract
本申请一些实施例提供一种显示设备及虚拟按键的控制方法,所述方法可以响应于虚拟按键展示指令,显示虚拟按键窗口,以及将控制焦点设置于第一选项组。其中,虚拟按键窗口包括至少两行以及至少两列的选项控件,第一选项组包括至少两个选项控件。再接收并响应控制设备发送的变更指令,检测变更指令的变更类型。如果变更类型为第一类型,基于变更指令将控制焦点设置于与第一选项组显示位置不同的第二选项组;如果变更类型为第二类型,检测变更指令关联的目标选项控件,并基于目标选项控件执行变更指令。所述方法将控制焦点设置在多个选项控件上,可减少用户基于虚拟按键输入控制指令过程中的操作频次,从而降低操控过程的复杂度,改善用户体验。
Description
技术领域
本申请涉及显示设备技术领域,尤其涉及一种显示设备及基于虚拟按键的控制方法
背景技术
显示设备是能够呈现用户界面,并支持用户交互的智能设备。以智能电视为例,智能电视是基于Internet应用技术,具备开放式操作系统与芯片,拥有开放式应用平台,可实现双向人机交互功能,集影音、娱乐、数据等多种功能于一体的电视产品,用于满足用户多样化和个性化需求。
显示设备可以接收遥控器等控制设备发送的控制指令,并响应控制指令执行对应的程序。其中,控制设备中可以包括不同的物理按键,每个物理按键设有不同的键值,用户可以基于物理按键向显示设备发送包含不同键值的控制指令,使显示设备基于控制指令中的键值执行不同的动作。由于物理按键为实体按键,需要定期对其进行维护。因此显示设备中还配置有虚拟按键,通过屏幕显示的虚拟按键来替代物理按键的功能,从而减少控制设备的物理按键数量。
而虚拟按键在使用过程中,需要通过移动焦点来输入控制指令。由于虚拟按键是显示在屏幕中的,用户需要使用控制设备的物理按键将焦点移动至对应的虚拟按键上,然后才能对虚拟按键执行点击操作。基于此,用户在使用虚拟按键输入控制指令的过程中,可能需要多次移动焦点,尤其在虚拟按键的数量较多或布局复杂的情况下,会增加操作时长以及操作的复杂性,影响用户的交互体验。
发明内容
本申请提供一种显示设备及基于虚拟按键的控制方法,以解决虚拟按键操作时复杂性高的问题。
第一方面,本申请一些实施例提供一种显示设备,包括显示器、用户输入接口与控制器。其中,所述显示器被配置为显示用户界面,所述用户输入接口被配置为接收控制设备发送的控制指令,所述控制器被配置为执行以下程序步骤:
响应于用户输入的虚拟按键展示指令,控制所述显示器显示虚拟按键窗口,以及将控制焦点设置于第一选项组;所述虚拟按键窗口包括至少两行以及至少两列的选项控件,所述第一选项组包括至少两个所述选项控件;
接收所述控制设备发送的变更指令,以及响应于所述变更指令,检测所述变更指令的变更类型;
如果所述变更类型为第一类型,基于所述变更指令将所述控制焦点设置于第二选项组,所述第二选项组包括至少两个所述选项控件,且所述第二选项组与所述第一选项组的显示位置不同;
如果所述变更类型为第二类型,检测所述变更指令关联的目标选项控件,以及基于所述目标选项控件执行所述变更指令,所述目标选项控件为所述第一选项组中的选项控件。
本申请一些实施例中,所述控制器执行基于所述目标选项控件执行所述变更指令,被配置为:获取所述目标选项控件对应的目标字符;在绑定组件中查询与所述目标字符对应的模拟键值,所述绑定组件用于存储所述目标字符与所述模拟键值的映射关系;将所述模拟键值发送至所述窗口管理器;基于所述窗口管理器将所述输入内容分发至顶层应用,以使所述顶层应用响应所述模拟键值,所述顶层应用为除所述虚拟按键窗口外窗口显示层级最高的应用。
本申请一些实施例中,所述虚拟按键窗口中所述选项控件的布局为九宫格布局;所述控制器执行将控制焦点设置于第一选项组,被配置为:获取所述第一选项组的目标位置,所述目标位置包括所述九宫格布局中中间行或中间列的所述选项控件的显示位置;将所述控制焦点设置于所述目标位置。
本申请一些实施例中,所述控制器执行检测所述变更指令的变更类型,被配置为:解析所述变更指令的目标键值;如果所述目标键值为第一类键值,将所述变更指令的变更类型标记为所述第一类型,所述第一类键值为用于在第一方向移动所述控制焦点的键值;如果所述目标键值为第二类键值,将所述变更指令的变更类型标记为所述第二类型,所述第二类键值为用于在第二方向移动所述控制焦点以及选定操作的键值,所述第一方向与所述第二方向垂直。
本申请一些实施例中,当所述目标位置位于所述九宫格布局的中间行时,所述第一类键值为用于在垂直方向移动所述控制焦点的键值,所述第二类键值为用于在水平方向移动所述控制焦点以及选定操作的键值;所述控制器还被配置为:如果所述目标键值为第一类键值,解析所述第一类键值指示的移动趋势,以及按照所述移动趋势将所述控制焦点移动至位于所述第一选项组上行或下行的显示位置;如果所述目标键值为第二类键值,解析所述第二类键值指示的目标方位,并获取位于所述目标方位的目标选项控件;查询所述目标选项控件的模拟键值,以及基于所述模拟键值执行所述变更指令;所述目标方位用于表征所述第一选项组中位于左侧、中间或右侧的显示位置。
本申请一些实施例中,当所述目标位置位于所述九宫格布局的中间列时,所述第一类键值为用于在水平方向移动所述控制焦点的键值,所述第二类键值为用于在垂直方向移动所述控制焦点以及选定操作的键值;所述控制器还被配置为:如果所述目标键值为第一类键值,解析所述第一类键值指示的移动趋势,以及按照所述移动趋势将所述控制焦点移动至位于所述第一选项组左列或右列的显示位置;如果所述目标键值为第二类键值,解析所述第二类键值指示的目标方位,并获取位于所述目标方位的目标选项控件;查询所述目标选项控件的模拟键值,以及基于所述模拟键值执行所述变更指令;所述目标方位用于表征所述第一选项组中位于顶侧、中间或底层的显示位置。
本申请一些实施例中,所述控制器执行控制所述显示器显示虚拟按键窗口,被配置为:通过广播接收器接收所述虚拟按键展示指令;响应于所述虚拟按键展示指令,基于所述广播接收器启动目标服务,所述目标服务用于显示所述虚拟按键窗口;基于所述目标服务创建悬浮窗口;通过所述悬浮窗口加载所述选项控件的目标布局;按照所述目标布局在所述悬浮窗口中显示所述选项控件,以生成所述虚拟按键窗口。
本申请一些实施例中,所述控制器执行基于所述变更指令将所述控制焦点设置于第二选项组后,还被配置为:接收所述控制设备发送的变更指令;响应于所述变更指令,解析所述变更指令的目标键值;如果所述目标键值为第一类键值,基于所述第一类键值将所述控制焦点设置于第三选项组,所述第三选项组包括至少两个所述选项控件,且所述第三选项组与所述第二选项组的显示位置不同;如果所述目标键值为第二类键值,获取所述第二类键值关联的变更选项控件,以及基于所述变更选项控件执行所述变更指令,所述变更选项控件为所述第二选项组中的选项控件。
本申请一些实施例中,所述控制器还被配置为:接收用于关闭所述虚拟按键窗口的退出指令;响应于所述退出指令,解析所述退出指令的键值,以及基于所述退出指令的键值控制所述显示器撤销显示所述虚拟按键窗口。
第二方面,本申请一些实施例还提供一种基于虚拟按键的控制方法,可应用于第一方面提供的显示设备,所述方法包括以下步骤:
响应于用户输入的虚拟按键展示指令,控制显示器显示虚拟按键窗口,以及将控制焦点设置于第一选项组;所述虚拟按键窗口包括至少两行以及至少两列的选项控件,所述第一选项组包括至少两个所述选项控件;
接收控制设备发送的变更指令,以及响应于变更指令,检测所述变更指令的变更类型;
如果所述变更类型为第一类型,基于所述变更指令将所述控制焦点设置于第二选项组,所述第二选项组包括至少两个所述选项控件,且所述第二选项组与所述第一选项组的显示位置不同;
如果所述变更类型为第二类型,检测所述变更指令关联的目标选项控件,以及基于所述目标选项控件执行所述变更指令,所述目标选项控件为所述第一选项组中的选项控件。
由以上技术方案可知,本申请一些实施例提供的显示设备及虚拟按键的控制方法,所述方法可以响应于用户输入的虚拟按键展示指令,控制显示器显示虚拟按键窗口,以及将控制焦点设置于第一选项组。其中,虚拟按键窗口包括至少两行以及至少两列的选项控件,第一选项组包括至少两个选项控件。再接收控制设备发送的变更指令,以及响应于变更指令,检测变更指令的变更类型。如果变更类型为第一类型,则基于变更指令将控制焦点设置于与第一选项组显示位置不同的第二选项组;如果变更类型为第二类型,则检测变更指令关联的目标选项控件,并基于目标选项控件执行变更指令。所述方法将控制焦点设置在多个选项控件上,可减少用户基于虚拟按键输入控制指令过程中的操作频次,从而降低操控过程的复杂度,改善用户体验。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请一些实施例提供的显示设备与控制设备之间操作场景的示意图;
图2为本申请一些实施例提供的显示设备的硬件配置示意图;
图3为本申请一些实施例提供的控制设备的硬件配置示意图;
图4为本申请一些实施例提供的显示设备的软件配置示意图;
图5为本申请一些实施例提供的控制设备与显示设备的交互场景图;
图6为本申请一些实施例提供的一种图形用户界面的效果示例图;
图7a为本申请一些实施例提供的遥控器组合按键的结构示意图;
图7b为本申请一些实施例提供的数字键虚拟按键窗口的显示效果示意图;
图7c为本申请一些实施例提供的字母键虚拟按键窗口的显示效果示意图;
图8为本申请一些实施例提供的一种九宫格布局数字键虚拟按键窗口的显示效果示意图;
图9为本申请一些实施例提供的虚拟按键控制方法的流程示意图;
图10为本申请一些实施例提供的虚拟按键控制过程应用层与框架层的交互图;
图11a为本申请一些实施例提供的一种第一选项组的位置示意图;
图11b为本申请一些实施例提供的另一种第一选项组的位置示意图;
图12为本申请一些实施例提供的优化后虚拟按键窗口的显示效果图;
图13为本申请一些实施例提供的方向组件的结构示意图;
图14为本申请一些实施例提供的移动控制焦点后的一种虚拟按键窗口显示效果图;
图15为本申请一些实施例提供的移动控制焦点后的另一种虚拟按键窗口显示效果图;
图16为本申请一些实施例提供的移动控制焦点后的另一种虚拟按键窗口显示效果图;
图17为本申请一些实施例提供的移动控制焦点后的另一种虚拟按键窗口显示效果图;
图18为本申请一些实施例提供的移动控制焦点后的另一种虚拟按键窗口显示效果图。
具体实施方式
下面将详细地对实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下实施例中描述的实施方式并不代表与本申请相一致的所有实施方式。仅是与权利要求书中所详述的、本申请的一些方面相一致的系统和方法的示例。
需要说明的是,本申请中对于术语的简要说明,仅是为了方便理解接下来描述的实施方式,而不是意图限定本申请的实施方式。除非另有说明,这些术语应当按照其普通和通常的含义理解。
本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体,而不必然意味着限定特定的顺序或先后次序,除非另外注明。应该理解这样使用的用语在适当情况下可以互换。
术语“包括”和“具有”以及他们的任何变形,意图在于覆盖但不排他的包含,例如,包含了一系列组件的产品或设备不必限于清楚地列出的所有组件,而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。
术语“模块”是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合,能够执行与该元件相关的功能。
本申请实施例中,所述显示设备200泛指具有画面显示和数据处理能力的设备。例如,显示设备200包括但不限于智能电视、移动终端、计算机、监视器、广告屏、可穿戴设备、虚拟现实设备、增强现实设备等。
图1为本申请一些实施例提供的显示设备与控制设备之间操作场景的示意图。如图1中示出,用户可通过触控操作、移动终端300和控制设备100操作显示设备200。例如,控制设备100可以为遥控器、触控笔、手柄等。
移动终端300可以作为一种控制设备,用于执行用户与显示设备200之间的人机交互。移动终端300还可以作为一种通信设备,用于与显示设备200建立通信连接,进行数据交互。在一些实施例中,移动终端300可与显示设备200安装软件应用,通过网络通信协议实现连接通信,实现一对一控制操作和数据通信的目的。也可以将移动终端300上显示音视频内容传输到显示设备200上,实现同步显示功能。
如图1中还示出,显示设备200还与服务器400通过多种通信方式进行数据通信。可允许显示设备200通过局域网(LAN)、无线局域网(WLAN)和其他网络进行通信连接。
显示设备200可以提供广播接收电视功能,还可以附加提供计算机支持功能的智能网络电视功能,包括但不限于,网络电视、智能电视、互联网协议电视(IPTV)等。
图2为本申请一些实施例提供的图1中显示设备200的硬件配置框图。
在一些实施例中,显示设备200可以包括调谐解调器210、通信装置220、检测器230、装置接口240、控制器250、显示器260、音频输出装置270、存储器、供电电源、用户输入接口中的至少一种。
在一些实施例中,检测器230用于采集外部环境或与外部交互的信号。例如,检测器230包括光接收器,用于采集环境光线强度的传感器;或者,检测器230包括图像采集器,如摄像头,可以用于采集外部环境场景、用户的属性或用户交互手势,再或者,检测器230包括声音采集器,如麦克风等,用于接收外部声音。
在一些实施例中,显示器260包括用于呈现画面的显示功能组件,以及驱动图像显示的驱动组件。显示器260用于接收源自控制器250输出的图像信号进行显示。例如,显示器260可以用于显示视频内容、图像内容以及菜单操控界面的组件以及用户操控UI界面等。
在一些实施例中,通信装置220是用于根据各种通信协议类型与外部设备或服务器400进行通信的组件。显示设备200可以根据支持的通信方式的不同,设置有多个通信装置220。例如,显示设备200支持无线网络通信时,显示设备200可以设有包含WiFi功能的通信装置220。显示设备200支持蓝牙连接通信时,显示设备200需要设有包含蓝牙功能的通信装置220。
通信装置220可以通过无线或有线连接的方式使显示设备200与外部设备或服务器400进行通信连接。其中,有线连接可以通过数据线、接口等组件将显示设备200与外部设备连接。无线连接则可以通过无线信号或无线网络将显示设备200与外部设备连接。显示设备200可以直接与外部设备建立连接关系,也可以通过网关、路由、连接设备等间接建立连接关系。
在一些实施例中,控制器250可以包括中央处理器、视频处理器、音频处理器、图形处理器、电源处理器中的至少一个,用于输入/输出的第一接口至第n接口,控制器250通过存储在存储器上中各种软件控制程序,来控制显示设备的工作和响应用户的操作。控制器250控制显示设备200的整体操作。
在一些实施例中,控制器250和调谐解调器210可以位于不同的分体设备中,即调谐解调器210也可在控制器250所在的主体设备的外置设备中,如外置机顶盒等。
在一些实施例中,用户可在显示器260上显示的图形用户界面(Graphical UserInterfac e,GUI)输入用户命令,则用户输入接口通过图形用户界面(GUI)接收用户输入命令。
在一些实施例中,音频输出装置270可以为显示设备200的本机扬声器,也可以为显示设备200外接的音频输出设备。其中,对于显示设备200外接的音频输出设备,显示设备200还可以设置有外接音频输出端子,音频输出设备可以通过外接音频输出端子接入显示设备200,以输出显示设备200的声音。
在一些实施例中,用户输入接口280,可用于接收来自用户输入的指令。
图3为本申请一些实施例提供的图1中控制设备的硬件配置框图。如图3所示,控制设备100可以包括:控制器110、通信接口130、用户输入/输出接口、存储器、供电电源。
控制设备100被配置为控制显示设备200,以及可接收用户的输入操作指令,且将操作指令转换为显示设备200可识别和响应的指令,起到用户与显示设备200之间交互中介作用。
在一些实施例中,控制设备100可是一种智能设备。如:控制设备100可根据用户需求安装控制显示设备200的各种应用。
在一些实施例中,如图1所示,移动终端300或其他智能电子设备,可在安装操控显示设备200的应用之后,可以起到控制设备100类似功能。
控制器110包括处理器112和RAM 113和ROM 114、通信接口130以及通信总线。控制器110用于控制控制设备100的运行和操作,以及内部各部件之间通信协作以及外部和内部的数据处理功能。
通信接口130在控制器110的控制下,实现与显示设备200之间控制信号和数据信号的通信。通信接口130可包括WiFi芯片131、蓝牙模块132、NFC模块133等其他近场通信模块中至少之一种。
用户输入/输出接口140,其中,输入接口包括麦克风141、触控板142、传感器143、按键144等其他输入接口中至少一者。
在一些实施例中,控制设备100包括通信接口130和输入输出接口140中至少一者。控制设备100中配置通信接口130,如:WiFi、蓝牙、NFC等模块,可将用户输入指令通过Wi Fi协议、或蓝牙协议、或NFC协议编码,发送至显示设备200。
存储器190,用于在控制器的控制下存储驱动和控制控制设备100的各种运行程序、数据和应用。存储器190,可以存储用户输入的各类控制信号指令。
供电电源180,用于在控制器的控制下为控制设备100各元件提供运行电力支持。
在一些实施例中,用户还可以通过输入特定的声音或手势输入控制指令。此时,显示设备200的用户输入接口280则通过传感器对控制指令中的声音或手势进行识别,并基于声音或手指执行控制指令对应的程序。
为了执行用户交互,在一些实施例中,显示设备200可以运行有操作系统。所述操作系统是用于管理和控制显示设备200中硬件资源和软件资源的计算机程序。操作系统可以控制显示设备提供用户界面,例如,操作系统可以直接控制显示设备提供用户界面,也可以通过运行应用程序提供用户界面。操作系统还允许用户与显示设备200进行交互。
需要说明的是,所述操作系统可以是基于特定操作平台的原生操作系统,也可以是基于特定操作平台深度定制的第三方操作系统,还可以是针对显示设备专门开发的独立操作系统。
操作系统可以根据所实现的功能划分为不同的模块或层级,例如,如图4所示,在一些实施例中,将系统分为四层,从上至下分别为应用程序(Applications)层(简称“应用层”),应用程序框架(Application Framework)层(简称“框架层”),系统库层以及内核层。
在一些实施例中,应用程序层用于为应用程序提供服务和接口,以便于显示设备200能够运行应用程序,并基于应用程序与用户交互。应用程序层中可以运行有至少一个应用程序,这些应用程序可以是操作系统自带的窗口(Window)程序、系统设置程序或时钟程序等;也可以是第三方开发者所开发的应用程序。在具体实施时,应用程序层中的应用程序包不限于以上举例。
框架层为应用程序提供应用编程接口(Application Programming Interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。应用程序框架层相当于一个处理中心,这个中心决定让应用层中的应用程序做出动作。应用程序通过API接口,可在执行中访问系统中的资源和取得系统的服务。
如图4所示,本申请实施例中应用程序框架层包括视图系统(View System)、管理器(Managers),内容提供者(Content Provider)等,其中,视图系统可设计和实现应用程序的界面和交互,视图系统包括列表(lists)、网络(grids)、文本框(text boxes)、按钮(butto ns)等。管理器包括以下模块中的至少一个:活动管理器(Activity Manager)用于和系统中正在运行的所有活动进行交互;位置管理器(Location Manager)用于给系统服务或应用提供了系统位置服务的访问;文件包管理器(Package Manager)用于检索当前安装在设备上的应用程序包相关的各种信息;通知管理器(Notification Manager)用于控制通知消息的显示和清除;窗口管理器(Window Manager)用于管理用户界面上的图标、窗口、工具栏、壁纸和桌面部件。
在一些实施例中,活动管理器用于管理各个应用程序的生命周期以及通常的导航回退功能,比如控制应用程序的退出、打开、后退等。窗口管理器用于管理所有的窗口程序,比如获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕,控制显示窗口变化,例如,将显示窗口缩小显示、抖动显示、扭曲变形显示等。
在一些实施例中,系统运行库层可以为框架层提供支撑,当框架层被使用时,操作系统会运行系统运行库层中包含的指令库,例如C/C++指令库,以实现框架层所要实现的功能。
在一些实施例中,内核层是介于显示设备200的硬件和软件之间的功能层级。内核层可以实现硬件抽象、多任务处理、内存管理等功能。例如,如图4所示,内核层中可以配置有硬件驱动,内核层包含的驱动可以为以下驱动中的至少一种:音频驱动、显示驱动、蓝牙驱动、摄像头驱动、WIFI驱动、USB驱动、HDMI驱动、传感器驱动(如指纹传感器,温度传感器,压力传感器等)、以及电源驱动等。
需要说明的是,上述示例仅仅是对操作系统功能的简单划分,并不对本申请实施例中显示设备200的具体操作系统形式构成限定,根据显示设备的功能、操作系统的类型等因素,操作系统所包含的层级数量和具体层级类型可以表现为其他形式。
基于上述显示设备200与控制设备100,在一些实施例中,如图5所示,用户可以通过控制设备100与显示设备200交互,输入不同的控制指令。示例性的,当用户按下控制设备100上的物理按键时,控制设备100内置的触摸开关立即响应,识别被按下物理按键的键值。其中,物理按键的键值用于表征用户期望显示设备200执行的具体操作,如切换频道、调节音量、输入数字或文字等。随后,控制设备100内部的编码电路对识别出的键值进行编码处理,将其转换为适合传输的信号格式,如红外信号格式等,以生成用于操控显示设备200的控制指令。
编码完成后,控制设备100将包含键值信息的控制指令发送至显示设备200。显示设备200基于用户输入接口280接收控制指令后,通过内部的解码电路对控制信号进行解码,从而解析出控制指令包含的控制键值,并基于解析出的控制键值执行相应的操作,如切换频道、调整音量输入数字或输入文字等。
为了便于用户操控显示设备200,在一些实施例中,如图4所示的应用程序框架层,显示设备200可以的应用层可以配置有不同类型的应用程序,从而实现不同的功能。其中,应用程序可以为显示设备200操作系统提供的原生应用,也可以为通过特定技术开发的混合应用,以及基于浏览器提供的跨平台应用。在一些实施例中,显示设备200可以通过运行不同的应用来响应控制设备100发送的控制指令。
例如,控制设备100为红外遥控器,显示设备200通过直播应用播放频道号为“2”的直播节目。此时,用户按压红外遥控器的物理按键“1”,.红外遥控器则向显示设备200发送携带有物理按键“1”对应控制键值的红外信号(控制指令)。显示设备200在接收到红外信号后,通过图4所示框架层中的窗口管理器将红外信号分发至直播应用,直播应用再对红外信号进行解析,并将其转化为显示设备200可处理的电信号。相应的,转化后的电信号携带有物理按键“1”的控制键值,并将其发送至直播应用。然后,直播应用则可以根据物理按键“1”的控制键值运行切换频道的程序,从而将当前播放的媒资切换为频道号为“1”的直播节目。
需要说明的是,为了实现显示设备200与控制设备100之间的通信连接,显示设备200与控制设备100之间可以采用有线的连接方式,如DVI(Digital Visual Interface)、VGA(Video Graphics Array)、USB(Universal Serial Bus)等;也可以是无线的连接方式,如无线局域网、蓝牙连接、红外连接等;还可以通过通信接口进行连接。不同的通信连接方式可以采用不同的信息传递协议,例如采用HDMI接口实现连接时,可以采用HDMI协议进行数据传输。
在一些实施例中,显示设备200可以通过内置的应用,提供用于实现不同功能多种图形用户界面(Graphic User Interface,GUI)。其中,图形用户界面(GUI)是指采用图形方式显示的与计算机操作相关的用户界面,它可以是显示设备200显示的一个图标、窗口、控件等界面元素,其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素中的至少一种。例如,显示设备200可以配置有媒资播放应用,用户在启动媒资播放应用后,媒资播放应用可以在显示器260中全屏显示其对应的应用窗口,呈现其对应的图形用户界面。
为此,在一些实施例中,用户可基于显示器260中显示的图形用户界面(GUI)来输入控制指令。即,用户输入接口280还可以基于图形用户界面(GUI)来接收用户输入的控制指令。示例性的,用户可以通过控制设备100对图形用户界面中的选项控件执行选定操作,输入选项控件对应的控制指令;或者,用户还可以通过触控操作对图形用户界面中选项控件执行选定操作,输入选项控件对应的控制指令。
为了便于描述,本申请以下实施例中,将可用于执行点击或选择等编辑操作的界面元素统一表示为选项控件(如上述图标、按钮、菜单、选项卡、文本框、对话框、导航栏、Widg et等界面元素)。
在一些实施例中,不同的选项控件配置有不同的选项值。其中,选项控件的选项值可以包括特定的字符或标识,用于指示所要执行的程序;以及,选项控件的选项值还可以包括选项控件的状态值,用于表征选项控件的当前状态。
例如,如图6所示,图6为显示设备200提供的一种GUI,其中左移选项控件601a用于切换列表选项控件602a中的选项卡,左移选项控件601a的选项值包括字符“left”和状态值0,字符“left”用于指示执行切换列表选项控件602a中选项卡的程序,状态值0用于表征选项控件当前可被选定。当用户通过控制设备100选定左移选项控件601a时,显示设备200则根据左移选项控件601a的选项值,即字符“left”和状态值0向左切换列表选项控件602a的选项卡。并且,在列表选项控件602a中的选项卡切换至最左侧的选项卡时,显示设备200将左移选项控件601a的状态值更新为1,状态值1用于表征左移选项控件601a不可被选定,显示设备200在检测到包括字符“left”和状态值1的选项值时,不执行处理。
可以理解的是,上述选项值仅为一种示例性说明,本申请实施例中选项控件的选项值还可以为其他的形式。对此,本申请不作限制。
显然,控制设备100与显示设备200实现交互的过程,需要通过控制设备100中的物理按键来向显示设备200输入包含不同控制键值的控制指令。由于物理按键为实体按键,需要定期对其进行维护,如果某个物理按键被损坏,用户则无法再通过该按键向显示设备200输入控制指令。
因此,在一些实施例中,显示设备200还配置有虚拟按键功能。当用户输入用于启动虚拟按键功能的虚拟按键展示指令时,显示设备200可以控制显示器260显示虚拟按键窗口,虚拟按键窗口中包括用于实现与物理按键相同功能的选项控件。当用户对虚拟按键窗口中的选项控件执行选定操作时,显示设备200可以根据选项控件的选项值查询其对应的模拟键值,通过模拟键值执行对应的程序。这样,通过在显示设备200中配置虚拟按键,替代控制设备100中物理按键的功能,从而可以减少控制设备100所配置物理按键数量。
在一些实施例中,虚拟按键展示指令可以由控制设备100的特定按键输入,也可以由显示设备200中配置的特定按键输入,或者还可以由用户特定的触控手势及语音方式输入。显示设备200接收到上述任意一种方式输入的指令后,响应于虚拟按键展示指令,显示虚拟按键窗口,以通过虚拟按键窗口与用户交互。
在一些实施例中,虚拟按键窗口可以存在多种,不同按键输入的虚拟按键展示指令所调出的虚拟按键窗口不同。例如,如图7a所示,控制设备100为遥控器,遥控器中设有数字组合键701a与字母组合键702a,数字组合键701a用于调出数字键虚拟按键窗口,字母组合键702a用于调出字母键虚拟按键窗口。即,当用户按下数字组合键701a向显示设备200输入控制指令时,如图7b所示,显示设备200显示数字键虚拟按键窗口701b;当用户按下字母组合键702a向显示和设备200输入控制指令时,如图7c所示,显示设备200显示字母键虚拟按键窗口702c。
为了便于描述,本申请部分实施例以虚拟按键窗口是数字键虚拟按键窗口为例进行说明,但非对其限制,本申请所述虚拟按键窗口还可以为其他用于实现虚拟按键功能的窗口,如字母键虚拟按键窗口、四色键虚拟按键窗口或数字和字母组合的虚拟按键等。
在一些实施例中,用户可以通过控制设备100在虚拟按键窗口中移动控制焦点的位置,再对期望的选项控件执行选定操作,从而实现该选项控件对应的功能。例如,如图7b所示的数字键虚拟按键窗口701b,数字键虚拟按键窗口701b包括多个用于表征不同数字的选项控件,用户期望的选项控件为数字3。图7b中,控制焦点位于数字1的选项控件上,此时用户可以连续按压两次控制设备100中用于执行向右移动操作的物理按键,将控制焦点移动至位于数字2的选项控件上,再按压控制设备100中用于执行确认操作的物理按键,从而执行对数字2选项控件的选定操作,向显示设备200输入数字2选项控件的模拟键值。
为了便于使用虚拟按键窗口,在一些实施例中,显示设备200的应用层还配置有目标服务(Service),显示设备200通过目标服务监听用户基于控制设备100输入的控制指令,创建悬浮窗口显示或撤销虚拟按键窗口。这样,悬浮窗口可以显示在所有应用的前台,从而使显示设备200在任何场景下均可以调出虚拟按键窗口进行显示。
由于普通的Service不能接收控制设备100发送的控制指令,在一些实施例中,目标服务为继承AccessibilityService创建的服务。这样,显示设备200则可以通过目标服务来获取控制设备100发送的控制指令。例如,将目标服务表示为KpadService,显示设备200可以创建一个KpadService的类,继承自AccessibilityService。在这个类中,重写onAccessibilityEvent(AccessibilityEvent event)方法来处理接收到的事件,并检测事件的类型(如是否为按键事件),以及根据事件的类型接收并响应控制设备100发送的控制指令。
由上述示例可知,用户通过虚拟按键窗口选定某个选项控件的过程中,可能需要进行多次操作控制设备100来移动控制焦点的位置,如图7b所示的数字键虚拟按键窗口,用户输入不同数字的最长路径为9步,即操作9次控制设备100。并且为了对期望的选项控件执行选定操作,将控制焦点移动至期望的位置后,用户还需要再按压控制设备100中用于确认的物理按键,导致操作过程中的复杂性增加。
为此,在一些实施例中,虚拟按键窗口可以使用不同的布局来显示选项控件,如九宫格布局、四宫格布局或4×4行列布局等。即,显示设备200可以通过选项控件的数量,配置不同的布局来显示选项控件。示例性的,如图8所示的数字键虚拟按键窗口,常用的数字1-9以九宫格布局排列,数字0以及数字常用的标点和确认选项控件设置于九宫格底层。这样,部分选项控件之间的路径被缩短,可减少用户的操作频次。
例如,如图8所示的数字键虚拟按键窗口,由数字1至数字0的路径,需要用户操作4次来移动控制焦点,再通过控制设备100的确认键对数字0的选项控件执行选定操作,操作频次共计需要5次。
为了便于用户进行选择,在一些实施例中,显示设备200在显示虚拟按键窗口时,还根据选项控件的布局,将控制焦点的初始位置设置于相对中心的位置。也就是说,显示设备200可以综合全部选项控件的显示位置,根据各个选项控件之间的路径,将控制焦点的初始位置设置在一个距离其余选项控件相对较短路径的选项控件上。例如,图8所示的数字键虚拟按键窗口中,数字1-9呈九宫格分布,显示设备200可以将控制焦点的初始位置设置在数字5的选项控件上。这样,除数字0以外,显示设备200移动控制焦点及确认操作的总频次最多为3次,可减少用户操作的耗时。
在一些实施例中,显示设备200的目标服务还可以记录虚拟按键窗口中,各个选项控件在预设时间段内被选定的频次,以作为参考频次。然后,每经过预设时间段后,显示设备200的目标服务可以获取参考频次最高的选项控件位置,并在显示虚拟按键窗口时将控制焦点的初始位置设置于参考频次最高的选项控件上。
但是,对于包括多个选项控件的虚拟按键窗口,上述方式仍需要用户多次操作控制设备100,如图8所示的数字键虚拟按键窗口,输入一个数字时最多需要用户操作5次(如数字1至数字9+确认操作),其对应的操作过程仍需要消耗较长的时间,影响用户体验。
基于上述应用场景,本申请一些实施例提供一种显示设备200,包括显示器260、用户输入接口280与控制器250。其中,所述显示器260被配置为显示用户界面,所述用户输入接口280被配置为接收控制设备100发送的控制指令,如图9所示,所述控制器250被配置为执行以下程序步骤:
S9001:响应于用户输入的虚拟按键展示指令,控制显示器显示虚拟按键窗口,以及将控制焦点设置于第一选项组;所述虚拟按键窗口包括至少两行以及至少两列的选项控件,所述第一选项组包括至少两个所述选项控件。
显示设备200接收用户通过特定方式输入的虚拟按键展示指令后,响应于虚拟按键展示指令,显示虚拟按键展示指令对应的虚拟按键窗口。其中,虚拟按键展示指令可以为用户基于控制设备100中特定按键输入的,也可以为用户基于显示设备200中特定按键输入的,还可以为用户基于特定的手势(如触控手势或摄像头采集的手势)或语音输入的,或者可以为用户基于显示器260中显示的特定图形用户界面(GUI)输入的。
显示设备200可以基于上述实施例提供的目标服务来显示虚拟按键窗口,即在一些实施例中,显示设备200通过广播接收器接收虚拟按键展示指令,并响应于虚拟按键展示指令,基于广播接收器启动目标服务。其中,目标服务用于显示虚拟按键窗口。再基于目标服务创建悬浮窗口,并通过悬浮窗口加载选项控件的目标布局,如九宫格布局、4×4行列布局等。然后,按照目标布局在悬浮窗口中显示选项控件,以生成所述虚拟按键窗口。
例如,如图10所示,将目标服务表示为KpadService,KpadService继承AccessibilitySer vice获取控制指令;Holder模块用于加载选项控件(Holder UI)的布局;NumItem用于焦点的移动、显示以及输入;绑定组件为用于NumItem和选项控件之间绑定关系的数据模型,可称为绑定组件Bean。显示设备200通过KpadMenuBroadcastReceiver(广播接收器)接收虚拟按键窗口的虚拟按键展示指令,并响应于该指令,启动KpadService。KpadService启动后,创建悬浮窗口(Window),并基于Holder模块加载选项控件的布局,以及基于Holder模块初始化NumItem,从而将NumItem与Holder UI绑定并将绑定关系存储至Bean。然后,通过悬浮窗口按照加载出的布局来显示选项控件(Holder UI)。
为了减少用户操作的频次,本申请部分实施例中,针对包括至少两行以及至少两列的虚拟按键窗口,将虚拟按键窗口的选项控件划分为选项组,每个选项组包括至少两个选项控件。例如,虚拟按键窗口的选项窗口呈2×2布局时,每个选项组可以包括每行的2个选项控件,或者每列的2个选项控件,又或者对角线上的2个选项控件;虚拟按键窗口的选项窗口呈九宫格分布时,每个选项组可以包括每行的3个选项控件,或者每列的3个选项控件,又或者对角线上的3个选项控件。本申请实施例中,显示设备200将控制焦点设置在包括多个选项控件的选项组上,将多个选项控件分为数量更好的选项组,可减少用户移动控制焦点所需的操作频次。
对于九宫格布局,即在一些实施例中,虚拟按键中选项控件的布局为九宫格布局,显示设备200获取第一选项组的目标位置。其中,目标位置为九宫格布局中中间行或中间列的选项控件位置。再将控制焦点设置于目标位置,以作为控制焦点的初始位置。这样,由于中间行或中间列距离其他行列的路径较短,将控制焦点设置在中间行或中间列上,可在整体上减少用户的操作频次。
相应的,在一些实施例中,选项组包括的选项控件为整行的选项控件时,第一选项组为中间行的选项控件;选项组包括的选项控件为整列的选项控件时,第一选项组为中间列的选项控件。例如,如图11a所示,选项组包括的选项控件为整行的选项控件,显示设备200在显示虚拟按键窗口时,将控制焦点的初始位置设置在第一位置111a,第一位置111a为第一选项组的位置;如图11b所示,选项组包括的选项控件为整列的选项控件,显示设备200在显示虚拟按键窗口时,将控制焦点的初始位置设置在第二位置112b,第一位置112b为第一选项组的位置。
在一些实施例中,显示设备200还可以根据选项控件的使用频次,将使用频次较高的选项控件以九宫格布局,将使用频次较低的选项控件设置在九宫格布局的顶侧或底侧;或者,将使用频次较高的选项控件以九宫格布局,将使用频次较低的选项控件设置在九宫格布局的左侧或右侧。
或者,在一些实施例中,显示设备200可以设置选项控件的优先级,将优先级较高的选项控件以九宫格布局,将优先级较低的选项控件设置在九宫格布局的顶侧或底侧;或者,优先级较高的选项控件以九宫格布局,将优先级较低的选项控件设置在九宫格布局的左侧或右侧。
需要说明的是,在上述两个包括九宫格布局的实施例中,第一选项组的目标位置仍可以设置在九宫格布局的中间行或中间列,缩短控制焦点的移动路径,从而可以减少用户的操作频次,提高用户体验。显然,选项控件为四宫格或其他布局方式时,显示设备200同样可以参照上述原理来设置第一选项组的目标位置,在此不做赘述。
例如,对于数字键虚拟按键窗口,显示设备200可以将数字1-9设置较高的优先级,将数字1-9的选项控件以九宫格布局,将数字0以及与数字键常用的确认和标点符号的选项控件设置于九宫格布局的下方,选项组包括整行的选项控件。此时,如图12所示,显示设备200在接收到虚拟按键展示指令时,按照上述布局来显示数字键的选项控件,并将控制焦点的初始位置设置在中间行的位置121a。
S9002:接收控制设备发送的变更指令,以及响应于变更指令,检测所述变更指令的变更类型。
显示设备200显示虚拟按键窗口后,用户则可以通过控制设备100继续向显示设备200输入变更指令,从而移动控制焦点或选定虚拟按键窗口中某个选项控件。而由于本申请实施例中,控制焦点设置在包括多个选项控件的选项组上,为了区分用户的选定和移动控制焦点操作,显示设备200可以将不同动作的变更指令划分为不同的类型,并根据变更指令的类型执行不同逻辑的程序。
在一些实施例中,显示设备200可以根据变更指令中包含的键值,将变更指令标记为不同类型的变更指令。例如,显示设备200可以将变更指令的变更类型标记为第一类型和第二类型,第一类型是指用于移动选项组控制焦点的指令,第二类型是指用于在当前控制焦点位置上选定选项组中选项控件的指令。上述第一类型与第二类型的变更指令所包含的键值,可以为控制设备100上任意物理按键对应的键值,本申请不作限制。
为了适应于用户的操作习惯,在一些实施例中,显示设备200可以通过控制设备100上方向键和确认键的物理按键来输入第一类型或第二类型的变更指令。例如,如图13所示,控制设备100中可以设置有方向组件131a,方向组件131a包括向左按键1311a、向右按键1312a、向上按键1313a、向下按键1314a和确认按键1315a。其中,向左按键1311a和向右按键1312a对应的键值为用于在水平方向上移动控制焦点的键值,向上按键1313a和向下按键1314a的键值为用于在垂直方向上移动控制机焦点的键值,确认按键1315a的键值为用于执行选定操作的键值。
为此,在一些实施例中,显示设备200可以解析变更指令的目标键值。如果目标键值为第一类键值,将变更指令的变更类型标记为第一类型;如果目标键值为第二类键值,将变更指令的变更类型标记为第二类型。其中,第一类键值为用于在第一方向移动控制焦点的键值,第二类键值为用于在第二方向移动所述控制焦点以及选定操作的键值,第一方向与第二方向垂直。
例如,将包含用于在水平方向移动控制焦点键值的变更指令标记为第一类型时,将包含用于在垂直方向移动控制焦点及选定操作键值的变更指令标记为第二类型;将包含用于在垂直方向移动控制焦点键值的变更指令标记为第一类型时,将包含用于在水平方向移动控制焦点及选定操作键值的变更指令标记为第二类型。
可以理解的是,本申请以下实施例以选项控件的布局包括九宫格布局为例进行说明,但非对其限制,其他方式的布局与以下实施例的原理相同,本申请不做赘述。
在一些实施例中,目标位置位于九宫格布局的中间行时,选项组包括水平方向上的三个选项控件,第一类键值则为用于在垂直方向移动控制焦点的键值,第二类键值为用于在水平方向移动控制焦点以及选定操作的键值。例如,如图13所示的控制设备100,向上按键1313a和向下按键1314a所输入变更指令的变更类型为第一类型;向左按键1311a、向右按键1312a和确认按键1315a所输入变更指令的变更类型为第二类型。
同理,在一些实施例中,目标位置位于九宫格布局的中间列时,选项组包括垂直方向上的三个选项控件,第一类键值则为用于在水平方向移动控制焦点的键值,第二类键值为用于在垂直方向移动控制焦点以及选定操作的键值。例如,如图13所示的控制设备100,向左按键1311a和向右按键1312a所输入变更指令的变更类型为第一类型;向上按键1313a、向下按键1314a和确认按键1315a所输入变更指令的变更类型为第二类型。
S9003:如果所述变更类型为第一类型,基于所述变更指令将所述控制焦点设置于第二选项组,所述第二选项组包括至少两个所述选项控件,且所述第二选项组与所述第一选项组的显示位置不同。
显示设备200检测出变更指令的变更类型后,如果变更类型为第一类型,说明需要移动控制焦点的位置。因此,显示设备200基于变更指令,将控制焦点从第一选项组的位置移动至第二选项组的位置,以供用户在第二选项组中选定某个选项控件。
在一些实施例中,对于选项组包括水平方向上选项控件的实施方式,如果目标键值为第一类键值,即变更指令的变更类型为第一类型,显示设备200则解析第一类键值指示的移动趋势,以及按照移动趋势将控制焦点移动至位于第一选项组上行或下行的显示位置。例如,如图13所示的控制设备100,用户基于向上按键1313a输入变更指令时,显示设备200将图12所示的控制焦点,移动至图14所示的上行位置141a;用户基于向下按键1314a输入变更指令时,显示设备200将图12所示的控制焦点,移动至图15所示的下行位置151a。
同理,在一些实施例中,对于选项组包括垂直方向上选项控件的实施方式,如果目标键值为第一类键值,即变更指令的变更类型为第一类型,解析第一类键值指示的移动趋势,以及按照移动趋势将控制焦点移动至位于第一选项组左列或右列的显示位置。例如,如图13所示的控制设备100,用户基于向左按键1311a输入变更指令时,显示设备200将图16所示的控制焦点位置161a,移动至图17所示的左列位置171a;用户基于向右按键1312a输入变更指令时,显示设备200将图16所示的控制焦点,移动至图18所示的右列位置181a。
S9004:如果所述变更类型为第二类型,检测所述变更指令关联的目标选项控件,以及基于所述目标选项控件执行所述变更指令,所述目标选项控件为所述第一选项组中的选项控件。
显示设备200检测出的变更类型为第二类型时,说明需要在当前控制焦点位置的第一选项组中选定某个选项控件。此时,显示设备200则检测变更指令所指示的第一选项组中的目标选项控件,并通过目标选项控件执行变更指令。
为此,在一些实施例中,对于选项组包括水平方向上选项控件的实施方式,如果目标键值为第二类键值,显示设备200则可以解析第二类键值指示的目标方位,并获取位于目标方位的目标选项控件。再查询目标选项控件的模拟键值,以及基于模拟键值执行变更指令。其中,目标方位用于表征第一选项组中位于左侧、中间或右侧的显示位置。
例如,如图13所示的控制设备100,用户基于向左按键1311a输入变更指令时,显示设备200解析出指示的目标方位为左侧,如图12所示的控制焦点位置,显示设备200获取的目标选项控件为数字4的选项控件;用户基于向右按键1312a输入变更指令时,显示设备200解析出指示的目标方位为右侧,如图12所示的控制焦点位置,显示设备200获取的目标选项控件为数字6的选项控件;用户基于确认按键1315a输入变更指令时,显示设备200解析出指示的目标方位为中间,如图12所示的控制焦点位置,显示设备200获取的目标选项控件为数字5的选项控件。
同理,在一些实施例中,对于选项组包括垂直方向上选项控件的实施方式,如果目标键值为第二类键值,显示设备200则解析第二类键值指示的目标方位,并获取位于目标方位的目标选项控件。再查询目标选项控件的模拟键值,以及基于模拟键值执行变更指令。此时,目标方位用于表征第一选项组中位于顶侧、中间或底层的显示位置。
例如,如图13所示的控制设备100,用户基于向上按键1313a输入变更指令时,显示设备200解析出指示的目标方位为顶侧,如图16所示的控制焦点位置161a,显示设备200获取的目标选项控件为数字2的选项控件;用户基于向下按键1314a输入变更指令时,显示设备200解析出指示的目标方位为底侧,如图16所示的控制焦点位置161a,显示设备200获取的目标选项控件为数字8的选项控件;用户基于确认按键1315a输入变更指令时,显示设备200解析出指示的目标方位为中间,如图16所示的控制焦点位置,显示设备200获取的目标选项控件为数字5的选项控件。
为了根据目标选项控件执行变更指令,在一些实施例中,显示设备200获取目标选项控件对应的目标字符。然后,在绑定组件中查询与目标字符对应的模拟键值。其中,绑定组件(Bean)用于存储目标字符与模拟键值的映射关系。再将模拟键值发送至窗口管理器(Phon eWindowManager),并基于窗口管理器将输入内容分发至顶层应用,以使顶层应用响应模拟键值。其中,顶层应用为除虚拟按键窗口外窗口显示层级最高的应用,即当前显示设备200运行的最前台的应用。
例如,显示设备200可以通过目标服务KpadService执行第二类型的变更指令,交互过程如图10所示。其中,绑定组件(Bean)的本质为为Map映射,可存储目标选项控件对应目标字符与模拟键值之间的映射关系。显示设备200通过映射关系查询到目标字符对应的模拟键值后,通过Bean将模拟键值发送至Holder模块,Holder模块再将其发送至PhoneWindo wManager,使PhoneWindowManager将模拟键值发送至顶层应用进行处理。其中,顶层应用还可以理解为用户调出虚拟按键窗口之前所使用的应用。
模拟键值用于替代物理按键的功能,在一些实施例中,绑定组件中存储有目标字符与模拟按键的映射关系。显示设备200可以基于变更指令中指示的目标方位,获取目标方位上目标选项控件的目标字符。然后,遍历绑定组件的映射关系,获取与目标字符对应的模拟键值。例如,数字5对应选项控件的目标字符为5,绑定组件存储的映射关系可以表示为map.put(k:"5",new KeyBean(keyName:"5",KeyEvent.KEYCODE_5)),即数字5对应选项控件的模拟键值为KeyEvent.KEYCODE_5。
示例性的,如图12所示的数字键虚拟按键窗口,绑定组件(Bean)存储的映射关系可以表示为:public static Map<String,KeyBean>generateGridNumList();Map<String,KeyBean>map=new HashMap<>();map.put(k:"6",new KeyBean(keyName:"8",KeyEvent.KEYC ODE_0));map.put(k:"1",new KeyBean(keyName:"1",KeyEvent.KEYCODE_1));map,put(k:"2",new KeyBean(keyName:"2",KeyEvent.KEYCODE_2));map.put(k:"3",new KeyBean(keyName:"3",KeyEvent.KEYCODE_3));map.put(k:"4",new KeyBean(keyName:"4",Ke yEvent.KEYCODE_4));map.put(k:"5",new KeyBean(keyName:"5",KeyEvent.KEYCODE_5));map.put(k:"6",new KeyBean(keyName:"6",KeyEvent.KEYCODE_6));map.put(k:"7",new KeyBean(keyName:"7",KeyEvent.KEYCODE_7));map.put(k:"8",new KeyBean(keyName:"8",KeyEvent.KEYCODE_8));map.put(k:"9",new KeyBean(keyName:"9",KeyEvent.KEYCODE_9));map.put(k:"0K",new KeyBean(keyName:"0K",KeyEvent.KEYCO DE_DPAD_CENTER));map.put(k:".",new KeyBean(keyName:".",KeyEvent.KEYCODE_PERIOD));return map。
需要说明的是,上述Map映射仅为一种情况下的示例,显示设备200还可以使用其他形式存储目标字符与选项控件的映射关系,目标字符可以为数字、英文或汉字中至少一项。对此,本申请不作限制,
基于上述实施例,显示设备200显示虚拟按键窗口后,可以对不同类型的变更指令,执行不同的逻辑来移动控制焦点或选定某个选项控件。对于移动控制焦点的场景,在一些实施例中,显示设备200将控制焦点设置于第二选项组后,还可以接收控制设备100发送的变更指令,并响应于变更指令,解析变更指令的目标键值。如果目标键值为第一类键值,基于第一类键值将控制焦点设置于第三选项组。
其中,第三选项组包括至少两个选项控件,且第三选项组与第二选项组的显示位置不同,即再次移动控制焦点的位置,将控制焦点设置在其他的选项组上。值得注意的是,第三选项组的显示位置可以为第一选项组的显示位置,即第三选项组可以为第一选项组,但不可以为第二选项组。也就是说,如果前次变更指令为用户误操作,或者前次变更指令还未将控制焦点设置在用户期望的位置上,用户可以再次输入变更指令移动控制焦点的位置。
而如果目标键值为第二类键值,获取第二类键值关联的变更选项控件,以及基于变更选项控件执行变更指令。其中,变更选项控件为所述第二选项组中的选项控件。也就是说,前次变更指令移动的控制焦点已经位于用户期望的位置,即第二选项组为用户期望的位置时,可以通过特定的物理按键直接输入第二类型的变更指令,选定第二选项组中的目标选项控件来执行变更指令。需要说明的是,本实施例与前述步骤S9002-S9004的原理相同,在此不做赘述。
以下通过一个示例,对本申请实施例提供的虚拟按键窗口操作过程进行说明。
如图12所示的虚拟按键窗口,控制焦点位于中间行(包含数字4、数字5及数字6的选项控件)。此时,用户想要输入数字1的模拟键值。用户可以通过按压1次向上按键1313a将控制焦点移动至包含数字1选项控件的选项组,再按压向左按键1311a完成数字1的输入,共计操作频次为2次。相较于图8所示的虚拟按键窗口(假设控制焦点位于数字5对应选项控件的位置,所需频次仍为3次),可明显减少操作频次,缩短操作耗时,从而提高用户的交互体验。
为了便于用户操作,在一些实施例中,显示设备200显示的虚拟按键窗口中,还可以包括提示信息。其中,提示信息可以通过TextView或toast等方式显示。例如,如图12所示的虚拟按键窗口,显示设备200可以在特定的区域显示提示信息122,以提示用户通过特定的按键进行操作。
可以理解的是,上述控制设备100中用于输入第一类型或第二类型变更指令的物理按键还可以为其他物理按键,如四色键等。对此,本申请不作限制。
在一些实施例中,显示设备200还可以接收用于关闭虚拟按键窗口的退出指令。再响应于退出指令,解析退出指令的键值,以及基于退出指令的键值控制显示器260撤销显示虚拟按键窗口。其中,退出指令可以为用户基于控制设备100输入的,也可以为用户基于显示设备200中配置的按键输入的,还可以为顶层应用自动生成的。对此,本申请不作限制。
基于上述显示设备200,本申请部分实施例还提供一种基于虚拟按键的控制方法,可应用于上述实施例提供的显示设备200。如图9所示,所述方法包括以下步骤:
S9001:响应于用户输入的虚拟按键展示指令,控制显示器显示虚拟按键窗口,以及将控制焦点设置于第一选项组;所述虚拟按键窗口包括至少两行以及至少两列的选项控件,所述第一选项组包括至少两个所述选项控件;
S9002:接收控制设备发送的变更指令,以及响应于变更指令,检测变更指令的变更类型;
S9003:如果所述变更类型为第一类型,基于所述变更指令将所述控制焦点设置于第二选项组,所述第二选项组包括至少两个所述选项控件,且所述第二选项组与所述第一选项组的显示位置不同;
S9004:如果所述变更类型为第二类型,检测所述变更指令关联的目标选项控件,以及基于所述目标选项控件执行所述变更指令,所述目标选项控件为所述第一选项组中的选项控件。
由以上技术方案可知,本申请一些实施例提供的显示设备及虚拟按键的控制方法,所述方法可以响应于用户输入的虚拟按键展示指令,控制显示器260显示虚拟按键窗口,以及将控制焦点设置于第一选项组。其中,虚拟按键窗口包括至少两行以及至少两列的选项控件,第一选项组包括至少两个选项控件。再接收控制设备100发送的变更指令,以及响应于变更指令,检测变更指令的变更类型。如果变更类型为第一类型,则基于变更指令将控制焦点设置于与第一选项组显示位置不同的第二选项组;如果变更类型为第二类型,则检测变更指令关联的目标选项控件,并基于目标选项控件执行变更指令。所述方法将控制焦点设置在多个选项控件上,可减少用户基于虚拟按键输入控制指令过程中的操作频次,从而降低操控过程的复杂度,改善用户体验。
本说明书中各个实施例之间相同相似的部分互相参照即可,在此不再赘述。
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例或者实施例的某些部分的方法。
最后应说明的是:以上各实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述各实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
为了方便解释,已经结合具体的实施方式进行了上述说明。但是,上述示例性的讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导,可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释原理以及实际的应用,从而使得本领域技术人员更好的使用所述实施方式以及适于具体使用考虑的各种不同的变形的实施方式。
Claims (10)
1.一种显示设备,其特征在于,包括:
显示器,被配置为显示用户界面;
用户输入接口,被配置为接收控制设备发送的控制指令;
控制器,被配置为:
响应于用户输入的虚拟按键展示指令,控制所述显示器显示虚拟按键窗口,以及将控制焦点设置于第一选项组;所述虚拟按键窗口包括至少两行以及至少两列的选项控件,所述第一选项组包括至少两个所述选项控件;
接收所述控制设备发送的变更指令,以及响应于所述变更指令,检测所述变更指令的变更类型;
如果所述变更类型为第一类型,基于所述变更指令将所述控制焦点设置于第二选项组,所述第二选项组包括至少两个所述选项控件,且所述第二选项组与所述第一选项组的显示位置不同;
如果所述变更类型为第二类型,检测所述变更指令关联的目标选项控件,以及基于所述目标选项控件执行所述变更指令,所述目标选项控件为所述第一选项组中的选项控件。
2.根据权利要求1所述的显示设备,其特征在于,所述控制器执行基于所述目标选项控件执行所述变更指令,被配置为:
获取所述目标选项控件对应的目标字符;
在绑定组件中查询与所述目标字符对应的模拟键值,所述绑定组件用于存储所述目标字符与所述模拟键值的映射关系;
将所述模拟键值发送至所述窗口管理器;
基于所述窗口管理器将所述输入内容分发至顶层应用,以使所述顶层应用响应所述模拟键值,所述顶层应用为除所述虚拟按键窗口外窗口显示层级最高的应用。
3.根据权利要求1所述的显示设备,其特征在于,所述虚拟按键窗口中所述选项控件的布局为九宫格布局;所述控制器执行将控制焦点设置于第一选项组,被配置为:
获取所述第一选项组的目标位置,所述目标位置包括所述九宫格布局中中间行或中间列的所述选项控件的显示位置;
将所述控制焦点设置于所述目标位置。
4.根据权利要求3所述的显示设备,其特征在于,所述控制器执行检测所述变更指令的变更类型,被配置为:
解析所述变更指令的目标键值;
如果所述目标键值为第一类键值,将所述变更指令的变更类型标记为所述第一类型,所述第一类键值为用于在第一方向移动所述控制焦点的键值;
如果所述目标键值为第二类键值,将所述变更指令的变更类型标记为所述第二类型,所述第二类键值为用于在第二方向移动所述控制焦点以及选定操作的键值,所述第一方向与所述第二方向垂直。
5.根据权利要求4所述的显示设备,其特征在于,当所述目标位置位于所述九宫格布局的中间行时,所述第一类键值为用于在垂直方向移动所述控制焦点的键值,所述第二类键值为用于在水平方向移动所述控制焦点以及选定操作的键值;所述控制器还被配置为:
如果所述目标键值为第一类键值,解析所述第一类键值指示的移动趋势,以及按照所述移动趋势将所述控制焦点移动至位于所述第一选项组上行或下行的显示位置;
如果所述目标键值为第二类键值,解析所述第二类键值指示的目标方位,并获取位于所述目标方位的目标选项控件;查询所述目标选项控件的模拟键值,以及基于所述模拟键值执行所述变更指令;所述目标方位用于表征所述第一选项组中位于左侧、中间或右侧的显示位置。
6.根据权利要求4所述的显示设备,其特征在于,当所述目标位置位于所述九宫格布局的中间列时,所述第一类键值为用于在水平方向移动所述控制焦点的键值,所述第二类键值为用于在垂直方向移动所述控制焦点以及选定操作的键值;所述控制器还被配置为:
如果所述目标键值为第一类键值,解析所述第一类键值指示的移动趋势,以及按照所述移动趋势将所述控制焦点移动至位于所述第一选项组左列或右列的显示位置;
如果所述目标键值为第二类键值,解析所述第二类键值指示的目标方位,并获取位于所述目标方位的目标选项控件;查询所述目标选项控件的模拟键值,以及基于所述模拟键值执行所述变更指令;所述目标方位用于表征所述第一选项组中位于顶侧、中间或底层的显示位置。
7.根据权利要求1所述的显示设备,其特征在于,所述控制器执行控制所述显示器显示虚拟按键窗口,被配置为:
通过广播接收器接收所述虚拟按键展示指令;
响应于所述虚拟按键展示指令,基于所述广播接收器启动目标服务,所述目标服务用于显示所述虚拟按键窗口;
基于所述目标服务创建悬浮窗口;
通过所述悬浮窗口加载所述选项控件的目标布局;
按照所述目标布局在所述悬浮窗口中显示所述选项控件,以生成所述虚拟按键窗口。
8.根据权利要求1所述的显示设备,其特征在于,所述控制器执行基于所述变更指令将所述控制焦点设置于第二选项组后,还被配置为:
接收所述控制设备发送的变更指令;
响应于所述变更指令,解析所述变更指令的目标键值;
如果所述目标键值为第一类键值,基于所述第一类键值将所述控制焦点设置于第三选项组,所述第三选项组包括至少两个所述选项控件,且所述第三选项组与所述第二选项组的显示位置不同;
如果所述目标键值为第二类键值,获取所述第二类键值关联的变更选项控件,以及基于所述变更选项控件执行所述变更指令,所述变更选项控件为所述第二选项组中的选项控件。
9.根据权利要求1所述的显示设备,其特征在于,所述控制器还被配置为:
接收用于关闭所述虚拟按键窗口的退出指令;
响应于所述退出指令,解析所述退出指令的键值,以及基于所述退出指令的键值控制所述显示器撤销显示所述虚拟按键窗口。
10.一种基于虚拟按键的控制方法,其特征在于,包括:
响应于用户输入的虚拟按键展示指令,控制显示器显示虚拟按键窗口,以及将控制焦点设置于第一选项组;所述虚拟按键窗口包括至少两行以及至少两列的选项控件,所述第一选项组包括至少两个所述选项控件;
接收控制设备发送的变更指令,以及响应于变更指令,检测所述变更指令的变更类型;
如果所述变更类型为第一类型,基于所述变更指令将所述控制焦点设置于第二选项组,所述第二选项组包括至少两个所述选项控件,且所述第二选项组与所述第一选项组的显示位置不同;
如果所述变更类型为第二类型,检测所述变更指令关联的目标选项控件,以及基于所述目标选项控件执行所述变更指令,所述目标选项控件为所述第一选项组中的选项控件。
Publications (1)
Publication Number | Publication Date |
---|---|
CN118283374A true CN118283374A (zh) | 2024-07-02 |
Family
ID=
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110659010A (zh) | 一种画中画显示方法以及显示设备 | |
CN112165640B (zh) | 一种显示设备 | |
CN112087671B (zh) | 一种输入法控件的操控提示信息的显示方法及显示设备 | |
CN112165641A (zh) | 一种显示设备 | |
CN112135180A (zh) | 一种内容显示方法和显示设备 | |
CN112203154A (zh) | 一种显示设备 | |
CN111757024A (zh) | 一种控制智能图像模式切换的方法及显示设备 | |
CN112073787B (zh) | 显示设备及首页显示方法 | |
CN112506859B (zh) | 一种维护硬盘数据的方法及显示设备 | |
CN113490024A (zh) | 控制装置按键设置方法及显示设备 | |
CN112584229A (zh) | 一种显示设备切换频道的方法及显示设备 | |
CN111984167A (zh) | 一种快捷命名的方法及显示设备 | |
CN113794919B (zh) | 一种显示设备及出声设备的设置方法 | |
CN111988646B (zh) | 一种应用程序的用户界面显示方法和显示设备 | |
CN118283374A (zh) | 一种显示设备及基于虚拟按键的控制方法 | |
CN113810747B (zh) | 一种显示设备及信号源设置界面交互方法 | |
CN112199560B (zh) | 一种设置项的搜索方法及显示设备 | |
CN111953838B (zh) | 一种通话拨号方法、显示设备以及移动终端 | |
CN113438528A (zh) | 一种组合按键的实现方法及显示设备 | |
CN111988649A (zh) | 一种控件分离放大方法及显示设备 | |
CN111935530A (zh) | 一种显示设备 | |
CN112087651B (zh) | 显示询问信息的方法及智能电视 | |
CN111970554B (zh) | 一种图片显示方法和显示设备 | |
CN112866768B (zh) | 显示设备及信息提示方法 | |
CN113766164B (zh) | 显示设备及信号源界面显示方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication |