CN116939271A - 一种显示设备及基于多焦点的多设备控制方法 - Google Patents

一种显示设备及基于多焦点的多设备控制方法 Download PDF

Info

Publication number
CN116939271A
CN116939271A CN202210347317.7A CN202210347317A CN116939271A CN 116939271 A CN116939271 A CN 116939271A CN 202210347317 A CN202210347317 A CN 202210347317A CN 116939271 A CN116939271 A CN 116939271A
Authority
CN
China
Prior art keywords
focus
instruction
control
window
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210347317.7A
Other languages
English (en)
Inventor
张从鹏
牛付腾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vidaa Netherlands International Holdings BV
Original Assignee
Vidaa Netherlands International Holdings BV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vidaa Netherlands International Holdings BV filed Critical Vidaa Netherlands International Holdings BV
Priority to CN202210347317.7A priority Critical patent/CN116939271A/zh
Priority to PCT/EP2023/058324 priority patent/WO2023187071A1/en
Publication of CN116939271A publication Critical patent/CN116939271A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213Monitoring of end-user related data
    • H04N21/44222Analytics of user selections, e.g. selection of programs or purchase activity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4438Window management, e.g. event handling following interaction with the user interface
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4782Web browsing, e.g. WebTV

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请提供一种显示设备及基于多焦点的多设备控制方法,显示设备在开启多个控制设备同时控制显示设备的功能之后,当检测到同时接入多个控制设备时,在浏览器的用户界面上同时显示多个焦点,其中,每个焦点对应一个控制设备,且不同焦点对应不同的控制设备。显示设备可以同时响应于多个控制设备基于对应焦点发送的指令,以实现多个控制设备同时控制显示设备。显示设备在开启浏览器的分屏功能之后,在浏览器的用户界面上同时显示多个窗口,其中,每个窗口内显示一个焦点,显示设备响应于控制设备基于对应焦点发送的指令,以实现不同控制设备控制不同的窗口。

Description

一种显示设备及基于多焦点的多设备控制方法
技术领域
本申请涉及智能显示设备技术领域,尤其涉及一种显示设备及基于多焦点的多设备控制方法。
背景技术
显示设备是指能够输出具体显示画面的终端设备,可以是智能电视、移动终端、智能广告屏、投影仪等终端设备。以智能电视为例,智能电视是基于Internet应用技术,具备开放式操作系统与芯片,拥有开放式应用平台,可实现双向人机交互功能,集影音、娱乐、数据等多种功能于一体的电视产品,用于满足用户多样化和个性化需求。
浏览器是显示设备提供给用户的搜索入口,并向用户展示相应的用户界面。用户在使用浏览器时,通过单一的控制设备向浏览器发送指令,此时在浏览器的用户界面内显示与该控制设备对应的一个焦点。单一的控制设备不便于控制浏览器提供的各种功能。由此,用户可以对应浏览器提供的不同功能,使用不同的控制设备。但是,当用户使用不同控制设备控制浏览器时,浏览器的用户界面上始终只显示一个焦点。基于一个焦点,难以将不同控制设备的控制进行分离,即基于一个焦点,不能实现多个控制设备同时控制使用浏览器的操作。
发明内容
本申请提供了一种显示设备及基于多焦点的多设备控制方法,以通过在浏览器的用户界面上同时显示多个焦点,实现多个控制设备同时控制使用浏览器的操作。
第一方面,本申请提供了一种显示设备,包括:
显示器,被配置为显示浏览器的用户界面,所述浏览器的用户界面包括第一窗口,第一焦点,其中,所述第一焦点对应第一控制设备;
控制器,被配置为:
接收用户发送的设置指令,所述设置指令用于指示显示设置菜单,其中,所述设置菜单包括多设备控制选项;
响应于所述设置指令,显示所述设置菜单;
接收所述用户基于所述多设备控制选项发送的第一开启指令,所述第一开启指令用于指示开启多个控制设备同时控制所述显示设备的功能;
响应于所述第一开启指令,检测是否存在第二控制设备;
在存在所述第二控制设备时,在所述浏览器的用户界面上同时显示所述第一焦点和第二焦点,其中,所述第二焦点对应所述第二控制设备。
在本申请的一些实施例中,所述控制器,还被配置为:
接收所述用户发送的所述设置指令;
响应于所述设置指令,显示所述设置菜单,所述设置菜单还包括分屏选项;
接收所述用户基于所述分屏选项发送的第二开启指令,所述第二开启指令用于指示开启所述浏览器的分屏功能;
响应于所述第二开启指令,在所述浏览器的用户界面中同时显示所述第一窗口和第二窗口,其中,所述第一焦点和所述第二焦点分别显示于所述第一窗口和所述第二窗口内。
在本申请的一些实施例中,所述第一焦点的样式与所述第二焦点的样式不同。
在本申请的一些实施例中,所述控制器,还被配置为:
接收所述用户发送的第一移动指令,所述第一移动指令指示目标控制设备、所述目标控制设备对应的目标焦点的目标移动方向、以及所述目标焦点在所述目标移动方向上移动的目标距离;
响应于所述第一移动指令,获取所述目标焦点当前的位置坐标;
以所述目标焦点当前的位置坐标为起点,将所述目标焦点在所述目标移动方向上移动对应的目标距离,其中,当所述目标焦点移动所述目标距离后对应的位置坐标大于或者等于所述目标焦点所在窗口的坐标范围时,在所述目标焦点所在窗口的边界处显示所述目标焦点。
在本申请的一些实施例中,所述控制器,还被配置为:
同时接收所述用户发送的第一控制指令和第二控制指令,所述第一控制指令对应所述第一控制设备,并指示显示第一页面,所述第二控制指令对应所述第二控制设备,并指示显示第二页面,其中,所述第一控制指令与所述第二控制指令之间具有响应优先级;
显示所述第一页面和所述第二页面,其中,显示响应优先级高的控制指令所指示页面的页面内容,仅显示响应优先级低的控制指令所指示页面的页面标签。
在本申请的一些实施例中,所述控制器,还被配置为:
接收所述用户发送的第三控制指令,所述第三控制指令指示开启组合指令的功能,其中,所述组合指令包括第一指令和第二指令,所述第一指令和所述第二指令分别指示所述第一焦点和所述第二焦点;
响应于所述第三控制指令,开启所述组合指令的功能;
接收所述用户发送的所述第一指令和所述第二指令;
响应于所述第一指令,得到第一响应结果,并响应于所述第二指令,得到第二响应结果;
基于所述第一响应结果和所述第二响应结果,响应所述组合指令。
在本申请的一些实施例中,所述控制器,还被配置为:
在存在第三控制设备时,在所述浏览器的用户界面的指定区域显示第三焦点,其中,所述第三焦点对应所述第三控制设备,所述指定区域是指所述浏览器的用户界面中除所述第一窗口和所述第二窗口以外的区域;
接收所述用户发送的第二移动指令,所述第二移动指令指示将所述第三焦点移动至目标窗口内,所述目标窗口为所述第一窗口或者所述第二窗口;
响应于所述第二移动指令,在所述目标窗口内显示所述第三焦点,并隐藏所述第一焦点和所述第二焦点。
在本申请的一些实施例中,所述控制器,还被配置为:
接收所述用户发送的第三移动指令,所述第三移动指令指示将所述第三焦点移动至所述指定区域内;
响应于所述第三移动指令,在所述指定区域显示所述第三焦点,并显示所述第一焦点和所述第二焦点。
第二方面,本申请提供了一种多焦点的控制方法,应用于显示设备,所述显示设备显示浏览器的用户界面,所述浏览器的用户界面包括第一窗口,第一焦点,其中,所述第一焦点对应第一控制设备,所述方法包括:
接收用户发送的设置指令,所述设置指令用于指示显示设置菜单,其中,所述设置菜单包括多设备控制选项;
响应于所述设置指令,显示所述设置菜单;
接收所述用户基于所述多设备控制选项发送的第一开启指令,所述第一开启指令用于指示开启多个控制设备同时控制所述显示设备的功能;
响应于所述第一开启指令,检测是否存在第二控制设备;
在存在所述第二控制设备时,在所述浏览器的用户界面上同时显示所述第一焦点和第二焦点,其中,所述第二焦点对应所述第二控制设备。
在本申请的一些实施例中,所述方法还包括:
接收所述用户发送的所述设置指令;
响应于所述设置指令,显示所述设置菜单,所述设置菜单还包括分屏选项;
接收所述用户基于所述分屏选项发送的第二开启指令,所述第二开启指令用于指示开启所述浏览器的分屏功能;
响应于所述第二开启指令,在所述浏览器的用户界面中同时显示所述第一窗口和第二窗口,其中,所述第一焦点和所述第二焦点分别显示于所述第一窗口和所述第二窗口内。
显示设备在开启多个控制设备同时控制显示设备的功能之后,当检测到同时接入多个控制设备时,在浏览器的用户界面上同时显示多个焦点,其中,每个焦点对应一个控制设备,且不同焦点对应不同的控制设备。显示设备可以同时响应于多个控制设备基于对应焦点发送的指令,以实现多个控制设备同时控制显示设备。显示设备在开启浏览器的分屏功能之后,在浏览器的用户界面上同时显示多个窗口,其中,每个窗口内显示一个焦点,显示设备响应于控制设备基于对应焦点发送的指令,以实现不同控制设备控制不同的窗口。
附图说明
为了更清楚地说明本申请的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例中显示设备的使用场景;
图2为本申请实施例中控制设备的配置框图;
图3为本申请实施例中显示设备的配置图;
图4为本申请实施例中显示设备的操作系统配置图;
图5为本申请实施例中现有显示设备接入的多个控制设备对应显示同一个焦点的示意图;
图6为本申请实施例中基于多焦点的多设备控制同一个浏览器的窗口的流程示意图;
图7为本申请实施例中未开启多设备控制功能时,显示设备接入的多个控制设备对应显示第一焦点的示意图;
图8为本申请实施例中设置菜单的示意图;
图9为本申请实施例中控制设备列表的示意图;
图10为本申请实施例中开启多设备控制功能时,显示设备接入的多个控制设备对应显示各自的焦点的示意图;
图11为本申请实施例中开启多设备控制功能时,显示设备接入的多个控制设备对应显示各自的焦点的示意图;
图12为本申请实施例中开启多设备控制功能时,显示设备接入的多个控制设备对应显示各自的焦点的示意图;
图13为本申请实施例中隐藏多个焦点中处于空闲状态的焦点的示意图;
图14为本申请实施例中控制多个焦点中的每个焦点在浏览器的用户界面内移动的流程示意图;
图15为本申请实施例中第一焦点移动后的坐标超出浏览器的用户界面的边界时,显示于边界处的示意图;
图16为本申请实施例中按照响应优先级响应同时接收的控制指令的流程示意图;
图17为本申请实施例中第一控制设备基于第一焦点,控制设备A基于焦点A同时向浏览器发送控制指令的示意图;
图18为本申请实施例中按照响应优先级显示浏览器页面的的示意图;
图19为本申请实施例中基于多焦点的多设备通过组合指令控制浏览器的流程示意图;
图20为本申请实施例中基于双焦点实现两点间测距的示意图;
图21为本申请实施例中基于双焦点实现3D旋转的示意图;
图22为本申请实施例中基于多焦点的多设备分别控制浏览器分屏后的每个窗口的流程示意图;
图23为本申请实施例中开启分屏功能时,在各窗口分别显示接入的多个控制设备的焦点的示意图;
图24为本申请实施例中每个焦点在对应窗口内移动至窗口边界处的显示示意图;
图25为本申请实施例中控制第三焦点从指定区域移动至目标窗口内的流程示意图;
图26为本申请实施例中第三焦点在指定区域内时各焦点的显示示意图;
图27为本申请实施例中第三焦点在目标窗口内时各焦点的显示示意图;
图28为本申请实施例中控制第三焦点从目标窗口移动至指定区域内的流程示意图。
具体实施方式
下面将详细地对实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下实施例中描述的实施方式并不代表与本申请相一致的所有实施方式。仅是与权利要求书中所详述的、本申请的一些方面相一致的系统和方法的示例。
需要说明的是,本申请中对于术语的简要说明,仅是为了方便理解接下来描述的实施方式,而不是意图限定本申请的实施方式。除非另有说明,这些术语应当按照其普通和通常的含义理解。
本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体,而不必然意味着限定特定的顺序或先后次序,除非另外注明。应该理解这样使用的用语在适当情况下可以互换。
术语“包括”和“具有”以及他们的任何变形,意图在于覆盖但不排他的包含,例如,包含了一系列组件的产品或设备不必限于清楚地列出的所有组件,而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。
本申请实施方式提供的显示设备可以具有多种实施形式,例如,可以是智能电视、激光投影设备、显示器(monitor)、电子白板(electronic bulletin board)、电子桌面(electronic table)等,也可以是手机、平板电脑、智能手表等带有显示屏的设备。图1和图2为本申请的显示设备的一种具体实施方式。
图1为根据实施例中显示设备与控制设备之间操作场景的示意图。如图1所示,用户可通过智能设备300或控制设备100操作显示设备200。
在一些实施例中,控制设备100可以是遥控器,遥控器和显示设备的通信包括红外协议通信或蓝牙协议通信,及其他短距离通信方式中的至少一种,通过无线或有线方式来控制显示设备200。用户可以通过遥控器上按键、语音输入、控制面板输入等输入用户指令,来控制显示设备200。
在一些实施例中,也可以使用智能设备300(如移动终端、平板电脑、计算机、笔记本电脑等)以控制显示设备200。例如,使用在智能设备300上运行的应用程序控制显示设备200。
在一些实施例中,显示设备200还与服务器400进行数据通信。可允许显示设备200通过局域网(LAN)、无线局域网(WLAN)和其他网络进行通信连接。服务器400可以向显示设备200提供各种内容和互动。服务器400可以是一个集群,也可以是多个集群,可以包括一类或多类服务器。
服务器400可以是提供各种服务的服务器,例如对显示设备200采集的音频数据提供支持的后台服务器。后台服务器可以对接收到的音频等数据进行分析等处理,并将处理结果反馈给终端设备。
图3示出了根据示例性实施例中显示设备200的配置框图。
显示设备200包括调谐解调器210、通信器220、检测器230、外部装置接口240、控制器250、显示器260、音频输出接口270、存储器、供电电源、用户接口280中的至少一种。
在一些实施例中,调谐解调器210通过有线或无线接收方式接收广播电视信号,以及从多个无线或有线广播电视信号中解调出音视频信号,以及EPG数据信号。
在一些实施例中,通信器220是用于根据各种通信协议类型与外部设备或服务器进行通信的组件。例如:通信器可以包括Wi-Fi模块,蓝牙模块,有线以太网模块等其他网络通信协议芯片或近场通信协议芯片,以及红外接收器中的至少一种。显示设备200可以通过通信器220与控制设备100或服务器400建立控制信号和数据信号的发送和接收。
在一些实施例中,检测器230用于采集外部环境或与外部交互的信号。例如,检测器230包括光接收器,用于采集环境光线强度的传感器;或者,检测器230包括图像采集器,如摄像头,可以用于采集外部环境场景、用户的属性或用户交互手势;再或者,检测器230包括声音采集器,如麦克风等,用于接收外部声音。
声音采集器可以是麦克风,也称“话筒”,“传声器”,可以用于接收用户的声音,将声音信号转换为电信号。显示设备200可以设置至少一个麦克风。在另一些实施例中,显示设备200可以设置两个麦克风,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,显示设备200还可以设置三个,四个或更多麦克风,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。
此外,麦克风可以是内置在显示设备200上,或者麦克风通过有线或无线的方式与显示设备200相连接。当然,在本申请实施例对麦克风在显示设备200上的位置不做限定。或者,显示设备200可以不包括麦克风,即上述麦克风并未设置于显示设备200中。显示设备200可以通过接口(如USB接口130)外接麦克风(也可以称为话筒)。该外接的话筒可以通过外部固定件(如带有夹子的摄像头支架)固定在显示设备200上。
在一些实施例中,外部装置接口240可以包括但不限于如下:高清多媒体接口接口(HDMI)、模拟或数据高清分量输入接口(分量)、复合视频输入接口(CVBS)、USB输入接口(USB)、RGB端口等任一个或多个接口。也可以是上述多个接口形成的复合性的输入/输出接口。
在一些实施例中,控制器250和调谐解调器210可以位于不同的分体设备中,即调谐解调器210也可在控制器250所在的主体设备的外置设备中,如外置机顶盒等。
在一些实施例中,控制器250,通过存储在存储器上中各种软件控制程序,来控制显示设备的工作和响应用户的操作。控制器250控制显示设备200的整体操作。例如:响应于接收到用于选择在显示器260上显示UI对象的用户命令,控制器250便可以执行与由用户命令选择的对象有关的操作。
在一些实施例中,控制器250包括中央处理器(Central Processing Unit,CPU),视频处理器,音频处理器,图形处理器(Graphics Processing Unit,GPU),RAM(RandomAccess Memory),ROM(Read-Only Memory),用于输入/输出的第一接口至第n接口,通信总线(Bus)等中的至少一种。
在一些实施例中,显示器260包括用于呈现画面的显示屏组件,以及驱动图像显示的驱动组件,用于接收源自控制器250输出的图像信号,进行显示视频内容、图像内容以及菜单操控界面的组件以及用户操控UI界面。
显示器260可以为液晶显示器、OLED显示器、以及投影显示器,还可以为一种投影装置和投影屏幕。
在一些实施例中,用户可在显示器260上显示的图形用户界面(Graphic UserInterface,GUI)输入用户命令,则用户输入接口通过图形用户界面(GUI)接收用户输入命令。或者,用户可通过输入特定的声音或手势进行输入用户命令,则用户输入接口通过传感器识别出声音或手势,来接收用户输入命令。
在一些实施例中,“用户界面”是应用程序或操作系统与用户之间进行交互和信息交换的介质接口,它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(GUI),是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素,其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素中的至少一种。
在一些实施例中,显示设备200基于VIDAA软件平台,如图4所示,显示设备的系统可以包括内核(Kernel)、命令解析器(shell)、文件系统和应用程序。内核、shell和文件系统一起组成了基本的操作系统结构,它们让用户可以管理文件、运行程序并使用系统。上电后,内核启动,激活内核空间,抽象硬件、初始化硬件参数等,运行并维护虚拟内存、调度器、信号及进程间通信(IPC)。内核启动后,再加载Shell和用户应用程序。应用程序在启动后被编译成机器码,形成一个进程。
如图4所示,将显示设备的系统分为三层,从上至下分别为应用层、中间件层和硬件层。
应用层主要包含电视上的常用应用,以及应用框架(Application Framework),其中,常用应用主要是基于浏览器Browser开发的应用,例如:HTML5 APPs;以及原生应用(Native APPs);
应用框架(Application Framework)是一个完整的程序模型,具备标准应用软件所需的一切基本功能,例如:文件存取、资料交换...,以及这些功能的使用接口(工具栏、状态列、菜单、对话框)。
原生应用(Native APPs)可以支持在线或离线,消息推送或本地资源访问。
中间件层包括各种电视协议、多媒体协议以及系统组件等中间件。中间件可以使用系统软件所提供的基础服务(功能),衔接网络上应用系统的各个部分或不同的应用,能够达到资源共享、功能共享的目的。
硬件层主要包括HAL接口、硬件以及驱动,其中,HAL接口为所有电视芯片对接的统一接口,具体逻辑由各个芯片来实现。驱动主要包含:音频驱动、显示驱动、蓝牙驱动、摄像头驱动、WIFI驱动、USB驱动、HDMI驱动、传感器驱动(如指纹传感器,温度传感器,压力传感器等)、以及电源驱动等。
用户通过操控控制设备100控制使用显示设备200的浏览器时,浏览器的用户界面上显示与控制设备100对应的焦点。焦点是控制设备100在用户界面上的虚拟形象,以形象地展示用户通过控制设备100向显示设备200发送的各种指令。示例地,控制设备100为遥控器,用户通过操控遥控器的“上”、“下”、“左”、“右”按键,以向显示设备200发送移动指令,显示设备200响应于该移动指令,在浏览器的用户界面上在移动指令所指示的方向上移动焦点。例如移动指令指示向上移动,则在浏览器的用户界面上向上移动焦点。或者用户通过操控遥控器的“确认”按键,以向显示设备200发送指令,指示显示设备200执行焦点当前所在位置对应的任务。显示设备200响应于该指令,识别焦点当前所在的位置,例如焦点位于设置选项上,则该指令指示显示设备200执行设置选项对应的任务,即显示设置菜单。
为了适应浏览器提供的多种功能,浏览器提供多设备控制功能,即浏览器可以响应于多个控制设备100的指令。显示设备200可以同时接入多个控制设备100,如图5所示,显示设备200同时接入2个控制设备100,即遥控器(位于图5左侧)和鼠标(位于图5右侧)。但是,现有的显示设备200针对同时接入的多个控制设备100,仅在浏览器的用户界面上显示一个焦点,如图5所示,两个控制设备200均对应显示为“箭头”焦点,即无论显示设备200接收到哪一个控制设备100发送的指令,均通过焦点501展示对该指令的响应,也就是说,显示设备200在响应控制设备100发送的指令时,控制设备100与焦点是多对一的对应关系。示例地,显示设备200响应于用户通过遥控器发送的移动指令,将焦点从位置A移动至位置B,显示设备200响应于用户通过鼠标发送的移动指令,将焦点从位置B移动至位置C,显示设备200响应于用户通过遥控器发送的移动指令,将焦点从位置C移动至位置D。可见,显示设备200无论响应于哪一个控制设备100,均显示同一个焦点,仅通过焦点的移动变化,无法区分该移动变化对应哪一个控制设备100发送的移动指令,多个控制设备100也不同同时向显示设备200发送指令。由此,基于一个焦点,难以将不同控制设备100的控制进行分离,即基于一个焦点,不能实现多个控制设备100同时控制使用浏览器的操作。
为了实现多个控制设备100同时控制使用浏览器的操作,本申请实施例提供了一种显示设备和基于多焦点的多设备控制方法,可以参考图6所示的流程,具体步骤如下:
S601、接收用户发送的设置指令,所述设置指令用于指示显示设置菜单。
如图7所示,显示设备200当前接入第一控制设备704,例如遥控器,显示设备200当前显示浏览器的用户界面,浏览器的用户界面包括第一窗口701和工具栏,其中,第一窗口701内显示的内容基于网络资源灵活变化,工具栏内显示的内容为各种功能选项,其与显示设备200的配置以及用户的设置相关,工具栏内显示的内容相对固定。第一窗口701与工具栏的相对位置基于显示设备200的配置和用户的设置,可以呈现多种样式,例如图7所示,工具栏702位于第一窗口701的上方,工具栏也可以位于第一窗口701的左侧、右侧、或者下方,此处不赘述。
如图7所示,浏览器的用户界面内还显示第一焦点703,第一焦点703与第一控制设备704对应,也就是说,第一焦点703用于展示显示设备200对第一控制设备发送的指令的响应结果。
用户通过第一控制设备704向显示设备200发送设置指令,以指示显示设备200显示设置菜单。以第一控制设备704是遥控器为例进行说明,用户通过操控遥控器的“上”、“下”、“左”、“右”按键,以向显示设备200发送移动指令,显示设备200响应于该移动指令,将第一焦点703显示于移动后的位置上,直至将第一焦点703移动至工具栏中的设置选项702上。用户通过按压遥控器的“确认”按键,以向显示设备200发送确认指令,显示设备200响应于该确认指令,识别第一焦点703的位置坐标,即第一焦点703的位置坐标对应于设置选项702,则判定该确认指令对应设置指令,用于指示显示设置菜单。
S602、响应于所述设置指令,显示所述设置菜单。
显示设备200响应于设置指令,在浏览器的用户界面内显示设置菜单,如图8所示,设置菜单包括多设备控制选项。多设备控制选项包括两种状态,即开启状态和关闭状态,其中,关闭状态是指显示设备200仅支持单设备控制,也就是说,显示设备200同时接入多个控制设备100,仅在浏览器的用户界面上对应显示同一个焦点,如图5所示,此处不再赘述。开启状态是指显示设备200支持多个控制设备100同时控制显示设备200,也就是说,如果显示设备200当前接入多个控制设备100,该多个控制设备100在浏览器的用户界面上具有各自对应的焦点,即浏览器的用户界面内同时显示多个焦点,其中,每个焦点对应一个控制设备100,且不同的焦点对应不同的控制设备100,此时,每个焦点展示显示设备200对对应控制设备100发送的指令的响应结果。
S603、接收所述用户基于所述多设备控制选项发送的第一开启指令,所述第一开启指令用于指示开启多个控制设备同时控制焦点的功能。
用户通过操控第一控制设备704向显示设备200发送第一开启指令,以将多设备控制选项的状态调整为开启状态。仍以第一控制设备704是遥控器为例,用户通过操控遥控器向显示设备200发送移动指令,以将第一焦点703移动至多设备控制选项上。用户通过按压遥控器的“确认”按键,以向显示设备200发送确认指令,显示设备200响应于该确认指令,识别第一焦点703当前的位置坐标,即第一焦点703的位置坐标对应于多设备控制选项,且当前的状态为关闭状态,则判定该确认指令对应第一开启指令,用于指示将多设备控制选项的状态调整为开启状态。
S604、响应于所述第一开启指令,检测是否存在第二控制设备。
显示设备200将第一开启指令由浏览器传递至底层浏览器(如Odin浏览器),并由底层浏览器检测显示设备200当前是否已经接入其它控制设备,其中,底层浏览器与浏览器之间具有双向通信功能。在一些实施例中,底层浏览器通过检测控制设备100的连接信息,例如接口状态信息等,判断是否存在除第一控制设备704以外的控制设备。如果存在其它控制设备,则获取各控制设备的设备信息,并基于这些设备信息生成控制设备列表,底层浏览器将控制设备列表传递至浏览器,以在浏览器的用户界面内显示该控制设备列表。其中,控制设备的设备信息包括设备名称、设备标识等可以唯一标识控制设备的信息,相应的,控制设备列表包括各控制设备选项,其中,各控制设备选项上标记对应的设备信息。底层浏览器检测到显示设备200已接入其它控制设备,如图7所示,已接入控制设备A705和控制设备B706,其中,控制设备A705为鼠标,控制设备B706为键盘,获取控制设备A705的设备信息为“鼠标”,获取控制设备B706的设备信息为“键盘”。底层浏览器基于设备信息“鼠标”和“键盘”生成控制设备列表,如图9所示,该控制设备列表包括控制设备A705的选项“鼠标”以及控制设备B706的选项“键盘”。控制设备列表还可以包括第一控制设备704的选项,例如“遥控器”,并在第一控制设备704的选项上带有标记,以指示该控制设备为与当前所显示的第一焦点703对应的第一控制设备704。底层浏览器将生成的控制设备列表传递至浏览器进行显示。
用户通过浏览控制设备列表,可以快速、准确地获知当前已经接入显示设备200的控制设备,并从中选择所要使用的控制设备,即第二控制设备。其中,第二控制设备可以是控制设备列表中的一个控制设备,也可以是控制设备列表中的多个控制设备。
示例一,用户基于如图9所示的控制设备列表进行选择,仍以第一控制设备704是遥控器为例进行说明,用户通过操控遥控器向显示设备200发送移动指令,以将第一焦点703移动至第二控制设备的选项上,例如“鼠标”选项上。用户通过按压遥控器的“确认”按键,向显示设备200发送确认指令,显示设备200响应于该确认指令,识别第一焦点703当前的位置坐标,即第一焦点703的位置坐标对应于“鼠标”选项,则判定该确认指令对应选择“鼠标”作为第二控制设备的指令。
示例二,用户基于如图9所示的控制设备列表进行选择,仍以第一控制设备704是遥控器为例进行说明,按照示例一的过程,选择“鼠标”作为第二控制设备。并且,参考示例一的过程,同时选择“键盘”作为第二控制设备。此时,第二控制设备为多个,即“鼠标”和“键盘”均为第二控制设备,并与第一控制设备704同时控制显示设备200。
示例三,用户基于如图9所示的控制设备列表进行选择,仍以第一控制设备704是遥控器为例进行说明,与示例二的区别在于,用户通过操控遥控器向显示设备200发送移动指令,以将第一焦点703移动至第一控制设备704的选项上,并通过按压遥控器的“确认”按键,以向显示设备200发送确认指令。显示设备200响应于该确认指令,识别第一焦点703当前的位置坐标,即第一控制设备704的选项上,且识别到第一控制设备704的选项当前处于已被选择的状态,则判断该确认指令为指示不选择第一控制设备704的指令。显示设备200响应于该确认指令,不再选择第一控制设备704,则显示设备200不再受第一控制设备704的控制,仅由第二控制设备参与多设备控制。
S605、在存在所述第二控制设备时,在所述浏览器的用户界面上同时显示所述第一焦点和第二焦点,其中,所述第二焦点对应所述第二控制设备。
显示设备200响应于指示选择第二控制设备的指令,在浏览器的用户界面上同时显示第一焦点703和第二焦点,其中,第二焦点对应第二控制设备。
示例四,与示例一对应,用户仅选择一个第二控制设备,即控制设备A705。此时,由第一控制设备704和控制设备A705同时控制显示设备200。为了实现两个控制设备同时控制显示设备200,将两个控制设备的焦点分离显示,如图10所示,在浏览器的用户界面上添加显示一个新的焦点,即焦点A1001,也就是第二焦点。焦点A1001对应控制设备A,用于展示显示设备200对控制设备A发送的指令的响应结果。由此,用户基于第一控制设备704对显示设备200进行的控制操作,可以单独通过第一焦点703展示,用户基于控制设备A705对显示设备200进行的控制操作,可以单独通过焦点A1001展示,由于第一焦点703与焦点A1001相互分离,所以用户基于第一控制设备704和控制设备A705对显示设备200进行的控制操作互不影响,即可以实现用户同时基于第一控制设备704和控制设备A705控制使用显示设备200上的浏览器。
在本示例中,其它已经接入的控制设备,如控制设备B706(以虚线示出),被禁止控制显示设备200。
示例五,与示例二对应,用户选择多个第二控制设备,即控制设备A705和控制设备B706。此时,如图11所示,由第一控制设备704、控制设备A705和控制设备B706同时控制显示设备200。为了实现三个控制设备同时控制显示设备200,将三个控制设备的焦点分离显示,即在浏览器的用户界面上添加显示两个新的焦点,即焦点A1001和焦点B1101,焦点A1001和焦点B1101均为第二焦点,其中,焦点A1001对应控制设备A705,用于展示显示设备200对控制设备A705发送的指令的响应结果。焦点B1101对用控制设备B706,用于展示显示设备200对控制设备B706发送的指令的响应结果。由此,用户基于第一控制设备704对显示设备200进行的控制操作,可以单独通过第一焦点703展示,用户基于控制设备A705对显示设备200进行的控制操作,可以单独通过焦点A1001展示,用户基于控制设备B706对显示设备200进行的控制操作,可以单独通过焦点B1101展示。由于第一焦点703、焦点A1001和焦点B1101相互分离,所以用户基于第一控制设备704、控制设备A705和控制设备B706对显示设备200进行的控制操作互不影响,即可以实现用户同时基于第一控制设备704、控制设备A705以及控制设备B706控制显示设备200。
在本示例中如果存在未被选择为第二控制设备的其它控制设备,这些控制设备被禁止控制显示设备200。
示例六,与示例三对应,用户选择多个第二控制设备,即控制设备A705和控制设备B706,而删除第一控制设备704的控制。此时,如图12所示,由控制设备A705和控制设备B706同时控制显示设备200。为了实现两个控制设备同时控制显示设备200,将两个控制设备的焦点分离显示,即在浏览器的用户界面上添加显示两个新的焦点,即焦点A1001和焦点B1101,焦点A1001和焦点B1101均为第二焦点,其中,焦点A1001对应控制设备A705,用于展示显示设备200对控制设备A705发送的指令的响应结果。焦点B1101对用控制设备B706,用于展示显示设备200对控制设备B706发送的指令的响应结果。同时,将第一焦点703删除。由此,用户基于控制设备A705对显示设备200进行的控制操作,可以单独通过焦点A1001展示,用户基于控制设备B706对显示设备200进行的控制操作,可以单独通过焦点B1101展示。由于焦点A1001和焦点B1101相互分离,所以用户基于控制设备A705和控制设备B706对显示设备200进行的控制操作互不影响,即可以实现用户同时基于控制设备A705以及控制设备B706控制显示设备200。在本示例中,不仅可以实现使用多个新的控制设备替换原有的控制设备来控制显示设备200,而且可以实现多个新的控制设备同时控制显示设备200。
在本示例中如果存在未被选择为第二控制设备的其它控制设备,这些控制设备和第一控制设备704均被禁止控制显示设备200。
在一些实施例中,用户可以灵活调整参与多设备控制的控制设备100。用户通过操控当前所使用的第一控制设备704或者第二控制设备,向显示设备200发送指令,以指示显示设备显示控制设备列表,并在控制设备列表中选择所要添加、删除的控制设备。
在一些实施例中,为了便于用于通过焦点区分对应的控制设备,将各焦点设置为不同的样式,即第一焦点703与第二焦点的样式不同,且各第二焦点的样式也不同。焦点可以采用简单的指针样式进行区分,如图10、图11和图12所示,其中,“手”代表遥控器的焦点,“箭头”代表鼠标的焦点,“十字箭头”代表键盘的焦点。由此,用户可以通过焦点的样式,快速确定每一个控制设备对应的焦点在浏览器的用户界面上的准确位置,而无需通过逐个操控每个控制设备,以确定控制设备对应的焦点。
在一些实施例中,在用户当前仅操控全部控制设备中的部分控制设备(目标控制设备)控制显示设备200时,为了避免其它控制设备对应焦点的显示对用户观察目标控制设备的焦点造成干扰,显示设备200隐藏其它控制设备的焦点。如图10所示,浏览器的用户界面上同时显示第一焦点703和焦点A1001,用户当前仅操控遥控器控制显示设备200,未操控鼠标,则如图13所示,仅显示第一焦点703,隐藏焦点A1001(以虚线示出)。具体步骤如下:
显示设备200针对每一个控制设备100统计对应的空闲时长,空闲时间是指当前时刻距上一次接收到该控制设备100的指令的时长。例如,显示设备200可以为每一个控制设备100创建对应的计时器,并在每一次接收到指令时重新计时。显示设备200检测各控制设备100的空闲时长,并将空闲时长大于或者等于预设时长时,将相应控制设备100对应的焦点进行隐藏,并在再次接收到该控制设备100发送的指令时,显示该控制设备100的焦点,并重新开启计时。这样,各控制设备100的焦点在预设时长内仍然会显示在浏览器的用户界面上,以供用户在该时间段内掌握各控制设备100的焦点的位置信息,在控制设备100的空闲时长超出预设时长时,说明用户长时间未使用该控制设备100,则隐藏该控制设备100对应的焦点,以避免该控制设备100对应焦点的显示影响用户观察其它控制设备100的焦点。同时,显示设备200在接收到该控制设备100发送的指令之后,显示该控制设备100隐藏的焦点,可以令用户及时观察到该控制设备100对应至浏览器的用户界面内的位置,以便于用户继续下达指令。
显示设备200响应于上述与开启多设备控制功能的相关指令,如第一开启指令、指示选择第二控制设备的确认指令、配置焦点样式的指令等,存储对应的配置数据,以记录显示设备200当前的设备控制状态、参与多设备控制的控制设备、以及对应焦点的焦点信息。
显示设备200将如图8所示的设置菜单中与多设备控制选项对应的配置数据存储至本地缓存中,例如,将state.Browser Equipment Data中浏览器的模式数据(BrowserPattern Data),如多设备(multidevice)的标识“true”(表示开启多设备控制功能)或者“false”(表示关闭多设备控制功能),存储至浏览器的本地缓存local storage中。并且存储与每个控制设备对应的焦点信息,例如焦点的标识信息,以及焦点与控制设备之间的对应关系。其中,焦点的标识信息用于唯一标识焦点,可以为标号、名称等,如first focus、second focus等,焦点与控制设备之间的对应关系,可以表示为焦点的标识信息与控制设备的标识信息的数据对,如第一焦点703与第一控制设备704之间的对应关系,可以表示为“first focus-遥控器”;第二焦点与第二控制设备之间的对应关系,如焦点A1001与控制设备A705之间的对应关系,可以表示为“second1 focus-鼠标”,焦点B1101与控制设备B706之间的对应关系,可以表示为“second2 focus-键盘”。
在一些实施例中,如果用户在未登录用户账号的状态下,则将上述配置数据存储至浏览器的本地缓存中;如果用户在登录用户账号的状态下,则将上述配置数据存储至浏览器的本地缓存中,并在配置数据的存储地址中带有用户账号的身份标识(User ID),以将所存储的配置数据与用户账号绑定。
在一些实施例中,用户在登录用户账号的状态下,可以将配置数据上传至云端服务器存储,该配置数据在云端服务器中的存储地址与用户账号绑定。由此,用户在其它显示设备上登录该用户账号之后,可以从云端服务器获取到已存储的配置数据,并使用获取到的配置数据对当前显示设备上的浏览器进行设置,以基于同一个用户账号实现不同显示设备上浏览器的设置同步。
用户通过操控多个控制设备,以在浏览器的用户界面内移动对应焦点的过程可以参考图14所示的流程,具体步骤如下:
S1401、接收所述用户发送的第一移动指令,所述第一移动指令指示目标控制设备、所述目标控制设备对应的目标焦点的目标移动方向、以及所述目标焦点在所述目标移动方向上移动的目标距离。
用户通过操控控制设备100向显示设备200发送第一移动指令,其中,该第一移动指令指示发送该第一移动指令的控制设备,即目标控制设备,例如指示目标控制设备的标识信息。在本实施例中,目标控制设备可以是第一控制设备(表示仅移动第一控制设备对应的第一焦点),可以是第二控制设备(表示仅移动第二控制设备对应的第二焦点),也可以是第一控制设备和第二控制设备(表示同时移动第一控制设备对应的第一焦点和第二控制设备对应的第二焦点)。
第一移动指令还指示目标控制设备对应的目标焦点的目标移动方向,以及目标焦点在该目标移动方向上移动的目标距离。示例地,如果目标控制设备是第一控制设备,则目标焦点是第一焦点。如果目标控制设备是第一控制设备和第二控制设备,则目标焦点是第一焦点和第二焦点。
目标焦点的目标移动方向包括横向和纵向。示例地,如果目标控制设备为遥控器,则键值“左”和“右”表示横向,键值“上”和“下”表示纵向。如果目标控制设备为鼠标,则鼠标的移动方向“向左”和“向右”表示横向,移动方向“向上”和“向下”表示纵向。如果目标控制设备为键盘,则键值“左”和“右”表示横向,键值“上”和“下”表示纵向。
目标距离具有正值和负值,其中,目标距离是正值时,表示向目标移动方向的正方向移动该距离值,目标距离是负值时,表示向目标移动方向的负方向移动该距离值。示例地,目标移动方向为横向,如果目标距离为30mm,则目标焦点在横向的正方向上移动30mm,如果目标距离为-20mm,则目标焦点在横向的负方向上移动20mm。
S1402、响应于所述第一移动指令,获取所述目标焦点当前的位置坐标。
显示设备200内配置焦点样式容器,每一个焦点样式容器对应一组具有对应关系的焦点和控制设备。焦点样式容器增加第一移动指令的响应功能,即显示设备200通过与目标控制设备对应的焦点样式容器,响应目标控制设备发送的第一移动指令,并移动该焦点样式容器,以实现目标焦点的移动。首先,显示设备200接收到第一移动指令后,基于该第一移动指令指示的目标控制设备,确定对应的焦点样式容器,即目标焦点样式容器。显示设备200获取该目标焦点样式容器当前的位置坐标,以获取目标焦点当前的位置坐标,并将该位置坐标作为后续移动的起点。
S1403、以所述目标焦点当前的位置坐标为起点,将所述目标焦点在所述目标移动方向上移动对应的目标距离,其中,当所述目标焦点移动所述目标距离后对应的位置坐标大于或者等于所述目标焦点所在窗口的坐标范围时,在所述目标焦点所在窗口的边界处显示所述目标焦点。
显示设备200以目标焦点当前的位置坐标作为起点,按照第一移动指令中指示的目标移动方向和目标距离,移动目标焦点。示例地,目标焦点当前的位置坐标为(50,50),目标移动方向为横向和纵向,在横向上的目标移动距离为30mm,在纵向上的目标移动距离为-20mm,则目标焦点移动后的位置坐标为(80,30)。
在一些实施例中,为了提高目标焦点的移动流畅性,在焦点样式容器中添加动画功能,以展示目标焦点从起点的位置坐标到移动后的位置坐标之间的连续运动,避免出现目标焦点从起点的位置坐标消失后,直接显示在移动后的位置坐标上。
在一些实施例中,增加目标焦点的移动区域限制。示例地,浏览器的用户界面具有一定的范围,即浏览器的用户界面的四条边界,将该范围转换为坐标表示,示例地,浏览器的用户界面的左下角为原点(0,0),浏览器的用户界面的左上角为(0,80),浏览器的用户界面的右下角为(100,0),浏览器的用户界面的右上角为(100,80),由上述四个顶点组成的四条边界,即为浏览器的用户界面的范围。限制目标焦点在浏览器的用户界面内移动,以避免目标焦点移动至浏览器的用户界面以外,造成失焦的问题。一旦,目标焦点移动后的位置坐标超出浏览器的用户界面的范围,则在移动目标焦点时,将目标焦点移动至对应的边界处为止,并在该边界处显示目标焦点,如图15所示,以第一焦点703为目标焦点为例,当第一焦点703移动至第一窗口701的右边界,则不再响应第一移动指令继续移动第一焦点703,而是将第一焦点703显示于第一窗口701的右边界处。
当用户同时控制第一控制设备和第二控制设备向显示设备200发送显示对应页面的控制指令时,可以参考图16所示的流程响应多个控制指令,具体步骤如下:
S1601、同时接收所述用户发送的第一控制指令和第二控制指令,所述第一控制指令对应所述第一控制设备,并指示显示第一页面,所述第二控制指令对应所述第二控制设备,并指示显示第二页面,其中,所述第一控制指令与所述第二控制指令之间具有响应优先级。
通过底层浏览器实现对多焦点控制的支持,底层浏览器与浏览器之间建立双向通信,浏览器接收控制设备发送的指令,以及获取焦点的位置坐标,并通过长链接将所接收到的指令以及焦点的位置坐标实时发送至底层浏览器。底层浏览器基于接收到的指令和焦点的位置坐标,生成结果数据,并通过长链接将结果数据发送至浏览器,以通过浏览器进行展示,以完成对指令的响应。示例地,通信数据包括焦点的位置坐标,焦点的标识信息,焦点对应的事件类型如点击、移入、移出等,每个控制设备的按键信息,如键盘的enter键、鼠标的左键、遥控器的确认键等。
在本实施例中,第一控制指令与第二控制指令分别由第一控制设备和第二控制设备发送,均用于指示打开对应的页面。示例地,如图17所示,用户通过操控第一控制设备704,如遥控器,将第一焦点703移动至第一页面的入口1701,用户通过操控第二控制设备,如上述示例中的控制设备A705,即鼠标,将第二焦点,即焦点A1001移动至第二页面的入口1702。用户通过按压遥控器的“确认”按键,以向显示设备200发送第一控制指令,同时,用户通过按压鼠标的左键,以向显示设备200发送第二控制指令。由此,显示设备200将同时接收到第一控制指令和第二控制指令。
显示设备200响应于第一控制指令,通过浏览器获取第一焦点的第一位置坐标,显示设备200响应于第二控制指令,通过浏览器获取第二焦点的第二位置坐标。浏览器将获取到的第一位置坐标和第二位置坐标,以及对应的第一控制指令和第二控制指令发送至底层浏览器进行数据处理。
S1602、显示所述第一页面和所述第二页面,其中,显示响应优先级高的控制指令所指示页面的页面内容,仅显示响应优先级低的控制指令所指示页面的页面标签。
由于浏览器的用户界面仅包括一个显示窗口,即第一窗口,则为了保证页面内容的有效展示,为各控制设备发送的控制指令设置响应优先级,其中,响应优先级高的控制指令所指示页面的页面内容优先显示,响应优先级低的控制指令所指示页面的页面内容不显示,即该页面处于未激活状态,仅显示该页面的页面标签。由此,可以避免同时获取多个页面的页面数据的计算负担,以及同时显示的无序性,同时,显示未显示具体内容的页面的页面标签,以通过该页面标签向用户展示响应结果,避免出现无响应的情况,以保证用户的多设备控制的体验感。
示例地,第二控制指令的响应优先级较高,第一控制指令的响应优先级较低,则如图18所示,优先展示第二页面的页面内容1801,不展示第一页面的页面内容,仅展示第一页面的页面标签1802。
在一些实施例中,基于多设备控制功能,可以通过多个设备发送组合指令,以扩展浏览器的功能,参考图19所示的流程,具体步骤如下:
S1901、接收所述用户发送的第三控制指令,所述第三控制指令指示开启组合指令的功能,其中,所述组合指令包括第一指令和第二指令,所述第一指令和所述第二指令分别指示所述第一焦点和所述第二焦点。
设置菜单还包括组合指令选项,以通过组合不同控制设备发送的指令,如第一指令和第二指令,其中,第一指令对应第一焦点,第二指令对应第二焦点,得到对应特定功能的组合指令。
用户通过控制当前所使用的控制设备(第一控制设备或者第二控制设备),将对应的焦点移动至设置菜单中的组合指令选项。用户通过当前所使用的控制设备发送确认指令,以指示显示设备200开启组合指令的功能。
在一些实施例中,如果浏览器当前所显示的页面不支持组合指令功能,则设置菜单中的组合指令选项置灰,以指示用户当前页面不可用组合指令功能。如果浏览器当前所显示的页面支持组合指令功能,则设置菜单中的组合选项为可用状态。
S1902、响应于所述第三控制指令,开启所述组合指令的功能。
显示设备200接收到确认指令,并识别到焦点位于组合指令选项上,且组合指令选项当前为可用状态,则判定该确认指令为第三控制指令,并响应于第三控制指令,开启组合指令的功能。在一些实施例中,组合指令包括两点测距指令、3D旋转指令等。
S1903、接收所述用户发送的所述第一指令和所述第二指令。
在一些实施例中,组合指令为两点测距指令,则第一指令为指示获取第一焦点的位置坐标,第二指令为指示获取第二焦点的位置坐标。
在一些实施例中,组合指令为3D旋转指令,则第一指令为获取第一焦点的位置坐标,第二指令为指示以第一焦点为中心,按照第二焦点的移动方向进行旋转。
S1904、响应于所述第一指令,得到第一响应结果,并响应于所述第二指令,得到第二响应结果。
与S1903对应,在一些实施例中,组合指令为两点测距指令,响应于第一指令,获取第一焦点的位置坐标,即第一响应结果,响应于第二指令,获取第二焦点的位置坐标,即第二响应结果。
在一些实施例中,组合指令为3D旋转指令,响应于第一指令,获取第一焦点的位置坐标,即第一响应结果,响应于第二指令,以第一焦点为中心,按照第二焦点的移动方向进行旋转,即第二响应结果。
S1905、基于所述第一响应结果和所述第二响应结果,响应所述组合指令。
基于第一响应结果和第二响应结果,以响应第一指令和第二指令组成的组合指令。
在一些实施例中,组合指令为两点测距指令,基于第一响应结果,即第一焦点的位置坐标,和第二响应结果,即第二焦点的位置坐标,通过计算第一焦点与第二焦点之间的坐标距离,并乘以对应的比例,可以得到两点之间的距离,并标记于第一焦点与第二焦点之间,如图20所示,以第一焦点703和第二焦点,焦点A1001为例,通过上述测距过程,得到两点之间的距离为1km,则在两点之间标记1km。使用该两点测距指令,可以通过使用两个控制设备对浏览器内的页面,如地图等,进行两点间测距,操作更加简单快捷。
在一些实施例中,组合指令为3D旋转指令,基于第一响应结果,即第一焦点的位置坐标,和第二响应结果,即以第一焦点为中心,按照第二焦点的移动方向进行旋转,即第二响应结果,通过获取第二焦点的移动方向,结合第一焦点的位置坐标,对浏览器的当前页面进行旋转,如图21所示,以第一焦点703和第二焦点,焦点A1001为例,以第一焦点703为中心,用户通过操控控制设备A705,即鼠标逆时针旋转,也就是焦点A1001的移动方向为逆时针旋转,以令页面上的图形以焦点703为中心,按照逆时针旋转(旋转后图形以虚线示出)。使用3D旋转指令,可以通过使用两个控制设备对浏览器内的页面,如立体图、室内结构图等,进行旋转展示。
显示设备在开启多个控制设备同时控制显示设备的功能之后,当检测到同时接入多个控制设备时,在浏览器的用户界面上同时显示多个焦点,其中,每个焦点对应一个控制设备,且不同焦点对应不同的控制设备。显示设备可以同时响应于多个控制设备基于对应焦点发送的指令,以实现多个控制设备同时控制显示设备。
在一些实施例中,为了实现用户同时操控多个控制设备分别控制浏览器不同的窗口,或者多用户同时使用浏览器,可以开启浏览器的分屏功能,参考图22所示的流程,具体步骤如下:
S2201、接收所述用户发送的所述设置指令。
基于上文开启多设备控制功能之后,用户通过操控当前所使用的控制设备(第一控制设备或者第二控制设备),以向显示设备200发送设置指令,该发送设置指令的过程可以参考S601中用户通过操控第一控制设备向显示设备200发送设置指令的过程,此处不再赘述。
S2202、响应于所述设置指令,显示所述设置菜单,所述设置菜单还包括分屏选项。
显示设备200响应于设置指令显示设置菜单的过程可以参考S602中的过程,此处不再赘述。如图8所示,设置菜单还包括分屏选项。分屏选项包括两种状态,即开启状态和关闭状态,其中,关闭状态是指浏览器仅包括一个窗口,即第一窗口701,其使用状态参考上文。开启状态是指浏览器同时显示多个窗口,每个窗口相当于一个独立的浏览器,可以在每个窗口内进行独立的搜索操作。
S2203、接收所述用户基于所述分屏选项发送的第二开启指令,所述第二开启指令用于指示开启所述浏览器的分屏功能。
用户通过操控当前所使用的控制设备(第一控制设备或者第二控制设备),以将对应的焦点移动至分屏选项上,并通过向显示设备200发送第二开启指令,以指示将分屏选项的状态调整为开启状态。
S2204、响应于所述第二开启指令,在所述浏览器的用户界面中同时显示所述第一窗口和第二窗口,其中,所述第一焦点和所述第二焦点分别显示于所述第一窗口和所述第二窗口内。
显示设备200响应于第二开启指令,在浏览器的用户界面中添加新的窗口,即第二窗口,并同时显示第一窗口701和第二窗口,每个窗口具有对应的工具栏,以实现分屏的效果,如图23所示,在第一窗口701的右侧添加第二窗口2301。在一些实施例中,也可以在第一窗口701的上方、下方或者左侧添加第二窗口2301,此处不赘述。为了实现对每个窗口的独立控制,将第一焦点和第二焦点分别显示于每个窗口内,以通过不同的控制设备分别控制对应的窗口。如图24所示,将第一焦点703显示于第一窗口内,将第二焦点,如上述示例中的焦点B1101显示于第二窗口2301内,此时,第一控制设备704基于第一焦点703控制浏览器的第一窗口701,第二控制设备,即控制设备B706基于焦点B1101控制浏览器的第二窗口2301。也可以将第一焦点703显示于第二窗口2301内,将第二焦点显示于第一窗口701内,此时,第一控制设备704基于第一焦点703控制浏览器的第二窗口2301,第二控制设备基于第二焦点控制浏览器的第一窗口701。
由此,用户可以通过同时控制多个控制设备,在不同浏览器的窗口内进行网络搜索,并同时展示搜索结果,以便于用户同时观察和对照多个搜索结果。多个用户也可以通过各自使用的控制设备,同时控制对应的浏览器的窗口,以进行多用户之间的协同操作,例如多人游戏、多人通信等。
显示设备200响应于上述与开启分屏功能的相关指令,如第二开启指令等,存储对应的配置数据,以记录显示设备200当前的浏览器的窗口状态、以及每个窗口内的焦点信息。
显示设备200将如图8所示的设置菜单中与分屏选项对应的配置数据存储至本地缓存中,例如,将state.Browser Equipment Data中浏览器的模式数据(Browser PatternData),如分屏(Split Screen)的标识“true”(表示开启分屏功能)或者“false”(表示关闭分屏功能),存储至浏览器的本地缓存local storage中。并且存储与每个窗口与焦点的对应关系,每个窗口与焦点的对应关系可以表示为焦点的标识信息与窗口的标识信息的数据对,如第一焦点与第一窗口之间的对应关系,可以表示为“first focus-left”;第二焦点与第二窗口之间的对应关系,可以表示为“second focus-right”。
在一些实施例中,如果用户在未登录用户账号的状态下,则将上述配置数据存储至浏览器的本地缓存中;如果用户在登录用户账号的状态下,则将上述配置数据存储至浏览器的本地缓存中,并在配置数据的存储地址中带有用户账号的身份标识(User ID),以将所存储的配置数据与用户账号绑定。
在一些实施例中,用户在登录用户账号的状态下,可以将配置数据上传至云端服务器存储,此处不再赘述。
在一些实施例中,第一焦点和第二焦点在对应窗口内的移动过程可以参考上文S1401~S1403中目标焦点的移动过程,此处不再赘述。其中,第一焦点和第二焦点的移动范围与仅包括一个第一窗口时的移动范围不同,在本实施例中,第一焦点和第二焦点仅能在对应窗口内移动。以图23为例,第一焦点703仅能在第一窗口701内移动,焦点B1101只能在第二窗口2301内移动。其中,如果第一焦点703移动后的位置坐标中横向坐标大于或者等于第一窗口701的横向坐标范围,即超过第一窗口701与第二窗口2301之间的边界,则在第一焦点703的移动过程中,仅移动至第一窗口701与第二窗口2301之间的边界处为止,并将第一焦点703显示于该边界处,如图24中①所示。如果焦点B1101移动后的位置坐标中横向坐标小于或者等于第二窗口2301的横向坐标范围,即超过第一窗口701与第二窗口2301之间的边界,则在焦点B1101的移动过程中,仅移动至第一窗口701与第二窗口2301之间的边界处为止,并将焦点B1101显示于该边界处,如图24中②所示。
为了便于用户对分屏状态的浏览器的整体控制,增加一个控制设备,以令该控制设备的焦点可以显示于浏览器的整体用户界面上,即该控制设备可以控制浏览器内的全部窗口,参考图25所示的流程,具体步骤如下:
S2501、在存在第三控制设备时,在所述浏览器的用户界面的指定区域显示第三焦点,其中,所述第三焦点对应所述第三控制设备,所述指定区域是指所述浏览器的用户界面中除所述第一窗口和所述第二窗口以外的区域。
显示设备200检测到已经接入其它控制设备,即第三控制设备时,首先将该第三控制设备对应的焦点,即第三焦点显示于浏览器的用户界面内的指令区域内,例如各窗口的工具栏对应的区域,该指定区域被配置为,第三焦点在该指定区域内时,不影响第一焦点和第二焦点的显示。此时,浏览器的用户界面上同时显示位于第一窗口和第二窗口内的第一焦点和第二焦点,以及第三焦点,如图26所示,以控制设备A705作为第三控制设备,在第一窗口701内显示第一焦点703,在第二窗口2301内显示第二焦点,如焦点B1101,在第一窗口701对应的工具栏处显示第三焦点,即焦点A1001。
S2502、接收所述用户发送的第二移动指令,所述第二移动指令指示将所述第三焦点移动至目标窗口内,所述目标窗口为所述第一窗口或者所述第二窗口。
用户通过第三控制设备向显示设备200发送第二移动指令的过程可以参考上文S1401中用户通过目标控制设备向显示设备200发送第一移动指令的过程,此处不再赘述。在本实施例中,第二移动指令指示将第三焦点从指定区域移动至第一窗口或者第二窗口内。
S2503、响应于所述第二移动指令,在所述目标窗口内显示所述第三焦点,并隐藏所述第一焦点和所述第二焦点。
第三焦点的移动过程可以参考上文S1402~S1403中目标焦点的移动过程,此处不再赘述。在本实施例中,如图27所示,当第三焦点,如焦点A1001移动至目标窗口内时,如移动至第一窗口701内,第一焦点703和焦点B1101将隐藏(以虚线示出),不再显示,以通过控制设备A705控制焦点A1001在目标窗口内移动,并避免第一焦点703和焦点B1101的显示影响用户观察焦点A1001的移动轨迹,从而实现第三控制设备基于第三焦点对浏览器内全部窗口的控制。
在检测到焦点A1001移动至目标窗口与指定区域的交界处时,获取第一焦点703和焦点B1101当前的位置坐标,并存储该位置坐标,以记录第一焦点703和焦点B1101隐藏的位置,并在后续需要再次显示第一焦点703和焦点B1101时,直接使用所存储的位置坐标。
参考图28所示的流程,当第三焦点重新移动至指定区域时,按照如下步骤显示各个焦点:
S2801、接收所述用户发送的第三移动指令,所述第三移动指令指示将所述第三焦点移动至所述指定区域内。
用户通过第三控制设备向显示设备200发送第三移动指令的过程可以参考上文S1401中用户通过目标控制设备向显示设备200发送第一移动指令的过程,此处不再赘述。在本实施例中,第三移动指令指示将第三焦点从第一窗口或者第二窗口移动至指定区域内。
S2802、响应于所述第三移动指令,在所述指定区域显示所述第三焦点,并显示所述第一焦点和所述第二焦点。
第三焦点的移动过程可以参考上文S1402~S1403中目标焦点的移动过程,此处不再赘述。在本实施例中,如图26所示,当焦点A1001再次移动至指定区域内时,如移动至第一窗口701对应的工具栏处,将重新显示第一焦点703和焦点B1101,以再次恢复不同控制设备基于各自的焦点同时控制浏览器的每个窗口。
在一些实施例中,如图8所示的设置菜单,该设置菜单还包括主页设置、广告开关、版本信息、历史信息、无痕浏览、历史联想搜索、清除缓存等选项,这些功能选项通常与用户个人的偏好相关。如果用户在登录用户账号的状态下对上述功能选项进行配置,则对上述功能选项对应的配置数据进行存储,并在配置数据的存储地址中带有用户账号的身份标识(User ID),以将所存储的配置数据与用户账号绑定。在一些实施例中,用户在登录用户账号的状态下,可以将上述配置数据上传至云端服务器存储,此处不再赘述。如果用户在未登录用户账号的状态下对上述功能选项进行配置,则无需存储上述功能选项对应的配置数据。
显示设备在开启浏览器的分屏功能之后,在浏览器的用户界面上同时显示多个窗口,其中,每个窗口内显示一个焦点,显示设备响应于控制设备基于对应焦点发送的指令,以实现不同控制设备控制不同的窗口。
为了方便解释,已经结合具体的实施方式进行了上述说明。但是,上述在一些实施例中讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导,可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释本公开的内容,从而使得本领域技术人员更好的使用实施方式。

Claims (10)

1.一种显示设备,其特征在于,包括:
显示器,被配置为显示浏览器的用户界面,所述浏览器的用户界面包括第一窗口,第一焦点,其中,所述第一焦点对应第一控制设备;
控制器,被配置为:
接收用户发送的设置指令,所述设置指令用于指示显示设置菜单,其中,所述设置菜单包括多设备控制选项;
响应于所述设置指令,显示所述设置菜单;
接收所述用户基于所述多设备控制选项发送的第一开启指令,所述第一开启指令用于指示开启多个控制设备同时控制所述显示设备的功能;
响应于所述第一开启指令,检测是否存在第二控制设备;
在存在所述第二控制设备时,在所述浏览器的用户界面上同时显示所述第一焦点和第二焦点,其中,所述第二焦点对应所述第二控制设备。
2.根据权利要求1所述的显示设备,其特征在于,所述控制器,还被配置为:
接收所述用户发送的所述设置指令;
响应于所述设置指令,显示所述设置菜单,所述设置菜单还包括分屏选项;
接收所述用户基于所述分屏选项发送的第二开启指令,所述第二开启指令用于指示开启所述浏览器的分屏功能;
响应于所述第二开启指令,在所述浏览器的用户界面中同时显示所述第一窗口和第二窗口,其中,所述第一焦点和所述第二焦点分别显示于所述第一窗口和所述第二窗口内。
3.根据权利要求1或2所述的显示设备,其特征在于,所述第一焦点的样式与所述第二焦点的样式不同。
4.根据权利要求1或2所述的显示设备,其特征在于,所述控制器,还被配置为:
接收所述用户发送的第一移动指令,所述第一移动指令指示目标控制设备、所述目标控制设备对应的目标焦点的目标移动方向、以及所述目标焦点在所述目标移动方向上移动的目标距离;
响应于所述第一移动指令,获取所述目标焦点当前的位置坐标;
以所述目标焦点当前的位置坐标为起点,将所述目标焦点在所述目标移动方向上移动对应的目标距离,其中,当所述目标焦点移动所述目标距离后对应的位置坐标大于或者等于所述目标焦点所在窗口的坐标范围时,在所述目标焦点所在窗口的边界处显示所述目标焦点。
5.根据权利要求1所述的显示设备,其特征在于,所述控制器,还被配置为:
同时接收所述用户发送的第一控制指令和第二控制指令,所述第一控制指令对应所述第一控制设备,并指示显示第一页面,所述第二控制指令对应所述第二控制设备,并指示显示第二页面,其中,所述第一控制指令与所述第二控制指令之间具有响应优先级;
显示所述第一页面和所述第二页面,其中,显示响应优先级高的控制指令所指示页面的页面内容,仅显示响应优先级低的控制指令所指示页面的页面标签。
6.根据权利要求1所述的显示设备,其特征在于,所述控制器,还被配置为:
接收所述用户发送的第三控制指令,所述第三控制指令指示开启组合指令的功能,其中,所述组合指令包括第一指令和第二指令,所述第一指令和所述第二指令分别指示所述第一焦点和所述第二焦点;
响应于所述第三控制指令,开启所述组合指令的功能;
接收所述用户发送的所述第一指令和所述第二指令;
响应于所述第一指令,得到第一响应结果,并响应于所述第二指令,得到第二响应结果;
基于所述第一响应结果和所述第二响应结果,响应所述组合指令。
7.根据权利要求2所述的显示设备,其特征在于,所述控制器,还被配置为:
在存在第三控制设备时,在所述浏览器的用户界面的指定区域显示第三焦点,其中,所述第三焦点对应所述第三控制设备,所述指定区域是指所述浏览器的用户界面中除所述第一窗口和所述第二窗口以外的区域;
接收所述用户发送的第二移动指令,所述第二移动指令指示将所述第三焦点移动至目标窗口内,所述目标窗口为所述第一窗口或者所述第二窗口;
响应于所述第二移动指令,在所述目标窗口内显示所述第三焦点,并隐藏所述第一焦点和所述第二焦点。
8.根据权利要求7所述的显示设备,其特征在于,所述控制器,还被配置为:
接收所述用户发送的第三移动指令,所述第三移动指令指示将所述第三焦点移动至所述指定区域内;
响应于所述第三移动指令,在所述指定区域显示所述第三焦点,并显示所述第一焦点和所述第二焦点。
9.一种基于多焦点的多设备控制方法,其特征在于,应用于显示设备,所述显示设备显示浏览器的用户界面,所述浏览器的用户界面包括第一窗口,第一焦点,其中,所述第一焦点对应第一控制设备,所述方法包括:
接收用户发送的设置指令,所述设置指令用于指示显示设置菜单,其中,所述设置菜单包括多设备控制选项;
响应于所述设置指令,显示所述设置菜单;
接收所述用户基于所述多设备控制选项发送的第一开启指令,所述第一开启指令用于指示开启多个控制设备同时控制所述显示设备的功能;
响应于所述第一开启指令,检测是否存在第二控制设备;
在存在所述第二控制设备时,在所述浏览器的用户界面上同时显示所述第一焦点和第二焦点,其中,所述第二焦点对应所述第二控制设备。
10.根据权利要求9所述的方法,其特征在于,所述方法还包括:
接收所述用户发送的所述设置指令;
响应于所述设置指令,显示所述设置菜单,所述设置菜单还包括分屏选项;
接收所述用户基于所述分屏选项发送的第二开启指令,所述第二开启指令用于指示开启所述浏览器的分屏功能;
响应于所述第二开启指令,在所述浏览器的用户界面中同时显示所述第一窗口和第二窗口,其中,所述第一焦点和所述第二焦点分别显示于所述第一窗口和所述第二窗口内。
CN202210347317.7A 2022-04-01 2022-04-01 一种显示设备及基于多焦点的多设备控制方法 Pending CN116939271A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210347317.7A CN116939271A (zh) 2022-04-01 2022-04-01 一种显示设备及基于多焦点的多设备控制方法
PCT/EP2023/058324 WO2023187071A1 (en) 2022-04-01 2023-03-30 Display apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210347317.7A CN116939271A (zh) 2022-04-01 2022-04-01 一种显示设备及基于多焦点的多设备控制方法

Publications (1)

Publication Number Publication Date
CN116939271A true CN116939271A (zh) 2023-10-24

Family

ID=88385013

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210347317.7A Pending CN116939271A (zh) 2022-04-01 2022-04-01 一种显示设备及基于多焦点的多设备控制方法

Country Status (1)

Country Link
CN (1) CN116939271A (zh)

Similar Documents

Publication Publication Date Title
US20200169596A1 (en) File transfer display control method and apparatus, and corresponding terminal
JP4772380B2 (ja) ジャストインタイムのユーザ支援を提供する手法
WO2021212922A1 (zh) 一种对象拖拽方法及设备
US20160155410A1 (en) Display method and apparatus with multi-screen
CN111597005A (zh) 一种大数据可视化三维gis云渲染项目生成系统与方法
US10990344B2 (en) Information processing apparatus, information processing system, and information processing method
CN102520862B (zh) 基于声明性映射的用户输入的响应
US20170026617A1 (en) Method and apparatus for real-time video interaction by transmitting and displaying user interface correpsonding to user input
US9548894B2 (en) Proximity based cross-screen experience App framework for use between an industrial automation console server and smart mobile devices
CN114935989B (zh) 一种浏览器页面显示方法及显示设备
CN116939271A (zh) 一种显示设备及基于多焦点的多设备控制方法
WO2022083554A1 (zh) 用户界面的布局、交互方法及三维显示设备
CN115623256A (zh) 显示设备和焦点获取方法
CN116744073A (zh) 一种显示设备及电视浏览器内的书签添加方法
CN115185414B (zh) 显示设备及光标控制方法
CN114143580B (zh) 一种显示设备及手柄操控图案显示方法
US20240005280A1 (en) Collaborative workspaces for browsers
CN113658598B (zh) 一种显示设备的语音交互方法及显示设备
US20220310038A1 (en) Information processing system, information processing method, and non-transitory recording medium
WO2024027481A1 (zh) 一种设备控制方法及设备
KR102153749B1 (ko) 평면 디스플레이용 콘텐츠를 실린더용 콘텐츠로 전환하는 방법
WO2023187071A1 (en) Display apparatus
CN117812345A (zh) 一种显示设备及交互媒资的播放方法
CN116775173A (zh) 一种显示设备及第三方应用的管理方法
CN117793445A (zh) 一种显示设备及录制文件的事件的确定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination