CN112492371B - 一种显示设备 - Google Patents

一种显示设备 Download PDF

Info

Publication number
CN112492371B
CN112492371B CN202011295258.0A CN202011295258A CN112492371B CN 112492371 B CN112492371 B CN 112492371B CN 202011295258 A CN202011295258 A CN 202011295258A CN 112492371 B CN112492371 B CN 112492371B
Authority
CN
China
Prior art keywords
display
user
audio
interface
controlling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011295258.0A
Other languages
English (en)
Other versions
CN112492371A (zh
Inventor
郑晴晴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hisense Visual Technology Co Ltd
Original Assignee
Hisense Visual Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hisense Visual Technology Co Ltd filed Critical Hisense Visual Technology Co Ltd
Priority to CN202011295258.0A priority Critical patent/CN112492371B/zh
Publication of CN112492371A publication Critical patent/CN112492371A/zh
Priority to CN202180067800.3A priority patent/CN116324673A/zh
Priority to PCT/CN2021/119955 priority patent/WO2022105417A1/zh
Application granted granted Critical
Publication of CN112492371B publication Critical patent/CN112492371B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本申请公开了一种显示设备,用以提供用户一个全时智能伴侣,可随时待命的娱乐工具和生活助手,随时可以语音交互,提升用户体验。所述显示设备包括显示器;控制器,用于执行:响应于用户输入的监测指令,监测用户的语音指令;控制显示器显示主页界面;响应于用户输入的语音指令,执行所述语音指令对应的操作,并控制显示器显示执行操作后对应的界面。

Description

一种显示设备
技术领域
本申请涉及显示技术领域,尤其涉及一种显示设备。
背景技术
显示设备,由显示器件和有关电路组成,能提供符合视觉感受因素的视觉信息。用户主要通过显示设备来观看电视节目,当用户不打算继续观看节目时往往会将显示设备关闭。但是如果用户单独想要用显示设备的其他功能,如查询天气信息时,需要重新将显示设备开启,增加了用户的等待时间,导致用户体验不好。
发明内容
本申请实施例提供一种显示设备,用以提供用户一个全时智能伴侣,可随时待命的娱乐工具和生活助手,随时可以语音交互,提升用户体验。
第一方面,提供一种显示设备,包括:
显示器;
控制器,用于执行:
响应于用户输入的监测指令,监测用户的语音指令;控制显示器显示主页界面;
响应于用户输入的语音指令,执行所述语音指令对应的操作,并控制显示器显示执行操作后对应的界面。
在一些实施例中,所述语音指令包括语音查询指令,音频播放指令和倒计时设置指令。
在一些实施例中,所述主页界面包括时间日期显示区、帮助提示区和背景图像区;每隔第一预设时间所述帮助提取区的内容更换一次。
在一些实施例中,所述控制器,还用于执行:
在第二预设时间内未接收到用户输入的语音指令,控制显示器显示当前界面的简化界面。
第二方面,提供一种显示设备,包括:
显示器;
控制器,用于执行:
响应于用户输入的监测指令,监测用户的语音指令;控制显示器显示主页界面;
响应于用户输入的语音查询指令,识别语音查询指令的内容,根据所述内容查询结果;控制显示器显示查询结果;控制扬声器播放所述查询结果。
第三方面,提供一种显示设备,包括:
显示器;
控制器,用于执行:
响应于用户输入的监测指令,监测用户的语音指令;控制显示器显示主页界面;
响应于用户输入的音频播放语音指令,接收媒体中心应用发送的音频数据,控制扬声器播放所述音频数据对应的音频。
在一些实施例中,所述控制器,还用于执行:
控制所述显示器显示音频状态界面,所述音频状态界面包括音频播放显示区和帮助提示区;音频播放显示区用于显示音频播放信息,所述音频播放信息包括音频播放进度和音频内容信息。
在一些实施例中,所述控制器,还用于采用以下方式执行接收媒体中心应用发送的音频数据,控制扬声器播放所述音频数据:
接收并解析媒体中心应用发送的音频数据,组成播放列表;
记录所述播放列表;
控制扬声器依次播放所述播放列表中的音频。
第三方面,提供一种显示设备,包括:
显示器;
控制器,用于执行:
响应于用户输入的监测指令,监测用户的语音指令;控制显示器显示主页界面;
响应于用户输入的音频播放语音指令,控制所述扬声器播放媒体中心应用的音频;
控制显示器显示音频状态界面,所述音频状态界面用于显示音频播放信息,所述音频播放信息由媒体中心应用提供。
在一些实施例中,所述控制器,还用于执行:
响应于用户输入的音频播放控制指令,根据会话控制的标识符在中介的媒体会话控制管理中获取所述媒体中心应用的会话控制;
获取所述会话控制的媒体控制,所述媒体控制用于控制媒体中心应用执行音频控制操作;
向所述会话控制注册回调方法,以使在音频播放信息发生变化时控制显示器显示变化后的音频播放信息。
上述实施例中,当用户输入监测指令时,显示设备显示主页界面并可以实时监测用户的语音指令。当用户发出语音指令时,执行该指令对应的操作,并根据需要显示设定信息。本申请实施例让显示设备成为家庭中24小时待命的智能的娱乐工具和生活助手,随时可以交互,屏幕有助于用户更好的获取信息。提升用户体验。
附图说明
图1中示例性示出了根据一些实施例的显示设备与控制设备之间操作场景的示意图;
图2中示例性示出了根据一些实施例的显示设备200的硬件配置框图;
图3中示例性示出了根据一些实施例的控制设备100的硬件配置框图;
图4中示例性示出了一种根据一些实施例的显示设备200中软件配置示意图;
图5中示例性示出了另一种根据一些实施例的显示设备200中软件配置示意图;
图6中示例性示出了根据一些实施例的显示设备200中软件模块配置示意图;
图7中示例性示出了根据一些实施例的显示设备200提供的一个GUI的示意图;
图8A-8H中示例性示出了根据一些实施例的显示设备200提供的另一个GUI的示意图;
图9中示例性示出了一种音频播放的架构图;
图10中示例性示出了一种音频播放的时序图;
图11中示例性示出了一种歌词显示的流程图;
图12中示例性示出了另一种音频播放的架构图。
具体实施方式
为使本申请的目的、实施方式和优点更加清楚,下面将结合本申请示例性实施例中的附图,对本申请示例性实施方式进行清楚、完整地描述,显然,所描述的示例性实施例仅是本申请一部分实施例,而不是全部的实施例。
基于本申请描述的示例性实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请所附权利要求保护的范围。此外,虽然本申请中公开内容按照示范性一个或几个实例来介绍,但应理解,可以就这些公开内容的各个方面也可以单独构成一个完整实施方式。
需要说明的是,本申请中对于术语的简要说明,仅是为了方便理解接下来描述的实施方式,而不是意图限定本申请的实施方式。除非另有说明,这些术语应当按照其普通和通常的含义理解。
本申请中说明书和权利要求书及上述附图中的术语″第一″、″第二″、″第三″等是用于区别类似或同类的对象或实体,而不必然意味着限定特定的顺序或先后次序,除非另外注明(Unless otherwise indicated)。应该理解这样使用的用语在适当情况下可以互换,例如能够根据本申请实施例图示或描述中给出那些以外的顺序实施。
此外,术语″包括″和″具有″以及他们的任何变形,意图在于覆盖但不排他的包含,例如,包含了一系列组件的产品或设备不必限于清楚地列出的那些组件,而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。
本申请中使用的术语″模块″,是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合,能够执行与该元件相关的功能。
本申请中使用的术语″遥控器″,是指电子设备(如本申请中公开的显示设备)的一个组件,通常可在较短的距离范围内无线控制电子设备。一般使用红外线和/或射频(RF)信号和/或蓝牙与电子设备连接,也可以包括WiFi、无线USB、蓝牙、动作传感器等功能模块。例如:手持式触摸遥控器,是以触摸屏中用户界面取代一般遥控装置中的大部分物理内置硬键。
本申请中使用的术语″手势″,是指用户通过一种手型的变化或手部运动等动作,用于表达预期想法、动作、目的/或结果的用户行为。
图1中示例性示出了根据实施例中显示设备与控制装置之间操作场景的示意图。如图1中示出,用户可通过移动终端100A和控制装置100B操作显示设备200。
在一些实施例中,控制装置100B可以是遥控器,遥控器和显示设备的通信包括红外协议通信或蓝牙协议通信,及其他短距离通信方式等,通过无线或其他有线方式来控制显示设备200。用户可以通过遥控器上按键,语音输入、控制面板输入等输入用户指令,来控制显示设备200。如:用户可以通过遥控器上音量加减键、频道控制键、上/下/左/右的移动按键、语音输入按键、菜单键、开关机按键等输入相应控制指令,来实现控制显示设备200的功能。无线方式可以是直连和非直连,可以是经过路由的也可以是不经过路由的。
在一些实施例中,也可以使用移动终端、平板电脑、计算机、笔记本电脑、和其他智能设备以控制显示设备200。例如,使用在智能设备上运行的应用程序控制显示设备200。该应用程序通过配置可以在与智能设备关联的屏幕上,在直观的用户界面(UI)中为用户提供各种控制。
在一些实施例中,移动终端100A可与显示设备200安装软件应用,通过网络通信协议实现连接通信,实现一对一控制操作的和数据通信的目的。如:可以实现用移动终端100A与显示设备200建立控制指令协议,将遥控控制键盘同步到移动终端100A上,通过控制移动终端100A上用户界面,实现控制显示设备200的功能。也可以将移动终端100A上显示音视频内容传输到显示设备200上,实现同步显示功能。
如图1中还示出显示设备200还与服务器400通过多种通信方式进行数据通信。可允许显示设备200通过局域网(LAN)、无线局域网(WLAN)和其他网络进行通信连接。服务器400可以向显示设备200提供各种内容和互动。示例的,显示设备200通过发送和接收信息,以及电子节目指南(EPG)互动,接收软件程序更新,或访问远程储存的数字媒体库。服务器400可以是一个集群,也可以是多个集群,可以包括一类或多类服务器。通过服务器400提供视频点播和广告服务等其他网络服务内容。
显示设备200,可以液晶显示器、OLED显示器、投影显示设备。具体显示设备类型,尺寸大小和分辨率等不作限定,本领技术人员可以理解的是,显示设备200可以根据需要做性能和配置上一些改变。
显示设备200除了提供广播接收电视功能之外,还可以附加提供计算机支持功能的智能网络电视功能,包括但不限于,网络电视、智能电视、互联网协议电视(IPTV)等。
图2中示例性示出了根据示例性实施例中显示设备200的硬件配置框图。
在一些实施例中,显示设备200中包括控制器250、调谐解调器210、通信器220、检测器230、输入/输出接口255、显示器275,音频输出接口285、存储器260、供电电源290、用户接口265、外部装置接口240中的至少一种。
在一些实施例中,显示器275,用于接收源自第一处理器输出的图像信号,进行显示视频内容和图像以及菜单操控界面的组件。
在一些实施例中,显示器275,包括用于呈现画面的显示屏组件,以及驱动图像显示的驱动组件。
在一些实施例中,显示视频内容,可以来自广播电视内容,也可以是说,可通过有线或无线通信协议接收的各种广播信号。或者,可显示来自网络通信协议接收来自网络服务器端发送的各种图像内容。
在一些实施例中,显示器275用于呈现显示设备200中产生且用于控制显示设备200的用户操控UI界面。
在一些实施例中,根据显示器275类型不同,还包括用于驱动显示的驱动组件。
在一些实施例中,显示器275为一种投影显示器,还可以包括一种投影装置和投影屏幕。
在一些实施例中,通信器220是用于根据各种通信协议类型与外部设备或外部服务器进行通信的组件。例如:通信器可以包括Wifi芯片,蓝牙通信协议芯片,有线以太网通信协议芯片等其他网络通信协议芯片或近场通信协议芯片,以及红外接收器中的至少一种。
在一些实施例中,显示设备200可以通过通信器220与外部控制设备100B或内容提供设备之间建立控制信号和数据信号发送和接收。
在一些实施例中,用户接口265,可用于接收控制装置100B(如:红外遥控器等)红外控制信号。
在一些实施例中,检测器230是显示设备200用于采集外部环境或与外部交互的信号。
在一些实施例中,检测器230包括光接收器,用于采集环境光线强度的传感器,可以通过采集环境光可以自适应性显示参数变化等。
在一些实施例中,检测器230还可以包括图像采集器,如相机、摄像头等,可以用于采集外部环境场景,以及用于采集用户的属性或与用户交互手势,可以自适应变化显示参数,也可以识别用户手势,以实现与用户之间互动的功能。
在一些实施例中,检测器230还可以包括温度传感器等,如通过感测环境温度。
在一些实施例中,显示设备200可自适应调整图像的显示色温。如当温度偏高的环境时,可调整显示设备200显示图像色温偏冷色调,或当温度偏低的环境时,可以调整显示设备200显示图像偏暖色调。
在一些实施例中,检测器230还可声音采集器等,如麦克风,可以用于接收用户的声音。示例性的,包括用户控制显示设备200的控制指令的语音信号,或采集环境声音,用于识别环境场景类型,使得显示设备200可以自适应适应环境噪声。
在一些实施例中,如图2所示,输入/输出接口255被配置为,可进行控制器250与外部其他设备或其他控制器250之间的数据传输。如接收外部设备的视频信号数据和音频信号数据、或命令指令数据等。
在一些实施例中,外部装置接口240可以包括,但不限于如下:可以高清多媒体接口HDMI接口、模拟或数据高清分量输入接口、复合视频输入接口、USB输入接口、RGB端口等任一个或多个接口。也可以是上述多个接口形成复合性的输入/输出接口。
在一些实施例中,如图2所示,调谐解调器210被配置为,通过有线或无线接收方式接收广播电视信号,可以进行放大、混频和谐振等调制解调处理,从多多个无线或有线广播电视信号中解调出音视频信号,该音视频信号可以包括用户所选择电视频道频率中所携带的电视音视频信号,以及EPG数据信号。
在一些实施例中,调谐解调器210解调的频点受到控制器250的控制,控制器250可根据用户选择发出控制信号,以使的调制解调器响应用户选择的电视信号频率以及调制解调该频率所携带的电视信号。
在一些实施例中,广播电视信号可根据电视信号广播制式不同区分为地面广播信号、有线广播信号、卫星广播信号或互联网广播信号等。或者根据调制类型不同可以区分为数字调制信号,模拟调制信号等。或者根据信号种类不同区分为数字信号、模拟信号等。
在一些实施例中,控制器250和调谐解调器210可以位于不同的分体设备中,即调谐解调器210也可在控制器250所在的主体设备的外置设备中,如外置机顶盒等。这样,机顶盒将接收到的广播电视信号调制解调后的电视音视频信号输出给主体设备,主体设备经过第一输入/输出接口接收音视频信号。
在一些实施例中,控制器250,通过存储在存储器上中各种软件控制程序,来控制显示设备的工作和响应用户的操作。控制器250可以控制显示设备200的整体操作。例如:响应于接收到用于选择在显示器275上显示UI对象的用户命令,控制器250便可以执行与由用户命令选择的对象有关的操作。
在一些实施例中,所述对象可以是可选对象中的任何一个,例如超链接或图标。与所选择的对象有关操作,例如:显示连接到超链接页面、文档、图像等操作,或者执行与所述图标相对应程序的操作。用于选择UI对象用户命令,可以是通过连接到显示设备200的各种输入装置(例如,鼠标、键盘、触摸板等)输入命令或者与由用户说出语音相对应的语音命令。
如图2所示,控制器250包括随机存取存储器251(Random Access Memory,RAM)、只读存储器252(Read-Only Memory,ROM)、视频处理器270、音频处理器280、其他处理器253(例如:图形处理器(Graphics Processing Unit,GPU)、中央处理器254(CentralProcessing Unit,CPU)、通信接口(Communication Interface),以及通信总线256(Bus)中的至少一种。其中,通信总线连接各个部件。
在一些实施例中,RAM 251用于存储操作系统或其他正在运行中的程序的临时数据。
在一些实施例中,ROM 252用于存储各种系统启动的指令。
在一些实施例中,ROM 252用于存储一个基本输入输出系统,称为基本输入输出系统(Basic Input Output System,BIOS)。用于完成对系统的加电自检、系统中各功能模块的初始化、系统的基本输入/输出的驱动程序及引导操作系统。
在一些实施例中,在收到开机信号时显示设备200电源开始启动,CPU运行ROM252中系统启动指令,将存储在存储器的操作系统的临时数据拷贝至RAM 251中,以便于启动或运行操作系统。当操作系统启动完成后,CPU再将存储器中各种应用程序的临时数据拷贝至RAM 251中,然后,以便于启动或运行各种应用程序。
在一些实施例中,CPU处理器254,用于执行存储在存储器中操作系统和应用程序指令。以及根据接收外部输入的各种交互指令,来执行各种应用程序、数据和内容,以便最终显示和播放各种音视频内容。
在一些示例性实施例中,CPU处理器254,可以包括多个处理器。多个处理器可包括一个主处理器以及一个或多个子处理器。主处理器,用于在预加电模式中执行显示设备200一些操作,和/或在正常模式下显示画面的操作。一个或多个子处理器,用于在待机模式等状态下一种操作。
在一些实施例中,图形处理器253,用于产生各种图形对象,如:图标、操作菜单、以及用户输入指令显示图形等。包括运算器,通过接收用户输入各种交互指令进行运算,根据显示属性显示各种对象。以及包括渲染器,对基于运算器得到的各种对象,进行渲染,上述渲染后的对象用于显示在显示器上。
在一些实施例中,视频处理器270被配置为将接收外部视频信号,根据输入信号的标准编解码协议,进行解压缩、解码、缩放、降噪、帧率转换、分辨率转换、图像合成等等视频处理,可得到直接可显示设备200上显示或播放的信号。
在一些实施例中,视频处理器270,包括解复用模块、视频解码模块、图像合成模块、帧率转换模块、显示格式化模块等。
其中,解复用模块,用于对输入音视频数据流进行解复用处理,如输入MPEG-2,则解复用模块进行解复用成视频信号和音频信号等。
视频解码模块,则用于对解复用后的视频信号进行处理,包括解码和缩放处理等。
图像合成模块,如图像合成器,其用于将图形生成器根据用户输入或自身生成的GUI信号,与缩放处理后视频图像进行叠加混合处理,以生成可供显示的图像信号。
帧率转换模块,用于对转换输入视频帧率,如将60Hz帧率转换为120Hz帧率或240Hz帧率,通常的格式采用如插帧方式实现。
显示格式化模块,则用于将接收帧率转换后视频输出信号,改变信号以符合显示格式的信号,如输出RGB数据信号。
在一些实施例中,图形处理器253可以和视频处理器可以集成设置,也可以分开设置,集成设置的时候可以执行输出给显示器的图形信号的处理,分离设置的时候可以分别执行不同的功能,例如GPU+FRC(Frame Rate Conversion))架构。
在一些实施例中,音频处理器280,用于接收外部的音频信号,根据输入信号的标准编解码协议,进行解压缩和解码,以及降噪、数模转换、和放大处理等处理,得到可以在扬声器中播放的声音信号。
在一些实施例中,视频处理器270可以包括一颗或多颗芯片组成。音频处理器,也可以包括一颗或多颗芯片组成。
在一些实施例中,视频处理器270和音频处理器280,可以单独的芯片,也可以于控制器一起集成在一颗或多颗芯片中。
在一些实施例中,音频输出,在控制器250的控制下接收音频处理器280输出的声音信号,如:扬声器286,以及除了显示设备200自身携带的扬声器之外,可以输出至外接设备的发生装置的外接音响输出端子,如:外接音响接口或耳机接口等,还可以包括通信接口中的近距离通信模块,例如:用于进行蓝牙扬声器声音输出的蓝牙模块。其中,扬声器可以内置在显示设备中,也可以在显示设备内不安置扬声器时外接扬声器。
供电电源290,在控制器250控制下,将外部电源输入的电力为显示设备200提供电源供电支持。供电电源290可以包括安装显示设备200内部的内置电源电路,也可以是安装在显示设备200外部电源,在显示设备200中提供外接电源的电源接口。
用户接口265,用于接收用户的输入信号,然后,将接收用户输入信号发送给控制器250。用户输入信号可以是通过红外接收器接收的遥控器信号,可以通过网络通信模块接收各种用户控制信号。
在一些实施例中,用户通过控制装置100B或移动终端100A输入用户命令,用户输入接口则根据用户的输入,显示设备200则通过控制器250响应用户的输入。
在一些实施例中,用户可在显示器275上显示的图形用户界面(GUI)输入用户命令,则用户输入接口通过图形用户界面(GUI)接收用户输入命令。或者,用户可通过输入特定的声音或手势进行输入用户命令,则用户输入接口通过传感器识别出声音或手势,来接收用户输入命令。
在一些实施例中,″用户界面″,是应用程序或操作系统与用户之间进行交互和信息交换的介质接口,它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(Graphic User Interface,GUI),是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素,其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素。
存储器260,包括存储用于驱动显示设备200的各种软件模块。如:第一存储器中存储的各种软件模块,包括:基础模块、检测模块、通信模块、显示控制模块、浏览器模块、和各种服务模块等中的至少一种。
基础模块用于显示设备200中各个硬件之间信号通信、并向上层模块发送处理和控制信号的底层软件模块。检测模块用于从各种传感器或用户输入接口中收集各种信息,并进行数模转换以及分析管理的管理模块。
例如,语音识别模块中包括语音解析模块和语音指令数据库模块。显示控制模块用于控制显示器进行显示图像内容的模块,可以用于播放多媒体图像内容和UI界面等信息。通信模块,用于与外部设备之间进行控制和数据通信的模块。浏览器模块,用于执行浏览服务器之间数据通信的模块。服务模块,用于提供各种服务以及各类应用程序在内的模块。同时,存储器260还用存储接收外部数据和用户数据、各种用户界面中各个项目的图像以及焦点对象的视觉效果图等。
图3示例性示出了根据示例性实施例中控制设备100B的配置框图。如图3所示,控制设备100B包括控制器110、通信接口130、用户输入/输出接口、存储器、供电电源。
控制设备100B被配置为控制显示设备200,以及可接收用户的输入操作指令,且将操作指令转换为显示设备200可识别和响应的指令,起用用户与显示设备200之间交互中介作用。如:用户通过操作控制设备100B上频道加减键,显示设备200响应频道加减的操作。
在一些实施例中,控制设备100B可是一种智能设备。如:控制设备100B可根据用户需求安装控制显示设备200的各种应用。
在一些实施例中,如图1所示,移动终端100A或其他智能电子设备,可在安装操控显示设备200的应用之后,可以起到控制设备100B类似功能。如:用户可以通过安装应用,在移动终端100A或其他智能电子设备上可提供的图形用户界面的各种功能键或虚拟按钮,以实现控制设备100B实体按键的功能。
控制器110包括处理器112和RAM 113和ROM 114、通信接口130以及通信总线。控制器用于控制控制设备100B的运行和操作,以及内部各部件之间通信协作以及外部和内部的数据处理功能。
通信接口130在控制器110的控制下,实现与显示设备200之间控制信号和数据信号的通信。如:将接收到的用户输入信号发送至显示设备200上。通信接口130可包括WiFi芯片131、蓝牙模块132、NFC模块133等其他近场通信模块中至少之一种。
用户输入/输出接口140,其中,输入接口包括麦克风141、触摸板142、传感器143、按键144等其他输入接口中至少一者。如:用户可以通过语音、触摸、手势、按压等动作实现用户指令输入功能,输入接口通过将接收的模拟信号转换为数字信号,以及数字信号转换为相应指令信号,发送至显示设备200。
输出接口包括将接收的用户指令发送至显示设备200的接口。在一些实施例中,可以红外接口,也可以是射频接口。如:红外信号接口时,需要将用户输入指令按照红外控制协议转化为红外控制信号,经红外发送模块进行发送至显示设备200。再如:射频信号接口时,需将用户输入指令转化为数字信号,然后按照射频控制信号调制协议进行调制后,由射频发送端子发送至显示设备200。
在一些实施例中,控制设备100B包括通信接口130和输入输出接口140中至少一者。控制设备100B中配置通信接口130,如:WiFi、蓝牙、NFC等模块,可将用户输入指令通过WiFi协议、或蓝牙协议、或NFC协议编码,发送至显示设备200.
存储器190,用于在控制器的控制下存储驱动和控制控制设备200的各种运行程序、数据和应用。存储器190,可以存储用户输入的各类控制信号指令。
供电电源180用于在控制器的控制下为控制设备100B各元件提供运行电力支持。可以电池及相关控制电路。
在一些实施例中,系统可以包括内核(Kernel)、命令解析器(shell)、文件系统和应用程序。内核、shell和文件系统一起组成了基本的操作系统结构,它们让用户可以管理文件、运行程序并使用系统。上电后,内核启动,激活内核空间,抽象硬件、初始化硬件参数等,运行并维护虚拟内存、调度器、信号及进程间通信(IPC)。内核启动后,再加载Shell和用户应用程序。应用程序在启动后被编译成机器码,形成一个进程。
参见图4,在一些实施例中,将系统分为四层,从上至下分别为应用程序(Applications)层(简称″应用层″),应用程序框架(Application Framework)层(简称″框架层″),安卓运行时(Android runtime)和系统库层(简称″系统运行库层″),以及内核层。
在一些实施例中,应用程序层中运行有至少一个应用程序,这些应用程序可以是操作系统自带的窗口(Window)程序、系统设置程序、时钟程序、相机应用等;也可以是第三方开发者所开发的应用程序,比如嗨见程序、K歌程序、魔镜程序等。在具体实施时,应用程序层中的应用程序包不限于以上举例,实际还可以包括其它应用程序包,本申请实施例对此不做限制。
框架层为应用程序层的应用程序提供应用编程接口(aPPlication programminginterface,API)和编程框架。应用程序框架层包括一些预先定义的函数。应用程序框架层相当于一个处理中心,这个中心决定让应用层中的应用程序做出动作。应用程序通过API接口,可在执行中访问系统中的资源和取得系统的服务
如图4所示,本申请实施例中应用程序框架层包括管理器(Managers),内容提供者(Content Provider)等,其中管理器包括以下模块中的至少一个:活动管理器(ActivityManager)用与和系统中正在运行的所有活动进行交互;位置管理器(Location Manager)用于给系统服务或应用提供了系统位置服务的访问;文件包管理器(Package Manager)用于检索当前安装在设备上的应用程序包相关的各种信息;通知管理器(NotificationManager)用于控制通知消息的显示和清除;窗口管理器(Window Manager)用于管理用户界面上的括图标、窗口、工具栏、壁纸和桌面部件。
在一些实施例中,活动管理器用于:管理各个应用程序的生命周期以及通常的导航回退功能,比如控制应用程序的退出(包括将显示窗口中当前显示的用户界面切换到系统桌面)、打开、后退(包括将显示窗口中当前显示的用户界面切换到当前显示的用户界面的上一级用户界面)等。
在一些实施例中,窗口管理器用于管理所有的窗口程序,比如获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕,控制显示窗口变化(例如将显示窗口缩小显示、抖动显示、扭曲变形显示等)等。
在一些实施例中,系统运行库层为上层即框架层提供支撑,当框架层被使用时,安卓操作系统会运行系统运行库层中包含的C/C++库以实现框架层要实现的功能。
在一些实施例中,内核层是硬件和软件之间的层。如图4所示,内核层至少包含以下驱动中的至少一种:音频驱动、显示驱动、蓝牙驱动、摄像头驱动、WIFI驱动、USB驱动、HDMI驱动、传感器驱动(如指纹传感器,温度传感器,触摸传感器、压力传感器等)等。
在一些实施例中,内核层还包括用于进行电源管理的电源驱动模块。
在一些实施例中,图4中的软件架构对应的软件程序和/或模块存储在图2或图3所示的第一存储器或第二存储器中。
在一些实施例中,以魔镜应用(拍照应用)为例,当遥控接收装置接收到遥控器输入操作,相应的硬件中断被发给内核层。内核层将输入操作加工成原始输入事件(包括输入操作的值,输入操作的时间戳等信息)。原始输入事件被存储在内核层。应用程序框架层从内核层获取原始输入事件,根据焦点当前的位置识别该输入事件所对应的控件以及以该输入操作是确认操作,该确认操作所对应的控件为魔镜应用图标的控件,魔镜应用调用应用框架层的接口,启动魔镜应用,进而通过调用内核层启动摄像头驱动,实现通过摄像头捕获静态图像或视频。
在一些实施例中,对于具备触控功能的显示设备,以分屏操作为例,显示设备接收用户作用于显示屏上的输入操作(如分屏操作),内核层可以根据输入操作产生相应的输入事件,并向应用程序框架层上报该事件。由应用程序框架层的活动管理器设置与该输入操作对应的窗口模式(如多窗口模式)以及窗口位置和大小等。应用程序框架层的窗口管理根据活动管理器的设置绘制窗口,然后将绘制的窗口数据发送给内核层的显示驱动,由显示驱动在显示屏的不同显示区域显示与之对应的应用界面。
在一些实施例中,如图4中所示,应用程序层包含至少一个应用程序可以在显示器中显示对应的图标控件,如:直播电视应用程序图标控件、视频点播应用程序图标控件、媒体中心应用程序图标控件、应用程序中心图标控件、游戏应用图标控件等。
在一些实施例中,直播电视应用程序,可以通过不同的信号源提供直播电视。例如,直播电视应用程可以使用来自有线电视、无线广播、卫星服务或其他类型的直播电视服务的输入提供电视信号。以及,直播电视应用程序可在显示设备200上显示直播电视信号的视频。
在一些实施例中,视频点播应用程序,可以提供来自不同存储源的视频。不同于直播电视应用程序,视频点播提供来自某些存储源的视频显示。例如,视频点播可以来自云存储的服务器端、来自包含已存视频节目的本地硬盘储存器。
在一些实施例中,媒体中心应用程序,可以提供各种多媒体内容播放的应用程序。例如,媒体中心,可以为不同于直播电视或视频点播,用户可通过媒体中心应用程序访问各种图像或音频所提供服务。
在一些实施例中,应用程序中心,可以提供储存各种应用程序。应用程序可以是一种游戏、应用程序,或某些和计算机系统或其他设备相关但可以在智能电视中运行的其他应用程序。应用程序中心可从不同来源获得这些应用程序,将它们储存在本地储存器中,然后在显示设备200上可运行。
参见图5,在一些实施例中,软件架构采用MVP-clean架构,MVP的全称为Model-View-Presenter,其中,Model提供数据,View负责显示,Controller/Presenter负责逻辑的处理。
MVP的主要作用是:(1)分层:将项目代码分层,抽取为模型(M,提供数据)、视图(V,显示数据)、业务逻辑(P,处理数据)。M和V不直接通信,它们之间的通信是通过P来进行的。分层具有使得整个项目的代码结构更清晰、易维持等好处。(2)复用:主要是M和P层的复用,再也不用担心UI的频繁修改了。
MVP-clean架构包括数据层、功能逻辑层和交互逻辑及展示层。其中,数据层包括远程数据和本地数据等。功能逻辑层包括用例和业务逻辑等。交互逻辑及展示层包括提出者和用户界面。提出者用于一方面响应用户界面的需求,一方面管理用例任务的运行,如任务开始,中断等。用户界面负责显示以及交互。
参见图6,在一些实施例中,显示设备相关应用或功能分为:主页,应用框架,应用区,帮助区,智能提示,月光宝盒,天气,听视频,语音交互,日历,天气,音频播放,时间日期等。显示设备部分采用多线程并行处理多项数据请求任务,在架构设计过程将优先考虑各业务逻辑关系,保证各子任务得到最大效率的调度。
图7中示例性示出了显示设备200提供的一个GUI的示意图。
在一些实施例中,用户正常使用显示设备后,按压控制装置100的电源键,或发出语音关机指令,显示设备会询问用户是否进入AI待机模式,如果用户选择″是″,如图7所示,显示界面弹出一个对话框,询问用户″是否进入月光模式″,用户可按压控制装置100的确认键,显示设备响应于输入的指令,启动月光模式,如图8A所示。
在一些实施例中,月光模式是通过一个单独的服务后台一直运行监测语音命令实现不同界面位置和动画的自定义改变。在启动月光模式后,语音助手可正常使用;整机通道在电视模式下播放音频,进入月光模式重新播放音频;退出月光模式时,将显示器显示的界面由主页界面切换至电视模式下的主页。
在一些实施例中,用户还可直接通过语音指令直接进入月光模式。例如用户发出″月光模式″的语音,显示设备响应于用户的语音指令,可直接启动月光模式,如图8A所示。
图8A-图8H中示例性示出了显示设备200提供的另一个GUI的示意图。
在一些实施例中,如图8A所示,启动月光模式后可使显示设备向显示器提供GUI,该GUI包括提供图像内容的展示区41-43,展示区41-43分别为时间日期显示区、帮助提示区和背景图像区。其中,时间日期显示区用于显示当前的时间和日期,帮助提示区滚动显示整体功能介绍和帮助,每5秒提示内容可切换一次,背景图像区可显示默认或用户设置的背景图片或背景动画。
在一些实施例中,背景图像区在左下角动态呼吸显示,即背景图像区显示背景动画,可防止OLED(Organic Light-Emitting Diode,有机电激发光显示)屏长时间播放出现烧屏现象。
在一些实施例中,在图8A中,如果10s内无交互时进入无交互状态,无交互状态可为将图8A的简化界面。如图8B所示,移除帮助提示区,简化时间日期显示区显示的时间,例如图8A中显示的时间为17:26、星期三、3月27日,简化后为17:26。背景图像区可进一步缩小。
在一些实施例中,在图8A中,当用户看到帮助提示区中内容,并根据帮助提示区的内容发出相应的语音查询指令。例如,帮助提示区的提示信息为″今天天气怎么样呢″,用户发出″今天天气如何″的语音指令时,如图8C所示,该GUI包括提供图像内容的展示区41和42,展示区41和42分别为语音显示区和帮助提示区。显示设备在接收用户发出的天气查询的语音指令后,会查询到用户所在地区的天气情况,并通过语音播放出来,并在语音显示区显示播放的具体内容。
在一些实施例中,在图8A中,当用户看到帮助提示区中内容,并根据帮助提示区的内容发出相应的音频播放指令。例如,帮助提示区的提示信息为″播刘德华的歌″,用户发出″播邓紫棋的歌″的语音指令时,如图8D所示,该GUI包括提供图像内容的展示区41和42,展示区41和42分别为音频播放显示区和帮助提示区。显示设备在接收用户发出的播放歌曲的语音指令后,会接收到邓紫棋的所有或部分歌曲,并从第一首歌曲《光年之外》开始播放,在播放的同时,音频播放显示区显示、歌名、歌手和歌词显示进度等。在一些实施例中,除了可以播放歌曲外,还可以播放相声、故事及视频的音频等。在播放以上内容时,音频播放显示区显示名称及进度。
在一些实施例中,显示设备在接收用户发出的播放歌曲的语音指令后,会直接通过媒体中心应用进行播放,并将媒体中心应用播放音频的歌名和进度等通过音频播放显示区显示。在一些实施例中,除了可以播放歌曲外,还可以播放相声、故事及视频的音频等。在播放以上内容时,音频播放显示区显示名称及进度。
在一些实施例中,可先启动月光模式之后,再通过媒体中心应用播放音频,还可以在媒体中心应用播放音频后,再启动月光模式,进入月光模式后,可继续或重新播放之前播放的音频。
在一些实施例中,在图8D中,如果10s内无交互时进入无交互状态,无交互状态可为将图8D的简化界面。如图8E所示,移除帮助提示区,音频播放显示区只显示歌名、歌手以及歌词显示进度。背景图像区进一步缩小。
在一些实施例中,在图8A中,当用户看到帮助提示区中内容,并根据帮助提示区的内容发出相应的倒计时设置指令。例如,帮助提示区的提示信息为″十分钟倒计时″,用户发出″十分钟倒计时″的语音指令时,如图8F所示,该GUI包括提供图像内容的展示区41和42,展示区41和42分别为时间倒计时区和帮助提示区。显示设备在接收用户发出的倒计时的语音指令后,在时间倒计时区显示剩余时间。倒计时时间到,声音提示,并让用户确认。用户无确认按默认重复提醒策略执行,如图8H所示。倒计时提醒可通过语音唤起或按控制装置的按键打断提醒。
在一些实施例中,在图8F中,如果10s内无交互时进入无交互状态,无交互状态可为将图8F的简化界面。如图8G所示,移除帮助提示区,时间倒计时区显示剩余时间,背景图像区进一步缩小。
在一些实施例中,在播放音频的过程中,如图8D或图8E中,用户可用户发出″十分钟倒计时″的语音指令。倒计时并不打断音频播放,当倒计时和音频播放同时存在时,无交互状态显示音频播放的简化界面,如图8E所示。倒计时时间到,声音提示,同时显示时间倒计时区和帮助提示区,如图8H所示。当倒计时的提示音响起时,音频播放暂停并监测音频播放状态,当提示音关闭时,根据音频播放状态继续播放该音频。
本申请实施例提供一种显示设备,显示设备至少包括:显示器和控制器,显示器和控制器功能及连接方式可以参阅上述实施例,在此便不赘述。
显示设备的作业流程包括:
控制器被配置为执行:
响应于用户输入的监测指令,监测用户的语音指令;控制显示器显示主页界面;
在一些实施例中,月光模式是通过一个单独的服务后台一直运行监测语音命令实现不同界面位置和动画的自定义改变。月光模式与当前显示设备正常开屏功能联合为用户提供一个全时智能伴侣。
在一些实施例中,在启动月光模式后,语音助手可正常使用;整机通道在电视模式下播放音频,进入月光模式重新播放音频;退出月光模式时,将显示器显示的界面由主页界面切换至电视模式下的主页,即我的tab页。支持语音退出月光模式。例如:可通过按压控制装置的电源键、返回键和HOME键退出月光模式,也可通过语音″开机″、″开屏″及″我要看某节目″退出月光模式。
在一些实施例中,主页界面由继承FrameLayout控件实现,用于主页时间、日期、帮助提示等交互显示。
在一些实施例中,主页界面包括时间日期显示区、帮助提示区和背景图像区。其中,帮助提示区滚动显示整体功能介绍和帮助,每5秒提示内容切换一次,当进入无交互状态时,帮助提示区移除,智能提示关闭。在某个应用界面内,提示区显示该应用的提示和帮助。提示区显示内容支持云端配置更改,提示信息区分整体功能介绍和所属的应用。
在一些实施例中,为防止OLED屏长时间播放出现烧屏现象,背景图像区会在左下角动态呼吸显示,即背景图像区显示默认动画,如月光动画。
在一些实施例中,主页界面10s无交互时进入无交互状态,无交互状态显示主页界面的简化界面,帮助提示区移除,默认无交互状态显示时间日期应用的简洁形态,背景图像区也进入简洁状态,例如背景图像区变小。有应用运行时(包含音频播放、听视频、倒计时),无交互10秒后显示对应应用的简洁状态,即帮助提示区移除,背景图像区缩小。
响应于用户输入的语音指令,执行所述语音指令对应的操作,并控制显示器显示执行操作后对应的界面。
在一些实施例中,所述语音指令包括语音查询指令,音频播放指令和倒计时设置指令。
在一些实施例中,显示设备的作业流程包括:
控制器被配置为执行:
响应于用户输入的监测指令,监测用户的语音指令;控制显示器显示主页界面;
响应于用户输入的语音查询指令,识别语音查询指令的内容,根据所述内容查询结果;控制显示器显示查询结果;控制扬声器播放所述查询结果。
在一些实施例中,所述控制器还用于执行:控制显示器显示语音查询指令的内容。
在一些实施例中,当用户发出″最近热门的电影有哪些″语音指令时,显示设备可以识别出用户的语音指令的内容,并根据内容查询对应的结果,播放出查询结果,如″最近热门的电影有《金刚川》、《姜子牙》、《我和我的家乡》″,同时,在显示器上显示查询结果。
在一些实施例中,当用户发出″我今天心情不太好″语音指令时,显示设备可以识别出用户的语音指令的内容,并根据内容播放对应的语音内容。例如,显示设备会播放″你可以出去走走或是跟朋友聊天″的语音。
在一些实施例中,当用户发出″调暗一些″或″切换背景动画″的语音指令时,显示设备可以识别出用户的语音指令的内容,并根据该语音指令调节显示器的屏幕亮度或切换背景动画。
在一些实施例中,显示设备的作业流程包括:
控制器被配置为执行:
响应于用户输入的监测指令,监测用户的语音指令;控制显示器显示主页界面;
响应于用户输入的音频播放语音指令,接收媒体中心应用发送的音频数据,控制扬声器播放所述音频数据对应的音频;控制所述显示器显示音频状态界面,所述音频状态界面包括音频播放显示区和帮助提示区;音频播放显示区用于显示音频播放信息,所述音频播放信息包括音频播放进度和音频内容信息。
在一些实施例中,月光模式进程可自行播放音频,在用户发出音频播放的语音指令后,可接收后台发送的含有指定应用音频地址等json数据。解析json数据组成播放列表,然后从第一个地址开始播放。
在一些实施例中,如图9所示,软件架构包括数据接收服务、播放列表管理、播放服务和音频播放用户界面,播放服务与音频播放用户界面通过AIDL(Android InterfaceDefinition Language,Android接口定义语言)建立通信。其中,数据接收服务用于后台发送的音频列表数据。播放列表管理用于记录播放列表,提供给播放服务使用。播放服务用于为音频播放用户界面提供控制音频播放、操作播放列表的接口,对内从播放列表管理中获取播放列表的操作,拥有媒体播放器(Media Player)对象,实际控制媒体播放器。音频播放用户界面用于展示音频列表和当前播放进度,并与播放服务建立联系,获取播放列表和播放控制接口。
在一些实施例中,如图10所示,月光模式进程可自行播放音频的步骤包括:
数据接收服务在接收到用户输入的音频播放指令后,从指令中获取播放列表信息,并将从后台接收到的播放列表json数据发送至播放列表管理。
播放列表管理的JSON转换工具将播放列表json数据解析并组成播放列表,将播放列表发送给音频播放用户界面,以使音频播放用户界面展示播放列表;启动播放服务,以使播放服务控制媒体播放器播放播放列表中的第一个音频;
媒体播放器将当前播放的音频信息通过播放服务发送给音频播放用户界面,以使音频播放用户界面展示当前播放音频的标题;同时,音频播放用户界面获取当前播放进度,媒体播放器将当前播放位置通过播放服务发送给音频播放用户界面,以使音频播放用户界面更新当前播放音频的进度。
当用户选择播放另一首音频时,通过播放服务控制媒体播放器停止播放当前音频,并通过创建数据资源播放用户选择的音频,并重复以上音频播放用户界面更新音频标题和进度的步骤。
当用户输入停止播放指令或由于使用某些功能而导致需要停止播放音频时,停止播放服务,并通过播放服务关闭播放器。
在一些实施例中,所述控制器,还用于执行:
响应于用户输入的音频播放控制指令,执行音频播放的控制操作。
示例性的,用户按压控制装置的左方向键或右方向键可切换至当前歌曲的上一首歌或下一首歌,也可按压控制装置的确认键来暂停或播放当前歌曲。
在一些实施例中,所述控制器,还用于执行:
响应于用户输入的退出监测指令,控制所述扬声器停止播放音频。
在一些实施例中,通过以上方式播放音频的方法,一旦退出月光模式后,音频自动停止播放。
在一些实施例中,实时播放语音搜索后台返回的音频数据,并显示播放进度。当有歌词和字幕时,开唱之前显示歌名、歌手,开唱时显示歌词。歌词单行显示,进行滚动。如果没有歌词,显示歌名、歌手。
在一些实施例中,添加歌词的方法如图11所示。在json数据转换成播放列表并播放音乐后,判断当前播放的音乐是否的歌词存在,如果有,下载该歌词对应的Irc文件;如果Irc文件存在,则解析该文件,逐行获取时间,歌词,创建单行歌词对象;存入列表;获取当前播放音乐的进度;调用on Draw绘制歌词。
在一些实施例中,音频状态界面用于显示歌名/节目名、歌手/节目信息,显示歌词信息,在音频播放过程中,可以执行其他指令,其他指令执行完返回音频状态界面,支持左方向键切换上一首歌,右方向键切换下一首歌,同时,支持语音更换歌曲。
在一些实施例中,音频包括音乐、广播、视频对应的音频等。
在一些实施例中,当用户发出″我想听郭德纲的相声″的语音指令时,可以播放郭德纲的相声视频对应的音频文件。当用户发出″我想听儿童故事″的语音指令时,可以播放儿童故事的语音内容。
在一些实施例中,显示设备的作业流程包括:
控制器被配置为执行:
响应于用户输入的监测指令,监测用户的语音指令;控制显示器显示主页界面;响应于用户输入的音频播放语音指令,控制所述扬声器播放媒体中心应用的音频。
在一些实施例中,所述控制器还用于执行:
控制显示器显示音频状态界面,所述音频状态界面用于显示音频播放信息,所述音频播放信息由媒体中心应用提供。
在一些实施例中,如图12所示,通过媒体中心进程播放音频的方法包括:
受控端,即媒体中心应用的播放器,主要实现音频的播放,该播放器需要创建媒体会话控制(MediaSession),具体指音视频媒体会话控制,创建媒体会话控制类似于在系统中注册,并通知系统可以被其他控制端控制。创建的时候需要设置唯一的会话控制(session)的标识符,这样控制端可以根据该标识符来确定控制的会话控制。然后需要实现的是会话控制的回调方法(SessionCallback),该回调方法中定义了媒体播放的常见操作,播放(play)、暂停(pause)、下一曲(next)、上一曲(previous)等,在创建会话控制时需要把该回调方法(callback)设置到会话控制中,并实现收到回调的处理办法,比如onPlay的时候就启动本地的播放器进行播放,onPause的时候就暂停。同时需要把播放器的状态通过会话控制设置到控制端,媒体会话控制提供专门的方法采集播放状态(setPlaybackState)和采集元数据(setMetadata)来更新本地播放器的状态和信息到控制端。
受控端创建媒体会话控制都会登记在framework(中介)中,framework同时会记录所有的媒体会话控制,并向控制端提供查询及状态更新服务。
控制端实现方式可以多种多样,可以在另外一个应用程序里实现,也可以在系统交互界面里实现,它主要通过中介的会话控制管理(MediaSessionManager)来查询系统中的会话控制并根据自己的需要来选择要控制的会话控制,并能要求系统在会话控制发生变化的时候通知自己。
具体表现为:控制端需要先通过系统服务取得媒体会话控制管理,然后查询系统中的会话控制,并根据自己的需求确定要控制的会话控制实例,比如根据标识符或者包名来确认。取得会话控制以后需要完成两件事,一是取得该会话控制的媒体控制(MediaControl),该媒体控制用于控制播放器执行具体的操作,比如调用媒体控制的播放(play)方法将最终由系统执行播放器的回调方法里的onPlay;二是需要向该会话控制注册自己的回调方法,该回调方法在播放器状态发生变化时会被调用以通知控制端播放器的状态及数据(媒体名、进度等)。
在一些实施例中,同步实时显示视频应用的视频信息名称和进度;其中有多个播放文件时候列表显示音频文件,并支持用户手动选择切换。
在一些实施例中,同步实时显示媒体中心应用音乐播放信息和进度;当有歌词和字幕时,开唱之前显示歌名、歌手,开唱时显示歌词。歌词单行显示,进行滚动。如果没有歌词,显示歌名、歌手。同步实时显示指定音乐应用音乐播放信息和进度。
在一些实施例中,还可以在媒体中心应用播放音频或视频时,启动月光模式。在启动月光模式后,可继续或重新播放启动月光模式前媒体中心应用播放的音频或视频。控制显示器显示该音频或视频的播放进度和信息。
在一些实施例中,显示设备的作业流程包括:
控制器被配置为执行:
响应于用户输入的监测指令,监测用户的语音指令;控制显示器显示主页界面;
响应于用户输入的设置倒计时的语音指令,控制显示器显示倒计时界面,在倒计时时间到时,控制所述扬声器播放提示音。
在一些实施例中,设置倒计时的语音指令可为倒计时10分钟、10分钟后提醒我、倒数10个数,语音指令设定。在使用倒数N个数的指令时,倒计时动画采用数字递减方式。
在一些实施例中,倒计时应用不打断音频播放,当倒计时和音频播放同时存在时,无交互状态显示音频播放的简洁形态。倒计时时间到,声音提示,同时应用区显示倒计时应用,让用户确认。用户无确认按安卓默认重复提醒策略执行。在提示音响起时,实时监测音频的播放状态,以便在提示音关闭后可继续播放该音频。
在一些实施例中,使用语音唤起,或按遥控器在月光模式下支持的按键打断提醒。
响应于用户输入的倒计时查询的语音指令,控制所述扬声器播放剩余时间;控制显示器显示剩余时间。
上述实施例中,当启动月光模式时,显示设备显示主页界面并可以实时监测用户的语音指令。当用户发出语音指令时,执行该指令对应的操作,并根据需要显示设定信息。本申请实施例让显示设备成为家庭中24小时待命的智能的娱乐工具和生活助手,随时可以交互,屏幕有助于用户更好的获取信息。提升用户体验。
最后应说明的是:以上各实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述各实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
为了方便解释,已经结合具体的实施方式进行了上述说明。但是,上述示例性的讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导,可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释原理以及实际的应用,从而使得本领域技术人员更好的使用所述实施方式以及适于具体使用考虑的各种不同的变形的实施方式。

Claims (8)

1.一种显示设备,其特征在于,包括:
显示器;
控制器,用于执行:
响应于用户在全局主页面输入的启动待机模式指令,控制显示器显示提示界面,所述提示界面用于提示用户选择是否进入月光模式;
响应于用户基于所述提示界面输入的启动月光模式指令,启动月光模式,控制显示器显示月光模式对应的主页界面;所述月光模式用于通过服务器后台监测语音命令实现不同界面位置和动画的自定义改变;所述月光模式对应的主页界面包括提供图像内容的展示区;
响应于用户输入的监测指令,监测用户的语音指令;所述语音指令包括语音查询指令、音频播放指令和倒计时设置指令中的至少一个;
响应于用户输入的语音查询指令识别语音查询指令的内容根据所述内容查询结果,控制显示器在所述展示区显示所述查询结果;
响应于用户输入的音频播放指令,控制扬声器播放音频,控制显示器在所述展示区显示音频播放信息;
响应于用户输入的倒计时设置指令,控制显示器在所述展示区显示剩余时间;
响应于用户输入的退出月光模式指令,将显示器显示的界面切换至全屏主页界面。
2.根据权利要求1所述的显示设备,其特征在于,所述语音指令包括语音查询指令,音频播放指令和倒计时设置指令。
3.根据权利要求1所述的显示设备,其特征在于,所述主页界面包括时间日期显示区、帮助提示区和背景图像区;每隔第一预设时间所述帮助提示 区的内容更换一次。
4.根据权利要求1所述的显示设备,其特征在于,所述控制器,还用于执行:
在第二预设时间内未接收到用户输入的语音指令,控制显示器显示当前界面的简化界面。
5.一种显示设备,其特征在于,包括:
显示器;
控制器,用于执行:
响应于用户在全局主页面输入的启动月光模式指令,控制显示器显示提示界面,所述提示界面用于提示用户选择是否进入月光模式;
响应于用户基于所述提示界面输入的启动月光模式指令,启动月光模式,控制显示器显示月光模式对应的主页界面;所述月光模式用于通过服务器后台监测语音命令实现不同界面位置和动画的自定义改变;响应于用户输入的监测指令,监测用户的语音指令;
响应于用户输入的音频播放语音指令,控制扬声器播放媒体中心应用的音频;控制显示器显示音频状态界面,所述音频状态界面用于显示音频播放信息,所述音频播放信息由媒体中心应用提供;
响应于用户输入的退出月光模式指令,将显示器显示的界面切换至全屏主页界面。
6.根据权利要求5所述的显示设备,其特征在于,所述控制器,还用于执行:
控制所述显示器显示音频状态界面,所述音频状态界面包括音频播放显示区和帮助提示区;音频播放显示区用于显示音频播放信息,所述音频播放信息包括音频播放进度和音频内容信息。
7.根据权利要求5所述的显示设备,其特征在于,所述控制器,还用于采用以下方式执行接收媒体中心应用发送的音频数据,控制扬声器播放所述音频数据:
接收并解析媒体中心应用发送的音频数据,组成播放列表;
记录所述播放列表;
控制扬声器依次播放所述播放列表中的音频。
8.根据权利要求5所述的显示设备,其特征在于,所述控制器,还用于执行:
响应于用户输入的音频播放控制指令,根据会话控制的标识符在中介的媒体会话控制管理中获取所述媒体中心应用的会话控制;
获取所述会话控制的媒体控制,所述媒体控制用于控制媒体中心应用执行音频控制操作;
向所述会话控制注册回调方法,以使在音频播放信息发生变化时控制显示器显示变化后的音频播放信息。
CN202011295258.0A 2020-11-18 2020-11-18 一种显示设备 Active CN112492371B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202011295258.0A CN112492371B (zh) 2020-11-18 2020-11-18 一种显示设备
CN202180067800.3A CN116324673A (zh) 2020-11-18 2021-09-23 显示设备及设备控制方法
PCT/CN2021/119955 WO2022105417A1 (zh) 2020-11-18 2021-09-23 显示设备及设备控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011295258.0A CN112492371B (zh) 2020-11-18 2020-11-18 一种显示设备

Publications (2)

Publication Number Publication Date
CN112492371A CN112492371A (zh) 2021-03-12
CN112492371B true CN112492371B (zh) 2023-02-17

Family

ID=74931433

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011295258.0A Active CN112492371B (zh) 2020-11-18 2020-11-18 一种显示设备

Country Status (1)

Country Link
CN (1) CN112492371B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113079400A (zh) * 2021-03-25 2021-07-06 海信视像科技股份有限公司 显示设备、服务器及语音交互方法
CN113066491A (zh) * 2021-03-18 2021-07-02 海信视像科技股份有限公司 显示设备及语音交互方法
WO2022193735A1 (zh) * 2021-03-18 2022-09-22 海信视像科技股份有限公司 显示设备及语音交互方法
CN113010074A (zh) * 2021-04-22 2021-06-22 海信电子科技(深圳)有限公司 一种网页视频Video控制栏显示方法及显示设备
CN115460233A (zh) * 2021-05-20 2022-12-09 华为技术有限公司 基于应用的设备连接关系建立方法及相关装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109788360A (zh) * 2018-12-12 2019-05-21 百度在线网络技术(北京)有限公司 基于语音的电视控制方法和装置
CN110740367A (zh) * 2019-10-23 2020-01-31 海信电子科技(武汉)有限公司 显示设备及语音指令处理方法
CN111783174A (zh) * 2020-07-06 2020-10-16 深圳创维-Rgb电子有限公司 息屏显示控制方法、装置、终端设备和可读存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8014542B2 (en) * 2005-11-04 2011-09-06 At&T Intellectual Property I, L.P. System and method of providing audio content
CN109036417B (zh) * 2018-07-03 2020-06-23 百度在线网络技术(北京)有限公司 用于处理语音请求的方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109788360A (zh) * 2018-12-12 2019-05-21 百度在线网络技术(北京)有限公司 基于语音的电视控制方法和装置
CN110740367A (zh) * 2019-10-23 2020-01-31 海信电子科技(武汉)有限公司 显示设备及语音指令处理方法
CN111783174A (zh) * 2020-07-06 2020-10-16 深圳创维-Rgb电子有限公司 息屏显示控制方法、装置、终端设备和可读存储介质

Also Published As

Publication number Publication date
CN112492371A (zh) 2021-03-12

Similar Documents

Publication Publication Date Title
CN112492371B (zh) 一种显示设备
CN111277884B (zh) 视频播放方法及设备
CN112333509B (zh) 一种媒资推荐方法、推荐媒资的播放方法及显示设备
CN112019782B (zh) 增强型音频回传通道的控制方法及显示设备
CN111836109A (zh) 显示设备、服务器及自动更新栏目框的方法
CN111479145A (zh) 显示设备及电视节目的推送方法
CN112165640B (zh) 一种显示设备
CN112188279A (zh) 一种频道切换方法和显示设备
CN112243141B (zh) 投屏功能的显示方法及显示设备
CN112087671B (zh) 一种输入法控件的操控提示信息的显示方法及显示设备
CN112437334A (zh) 一种显示设备
CN112165642A (zh) 一种显示设备
CN112004157A (zh) 一种多轮语音交互方法及显示设备
CN112203154A (zh) 一种显示设备
CN114079819A (zh) 一种内容显示方法及显示设备
CN112153440A (zh) 一种显示设备及显示系统
CN111954059A (zh) 屏保的展示方法及显示设备
CN112272331B (zh) 一种节目频道列表快速展示的方法及显示设备
CN112399217B (zh) 显示设备及与功放设备建立通信连接的方法
CN112040276B (zh) 一种视频进度同步方法、显示设备及冷藏设备
CN111984167A (zh) 一种快捷命名的方法及显示设备
CN112214190A (zh) 显示设备资源播放方法及显示设备
CN112118476B (zh) 一种快速显示节目预约图标的方法及显示设备
CN112333520B (zh) 节目推荐方法、显示设备及服务器
CN114302197A (zh) 一种语音分离控制方法及显示设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant