CN116567785A - 一种显示设备及待机方法、远场语音控制方法 - Google Patents

一种显示设备及待机方法、远场语音控制方法 Download PDF

Info

Publication number
CN116567785A
CN116567785A CN202210105112.8A CN202210105112A CN116567785A CN 116567785 A CN116567785 A CN 116567785A CN 202210105112 A CN202210105112 A CN 202210105112A CN 116567785 A CN116567785 A CN 116567785A
Authority
CN
China
Prior art keywords
voice
instruction
display
state
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210105112.8A
Other languages
English (en)
Inventor
李现旗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hisense Visual Technology Co Ltd
Original Assignee
Hisense Visual Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hisense Visual Technology Co Ltd filed Critical Hisense Visual Technology Co Ltd
Priority to CN202210105112.8A priority Critical patent/CN116567785A/zh
Priority to PCT/CN2022/136026 priority patent/WO2023142680A1/zh
Publication of CN116567785A publication Critical patent/CN116567785A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W52/00Power management, e.g. TPC [Transmission Power Control], power saving or power classes
    • H04W52/02Power saving arrangements
    • H04W52/0209Power saving arrangements in terminal devices
    • H04W52/0261Power saving arrangements in terminal devices managing power supply demand, e.g. depending on battery level
    • H04W52/0267Power saving arrangements in terminal devices managing power supply demand, e.g. depending on battery level by controlling user interface components
    • H04W52/027Power saving arrangements in terminal devices managing power supply demand, e.g. depending on battery level by controlling user interface components by controlling a display operation or backlight unit
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/02Constructional features of telephone sets
    • H04M1/0202Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026Details of the structure or mounting of specific components
    • H04M1/0266Details of the structure or mounting of specific components for a display module assembly
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72484User interfaces specially adapted for cordless or mobile telephones wherein functions are triggered by incoming communication events
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/64Constructional details of receivers, e.g. cabinets or dust covers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W52/00Power management, e.g. TPC [Transmission Power Control], power saving or power classes
    • H04W52/02Power saving arrangements
    • H04W52/0209Power saving arrangements in terminal devices
    • H04W52/0225Power saving arrangements in terminal devices using monitoring of external events, e.g. the presence of a signal
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Power Sources (AREA)

Abstract

本申请提供一种显示设备及待机方法、远场语音控制方法,将显示设备由开机状态调整为待机状态时,将主芯片断电,并保持语音芯片通电,以通过语音芯片执行第一唤醒任务,即通过语音芯片识别用户发送的唤醒指令,并响应于识别到的唤醒指令指示主芯片上电启动。以在待机状态保证远场语音控制功能,并避免主芯片产生的功耗。并且,通过用户的唤醒指令将显示设备从待机状态唤醒时,进一步由主芯片执行语音服务,以识别语音指令的类别,并基于语音指令的类别,准确控制是否需要开启显示器,以仅在需要开启显示器时开启显示器,从而精准控制待机启动后的功耗。

Description

一种显示设备及待机方法、远场语音控制方法
技术领域
本申请涉及智能显示设备技术领域,尤其涉及一种显示设备及待机方法、远场语音控制方法。
背景技术
显示设备是指能够输出具体显示画面的终端设备,可以是智能电视、移动终端、智能广告屏、投影仪等终端设备。以智能电视为例,智能电视是基于Internet应用技术,具备开放式操作系统与芯片,拥有开放式应用平台,可实现双向人机交互功能,集影音、娱乐、数据等多种功能于一体的电视产品,用于满足用户多样化和个性化需求。
随着智能技术的发展,各种人工智能(Artificial Intelligence,AI)技术应运而生,其中,语音控制技术是成熟度较高、应用较广泛的技术。语音控制技术已经广泛应用在显示设备领域,例如电视、音箱、智能盒子、汽车、商场导购机器人等。显示设备被配置为带有远场语音控制功能,即用户可以在距显示设备一定范围内,通过向显示设备发送语音指令,以控制显示设备执行相应的任务。以此,可以有效简化用户控制显示设备的操作,提高用户对显示设备的控制体验。远场语音控制功能通过语音芯片和主芯片实现,其中,通过语音芯片采集用户发送的语音数据,并将采集到的语音数据传输至主芯片,由主芯片执行语音应用中的唤醒服务和语音服务,即主芯片通过唤醒服务识别语音数据中的唤醒词,并在识别到唤醒词之后,启动语音服务,主芯片通过语音服务识别语音数据中的指示信息,以基于该指示信息执行相应的任务,例如显示对应的用户界面、播放音频数据等。
为了降低显示设备的功耗,可以将显示设备调整为待机状态。但是,显示设备的待机状态是指将显示设备中的各个部件均断电,以避免产生功耗。基于上述远场语音控制功能的实现过程,如果对主芯片断电,将无法实现远场语音控制功能。为了保证在待机状态下,远场语音控制功能仍然可以正常使用,现有的显示设备只能始终保持主芯片通电运行,并通过关闭显示器营造显示设备处于待机状态。此时,主芯片仍然会产生功耗。而且,为了增强与用户的互动感,处于待机状态的显示设备被语音唤醒之后,会直接开启显示器,以向用户展示界面,导致无需开启显示器时,产生额外的功耗。
发明内容
本申请提供了一种显示设备及待机方法、远场语音控制方法,显示设备在待机状态下,可以将主芯片断电,以避免主芯片产生的功耗。并且在该待机状态下通过远场语音功能唤醒显示设备时,仅在需要开启显示器时开启显示器,以精准控制待机启动后的功耗。
第一方面,本申请提供了一种显示设备,包括:
显示器,被配置为开启状态,用于在窗口内显示用户界面;
控制器,被配置为:
接收待机指令;
响应于所述待机指令,关闭所述显示器;
将主芯片断电,并保持语音芯片通电,以将所述显示设备调整为待机状态,其中,在所述待机状态下,所述语音芯片用于执行第一唤醒服务,所述第一唤醒服务是指识别用户发送的唤醒指令,并响应于所述唤醒指令指示所述主芯片上电启动,所述唤醒指令是指包含唤醒词的语音数据。
在一种实现方式中,所述控制器将主芯片断电,并保持语音芯片通电,以将所述显示设备调整为待机状态,被配置为:
判断是否存在带有锁标志的目标应用程序,所述锁标志用于指示相应的应用程序处于运行状态;
如果存在所述目标应用程序,则等待所述目标应用程序运行完毕,并在所述目标应用程序运行完毕后,消除所述锁标志,将所述主芯片断电;
如果不存在所述目标应用程序,则将所述主芯片断电。
在一种实现方式中,所述控制器将所述主芯片断电,被配置为:
将内核层中的各个内核模块调整为休眠状态,所述内核模块的休眠状态是指所述内核模块断电;
将用户空间调整为冻结状态,所述用户空间的冻结状态是指所述用户空间不响应应用程序的数据读写任务;
将所述主芯片调整为休眠状态,所述主芯片的休眠状态是指所述主芯片断电。
第二方面,本申请还提供了一种显示设备,包括:
显示器,在待机状态下,被配置为关闭状态,其中,在所述待机状态下,所述显示设备的主芯片断电、语音芯片通电;
控制器,在所述待机状态下,被配置为:
通过所述语音芯片执行第一唤醒服务,所述第一唤醒服务是指识别用户发送的唤醒指令,并响应于所述唤醒指令指示所述主芯片上电启动,所述唤醒指令是指包含唤醒词的语音数据;
在所述主芯片上电启动之后,通过所述主芯片执行语音应用中的第二唤醒服务和语音服务,所述第二唤醒服务是指识别并响应所述用户发送的所述唤醒指令,所述语音服务是指识别并响应所述用户发送的语音指令,所述语音指令是指包含指示信息的语音数据,其中,所述语音服务还包括,基于所述语音指令的类别,确定所述显示器的显示状态,所述显示状态为开启状态或者关闭状态。
在一种实现方式中,所述控制器通过语音芯片执行第一唤醒服务,被配置为:
接收所述用户发送的语音数据;
识别所述语音数据中是否包含所述唤醒词;
如果包含所述唤醒词,则确定所述语音数据是所述唤醒指令,并响应于所述唤醒指令,指示所述主芯片上电启动;
如果不包含所述唤醒词,则丢弃所述语音数据。
在一种实现方式中,所述控制器通过语音芯片执行第一唤醒服务,被配置为:
响应于所述唤醒指令,指示所述主芯片上电启动,以将内核层中的各个内核模块调整为开机模式,并将用户空间调整为解冻模式,其中,所述内核模块的开机模式是指所述内核模块上电启动,所述解冻模式是指所述用户空间响应应用程序的数据读写任务。
在一种实现方式中,在所述主芯片上电启动之后,所述控制器通过所述主芯片执行所述语音服务,被配置为:
基于所述语音指令中的指示信息,确定所述语音指令的类别,其中,响应于第一类别的语音指令开启所述显示器,响应于第二类别的语音指令关闭所述显示器;
基于所述第一类别的语音指令,生成第一标识,基于所述第二类别的语音指令,生成第二标识;
基于所述第一标识,开启所述显示器,或者,基于所述第二标识,关闭所述显示器。
在一种实现方式中,所述控制器基于所述第一标识,开启所述显示器,被配置为:
基于所述第一标识,开启所述显示器,并将窗口设置为活动状态,所述活动状态是指所述窗口可操作,以响应于非开机指令,显示对应的用户界面;
将所述语音应用标记锁标志,以指示所述语音应用处于运行状态,禁止将所述显示设备调整为所述待机状态;
所述控制器基于所述第二标识,关闭所述显示器,被配置为:
基于所述第二标识,保持关闭所述显示器,并将所述窗口设置为非活动状态,所述非活动状态是指所述窗口不可操作,以不响应于所述非开机指令;
等待指定时间之后,将所述显示设备调整为所述待机状态,其中,所述语音应用不带有所述锁标志。
第三方面,本申请还提供了一种待机方法,应用于显示设备,所述显示设备的显示器被配置为开启状态,用于在窗口内显示用户界面,所述方法包括:
接收待机指令;
响应于所述待机指令,关闭所述显示器;
将主芯片断电,并保持语音芯片通电,以将所述显示设备调整为待机状态,其中,在所述待机状态下,所述语音芯片用于执行第一唤醒服务,所述第一唤醒服务是指识别用户发送的唤醒指令,并响应于所述唤醒指令指示所述主芯片上电启动,所述唤醒指令是指包含唤醒词的语音数据。
第四方面,本申请还提供了一种远场语音控制方法,应用于显示设备,所述显示设备的显示器在待机状态下,被配置为关闭状态,其中,在所述待机状态下,所述显示设备的主芯片断电、语音芯片通电,所述方法包括:
通过所述语音芯片执行第一唤醒服务,所述第一唤醒服务是指识别用户发送的唤醒指令,并响应于所述唤醒指令指示所述主芯片上电启动,所述唤醒指令是指包含唤醒词的语音数据;
在所述主芯片上电启动之后,通过所述主芯片执行语音应用中的第二唤醒服务和语音服务,所述第二唤醒服务是指识别并响应所述用户发送的所述唤醒指令,所述语音服务是指识别并响应所述用户发送的语音指令,所述语音指令是指包含指示信息的语音数据,其中,所述语音服务还包括,基于所述语音指令的类别,确定所述显示器的显示状态,所述显示状态为开启状态或者关闭状态。
由以上技术方案可知,将显示设备由开机状态调整为待机状态时,将主芯片断电,并保持语音芯片通电,以通过语音芯片执行第一唤醒任务,即通过语音芯片识别用户发送的唤醒指令,并响应于识别到的唤醒指令指示主芯片上电启动。以在待机状态保证远场语音控制功能,并避免主芯片产生的功耗。并且,通过用户的唤醒指令将显示设备从待机状态唤醒时,进一步由主芯片执行语音服务,以识别语音指令的类别,并基于语音指令的类别,准确控制是否需要开启显示器,以仅在需要开启显示器时开启显示器,从而精准控制待机启动后的功耗。
附图说明
为了更清楚地说明本申请的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例中显示设备的使用场景;
图2为本申请实施例中控制装置的硬件配置框图;
图3为本申请实施例中控制装置的硬件配置框图;
图4为本申请实施例中显示设备的硬件配置图;
图5为本申请实施例中显示设备的软件配置图;
图6为本申请实施例中用户通过远场语音控制功能控制显示设备的交互示意图;
图7为本申请实施例中待机方法的流程示意图;
图8为本申请实施例中显示设备的待机流程中主芯片基于各应用程序运行状态断电的流程示意图;
图9为本申请实施例中显示设备的待机流程中主芯片断电的流程示意图;
图10为本申请实施例中用户通过遥控器向显示设备发送待机指令的交互示意图;
图11为本申请实施例中显示设备响应于待机指令关闭显示器的示意图;
图12为本申请实施例中显示设备关闭显示器之后的后台断电流程图;
图13为本申请实施例中在待机状态下的显示设备通过远场语音控制功能唤醒的流程示意图;
图14为本申请实施例中识别唤醒指令的流程示意图;
图15为本申请实施例中标识不同类型的语音指令的流程示意图;
图16为本申请实施例中基于第一标识,设置窗口状态的流程示意图;
图17为本申请实施例中基于第二标识,设置窗口状态的流程示意图;
图18为本申请实施例中用户通过远场语音控制功能语音唤醒显示设备的交互示意图;
图19为本申请实施例中显示设备在后台执行唤醒服务的流程示意图;
图20为本申请实施例中显示设备在后台采用回声消除技术处理语音数据的流程示意图;
图21为本申请实施例中显示设备在后台识别语音指令的类型,以控制显示器开启或者关闭的流程示意图;
图22为本申请实施例中显示设备基于第二标识,保持关闭显示器的示意图;
图23为本申请实施例中显示设备基于第一标识,开启显示器的示意图。
具体实施方式
下面将详细地对实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下实施例中描述的实施方式并不代表与本申请相一致的所有实施方式。仅是与权利要求书中所详述的、本申请的一些方面相一致的系统和方法的示例。
需要说明的是,本申请中对于术语的简要说明,仅是为了方便理解接下来描述的实施方式,而不是意图限定本申请的实施方式。除非另有说明,这些术语应当按照其普通和通常的含义理解。
本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体,而不必然意味着限定特定的顺序或先后次序,除非另外注明。应该理解这样使用的用语在适当情况下可以互换。
术语“包括”和“具有”以及他们的任何变形,意图在于覆盖但不排他的包含,例如,包含了一系列组件的产品或设备不必限于清楚地列出的所有组件,而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。
术语“模块”是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合,能够执行与该元件相关的功能。
图1为根据实施例中显示设备的使用场景的示意图。如图1所示,显示设备200可以与服务器300进行互联网通信,用户可通过控制装置100操作显示设备200。
在一些实施例中,控制装置100可以是遥控器,遥控器和显示设备的通信包括红外协议通信或蓝牙协议通信,及其他短距离通信方式中的至少一种,通过无线或有线方式来控制显示设备200。用户可以通过遥控器上按键、语音输入、控制面板输入等至少一种输入控制指令,来控制显示设备200。
在一些实施例中,控制装置100也可以是移动终端,例如手机等,移动终端与显示设备200的通信包括互联网协议通信或蓝牙协议通信,及其他短距离通信、长距离通信方式中的至少一种。用户可以通过移动终端上按键、语音输入、控制面板输入等至少一种输入用户指令,来控制显示设备200。图2示例性示出了以遥控器为例的控制装置100的配置框图。如图2所示,控制装置100包括控制器、通信接口、用户输入/输出接口、存储器、供电电源。
图3示例性示出了以移动终端为例的控制装置100的配置框图。如图3所示,控制装置100包括射频(radio frequency,RF)电路、存储器、显示单元、摄像头、传感器、音频电路、无线保真(Wireless Fidelity,Wi-Fi)电路、处理器、蓝牙电路、以及电源等部件中的至少一个。
图4示出了根据示例性实施例中显示设备200的硬件配置框图。
在一些实施例中,显示设备200包括调谐解调器210、通信器220、检测器230、外部装置接口240、控制器250、显示器260、音频输出接口270、存储器、供电电源、用户接口中的至少一种。
在一些实施例中,通信器220是用于根据各种通信协议类型与外部设备或服务器进行通信的组件。例如:通信器可以包括Wi-Fi模块,蓝牙模块,有线以太网模块等其他网络通信协议芯片或近场通信协议芯片,以及红外接收器中的至少一种。显示设备200可以通过通信器220与控制装置100或服务器300建立控制信号和数据信号的发送和接收。
在一些实施例中,外部装置接口240可以包括但不限于如下:高清多媒体接口接口(HDMI)、模拟或数据高清分量输入接口(分量)、复合视频输入接口(CVBS)、USB输入接口(USB)、RGB端口等任一个或多个接口。也可以是上述多个接口形成的复合性的输入/输出接口。
在一些实施例中,控制器250和调谐解调器210可以位于不同的分体设备中,即调谐解调器210也可在控制器250所在的主体设备的外置设备中,如外置机顶盒等。
在一些实施例中,控制器250,通过存储在存储器上中各种软件控制程序,来控制显示设备的工作和响应用户的操作。控制器250控制显示设备200的整体操作。例如:响应于接收到用于选择在显示器260上显示UI对象的用户命令,控制器250便可以执行与由用户命令选择的对象有关的操作。
在一些实施例中,用户可在显示器260上显示的图形用户界面(GUI)输入用户命令,则用户输入接口通过图形用户界面(GUI)接收用户输入命令。或者,用户可通过输入特定的声音或手势进行输入用户命令,则用户输入接口通过传感器识别出声音或手势,来接收用户输入命令。
在一些实施例中,“用户界面”,是应用程序或操作系统与用户之间进行交互和信息交换的介质接口,它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(Graphic User Interface,GUI),是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素,其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素中的至少一种。
参见图5,在一些实施例中,将系统分为四层,从上至下分别为应用程序(Applications)层(简称“应用层”),应用程序框架(Application Framework)层(简称“框架层”),安卓运行时(Android runtime)和系统库层(简称“系统运行库层”),以及内核层。
在一些实施例中,应用程序层中运行有至少一个应用程序,这些应用程序可以是操作系统自带的窗口(Window)程序、系统设置程序或时钟程序等;也可以是第三方开发者所开发的应用程序。在具体实施时,应用程序层中的应用程序包不限于以上举例。
框架层为应用程序层的应用程序提供应用编程接口(application programminginterface,API)和编程框架。应用程序框架层包括一些预先定义的函数。应用程序框架层相当于一个处理中心,这个中心决定让应用层中的应用程序做出动作。应用程序通过API接口,可在执行中访问系统中的资源和取得系统的服务。
如图5所示,本申请实施例中应用程序框架层包括管理器(Managers),内容提供者(Content Provider)等,其中管理器包括以下模块中的至少一个:活动管理器(ActivityManager)用与和系统中正在运行的所有活动进行交互;位置管理器(Location Manager)用于给系统服务或应用提供了系统位置服务的访问;文件包管理器(Package Manager)用于检索当前安装在设备上的应用程序包相关的各种信息;通知管理器(NotificationManager)用于控制通知消息的显示和清除;窗口管理器(Window Manager)用于管理用户界面上的图标、窗口、工具栏、壁纸和桌面部件。
为了便于用户对显示设备的控制,为显示设备配置远场语音控制功能,其中,远场语音控制功能通过语音芯片和主芯片共同实现。显示设备通过语音芯片和主芯片实现远场语音控制功能的过程,可以参考图6所示的用户与显示设备的交互示意图。显示设备处于开机状态时,即显示设备中的各个部件均处于全功能状态,可以正常运行。显示设备通过语音芯片执行语音数据采集服务,语音芯片通过语音数据采集服务调用麦克风的硬件接口,以通过麦克风采集用户发送的语音数据,如“嘿”。语音芯片将采集到的语音数据“嘿”直接传输至主芯片,由主芯片对该语音数据进行处理。主芯片在主进程中启动远场语音控制应用(简称语音应用),并通过语音应用首先调用唤醒服务对接收到的语音数据“嘿”进行识别和响应。在本申请中,将语音应用在开机状态下所调用的唤醒服务称为第二唤醒服务。语音应用通过调用第二唤醒服务识别该语音数据“嘿”中的唤醒词,并在识别到唤醒词“嘿”之后,启动语音服务。语音芯片继续通过语音数据采集服务调用麦克风采集用户发送的语音数据,如“播放音频1”。语音芯片将采集到的语音数据“播放音频1”直接传输至主芯片,由主芯片对该语音数据进行处理。主芯片通过语音应用调用语音服务对接收到的语音数据“播放音频1”进行识别和响应。语音应用通过调用语音服务识别到语音数据包含指示信息“播放音频1”,则调用响应的服务,例如音频播放服务,以调用麦克风的硬件接口,播放“音频1”对应的音频数据。可见,远场语音控制功能的实现,基于显示设备中主芯片处于开机状态,即主芯片通电运行。为了降低显示设备的功耗,将显示设备调整为待机状态时,如果直接将主芯片断电,在待机状态下,用户将无法实现远场语音控制功能,即用户无法通过唤醒指令唤醒显示设备响应后续的语音指令。由此,为了保证在待机状态下,远场语音控制功能可以供用户正常使用,必须保持主芯片通电运行,处于工作模式。可见,在这种待机状态下,现有显示设备中的主芯片仍然会产生功耗。
为了避免显示设备在待机状态下由主芯片产生的功耗,本申请实施例提供了一种待机方法,如图7所示的流程示意图,具体流程如下:
S701、接收待机指令。
显示设备200处于开机状态,即显示设备200的显示器开启,处于开启状态,用于在窗口内显示用户界面。并且显示设备200内各个部件(包括主芯片、语音芯片等)均处于通电运行的工作状态。
在一种实现方式中,用户通过控制装置100,例如遥控器、手机等,向显示设备200发送待机指令。示例地,用户通过按压遥控器上的“待机”按键,向显示设备200发送包含“待机”键值的指令,显示设备200通过识别所接收到的指令中包含“待机”键值,确定所接收到的指令为待机指令。
在一种实现方式中,用户利用显示设备200提供的远场语音控制功能,通过发送语音指令,控制显示设备200进入待机状态。示例地,显示设备200通过语音芯片采集用户发送的语音数据,例如“嘿”,并将该语音数据传输至主芯片,由主芯片通过唤醒服务识别该语音数据包含唤醒词“嘿”,确定该语音数据为一个唤醒指令,并响应于该唤醒指令,启动语音服务。语音芯片继续采集用户发送的语音数据,例如“待机”,并将该语音数据传输至主芯片,由主芯片通过语音服务识别该语音数据包含的指示信息“待机”,确定该语音数据是一个待机指令。
S702、响应于所述待机指令,关闭所述显示器。
显示设备200接收到待机指令之后,响应于该待机指令,首先终止对显示器的供电,以关闭显示器。具体地,显示设备200通过窗口管理服务接收并识别“待机”键值,由窗口管理服务基于该“待机”键值,生成对应的电源按键事件“待机”,并将该电源按键事件“待机”通知到电源管理服务,由电源管理服务基于该“待机”事件,首先断开对显示器的供电,以关闭显示器。
由此,当显示设备200接收到待机指令之后,立即关闭显示器,以令用户可以直观感受到显示器从亮屏快速变更为息屏,使得用户体验到显示设备200对待机指令响应的高效性,提高用户的使用体验感。
而且,显示设备200响应于待机指令,关闭显示器之后,该显示器将不再产生功耗,从而可以快速降低显示设备200的整体功耗,节约能源。
S703、将主芯片断电,并保持语音芯片通电,以将所述显示设备调整为待机状态。
在本实施例中,显示设备200的待机状态,是指显示设备200的主芯片断电、保持语音芯片通电的状态。对主芯片断电的过程在显示器关闭之后进行,用户无法感知到主芯片的断电过程,从而不会感知到主芯片断电的过程所产生的相应耗时,从用户角度可以有效提高显示设备200对待机指令的响应速度。同时,在本实施例中,为了保证显示设备200在待机状态下,仍然可以为用户提供远场语音控制功能,将语音芯片配置为在待机状态下,不仅执行原有的语音数据采集服务,还执行唤醒服务,为了区分,在本实施例中,将语音芯片在待机状态下执行的唤醒服务称为第一唤醒服务。在显示设备200处于待机状态时,语音芯片通过语音数据采集服务调用麦克风的硬件接口,以通过麦克风采集用户发送的语音数据,并进一步通过调用第一唤醒服务识别该语音数据中是否包含唤醒词,以在识别到唤醒词之后,确定该语音数据为一个唤醒指令,并响应于该唤醒指令,指示主芯片上电启动,以在主芯片上电启动之后,继续由主芯片执行第二唤醒服务和语音服务。由此,在待机状态下,可以通过保持语音芯片通电,以保证语音芯片的语音数据采集服务和第一唤醒服务的正常运行,将主芯片从待机状态下唤醒,以继续执行语音服务,从而保证远场语音控制功能的正常运行。并且,在待机状态下,可以将主芯片断电,以避免由主芯片产生功耗。
在本实施例中,显示设备200由开机状态变更为待机状态,实际上是将显示设备200中各模块由通电运行的工作模式调整为断电的休眠模式。为了避免显示设备200响应于待机指令,直接将各模块断电,导致数据的不稳定性,显示设备200在接收到待机指令之后,基于各线程中应用的运行状态,对主芯片进行逐步断电,可以参考图8所示的流程图,具体流程如下:
S801、判断是否存在带有锁标志的目标应用程序,所述锁标志用于指示相应的应用程序处于运行状态。
S802、如果存在所述目标应用程序,则等待所述目标应用程序运行完毕,并在所述目标应用程序运行完毕后,消除所述锁标志,将所述主芯片断电。
S803、如果不存在所述目标应用程序,则将所述主芯片断电。
主芯片处于通电运行的工作状态时,其对应的主进程中会运行与各应用程序。例如,以数据记录应用程序为例,显示设备200在播放视频1时,在主进程中启动数据记录应用程序,以记录视频1的播放信息,如播放参数、播放进度等。又如,以更新应用程序为例,显示设备200在更新操作系统的版本、应用程序的版本时,在主进程中启动更新应用程序,以下载系统、应用程序的最新版本,并将旧版本替换为该最新版本。
如果显示设备200响应于待机指令,直接将主芯片断电,即直接终止主进程,也即直接终止各正在运行的应用程序,将导致各应用程序无法完成对应的任务,出现数据不完整、程序错乱等问题。示例地,以响应于待机指令,直接终止数据记录应用程序为例,将导致记录的播放信息不完整。如果再次开机播放视频1,并选择从上次播放位置开始播放,由于记录的播放信息不完整,将无法准确定位至待机时真正的播放位置,例如记录的播放位置是真正的播放位置的前n秒,则将重复播放该n秒对应的视频数据,导致用户重复观看视频1,降低用户的体验感。或者,以响应于待机指令,直接终止更新应用程序为例,将导致系统、应用程序的更新不完整。当再次开机时,由于存在两个版本的操作系统和应用程序(旧版本以及更新不完整的新版本),显示设备200将需要时间判断使用哪一个版本,如果判定使用新版本,则由于该新版本不完整,则无法正常运行,从而影响用户的体验感。而且,此时数据库中将同时存在对应两个版本的数据,占用额外的存储空间,如果在开机后重新更新版本,将重复下载该新版本对应的数据,不仅进一步占用额外的存储空间,而且,重复下载的版本数据容易出现混乱的问题,影响系统、应用程序的正常运行。
为了避免上述问题,显示设备200响应于待机指令,将主芯片断电之前,首先判断是否存在正在运行的目标应用程序。在本实施例中,可以通过锁标志来标识目标应用程序,锁标志用于指示对应的应用程序处于运行状态,禁止断电。主芯片通过识别锁标志,可以确定正在运行的目标应用程序。示例地,各应用程序在主进程中启动之后,向电源管理服务申请电源锁,以携带锁标志,用于指示该应用程序处于运行状态,禁止断电,避免显示设备200响应于待机指令,直接终止该目标应用程序。例如,数据记录应用程序在主进程中启动之后,向内核层申请电源锁,以生成锁标志,该锁标志指示数据记录应用程序处于运行状态,禁止断电。又如,更新应用程序在主进程中启动之后,向内核层申请电源锁,以生成锁标志,该锁标志指示更新应用程序处于运行状态,禁止断电。
显示设备200在关闭显示器之后,生成显示器对应的状态信息,如关闭状态,并将该状态信息通知到内核层中的各个内核模块,以通知各个模块显示器已经断电,显示器的硬件接口不可调用。主芯片通过识别主进程中是否存在目标应用程序(带有锁标志的应用程序)。如果存在目标应用程序,则标记该目标应用程序,并将主芯片由工作状态调整为空闲状态,以等待这些目标线程运行完毕。在本实施例中,主芯片的空闲状态是指,主芯片通电运行,但是,该通电运行是一种低功耗运行模式,即关闭一部分功能,例如网络连接功能、音频播放功能、画面显示功能等,保留目标应用程序对应的功能,例如数据读写功能等,即仅执行当前正在运行的目标应用程序,不再响应新的指令(关机指令、开机指令除外)。由此,可以避免用户此时再发起的其它指令影响主芯片的断电过程,进而避免影响显示设备200的待机流程。各目标应用程序继续运行,并在运行完毕之后,进行解锁,即向内核层申请清除电源锁,以消除目标应用程序上的锁标志。主芯片可以通过周期性检查所标记的目标应用程序是否带有锁标志,以检查目标应用程序是否运行完毕。或者,目标应用程序在运行完毕之后,通知运行完毕的结果。例如,数据记录应用程序在将当前正在播放的视频1的播放信息记录完成之后,消除锁标志,以指示数据记录应用程序运行完毕。又如,更新应用程序将当前正在更新的系统、应用程序更新完成之后,消除锁标志,以指示更新应用程序运行完毕。
当显示设备200识别到当前不存在目标应用程序之后,可以将主芯片断电。在本实施例中,可以参考图9所示的流程将主芯片断电,具体流程如下:
S901、将内核层中的各个内核模块调整为休眠状态,所述内核模块的休眠状态是指所述内核模块断电。
S902、将用户空间调整为冻结状态,所述用户空间的冻结状态是指所述用户空间不响应应用程序的数据读写任务。
S903、将所述主芯片调整为休眠状态,所述主芯片的休眠状态是指所述主芯片断电。
在主进程中不存在目标应用程序时,调用电源硬件接口层的“待机”事件,在电源硬件接口层记录“待机”事件的信息,例如待机事件的原因、时间等,然后将该待机事件通知到内核层,以将内核层中的各个内核模块由工作状态调整为休眠状态,即将各个内核模块断电,以终止内核层的运行。并进一步冻结用户空间,以令用户空间不再执行数据的写入与读出任务,以终止应用层的运行。至此,在主芯片控制下的各个模块以及用户空间均调整为休眠状态,不再执行任务,主芯片可以断电进入休眠状态,此时显示设备200进入真正的待机状态。
为上述显示设备200的待机流程提供一个示例,可以参考图10~图12所示的用户与显示设备200的待机交互示意图。如图10所示,显示设备200当前处于工作状态,即显示设备200的显示器为开启状态,在窗口内显示如图10所示的用户界面,即风景画面。用户通过操控控制装置100,例如用户通过按压遥控器上的“待机”按键,向显示设备200发送待机指令,该待机指令包含“待机”键值,以控制显示设备200进入待机模式。
如图11所示,显示设备200接收该待机指令,并通过窗口管理服务识别到该待机指令中的“待机”键值,确定该指令为待机指令,窗口管理服务处理该“待机”键值的广播后,生成电源按键事件“待机”,并将该电源按键事件通知到电源管理服务。电源管理服务基于该电源按键事件,首先断开对显示器的供电,如图12所示,显示器息屏,显示器进入关闭状态,不再产生功耗。
由此,当显示设备200接收到待机指令之后,立即关闭显示器,以令用户可以直观感受到显示器从亮屏快速变更为息屏,使得用户体验到显示设备200对待机指令响应的高效性,从而提高用户的使用体验感。
显示设备200在关闭显示器之后,将主芯片断电,并保持语音芯片通电。如图11所示,电源管理服务基于显示器当前的状态生成对应的状态信息,即关闭状态,并将该状态信息广播至内核层中的各个内核模块,以通知各个内核模块显示器已经断电,显示器的硬件接口不可调用,并通知各个内核模块进入休眠状态。主芯片识别主进程中是否存在目标应用程序,即带有锁标志的应用程序。如果存在目标应用程序,则将主芯片调整为空闲模式,即主芯片通电,关闭一部分功能,仅支持目标应用程序的运行,并且不再响应新的指令(关机指令、开机指令除外),以进入低功耗模式。在目标应用程序运行完毕之后,消除目标应用程序带有的锁标志。当主进程中不存在目标应用程序时。调用电源硬件接口层的“待机”事件,硬件接口层记录该“待机”事件的信息,并将该“待机”事件通知到内核层,以将内核层中的各个内核模块由工作状态调整为休眠状态,以终止内核层的运行,并进一步将用户空间调整为冻结状态,以终止应用层的运行,最后将主芯片断电,以调整为休眠状态,显示设备200真正进入待机状态。
由此,主芯片的断电不会影响各模块相应应用的运行,可以有效避免显示设备200响应待机指令时出现数据不完整、程序错乱等问题,从而有效保证显示设备200再次开机后的运行效果。而且,显示设备200响应于待机指令,可以将主芯片断电,并保持语音芯片通电,令显示设备200进入真正的待机状态。此时,显示设备200仍然可以通过语音应用运行唤醒服务和语音指令响应服务,以通过远场语音功能对显示设备200进行唤醒,并在成功唤醒主芯片之后,进一步响应语音指令。由此,显示设备200在待机状态下,可以进一步实现主芯片断电,以降低由主芯片产生的功耗,从而有效降低显示设备200的整体功耗,且不会影响显示设备200在待机状态下的远场语音控制功能。
基于上述待机流程,显示设备200处于待机状态时,即主芯片断电、语音芯片保持通电,显示设备200可以通过语音芯片采集和识别用户发送的唤醒指令,并响应于该唤醒指令,指示主芯片重新上电启动,以启动语音应用,通过主芯片执行第二唤醒服务和语音服务,以始终保证远场语音控制功能的正常运行。显示设备200从待机状态调整为开机状态的过程可以参考图13所示的开机流程,具体流程如下:
S1301、通过所述语音芯片执行第一唤醒服务。
在本实施例中提供的显示设备200的待机状态下,显示设备200可以通过语音芯片执行第一唤醒服务。如果显示设备200所处的环境比较吵杂,则语音芯片采集到的语音数据比较繁杂,例如处于商场环境的显示设备200,其可以采集到来往人群产生的语音数据、其它音频设备产生的音频数据、以及显示设备200自身播放的音频数据(为了方便表述,也统一称为语音数据)等,这些语音数据均会对识别真正的唤醒指令产生干扰,为了准确执行唤醒服务,避免响应与唤醒指令的语音数据,可以参考图14所示的流程识别语音指令,具体流程如下:
S1401、接收所述用户发送的语音数据。
S1402、识别所述语音数据中是否包含所述唤醒词。
S1403、如果包含所述唤醒词,则确定所述语音数据是所述唤醒指令,并响应于所述唤醒指令,指示所述主芯片上电启动。
S1404、如果不包含所述唤醒词,则丢弃所述语音数据。
语音芯片通过语音数据采集服务调用麦克风的硬件接口,以通过麦克风采集全部语音数据。通过上述语音数据的采集过程,保证语音芯片采集到的语音数据的广泛性,以保证不会遗漏重要的语音数据,例如音量较小的、音节较短的包含有唤醒词的语音数据,进而提高基于所采集到的语音数据准确识别到唤醒指令的有效性。
语音芯片通过第一唤醒服务,识别语音数据中的唤醒词。示例地,第一唤醒服务通过调用唤醒词库,以获取所有指定的唤醒词,或者专属于待机状态下的唤醒词。其中,所有指定的唤醒词是指在显示设备200处于待机状态以及处于工作状态下均可以实现唤醒功能的指定词语,如“嘿”、“嗨”等词语。专属于待机状态下的唤醒词是指在显示设备200处于待机状态下,可以实现唤醒功能的指定词语,如“wake up”,该专属于待机状态下的唤醒词在显示设备200处于工作状态下,将无法实现唤醒功能,即处于工作状态下的显示设备200不响应该专属于待机状态下的唤醒词。
在本实施例中,可以通过回声消除技术进一步提高语音芯片识别唤醒词的准确性。具体地,唤醒服务启动时,创建第一音频录制线程和第二音频录制线程,其中,第一音频录制线程用于录制麦克风采集到的语音数据,第二音频录制线程用于录制显示设备200播放的音频数据,即回采信号。通过对比通过第一音频录制线程采集到的语音数据,以及通过第二音频录制线程采集到的回采信号,提取出上述语音数据与回采信号不同的数据,该不同的数据对应于可能包含唤醒词的语音数据。并进一步通过分析该不同的语音数据是否包含唤醒词,以识别所采集到的语音数据是否包含唤醒词。显示设备200处于待机状态时,显示设备200用于播放音频数据的音频播放模块也处于休眠模式,即第二音频录制线程采集到的回采信号为空,由此,上述语音数据与回采信号不同的数据就是通过第一音频录制线程采集到的语音数据。
进一步地,在显示设备200处于待机状态时,语音芯片可以配置为,不采用回声消除技术识别唤醒词。由此,可以提高显示设备200在待机状态时的唤醒速度,表现为显示设备200快速响应用户发送的唤醒指令,以提高用户的体验感。
语音芯片通过对比从语音数据中识别到的关键词与调取的唤醒词库中的唤醒词是否匹配,当存在与该关键词匹配的唤醒词时,说明该关键词是唤醒词,即语音数据中包含唤醒词;当不存在与该关键词匹配的唤醒词时,说明该关键词不是唤醒词,即语音数据不包含唤醒词。基于上述唤醒词的识别过程,如果语音芯片识别到语音数据中存在唤醒词,则确定该语音数据为唤醒指令,并响应于该唤醒指令,指示主芯片上电启动。如果语音芯片未识别到唤醒词,则该语音数据为无效数据,语音芯片丢弃该语音数据,保持待机状态,并继续采集和识别下一语音数据。
语音芯片响应于唤醒指令,指示主芯片上电启动,以将内核层中的各个内核模块调整为开机模式,并将用户空间调整为解冻模式,其中,所述内核模块的开机模式是指所述内核模块上电启动,所述解冻模式是指所述用户空间响应应用程序的数据读写任务。
通知内核层中的各个内核模块按照指定顺序上电启动,以从休眠状态调整为开机状态,以唤醒内核层,令内核层可以正常运行。同时,将用户空间调整为解冻状态,以令用户空间可以执行数据的读出和写入任务,令应用层可以正常运行。在各内核模块与用户空间成功唤醒之后,通知电源硬件接口层本次开机的状态(开机),并由电源硬件接口层记录开机原因,将该开机事件通知电源管理模块,由电源管理模块基于该开机事件发送开机状态的通知,恢复对内核层、应用层的供电。
在本实施例中,显示设备200的唤醒启动流程中,不包括显示器的启动过程,即显示设备200响应于唤醒词,并不会直接开启显示器,显示器仍处于息屏状态,以避免显示器在不需要使用时开启,产生额外的功耗。
S1302、在所述主芯片上电启动之后,通过所述主芯片执行语音应用中的第二唤醒服务和语音服务,所述第二唤醒服务是指识别并响应所述用户发送的所述唤醒指令,所述语音服务是指识别并响应所述用户发送的语音指令,所述语音指令是指包含指示信息的语音数据,其中,所述语音服务还包括,基于所述语音指令的类别,确定所述显示器的显示状态,所述显示状态为开启状态或者关闭状态。
在本实施例中,主芯片执行语音服务响应于语音指令时,进一步基于语音指令的类别,判断是否需要开启显示器。语音指令包括两种类别,其中,响应于第一类别的语音指令需要开启显示器,例如指示播放视频数据的语音指令,需要开启显示器,属于第一类别。响应于第二类别的语音指令不需要开启显示器,例如指示播放音频数据的语音指令,不需要开启显示器,属于第二类别。由此,显示设备200通过识别语音指令对应的类别,以准确判断是否需要开启显示器。
进一步地,为了保证基于语音指令的类别控制显示器的准确性,可以对语音指令的类别进行标记,可以参考图15所示的标记流程,具体流程如下:
S1501、基于所述语音指令中的指示信息,确定所述语音指令的类别,其中,响应于第一类别的语音指令开启所述显示器,响应于第二类别的语音指令关闭所述显示器。
S1502、基于所述第一类别的语音指令,生成第一标识,基于所述第二类别的语音指令,生成第二标识。
S1503、基于所述第一标识,开启所述显示器,或者,基于所述第二标识,关闭所述显示器。
语音指令中包含的指示信息,用于指示具体的动作和对象。例如,语音数据为“播放视频1”。主芯片通过语音服务可以识别到该语音数据包含指示信息“播放视频1”,该指示信息所指示的动作是“播放”,对象是“视频1”。主芯片通过语音服务,基于所识别到的指示信息,可以进一步判定语音指令对应的类别。示例地,通过对比指示信息中的关键词与类别词库中的类别词,确定语音指令对应的类别。其中,类别词库中的类别词为可以指示类别的指定词语,各类别词与所指示的类别具有映射关系,例如类别词为“图片”,对应的类别为“第二类别”;类别词为“音频”,对应的类别为“第二类别”;类别词为“视频”,对应的类别为“第一类别”,此处不赘述。语音服务通过对比关键词与类别词,确定与该关键词匹配的类别词,并进一步基于该类别词与所指示的类别之间的映射关系,以确定对应的类别,即语音指令对应的类别。例如,指示信息中的关键词“视频1”,通过对比各个类别词,确定相匹配的类别词为“视频”,并进一步基于“视频”与“第一类别”的映射关系,确定该语音指令对应的类别为“第一类别”,即需要开启显示器。又如,指令信息中的关键词“音频2”,通过对比各个类别词,确定相匹配的类别词为“音频”,并进一步基于“音频”与“第二类别”的映射关系,确定该语音指令对应的类别为“第二类别”,即不需要开启显示器。
基于语音指令的不同类别,生成不同的标识,以对各类别加以区分。在本实施例中,用第一标识标记第一类别,用第二标识标记第二类别。具体的,可以将第一标识与第二标识携带在对应的标志位上,通过识别标志位,就可以准确识别到标识,进而确定该语音指令的类别。在一种实现方式中,第一标识与第二标识位于同一标志位,第一标识与第二标识的具体内容不同,由此,通过识别该标志位上携带的具体标识,可以准确判断语音指令对应的类别。在另一种实现方式中,第一标识与第二标识位于不同的标志位,例如,第一标识位于第一标志位(亮屏标志位),第二标识位于第二标志位(不亮屏标志位)。通过识别存在标识的标志位,确定携带的是哪一种标识,例如识别到第一标志位上存在标识,则确定携带的是第一标识,或者,识别到第二标志位上存在标识,则确定携带的是第二标识,并进一步基于标识确定语音指令对应的类别。在该实现方式中,第一标识与第二标识的具体内容可以相同,也可以不同。
如果识别到第一标识,则可以确定语音指令对应第一类别,开启显示器;如果识别到第二标识,则可以确定语音指令对应第二类别,不开启显示器。
如果识别到第一标识,可以参考图16所示的流程,进一步配置窗口状态,具体流程如下:
S1601、基于所述第一标识,开启所述显示器,并将窗口设置为活动状态,所述活动状态是指所述窗口可操作,以响应于非开机指令,显示对应的用户界面。
S1602、将所述语音应用标记锁标志,以指示所述语音应用处于运行状态,禁止将所述显示设备调整为所述待机状态。
通常,需要开启显示器的语音指令,在显示器开启之后,用户与显示设备200再次交互的概率也较高,即用户再次向显示设备200发送指令的概率较高。基于此,显示设备200需要保持显示器的开启状态,并保持响应用户的任何指令。
显示设备200基于第二标识,开启显示器之后,将窗口设置为活动状态,在该活动状态下,窗口可操作性,即用户可以基于窗口内显示的用户界面发起指令。例如,用户通过控制装置100发送的包含任意键值的控制指令,或者用户发送的包含任意关键词的语音指令,以避免显示设备200漏响应用户发送的指令,提高用户对显示设备200控制的体验感。
为了避免显示设备200自动进入待机流程,主芯片上电启动语音应用之后,为语音应用在内核层申请电源锁,以为语音应用标记锁标志,指示语音应用正在运行中,禁止断电。以通过语音应用的锁标志,有效阻止显示设备200进入待机流程。如果需要显示设备200再次进入待机状态,则需要重新发送待机指令,以主动指示显示设备200进入待机流程。在接收到该待机指令时,将消除语音应用的锁标志,以令主芯片可以进入休眠模式。
如果识别到第二标识,可以参考图17所示的流程,进一步配置窗口状态,具体流程如下:
S1701、基于所述第二标识,保持关闭所述显示器,并将所述窗口设置为非活动状态,所述非活动状态是指所述窗口不可操作,以不响应于所述非开机指令。
S1702、等待指定时间之后,将所述显示设备调整为所述待机状态,其中,所述语音应用不带有所述锁标志。
通常,无需开启显示器的语音指令,对应的响应过程也比较简短,例如,语音指令“播放音频1”,显示设备200响应于该语音指令,无需开启显示器,只需要播放音频1对应的音频数据即可,通常,音频1对应的播放时长较短,由此,显示设备200响应于该语音指令的过程也比较简短。而且,用户在显示器的关闭状态下,再次发送指令的概率较低,即用户与显示设备200再次交互的概率较低。由此,在显示设备200响应第二类别的语音指令之后,将处于无任务执行的空闲状态。此时,虽然显示器处于关闭状态,不会产生功耗,但是,主芯片处于通电运行的工作状态,主芯片会产生功耗。且在这种状态下,用户会忘记或者无意识再次下达待机指令,导致主芯片会始终处于通电运行的工作状态,始终产生功耗。为了避免在这种状态下由主芯片产生的功耗,以降低显示设备200的整体功耗,可以将主芯片配置为在响应语音指令完毕之后,自动进入如上文所述的待机流程。
基于第一标识,保持显示器处于关闭状态时,同时将窗口设置为非活动状态,即窗口不可操作,此时不会响应任何非开机指令。例如,虽然显示器处于关闭状态,但是主芯片上电启动之后,可能默认生成对应的用户界面,例如主桌面,此时,如果窗口处于活动状态,那么用户可以通过向窗口下达控制指令,以对用户界面进行操作。基于此,虽然由于显示器处于关闭状态,用户看不到用户界面的变化,但是,后台已经完成了控制指令的响应过程,产生了相应的资源浪费。为了避免上述问题,将窗口设置为非活动状态,例如将窗口置灰,令窗口不可操作,此时,即使用户向显示设备200发送控制指令,例如用户通过遥控器向显示设备200发送键值“菜单”,显示设备200也不会响应于该键值生成对应的用户界面。只有在用户发送开机指令时,显示设备200开启显示器。例如,用户通过遥控器向显示设备200发送键值“开机”,显示设备200响应于该键值,开启显示器,或者,用户向显示设备200发送语音指令“打开显示器”,显示设备200响应于该语音指令,开启显示器。进一步地,显示设备200将窗口重新调整为活动状态,以在显示器亮屏之后,可以正常响应于用户发送的各种指令。
为了实现在响应语音指令完毕之后,显示设备200自动进入待机流程,在该响应过程中,语音应用不带有锁标志,即语音应用不会限制显示设备200进入待机流程。
进一步地,为了避免主芯片在短时间内反复上电和断电,为主芯片配置自动进入待机流程的等待时长,例如10s。在响应语音指令完毕之后,主芯片等待10s之后,再自动进入待机流程,在该等待时长内,显示设备200可以接收用户发送的开机指令、新的语音指令等(上述指令均为可以再次唤醒主芯片的指令,即令主芯片从断电再次启动的指令),以避免主芯片在自动进入待机流程断电后,短时间内再次响应于上述指令再次启动,从而保护主芯片,也可以有效避免短时间内接收上述指令之后,由于主芯片重新启动过程所耗费的时间,从而提高显示设备200的响应速度。
在上述主芯片在等待自动进入待机流程,以及显示设备200开启显示器,保持工作状态的过程中,语音应用将通过回声消除技术,识别用户再次发出的语音指令。由于显示设备200当前存在正在执行的语音指令,即存在正在播放的音频数据,因此,通过回声消除技术,可以准确提取出再次接收到的语音数据与当前正在播放的音频数据(回采信号)不同的数据,并基于该不同的数据准确识别唤醒词以及指令信息,进而准确响应语义指令。上述回声消除技术的具体实施过程可以参考上文,此处不再赘述。
基于上述过程,显示设备200处于待机状态时,可以通过语音芯片执行语音数据采集服务和第一唤醒服务,以在识别到用户发送的唤醒指令之后,指示主芯片上电启动,并继续由主芯片执行语音应用中的第二唤醒服务和语音服务。进一步地,主芯片通过语音服务识别语音指令对应的类别,以基于语音指令的类别,准确控制显示器的开启或者关闭,从而精准控制待机启动后的功耗。
为上述显示设备200的待机启动流程提供一个示例,可以参考图18~图23所示的用户与显示设备200的待机启动交互示意图。如图18所示,显示设备200处于待机状态,即显示器处于关闭状态,且主芯片断电,语音芯片通电,由语音芯片执行第一唤醒服务。其中,显示设备200进入待机状态的流程可以参考上文公开的待机流程以及示例,此处不赘述。
如图19所示,在语音芯片中,首先启动语音数据采集服务,通过语音数据采集服务调用麦克风硬件接口,通过麦克风采集用户发送的语音数据,例如“wake up”。然后启动第一唤醒服务,通过第一唤醒服务识别“wake up”中的唤醒词。通过比对语音数据中的关键词与唤醒词库中的各个唤醒词,可以确定该语音数据中包含唤醒词“wake up”。第一唤醒服务基于该唤醒词确定该语音数据为唤醒指令,并响应于该唤醒指令,指示主芯片上电启动。
通知内核层中的各个内核模块按照指定顺序上电启动,以从休眠状态调整为开机状态,以唤醒内核层,令内核层可以正常运行。同时,将用户空间调整为解冻状态,以令用户空间可以执行数据的读出和写入任务,令应用层可以正常运行。在各内核模块与用户空间成功唤醒之后,通知电源硬件接口层本次开机的状态(开机),并由电源硬件接口层记录开机原因,将该开机事件通知电源管理模块,由电源管理模块基于该开机事件发送开机状态的通知,恢复对内核层、应用层的供电。
主芯片上电启动之后,由主芯片执行语音应用中的第二唤醒服务和语音服务,并由语音芯片继续承担语音数据采集服务。语音芯片继续采集用户发送的语音数据,如“播放音频1”,并将该语音数据直接传输至主芯片,由主芯片通过语音服务识别并响应于语音指令,可以参考图20。
启动语音应用,创建第一音频录制线程,即麦克风的Audio Recoder,以采集用户发送的语音数据,例如“播放音频1”。创建第二音频录制线程,即回采信号的AudioRecoder,以采集显示设备200播放的音频数据。采用回声消除技术,通过对比语音数据“播放音频1”和回采信号,提取两者不同的数据,即“播放音频1”,并进一步识别“播放音频1”中的指示信息“播放音频1”。
如图21所示,语音应用基于识别到的指示信息,确定语音指令对应的类别,并在生成对应的标识。在本示例中,语音应用基于指示信息“播放音频1”,确定语音指令对应的类别为第二类别,即不需要开启显示器,则在第二标志位(不亮屏标志位)携带第二标识,以标识该语音指令对应第二类别。语音应用携带对应的标识通知到窗口管理服务和电源管理服务。窗口服务根据不亮屏标志位上的第二标识,将窗口设置为非活动状态,即不可操作状态。电源管理服务不为显示器供电,如图22所示,保持显示器处于关闭状态。同时,语音应用不在内核层申请电源锁,即语音应用不携带锁标志。由此,显示设备200在等待指定时间,例如10s之后,将自动进入待机流程。
在另一个示例中,与上一个示例的不同在于,语音指令为“播放视频1”,该语音指令包含的指示信息为“播放视频1”,语音应用可以确定该语音指令对应的类别为第一类别,即需要开启显示器,并在第一标标志位(亮屏标志位)携带第一标识,以标识该语音指令对应第一类别。语音应用携带对应的标识通知到窗口管理服务和电源管理服务。窗口服务根据亮屏标志位上的第一标识,识别到需要开启显示器,将窗口设置为活动状态,即可操作状态,可以响应开机指令以及各非开机指令。电源管理服务为显示器供电,如图23所示,显示器处于开启状态,显示与“视频1”对应的用户界面。同时,语音应用在内核层申请电源锁,即语音应用携带锁标志。由此,可以阻止显示设备200自动进入待机流程。
基于上述过程,显示设备200处于待机状态时,可以通过语音芯片执行语音数据采集服务和第一唤醒服务,以在识别到用户发送的唤醒指令之后,指示主芯片上电启动,并继续由主芯片执行语音应用中的第二唤醒服务和语音服务。进一步地,主芯片通过语音服务识别语音指令对应的类别,以基于语音指令的类别,准确控制显示器的开启或者关闭,从而精准控制待机启动后的功耗。
本申请提供的实施例之间的相似部分相互参见即可,以上提供的具体实施方式只是本申请总的构思下的几个示例,并不构成本申请保护范围的限定。对于本领域的技术人员而言,在不付出创造性劳动的前提下依据本申请方案所扩展出的任何其他实施方式都属于本申请的保护范围。

Claims (10)

1.一种显示设备,其特征在于,包括:
显示器,被配置为开启状态,用于在窗口内显示用户界面;
控制器,被配置为:
接收待机指令;
响应于所述待机指令,关闭所述显示器;
将主芯片断电,并保持语音芯片通电,以将所述显示设备调整为待机状态,其中,在所述待机状态下,所述语音芯片用于执行第一唤醒服务,所述第一唤醒服务是指识别用户发送的唤醒指令,并响应于所述唤醒指令指示所述主芯片上电启动,所述唤醒指令是指包含唤醒词的语音数据。
2.根据权利要求1所述的显示设备,其特征在于,所述控制器将主芯片断电,并保持语音芯片通电,以将所述显示设备调整为待机状态,被配置为:
判断是否存在带有锁标志的目标应用程序,所述锁标志用于指示相应的应用程序处于运行状态;
如果存在所述目标应用程序,则等待所述目标应用程序运行完毕,并在所述目标应用程序运行完毕后,消除所述锁标志,将所述主芯片断电;
如果不存在所述目标应用程序,则将所述主芯片断电。
3.根据权利要求2所述的显示设备,其特征在于,所述控制器将所述主芯片断电,被配置为:
将内核层中的各个内核模块调整为休眠状态,所述内核模块的休眠状态是指所述内核模块断电;
将用户空间调整为冻结状态,所述用户空间的冻结状态是指所述用户空间不响应应用程序的数据读写任务;
将所述主芯片调整为休眠状态,所述主芯片的休眠状态是指所述主芯片断电。
4.一种显示设备,其特征在于,包括:
显示器,在待机状态下,被配置为关闭状态,其中,在所述待机状态下,所述显示设备的主芯片断电、语音芯片通电;
控制器,在所述待机状态下,被配置为:
通过所述语音芯片执行第一唤醒服务,所述第一唤醒服务是指识别用户发送的唤醒指令,并响应于所述唤醒指令指示所述主芯片上电启动,所述唤醒指令是指包含唤醒词的语音数据;
在所述主芯片上电启动之后,通过所述主芯片执行语音应用中的第二唤醒服务和语音服务,所述第二唤醒服务是指识别并响应所述用户发送的所述唤醒指令,所述语音服务是指识别并响应所述用户发送的语音指令,所述语音指令是指包含指示信息的语音数据,其中,所述语音服务还包括,基于所述语音指令的类别,确定所述显示器的显示状态,所述显示状态为开启状态或者关闭状态。
5.根据权利要求4所述的显示设备,其特征在于,所述控制器通过语音芯片执行第一唤醒服务,被配置为:
接收所述用户发送的语音数据;
识别所述语音数据中是否包含所述唤醒词;
如果包含所述唤醒词,则确定所述语音数据是所述唤醒指令,并响应于所述唤醒指令,指示所述主芯片上电启动;
如果不包含所述唤醒词,则丢弃所述语音数据。
6.根据权利要求4所述的显示设备,其特征在于,所述控制器通过语音芯片执行第一唤醒服务,被配置为:
响应于所述唤醒指令,指示所述主芯片上电启动,以将内核层中的各个内核模块调整为开机模式,并将用户空间调整为解冻模式,其中,所述内核模块的开机模式是指所述内核模块上电启动,所述解冻模式是指所述用户空间响应应用程序的数据读写任务。
7.根据权利要求4所述的显示设备,其特征在于,在所述主芯片上电启动之后,所述控制器通过所述主芯片执行所述语音服务,被配置为:
基于所述语音指令中的指示信息,确定所述语音指令的类别,其中,响应于第一类别的语音指令开启所述显示器,响应于第二类别的语音指令关闭所述显示器;
基于所述第一类别的语音指令,生成第一标识,基于所述第二类别的语音指令,生成第二标识;
基于所述第一标识,开启所述显示器,或者,基于所述第二标识,关闭所述显示器。
8.根据权利要求7所述的显示设备,其特征在于,所述控制器基于所述第一标识,开启所述显示器,被配置为:
基于所述第一标识,开启所述显示器,并将窗口设置为活动状态,所述活动状态是指所述窗口可操作,以响应于非开机指令,显示对应的用户界面;
将所述语音应用标记锁标志,以指示所述语音应用处于运行状态,禁止将所述显示设备调整为所述待机状态;
所述控制器基于所述第二标识,关闭所述显示器,被配置为:
基于所述第二标识,保持关闭所述显示器,并将所述窗口设置为非活动状态,所述非活动状态是指所述窗口不可操作,以不响应于所述非开机指令;
等待指定时间之后,将所述显示设备调整为所述待机状态,其中,所述语音应用不带有所述锁标志。
9.一种待机方法,其特征在于,应用于显示设备,所述显示设备的显示器被配置为开启状态,用于在窗口内显示用户界面,所述方法包括:
接收待机指令;
响应于所述待机指令,关闭所述显示器;
将主芯片断电,并保持语音芯片通电,以将所述显示设备调整为待机状态,其中,在所述待机状态下,所述语音芯片用于执行第一唤醒服务,所述第一唤醒服务是指识别用户发送的唤醒指令,并响应于所述唤醒指令指示所述主芯片上电启动,所述唤醒指令是指包含唤醒词的语音数据。
10.一种远场语音控制方法,其特征在于,应用于显示设备,所述显示设备的显示器在待机状态下,被配置为关闭状态,其中,在所述待机状态下,所述显示设备的主芯片断电、语音芯片通电,所述方法包括:
通过所述语音芯片执行第一唤醒服务,所述第一唤醒服务是指识别用户发送的唤醒指令,并响应于所述唤醒指令指示所述主芯片上电启动,所述唤醒指令是指包含唤醒词的语音数据;
在所述主芯片上电启动之后,通过所述主芯片执行语音应用中的第二唤醒服务和语音服务,所述第二唤醒服务是指识别并响应所述用户发送的所述唤醒指令,所述语音服务是指识别并响应所述用户发送的语音指令,所述语音指令是指包含指示信息的语音数据,其中,所述语音服务还包括,基于所述语音指令的类别,确定所述显示器的显示状态,所述显示状态为开启状态或者关闭状态。
CN202210105112.8A 2022-01-28 2022-01-28 一种显示设备及待机方法、远场语音控制方法 Pending CN116567785A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210105112.8A CN116567785A (zh) 2022-01-28 2022-01-28 一种显示设备及待机方法、远场语音控制方法
PCT/CN2022/136026 WO2023142680A1 (zh) 2022-01-28 2022-12-01 一种显示设备及待机方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210105112.8A CN116567785A (zh) 2022-01-28 2022-01-28 一种显示设备及待机方法、远场语音控制方法

Publications (1)

Publication Number Publication Date
CN116567785A true CN116567785A (zh) 2023-08-08

Family

ID=87497029

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210105112.8A Pending CN116567785A (zh) 2022-01-28 2022-01-28 一种显示设备及待机方法、远场语音控制方法

Country Status (1)

Country Link
CN (1) CN116567785A (zh)

Similar Documents

Publication Publication Date Title
CN111510781A (zh) 显示设备待机的控制方法及显示设备
CN111935518B (zh) 一种视频投屏方法及显示设备
CN113066490B (zh) 一种唤醒响应的提示方法和显示设备
CN111930410A (zh) 一种显示设备及闲时升级方法
CN113064645B (zh) 一种开机界面控制方法及显示设备
CN114302238A (zh) 一种音箱模式下提示信息的展示方法及显示设备
CN112165642A (zh) 一种显示设备
CN114302201A (zh) 一种音箱模式下自动开关屏的方法及智能终端、显示设备
CN113342415B (zh) 一种定时任务执行方法及显示设备
WO2022206392A1 (zh) 应用唤醒方法、显示设备、移动终端及服务器
CN116567785A (zh) 一种显示设备及待机方法、远场语音控制方法
CN112616090B (zh) 显示设备系统升级方法及显示设备
CN112764812B (zh) 电子设备及其控制方法
CN113038048B (zh) 一种远场语音唤醒方法和显示设备
CN112584210B (zh) 显示设备、视频录制方法及录制文件展示方法
CN111901649B (zh) 视频播放方法和显示设备
CN114173179A (zh) 系统升级任务与视频录制任务的兼容执行方法及显示设备
CN114286320A (zh) 一种显示设备、移动终端及蓝牙连接方法
CN113971049A (zh) 一种后台服务管理方法及显示设备
WO2023142680A1 (zh) 一种显示设备及待机方法
CN113782021B (zh) 一种显示设备及提示音的播放方法
US20230119233A1 (en) Display apparatus, video recording method, and recorded file display method
CN114610349A (zh) 一种显示设备及升级的方法
CN117998131A (zh) 电子设备及设备控制方法
CN117812403A (zh) 显示设备以及显示设备的唤醒方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination