CN113066490A - 一种唤醒响应的提示方法和显示设备 - Google Patents
一种唤醒响应的提示方法和显示设备 Download PDFInfo
- Publication number
- CN113066490A CN113066490A CN202110281719.7A CN202110281719A CN113066490A CN 113066490 A CN113066490 A CN 113066490A CN 202110281719 A CN202110281719 A CN 202110281719A CN 113066490 A CN113066490 A CN 113066490A
- Authority
- CN
- China
- Prior art keywords
- state
- main processor
- processor
- indicator
- voice text
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000004044 response Effects 0.000 title claims abstract description 25
- 230000001960 triggered effect Effects 0.000 claims abstract description 10
- 230000008569 process Effects 0.000 abstract description 10
- 230000002618 waking effect Effects 0.000 abstract description 2
- 239000010410 layer Substances 0.000 description 23
- 238000004891 communication Methods 0.000 description 17
- 230000001276 controlling effect Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 10
- 238000012790 confirmation Methods 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 7
- 230000003993 interaction Effects 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000011664 signaling Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000000875 corresponding effect Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 210000004276 hyalin Anatomy 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 239000012792 core layer Substances 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/4401—Bootstrapping
- G06F9/4418—Suspend and resume; Hibernate and awake
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本实施例提供一种唤醒响应的提示方法和显示设备。显示设备包括主处理器、子处理器以及指示器,子处理器首先接收用户输入的语音数据,在语音数据为唤醒词时,触发主处理器进入开启状态,同时控制指示器开启。在语音数据不为唤醒词时,不触发主处理器进入开启状态,以及不控制指示器开启。本申请实施例的提示方法能够在接收到语音数据后,就通过子处理器判断语音数据是否为唤醒词,如果为唤醒词则开启控制器,作出响应。这个过程相比较于现有技术中的确认唤醒后再作出响应的方案,耗时较短,因此用户无需等待较长时间,就可以获得响应,从而提升用户体验。
Description
技术领域
本申请涉及声音处理技术领域,尤其涉及一种唤醒响应的提示方法和显示设备。
背景技术
随着语音识别技术的不断发展及智能家居的不断发展,语音识别技术被广泛应用。在智能电视处于待机状态时,用户可利用语音识别技术唤醒智能电视,即通过远场语音指令唤醒智能电视,使智能电视从待机状态进入开机状态。
传统的智能电视的唤醒过程为:首先对用户语音进行唤醒词识别,再将唤醒词输入唤醒模型进行唤醒确认。为了降低功耗,唤醒词识别通常是利用低功耗的小核进行处理。而通过唤醒模型进行唤醒确认的过程则通过主芯片完成。主芯片确认唤醒成功后,控制屏幕点亮,进入开机状态。如果是误唤醒,智能电视则会再次进入到待机状态。
然而,低功耗的小核识别唤醒词后,通知主芯片开启,进行用户语音的唤醒确认,确认成功后,显示屏才会点亮。这个过程整体时间较长,整个过程中也没有任何提示信息。最终导致用户输入语音后,需要等待较长时间才能获得响应,造成用户体验较差。
发明内容
本申请提供了一种显示设备的声音输出方法和显示设备,用于解决现有显示设备如果不连接能够过滤低音音频数据的专用音箱,则无法实现单独输出低音的目的,用户视听体验较差的问题。
第一方面,本实施例提供一种显示设备,包括,
主处理器;
指示器,用于指示所述主处理器的开启状态;
子处理器,用于执行:
接收用户输入的语音数据,在所述语音数据为唤醒词时,触发所述主处理器进入开启状态,以及控制所述指示器开启;
在所述语音数据不为唤醒词时,不触发所述主处理器进入开启状态,以及不控制所述指示器开启。
第二方面,本实施例提供一种处理器,包括:
主处理器;
子处理器,用于执行:
接收用户输入的语音数据,在所述语音数据为唤醒词时,触发所述主处理器进入开启状态,以及控制指示器开启,所述指示器用于提示所述主处理器的开启状态;
在所述语音数据不为唤醒词时,不触发所述主处理器进入开启状态,以及不控制所述指示器开启。
第三方面,本实施例提供一种唤醒响应的提示方法,所述方法应用于显示设备的子处理器,所述显示设备还包括主处理器和指示器,其中,所述指示器用于指示所述主处理器的开启状态,所述方法包括:
接收用户输入的语音数据,在所述语音数据为唤醒词时,触发所述主处理器进入开启状态,以及控制所述指示器开启;
在所述语音数据不为唤醒词时,不触发所述主处理器进入开启状态,以及不控制所述指示器开启。
第四方面,本实施例提供一种唤醒响应的提示方法,所述方法应用于显示设备的主处理器,所述显示设备还包括子处理器和指示器,其中所述指示器用于指示所述主处理器的开启状态,所述方法包括:
接收所述子处理器发送的触发指令,进入开启状态,所述触发指令为所述子处理器接收用户输入的语音数据后,在判断所述语音数据为唤醒词时生成的,同时所述子处理器控制所述指示器开启;
接收所述语音数据,根据唤醒模型判断所述语音数据是否为目标唤醒词,在所述语音数据为目标唤醒词时,控制显示器屏幕点亮。
本申请实施例提供的显示设备包括主处理器、子处理器以及指示器,子处理器首先接收用户输入的语音数据,在语音数据为唤醒词时,触发主处理器进入开启状态,同时控制指示器开启。在语音数据不为唤醒词时,不触发主处理器进入开启状态,以及不控制指示器开启。本申请实施例的提示方法能够在接收到语音数据后,就通过子处理器判断语音数据是否为唤醒词,如果为唤醒词则开启控制器,作出响应。这个过程相比较于现有技术中的确认唤醒后再作出响应的方案,耗时较短,因此用户无需等待较长时间,就可以获得响应,从而提升用户体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了根据一些实施例的显示设备的使用场景;
图2示出了根据一些实施例的控制装置100的硬件配置框图;
图3示出了根据一些实施例的显示设备200的硬件配置框图;
图4示出了根据一些实施例的显示设备200中软件配置图;
图5示出了根据一些实施例的显示设备200中应用程序的图标控件界面显示图;
图6示出了根据一些实施例的显示设备200的硬件配置示意图;
图7示出了根据一些实施例的唤醒响应的提示方法信令图;
图8示出了根据一些实施例的又一种唤醒响应的提示方法信令图。
具体实施方式
为使本申请的目的和实施方式更加清楚,下面将结合本申请示例性实施例中的附图,对本申请示例性实施方式进行清楚、完整地描述,显然,描述的示例性实施例仅是本申请一部分实施例,而不是全部的实施例。
需要说明的是,本申请中对于术语的简要说明,仅是为了方便理解接下来描述的实施方式,而不是意图限定本申请的实施方式。除非另有说明,这些术语应当按照其普通和通常的含义理解。
本申请中说明书和权利要求书及上述附图中的术语″第一″、〞第二″、″第三″等是用于区别类似或同类的对象或实体,而不必然意味着限定特定的顺序或先后次序,除非另外注明。应该理解这样使用的用语在适当情况下可以互换。
术语〞包括″和″具有″以及他们的任何变形,意图在于覆盖但不排他的包含,例如,包含了一系列组件的产品或设备不必限于清楚地列出的所有组件,而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。
术语〞模块″是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合,能够执行与该元件相关的功能。
图1为根据实施例中显示设备的使用场景的示意图。如图1所示,显示设备200还与服务器400进行数据通信,用户可通过智能设备300或控制装置100操作显示设备200。
在一些实施例中,控制装置100可以是遥控器,遥控器和显示设备的通信包括红外协议通信或蓝牙协议通信,及其他短距离通信方式中的至少一种,通过无线或有线方式来控制显示设备200。用户可以通过遥控器上按键、语音输入、控制面板输入等至少一种输入用户指令,来控制显示设备200。
在一些实施例中,智能设备300可以包括移动终端300A、平板电脑、计算机、笔记本电脑,AR/VR设备等中的任意一种。
在一些实施例中,也可以使用智能设备300以控制显示设备200。例如,使用在智能设备上运行的应用程序控制显示设备200。
在一些实施例中,也可以使用智能设备300和显示设备进行数据的通信。
在一些实施例中,显示设备200还可以采用除了控制装置100和智能设备300之外的方式进行控制,例如,可以通过显示设备200设备内部配置的获取语音指令的模块直接接收用户的语音指令控制,也可以通过显示设备200设备外部设置的语音控制装置来接收用户的语音指令控制。
在一些实施例中,显示设备200还与服务器400进行数据通信。可允许显示设备200通过局域网(LAN)、无线局域网(WLAN)和其他网络进行通信连接。服务器400可以向显示设备200提供各种内容和互动。服务器400可以是一个集群,也可以是多个集群,可以包括一类或多类服务器。
在一些实施例中,一个步骤执行主体执行的软件步骤可以随需求迁移到与之进行数据通信的另一步骤执行主体上进行执行。示例性的,服务器执行的软件步骤可以随需求迁移到与之数据通信的显示设备上执行,反之亦然。
图2示例性示出了根据示例性实施例中控制装置100的配置框图。如图2所示,控制装置100包括控制器110、通信接口130、用户输入/输出接口140、存储器、供电电源。控制装置100可接收用户的输入操作指令,且将操作指令转换为显示设备200可识别和响应的指令,起用用户与显示设备200之间交互中介作用。
在一些实施例中,通信接口130用于和外部通信,包含WIFI芯片,蓝牙模块,NFC或可替代模块中的至少一种。
在一些实施例中,用户输入/输出接口140包含麦克风,触摸板,传感器,按键或可替代模块中的至少一种。
图3示出了根据示例性实施例中显示设备200的硬件配置框图。
在一些实施例中,显示设备200包括调谐解调器210、通信器220、检测器230、外部装置接口240、控制器250、显示器260、音频输出接口270、存储器、供电电源、用户接口中的至少一种。
在一些实施例中控制器包括中央处理器,视频处理器,音频处理器,图形处理器,RAM,ROM,用于输入/输出的第一接口至第n接口。
在一些实施例中,显示器260包括用于呈现画面的显示屏组件,以及驱动图像显示的驱动组件,用于接收源自控制器输出的图像信号,进行显示视频内容、图像内容以及菜单操控界面的组件以及用户操控UI界面等。
在一些实施例中,显示器260可为液晶显示器、OLED显示器、以及投影显示器中的至少一种,还可以为一种投影装置和投影屏幕。
在一些实施例中,调谐解调器210通过有线或无线接收方式接收广播电视信号,以及从多个无线或有线广播电视信号中解调出音视频信号,如以及EPG数据信号。
在一些实施例中,通信器220是用于根据各种通信协议类型与外部设备或服务器进行通信的组件。例如:通信器可以包括Wifi模块,蓝牙模块,有线以太网模块等其他网络通信协议芯片或近场通信协议芯片,以及红外接收器中的至少一种。显示设备200可以通过通信器220与控制装置100或服务器400建立控制信号和数据信号的发送和接收。
在一些实施例中,检测器230用于采集外部环境或与外部交互的信号。例如,检测器230包括光接收器,用于采集环境光线强度的传感器;或者,检测器230包括图像采集器,如摄像头,可以用于采集外部环境场景、用户的属性或用户交互手势,再或者,检测器230包括声音采集器,如麦克风等,用于接收外部声音。
在一些实施例中,外部装置接口240可以包括但不限于如下:高清多媒体接口接口(HDMI)、模拟或数据高清分量输入接口(分量)、复合视频输入接口(CVBS)、USB输入接口(USB)、RGB端口等任一个或多个接口。也可以是上述多个接口形成的复合性的输入/输出接口。
在一些实施例中,控制器250和调谐解调器210可以位于不同的分体设备中,即调谐解调器210也可在控制器250所在的主体设备的外置设备中,如外置机顶盒等。
在一些实施例中,控制器250,通过存储在存储器上中各种软件控制程序,来控制显示设备的工作和响应用户的操作。控制器250控制显示设备200的整体操作。例如:响应于接收到用于选择在显示器260上显示UI对象的用户命令,控制器250便可以执行与由用户命令选择的对象有关的操作。
在一些实施例中,所述对象可以是可选对象中的任何一个,例如超链接、图标或其他可操作的控件。与所选择的对象有关操作有:显示连接到超链接页面、文档、图像等操作,或者执行与所述图标相对应程序的操作。
在一些实施例中控制器包括中央处理器(Central Processing Unit,CPU),视频处理器,音频处理器,图形处理器(Graphics Processing Unit,GPU),RAM Random AccessMemory,RAM),ROM(Read-Only Memory,ROM),用于输入/输出的第一接口至第n接口,通信总线(Bus)等中的至少一种。
CPU处理器。用于执行存储在存储器中操作系统和应用程序指令,以及根据接收外部输入的各种交互指令,来执行各种应用程序、数据和内容,以便最终显示和播放各种音视频内容。CPU处理器,可以包括多个处理器。如,包括一个主处理器以及一个或多个子处理器。
在一些实施例中,图形处理器,用于产生各种图形对象,如:图标、操作菜单、以及用户输入指令显示图形等中的至少一种。图形处理器包括运算器,通过接收用户输入各种交互指令进行运算,根据显示属性显示各种对象;还包括渲染器,对基于运算器得到的各种对象,进行渲染,上述渲染后的对象用于显示在显示器上。
在一些实施例中,视频处理器,用于将接收外部视频信号,根据输入信号的标准编解码协议,进行解压缩、解码、缩放、降噪、帧率转换、分辨率转换、图像合成等视频处理中的至少一种,可得到直接可显示设备200上显示或播放的信号。
在一些实施例中,视频处理器,包括解复用模块、视频解码模块、图像合成模块、帧率转换模块、显示格式化模块等中的至少一种。其中,解复用模块,用于对输入音视频数据流进行解复用处理。视频解码模块,用于对解复用后的视频信号进行处理,包括解码和缩放处理等。图像合成模块,如图像合成器,其用于将图形生成器根据用户输入或自身生成的GUI信号,与缩放处理后视频图像进行叠加混合处理,以生成可供显示的图像信号。帧率转换模块,用于对转换输入视频帧率。显示格式化模块,用于将接收帧率转换后视频输出信号,改变信号以符合显示格式的信号,如输出RGB数据信号。
在一些实施例中,音频处理器,用于接收外部的音频信号,根据输入信号的标准编解码协议,进行解压缩和解码,以及降噪、数模转换、和放大处理等处理中的至少一种,得到可以在扬声器中播放的声音信号。
在一些实施例中,用户可在显示器260上显示的图形用户界面(GUI)输入用户命令,则用户输入接口通过图形用户界面(GUI)接收用户输入命令。或者,用户可通过输入特定的声音或手势进行输入用户命令,则用户输入接口通过传感器识别出声音或手势,来接收用户输入命令。
在一些实施例中,〞用户界面″,是应用程序或操作系统与用户之间进行交互和信息交换的介质接口,它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(Graphic User Interface,GUI),是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素,其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素中的至少一种。
在一些实施例中,用户接口280,为可用于接收控制输入的接口(如:显示设备本体上的实体按键,或其他等)。
在一些实施例中,显示设备的系统可以包括内核(Kernel)、命令解析器(shell)、文件系统和应用程序。内核、shell和文件系统一起组成了基本的操作系统结构,它们让用户可以管理文件、运行程序并使用系统。上电后,内核启动,激活内核空间,抽象硬件、初始化硬件参数等,运行并维护虚拟内存、调度器、信号及进程间通信(IPC)。内核启动后,再加载Shell和用户应用程序。应用程序在启动后被编译成机器码,形成一个进程。
参见图4,在一些实施例中,将系统分为四层,从上至下分别为应用程序(Applications)层(简称〞应用层″),应用程序框架(Application Framework)层(简称〞框架层″),安卓运行时(Android runtime)和系统库层(简称〞系统运行库层″),以及内核层。
在一些实施例中,应用程序层中运行有至少一个应用程序,这些应用程序可以是操作系统自带的窗口(Window)程序、系统设置程序或时钟程序等;也可以是第三方开发者所开发的应用程序。在具体实施时,应用程序层中的应用程序包不限于以上举例。
框架层为应用程序层的应用程序提供应用编程接口(application programminginterface,API)和编程框架。应用程序框架层包括一些预先定义的函数。应用程序框架层相当于一个处理中心,这个中心决定让应用层中的应用程序做出动作。应用程序通过API接口,可在执行中访问系统中的资源和取得系统的服务。
如图4所示,本申请实施例中应用程序框架层包括管理器(Managers),内容提供者(Content Provider)等,其中管理器包括以下模块中的至少一个:活动管理器(ActivityManager)用与和系统中正在运行的所有活动进行交互;位置管理器(Location Manager)用于给系统服务或应用提供了系统位置服务的访问;文件包管理器(Package Manager)用于检索当前安装在设备上的应用程序包相关的各种信息;通知管理器(NotificationManager)用于控制通知消息的显示和清除;窗口管理器(Window Manager)用于管理用户界面上的括图标、窗口、工具栏、壁纸和桌面部件。
在一些实施例中,活动管理器用于管理各个应用程序的生命周期以及通常的导航回退功能,比如控制应用程序的退出、打开、后退等。窗口管理器用于管理所有的窗口程序,比如获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕,控制显示窗口变化(例如将显示窗口缩小显示、抖动显示、扭曲变形显示等)等。
在一些实施例中,系统运行库层为上层即框架层提供支撑,当框架层被使用时,安卓操作系统会运行系统运行库层中包含的C/C++库以实现框架层要实现的功能。
在一些实施例中,内核层是硬件和软件之间的层。如图4所示,内核层至少包含以下驱动中的至少一种:音频驱动、显示驱动、蓝牙驱动、摄像头驱动、WIFI驱动、USB驱动、HDMI驱动、传感器驱动(如指纹传感器,温度传感器,压力传感器等)、以及电源驱动等。
在一些实施例中,显示设备启动后可以直接进入预置的视频点播程序的界面,视频点播程序的界面可以如图5中所示,至少包括导航栏510和位于导航栏510下方的内容显示区,内容显示区中显示的内容会随导航栏中被选中控件的变化而变化。应用程序层中的程序可以被集成在视频点播程序中通过导航栏的一个控件进行展示,也可以在导航栏中的应用控件被选中后进行进一步显示。
在一些实施例中,显示设备启动后可以直接进入上次选择的信号源的显示界面,或者信号源选择界面,其中信号源可以是预置的视频点播程序,还可以是HDMI接口,直播电视接口等中的至少一种,用户选择不同的信号源后,显示器可以显示从不同信号源获得的内容。
随着语音识别技术的不断发展及智能家居的不断发展,人机交互对于用户体验的要求也越来越高,人机语音对话的距离不再局限于近场,远场语音识别越来越普及。远场语音应用最广泛的功能之一为显示设备的唤醒。显示设备在待机状态下,可通过远场语音的指令唤醒显示设备,以使显示设备从待机状态进入开机状态。
显示设备的唤醒过程为:首先对用户语音进行唤醒词识别,再将唤醒词输入唤醒模型确认。目前显示设备的待机唤醒是依靠显示设备主芯片进行唤醒词识别。然而主芯片计算能力高,计算能力和功耗又是强相关的。因此如果在真正唤醒之前,就利用主芯片进行唤醒词识别,在唤醒阶段就会产生较大的功耗。
为了解决上述问题,可以采用利用低功耗的小核先进行唤醒词识别,小核进行唤醒词识别成功后,再将唤醒词输入主芯片进行唤醒模型确认。主芯片确认唤醒成功后,控制屏幕点亮,进入开机状态。如果是误唤醒,显示设备则会再次进入到待机状态。
然而,小核识别唤醒词后,再通知主芯片,以使主芯片开启,然后才能进行用户语音的唤醒确认。唤醒确认成功后,显示屏才会点亮。这个过程整体时间较长,整个过程也没有任何提示信息。最终导致用户输入语音后,需要等待较长时间才能获得响应,造成用户体验较差。
为了解决上述问题,本申请提供一种显示设备,如图6所示的根据实施例中显示设备的硬件配置示意图。用户在尝试唤醒本申请实施例的显示设备时,输入语音数据后,系统将语音数据转换为语音文本。如果语音文本为唤醒词,无需等待较长时间,就能够获得响应。
显示设备200包括声音采集器230A,用于采集用户输入的语音数据。声音采集器230A又包括信号接收电路、信号处理电路以及信号输出电路。可以在声音采集器和处理器250A之间再设置语音识别模块,用于将用户输入的语音数据转换为语音文本。
显示设备还包括处理器250A和指示器290,处理器250A又包括主处理器250A-1和子处理器250A-2。主处理器用于利用唤醒模型对唤醒词确认,子处理器用于判断用户输入的语音数据语音文本是否为唤醒词。指示器用于指示主处理器的开启当前状态,当前状态包括休眠状态和开启状态。这里指示器如果开启,则指示主处理器为开启状态。相反的,指示器如果关闭,则指示主处理器为关闭休眠状态。还可以是,指示器如果闪烁,则指示主处理器为开启状态。指示器如果不闪烁仅开启,则指示主处理器休眠状态。本申请实施例只需要指示器具备两种人眼能够明显区分的不同状态,分别用于指示主处理器的休眠状态和开启状态,具体以何种状态进行指示,本申请不作限制。
在一些实施例中,处理器的计算能力和功耗是强相关的,子处理器仅用于识别唤醒词,因而计算能力要求较低,功耗也较低。主处理器需要利用较大的唤醒模型对语音数据进行唤醒确认,因而计算能力要求较高,功耗也较高。因此,主处理器可以为SOC芯片(System-on-a-Chip,系统级芯片),子处理器可以为DSP(Digital Signal Processing,数字信号处理技术)芯片或者ARM CORTEX-M4(英国ARM公司开发的嵌入式处理器)。
本申请实施例中的,子处理器可以是集成在主处理器上的,也可以是和主处理器为分离状态,本申请实施例不做限定。
在一些实施例中,显示设备的最初状态是主处理器处于休眠状态。低功耗的子处理器可以是保持开启状态。子处理器在接收到语音文本后,判断该文字信息语音文本是否为唤醒词。如果该文字信息语音文本为唤醒词,则触发主处理器从休眠状态进入开启状态,同时控制指示器指示主处理器的当前状态为开启状态,通过指示器提示用户唤醒行为有效。本实施例的显示设备,无需等待主处理器判断该文字信息是否为目标唤醒词,就可作出响应,用户等待响应的时间较短,从而提升用户体验。
另外,主处理器从休眠状态进入开启状态时,并不控制显示器屏幕点亮,需要进一步的唤醒确认成功后,再控制显示器屏幕点亮。
在一些实施例中,如果该语音文本不为唤醒词时,则不触发主处理器从休眠状态进入开启状态,同时控制指示器仍然指示主处理器的当前状态为休眠状态。用户则可以通过指示器了解到当前的唤醒行为无效。
在一些实施例中,指示器可以为普通的LED灯,指示主处理器为开启状态的动作即为LED点亮。指示器还可以为跑马灯,指示主处理器为开启状态的动作即为跑马灯闪烁。
示例性的,子处理器接收到语音文本你〞你好,海信″,判断语音文本〞你好,海信″是否为唤醒词。如果语音文本〞你好,海信″为唤醒词,则触发主处理器从休眠状态进入开启状态,同时控制LED灯点亮。如果语音文本〞你好,海信″不为唤醒词,则不触发主处理器从休眠状态进入开启状态,主处理器则保持休眠状态。同时不控制LED灯点亮,LED灯仍为熄灭状态。用户因此能够通过LED灯的状态,较快的了解到唤醒动作是否有效。
在一些实施例中,在语音文本为唤醒词时,触发主处理器从休眠状态进入开启状态之后,主处理器从子处理器接收语音文本,将该语音文本输入唤醒模型。根据唤醒模型判断语音文本是否为目标唤醒词。如果该语音文本为目标唤醒词,则控制显示器屏幕点亮,点亮后可以展示主页页面。其中,唤醒模型可以为预先训练的基于神经网络的语音识别模型。
在一些实施例中,如果该语音文本不为目标唤醒词,则不控制显示器屏幕点亮,主处理器从开启状态重新进入休眠状态,同时主处理器控制指示器指示主处理器当前状态为休眠状态。
示例性的,将语音文本〞你好,海信″发送至主处理器,主处理器根据唤醒模型判断语音文本〞你好,海信″是否是目标唤醒词。如果语音文本息〞你好,海信″是目标唤醒词,则控制显示器屏幕点亮。同时,可以控制LED熄灭,也可以控制LED保持点亮状态。如果语音文本〞你好,海信″不是目标唤醒词,则不控制显示器屏幕点亮,同时控制LED熄灭。用户可以由该提示了解到唤醒动作无效。通过LED熄灭向用户反馈是误唤醒,相比较与点亮屏幕后再关闭屏幕,对于用户的影响也更小。
本申请实施例提供一种唤醒响应的提示方法,如图7所示的唤醒响应的提示方法的信令图,所述方法包括以下步骤:
步骤一、子处理器接收语音文本,在所述语音文本为唤醒词时,向主处理器发送触发指令,触发所述主处理器从休眠状态进入开启状态,以及向指示器发送控制指令,控制所述指示器指示主处理器的当前状态为开启状态。
步骤二、在所述语音文本不为唤醒词时,不向所述主处理器发送触发指令,以及不向所述指示器发送控制指令。则主处理器不被触发进入开启状态,指示器仍然指示主处理器的当前状态为休眠状态。
在上述方法实施例中,用户数入语音数据后,无需等待主处理器判断语音数据对应的语音文本是否为目标唤醒词,就可作出响应,用户等待响应的时间较短,从而提升用户体验。
基于上述方法实施例,本申请实施例提供又一种唤醒响应的提示方法,如图8所示的唤醒响应的提示方法的信令图,所述方法包括以下步骤:
步骤一、子处理器接收语音文本,在所述语音文本为唤醒词时,向主处理器发送触发指令,触发所述主处理器从休眠状态进入开启状态,以及向指示器发送控制指令,控制所述指示器指示主处理器的当前状态为开启状态。
步骤二、子处理器将语音文本发送至主处理器,主处理器接收语音文本后,根据唤醒模型判断语音文本是否为目标唤醒词,如果语音文本为目标唤醒词,则控制显示器屏幕点亮。如果语音文本不为目标唤醒词,则不控制显示器屏幕点亮。主处理器从开启状态回到休眠状态,同时控制指示器指示主处理器的当前状态为休眠状态。
在上述方法实施例中,在判断语音文本为唤醒词后,触发主处理器从休眠状态进入开启状态,同时控制指示器指示主处理器的当前状态为开启状态。主处理器进一步判断语音文本是否为目标唤醒词,即判断是否唤醒成功,而不是误唤醒。如果唤醒成功,则控制显示器屏幕点亮,如果为误唤醒,则不控制显示器屏幕点亮。因此上述方法实施例不仅能够缩短缩短用户等待响应的时间,还能够在误唤醒的情况下,通过指示器指示的不同状态,有效地提示用户的唤醒动作是误唤醒。
本申请各个实施例之间相同或相似的内容可相互参照,相关实施例不再赘述。
最后应说明的是:以上各实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述各实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
为了方便解释,已经结合具体的实施方式进行了上述说明。但是,上述示例性的讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导,可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释原理以及实际的应用,从而使得本领域技术人员更好的使用所述实施方式以及适于具体使用考虑的各种不同的变形的实施方式。
Claims (10)
1.一种显示设备,其特征在于,包括:
显示器;
主处理器,用于控制所述显示器屏幕;
指示器用于指示所述主处理器的当前状态,当前状态为休眠状态和开启状态中的一种;
子处理器,用于执行:
在所述主处理器处于休眠状态时,接收语音文本,在所述语音文本为唤醒词时,触发所述主处理器从休眠状态进入开启状态,以及控制所述指示器指示所述主处理器的当前状态为开启状态,同时主处理器不控制所述显示器屏幕点亮,其中所述语音文本为根据声音采集器采集的用户输入的语音数据生成的;
在所述语音文本不为唤醒词时,不触发所述主处理器从休眠状态进入开启状态,以及控制所述指示器指示所述主处理器的当前状态为休眠状态。
2.根据权利要求1所述的显示设备,其特征在于,在触发所述主处理器从休眠状态进入开启状态之后,所述主处理器,用于执行:
接收所述语音文本,根据唤醒模型判断所述语音文本是否为目标唤醒词,在所述语音文本为目标唤醒词时,控制显示器屏幕点亮。
3.根据权利要求2所述的显示设备,其特征在于,所述主处理器,还用于执行:
在所述语音文本不为目标唤醒词时,不控制所述显示器屏幕点亮。
4.根据权利要求3所述的显示设备,其特征在于,在所述语音文本不为目标唤醒词时,所述主处理器,还用于执行:
从开启状态进入休眠状态,以及控制所述指示器指示所述主处理器的当前状态为休眠状态。
5.根据权利要求1所述的显示设备,其特征在于,在所述主处理器处于休眠状态时,所述指示器关闭;
在所述主处理器处于开启状态时,所述指示器开启。
6.一种显示设备,其特征在于,包括:
显示器;
子处理器,用于执行:
在主处理器处于休眠状态时,接收语音文本,在所述语音文本为唤醒词时,触发所述主处理器从休眠状态进入开启状态,其中所述语音文本为根据声音采集器采集的用户输入的语音数据生成的;
在所述语音文本不为唤醒词时,不触发所述主处理器从休眠状态进入开启状态;
主处理器,用于执行:
在从休眠状态进入开启状态之后,接收所述语音文本,根据唤醒模型判断所述语音文本是否为目标唤醒词,在所述语音文本为目标唤醒词时,控制所述显示器屏幕点亮。
7.根据权利要求6所述的显示设备,其特征在于,所述主处理器,还用于执行:
在所述语音文本不为目标唤醒词时,不控制所述显示器屏幕点亮,以及从开启状态进入休眠状态。
8.一种唤醒响应的提示方法,所述方法应用于显示设备的子处理器,其特征在于,所述显示设备还包括显示器、主处理器以及指示器,其中,所述指示器用于指示所述主处理器的当前状态,当前状态为休眠状态和开启状态中的一种,所述方法包括:
在所述主处理器处于休眠状态时,接收语音文本,在所述语音文本为唤醒词时,触发所述主处理器从休眠状态进入开启状态,以及控制所述指示器指示所述主处理器的当前状态为开启状态,同时主处理器不控制所述显示器屏幕点亮,其中所述语音文本为根据声音采集器采集的用户输入的语音数据生成的;
在所述语音文本不为唤醒词时,不触发所述主处理器从休眠状态进入开启状态,以及控制所述指示器指示所述主处理器的当前状态为休眠状态。
9.一种唤醒响应的提示方法,所述方法应用于显示设备的主处理器,其特征在于,所述显示设备还包括显示器、子处理器以及指示器,其中所述指示器用于指示所述主处理器的当前状态,当前状态为休眠状态和开启状态中的一种,所述方法包括:
接收所述子处理器发送的触发指令,从休眠状态进入开启状态,同时不控制所述显示器屏幕点亮,其中所述触发指令为所述子处理器接收用户输入的语音文本后,在判断所述语音数据文本为唤醒词时生成的,同时所述子处理器控制所述指示器指示所述主处理器的当前状态为开启状态,所述语音文本为根据声音采集器采集的用户输入的语音数据生成的;
接收所述语音文本,根据唤醒模型判断所述语音文本是否为目标唤醒词,在所述语音文本为目标唤醒词时,控制显示器屏幕点亮。
10.根据权利要求9所述的唤醒响应的提示方法,其特征在于,所述方法还包括:
在所述语音文本不为目标唤醒词时,不控制所述显示器屏幕点亮,从开启状态进入休眠状态,以及控制所述指示器指示所述主处理器的当前状态为休眠状态。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211447616.4A CN115775560A (zh) | 2021-03-16 | 2021-03-16 | 一种唤醒响应的提示方法和显示设备 |
CN202110281719.7A CN113066490B (zh) | 2021-03-16 | 2021-03-16 | 一种唤醒响应的提示方法和显示设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110281719.7A CN113066490B (zh) | 2021-03-16 | 2021-03-16 | 一种唤醒响应的提示方法和显示设备 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211447616.4A Division CN115775560A (zh) | 2021-03-16 | 2021-03-16 | 一种唤醒响应的提示方法和显示设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113066490A true CN113066490A (zh) | 2021-07-02 |
CN113066490B CN113066490B (zh) | 2022-10-14 |
Family
ID=76560693
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110281719.7A Active CN113066490B (zh) | 2021-03-16 | 2021-03-16 | 一种唤醒响应的提示方法和显示设备 |
CN202211447616.4A Pending CN115775560A (zh) | 2021-03-16 | 2021-03-16 | 一种唤醒响应的提示方法和显示设备 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211447616.4A Pending CN115775560A (zh) | 2021-03-16 | 2021-03-16 | 一种唤醒响应的提示方法和显示设备 |
Country Status (1)
Country | Link |
---|---|
CN (2) | CN113066490B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113782021A (zh) * | 2021-09-14 | 2021-12-10 | 海信电子科技(武汉)有限公司 | 一种显示设备及提示音的播放方法 |
CN114038458A (zh) * | 2021-11-08 | 2022-02-11 | 百度在线网络技术(北京)有限公司 | 语音交互方法、装置、设备、存储介质及计算机程序产品 |
CN114155854A (zh) * | 2021-12-13 | 2022-03-08 | 海信视像科技股份有限公司 | 语音数据的处理方法及装置 |
WO2023160087A1 (zh) * | 2022-02-28 | 2023-08-31 | 海信视像科技股份有限公司 | 一种语音指令响应状态的提示方法及显示设备 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116504241A (zh) * | 2023-03-22 | 2023-07-28 | 海信视像科技股份有限公司 | 一种终端设备及远场语音的待机唤醒方法 |
CN116185513B (zh) * | 2023-04-27 | 2023-07-18 | 北京大上科技有限公司 | 一种锁屏系统及方法 |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160293168A1 (en) * | 2015-03-30 | 2016-10-06 | Opah Intelligence Ltd. | Method of setting personal wake-up word by text for voice control |
CN109725545A (zh) * | 2018-12-27 | 2019-05-07 | 广东美的厨房电器制造有限公司 | 智能设备及其控制方法、计算机可读存储介质 |
CN109903761A (zh) * | 2019-01-02 | 2019-06-18 | 百度在线网络技术(北京)有限公司 | 语音交互方法、装置和存储介质 |
CN109979438A (zh) * | 2019-04-04 | 2019-07-05 | Oppo广东移动通信有限公司 | 语音唤醒方法及电子设备 |
CN110201334A (zh) * | 2019-06-10 | 2019-09-06 | 芜湖安佳捷汽车科技有限公司 | 一种消防车远程快速启动系统 |
US10467877B1 (en) * | 2017-07-09 | 2019-11-05 | Dsp Group Ltd. | Monitor and a method for monitoring a baby in a vehicle |
WO2020001115A1 (zh) * | 2018-06-25 | 2020-01-02 | 北京集创北方科技股份有限公司 | 终端设备的屏幕解锁方法、装置及终端设备 |
CN110827820A (zh) * | 2019-11-27 | 2020-02-21 | 北京梧桐车联科技有限责任公司 | 语音唤醒方法、装置、设备、计算机存储介质及车辆 |
WO2020045835A1 (ko) * | 2018-08-29 | 2020-03-05 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
CN111510781A (zh) * | 2019-12-04 | 2020-08-07 | 海信视像科技股份有限公司 | 显示设备待机的控制方法及显示设备 |
CN111522592A (zh) * | 2020-04-24 | 2020-08-11 | 腾讯科技(深圳)有限公司 | 一种基于人工智能的智能终端唤醒方法和装置 |
CN111819533A (zh) * | 2018-10-11 | 2020-10-23 | 华为技术有限公司 | 一种触发电子设备执行功能的方法及电子设备 |
CN111862965A (zh) * | 2019-04-28 | 2020-10-30 | 阿里巴巴集团控股有限公司 | 唤醒处理方法、装置、智能音箱及电子设备 |
WO2021008534A1 (zh) * | 2019-07-15 | 2021-01-21 | 华为技术有限公司 | 一种语音唤醒的方法和电子设备 |
-
2021
- 2021-03-16 CN CN202110281719.7A patent/CN113066490B/zh active Active
- 2021-03-16 CN CN202211447616.4A patent/CN115775560A/zh active Pending
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160293168A1 (en) * | 2015-03-30 | 2016-10-06 | Opah Intelligence Ltd. | Method of setting personal wake-up word by text for voice control |
US10467877B1 (en) * | 2017-07-09 | 2019-11-05 | Dsp Group Ltd. | Monitor and a method for monitoring a baby in a vehicle |
WO2020001115A1 (zh) * | 2018-06-25 | 2020-01-02 | 北京集创北方科技股份有限公司 | 终端设备的屏幕解锁方法、装置及终端设备 |
WO2020045835A1 (ko) * | 2018-08-29 | 2020-03-05 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
CN111819533A (zh) * | 2018-10-11 | 2020-10-23 | 华为技术有限公司 | 一种触发电子设备执行功能的方法及电子设备 |
CN109725545A (zh) * | 2018-12-27 | 2019-05-07 | 广东美的厨房电器制造有限公司 | 智能设备及其控制方法、计算机可读存储介质 |
CN109903761A (zh) * | 2019-01-02 | 2019-06-18 | 百度在线网络技术(北京)有限公司 | 语音交互方法、装置和存储介质 |
CN109979438A (zh) * | 2019-04-04 | 2019-07-05 | Oppo广东移动通信有限公司 | 语音唤醒方法及电子设备 |
CN111862965A (zh) * | 2019-04-28 | 2020-10-30 | 阿里巴巴集团控股有限公司 | 唤醒处理方法、装置、智能音箱及电子设备 |
CN110201334A (zh) * | 2019-06-10 | 2019-09-06 | 芜湖安佳捷汽车科技有限公司 | 一种消防车远程快速启动系统 |
WO2021008534A1 (zh) * | 2019-07-15 | 2021-01-21 | 华为技术有限公司 | 一种语音唤醒的方法和电子设备 |
CN110827820A (zh) * | 2019-11-27 | 2020-02-21 | 北京梧桐车联科技有限责任公司 | 语音唤醒方法、装置、设备、计算机存储介质及车辆 |
CN111510781A (zh) * | 2019-12-04 | 2020-08-07 | 海信视像科技股份有限公司 | 显示设备待机的控制方法及显示设备 |
CN111522592A (zh) * | 2020-04-24 | 2020-08-11 | 腾讯科技(深圳)有限公司 | 一种基于人工智能的智能终端唤醒方法和装置 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113782021A (zh) * | 2021-09-14 | 2021-12-10 | 海信电子科技(武汉)有限公司 | 一种显示设备及提示音的播放方法 |
CN113782021B (zh) * | 2021-09-14 | 2023-10-24 | Vidaa(荷兰)国际控股有限公司 | 一种显示设备及提示音的播放方法 |
CN114038458A (zh) * | 2021-11-08 | 2022-02-11 | 百度在线网络技术(北京)有限公司 | 语音交互方法、装置、设备、存储介质及计算机程序产品 |
CN114155854A (zh) * | 2021-12-13 | 2022-03-08 | 海信视像科技股份有限公司 | 语音数据的处理方法及装置 |
CN114155854B (zh) * | 2021-12-13 | 2023-09-26 | 海信视像科技股份有限公司 | 语音数据的处理方法及装置 |
WO2023160087A1 (zh) * | 2022-02-28 | 2023-08-31 | 海信视像科技股份有限公司 | 一种语音指令响应状态的提示方法及显示设备 |
Also Published As
Publication number | Publication date |
---|---|
CN115775560A (zh) | 2023-03-10 |
CN113066490B (zh) | 2022-10-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113066490B (zh) | 一种唤醒响应的提示方法和显示设备 | |
CN112860331B (zh) | 一种显示设备及语音交互的提示方法 | |
CN112672195A (zh) | 遥控器按键设置方法及显示设备 | |
CN114302238B (zh) | 一种音箱模式下提示信息的展示方法及显示设备 | |
CN113038048B (zh) | 一种远场语音唤醒方法和显示设备 | |
CN112764627B (zh) | 一种升级包安装进度显示方法及显示设备 | |
CN114302201A (zh) | 一种音箱模式下自动开关屏的方法及智能终端、显示设备 | |
CN113821184A (zh) | 控制装置与显示设备的配对方法及显示设备 | |
CN113066491A (zh) | 显示设备及语音交互方法 | |
CN112601109A (zh) | 音频播放方法及显示设备 | |
CN113556609B (zh) | 显示设备及开机画面展示的方法 | |
CN113542852B (zh) | 一种显示设备、及与外部设备快速配对的控制方法 | |
CN113438553B (zh) | 一种显示设备被唤醒方法及显示设备 | |
CN113542882B (zh) | 一种唤醒待机显示设备的方法、显示设备及终端 | |
CN112492393A (zh) | 一种mic开关关联节能模式的实现方法及显示设备 | |
CN113608715A (zh) | 显示设备及语音服务切换方法 | |
CN112885347A (zh) | 一种显示设备的语音控制方法、显示设备及服务器 | |
CN115150644A (zh) | 显示设备的应用唤醒方法、显示设备、移动终端及服务器 | |
CN114286186A (zh) | 一种控制装置及多设备同时开关机的联动控制方法 | |
CN114302197A (zh) | 一种语音分离控制方法及显示设备 | |
CN112882780A (zh) | 设置页面显示方法及显示设备 | |
CN113286185A (zh) | 一种显示设备及主页显示方法 | |
CN113064534A (zh) | 一种用户界面的显示方法及显示设备 | |
CN113064691A (zh) | 一种开机用户界面的显示方法及显示设备 | |
CN113079400A (zh) | 显示设备、服务器及语音交互方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |