CN111081237B - 音箱的播放控制方法、系统及智能设备 - Google Patents
音箱的播放控制方法、系统及智能设备 Download PDFInfo
- Publication number
- CN111081237B CN111081237B CN201811230891.4A CN201811230891A CN111081237B CN 111081237 B CN111081237 B CN 111081237B CN 201811230891 A CN201811230891 A CN 201811230891A CN 111081237 B CN111081237 B CN 111081237B
- Authority
- CN
- China
- Prior art keywords
- voice
- sound box
- mobile terminal
- voice information
- played
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000012545 processing Methods 0.000 claims description 24
- 238000004590 computer program Methods 0.000 claims description 20
- 238000003860 storage Methods 0.000 claims description 8
- 230000003993 interaction Effects 0.000 abstract description 22
- 238000004891 communication Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 238000012544 monitoring process Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/28—Constructional details of speech recognition systems
- G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Telephonic Communication Services (AREA)
Abstract
本发明适用于通信技术领域，提供了一种音箱的播放控制方法、系统及智能设备，包括：建立与移动终端的第一语音通道；获取语音信息，将获取的语音信息通过所述第一语音通道发送至所述移动终端，以使得所述移动终端将所述语音信息上传至云服务器，并从所述云服务器获取待播放内容；所述音箱判断所述语音信息是否已录入结束，若已录入结束，则建立第二语音通道；所述音箱获取并播放所述移动终端通过所述第二语音通道发送的待播放内容。本发明可以降低音箱的交互延迟，提高智能音箱的播放效率。
Description
技术领域
本发明属于移动终端技术领域，尤其涉及一种音箱的播放控制方法、系统及智能设备。
背景技术
音箱是同人们的生活息息相关的产品，其可以给人们带来很好的听觉享受，即便这些年产品技术得到了很大的提高，功能也更加丰富，但是目前市场上的音箱产品还是存在功能不足，制造工艺简单等一系列问题，制约着产品的更广泛的推广。
现有的智能音箱在进行交互时，一般从用户讲话结束到语音播报开始要3秒左右，智能音箱的语音交互存在延迟，交互效率不高，导致智能音箱的播放效率也不高。
发明内容
有鉴于此，本发明实施例提供了一种音箱的播放控制方法、系统及智能设备，以解决现有技术中智能音箱的语音交互存在延迟，交互效率不高，导致智能音箱的播放效率也不高的问题。
本发明第一方面提供了一种音箱的播放控制方法，所述音箱的播放控制方法包括：
建立与移动终端的第一语音通道；
获取语音信息，将获取的语音信息通过所述第一语音通道发送至所述移动终端，以使得所述移动终端将所述语音信息上传至云服务器，并从所述云服务器获取待播放内容；
所述音箱判断所述语音信息是否已录入结束，若已录入结束，则建立第二语音通道；
所述音箱获取并播放所述移动终端通过所述第二语音通道发送的待播放内容。
本发明第二方面提供了一种音箱的播放控制方法，所述音箱的播放控制方法包括：
建立与音箱的第一语音通道；
获取所述音箱通过所述第一语音通道发送的语音信息，并将所述语音信息上传至云服务器，以使得所述云服务器根据所述语音信息判断语音信息是否已录入结束，并确定待播放内容；
当检测到所述音箱发送的语音信息已录入结束的通知时，建立第二语音通道；
获取所述云服务器发送的待播放内容，将所述待播放内容通过所述第二语音通道发送至所述音箱，以使得所述音箱播放所述待播放内容。
本发明第三方面提供了一种智能音箱，所述智能音箱包括：
第一通道建立单元，用于建立与移动终端的第一语音通道；
第一语音处理单元，用于获取语音信息，将获取的语音信息通过所述第一语音通道发送至所述移动终端，以使得所述移动终端将所述语音信息上传至云服务器，并从所述云服务器获取待播放内容；
第二语音处理单元，用于所述音箱判断所述语音信息是否已录入结束，若已录入结束，则建立第二语音通道；
语音播放单元，用于所述音箱获取并播放所述移动终端通过所述第二语音通道发送的待播放内容。
本发明第四方面提供了一种移动终端，所述移动终端包括：
第二通道建立单元，用于建立与音箱的第一语音通道；
第三语音处理单元，用于获取所述音箱通过所述第一语音通道发送的语音信息，并将所述语音信息上传至云服务器，以使得所述云服务器根据所述语音信息判断语音信息是否已录入结束，并确定待播放内容；
第四语音处理单元，用于当检测到所述音箱发送的语音信息已录入结束的通知时，建立第二语音通道；
内容发送单元，用于获取所述云服务器发送的待播放内容，将所述待播放内容通过所述第二语音通道发送至所述音箱，以使得所述音箱播放所述待播放内容。
本发明第五方面提供了一种音箱的播放控制系统，所述音箱的播放控制系统包括音箱、移动终端和云服务器：
建立所述音箱与所述移动终端之间的第一语音通道；
所述音箱用于获取语音信息，将获取的语音信息通过所述第一语音通道发送至所述移动终端；
所述移动终端用于将所述语音信息上传至云服务器；
所述音箱还用于检测所述语音信息是否已录入结束，若所述语音信息已录入结束，则建立所述音箱与所述移动终端之间的第二语音通道；
所述云服务器用于接收所述移动终端上传的语音信息，并判断所述语音信息是否已录入结束，若所述语音信息已录入结束，则根据所述语音信息确定待播放内容；将所述待播放内容发送至所述移动终端；
所述移动终端还用于接收所述云服务器发送的待播放内容，并将所述待播放内容通过所述第二语音通道发送至所述音箱；
所述音箱还用于获取并播放所述移动终端通过所述第二语音通道发送的待播放内容。
本发明第六方面提供了一种智能设备，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上第一方面所述音箱的播放控制方法的步骤。
本发明第七方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上第一方面所述音箱的播放控制方法的步骤。
本发明实施例与现有技术相比存在的有益效果是：本发明实施例通过建立与移动终端的第一语音通道，获取语音信息，将获取的语音信息通过所述第一语音通道发送至所述移动终端，以使得所述移动终端将所述语音信息上传至云服务器，并从所述云服务器获取待播放内容，所述音箱判断所述语音信息是否已录入结束，若已录入结束，则立即建立第二语音通道，而无需等待云服务器判断语音信息结束后再建立第二语音通道，从而节省了用户的等待时间，最后所述音箱获取并播放所述移动终端通过所述第二语音通道发送的待播放内容，本方案由于提前建立语音通道等待移动终端发送待播放内容，节省了用户的等待时间，降低了交互延迟，提高了音箱的语音交互效率和播放效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种音箱的播放控制系统的系统架构图；
图2是本发明实施例提供的音箱侧一种音箱的播放控制方法的流程图；
图3是本发明实施例提供的移动终端侧一种音箱的播放控制方法的流程图；
图4是本发明实施例提供的一种音箱的播放控制方法的交互流程图；
图5是本发明实施例提供的一种智能音箱的结构框图；
图6是本发明实施例提供的一种移动终端的结构框图；
图7是本发明实施例提供的一种智能设备的示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、系统、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
实施例一：
图1示出了本发明第一实施例提供的一种音箱的播放控制系统的系统架构图，详述如下：为了便于说明，仅示出了与本发明实施例相关的部分。
参照图1，所述音箱的播放控制系统包括音箱1、移动终端2和云服务器3，其中：
建立所述音箱1与所述移动终端2之间的第一语音通道；
所述音箱1用于获取语音信息，将获取的语音信息通过所述第一语音通道发送至所述移动终端2；
所述移动终端2用于将所述语音信息上传至云服务器3；
所述音箱1还用于检测所述语音信息是否已录入结束，若所述语音信息已录入结束，则建立所述音箱1与所述移动终端2之间的第二语音通道；
所述云服务器3用于接收所述移动终端2上传的语音信息，并判断所述语音信息是否已录入结束，若所述语音信息已录入结束，则根据所述语音信息确定待播放内容；将所述待播放内容发送至所述移动终端2；
所述移动终端2还用于接收所述云服务器3发送的待播放内容，并将所述待播放内容通过所述第二语音通道发送至所述音箱1；
所述音箱1还用于获取并播放所述移动终端2通过所述第二语音通道发送的待播放内容。
具体地，所述移动终端2包括但不限于手机、笔记本和平板电脑等具有通信能力的移动终端2。多个移动终端2可通过有线方式或无线方式与云服务器3连接。
可选地，所述音箱1的播放控制系统可以采用蓝牙技术建立音箱1与移动终端2之间的无线连接，也可以采用串口技术或者USB接口技术等建立音箱1与移动终端2之间的有线连接。
本发明第一实施例中，通过建立音箱与移动终端之间的第一语音通道，音箱获取语音信息，将获取的语音信息通过所述第一语音通道发送至所述移动终端，所述移动终端将所述语音信息上传至云服务器，所述音箱还检测所述语音信息是否已录入结束，若所述语音信息已录入结束，则提前建立所述音箱与所述移动终端之间的第二语音通道，所述云服务器接收所述移动终端上传的语音信息，并判断所述语音信息是否已录入结束，若所述语音信息已录入结束，则根据所述语音信息确定待播放内容，将所述待播放内容发送至所述移动终端，所述移动终端接收所述云服务器发送的待播放内容，并将所述待播放内容通过所述第二语音通道发送至所述音箱，所述音箱获取并播放所述移动终端通过所述第二语音通道发送的待播放内容，本方案由于提前建立语音通道等待移动终端发送待播放内容，节省了用户的等待时间，降低了交互延迟，提高了音箱的语音交互效率和播放效率。
实施例二：
图2示出了本发明实施例提供的音箱的播放控制方法的实现流程，在本实施例中，该流程的执行主体为图1所示的音箱，详述如下：
步骤S201，建立与移动终端的第一语音通道
在本发明实施例中，音箱为蓝牙音箱，所述第一语音通道用于所述音箱录入语音信息并将所述语音信息发送至所述移动终端。所述第一语音通道为SCO(SynchronousConnection Oriented蓝牙面向连接方式)语音通道，主要用于语音传输。在本发明实施例中，SCO语音通道既可以录入上传用户的语音信息，也可以播放反馈的语音。
可选地，在本发明实施例中，因此，在所述步骤S201之前，还包括：
A1、音箱监测唤醒事件。其中，所述唤醒事件包括语音唤醒和/或按键唤醒。
A2、当所述音箱监测到唤醒事件时，建立第三语音通道。具体地，所述第三语音通道为蓝牙串口协议通道SPP(Serial Port Profile)，所述第三语音通道用于发送和/或接收小数据量的通知，
A3、通过所述第三语音通道发送唤醒通知至所述移动终端。
具体地，为节省音箱的电量，在所述音箱中设置唤醒模块，用于监听唤醒事件，在音箱处于睡眠状态时，唤醒模块持续监听所述音箱所处环境中的语音，和/或，用户通过音箱上的按键触发。可选地，所述唤醒模块还用于监听手势感应触发唤醒。进一步地，为排除噪声干扰，所述唤醒模块监测的语音为满足预设条件的语音，例如，不低于预设声音响度的语音。
可选地，在本发明实施例中，音箱的语音唤醒包括关键词唤醒，音箱将检测到的语音数据进行关键词识别，若识别出所述语音数据中存在唤醒关键词，则唤醒音箱，建立第三语音通道，通过所述第三语音通道发送唤醒通知至移动终端。
步骤S202，获取语音信息，将获取的语音信息通过所述第一语音通道发送至所述移动终端，以使得所述移动终端将所述语音信息上传至云服务器，并从所述云服务器获取待播放内容。
在本发明实施例中，通过SCO语音通道录音，将当前环境中的语音信息录入并发送至所述移动终端，由移动终端将语音信息上传至云服务器。具体地，音箱通过SCO语音通道实时录入语音信息，并实时发送至移动终端，移动终端将所述语音信息实时发送至云服务器，由云服务器根据所述语音信息确定待播放的内容。进一步地，云服务器在接收到移动终端上传的语音信息时，获取移动终端上传所述语音信息时登录的账号信息，根据所述账号信息在云服务器中查找所述账号信息对应的历史播放记录，云服务器根据所述历史播放记录和所述语音信息，确定待播放内容，并将确定的待播放内容发送至移动终端。可选地，所述云服务器在接收到移动终端上传的语音信息时，获取所述移动终端连接的音箱的设备识别码，根据所述设备识别码在云服务器中查找所述移音箱对应的历史播放记录。
可选地，当所述唤醒事件为语音唤醒时，为避免多人语音干扰，提高发送语音信息的效率，所述音箱在录入当前环境的语音信息时，将录入的语音信息的语音特征与唤醒事件中语音的语音特征进行比对，若相同，则判定为同一用户的语音，将录入的语音信息通过第二语音通道发送至移动终端。若不相同，则判定为不同用户的语音，将录入的语音信息删除，减少音箱缓存的占用。
步骤S203，所述音箱判断所述语音信息是否已录入结束，若已录入结束，则建立第二语音通道。
其中，所述第二语音通道为A2DP(Advanced Audio Distribution Profile蓝牙音频传输模型协议),用于发送和播放待播放内容。所述第二语音通道可以在音箱本地建立，或者，当音箱检测到所述语音信息已录入结束时，通过所述第三通道发送通知至移动终端，由移动终端建立所述第二语音通道。所述音箱判断所述语音信息是否已录入结束，是指所述音箱判断所述语音信息是否已经录音完毕。
可选地，在本发明实施例中，所述步骤S203包括：
B1、提取所述语音信息的语音特征值。所述语音特征值包括声音强度值和声音响度值。其中，在物理学中，把单位时间内通过垂直于声波传播方向的单位面积的平均声能，称为声强。响度时一种主观心理量，是人类主观感觉到的声音强弱程度。一般来说，声音频率一定时，声强越强，响度也越大。
B2、若所述语音特征值小于预设的语音特征值，则确定所述语音信息结束。
B3、建立第二语音通道。
具体地，预设语音信息的语音特征值，若检测到的语音信息的语音特征值小于预设的语音特征值，则认为用户已结束说话，例如，若语音信息的声音强度值低于预设的声音强度值，判定所述语音信息已录入结束，若语音信息的声音强度值不低于预设的声音强度值，判定所述语音信息还未结束，继续录入语音信息。或者，当语音信息的声音响度值低于预设的声音响度值时，判定所述语音信息已录入结束，当语音信息的音响值不低于预设的声音响度值时，判定所述语音信息未结束，继续录入语音信息。
在本发明实施例中，音箱在录入语音信息的同时检测语音信息是否已录入结束，即用户是否已录入结束说话，若音箱判断所述语音信息已经结束，则建立第二语音通道，而不是等待云服务器判断所述语音信息已经结束了之后再建立，在云端判断语音信息已录入结束后再建立第二语音通道会占用大概0.5秒时间，从而节省用户的等待时间，有效提高交互效率，增强用户体验。
步骤S204，所述音箱获取并播放所述移动终端通过所述第二语音通道发送的待播放内容。
具体地，移动终端将云服务器发送的待播放内容通过所述第二语音通道发送至所述音箱，音箱接收并播放所述待播放内容。在本发明实施例中，当所述音箱判断所述语音信息已录入结束之后，立即建立第二语音通道，并通过所述第二语音通道获取并播放所述移动终端发送的待播放内容，所述待播放内容是在所述云服务器根据所述语音信息判断语音信息是否已录入结束之后确定的。
在本发明实施例中，所述第一语音通道、所述第二语音通道以及所述第三语音通道为相互独立不交叉的通道，从而不会因为数据交叉而导致音箱的播放效率的下降。
本发明第二实施例中，通过建立与移动终端的第一语音通道，获取语音信息，将获取的语音信息通过所述第一语音通道发送至所述移动终端，以使得所述移动终端将所述语音信息上传至云服务器，并从所述云服务器获取待播放内容，所述音箱判断所述语音信息是否已录入结束，若已录入结束，则立即建立第二语音通道，而无需等待云服务器判断语音信息结束后再建立第二语音通道，从而节省了用户的等待时间，最后所述音箱获取并播放所述移动终端通过所述第二语音通道发送的待播放内容，本方案由于提前建立语音通道等待移动终端发送待播放内容，节省了用户的等待时间，降低了交互延迟，提高了音箱的语音交互效率和播放效率。
实施例三：
图3示出了本发明实施例提供的音箱的播放控制方法的实现流程，在本实施例中，该流程的执行主体为图1所示的移动终端2，详述如下：
步骤S301，建立与音箱的第一语音通道。
在本发明实施例中，音箱为蓝牙音箱，移动终端通过蓝牙与音箱进行通信，建立与音箱的第一语音通道。所述第一语音通道用于所述音箱录入语音信息并将所述语音信息发送至所述移动终端。所述第一语音通道为SCO(Synchronous Connection Oriented蓝牙面向连接方式)语音通道，主要用于语音传输。
可选地，在移动终端建立与音箱的第一语音通道之前，所述移动终端获取所述音箱发送的唤醒通知。具体地，所述音箱监测到唤醒事件后，通过第三语音通道发送唤醒通知至所述移动终端，所述移动终端收到所述唤醒通知后，再建立与所述音箱的第一语音通道，以便所述音箱通过所述第一语音通道发送语音信息。
步骤S302，获取所述音箱通过所述第一语音通道发送的语音信息，并将所述语音信息上传至云服务器，以使得所述云服务器根据所述语音信息判断语音信息是否已录入结束，并确定待播放内容。
具体地，移动终端监测等待所述音箱发送语音信息，并将获取的语音信息实时上传至云服务器。
可选地，在本发明实施例中，移动终端在预设时间内未监测到所述音箱发送的语音信息时，关闭所述第一语音通道，降低音箱和移动终端的功耗。
可选地，在本发明实施例中，移动终端将所述语音信息发送至云服务器的同时，将移动终端上登录的账号信息同时发送至云服务器，或者，将移动终端连接的音箱的设备识别码发送至云服务器，以使得所述云服务器根据所述账号信息或者所述音箱的设备识别码查找所述音箱的历史播放记录。
步骤S303，当检测到所述音箱发送的语音信息已录入结束的通知时，建立第二语音通道。
在本发明实施例中，由音箱预判语音信息是否已录入结束，若音箱判断所述语音信息已录入结束，则发送通知至移动终端，当移动终端检测到所述音箱发送的语音信息已录入结束的通知时，立即建立第二语音通道，即A2DP通道，以使得移动终端在收到云服务器发送的待播放内容时，立即将所述待播放内容通过所述第二语音通道发送至所述音箱，由音箱播放所述待播放内容，而不是等待云服务器判断所述语音信息已经结束了之后再建立第二语音通道，从而节省用户的等待时间，有效提高交互效率。
步骤S304，获取所述云服务器发送的待播放内容，将所述待播放内容通过所述第二语音通道发送至所述音箱，以使得所述音箱播放所述待播放内容。
其中，所述播放内容为音乐或者录音。
可选地，在本发明实施例中，移动终端在将接收到所述云服务器发送的待播放内容之后，在将所述播放内容发送至所述音箱进行播放之前，断开与所述音箱的第一语音通道，即结束语音信息的录入，从而降低音箱的功耗。
本发明第三实施例中，通过建立与音箱的第一语音通道，获取所述音箱通过所述第一语音通道发送的语音信息，并将所述语音信息上传至云服务器，以使得所述云服务器根据所述语音信息判断语音信息是否已录入结束，并确定待播放内容，当检测到所述音箱发送的语音信息已录入结束的通知时，立即建立第二语音通道，而无需等待云服务器判断语音信息结束后再建立第二语音通道，从而节省了用户的等待时间，在获取所述云服务器发送的待播放内容之后，立即将所述待播放内容通过所述第二语音通道发送至所述音箱，以使得所述音箱播放所述待播放内容，从而节省了用户的等待时间，降低了交互延迟，提高了音箱的语音交互效率和播放效率。
实施例四：
图4示出了本发明实施例提供的音箱的播放控制方法的交互流程图，参与该交互流程的执行主体包括图1中的音箱1、移动终端2和云服务器3，该交互流程的实现原理与图2至图3所述的每个执行主体侧的实现原理相一致，因此仅简要地描述该交互流程，不赘述：
1、建立音箱与移动终端之间的第一语音通道；
2、音箱对语音信息进行录音；
3、将获取的语音信息通过所述第一语音通道发送至所述移动终端；
4、所述移动终端将所述语音信息上传至云服务器；
5、所述音箱判断所述语音信息是否已录入结束；
6、若所述语音信息已录入结束，则建立所述音箱与所述移动终端之间的第二语音通道；
7、所述云服务器判断所述语音信息是否已录入结束，若所述语音信息已录入结束，则根据所述语音信息确定待播放内容；
8、所述云服务将确定的所述待播放内容发送至所述移动终端；
9、所述移动终端接收所述云服务器发送的待播放内容，将所述待播放内容发送至所述音箱；
10、音箱获取并播放所述待播放内容。
本发明第四实施例中，通过建立音箱与移动终端之间的第一语音通道，音箱获取语音信息，将获取的语音信息通过所述第一语音通道发送至所述移动终端，所述移动终端将所述语音信息上传至云服务器，所述音箱还检测所述语音信息是否已录入结束，若所述语音信息已录入结束，则提前建立所述音箱与所述移动终端之间的第二语音通道，所述云服务器接收所述移动终端上传的语音信息，并判断所述语音信息是否已录入结束，若所述语音信息已录入结束，则根据所述语音信息确定待播放内容，将所述待播放内容发送至所述移动终端，所述移动终端接收所述云服务器发送的待播放内容，并将所述待播放内容通过所述第二语音通道发送至所述音箱，所述音箱获取并播放所述移动终端通过所述第二语音通道发送的待播放内容，本方案由于提前建立语音通道等待移动终端发送待播放内容，节省了用户的等待时间，降低了交互延迟，提高了音箱的语音交互效率和播放效率。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
实施例五：
图5示出了本发明实施例提供的一种智能音箱的结构框图，该智能音箱即为图1所示的音箱1，且用于实现本发明图2至图4所述的音箱的播放控制方法。为了便于说明，仅示出了与本实施例相关的部分，详述如下：
如图5所示，一种智能音箱，所述智能音箱包括：第一通道建立单元51，第一语音处理单元52，第二语音处理单元53，语音播放单元54，其中：
第一通道建立单元51，用于建立与移动终端的第一语音通道；
第一语音处理单元52，用于获取语音信息，将获取的语音信息通过所述第一语音通道发送至所述移动终端，以使得所述移动终端将所述语音信息上传至云服务器，并从所述云服务器获取待播放内容；
第二语音处理单元53，用于所述音箱判断所述语音信息是否已录入结束，若已录入结束，则建立第二语音通道；
语音播放单元54，用于所述音箱获取并播放所述移动终端通过所述第二语音通道发送的待播放内容。
可选地，所述智能音箱还包括：
唤醒监测单元，用于音箱监测唤醒事件；
第三通道建立单元，用于当所述音箱监测到唤醒事件时，建立第三语音通道；
通知发送单元，用于通过所述第三语音通道发送唤醒通知至所述移动终端。
可选地，所述第二语音处理单元53包括：
特征提取模块，用于提取所述语音信息的语音特征值；
特征值判断模块，用于若所述语音特征值小于预设的语音特征值，则确定所述语音信息结束；
通道建立模块，用于建立第二语音通道。
本发明第五实施例中，通过建立与移动终端的第一语音通道，获取语音信息，将获取的语音信息通过所述第一语音通道发送至所述移动终端，以使得所述移动终端将所述语音信息上传至云服务器，并从所述云服务器获取待播放内容，所述音箱判断所述语音信息是否已录入结束，若已录入结束，则立即建立第二语音通道，而无需等待云服务器判断语音信息结束后再建立第二语音通道，从而节省了用户的等待时间，最后所述音箱获取并播放所述移动终端通过所述第二语音通道发送的待播放内容，本方案由于提前建立语音通道等待移动终端发送待播放内容，节省了用户的等待时间，降低了交互延迟，提高了音箱的语音交互效率和播放效率。
实施例六：
图6示出了本发明实施例提供的一种移动终端的结构框图，该移动终端即为图1所示的移动终端2中，且用于实现本发明图2至图4所述的音箱的播放控制方法。为了便于说明，仅示出了与本实施例相关的部分。
如图6所示，一种移动终端，所述移动终端包括：第二通道建立单元61，第三语音处理单元62，第四语音处理单元63，内容发送单元64，其中：
第二通道建立单元61，用于建立与音箱的第一语音通道；
第三语音处理单元62，用于获取所述音箱通过所述第一语音通道发送的语音信息，并将所述语音信息上传至云服务器，以使得所述云服务器根据所述语音信息判断语音信息是否已录入结束，并确定待播放内容；
第四语音处理单元63，用于当检测到所述音箱发送的语音信息已录入结束的通知时，建立第二语音通道；
内容发送单元64，用于获取所述云服务器发送的待播放内容，将所述待播放内容通过所述第二语音通道发送至所述音箱，以使得所述音箱播放所述待播放内容。
可选地，所述内容发送单元64还用于断开与所述音箱的第一语音通道。
本发明第六实施例中，通过建立与音箱的第一语音通道，获取所述音箱通过所述第一语音通道发送的语音信息，并将所述语音信息上传至云服务器，以使得所述云服务器根据所述语音信息判断语音信息是否已录入结束，并确定待播放内容，当检测到所述音箱发送的语音信息已录入结束的通知时，立即建立第二语音通道，而无需等待云服务器判断语音信息结束后再建立第二语音通道，从而节省了用户的等待时间，在获取所述云服务器发送的待播放内容之后，立即将所述待播放内容通过所述第二语音通道发送至所述音箱，以使得所述音箱播放所述待播放内容，从而节省了用户的等待时间，降低了交互延迟，提高了音箱的语音交互效率和播放效率。
实施例七：
图7是本发明一实施例提供的智能设备的示意图。如图7所示，该实施例的智能设备7包括：处理器70、存储器71以及存储在所述存储器71中并可在所述处理器70上运行的计算机程序72，例如音箱的播放控制程序。所述处理器70执行所述计算机程序72时实现上述各个音箱的播放控制方法实施例中的步骤，例如图2所示的步骤201至204。或者，所述处理器70执行所述计算机程序72时实现上述各装置实施例中各模块/单元的功能，例如图5所示单元51至54的功能。
示例性的，所述计算机程序72可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器71中，并由所述处理器70执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序72在所述智能设备7中的执行过程。例如，所述计算机程序72可以被分割成第一通道建立单元、第一语音处理单元、第二语音处理单元、语音播放单元，各单元具体功能如下：
第一通道建立单元，用于建立与移动终端的第一语音通道；
第一语音处理单元，用于获取语音信息，将获取的语音信息通过所述第一语音通道发送至所述移动终端，以使得所述移动终端将所述语音信息上传至云服务器，并从所述云服务器获取待播放内容；
第二语音处理单元，用于所述音箱判断所述语音信息是否已录入结束，若已录入结束，则建立第二语音通道；
语音播放单元，用于所述音箱获取并播放所述移动终端通过所述第二语音通道发送的待播放内容。
所述智能设备7可以是蓝牙音箱等。所述智能设备7可包括，但不仅限于，处理器70、存储器71。本领域技术人员可以理解，图7仅仅是智能设备7的示例，并不构成对智能设备7的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述智能设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器70可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器71可以是所述智能设备7的内部存储单元，例如智能设备7的硬盘或内存。所述存储器71也可以是所述智能设备7的外部存储设备，例如所述智能设备7上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器71还可以既包括所述智能设备7的内部存储单元也包括外部存储设备。所述存储器71用于存储所述计算机程序以及所述智能设备所需的其他程序和数据。所述存储器71还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
Claims (10)
1.一种音箱的播放控制方法，其特征在于，应用于音箱，所述音箱的播放控制方法包括：
建立所述音箱与移动终端的第一语音通道；
所述音箱获取语音信息，将获取的语音信息通过所述第一语音通道发送至所述移动终端，以使得所述移动终端将所述语音信息上传至云服务器，并从所述云服务器获取对应所述语音信息的待播放内容；
所述音箱判断所述语音信息是否已录入结束，若已录入结束，则建立第二语音通道；
所述音箱获取并播放所述移动终端通过所述第二语音通道发送的待播放内容。
2.如权利要求1所述的音箱的播放控制方法，其特征在于，所述音箱判断所述语音信息是否已录入结束，若结束，则建立第二语音通道的步骤，包括：
提取所述语音信息的语音特征值；
若所述语音特征值小于预设的语音特征值，则确定所述语音信息结束；
建立第二语音通道。
3.如权利要求1所述的音箱的播放控制方法，其特征在于，在所述建立所述音箱 与移动终端的第一语音通道的步骤之前，包括：
音箱监测唤醒事件；
当所述音箱监测到唤醒事件时，建立第三语音通道；
通过所述第三语音通道发送唤醒通知至所述移动终端。
4.一种音箱的播放控制方法，其特征在于，应用于移动终端，所述音箱的播放控制方法包括：
建立所述移动终端与音箱的第一语音通道；
所述移动终端获取所述音箱通过所述第一语音通道发送的语音信息，并将所述语音信息上传至云服务器，以使得所述云服务器根据所述语音信息判断语音信息是否已录入结束，并确定待播放内容；
当所述移动终端检测到所述音箱发送的语音信息已录入结束的通知时，建立第二语音通道；
所述移动终端获取所述云服务器发送的待播放内容，将所述待播放内容通过所述第二语音通道发送至所述音箱，以使得所述音箱播放所述待播放内容。
5.如权利要求4所述的音箱的播放控制方法，其特征在于，在所述将所述待播放内容通过所述第二语音通道发送至所述音箱的步骤之前，还包括：
断开与所述音箱的第一语音通道。
6.一种音箱的播放控制系统，其特征在于，所述音箱的播放控制系统包括音箱、移动终端和云服务器：
建立所述音箱与所述移动终端之间的第一语音通道；
所述音箱用于获取语音信息，将获取的语音信息通过所述第一语音通道发送至所述移动终端；
所述移动终端用于将所述语音信息上传至云服务器；
所述音箱还用于检测所述语音信息是否已录入结束，若所述语音信息已录入结束，则建立所述音箱与所述移动终端之间的第二语音通道；
所述云服务器用于接收所述移动终端上传的语音信息，并判断所述语音信息是否已录入结束，若所述语音信息已录入结束，则根据所述语音信息确定待播放内容；将所述待播放内容发送至所述移动终端；
所述移动终端还用于接收所述云服务器发送的待播放内容，并将所述待播放内容通过所述第二语音通道发送至所述音箱；
所述音箱还用于获取并播放所述移动终端通过所述第二语音通道发送的待播放内容。
7.一种智能音箱，其特征在于，所述智能音箱包括：
第一通道建立单元，用于建立与移动终端的第一语音通道；
第一语音处理单元，用于获取语音信息，将获取的语音信息通过所述第一语音通道发送至所述移动终端，以使得所述移动终端将所述语音信息上传至云服务器，并从所述云服务器获取待播放内容；
第二语音处理单元，用于所述音箱判断所述语音信息是否已录入结束，若已录入结束，则建立第二语音通道；
语音播放单元，用于所述音箱获取并播放所述移动终端通过所述第二语音通道发送的待播放内容。
8.一种移动终端，其特征在于，所述移动终端包括：
第二通道建立单元，用于建立与音箱的第一语音通道；
第三语音处理单元，用于获取所述音箱通过所述第一语音通道发送的语音信息，并将所述语音信息上传至云服务器，以使得所述云服务器根据所述语音信息判断语音信息是否已录入结束，并确定待播放内容；
第四语音处理单元，用于当检测到所述音箱发送的语音信息已录入结束的通知时，建立第二语音通道；
内容发送单元，用于获取所述云服务器发送的待播放内容，将所述待播放内容通过所述第二语音通道发送至所述音箱，以使得所述音箱播放所述待播放内容。
9.一种智能音箱，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至3任一项所述音箱的播放控制方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至3任一项所述音箱的播放控制方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811230891.4A CN111081237B (zh) | 2018-10-22 | 2018-10-22 | 音箱的播放控制方法、系统及智能设备 |
| PCT/CN2019/084832 WO2020082709A1 (zh) | 2018-10-22 | 2019-04-28 | 音箱的播放控制方法、系统及智能设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811230891.4A CN111081237B (zh) | 2018-10-22 | 2018-10-22 | 音箱的播放控制方法、系统及智能设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111081237A CN111081237A (zh) | 2020-04-28 |
| CN111081237B true CN111081237B (zh) | 2022-06-10 |
Family
ID=70309813
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811230891.4A Active CN111081237B (zh) | 2018-10-22 | 2018-10-22 | 音箱的播放控制方法、系统及智能设备 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN111081237B (zh) |
| WO (1) | WO2020082709A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117201526A (zh) * | 2022-06-01 | 2023-12-08 | 华为技术有限公司 | 一种设备控制方法及电子设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2002010962A1 (en) * | 2000-07-28 | 2002-02-07 | Storymail, Inc. | System, method and computer program product for device, operating system, and network transport neutral secure interactive multi-media messaging |
| CN105161110A (zh) * | 2015-08-19 | 2015-12-16 | 百度在线网络技术（北京）有限公司 | 基于蓝牙连接的语音识别方法、装置和系统 |
| CN108039172A (zh) * | 2017-12-01 | 2018-05-15 | Tcl通力电子（惠州）有限公司 | 智能蓝牙音箱语音交互方法、智能蓝牙音箱及存储介质 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6276503B2 (ja) * | 2012-12-28 | 2018-02-07 | アルパイン株式会社 | オーディオ装置 |
| TWI603257B (zh) * | 2014-11-14 | 2017-10-21 | 鴻海精密工業股份有限公司 | 音訊播放系統及音訊播放方法 |
| CN204440131U (zh) * | 2015-01-14 | 2015-07-01 | 南通博云物联网技术有限公司 | 基于zigbee技术的FM调频播放背景音乐系统 |
| CN105657052B (zh) * | 2016-03-03 | 2019-05-03 | Oppo广东移动通信有限公司 | 控制终端与音箱组的通信方法、装置及音箱组控制系统 |
| CN206212248U (zh) * | 2016-09-28 | 2017-05-31 | 深圳市一网科技有限公司 | 一种基于云端控制播放的音箱系统 |
| CN106710594A (zh) * | 2016-11-17 | 2017-05-24 | 北京中科汇联科技股份有限公司 | 一种基于云端的智能语音交互系统 |
| CN106952647A (zh) * | 2017-03-14 | 2017-07-14 | 上海斐讯数据通信技术有限公司 | 一种基于云管理的智能音箱及其使用方法 |
| CN107277272A (zh) * | 2017-07-25 | 2017-10-20 | 深圳市芯中芯科技有限公司 | 一种基于软件app的蓝牙设备语音交互方法及系统 |
| CN108665899A (zh) * | 2018-04-25 | 2018-10-16 | 广东思派康电子科技有限公司 | 一种语音交互系统及语音交互方法 |
-
2018
- 2018-10-22 CN CN201811230891.4A patent/CN111081237B/zh active Active
-
2019
- 2019-04-28 WO PCT/CN2019/084832 patent/WO2020082709A1/zh active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2002010962A1 (en) * | 2000-07-28 | 2002-02-07 | Storymail, Inc. | System, method and computer program product for device, operating system, and network transport neutral secure interactive multi-media messaging |
| CN105161110A (zh) * | 2015-08-19 | 2015-12-16 | 百度在线网络技术（北京）有限公司 | 基于蓝牙连接的语音识别方法、装置和系统 |
| CN108039172A (zh) * | 2017-12-01 | 2018-05-15 | Tcl通力电子（惠州）有限公司 | 智能蓝牙音箱语音交互方法、智能蓝牙音箱及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020082709A1 (zh) | 2020-04-30 |
| CN111081237A (zh) | 2020-04-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111083678B (zh) | 蓝牙音箱的播放控制方法、系统及智能设备 | |
| CN109151634B (zh) | 无线耳机音量控制方法、无线耳机及移动终端 | |
| JP6773832B2 (ja) | ワイヤレススピーカの再生モードの切り替え方法、装置及びワイヤレススピーカ | |
| CN104521247B (zh) | 蓝牙耳机助听及抗噪方法和装置 | |
| CN108509176A (zh) | 一种播放音频数据的方法、装置、存储介质及智能终端 | |
| CN102172044B (zh) | 音频输出的控制方法及设备 | |
| CN107919119A (zh) | 多设备交互协同的方法、装置、设备及计算机可读介质 | |
| CN111510814A (zh) | 降噪模式控制方法、装置、电子设备及存储介质 | |
| CN110876180B (zh) | 功耗处理方法、装置、电子设备及计算机可读介质 | |
| CN108320751B (zh) | 一种语音交互方法、装置、设备和服务器 | |
| CN107621933B (zh) | 一种音频播放方法和装置和相关介质产品 | |
| CN106797508A (zh) | 用于改善音质的方法及耳机 | |
| CN107908388A (zh) | 音量控制方法及装置、计算机装置及计算机可读存储介质 | |
| CN109379491A (zh) | 音频播放方法、装置、电子设备及计算机可读介质 | |
| CN106658256A (zh) | 耳机、终端及终端控制方法 | |
| CN105895128B (zh) | 一种播放方法和相关装置 | |
| CN105677004A (zh) | 一种终端的处理方法和终端 | |
| CN109859757A (zh) | 一种语音设备控制方法、装置和终端 | |
| CN103577145B (zh) | 电子设备的音量处理装置及方法、电子系统 | |
| CN111629304A (zh) | 扬声器控制方法、装置及电子设备 | |
| CN108111698A (zh) | 一种来电提醒方法和智能设备 | |
| CN107682553B (zh) | 通话信号发送方法、装置、移动终端及存储介质 | |
| CN111081237B (zh) | 音箱的播放控制方法、系统及智能设备 | |
| CN102355518A (zh) | 一种手机及其音频处理方法 | |
| CN105681529A (zh) | 智能语音录播装置及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |