CN111048081B - 一种控制方法、装置、电子设备及控制系统 - Google Patents
一种控制方法、装置、电子设备及控制系统 Download PDFInfo
- Publication number
- CN111048081B CN111048081B CN201911250462.8A CN201911250462A CN111048081B CN 111048081 B CN111048081 B CN 111048081B CN 201911250462 A CN201911250462 A CN 201911250462A CN 111048081 B CN111048081 B CN 111048081B
- Authority
- CN
- China
- Prior art keywords
- audio data
- control instruction
- terminal
- target object
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B15/00—Systems controlled by a computer
- G05B15/02—Systems controlled by a computer electric
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/2803—Home automation networks
- H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/20—Pc systems
- G05B2219/26—Pc applications
- G05B2219/2642—Domotique, domestic, home control, automation, smart house
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Abstract
本申请公开了一种控制方法、装置、电子设备及控制系统,所述方法包括:电子设备获得至少一个第一交互终端采集并传输的第一音频数据;其中,所述第一交互终端位于不同的采集位置;至少基于所述第一音频数据,生成第一控制指令;将所述第一控制指令传输到至少一个执行终端,以使得所述执行终端基于所述第一控制指令采集图像数据;获得所述执行终端采集的图像数据;对所述图像数据进行识别,以确定所述图像数据中的至少一个与所述第一音频数据相关联的目标对象。
Description
技术领域
本申请涉及语音控制技术领域,尤其涉及一种控制方法、装置、电子设备及控制系统。
背景技术
在智能家居中,通常采用智能音箱等对家居设备进行控制,如灯光、空调、摄像头等。而为了增强用户体验,通常在室内不同位置设置多个智能音箱,用以采集不同位置或区域上的用户音频,进而实现全方位智能家居的控制。
目前,在利用智能音箱进行智能家居控制时,通常是简单的音频传输,因此功能较为单一,用户的使用体验较差。
发明内容
有鉴于此,本申请提供一种控制方法、装置、电子设备及控制系统,包括:
一种控制方法,所述方法包括:
电子设备获得至少一个第一交互终端采集并传输的第一音频数据;其中,所述第一交互终端位于不同的采集位置;
至少基于所述第一音频数据,生成第一控制指令;
将所述第一控制指令传输到至少一个执行终端,以使得所述执行终端基于所述第一控制指令采集图像数据;
获得所述执行终端采集的图像数据;
对所述图像数据进行识别,以确定所述图像数据中的至少一个与所述第一音频数据相关联的目标对象。
上述方法,优选的,在对所述图像数据进行识别,以确定所述图像数据中的至少一个与所述第一音频数据相关联的目标对象之后,所述方法还包括:
至少基于所述目标对象,生成第二控制指令;
将所述第二控制指令传输到至少一个第二交互终端,以使得所述第二交互终端输出与所述第二控制指令相对应的第二音频数据;
其中,所述第一交互终端与所述第二交互终端相同或者不同。
上述方法,优选的,还包括:
至少基于所述第二控制指令,获得至少一个输出位置;
其中,将所述第二控制指令传输到至少一个第二交互终端,包括:
将所述第二控制指令传输到所述输出位置对应的至少一个第二交互终端。
上述方法,优选的,至少基于所述目标对象,生成第二控制指令,包括:
获得所述目标对象的属性信息;
至少根据所述属性信息,获得第二音频数据;
生成至少包括所述第二音频数据的第二控制指令。
上述方法,优选的,至少根据所述属性信息,获得第二音频数据,包括:
如果所述属性信息表征所述目标对象能够响应音频数据,对所述第一音频数据进行第一音频处理,得到所述第二音频数据;其中,所述第二音频数据中包括所述第一音频数据中与所述目标对象相匹配的音频数据;
其中,将所述第二控制指令传输到至少一个第二交互终端,包括:
将包含所述第二音频数据的第二控制指令传输到所述第二交互终端,所述第二交互终端的终端位置与采集到所述图像数据的执行终端的终端位置相一致。
上述方法,优选的,至少根据所述属性信息,获得第二音频数据,包括:
如果所述属性信息表征所述目标对象无法响应音频数据,对所述第一音频数据进行第二音频处理,生成第二音频数据;其中,所述第二音频数据中包括所述第一音频数据中与所述目标对象相匹配的音频数据和采集到所述图像数据的执行终端的终端位置数据;
其中,将所述第二控制指令传输到至少一个第二交互终端,包括:
将包含所述第二音频数据的第二控制指令传输到所述第二交互终端,所述第二交互终端与所述第一交互终端为同一交互终端。
上述方法,优选的,还包括:
至少基于所述第一控制指令,获得至少一个执行位置;
其中,将所述第一控制指令传输到至少一个执行终端,包括:
将所述第一控制指令传输到所述执行位置对应的至少一个执行终端。
一种控制装置,包括:
音频获得单元,用于获得至少一个第一交互终端采集并传输的第一音频数据;其中,所述第一交互终端位于不同的采集位置;
指令生成单元,用于至少基于所述第一音频数据,生成第一控制指令;
指令传输单元,用于将所述第一控制指令传输到至少一个执行终端,以使得所述执行终端基于所述第一控制指令采集图像数据;
图像获得单元,用于获得所述执行终端采集的图像数据;
图像识别单元,用于对所述图像数据进行识别,以确定所述图像数据中的至少一个与所述第一音频数据相关联的目标对象。
一种电子设备,包括:
传输接口,用于获得至少一个第一交互终端采集并传输的第一音频数据;其中,所述第一交互终端位于不同的采集位置;
处理器,用于至少基于所述第一音频数据,生成第一控制指令,以使得所述传输接口将所述第一控制指令传输到至少一个执行终端,以使得所述执行终端基于所述第一控制指令采集图像数据;
所述传输接口,还用于获得所述执行终端采集的图像数据,以使得所述处理器对所述图像数据进行识别,以确定所述图像数据中的至少一个与所述第一音频数据相关联的目标对象。
一种控制系统,包括:
至少一个执行终端;
至少一个第一交互终端,用于采集并传输第一音频数据;其中,所述第一交互终端位于不同的采集位置;
电子设备,用于获得所述第一音频数据;至少基于所述第一音频数据,生成第一控制指令;将所述第一控制指令传输到至少一个所述执行终端,以使得所述执行终端基于所述第一控制指令采集图像数据;获得所述执行终端采集的图像数据;对所述图像数据进行识别,以确定所述图像数据中的至少一个与所述第一音频数据相关联的目标对象。
一种存储介质,所述存储介质中存储有计算机可执行指令,所述计算机可执行指令被处理器加载并执行时,实现如上任一项所述的控制方法。
从上述技术方案可以看出,本申请提供的一种控制方法、装置、电子设备及存储介质,在电子设备获得处于不同的采集位置上的交互终端采集并传输的音频数据之后,将基于音频数据所生成的控制指令传输到执行终端上,以使得执行终端能够基于控制指令采集图像数据,而电子设备可以对执行终端所采集的图像数据进行识别,进而确定图像数据中与音频数据所关联的目标对象。由此,本申请中区别于简单的音频传输,能够对交互终端使用音频数据触发,并控制相应的执行终端采集到图像数据后识别出图像数据中与音频数据相关联的目标对象,进而增加基于交互终端能够为用户提供的功能体验,从而改善用户对音频数据的使用体验。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例一提供的一种控制方法的流程图;
图2-图3分别为本申请实施例中的应用示例图;
图4为本申请实施例一提供的一种控制方法的另一流程图;
图5-图6分别为本申请实施例中的另一应用示例图;
图7为本申请实施例一提供的一种控制方法的另一流程图;
图8为本申请实施例一提供的一种控制方法的部分流程图;
图9为本申请实施例的又一应用示例图;
图10为本申请实施例适用于家庭局域网时设备与电脑之间的连接示意图;
图11为本申请实施例适用于家庭局域网时设备与电脑之间进行交互的示意图;
图12为本申请实施例适用于家庭局域网时设备的架构图;
图13为本申请实施例适用于家庭局域网时电脑的架构图;
图14为本申请实施例二提供的一种控制装置的结构示意图;
图15为本申请实施例三提供的一种电子设备的结构示意图;
图16为本申请实施例四提供的一种控制系统的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
如图1所示,为本申请实施例一提供的一种控制方法的实现流程图,该方法适用于能够进行数据处理和传输的电子设备中,如计算机或服务器等终端。该电子设备设置在具有多个交互终端和/或执行终端的空间中,如别墅、公寓或办公区域等室内空间或室外空间等。本实施例中的技术方案主要用于增加基于交互终端所能够实现的功能,以改善用户使用体验。
具体的,本实施例中的方法可以包括以下步骤:
步骤101:获得至少一个第一交互终端采集并传输的第一音频数据。
其中,第一交互终端位于空间内不同的采集位置,第一交互终端可以理解为采集到第一音频数据的交互终端,另外在同一空间内还可能有其他交互终端与第一交互终端处于不同的采集位置上。如图2中所示,在空间中存在4个交互终端A、B、C、D,分别位于厨房、庭院、卧室1和卧室2中,而有交互终端A和C采集到音频数据“小黑在哪里”、“水杯在哪里”或“小黑,小黑”等,交互终端B和D没有采集到音频,此时交互终端A和C可以记为第一交互终端,其所采集到的音频数据为第一音频数据。
需要说明的是,交互终端可以为能够进行音频交互的终端,如音箱终端或视频终端等能够采集音频数据并进行音频数据输出的终端。
具体的,本实施例中的电子设备可以通过WiFi、蓝牙或网络等方式预先建立与交互终端之间的连接,进而在交互终端被用户语音触发启动并采集音频数据之后,通过连接接收交互终端所采集到的音频数据。
需要强调的是,本实施例中电子设备与交互终端之间的连接可以是在交互终端采集到音频数据之后,交互终端主动与电子设备进行建立,并在音频数据传输结束后,交互终端断开与电子设备之间的连接,直到下一次交互终端或电子设备需要进行数据传输时才进行建立,并且,在交互终端被音频数据唤醒之前不记录任何数据,交互终端与外网如云端等之间通过电子设备进行数据传输,而不会直连,由此,本实施例中可以通过这种方式保护电子设备和用户的隐私数据,以保障安全性。
步骤102:至少基于第一音频数据,生成第一控制指令。
其中,本实施例中可以对第一音频数据进行音频识别,以得到第一音频数据对应的文本内容,再利用各种算法如自然语言处理技术对文本内容进行语义识别,并对语义识别出的结果生成相应的第一控制指令。
例如,本实施例中对第一音频数据“小黑在哪里”或“小黑,小黑”进行音频识别和语义识别,得到“需要寻找小黑”的识别结果,进而生成寻找“小黑”的控制指令。
步骤103:将第一控制指令传输到至少一个执行终端,以使得执行终端基于第一控制指令采集图像数据。
其中,执行终端可以为能够采集图像数据的终端,如摄像头或录影机等终端,该执行终端在接收到电子设备发送的第一控制指令之后,能够被触发启动并采集相应的图像数据。
具体的,本实施例中的电子设备可以通过WiFi、蓝牙或网络等方式预先建立与执行终端之间的连接,进而电子设备生成第一控制指令之后,将第一控制指令通过连接传输给执行终端,以触发执行终端启动并采集图像数据。
例如,将寻找小黑的控制指令传输到多个摄像头,以触发这些摄像头分别采集相应位置上的图像数据。
需要说明的是,在传输第一控制指令之前,本实施例中可以对第一控制指令进行解析,进而至少基于第一控制指令获得至少一个执行位置,执行位置是指需要对该位置上的区域进行图像采集的位置,相应的,在传输第一控制指令时,就可以将第一控制指令传输到执行位置对应的至少一个执行终端上,以使得执行终端采集图像数据。
例如,本实施例中在生成需要进行图像采集的第一控制指令之后,查看当前空间内各个能够进行图像采集的执行终端的所在位置,如图3中所示,在空间中存在4个执行终端E、F、G、H,分别位于厨房、庭院、卧室1和卧室2中,能够进行图像采集,再将第一控制指令传输到这些位置上的执行终端上。
步骤104:获得执行终端采集的图像数据。
其中,本实施例中可以通过与执行终端之间的连接接收执行终端所传输的图像数据。
例如,在将寻找小黑的控制指令传输到多个摄像头以触发这些摄像头分别采集相应位置上的图像数据之后,获得这些摄像头采集到的图像数据。
步骤105:对图像数据进行识别,以确定图像数据中的至少一个与第一音频数据相关联的目标对象。
其中,本实施例中可以对图像数据进行图像识别,以识别出图像数据中的对象,进一步识别出与第一音频数据相关联的目标对象。具体的,本实施例中可以使用图像识别模型或算法等对图像数据与预设的对象模型进行图像比对,进而实现图像识别,以识别出图像数据中与第一音频数据相关联的目标对象。
例如,在接收到摄像头所传输的图像数据之后,对这些图像数据进行图像识别,以识别出图像数据中与“小黑”相关联的目标对象,如“小黑”为家里宠物狗的名字,相关联的对象为该宠物狗。
由上述方案可知,本申请实施例一提供的一种控制方法中,在电子设备获得处于不同的采集位置上的交互终端采集并传输的音频数据之后,将基于音频数据所生成的控制指令传输到执行终端上,以使得执行终端能够基于控制指令采集图像数据,而电子设备可以对执行终端所采集的图像数据进行识别,进而确定图像数据中与音频数据所关联的目标对象。由此,本实施例中区别于简单的音频传输,能够对交互终端使用音频数据触发,并控制相应的执行终端采集到图像数据后识别出图像数据中与音频数据相关联的目标对象,进而增加基于交互终端能够为用户提供的功能体验,从而改善用户对音频数据的使用体验。
基于以上实现,本实施例中在步骤105之后,还可以包括以下步骤,如图4中所示:
步骤106:至少基于目标对象,生成第二控制指令。
其中,本实施例中的第二控制指令用于指示输出与目标对象相关联的第二音频数据。具体的,本实施例中可以通过对目标对象的对象属性或特征等信息进行解析,进而生成相应的第二控制指令。
例如,在识别出“小黑”的目标对象之后,根据“小黑”的目标对象的对象特点,生成第二控制指令,该第二控制指令可以用于指示输出与“小黑”相关的第二音频数据,如呼唤小黑的音频数据或者通知小黑位置的音频数据等。
步骤107:将第二控制指令传输到至少一个第二交互终端,以使得第二交互终端输出与第二控制指令相对应的第二音频数据。
具体的,本实施例中的电子设备在生成第二控制指令之后,将第二控制指令通过与交互终端之间的WiFi、蓝牙等连接传输给第二交互终端,以触发第二交互终端启动并输出第二控制指令对应的第二音频数据,该第二音频数据是与目标对象相关联的。
其中,第一交互终端与第二交互终端可能相同,也可能不同。例如,厨房中的交互终端A在采集到“小黑在哪里”的第一音频数据之后,电子设备对第一音频数据生成第一控制指令,并将该第一控制指令传输到庭院的摄像头B中,以采集庭院的图像数据,并在获得摄像头传输的图像数据之后,对图像数据进行识别,并在识别出“小黑”的目标对象之后,根据“小黑”的目标对象的对象特点,生成第二控制指令,再将第二控制指令传输到厨房的交互终端A,以输出“小黑在院子里”的第二音频数据,如图5中所示,和/或,将第二控制指令传输到庭院的交互终端B,以输出“小黑,小黑”的第二音频数据,如图6中所示。
基于以上实现,在步骤107之前,本实施例中的方法还可以包括以下步骤,如图7中所示:
步骤108:至少基于第二控制指令,获得至少一个输出位置。
其中,本实施例中可以通过对第二控制指令对应的第二音频数据进行分析,以确定第二音频数据所需要输出的位置,即本实施例中所获得的至少一个输出位置。
相应的,在步骤107中,将第二控制指令传输到所获得的输出位置上所对应的第二交互终端上,以使得第二交互终端输出第二控制指令对应的第二音频数据。
例如,本实施例中的电子设备在识别出摄像头等执行终端所采集的图像数据中的“小黑”的目标对象之后,根据“小黑”的目标对象的对象特点,生成第二控制指令,第二控制指令对应有待输出的第二音频数据,如呼唤小黑的音频数据或通知小黑位置的音频数据等,此时,根据这些音频数据确定需要输出的位置,如庭院或厨房的输出位置,之后,再将第二控制指令传输到厨房的交互终端A,以输出“小黑在院子里”的第二音频数据,如图5中所示,或,将第二控制指令传输到庭院的交互终端B,以输出“小黑,小黑”的第二音频数据,如图6中所示。
基于以上实现,本实施例中步骤106在生成第二控制指令时,具体可以通过以下步骤实现,如图8中所示:
步骤801:获得目标对象的属性信息。
其中,本实施例中可以根据预存内容和/或机器学习的内容,对目标对象进行识别,以得到目标对象的属性信息,该属性信息能够表征目标对象能否对音频数据进行响应或者该属性信息表征目标对象是否具有生命体征等内容。例如,识别“小黑”或“水杯”等目标对象的属性信息,是否能够对音频数据进行响应或者是否具有生命体征。
步骤802:至少根据属性信息,获得第二音频数据。
其中,目标对象的属性信息不同,相应所获得的第二音频数据可能不同。
具体的,本实施例中可以在第一音频数据的基础上进行音频处理,进而根据属性信息,生成相应的第二音频数据。
步骤803:生成至少包括第二音频数据的第二控制指令。
其中,第二控制指令中除了包含第二音频数据之外,还可以包括有输出或播放等控制参数,以指示接收到该第二控制指令的交互终端输出第二音频数据。
在一种实现方式中,如果属性信息表征目标对象能够响应音频数据,如小动物能够对用户的语音做出反应等,那么可以对第一音频数据进行第一音频处理,得到第二音频数据,此时,第二音频数据中包含第一音频数据中的与目标对象相匹配的音频数据。例如,本实施例中在识别出图像数据中的目标对象“小黑”之后,由于学习到“小黑”为小动物,是能够对音频数据进行响应的,此时,本实施例中对第一音频数据“小黑在哪里”进行第一音频处理,如截取第一音频数据中的“小黑”的音频片段,以组成第二音频数据“小黑,小黑”,此时第二音频数据与第一音频数据是不同的,但是,第二音频数据中包含第一音频数据中的“小黑”的音频片段;或者,本实施例中对第一音频数据“小黑在哪里”进行降噪处理,而对音频内容不做改动,以得到第二音频数据,此时第二音频数据与第一音频数据的音频内容是相同的。
相应的,步骤107在传输第二控制指令时,是将包含该第二音频数据的第二控制指令传输到第二交互终端,而此时的第二交互终端与采集到图像数据的执行终端的终端位置是相同的。例如,本实施例中得到呼唤小黑的第二音频数据“小黑,小黑”之后,生成相应的第二控制指令,将该第二控制指令输出到庭院B中,庭院中是具有采集到识别出“小黑”的目标对象的图像数据的执行终端F的,由此以庭院中的第二交互终端B输出“小黑,小黑”的第二音频数据,以实现对处于庭院中的“小黑”的呼唤操作,如图6中所示。
在另一种实现方式中,如果属性信息表征目标对象无法响应音频数据,如钥匙或水杯等并不能对用户的语音做出反应等,那么可以对第一音频数据进行第二音频处理,得到第二音频数据,此时,第二音频数据中包含第一音频数据中的与目标对象相匹配的音频数据,还包括有采集到识别出目标对象的图像数据的执行终端的终端位置数据。例如,本实施例中在识别出图像数据中的目标对象“水杯”之后,由于学习到“水杯”为物品,是不能对音频数据进行响应的,此时,本实施例中对第一音频数据“妈妈的水杯在哪里”进行第二音频处理,如截取第一音频数据中的“妈妈的水杯”的音频片段再拼接采集到识别出“妈妈的水杯”的图像数据的执行终端C的终端位置数据“卧室1”,以组成第二音频数据“妈妈的水杯,卧室1”,此时第二音频数据与第一音频数据是不同的。
相应的,步骤107在传输第二控制指令时,是将包含该第二音频数据的第二控制指令传输到第二交互终端,而此时的第二交互终端与第一交互终端为同一交互终端或者为同一空间区域内的交互终端。例如,本实施例中得到通知水杯位置的第二音频数据“妈妈的水杯,卧室1”之后,生成相应的第二控制指令,将该第二控制指令输出到厨房中,厨房中是具有采集第一音频数据的第一交互终端A的,由此以厨房中的第一交互终端A作为第二交互终端输出“水杯,卧室1”的第二音频数据,以实现告知厨房中的用户“水杯,卧室1”的通知操作,如图9中所示。
以室内设置一台电脑、多个音箱(具备麦克风和扬声器以及音频传输接口)和多个摄像头(具备数据传输接口)为例,对本申请的技术方案进行举例说明:
首先,本申请的技术方案中,音箱、摄像头等设备和电脑之间通过家庭Wi-Fi路由器连接到同一个局域网内,如图10中所示,多个设备可以放到不同的房间,用户在各个房间都能通过该设备和电脑进行语音交互,用户可以在不同的房间通过语音调用不同的音箱获得相应的服务,如图11中所示。
为了能够实现本申请的技术方案,如图12中所示,为音箱等设备的系统架构图,在硬件层中,以WiFi、麦克风speaker、控制芯片mic、按钮button和显示屏led为硬件基础,建立驱动层、系统调用层和应用层:在驱动层中,为麦克风部署音频放大器等驱动,为按钮部署输入输出等驱动,并为led部署脉冲宽度调制PWM(Pulse width modulation)等驱动,使得led在驱动层的基础上在应用层上实现led管理的操作;在系统调用层中,对WiFi部署网络协议栈,进而在应用成中能够进行网络配置和连接管理等操作,并实现音频数据的传输;对麦克风在驱动层的基础上部署音频渲染的系统功能,进而在应用层能够实现解码和音频播放等操作;对mic部署语音输入的系统功能,进而在应用层能够实现编码和语音唤醒,进一步的能够实现录音等操作;对按钮在驱动层的基础上部署按钮管理的系统功能。
如图13中所示,为电脑的系统图,在硬件层中以WiFi、bt、通用串行总线usb(Universal Serial Bus)和ZigBee为硬件基础,建立驱动层、系统调用层和应用层:在驱动层中,分别部署标准音频驱动、兼容麦克风和扬声器的虚拟音频驱动、led管理器和脉冲反应IR(impulseresponse)、射频RF(Radio Frequency)和ZigBee的驱动;在系统调用层就可以在驱动层的基础上实现网络应用程序接口API(Application Programming Interface)和Windows音频API的管理;相应的,在应用层能够实现网络配置、连接管理、设备映射、本地/无线音频设备管理、音频播放、录音、对讲机和状态同步的功能,同时能够实现音频编解码、物联网IOT(The Internet of Things)设备管理器和命令解释器的功能。
基于以上硬件的架构,本申请的技术方案中以电脑PC(Personal Computer)为控制中心,通过无线语音设备调用相关服务,最终实现追踪控制的智能家庭设计方案。具体的,在方案中,在室内各个房间内布置的无线语音接口均与PC相连,同时所有外围设备均连接到PC,在PC端统一进行管理。从而实现对各个设备和用户追踪交互的控制方式。
可见,采用本申请的技术方案,首先通过多个语音交互设备,确保用户在各个房间内均可使用语音服务,同时,所有的语音交互设备在PC端均配置使用,相应的,PC端可以调用最适合用户的设备(例如打开距离用户最近的灯),而且PC端可以对用户的指令进行分析,管理使用系统中的所有设备并进行数据分析处理,如下文中找狗的示例所示。
与此同时,本身的技术方案中,所有语音交互设备的管理均在PC本地进行,相关数据不会上传至云端,而确保用户信息不被泄露,保障用户信息的安全性。
以下以寻找宠物狗为例,对本申请的技术方案进行举例说明:
1、用户位于卧室内,希望寻找自己的宠物狗“豆包”;
2、用户通过卧室内的语音音箱,说出‘寻找我的狗豆包’的语音。
3、语音被上传到PC端;
4、PC端对语音进行分析,提取关键词:动作指令‘寻找’和内容指令‘狗’和“豆包”;
5、通过动作指令‘寻找’,PC端唤醒所有家庭内摄像头,接收所有摄像头采集到的视频画面;
并通过内容指令‘狗’和“豆包”,PC端将调取用户宠物狗的图文数据,获取图像识别模型;
6、PC端通过图像识别后,确定此时庭院中的摄像头发现疑似狗的动物,数据经过PC端模型对比后,确认该生物为用户宠物狗。
7、PC将搜寻结果以语音通知的形式发送到用户所在的卧室音箱,通知用户狗的位置,例如“豆包在庭院”。
8、用户得知狗的位置后,可通过身边的语音音箱直接与庭院中的音箱联络,给院子中的狗发出命令,如“豆包,豆包”,以呼唤狗进屋。
参考图14,为本申请实施例二提供的一种控制装置的结构示意图,该装置适用于能够进行数据处理和传输的电子设备中,如计算机或服务器等终端。该电子设备设置在具有多个交互终端和/或执行终端的空间中,如别墅、公寓或办公区域等室内空间或室外空间等。本实施例中的技术方案主要用于增加基于交互终端所能够实现的功能,以改善用户使用体验。
具体的,本实施例中的装置可以包括以下结构:
音频获得单元1401,用于获得至少一个第一交互终端采集并传输的第一音频数据;其中,所述第一交互终端位于不同的采集位置;
指令生成单元1402,用于至少基于所述第一音频数据,生成第一控制指令;
指令传输单元1403,用于将所述第一控制指令传输到至少一个执行终端,以使得所述执行终端基于所述第一控制指令采集图像数据;
图像获得单元1404,用于获得所述执行终端采集的图像数据;
图像识别单元1405,用于对所述图像数据进行识别,以确定所述图像数据中的至少一个与所述第一音频数据相关联的目标对象。
由上述方案可知,本申请实施例一提供的一种控制装置中,在电子设备获得处于不同的采集位置上的交互终端采集并传输的音频数据之后,将基于音频数据所生成的控制指令传输到执行终端上,以使得执行终端能够基于控制指令采集图像数据,而电子设备可以对执行终端所采集的图像数据进行识别,进而确定图像数据中与音频数据所关联的目标对象。由此,本实施例中区别于简单的音频传输,能够对交互终端使用音频数据触发,并控制相应的执行终端采集到图像数据后识别出图像数据中与音频数据相关联的目标对象,进而增加基于交互终端能够为用户提供的功能体验,从而改善用户对音频数据的使用体验。
在一种实现方式中,在对所述图像数据进行识别,以确定所述图像数据中的至少一个与所述第一音频数据相关联的目标对象之后,本实施例中的装置还用于:
至少基于所述目标对象,生成第二控制指令;将所述第二控制指令传输到至少一个第二交互终端,以使得所述第二交互终端输出与所述第二控制指令相对应的第二音频数据;其中,所述第一交互终端与所述第二交互终端相同或者不同。
在一种实现方式中,本实施例中的装置还用于:至少基于所述第二控制指令,获得至少一个输出位置;其中,将所述第二控制指令传输到至少一个第二交互终端,包括:将所述第二控制指令传输到所述输出位置对应的至少一个第二交互终端。
在一种实现方式中,本实施例中的装置在至少基于所述目标对象,生成第二控制指令时,通过以下方式实现:
获得所述目标对象的属性信息;至少根据所述属性信息,获得第二音频数据;生成至少包括所述第二音频数据的第二控制指令。
可选的,本实施例中的装置在至少根据所述属性信息,获得第二音频数据时,可以通过以下方式实现:
如果所述属性信息表征所述目标对象能够响应音频数据,对所述第一音频数据进行第一音频处理,得到所述第二音频数据;其中,所述第二音频数据中包括所述第一音频数据中与所述目标对象相匹配的音频数据;
其中,本实施例中的装置将所述第二控制指令传输到至少一个第二交互终端,包括:将包含所述第二音频数据的第二控制指令传输到所述第二交互终端,所述第二交互终端的终端位置与采集到所述图像数据的执行终端的终端位置相一致。
可选的,本实施例中的装置在至少根据所述属性信息,获得第二音频数据时,可以通过以下方式实现:
如果所述属性信息表征所述目标对象无法响应音频数据,对所述第一音频数据进行第二音频处理,生成第二音频数据;其中,所述第二音频数据中包括所述第一音频数据中与所述目标对象相匹配的音频数据和采集到所述图像数据的执行终端的终端位置数据;
其中,本实施例中的装置将所述第二控制指令传输到至少一个第二交互终端,包括:
将包含所述第二音频数据的第二控制指令传输到所述第二交互终端,所述第二交互终端与所述第一交互终端为同一交互终端。
在一种实现方式中,本实施例中的装置还用于:
至少基于所述第一控制指令,获得至少一个执行位置;
其中,指令传输单元将所述第一控制指令传输到至少一个执行终端,包括:将所述第一控制指令传输到所述执行位置对应的至少一个执行终端。
需要说明的是,本实施例中控制装置内的各单元的具体实现可以参考前文中的相应内容,此处不再详述。
参考图15,为本申请实施例三提供的一种电子设备的结构示意图,该电子设备可以为能够进行数据处理和传输的电子设备,如计算机或服务器等终端。该电子设备设置在具有多个交互终端和/或执行终端的空间中,如别墅、公寓或办公区域等室内空间或室外空间等。本实施例中的技术方案主要用于增加基于交互终端所能够实现的功能,以改善用户使用体验。
具体的,本实施例中的电子设备可以包括以下结构:
传输接口1501,用于获得至少一个第一交互终端采集并传输的第一音频数据;其中,所述第一交互终端位于不同的采集位置。
其中,传输接口1501可以为WiFi或蓝牙等接口。
处理器1502,用于至少基于所述第一音频数据,生成第一控制指令,以使得所述传输接口将所述第一控制指令传输到至少一个执行终端,以使得所述执行终端基于所述第一控制指令采集图像数据;
所述传输接口1501,还用于获得所述执行终端采集的图像数据,以使得所述处理器对所述图像数据进行识别,以确定所述图像数据中的至少一个与所述第一音频数据相关联的目标对象。
由上述方案可知,本申请实施例三提供的一种电子设备中,在电子设备获得处于不同的采集位置上的交互终端采集并传输的音频数据之后,将基于音频数据所生成的控制指令传输到执行终端上,以使得执行终端能够基于控制指令采集图像数据,而电子设备可以对执行终端所采集的图像数据进行识别,进而确定图像数据中与音频数据所关联的目标对象。由此,本实施例中区别于简单的音频传输,能够对交互终端使用音频数据触发,并控制相应的执行终端采集到图像数据后识别出图像数据中与音频数据相关联的目标对象,进而增加基于交互终端能够为用户提供的功能体验,从而改善用户对音频数据的使用体验。
需要说明的是,本实施例中处理器的具体实现可以参考前文中的相应内容,此处不再详述。
参考图16,为本申请实施例四提供的一种控制系统的结构示意图,该控制系统中可以包括以下设备:
至少一个执行终端1601;
至少一个第一交互终端1602,用于采集并传输第一音频数据;其中,所述第一交互终端1602位于不同的采集位置;
电子设备1603,用于获得所述第一音频数据;至少基于所述第一音频数据,生成第一控制指令;将所述第一控制指令传输到至少一个所述执行终端1601,以使得所述执行终端1601基于所述第一控制指令采集图像数据;获得所述执行终端1601采集的图像数据;对所述图像数据进行识别,以确定所述图像数据中的至少一个与所述第一音频数据相关联的目标对象。
由上述方案可知,本申请实施例四提供的一种控制系统中,在电子设备获得处于不同的采集位置上的交互终端采集并传输的音频数据之后,将基于音频数据所生成的控制指令传输到执行终端上,以使得执行终端能够基于控制指令采集图像数据,而电子设备可以对执行终端所采集的图像数据进行识别,进而确定图像数据中与音频数据所关联的目标对象。由此,本实施例中区别于简单的音频传输,能够对交互终端使用音频数据触发,并控制相应的执行终端采集到图像数据后识别出图像数据中与音频数据相关联的目标对象,进而增加基于交互终端能够为用户提供的功能体验,从而改善用户对音频数据的使用体验。
需要说明的是,本实施例中电子设备、执行终端和交互终端的具体实现可以参考前文中的相应内容,此处不再详述。
另外,本申请实施例还提供了一种存储介质,所述存储介质中存储有计算机可执行指令,所述计算机可执行指令被处理器加载并执行时,实现如上所述的控制方法。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (8)
1.一种控制方法,所述方法包括:
电子设备获得至少一个第一交互终端采集并传输的第一音频数据;其中,所述第一交互终端位于不同的采集位置;
至少基于所述第一音频数据,生成第一控制指令;
将所述第一控制指令传输到至少一个执行终端,以使得所述执行终端基于所述第一控制指令采集图像数据;
获得所述执行终端采集的图像数据;
对所述图像数据进行识别,以确定所述图像数据中的至少一个与所述第一音频数据相关联的目标对象;
至少基于所述目标对象,生成第二控制指令;
将所述第二控制指令传输到至少一个第二交互终端,以使得所述第二交互终端输出与所述第二控制指令相对应的第二音频数据;
其中,所述第一交互终端与所述第二交互终端相同或者不同;
其中,至少基于所述目标对象,生成第二控制指令,包括:
获得所述目标对象的属性信息;所述属性信息表征所述目标对象能够响应音频数据,或,表征所述目标对象无法响应音频数据;
至少根据所述属性信息,获得第二音频数据;
生成至少包括所述第二音频数据的第二控制指令。
2.根据权利要求1所述的方法,还包括:
至少基于所述第二控制指令,获得至少一个输出位置;
其中,将所述第二控制指令传输到至少一个第二交互终端,包括:
将所述第二控制指令传输到所述输出位置对应的至少一个第二交互终端。
3.根据权利要求1所述的方法,至少根据所述属性信息,获得第二音频数据,包括:
如果所述属性信息表征所述目标对象能够响应音频数据,对所述第一音频数据进行第一音频处理,得到所述第二音频数据;其中,所述第二音频数据中包括所述第一音频数据中与所述目标对象相匹配的音频数据;
其中,将所述第二控制指令传输到至少一个第二交互终端,包括:
将包含所述第二音频数据的第二控制指令传输到所述第二交互终端,所述第二交互终端的终端位置与采集到所述图像数据的执行终端的终端位置相一致。
4.根据权利要求1所述的方法,至少根据所述属性信息,获得第二音频数据,包括:
如果所述属性信息表征所述目标对象无法响应音频数据,对所述第一音频数据进行第二音频处理,生成第二音频数据;其中,所述第二音频数据中包括所述第一音频数据中与所述目标对象相匹配的音频数据和采集到所述图像数据的执行终端的终端位置数据;
其中,将所述第二控制指令传输到至少一个第二交互终端,包括:
将包含所述第二音频数据的第二控制指令传输到所述第二交互终端,所述第二交互终端与所述第一交互终端为同一交互终端。
5.根据权利要求1所述的方法,还包括:
至少基于所述第一控制指令,获得至少一个执行位置;
其中,将所述第一控制指令传输到至少一个执行终端,包括:
将所述第一控制指令传输到所述执行位置对应的至少一个执行终端。
6.一种控制装置,包括:
音频获得单元,用于获得至少一个第一交互终端采集并传输的第一音频数据;其中,所述第一交互终端位于不同的采集位置;
指令生成单元,用于至少基于所述第一音频数据,生成第一控制指令;
指令传输单元,用于将所述第一控制指令传输到至少一个执行终端,以使得所述执行终端基于所述第一控制指令采集图像数据;
图像获得单元,用于获得所述执行终端采集的图像数据;
图像识别单元,用于对所述图像数据进行识别,以确定所述图像数据中的至少一个与所述第一音频数据相关联的目标对象;至少基于所述目标对象,生成第二控制指令;将所述第二控制指令传输到至少一个第二交互终端,以使得所述第二交互终端输出与所述第二控制指令相对应的第二音频数据;其中,所述第一交互终端与所述第二交互终端相同或者不同;其中,至少基于所述目标对象,生成第二控制指令,包括:获得所述目标对象的属性信息;所述属性信息表征所述目标对象能够响应音频数据,或,表征所述目标对象无法响应音频数据;至少根据所述属性信息,获得第二音频数据;生成至少包括所述第二音频数据的第二控制指令。
7.一种电子设备,包括:
传输接口,用于获得至少一个第一交互终端采集并传输的第一音频数据;其中,所述第一交互终端位于不同的采集位置;
处理器,用于至少基于所述第一音频数据,生成第一控制指令,以使得所述传输接口将所述第一控制指令传输到至少一个执行终端,以使得所述执行终端基于所述第一控制指令采集图像数据;
所述传输接口,还用于获得所述执行终端采集的图像数据,以使得所述处理器对所述图像数据进行识别,以确定所述图像数据中的至少一个与所述第一音频数据相关联的目标对象;至少基于所述目标对象,生成第二控制指令;将所述第二控制指令传输到至少一个第二交互终端,以使得所述第二交互终端输出与所述第二控制指令相对应的第二音频数据;其中,所述第一交互终端与所述第二交互终端相同或者不同;其中,至少基于所述目标对象,生成第二控制指令,包括:获得所述目标对象的属性信息;所述属性信息表征所述目标对象能够响应音频数据,或,表征所述目标对象无法响应音频数据;至少根据所述属性信息,获得第二音频数据;生成至少包括所述第二音频数据的第二控制指令。
8.一种控制系统,包括:
至少一个执行终端;
至少一个第一交互终端,用于采集并传输第一音频数据;其中,所述第一交互终端位于不同的采集位置;
电子设备,用于获得所述第一音频数据;至少基于所述第一音频数据,生成第一控制指令;将所述第一控制指令传输到至少一个所述执行终端,以使得所述执行终端基于所述第一控制指令采集图像数据;获得所述执行终端采集的图像数据;对所述图像数据进行识别,以确定所述图像数据中的至少一个与所述第一音频数据相关联的目标对象;至少基于所述目标对象,生成第二控制指令;将所述第二控制指令传输到至少一个第二交互终端,以使得所述第二交互终端输出与所述第二控制指令相对应的第二音频数据;其中,所述第一交互终端与所述第二交互终端相同或者不同;其中,至少基于所述目标对象,生成第二控制指令,包括:获得所述目标对象的属性信息;所述属性信息表征所述目标对象能够响应音频数据,或,表征所述目标对象无法响应音频数据;至少根据所述属性信息,获得第二音频数据;生成至少包括所述第二音频数据的第二控制指令。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911250462.8A CN111048081B (zh) | 2019-12-09 | 2019-12-09 | 一种控制方法、装置、电子设备及控制系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911250462.8A CN111048081B (zh) | 2019-12-09 | 2019-12-09 | 一种控制方法、装置、电子设备及控制系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111048081A CN111048081A (zh) | 2020-04-21 |
CN111048081B true CN111048081B (zh) | 2023-06-23 |
Family
ID=70235139
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911250462.8A Active CN111048081B (zh) | 2019-12-09 | 2019-12-09 | 一种控制方法、装置、电子设备及控制系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111048081B (zh) |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7840308B2 (en) * | 2004-09-10 | 2010-11-23 | Honda Motor Co., Ltd. | Robot device control based on environment and position of a movable robot |
JP6248930B2 (ja) * | 2012-07-13 | 2017-12-20 | ソニー株式会社 | 情報処理システムおよびプログラム |
CN106909371A (zh) * | 2017-01-18 | 2017-06-30 | 成都电科致远网络科技有限公司 | 一种基于移动智能终端的分布式pc系统 |
US20180246964A1 (en) * | 2017-02-28 | 2018-08-30 | Lighthouse Ai, Inc. | Speech interface for vision-based monitoring system |
CN107480129A (zh) * | 2017-07-18 | 2017-12-15 | 上海斐讯数据通信技术有限公司 | 一种基于视觉识别和语音识别的物品位置识别方法及系统 |
CN108436937A (zh) * | 2018-04-17 | 2018-08-24 | 苏州金建达智能科技有限公司 | 一种具有语音监控的机器人 |
CN110535737A (zh) * | 2019-09-26 | 2019-12-03 | 浪潮软件集团有限公司 | 一种智能家居控制系统 |
-
2019
- 2019-12-09 CN CN201911250462.8A patent/CN111048081B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN111048081A (zh) | 2020-04-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI656523B (zh) | 語音控制裝置、系統及控制方法 | |
CN106653008B (zh) | 一种语音控制方法、装置及系统 | |
JP6739907B2 (ja) | 機器特定方法、機器特定装置及びプログラム | |
CN112166350B (zh) | 智能设备中的超声感测的系统和方法 | |
WO2018113672A1 (zh) | 一种智能音箱、智能家居系统及其实现方法 | |
CN108831448A (zh) | 语音控制智能设备的方法、装置及存储介质 | |
JP7393526B2 (ja) | イベントクリップを提供するための、方法、電子装置、サーバシステム、およびプログラム | |
CN112740626A (zh) | 用于通过使多个电子装置协同工作来提供通知的方法和设备 | |
US20210072378A1 (en) | Systems and methods of ultrasonic sensing in smart devices | |
CN108320745A (zh) | 控制显示的方法及装置 | |
CN110265004B (zh) | 智能家居操作系统中目标终端的控制方法及装置 | |
WO2020133495A1 (zh) | 一种智能设备管理方法、移动终端及系统 | |
CN112005281A (zh) | 智能设备上的功率管理的系统和方法 | |
CN112104533B (zh) | 场景的切换方法、终端和存储介质 | |
CN110730330B (zh) | 声音处理方法与装置、门铃和计算机可读存储介质 | |
JP6876122B2 (ja) | 無線音声/ビデオ記録及び通信デバイスについての無線スピーカデバイス | |
CN111630413A (zh) | 基于置信度的应用特定的用户交互 | |
CN111048081B (zh) | 一种控制方法、装置、电子设备及控制系统 | |
JP6921311B2 (ja) | 機器制御システム、機器、機器制御方法及びプログラム | |
KR20210042442A (ko) | 전자장치 및 그 제어방법 | |
CN113709009B (zh) | 设备通信方法、装置、电子设备及存储介质 | |
JP2019144790A (ja) | 情報処理装置及びプログラム | |
CN111210819B (zh) | 信息处理方法、装置和电子设备 | |
JP6668519B1 (ja) | リモコン機能設定プログラム、リモコンサーバ、リモコン機能設定方法、携帯端末 | |
CN113626349A (zh) | 设备控制方法、装置和系统以及设备控制器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |