CN110782897B - 一种基于自然语义编码的语音终端通信方法及系统 - Google Patents
一种基于自然语义编码的语音终端通信方法及系统 Download PDFInfo
- Publication number
- CN110782897B CN110782897B CN201911124142.8A CN201911124142A CN110782897B CN 110782897 B CN110782897 B CN 110782897B CN 201911124142 A CN201911124142 A CN 201911124142A CN 110782897 B CN110782897 B CN 110782897B
- Authority
- CN
- China
- Prior art keywords
- command word
- voice
- command
- voice terminal
- natural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004891 communication Methods 0.000 title claims abstract description 40
- 238000000034 method Methods 0.000 title claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 18
- 230000014509 gene expression Effects 0.000 claims abstract description 16
- 125000006850 spacer group Chemical group 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000004378 air conditioning Methods 0.000 description 3
- 238000013467 fragmentation Methods 0.000 description 3
- 238000006062 fragmentation reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000008054 signal transmission Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Telephonic Communication Services (AREA)
Abstract
一种基于自然语义编码的语音终端通信方法,包括如下步骤:S1收集具备明确含义的自然语料作为命令词存入语音数据库;S2对含义相同的命令词设置其唯一对应的组合编码;S3任一设备接收到语音信息并识别出对应的命令词后,发现产品字段对应的设备为自身则进入步骤S5,否则将命令词对应的组合编码发送至中央处理器;S4中央处理器根据组合编码中的产品字段将组合编码发送至对应的设备;S5设备接收命令词编码后执行指令。本发明还公开了一种基于自然语义编码的语音终端系统。本发明所述基于自然语义编码的语音终端通信方法及系统,可广泛识别同一自然语义的多种表达,满足用户多种日常的口语表达,适应用户的个性化使用习惯。
Description
技术领域
本发明属于人工智能领域中的语音识别技术,具体涉及一种基于自然语义编码的语音终端通信方法及系统。
背景技术
智能家居是在互联网影响下物联化的体现。完整意义上的智能家居,包含家居布线系统、家庭网络系统、中央控制管理系统、家居照明控制系统、家庭安防系统、背景音乐系统、家庭影院与多媒体系统、家庭环境控制系统等各种设备系统。智能家居是物联网的典型应用,万物互联,人机对话,其目的是在任何时间、任何地点,人、机、物的互联互通。
但目前流行的智能家居设备多以单品为主,智能照明、智能电视、智能音箱等,各设备间不能进行数据交换和通话,无法形成一整套的智能家居系统。用户购买多个设备,甚至需要同时操控多个APP,导致使用场景碎片化、操作不流畅、用户体验差,智能效果大打折扣。
同时,目前基于语音命令控制的离在线智能家居设备,在操作便利性、使用体验方面已有所提升,但远近场控制效果不稳定、不同设备间误识等问题依旧未解决。且现有基于语音命令控制的离在线智能家居设备,大都是将用户输入的语音内容与设备的控制命令或命令的关键词进行比对,但中文博大精深,用户语音控制设备时存在各种表达的可能性,若不能对用户的语音内容合理解析,势必会出现识别率低,使用不便的情况。
因此,实现智能家居设备间的互联互通,适应用户个性化的语言表达使用习惯,是促进智能家居行业发展的关键。
此外,对于语音设备的信号采样和传递,现有技术中采用云端识别或中央处理器识别,数据传输带宽高,室内电磁环境复杂,信号传递易受干扰。
发明内容
为克服现有技术存在的技术缺陷,本发明公开了一种基于自然语义编码的语音终端通信方法及系统。
本发明所述基于自然语义编码的语音终端通信方法,包括如下步骤:
S1收集具备明确含义的自然语料作为命令词存入语音数据库,根据自然语料的含义,对含义相同但表达形式不同的自然语料进行分类并标注含义;
S2对含义相同的命令词设置其唯一对应的组合编码,所述组合编码至少包括如下字段:产品字段、语义字段及陈述字段;所述产品字段表示命令词作用的设备,所述语义字段表示命令词的命令,所述陈述字段用于区分不同的表达形式;
S3任一设备接收到语音信息并识别出对应的命令词后,发现产品字段对应的设备为自身则进入步骤S5,否则将命令词对应的组合编码发送至中央处理器;
S4中央处理器根据组合编码中的产品字段将组合编码发送至对应的设备;
S5设备接收命令词编码后,解码得到具体的操作指令并检查设备状态,状态正常时执行指令;否则不执行。
优选的,所述命令词的含义针对一种以上设备时,将适合该命令的所有设备字符组合为该命令词组合编码的产品字段,中间以自定义的间隔符分割不同设备字符。
优选的,所述命令词的可以针对一种以上设备时,所述产品字段以通用字段标注。
进一步的,所述步骤S4中,中央处理器检测到通用字段后,检测上一次得到的命令词所涉及的设备,将本次命令词发给上一次命令词涉及的设备。
本发明还公开了一种基于自然语义编码的语音终端系统,包括多个设备,每一设备具有语音识别模块及与其连接的编码模块、语音数据库和通信模块,不同设备的所述通信模块之间可通信;所述语音终端系统还包括至少一个可与通信模块通信的中央处理器。
优选的,所述中央处理器位于设备上。
优选的,所述通信模块的通信方式包括但不限于蓝牙、wifi、zigbee、红外、2.4G通信协议。
本发明所述基于自然语义编码的语音终端通信方法及系统,可广泛识别
同一自然语义的多种表达,满足用户多种日常的口语表达,适应用户的个性化使用习惯。智能终端设备间实现互联互通,不再局限于远近场识别、多APP操作等技术障碍,有效改善了使用场景碎片化、用户操作复杂及易误识等问题。采用基于自然语义标注的命令词进行编码后,整个通信系统的设备间通信数据传数量显著缩小至几个字节,可在不同终端设备间有效传输,提升速度,节约资源,满足室内环境下多种语音设备同时使用的需要。
附图说明
图1为本发明所述基于自然语义编码的语音终端通信方法中进行编码的一种具体实施方式示意图;
图2为本发明所述基于自然语义编码的语音终端通信方法中进行语音识别和执行命令的一种具体实施方式示意图;
图3为本发明所述基于自然语义编码的语音终端系统的一种具体实施方式示意图。
具体实施方式
下面结合附图,对本发明的具体实施方式作进一步的详细说明。
本发明所述基于自然语义编码的语音终端通信方法,其特征在于,包括如下步骤:
S1收集具备明确含义的自然语料作为命令词存入语音数据库,根据自然语料的含义,对含义相同但表达形式不同的自然语料进行分类并标注含义;
S2对含义相同的命令词设置其唯一对应的组合编码,所述组合编码至少包括如下字段:产品字段、语义字段及陈述字段;所述产品字段表示命令词作用的设备,所述语义字段表示命令词的命令,所述陈述字段用于区分不同的表达形式;
S3任一设备接收到语音信息并识别出对应的命令词后,发现产品字段对应的设备为自身则进入步骤S5,否则将命令词对应的组合编码发送至中央处理器;
S4中央处理器根据组合编码中的产品字段将组合编码发送至对应的设备;
S5设备接收命令词编码后,解码得到具体的操作指令并检查设备状态,状态正常时执行指令;否则不执行。
本发明主要针对日常使用中常见的多种表达方式表达同一具体含义的情形,例如对一台语音控制的空调,可能使用“开空凋”,“打开空调”,“空调开机”等说法表达完全相同的含义。
对于“开空凋”、“打开空调”、“空调开机”三种自然语料,实际表达的是同一含义,可以都将其作为命令词存储在语音数据库中,并将其归类标注为同一具体含义的命令词。
以上三种自然语料针对的设备是空调,对空调的命令是开机,假设空调的编码是KT,开机编码是ON,对这三种自然语料的陈述字段分别定义为01,02和03;则“开空凋”、“打开空调”、“空调开机”三种自然语料的组合编码分别为KTON01、KTON02和KTON03;将这三种自然语料作为命令词存储在设备的语音数据库中,并赋予这三个命令词各自唯一的组合编码KTON01、KTON02和KTON03。实际运用中,可以对整个组合编码或各个字段的头尾添加标注字符即表头信息,可以提高识别速度,降低误识别几率。
用户可能在分布有多个语音设备的室内对其中的语音控制空调发布命令:打开空调。此时可能是最接近用户的语音设备如门口的吸顶灯接收到这一命令词,吸顶灯内安装的语音识别模块对命令词的识别并提取出组合编码后,发现其产品字段描述的产品不是自身,则将整个组合编码发送至系统中的中央处理器。
中央处理器可以单独设置,也可以随附于任意一台语音控制设备上;中央处理器接收到组合编码后,识别出产品字段标识的设备并将组合编码发送至对应的设备。
设备接收到组合编码后,可以先对自身状态进行自检,例如电源是否接通,当前设备状态是否可以执行当前命令等。自检通过后根据语义字段执行命令。
对于部分命令词,可能适用于一种以上的设备,而用户发出的命令词并没有明确的指出是哪种设备,例如对于用户发出的“加大音量”,可能同时适用于电视机和收音机,对于“增大风量”可能同时适用于风扇和新风机等。
对于这样的命令词,组合编码的产品字段不标注特定的某个设备,可以以通用字段标注,如标注为TY,表示不特定的设备。
也可以将适合该命令的所有设备字符组合为该命令词组合编码的产品字段,中间可以以自定义的间隔符分割,如电视机的产品字段为TV,收音机的产品字段为VD,则对于“加大音量”这一命令词的组合编码,其产品字段可以为TV*VD,*为间隔符。此时中央处理器或任意设备接收到这一组合编码后,对产品字段中的各个部分进行识别,中央处理器将组合编码发送给识别出的全部设备。
对于针对不止一种设备的命令词,也可以采用如下的处理方式,所述步骤S4中,中央处理器检测到通用字段后,检测上一次得到的命令词所涉及的设备,将本次命令词发给上一次命令词涉及的设备。
例如根据客户的使用习惯,对于电视机的操作,在第一次发出命令时,客户通常会明确的指定设备发出如“电视机开机”这样的命令,而在紧接着的第二次针对电视机的命令时,通常会忽略掉设备发音,如客户会跟着发出“声音大一点”这样的无设备词命令,绝大多数情况下,这种无设备命令词都是针对上一次命令词的同一设备,采用这种跟踪设备的方式,更适合用户的使用习惯。
本发明所述基于自然语义编码的语音终端通信方法,可以基于以下的语音终端系统,包括多个设备,每一设备具有语音识别模块及与其连接的编码模块、语音数据库和通信模块,不同设备的所述通信模块之间可通信;所述语音终端系统还包括至少一个可与通信模块通信的中央处理器。
本发明中特别适用于可以进行本地语音识别的设备,例如采用申请人所生产的CI1006系列本地语音识别芯片的语音设备,由于在本地完成了语音识别,不需要将数据量庞大的原始语音数据通过网络传输,对设备的网络带宽硬件性能大幅降低,由于传输的字节数量少,抗干扰性能强,适用于在室内等较复杂的电磁环境下使用,采用蓝牙、wifi、zigbee、红外、2.4G等传输带宽小,但传输速度快,信号传输稳定的通信协议对应的模块即可实现室内多个语音设备的组网识别。
本发明所涉及的计算机程序指令可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明所述基于自然语义编码的语音终端通信方法及系统,可广泛识别
同一自然语义的多种表达,满足用户多种日常的口语表达,适应用户的个性化使用习惯。智能终端设备间实现互联互通,不再局限于远近场识别、多APP操作等技术障碍,有效改善了使用场景碎片化、用户操作复杂及易误识等问题。采用基于自然语义标注的命令词进行编码后,整个通信系统的设备间通信数据传数量显著缩小至几个字节,可在不同终端设备间有效传输,提升速度,节约资源,满足室内环境下多种语音设备同时使用的需要。
前文所述的为本发明的各个优选实施例,各个优选实施例中的优选实施方式如果不是明显自相矛盾或以某一优选实施方式为前提,各个优选实施方式都可以任意叠加组合使用,所述实施例以及实施例中的具体参数仅是为了清楚表述发明人的发明验证过程,并非用以限制本发明的专利保护范围,本发明的专利保护范围仍然以其权利要求书为准,凡是运用本发明的说明书及附图内容所作的等同结构变化,同理均应包含在本发明的保护范围内。
Claims (7)
1.一种基于自然语义编码的语音终端通信方法,其特征在于,包括如下步骤:
S1收集具备明确含义的自然语料作为命令词存入语音数据库,根据自然语料的含义,对含义相同但表达形式不同的自然语料进行分类并标注含义;
S2对含义相同的命令词设置其唯一对应的组合编码,所述组合编码至少包括如下字段:产品字段、语义字段及陈述字段;所述产品字段表示命令词作用的设备,所述语义字段表示命令词的命令,所述陈述字段用于区分不同的表达形式;
S3任一设备接收到语音信息并识别出对应的命令词后,发现产品字段对应的设备为自身则进入步骤S5,否则将命令词对应的组合编码发送至中央处理器;
S4中央处理器根据组合编码中的产品字段将组合编码发送至对应的设备;
S5设备接收命令词编码后,解码得到具体的操作指令并检查设备状态,状态正常时执行指令;否则不执行。
2.如权利要求1所述的语音终端通信方法,其特征在于,所述命令词的含义针对一种以上设备时,将适合该命令的所有设备字符组合为该命令词组合编码的产品字段,中间以自定义的间隔符分割不同设备字符。
3.如权利要求1所述的语音终端通信方法,其特征在于,所述命令词的含义针对一种以上设备时,所述产品字段以通用字段标注。
4.如权利要求3所述的语音终端通信方法,其特征在于,所述步骤S4中,中央处理器检测到通用字段后,检测上一次得到的命令词所涉及的设备,将本次命令词发给上一次命令词涉及的设备。
5.基于自然语义编码的语音终端系统,其特征在于,包括多个设备,每一设备具有语音识别模块及与其连接的编码模块、语音数据库和通信模块,不同设备的所述通信模块之间可通信;所述语音终端系统还包括至少一个可与通信模块通信的中央处理器。
6.如权利要求5所述的语音终端系统,其特征在于,所述中央处理器位于设备上。
7.如权利要求5所述的语音终端系统,其特征在于,所述通信模块的通信方式包括但不限于蓝牙、wifi、zigbee、红外、2.4G通信协议。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911124142.8A CN110782897B (zh) | 2019-11-18 | 2019-11-18 | 一种基于自然语义编码的语音终端通信方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911124142.8A CN110782897B (zh) | 2019-11-18 | 2019-11-18 | 一种基于自然语义编码的语音终端通信方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110782897A CN110782897A (zh) | 2020-02-11 |
CN110782897B true CN110782897B (zh) | 2021-11-23 |
Family
ID=69391400
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911124142.8A Active CN110782897B (zh) | 2019-11-18 | 2019-11-18 | 一种基于自然语义编码的语音终端通信方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110782897B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111128177B (zh) * | 2020-03-10 | 2023-01-06 | 科通工业技术(深圳)有限公司 | 一种语音控制命令词动态加载系统及方法 |
CN113112787A (zh) * | 2021-04-21 | 2021-07-13 | 成都启英泰伦科技有限公司 | 一种红外码压缩学习方法 |
CN115050368B (zh) * | 2022-08-12 | 2023-06-20 | 北京探境科技有限公司 | 设备控制方法、装置、智能设备及可读存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1319223A (zh) * | 1998-09-21 | 2001-10-24 | 汤姆森多媒体公司 | 包括遥控受控装置和该装置的音频遥控器的系统 |
CN1458645A (zh) * | 2002-05-15 | 2003-11-26 | 日本先锋公司 | 语音识别设备和语音识别程序 |
CN105869640A (zh) * | 2015-01-21 | 2016-08-17 | 上海墨百意信息科技有限公司 | 识别针对当前页面中的实体的语音控制指令的方法和装置 |
CN106921544A (zh) * | 2016-06-20 | 2017-07-04 | 广州零号软件科技有限公司 | 预设语音交互命令词库的智能家居语音控制系统 |
EP3226239A1 (en) * | 2016-03-30 | 2017-10-04 | Panasonic Automotive & Industrial Systems Europe GmbH | Voice command system |
CN107770009A (zh) * | 2017-09-29 | 2018-03-06 | 珠海格力电器股份有限公司 | 一种控制装置、方法、存储介质及设备 |
CN111415658A (zh) * | 2019-01-07 | 2020-07-14 | 成都启英泰伦科技有限公司 | 一种去中心化语音控制多设备系统及其控制方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9805717B2 (en) * | 2015-03-06 | 2017-10-31 | Dell Products Lp | Voice-based input using natural language processing for interfacing with one or more devices |
US9912977B2 (en) * | 2016-02-04 | 2018-03-06 | The Directv Group, Inc. | Method and system for controlling a user receiving device using voice commands |
-
2019
- 2019-11-18 CN CN201911124142.8A patent/CN110782897B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1319223A (zh) * | 1998-09-21 | 2001-10-24 | 汤姆森多媒体公司 | 包括遥控受控装置和该装置的音频遥控器的系统 |
CN1458645A (zh) * | 2002-05-15 | 2003-11-26 | 日本先锋公司 | 语音识别设备和语音识别程序 |
CN105869640A (zh) * | 2015-01-21 | 2016-08-17 | 上海墨百意信息科技有限公司 | 识别针对当前页面中的实体的语音控制指令的方法和装置 |
EP3226239A1 (en) * | 2016-03-30 | 2017-10-04 | Panasonic Automotive & Industrial Systems Europe GmbH | Voice command system |
CN106921544A (zh) * | 2016-06-20 | 2017-07-04 | 广州零号软件科技有限公司 | 预设语音交互命令词库的智能家居语音控制系统 |
CN107770009A (zh) * | 2017-09-29 | 2018-03-06 | 珠海格力电器股份有限公司 | 一种控制装置、方法、存储介质及设备 |
CN111415658A (zh) * | 2019-01-07 | 2020-07-14 | 成都启英泰伦科技有限公司 | 一种去中心化语音控制多设备系统及其控制方法 |
Non-Patent Citations (2)
Title |
---|
"A Cloud Middleware Enabling Natural Speech Analysis for IoT Policy Enforcement in Smart Home Environments";Razib Iqbal;《 2018 IEEE International Congress on Internet of Things (ICIOT)》;20180707;全文 * |
"基于语音交互的空间信息移动服务技术研究";孙立林;《中国优秀硕士学位论文全文数据库(信息科技辑)》;20060515;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN110782897A (zh) | 2020-02-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110782897B (zh) | 一种基于自然语义编码的语音终端通信方法及系统 | |
WO2020042993A1 (zh) | 语音控制方法、装置及系统 | |
WO2020244573A1 (zh) | 一种语音指令的处理方法、设备及控制系统 | |
CN112051743A (zh) | 设备控制方法、冲突处理方法、相应的装置及电子设备 | |
CN109377995B (zh) | 一种控制设备的方法与装置 | |
CN112201246A (zh) | 基于语音的智能控制方法、装置、电子设备及存储介质 | |
CN111965985B (zh) | 智能家居设备控制方法、装置、电子设备以及存储介质 | |
CN110010125A (zh) | 一种智能机器人的控制方法、装置、终端设备及介质 | |
US20220358921A1 (en) | Speech processing for multiple inputs | |
CN111640435A (zh) | 基于智能音箱控制红外家电的方法及装置 | |
WO2022141990A1 (zh) | 家电设备及其语音控制方法、语音装置、计算机存储介质 | |
CN112910744A (zh) | 智能设备控制方法及装置、存储介质及电子设备 | |
CN108665900B (zh) | 云端唤醒方法及系统、终端以及计算机可读存储介质 | |
CN108932947B (zh) | 语音控制方法及家电设备 | |
CN112863508A (zh) | 免唤醒交互方法和装置 | |
CN109859752A (zh) | 一种语音控制方法、装置、存储介质及语音联控系统 | |
CN110262278B (zh) | 智能家电设备的控制方法及装置、智能电器设备 | |
CN112037785A (zh) | 智能设备的控制方法、装置、电子设备及存储介质 | |
CN111210824B (zh) | 语音信息处理方法、装置、电子设备及存储介质 | |
CN111292731A (zh) | 语音信息处理方法、装置、电子设备及存储介质 | |
CN113205809A (zh) | 语音唤醒方法和装置 | |
WO2018023514A1 (zh) | 一种家居背景音乐控制系统 | |
CN116343772A (zh) | 命令词识别方法及电子设备和存储介质 | |
CN111415657A (zh) | 一种去中心化设备、多设备系统及其语音控制方法 | |
CN114627859A (zh) | 一种脱机语义识别电子相框的方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |