CN108269571A - 一种带有摄像头功能的语音控制终端 - Google Patents
一种带有摄像头功能的语音控制终端 Download PDFInfo
- Publication number
- CN108269571A CN108269571A CN201810187423.7A CN201810187423A CN108269571A CN 108269571 A CN108269571 A CN 108269571A CN 201810187423 A CN201810187423 A CN 201810187423A CN 108269571 A CN108269571 A CN 108269571A
- Authority
- CN
- China
- Prior art keywords
- terminal
- host
- control
- user
- camera function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000010408 sweeping Methods 0.000 claims abstract description 29
- 238000012545 processing Methods 0.000 claims description 6
- 239000004020 conductor Substances 0.000 claims description 5
- 239000011521 glass Substances 0.000 claims description 4
- 238000013497 data interchange Methods 0.000 claims description 3
- 230000001788 irregular Effects 0.000 claims description 3
- 238000000465 moulding Methods 0.000 claims description 3
- 230000008054 signal transmission Effects 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 abstract description 5
- 230000002159 abnormal effect Effects 0.000 abstract description 4
- 238000004140 cleaning Methods 0.000 abstract description 4
- 238000004891 communication Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- 230000007812 deficiency Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005406 washing Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical group C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Manipulator (AREA)
- Telephonic Communication Services (AREA)
Abstract
一种带有摄像头功能的语音控制终端，设置有主机和装配在主机上的摄像组件，主机的输入端口通过无线网络连接用户手机终端，主机的输出端口通过无线信号连接至智能扫地机器人。可以和家里的扫地机器人实现无线连接，用户控制智能音箱后，智能音箱控制扫地机器人开启打扫模式，并且智能音箱的摄像装置可以监控扫地机器人是否在干活，如果没有扫完就结束则通知用户，如果正常完成也通知用户已经完成；智能音箱可以代替人的命令与监控功能，确保用户上班时家里被智能音箱接管，一旦扫地机器人不小心打破家里的东西或者造成家里异常，也能及时通知用户或者用户的手机。
Description
技术领域
本发明涉及电子设备技术领域，特别是涉及一种带有摄像头功能的语音控制终端。
背景技术
现目前，在如今这个信息多元化，科技飞速发展的时代中，人们将语音控制与音响设备集于一体，传统的语音控制终端的配置简单，功能单一，仅能够通过声波实现对自身设备局部功能进行控制，已经远远不能够满足人们的需求。而且现有的语音控制终端不能与手机进行互联，由手机来控制智能家电。并且不能通过摄像头拍摄到的图像进行视频分析。
因此，针对现有技术不足，提供一种带有摄像头功能的语音控制终端以解决现有技术不足甚为必要。
发明内容
本发明的目的在于避免现有技术的不足之处而提供一种带有摄像头功能的语音控制终端，带有摄像头功能的语音控制终端，可以和家里的扫地机器人实现无线连接，用户控制智能音箱后，智能音箱控制扫地机器人开启打扫模式，并且智能音箱的摄像装置可以监控扫地机器人是否在干活，如果没有扫完就结束则通知用户，如果正常完成也通知用户已经完成；智能音箱可以代替人的命令与监控功能，确保用户上班时家里被智能音箱接管，一旦扫地机器人不小心打破家里的东西或者造成家里异常，也能及时通知用户或者用户的手机。
本发明的上述目的通过如下技术手段实现。
提供设置有一种带有摄像头功能的语音控制终端，设置有主机，所述主机装配有与主机视频端口连接的摄像组件，主机的无线信号传输端口通过网络服务器分别与用户的手机终端和智能扫地机器人控制端连接；
主机内部设有控制主板，控制主板通过电导体连接到摄像组件，控制主板包括视频分析单元，手机终端通过无线网络与网络服务器的移动终端接收端口连接，网络服务器的移动终端输出端口与控制主板的输入端电连接，控制主板的输入端连接视频分析单元的输出端，视频分析单元的输入端连接摄像组件的输出端，控制主板的输出端连通智能扫地机器人控制端的接收端；
视频分析单元：对摄像组件采集的视频信息进行解码分析处理，再将处理后的信息发送至控制主板；
手机终端：用户通过手机终端上进行指令操作，并将用户的操作信息发送至网络服务器；
控制主板：对手机终端或视频分析单元发出的信号进行分析，得到控制指令信息，并将指令信息发送至网络服务器；
网络服务器：实现手机终端与控制主板的数据互通，并且接收手机终端发出的指令，将指令发送至控制主板进行处理，再将控制主板处理后的控制指令信息传输至智能扫地机器人控制端；
智能扫地机器人控制端：对智能扫地机器人进行控制。
优选的，所述主机的底部安装有固定支架，主机上设置有显示面板，显示面板的中部安装有显示屏幕，显示面板的上部安装有摄像组件，显示面板的下部安装有麦克风，且控制主板分别通过电导体连接到摄像组件、麦克风和显示屏幕。
优选的，所述显示屏幕与水平面L所形成的夹角为α，且α＞90°。
优选的，所述麦克风的个数至少为4个，麦克风的中心点连线为一条直线，且该直线平行于水平面L。
优选的，所述显示面板的前表面安装有透明玻璃罩。
优选的，所述固定支架位于与主机连接的位置设有凸台，且主机背部的设有与凸台相对应的凹槽。
优选的，所述固定支架的截面为倒立的字母“T”。
优选的，所述固定支架为一体成型结构。
优选的，所述凸台、所述凹槽设置为相互匹配的圆形或者正方形或者长方形或者不规则形状。
另一优选的，所述凸台、所述凹槽设置为相互匹配的正多变形
该带有摄像头功能的语音控制终端，可以和家里的扫地机器人实现无线连接，用户控制智能音箱后，智能音箱控制扫地机器人开启打扫模式，并且智能音箱的摄像装置可以监控扫地机器人是否在干活，如果没有扫完就结束则通知用户，如果正常完成也通知用户已经完成；智能音箱可以代替人的命令与监控功能，确保用户上班时家里被智能音箱接管，一旦扫地机器人不小心打破家里的东西或者造成家里异常，也能及时通知用户或者用户的手机。
附图说明
利用附图对本发明作进一步的说明，但附图中的内容不构成对本发明的任何限制。
图1是本发明一种带有摄像头功能的语音控制终端的结构示意图。
图2是图1的装配体示意图。
图3是图1中主机的主视图。
图4是图1中主机的后视图。
图5是图1中固定支架的截面结构示意图。
图6是本发明信号传输连接框图。
图7是本发明中视频分析单元的结构框图。
从图1至图7中，包括：
1、固定支架；
11、凸台，12、凹槽；
2、主机；
3、显示面板；
31、显示屏幕，32、摄像组件，33、麦克风；
4、透明玻璃罩。
具体实施方式
结合以下实施例对本发明作进一步描述。
实施例1。
如图1-7所示，一种带有摄像头功能的语音控制终端，设置有固定支架1，固定支架1上安装有主机2，主机2上设置有显示面板3，显示面板3的中部安装有显示屏幕31，显示面板3的上部安装有摄像组件32，显示面板3的下方安装有麦克风33。
主机内部设有控制主板，且控制主板分别通过电导体连接到摄像组件32、麦克风33和显示屏幕31，控制主板包括网络服务器，控制主板的无线数据传输端口通过网络服务器连接至智能家居网络和用户的手机终端。
该语音控制终端能够通过语音和视频信号进行控制，摄像组件32捕捉视频信息，麦克风33则进行捕捉语音信息。
摄像组件32和麦克风33将采集的信息传输至控制主板，有控制主板对显示屏幕31显示内容下发指令进行操控。
主机内部设有控制主板，控制主板通过电导体连接到摄像组件，控制主板包括电连接网络服务器、视频分析单元和控制主板，手机终端通过无线网络与网络服务器的移动终端接收端口连接，网络服务器的移动终端输出端口与控制主板的输入端电连接，控制主板的输入端连接视频分析单元的输出端，视频分析单元的输入端连接摄像组件的输出端，控制主板的输出端连通智能扫地机器人控制端的接收端。
视频分析单元：对摄像组件采集的视频信息进行解码分析处理，再将处理后的信息发送至控制主板。
如图6所示，视频分析单元包括依次电连接的视频信息接收端、信号处理终端和数据储存端。
信号处理终端包括依次电连接的视频稳定模块、目标提取模块、目标操作模块、目标分类模块和智能报警模块。
视频信息接收端接收摄像组件拍摄32的视频信息。
视频稳定模块对接收的视频信息接收端的视频信息进行去抖动操作，将去抖操作后的视频信息传递给目标提取模块。
目标提取模块分析视频信息接收端的视频信息，将视频信息按帧解析，提取每一帧中视频信息的像素点，并将各相邻帧中的像素点进行比较统计，得出目标物体模型；
目标操作模块对图像提取模块提取的目标物体模型进行轮廓进行降噪处理，将目标物体模型解析为孤立的像素点和目标物，移除目标物体模型中孤立的像素点，并将目标物体中相邻的像素点连接。
目标分类模块对目标操作模块中处理好的目标信息进行分类处理，目标分类模块解析目标信息的长度、宽度、高度、速度信息，结合解析的信息在目标数据库中进行匹配寻找，解析出目标模型。
智能警报模块中集成警报算法，智能报警模块收集目标分类模块分类出的目标信息，警报算法对目标模型进行分类，分为危险模型数据库和安全模型数据库，若目标分类模块分类出的目标模型落入危险模型则智能警报模块发出报警信息，若目标分类模块分类出的目标模型落入安全模型，则智能报警模块不发出报警信息。
数据存储端存储视频信息。
手机终端：用户通过手机终端上进行指令操作，并将用户的操作信息发送至网络服务器。
控制主板：对手机终端或视频分析单元发出的信号进行分析，得到控制指令信息，并将指令信息发送至网络服务器。
网络服务器：实现手机终端与控制主板的数据互通，并且接收手机终端发出的指令，将指令发送至控制主板进行处理，再将控制主板处理后的控制指令信息传输至智能扫地机器人控制端。
网络服务器包含有中心服务器、数据库服务器、应用服务器、实时数据平台，网络服务器为控制主板提供网络服务，控制主板包含有CPU、储存器、GSM通信模块、GPRS通信模块、3G通信模块、4G通信模块、电力线载波通信模块、ZigBee模块、wifi无线模块。网络服务器包含有中心服务器、数据库服务器、应用服务器、实时数据平台，网络服务器为控制主板提供网络服务，控制主板包含有CPU、储存器、GSM通信模块、GPRS通信模块、3G通信模块、4G通信模块、电力线载波通信模块、ZigBee模块、wifi无线模块。
智能家居网络中设置有电力猫，电力猫中包含有PLC设备分局端和调制解调器。
智能扫地机器人为现有的智能扫地机器人。
可以和家里的扫地机器人实现无线连接，用户控制智能音箱后(可以远程控制也行)，智能音箱控制扫地机器人开启打扫模式，并且智能音箱的摄像装置可以监控扫地机器人是否在干活，如果没有扫完就结束则通知用户，如果正常完成也通知用户已经完成；智能音箱可以代替人的命令与监控功能，确保用户上班时家里被智能音箱接管，一旦扫地机器人不小心打破家里的东西或者造成家里异常，也能及时通知用户或者用户的手机。
如图2所示，为了确保语音信号接收的敏捷和完整，显示屏幕31与水平面L所形成的夹角为α，且α＞90°。
该实施例中麦克风33的个数至少为4个，具体数量可根据实际情况而定，4个麦克风33可通过不同位置对语音信号进行采集，所采集到的语音信号更加完整，麦克风33的中心点连线为一条直线，且该直线平行于水平面L，装配方便，观赏起来更加简洁。
与此同时，为了对显示面板3起到更好的保护，而不影响语音控制终端的整体功能和效果，显示面板3的前表面安装有透明玻璃罩4。
如图1所示，固定支架1位于与主机2连接的位置设有凸台11，且主机2背部的设有与凸台11相对应的凹槽12。
凸台11与凹槽12的设计是为了防止固定支架1上的主机2发生脱落，造成主机2损坏。
需要说明的是，凸台、所述凹槽设置为相互匹配的圆形或者正方形或者长方形或者不规则形状。凸台、凹槽也可以设置为相互匹配的正多变形。
如图5所示，固定支架1整体分为两部分，一部分为底座，另一部分是与主机2相连接的支撑部，该实施例中固定支架1为一体成型结构，也可以为可拆卸式的两部分。
如图5所示，从固定支架1的横截面观察，固定支架1的截面为倒立的字母“T”。
该带显示屏幕31的语音控制终端，能够通过麦克风33实现语音输入，摄像组件32进行视频信息采集，并在显示屏幕31上进行显示，同时固定支架1能够确保语音信号接收的方便、敏捷。
最后应当说明的是，以上实施例仅用以说明本发明的技术方案而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。
Claims (10)
1.一种带有摄像头功能的语音控制终端，其特征在于：设置有主机，所述主机装配有与主机视频端口连接的摄像组件，主机的无线信号传输端口通过网络服务器分别与用户的手机终端和智能扫地机器人控制端连接；
主机内部设有控制主板，控制主板通过电导体连接到摄像组件，控制主板包括视频分析单元，手机终端通过无线网络与网络服务器的移动终端接收端口连接，网络服务器的移动终端输出端口与控制主板的输入端电连接，控制主板的输入端连接视频分析单元的输出端，视频分析单元的输入端连接摄像组件的输出端，控制主板的输出端连通智能扫地机器人控制端的接收端；
视频分析单元：对摄像组件采集的视频信息进行解码分析处理，再将处理后的信息发送至控制主板；
手机终端：用户通过手机终端上进行指令操作，并将用户的操作信息发送至网络服务器；
控制主板：对手机终端或视频分析单元发出的信号进行分析，得到控制指令信息，并将指令信息发送至网络服务器；
网络服务器：实现手机终端与控制主板的数据互通，并且接收手机终端发出的指令，将指令发送至控制主板进行处理，再将控制主板处理后的控制指令信息传输至智能扫地机器人控制端；
智能扫地机器人控制端：对智能扫地机器人进行控制。
2.根据权利要求1所述的一种带有摄像头功能的语音控制终端，其特征在于：所述主机的底部安装有固定支架，主机上设置有显示面板，显示面板的中部安装有显示屏幕，所述摄像组件安装在显示面板的上部，显示面板的下部安装有麦克风，且控制主板分别通过电导体连接到摄像组件、麦克风和显示屏幕。
3.根据权利要求2所述的一种带有摄像头功能的语音控制终端，其特征在于：所述显示屏幕与水平面L所形成的夹角为α，且α＞90°。
4.根据权利要求3所述的一种带有摄像头功能的语音控制终端，其特征在于：所述麦克风的个数至少为4个，且麦克风的中心点连线为一条直线，且该直线平行于水平面L。
5.根据权利要求4所述的一种带有摄像头功能的语音控制终端，其特征在于：所述显示面板的前表面安装有透明玻璃罩。
6.根据权利要求5所述的一种带有摄像头功能的语音控制终端，其特征在于：所述固定支架位于与主机连接的位置设有凸台，且主机背部设有与凸台相对应的凹槽。
7.根据权利要求6所述的一种带有摄像头功能的语音控制终端，其特征在于：所述固定支架的截面为倒立的字母“T”。
8.根据权利要求7所述的一种带有摄像头功能的语音控制终端，其特征在于：所述固定支架为一体成型结构。
9.根据权利要求6所述的带有摄像头功能的语音控制终端，其特征在于：所述凸台、所述凹槽设置为相互匹配的圆形或者正方形或者长方形或者不规则形状。
10.根据权利要求6所述的带有摄像头功能的语音控制终端，其特征在于：所述凸台、所述凹槽设置为相互匹配的正多变形。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810187423.7A CN108269571B (zh) | 2018-03-07 | 2018-03-07 | 一种带有摄像头功能的语音控制终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810187423.7A CN108269571B (zh) | 2018-03-07 | 2018-03-07 | 一种带有摄像头功能的语音控制终端 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108269571A true CN108269571A (zh) | 2018-07-10 |
| CN108269571B CN108269571B (zh) | 2024-01-09 |
Family
ID=62774726
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810187423.7A Active CN108269571B (zh) | 2018-03-07 | 2018-03-07 | 一种带有摄像头功能的语音控制终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108269571B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110025262A (zh) * | 2019-04-18 | 2019-07-19 | 珠海市一微半导体有限公司 | 一种多功能扫地机器人 |
| CN111508495A (zh) * | 2020-05-02 | 2020-08-07 | 北京花兰德科技咨询服务有限公司 | 一种与人协作的人工智能机器人及通信方法 |
| CN111510667A (zh) * | 2019-01-31 | 2020-08-07 | 科沃斯机器人股份有限公司 | 监控方法、设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014135023A1 (zh) * | 2013-03-06 | 2014-09-12 | 广东欧珀移动通信有限公司 | 一种智能终端的人机交互方法及系统 |
| CN104836987A (zh) * | 2015-04-17 | 2015-08-12 | 来安县新元机电设备设计有限公司 | 一种智能监控设备及终端 |
| KR20160022489A (ko) * | 2014-08-20 | 2016-03-02 | 옥윤선 | 마이크 확장 기능을 구비한 스마트단말과 스마트단말 기반의 마이크 확장 시스템 |
| WO2017147825A1 (zh) * | 2016-03-02 | 2017-09-08 | 武克易 | 智能设备 |
| CN207867889U (zh) * | 2018-03-07 | 2018-09-14 | 佛山市云米电器科技有限公司 | 一种带有摄像头功能的语音控制终端 |
-
2018
- 2018-03-07 CN CN201810187423.7A patent/CN108269571B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014135023A1 (zh) * | 2013-03-06 | 2014-09-12 | 广东欧珀移动通信有限公司 | 一种智能终端的人机交互方法及系统 |
| KR20160022489A (ko) * | 2014-08-20 | 2016-03-02 | 옥윤선 | 마이크 확장 기능을 구비한 스마트단말과 스마트단말 기반의 마이크 확장 시스템 |
| CN104836987A (zh) * | 2015-04-17 | 2015-08-12 | 来安县新元机电设备设计有限公司 | 一种智能监控设备及终端 |
| WO2017147825A1 (zh) * | 2016-03-02 | 2017-09-08 | 武克易 | 智能设备 |
| CN207867889U (zh) * | 2018-03-07 | 2018-09-14 | 佛山市云米电器科技有限公司 | 一种带有摄像头功能的语音控制终端 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111510667A (zh) * | 2019-01-31 | 2020-08-07 | 科沃斯机器人股份有限公司 | 监控方法、设备及存储介质 |
| CN110025262A (zh) * | 2019-04-18 | 2019-07-19 | 珠海市一微半导体有限公司 | 一种多功能扫地机器人 |
| CN111508495A (zh) * | 2020-05-02 | 2020-08-07 | 北京花兰德科技咨询服务有限公司 | 一种与人协作的人工智能机器人及通信方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108269571B (zh) | 2024-01-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108269571A (zh) | 一种带有摄像头功能的语音控制终端 | |
| CN204856114U (zh) | 智能机柜管理系统 | |
| CN110705482A (zh) | 一种基于视频ai智能分析的人员行为告警提示系统 | |
| CN101959060B (zh) | 视频客流监控系统及方法 | |
| CN210093385U (zh) | 一种监测开关通断状态的装置 | |
| CN201854371U (zh) | 人脸抓拍视频服务器 | |
| CN102348099B (zh) | 嵌入式视频烟雾探测器及烟雾识别方法 | |
| CN106209610A (zh) | 嵌入式家庭信息数据中心智能网关系统装置 | |
| CN107124319A (zh) | 一种基于mac地址匹配的智能变电站网络设备拓扑动态识别装置 | |
| CN112188164A (zh) | 一种基于ai视觉的违规行为实时监测系统及方法 | |
| CN106851211A (zh) | 智能监控系统 | |
| CN110991401A (zh) | 一种监测厨师是否佩戴口罩和帽子进行安全操作的方法 | |
| CN207867889U (zh) | 一种带有摄像头功能的语音控制终端 | |
| CN104504852A (zh) | 一种基于图像预警婴儿安全监护器及婴儿安全判断方法 | |
| CN110225195A (zh) | 一种语音通话方法及终端 | |
| CN107214712A (zh) | 悬轨式机器人设备及系统 | |
| CN201127091Y (zh) | 具无线视频安防看护功能手机 | |
| CN103968762A (zh) | 一种基于数字图像处理的粮仓粮食容量监控系统 | |
| CN109905674A (zh) | 一种带被动热释电红外探测器（pir）并支持移动侦测的网络摄像头 | |
| CN106600800A (zh) | 一种新型门禁读卡器 | |
| CN208003405U (zh) | 一种基于可穿戴设备的运动监测系统 | |
| CN202587163U (zh) | 一种基于3g移动通信的网络摄像机系统 | |
| CN213182353U (zh) | 一种基于体感识别技术的便携式水池清洗监测仪 | |
| CN208959211U (zh) | 一种自带称重功能的灭火装置 | |
| CN209400891U (zh) | 一种智能化电力监控终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |