CN109545225B - 一种基于电子设备远场语音且可动态调整的蓝牙交互方法 - Google Patents

一种基于电子设备远场语音且可动态调整的蓝牙交互方法 Download PDF

Info

Publication number
CN109545225B
CN109545225B CN201811495002.7A CN201811495002A CN109545225B CN 109545225 B CN109545225 B CN 109545225B CN 201811495002 A CN201811495002 A CN 201811495002A CN 109545225 B CN109545225 B CN 109545225B
Authority
CN
China
Prior art keywords
electronic equipment
bluetooth
module
far
voice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811495002.7A
Other languages
English (en)
Other versions
CN109545225A (zh
Inventor
邹文婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Changhong Electric Co Ltd
Original Assignee
Sichuan Changhong Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Changhong Electric Co Ltd filed Critical Sichuan Changhong Electric Co Ltd
Priority to CN201811495002.7A priority Critical patent/CN109545225B/zh
Publication of CN109545225A publication Critical patent/CN109545225A/zh
Application granted granted Critical
Publication of CN109545225B publication Critical patent/CN109545225B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42221—Transmission circuitry, e.g. infrared [IR] or radio frequency [RF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42225—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details characterized by types of remote control, e.g. universal remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Quality & Reliability (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Selective Calling Equipment (AREA)

Abstract

本发明公开了一种基于电子设备远场语音且可动态调整的蓝牙交互方法，包括以下步骤：电子设备在开机的状态下，通过远场语音模块的拾音模块拾取其拾音范围内用户的语音数据；通过音频处理模块对拾取的语音数据进行处理；语音识别模块对经处理后的语音数据进行识别，并将识别的结果发送给电子设备的MCU；根据电子设备与蓝牙遥控器的数据交互流程，在电子设备的软件系统内设置与该电子设备的蓝牙模块工作状态相对应的接口；电子设备的MCU将语音数据的识别结果与接口进行匹配，调用相应的接口，控制电子设备的蓝牙模块进入相应的工作状态。本发明将电子设备的远场语音功能与蓝牙遥控器功能进行整合优化，通过远场语音来解决蓝牙遥控器应用中的相关问题。

Description

一种基于电子设备远场语音且可动态调整的蓝牙交互方法
技术领域
本发明涉及电子设备技术领域，特别是一种基于电子设备远场语音且可动态调整的蓝牙交互方法。
背景技术
为了增强电子设备的可扩展性，方便与周边外设进行连接使用，越来越多的电子设备，如电视机、智能音箱等家电产品内置了蓝牙模块，并配备了蓝牙遥控器。蓝牙遥控器具有可以不对准接收器进行遥控、不受其它光干扰、可以传送语音数据等优点，但在使用前需要蓝牙遥控器与电子设备进行配对，建立起一一对应的蓝牙连接。而同品牌的电子设备与其蓝牙遥控器间的配对等操作方式、数据交互流程、数据格式程通常都是固定的,且配对时遥控器发送的数据采用广播包形式，不具有定向性；这导致了以下问题：在电子设备的生产线以及销售展台或其它同时存在几台同品牌同类型电子设备的情形下,使用蓝牙遥控器进行配对操作的时候,经常出现无法准确地与预期的电子设备配对成功,反而与周边其它配对成功的误配对问题；为了避免这种情况的发生，一般采用的解决方案是通过在电子设备端检测接收到的蓝牙遥控器发射信号的信号强度RSSI值，并设置一定的门限范围，通过调整电子设备端的RSSI值间接地控制蓝牙遥控器的配对距离。该方案的问题在于：用户在配对过程中，为了达到该门限范围，需要将蓝牙遥控器拿到靠近电子设备蓝牙天线10cm以内的位置，操作不够便捷。
发明内容
为解决现有技术中存在的问题，本发明的目的是提供一种基于电子设备远场语音且可动态调整的蓝牙交互方法，本发明将电子设备的远场语音功能与蓝牙遥控器功能进行整合优化，通过远场语音来解决蓝牙遥控器应用中的相关问题。
为实现上述目的，本发明采用的技术方案是：一种基于电子设备远场语音且可动态调整的蓝牙交互方法，包括以下步骤：
(1)电子设备在开机的状态下，通过电子设备远场语音模块的拾音模块拾取用户的语音数据；
(2)通过远场语音模块的音频处理模块对拾取的语音数据进行处理；
(3)远场语音模块的语音识别模块对步骤(2)中经处理后的语音数据进行识别，并将识别的结果发送给电子设备的MCU；
(4)根据电子设备与蓝牙遥控器的数据交互流程，在电子设备的软件系统内设置与该电子设备的蓝牙模块工作状态相对应的接口，调用所述接口即可控制电子设备蓝牙模块的工作状态；
(5)电子设备的MCU将步骤(3)中语音数据的识别结果与步骤(4)中所述的接口进行匹配，MCU调用相应的接口，控制电子设备的蓝牙模块进入相应的工作状态。
作为一种优选的实施方式，所述远场语音模块为电子设备内置或外置的远场语音模块。
作为另一种优选的实施方式，在步骤(2)中音频处理模块对拾取的语音数据进行的处理具体包括噪声抑制、回声消除和旁瓣抑制。
作为另一种优选的实施方式，在步骤(3)中，对语音数据的识别，还可以通过电子设备的网络模块发送到云端进行识别，并将识别的结果发送给电子设备的MCU。
作为另一种优选的实施方式，所述蓝牙模块工作状态相对应的接口的功能包括：
发起配对，电子设备发起配对流程，下发Pairing Request以建立ACL连接命令；
关闭配对，关闭电子设备配对功能，关闭蓝牙scan，蓝牙底层fireware不再接收蓝牙遥控器发送的paring advertising配对广播，从而电子设备不会下发Pairing Request命令去建立ACL连接，因而电子设备不会进入配对流程；
调整配对RSSI信号强度的门限；
寻找蓝牙遥控器，在电子设备与蓝牙遥控器建立有连接的状态下，通过HOGP发送指令，控制蓝牙遥控器蜂鸣器鸣叫，以指示遥控器所在位置。
作为另一种优选的实施方式，所述电子设备为电视机或智能音箱。
本发明的有益效果是：
(1)本发明通过电子设备远场语音模块的拾音模块拾取其拾音范围内用户的语音数据对其蓝牙模块的工作状态进行控制，一方面在蓝牙遥控器还未配对，不能控制电子设备的时候，对蓝牙遥控器与电子设备之间的配对距离进行调整控制；另一方面实现电子设备在可配对与不可配对状态间进行动态切换；从而有助于解决电子设备生产线以及销售展台或同时存在几台同品牌同类型电子设备的情形下,使用一只蓝牙遥控器进行配对操作的时候,经常出现无法准确地与预期的电子设备配对成功,反而与周边其它电子设备配对成功的误配对问题。同时由于拾音模块的拾音范围比较大，从而解决了用户配对时需要将遥控器拿到靠近电视机蓝牙天线处,操作不够便捷的问题。
(2)本发明将电子设备的远场语音功能与蓝牙功能进行整合优化，利用电子设备设备内置或外置的远场语音功能，内置丰富的语音指令，对电子设备与蓝牙遥控器的数据交互流程进行深度、细化的处理。不用增加硬件成本，利用软件功能及流程整合，即可在一定程度上解决误配对等在使用蓝牙遥控器的过程中遇到的问题，使之在不同环境下得到更优的使用体验。
附图说明
图1为本发明实施例的流程框图；
图2为本发明实施例中电视机的蓝牙模块工作状态的结构示意图；
具体实施方式
下面结合附图对本发明的实施例进行详细说明。
实施例
本实施例以电视机为例进行说明，如图1所示，一种基于电视机远场语音且可动态调整的蓝牙交互方法，包括以下步骤：
(1)电视机在开机的状态下，通过电视机远场语音模块的拾音模块拾取其拾音范围内用户的语音数据，即用户需要与哪台电视机进行交互时，就在对应的电视机的拾音范围内对其蓝牙模块的工作状态进行语音控制，而每台电视机的拾音范围可由用户对其进行设定，例如在卖场同时存在多台电视机的情况下，可设定较小的拾音范围，使每台电视机的拾音范围均不相交，从而准确地与预期的电视机进行配对；
(2)通过远场语音模块的音频处理模块对拾取的语音数据进行处理；
(3)远场语音模块的语音识别模块对步骤(2)中经处理后的语音数据进行识别，并将识别的结果发送给电视机的MCU；
(4)根据电视机与蓝牙遥控器的数据交互流程，在电视机的软件系统内设置与该电视机的蓝牙模块工作状态相对应的接口，调用所述接口即可控制电视机蓝牙模块的工作状态；
(5)电视机的MCU将步骤(3)中语音数据的识别结果与步骤(4)中所述的接口进行匹配，MCU调用相应的接口，控制电视机的蓝牙模块进入相应的工作状态，从而实现对电子设备与其蓝牙遥控器的交互过程的控制。
在其中一个实施例中，所述远场语音模块为电视机内置或外置的远场语音模块。
在另外一个实施例中，在步骤(2)中音频处理模块对拾取的语音数据进行的处理具体包括噪声抑制、回声消除和旁瓣抑制。
在另外一个实施例中，在步骤(3)中，对语音数据的识别，还可以通过电视机的网络模块发送到云端进行识别，并将识别的结果发送给电视机的MCU。
在另外一个实施例中，如图2所示，所述蓝牙模块工作状态相对应的接口的功能包括：
发起配对，电视机发起配对流程，下发Pairing Request以建立ACL连接命令；
关闭配对，关闭电视机配对功能，关闭蓝牙scan，蓝牙底层fireware不再接收蓝牙遥控器发送的paring advertising配对广播，从而电视机不会下发Pairing Request命令去建立ACL连接，因而电视机不会进入配对流程；
调整配对RSSI信号强度的门限，具体包括缩短配对距离和加大配对距离，当识别到的语音指令为缩短配对距离时，电视机的MCU控制其蓝牙模块提高检测的RSSI门限值，当识别到的语音指令为加大配对距离时，电视机的MCU控制其蓝牙模块降低检测的RSSI门限值，调整配对RSSI信号强度的门限可在卖场环境提高该门限以缩短配对距离，或者在家庭环境降低该门限以增加配对距离。
寻找蓝牙遥控器，在电视机与蓝牙遥控器建立有连接的状态下，通过HOGP发送指令，发出一个Find Me的定向广播，控制蓝牙遥控器蜂鸣器鸣叫，以指示遥控器所在位置。
以上所述实施例仅表达了本发明的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (6)

1.一种基于电子设备远场语音且可动态调整的蓝牙交互方法，其特征在于，包括以下步骤：
(1)电子设备在开机的状态下，通过电子设备远场语音模块的拾音模块拾取其拾音范围内用户的语音数据；当同时存在多台电子设备的情况下，设定每台电子设备的拾音范围，使每台电子设备的拾音范围均不相交，从而准确地与预期的电子设备进行配对；
(2)通过远场语音模块的音频处理模块对拾取的语音数据进行处理；
(3)远场语音模块的语音识别模块对步骤(2)中经处理后的语音数据进行识别，并将识别的结果发送给电子设备的MCU；
(4)根据电子设备与蓝牙遥控器的数据交互流程，在电子设备的软件系统内设置与该电子设备的蓝牙模块工作状态相对应的接口，调用所述接口即可控制电子设备蓝牙模块的工作状态；
(5)电子设备的MCU将步骤(3)中语音数据的识别结果与步骤(4)中所述的接口进行匹配，MCU调用相应的接口，控制电子设备的蓝牙模块进入相应的工作状态。
2.根据权利要求1所述的基于电子设备远场语音且可动态调整的蓝牙交互方法，其特征在于，所述远场语音模块为电子设备内置或外置的远场语音模块。
3.根据权利要求1所述的基于电子设备远场语音且可动态调整的蓝牙交互方法，其特征在于，在步骤(2)中音频处理模块对拾取的语音数据进行的处理具体包括噪声抑制、回声消除和旁瓣抑制。
4.根据权利要求1所述的基于电子设备远场语音且可动态调整的蓝牙交互方法，其特征在于，在步骤(3)中，对语音数据的识别，还可以通过电子设备的网络模块发送到云端进行识别，并将识别的结果发送给电子设备的MCU。
5.根据权利要求1所述的基于电子设备远场语音且可动态调整的蓝牙交互方法，其特征在于，所述蓝牙模块工作状态相对应的接口的功能包括：
发起配对，电子设备发起配对流程，下发Pairing Request以建立ACL连接命令；
关闭配对，关闭电子设备配对功能，关闭蓝牙scan，蓝牙底层fireware不再接收蓝牙遥控器发送的paring advertising配对广播，从而电子设备不会下发Pairing Request命令去建立ACL连接，因而电子设备不会进入配对流程；
调整配对RSSI信号强度的门限；
寻找蓝牙遥控器，在电子设备与蓝牙遥控器建立有连接的状态下，通过HOGP发送指令，控制蓝牙遥控器蜂鸣器鸣叫，以指示遥控器所在位置。
6.根据权利要求1-5任一项所述的基于电子设备远场语音且可动态调整的蓝牙交互方法，其特征在于，所述电子设备为电视机或智能音箱。
CN201811495002.7A 2018-12-07 2018-12-07 一种基于电子设备远场语音且可动态调整的蓝牙交互方法 Active CN109545225B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811495002.7A CN109545225B (zh) 2018-12-07 2018-12-07 一种基于电子设备远场语音且可动态调整的蓝牙交互方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811495002.7A CN109545225B (zh) 2018-12-07 2018-12-07 一种基于电子设备远场语音且可动态调整的蓝牙交互方法

Publications (2)

Publication Number Publication Date
CN109545225A CN109545225A (zh) 2019-03-29
CN109545225B true CN109545225B (zh) 2022-04-15

Family

ID=65853227

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811495002.7A Active CN109545225B (zh) 2018-12-07 2018-12-07 一种基于电子设备远场语音且可动态调整的蓝牙交互方法

Country Status (1)

Country Link
CN (1) CN109545225B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110366067B (zh) * 2019-05-27 2021-07-20 深圳康佳电子科技有限公司 一种远场语音模块回声消除电路及装置
CN110278205B (zh) * 2019-06-19 2021-05-28 百度在线网络技术（北京）有限公司 蓝牙音箱底座及其控制方法和系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108091338A (zh) * 2017-12-29 2018-05-29 江苏惠通集团有限责任公司 语音遥控系统及其主机端的数据处理方法及装置
CN108302697A (zh) * 2018-01-15 2018-07-20 珠海格力电器股份有限公司 语音控制处理方法及装置
CN108877181A (zh) * 2018-07-18 2018-11-23 深圳市茁壮网络股份有限公司 遥控器寻找方法、遥控器及电子设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110217950A1 (en) * 2010-03-05 2011-09-08 Alan Kozlay Apparatus & method to improve pairing security in Bluetooth™ headsets & earbuds
US9311525B2 (en) * 2014-03-19 2016-04-12 Qualcomm Incorporated Method and apparatus for establishing connection between electronic devices
KR101634343B1 (ko) * 2014-06-18 2016-06-28 임광재 스마트폰 앱을 통한 단말기 장치
KR101568335B1 (ko) * 2014-11-26 2015-11-12 현대자동차주식회사 차량에서의 블루투스 페어링 제공 방법 및 장치
US9654904B2 (en) * 2015-02-19 2017-05-16 Xerox Corporation System and method for flexibly pairing devices using adaptive variable thresholding
US11082851B2 (en) * 2017-03-17 2021-08-03 Lg Electronics Inc. Method and apparatus for processing audio signal by using Bluetooth technology
DK179549B1 (en) * 2017-05-16 2019-02-12 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
CN107360536B (zh) * 2017-06-02 2021-03-09 深圳市冠旭电子股份有限公司 控制终端设备的方法、终端设备及计算机可读存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108091338A (zh) * 2017-12-29 2018-05-29 江苏惠通集团有限责任公司 语音遥控系统及其主机端的数据处理方法及装置
CN108302697A (zh) * 2018-01-15 2018-07-20 珠海格力电器股份有限公司 语音控制处理方法及装置
CN108877181A (zh) * 2018-07-18 2018-11-23 深圳市茁壮网络股份有限公司 遥控器寻找方法、遥控器及电子设备

Also Published As

Publication number Publication date
CN109545225A (zh) 2019-03-29

Similar Documents

Publication Publication Date Title
CN106910500B (zh) 对带麦克风阵列的设备进行语音控制的方法及设备
US10531540B2 (en) Intelligent lamp holder and usage method applied therein
EP3173888A1 (en) Method and system for managing household devices
US9749573B2 (en) Method, device and system for controlling cable television system
EP2986084A1 (en) Led lighting device and led lighting control system
US20180308348A1 (en) Wireless voice transparent transmission apparatus and control terminal
US20190327106A1 (en) Method, apparatus, device, system and storage medium for controlling smart home
CN109545225B (zh) 一种基于电子设备远场语音且可动态调整的蓝牙交互方法
CN206353839U (zh) 一种电视语音控制系统
CA3013147A1 (en) Systems and methods for automatic speech recognition
KR102125799B1 (ko) 지능형 단말기 원격 제어기 기반 IoT 제어 시스템 및 제어 방법
EP1307875B1 (en) System for controlling an apparatus with speech commands
CN105872655A (zh) 设备控制方法、装置及电子设备
CN105869374A (zh) 遥控终端及其寻找方法
CN206490785U (zh) 同时具有远场和近场语音识别的遥控装置及电视系统
CN106023566B (zh) 一种基于语音识别的蓝牙遥控装置、系统及方法
CN205566625U (zh) 一种数字会议系统
US20200379731A1 (en) Voice assistant
CN102006362A (zh) 一种终端控制方法以及用户终端
KR20130089067A (ko) 영상통화 서비스를 제공가능한 스마트 ｔｖ
CN205375792U (zh) 一种带卡拉ok功能的遥控器
KR20180071930A (ko) 음향신호 인식용 무선 원격 제어기
CN110351690B (zh) 一种智能语音系统及其语音处理方法
US20120122399A1 (en) Wireless signal processing apparatus and method
TWI770867B (zh) 語音辨識裝置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant