CN107680594B - 一种分布式智能语音采集识别系统及其采集识别方法 - Google Patents

一种分布式智能语音采集识别系统及其采集识别方法 Download PDF

Info

Publication number
CN107680594B
CN107680594B CN201710969240.6A CN201710969240A CN107680594B CN 107680594 B CN107680594 B CN 107680594B CN 201710969240 A CN201710969240 A CN 201710969240A CN 107680594 B CN107680594 B CN 107680594B
Authority
CN
China
Prior art keywords
voice
chip
microphone
central control
control processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710969240.6A
Other languages
English (en)
Other versions
CN107680594A (zh
Inventor
张文民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NINGBO FREEWINGS TECHNOLOGIES CO LTD
Original Assignee
NINGBO FREEWINGS TECHNOLOGIES CO LTD
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NINGBO FREEWINGS TECHNOLOGIES CO LTD filed Critical NINGBO FREEWINGS TECHNOLOGIES CO LTD
Priority to CN201710969240.6A priority Critical patent/CN107680594B/zh
Publication of CN107680594A publication Critical patent/CN107680594A/zh
Application granted granted Critical
Publication of CN107680594B publication Critical patent/CN107680594B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/28Constructional details of speech recognition systems
    • G10L15/30Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00Monitoring arrangements; Testing arrangements
    • H04R29/001Monitoring arrangements; Testing arrangements for loudspeakers
    • H04R29/002Loudspeaker arrays
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • G10L21/0216Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166Microphone arrays; Beamforming
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/70Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Quality & Reliability (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

本发明公开了一种分布式智能语音采集识别系统,包括分布设置的至少两个麦克风单元,以及分别与各麦克风单元无线通讯连接的主机,麦克风单元包括依次连接的麦克风、第一语音及中控处理器、无线音频发射芯片,主机包括依次连接的无线音频接收芯片、第二语音及中控处理器、音频功放芯片、喇叭单元。通过将语音采集部分麦克风单元与语音处理部分主机分开布置,将原有的麦克风阵列化整为零以多个麦克风单元分离布局,可以实现多点语音采集,语音采集距离远范围广。脱离了麦克风阵列一致性的高限制后,麦克风硬件、算法处理器的成本均可降低,原有的远场识别可以转化成多个麦克风单元的近场识别,识别效率更高。

Description

一种分布式智能语音采集识别系统及其采集识别方法
技术领域
本发明涉及语音识别技术领域,具体涉及一种分布式智能语音采集识别系统及其采集识别方法。
背景技术
目前,在语音采集和识别场景中,多会用到麦克风阵列设备,这种麦克风阵列多是在一个产品上安装多个麦克风进行语音识别。在实际使用过程中我们发现,相关技术中的这类麦克风阵列由于其多个麦克风之间的距离很近,使得各麦克风识别到的语音信号差异性很小,在对语音信号进行多路采集之后,需要使用非常强大的处理器并设计非常复杂的算法才能实现高效清晰的语音识别。在成本控制方面,这种麦克风阵列需要各单体麦克风具备很高的性能参数一致性,这就造成麦克风的单体价格很高。在远场识别的场景中,这种麦克风阵列在背景噪声的影响下,语音识别率也较低。在实际使用过程中,这类设备还存在安装移动的不便利性问题,由于麦克风阵列都是集成安装在一个设备上,使用时移动十分不便,只能实现设备周边近距离的语音识别,语音识别限制很大范围太小。
发明内容
为解决上述技术问题,本发明的技术方案是,一方面,提供一种分布式智能语音采集识别系统,包括分布设置的至少两个麦克风单元,以及分别与各所述麦克风单元无线通讯连接的主机,所述麦克风单元包括依次连接的麦克风、第一语音及中控处理器、无线音频发射芯片,所述主机包括依次连接的无线音频接收芯片、第二语音及中控处理器、音频功放芯片、喇叭单元。
本发明技术方案的有益效果为:通过设计分布式的语音采集及识别系统,将语音采集部分麦克风单元与语音处理部分主机分开布置,将原有的麦克风阵列化整为零以多个麦克风单元分离布局,可以实现多点语音采集,语音采集距离远范围广。脱离了麦克风阵列一致性的高限制后,麦克风硬件、算法处理器的成本均可降低,原有的远场识别可以转化成多个麦克风单元的近场识别,识别效率更高。并且从整体性的单一麦克风阵列系统优化成多个移动式语音识别系统,场景内任一地方都可以快速移动装备进行高效语音识别,大大提高了用户的使用体验。
进一步地,还包括WIFI芯片、WIFI路由器和云端语音识别服务器,所述WIFI芯片经所述WIFI路由器与所述云端语音识别服务器无线通讯连接,所述WIFI芯片与所述第二语音及中控处理器连接。
进一步地,还包括用于操作麦克风单元的人机交互单元,所述人机交互单元分别与各所述麦克风单元连接,所述人机交互单元上设置有按键操作子单元、触控操作子单元、语音自动唤醒子单元以及手势识别子单元中的至少一种。
另一方面,本发明还提供一种分布式智能语音采集识别方法,采用如上述的分布式智能语音采集识别系统,包括以下步骤:
S1:分布设置的各所述麦克风单元分别采集第一语音信号,并将采集到的第一语音信号传输给第一语音及中控处理器;
S2:所述第一语音及中控处理器对第一语音信号进行处理得到第二语音信号,并将第二语音信号传输给无线音频发射芯片;
S3:所述无线音频发射芯片将第二语音信号发送给所述主机中的所述无线音频接收芯片;
S4:所述无线音频接收芯片接收第二语音信号并传输给所述主机中的第二语音及中控处理器;
S5:所述第二语音及中控处理器将第二语音信号传送给WIFI芯片,所述WIFI芯片将所述第二语音信号通过WIFI路由器传输给云端语音识别服务器;
S6:所述云端语音识别服务器对第二语音信号进行解析处理后得到指令及语音内容,并将指令及语音内容经网络下发传输给WIFI芯片;
S7:所述WIFI芯片接收指令及语音内容并传送给第二语音及中控处理器,所述第二语音及中控处理器对指令及语音内容进行处理后得到声音信号,并将声音信号传输给音频功放芯片;
S8:所述音频功放芯片接收声音信号放大后驱动喇叭单元进行播放。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例一种分布式智能语音采集识别系统的结构示意图;
图2是本发明实施例一种分布式智能语音采集识别方法的流程图。
其中,附图标记为:
1、麦克风单元,11、麦克风,12、第一语音及中控处理器,13、无线音频发射芯片,2、主机,21、无线音频接收芯片,22、第二语音及中控处理器,23、音频功放芯片,24、喇叭单元,25、WIFI芯片,3、WIFI路由器,4、云端语音识别服务器。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明。
请参阅图1、图2所示,本发明提供了一种分布式智能语音采集识别系统,包括分布设置的至少两个麦克风单元1,以及分别与各麦克风单元1无线通讯连接的主机2,其中,麦克风单元1包括依次连接的麦克风11、第一语音及中控处理器12、无线音频发射芯片13,主机2包括依次连接的无线音频接收芯片21、第二语音及中控处理器22、音频功放芯片23、喇叭单元24。
具体地,在麦克风单元1一侧,上述麦克风11与第一语音及中控处理器12之间可以是通过模拟接口连接,无线音频发射芯片13与第一语音及中控处理器12之间可以是通过数字音频接口I2S连接。在主机2一侧,无线音频接收芯片21与第二语音及中控处理器22可以是通过串口UART连接,音频功放芯片23与第二语音及中控处理器22之间通过数字音频接口连接。通过设计分布式的语音采集及识别系统,将语音采集部分麦克风单元1与语音处理部分主机2分开布置,将原有的麦克风阵列化整为零以多个麦克风单元1分离布局,可以实现多点语音采集,语音采集距离远范围广。脱离了麦克风阵列一致性的高限制后,麦克风硬件、算法处理器的成本均可降低,原有的远场识别可以转化成多个麦克风单元的近场识别,识别效率更高。并且从整体性的单一麦克风阵列系统优化成多个移动式语音识别系统,场景内任一地方都可以快速移动装备进行高效语音识别,大大提高了用户的使用体验。
本实施例中,上述各麦克风单元1中的麦克风11可以是NSM2402AT数字麦克风,用于采集语音信号。第一语音及中控处理器12与主机2中的第二语音及中控处理器22可以是AP8048C音频编解码器,用于将麦克风采集到的模拟语音信号进行编码,转换成适合无线传输的数字信号;并对整个系统的人机交互界面进行管理。无线音频发射芯片13和无线音频接收芯片21可以是AVMD6210音频无线音频接收模块,其中无线音频发射芯片13用于将语音及中控处理器输出的语音信号发射出去;无线音频接收芯片21用于接收无线音频发射芯片13传送过来的音频信号,并将信号传送给第二语音及中控处理器22。其中音频功放芯片23可以是STA339BW,用于将音乐信号放大,以驱动喇叭单元。
作为其中一种改进,本实施例中,该系统还包括WIFI芯片25、WIFI路由器3和云端语音识别服务器4,其中,WIFI芯片25经WIFI路由器3与云端语音识别服务器4无线通讯连接,WIFI芯片与第二语音及中控处理器之间通过串口连接。
具体地,在上述基本方案中,语音信号可以经第二语音及中控处理器22处理后直接放大播放。作为本实施例中的优化设计,第二语音及中控处理器22也可以将接收到的语音信号经WIFI芯片25与云端语音识别服务器4进行交互通讯,完成对大数据量语音信号的迅捷高效处理。其中,WIFI芯片25可以是HED10W07SN,wifi soc芯片,用于联网保持智主机和语音识别服务器之间的交互和通讯。
作为其中一种优化设计,本实施例中,上述系统还包括用于操作麦克风单元1的人机交互单元,人机交互单元分别与各麦克风单元1连接,人机交互单元上设置有按键操作子单元、触控操作子单元、语音自动唤醒子单元以及手势识别子单元中的至少一种。
另一方面,本发明还提供一种分布式智能语音采集识别方法,采用上述分布式智能语音采集识别系统,包括以下步骤:
S1:分布设置的各麦克风单元分别采集第一语音信号,并将采集到的第一语音信号传输给第一语音及中控处理器;
S2:第一语音及中控处理器对第一语音信号进行处理得到第二语音信号,并将第二语音信号传输给无线音频发射芯片;
S3:无线音频发射芯片将第二语音信号发送给主机中的无线音频接收芯片;
S4:无线音频接收芯片接收第二语音信号并传输给主机中的第二语音及中控处理器;
S5:第二语音及中控处理器将第二语音信号传送给WIFI芯片,WIFI芯片将第二语音信号通过WIFI路由器传输给云端语音识别服务器;
S6:云端语音识别服务器对第二语音信号进行解析处理后得到指令及语音内容,并将指令及语音内容经网络下发传输给WIFI芯片;
S7:WIFI芯片接收指令及语音内容并传送给第二语音及中控处理器,第二语音及中控处理器对指令及语音内容进行处理后得到声音信号,并将声音信号传输给音频功放芯片;
S8:音频功放芯片接收声音信号放大后驱动喇叭单元进行播放。
以上所述仅是本发明的优选实施方式,本发明的保护范围并不仅局限于上述实施例,凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理前提下的若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (1)

1.一种分布式智能语音采集识别方法,包括分布式智能语音采集识别系统,其特征在于,所述分布式智能语音采集识别系统包括分布设置的至少两个麦克风单元,以及分别与各所述麦克风单元无线通讯连接的主机,所述麦克风单元包括依次连接的麦克风、第一语音及中控处理器、无线音频发射芯片,所述主机包括依次连接的无线音频接收芯片、第二语音及中控处理器、音频功放芯片、喇叭单元;所述分布式智能语音采集识别系统还包括WIFI芯片、WIFI路由器和云端语音识别服务器,所述WIFI芯片经所述WIFI路由器与所述云端语音识别服务器无线通讯连接,所述WIFI芯片与所述第二语音及中控处理器连接;所述分布式智能语音采集识别系统还包括用于操作麦克风单元的人机交互单元,所述人机交互单元分别与各所述麦克风单元连接,所述人机交互单元上设置有按键操作子单元、触控操作子单元、语音自动唤醒子单元以及手势识别子单元中的至少一种;
所述分布式智能语音采集识别方法包括以下步骤:
S1:分布设置的各所述麦克风单元分别采集第一语音信号,并将采集到的第一语音信号传输给第一语音及中控处理器;
S2:所述第一语音及中控处理器对第一语音信号进行处理得到第二语音信号,并将第二语音信号传输给无线音频发射芯片;
S3:所述无线音频发射芯片将第二语音信号发送给所述主机中的所述无线音频接收芯片;
S4:所述无线音频接收芯片接收第二语音信号并传输给所述主机中的第二语音及中控处理器;
S5:所述第二语音及中控处理器将第二语音信号传送给WIFI芯片,所述WIFI芯片将所述第二语音信号通过WIFI路由器传输给云端语音识别服务器;
S6:所述云端语音识别服务器对第二语音信号进行解析处理后得到指令及语音内容,并将指令及语音内容经网络下发传输给WIFI芯片;
S7:所述WIFI芯片接收指令及语音内容并传送给第二语音及中控处理器,所述第二语音及中控处理器对指令及语音内容进行处理后得到声音信号,并将声音信号传输给音频功放芯片;
S8:所述音频功放芯片接收声音信号放大后驱动喇叭单元进行播放。
CN201710969240.6A 2017-10-18 2017-10-18 一种分布式智能语音采集识别系统及其采集识别方法 Active CN107680594B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710969240.6A CN107680594B (zh) 2017-10-18 2017-10-18 一种分布式智能语音采集识别系统及其采集识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710969240.6A CN107680594B (zh) 2017-10-18 2017-10-18 一种分布式智能语音采集识别系统及其采集识别方法

Publications (2)

Publication Number Publication Date
CN107680594A CN107680594A (zh) 2018-02-09
CN107680594B true CN107680594B (zh) 2023-12-15

Family

ID=61140722

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710969240.6A Active CN107680594B (zh) 2017-10-18 2017-10-18 一种分布式智能语音采集识别系统及其采集识别方法

Country Status (1)

Country Link
CN (1) CN107680594B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108461083B (zh) * 2018-03-23 2024-06-21 北京小米移动软件有限公司 电子设备主板、音频处理方法、装置和电子设备
CN110412881B (zh) * 2018-04-30 2022-10-14 仁宝电脑工业股份有限公司 分离式移动智能系统及其操作方法与基座装置
CN108597513A (zh) * 2018-05-04 2018-09-28 深圳创维-Rgb电子有限公司 基于5.8GHz无线传输电视远场语音识别系统及方法
CN110164446B (zh) * 2018-06-28 2023-06-30 腾讯科技(深圳)有限公司 语音信号识别方法和装置、计算机设备和电子设备
CN109584867A (zh) * 2018-11-08 2019-04-05 江西国泰利民信息科技有限公司 一种基于语音识别和wifi双通道智能语音机器人的数据传输方法
CN112995838B (zh) * 2021-03-01 2022-10-25 支付宝(杭州)信息技术有限公司 拾音设备、拾音系统和音频处理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105185094A (zh) * 2015-09-06 2015-12-23 深圳市泰宝峰科技有限公司 智能语音遥控器
CN106210978A (zh) * 2016-07-25 2016-12-07 中科创达软件股份有限公司 一种声控麦克风
CN206559550U (zh) * 2017-02-15 2017-10-13 深圳创维-Rgb电子有限公司 一种内置麦克风阵列的遥控器及电视系统
CN207381091U (zh) * 2017-10-18 2018-05-18 宁波翼动通讯科技有限公司 一种分布式智能语音采集识别系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105185094A (zh) * 2015-09-06 2015-12-23 深圳市泰宝峰科技有限公司 智能语音遥控器
CN106210978A (zh) * 2016-07-25 2016-12-07 中科创达软件股份有限公司 一种声控麦克风
CN206559550U (zh) * 2017-02-15 2017-10-13 深圳创维-Rgb电子有限公司 一种内置麦克风阵列的遥控器及电视系统
CN207381091U (zh) * 2017-10-18 2018-05-18 宁波翼动通讯科技有限公司 一种分布式智能语音采集识别系统

Also Published As

Publication number Publication date
CN107680594A (zh) 2018-02-09

Similar Documents

Publication Publication Date Title
CN107680594B (zh) 一种分布式智能语音采集识别系统及其采集识别方法
CN108597507A (zh) 远场语音功能实现方法、设备、系统及存储介质
CN201898592U (zh) 一种多功能的usb音箱芯片及音箱装置
CN207010925U (zh) 一种自带语音唤醒识别的耳机装置
CN109545216A (zh) 一种语音识别方法和语音识别系统
CN104023302A (zh) 可编程数字助听系统及其方法
CN206389530U (zh) 一种分体式无线耳机
CN106792321B (zh) 一种分体式无线耳机及其通信方法
WO2016173373A1 (zh) 基于脑电波感应耳机的音乐终端实时交互系统
CN108877799A (zh) 一种语音控制装置及方法
CN207381091U (zh) 一种分布式智能语音采集识别系统
CN204013995U (zh) 一种耳机交互系统和一种耳机
CN213547829U (zh) 麦克风的电路结构及终端
CN103079142B (zh) 一种无线低音炮低音延时可调系统及方法
CN216414579U (zh) 一种自动切换声道的一体式音箱
CN208691520U (zh) Wifi音箱
CN205160676U (zh) 适配移动终端的音视频一体设备
WO2021004067A1 (zh) 一种显示装置
CN204014059U (zh) 可编程数字助听系统
CN103136924B (zh) 一种多功能遥控装置
CN203933733U (zh) 一种远程声音互动通讯装置
CN208444595U (zh) 一种具有声音调节功能的朗读装置
CN207589158U (zh) 一种支持手机电脑的s06声卡转换器
CN210038760U (zh) 录入套件
CN204790341U (zh) 一种骨传导智能穿戴手表

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant