CN109935237A - 多移动终端的mic阵列自校准方法、装置及服务器 - Google Patents
多移动终端的mic阵列自校准方法、装置及服务器 Download PDFInfo
- Publication number
- CN109935237A CN109935237A CN201711375194.3A CN201711375194A CN109935237A CN 109935237 A CN109935237 A CN 109935237A CN 201711375194 A CN201711375194 A CN 201711375194A CN 109935237 A CN109935237 A CN 109935237A
- Authority
- CN
- China
- Prior art keywords
- mobile terminal
- terminal
- timestamp
- pickup
- multiple mobile
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Mobile Radio Communication Systems (AREA)
Abstract
本发明提供一种多移动终端的MIC阵列自校准方法、装置及服务器。所述方法包括：控制多个移动终端发起拾音，并指示所述多个移动终端在拾音同时为拾取的音频流加入时间戳；接收所述多个移动终端上传的所拾取的音频流；控制所述多个移动终端分别播放特定音频序列；在接收到的音频流中匹配所述特定音频序列，并提取时间戳；根据所提取的时间戳对所述多个移动终端进行空间定位和延迟校准，得到校准参数；使用所述校准参数对MIC阵列算法进行优化。本发明能够实现多移动终端的MIC阵列的校准和空间定位，估算移动终端的拾音延迟，简化后处理算法，提升拾音效果。
Description
技术领域
本发明涉及语言信号处理技术领域，尤其涉及一种多移动终端的MIC阵列自校准方法、装置及服务器。
背景技术
早在20世纪70、80年代，MIC(麦克风)阵列已经被应用于语音信号处理的研究中，进入90年代以来，基于MIC阵列的语音信号处理算法逐渐成为一个新的研究热点。而到了“声控时代”，这项技术的重要性显得尤为突出。MIC阵列从字面上，指的是MIC的排列。也就是说由一定数目的声学传感器(一般是MIC)组成，用来对声场的空间特性进行采样并处理的装置。
目前，在非多移动终端的分布式MIC阵列中，也有利用MIC拾音做空间定位的方案。
但是，在使用移动终端做MIC阵列时，考虑到不同移动终端上的MIC频率传输曲线有很大不同，使用常见的功率谱方式无法在这种情况下完成MIC阵列的空间定位。另外，不同移动终端存在不同的拾音延迟，这种延迟也会影响到后续的MIC阵列处理算法的效果。常规分布式MIC阵列的处理方式未考虑移动终端上的复杂性，即使完成了空间定位，并不能保证多终端采集的音频数据的同步，对后续阵列处理算法存在不利影响。
发明内容
本发明提供的多移动终端的MIC阵列自校准方法、装置及服务器，能够实现多移动终端的MIC阵列的校准和空间定位，估算移动终端的拾音延迟，简化后处理算法，提升拾音效果。
第一方面，本发明提供一种多移动终端的MIC阵列自校准方法，包括：
控制多个移动终端发起拾音，并指示所述多个移动终端在拾音同时为拾取的音频流加入时间戳；
接收所述多个移动终端上传的所拾取的音频流；
控制所述多个移动终端分别播放特定音频序列；
在接收到的音频流中匹配所述特定音频序列，并提取时间戳；
根据所提取的时间戳对所述多个移动终端进行空间定位和延迟校准，得到校准参数；
使用所述校准参数对MIC阵列算法进行优化。
可选地，当所述移动终端的个数为3个时，所述根据所提取的时间戳对所述多个移动终端进行空间定位和延迟校准，得到校准参数包括：
按照如下公式计算出t1、t2、t3、d12、d13、d23，作为校准参数：
T1+t1＝T11
T1+t2+d12/v＝T12
T1+t3+d13/v＝T13
T2+t2＝T22
T2+t1+d12/v＝T21
T2+t3+d13/v＝T23
T3+t3＝T33
T3+t2+d23/v＝T32
T3+t1+d13/v＝T31
其中，T1、T2、T3分别为各移动终端播放特定音频序列的时刻，t1、t2、t3分别为各移动终端的拾音延迟，d12、d13、d23为两两移动终端间的距离，T11、T12、T13为第一移动终端采集到的时间戳，T22、T21、T23为第二移动终端采集到的时间戳，T33、T32、T31为第三移动终端采集到的时间戳，v为声音传播的速度。
可选地，所述方法还包括：
通过在录音中插播音频序列的方式检测是否需要重新校准MIC阵列。
可选地，所述插播音频序列的时机为：当服务器MIC阵列算法失效时，或者当移动终端通过传感器检测到明显移动时，或者当预定时间到来时。
可选地，所插播的音频序列为19K以上超声波音频序列。
第二方面，本发明提供一种多移动终端的MIC阵列自校准装置，包括：
第一控制单元，用于控制多个移动终端发起拾音，并指示所述多个移动终端在拾音同时为拾取的音频流加入时间戳；
接收单元，用于接收所述多个移动终端上传的所拾取的音频流；
第二控制单元，用于控制所述多个移动终端分别播放特定音频序列；
匹配单元，用于在接收到的音频流中匹配所述特定音频序列，并提取时间戳；
计算单元，用于根据所提取的时间戳对所述多个移动终端进行空间定位和延迟校准，得到校准参数；
校准单元，用于使用所述校准参数对MIC阵列算法进行校准。
可选地，当所述移动终端的个数为3个时，所述计算单元，用于按照如下公式计算出t1、t2、t3、d12、d13、d23，作为校准参数：
T1+t1＝T11
T1+t2+d12/v＝T12
T1+t3+d13/v＝T13
T2+t2＝T22
T2+t1+d12/v＝T21
T2+t3+d13/v＝T23
T3+t3＝T33
T3+t2+d23/v＝T32
T3+t1+d13/v＝T31
其中，T1、T2、T3分别为各移动终端播放特定音频序列的时刻，t1、t2、t3分别为各移动终端的拾音延迟，d12、d13、d23为两两移动终端间的距离，T11、T12、T13为第一移动终端采集到的时间戳，T22、T21、T23为第二移动终端采集到的时间戳，T33、T32、T31为第三移动终端采集到的时间戳，v为声音传播的速度。
可选地，所述装置还包括：
插播单元，用于通过在录音中插播音频序列的方式检测是否需要重新校准MIC阵列。
可选地，所述插播音频序列的时机为：当服务器MIC阵列算法失效时，或者当移动终端通过传感器检测到明显移动时，或者当预定时间到来时。
可选地，所插播的音频序列为19K以上超声波音频序列。
第三方面，本发明提供一种服务器，所述服务器包括上述多移动终端的MIC阵列自校准装置。
本发明实施例提供的多移动终端的MIC阵列自校准方法、装置及服务器，控制多个移动终端发起拾音，并指示所述多个移动终端在拾音同时为拾取的音频流加入时间戳，接收所述多个移动终端上传的所拾取的音频流，控制所述多个移动终端分别播放特定音频序列，在接收到的音频流中匹配所述特定音频序列，并提取时间戳，根据所提取的时间戳对所述多个移动终端进行空间定位和延迟校准，得到校准参数；使用所述校准参数对MIC阵列算法进行优化。与现有技术相比，本发明能够实现多移动终端的MIC阵列的校准和空间定位，估算移动终端的拾音延迟，简化后处理算法，提升拾音效果。
附图说明
图1为本发明一实施例多移动终端的MIC阵列自校准方法的流程图；
图2为本发明一实施例多移动终端的MIC阵列自校准装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供一种多移动终端的MIC阵列自校准方法，如图1所示，所述方法包括：
S11、控制多个移动终端发起拾音，并指示所述多个移动终端在拾音同时为拾取的音频流加入时间戳。
S12、接收所述多个移动终端上传的所拾取的音频流。
S13、控制所述多个移动终端分别播放特定音频序列。
S14、在接收到的音频流中匹配所述特定音频序列，并提取时间戳。
S15、根据所提取的时间戳对所述多个移动终端进行空间定位和延迟校准，得到校准参数。
S16、使用所述校准参数对MIC阵列算法进行优化。
本发明实施例提供的多移动终端的MIC阵列自校准方法，控制多个移动终端发起拾音，并指示所述多个移动终端在拾音同时为拾取的音频流加入时间戳，接收所述多个移动终端上传的所拾取的音频流，控制所述多个移动终端分别播放特定音频序列，在接收到的音频流中匹配所述特定音频序列，并提取时间戳，根据所提取的时间戳对所述多个移动终端进行空间定位和延迟校准，得到校准参数；使用所述校准参数对MIC阵列算法进行优化。与现有技术相比，本发明能够实现多移动终端的MIC阵列的校准和空间定位，估算移动终端的拾音延迟，简化后处理算法，提升拾音效果。
下面结合具体实施例对本发明多移动终端的MIC阵列自校准方法进行详细说明。
本实施例以三个移动终端为例进行说明，实际应用中移动终端的数量可以为3个或3个以上，并不仅限于3个。
假定三个终端分别为P1、P2、P3；各终端的拾音延迟分别为t1、t2、t3；两两终端间的距离为d12、d13、d23。
三个终端已经和一个后台服务器建立无线连接。此处的后台服务器可以是真实的服务器，也可以是运行MIC阵列处理算法的移动终端。
首先，服务器控制三个移动终端发起拾音，并要求移动终端在拾音同时为拾取的音频流加入时间戳。
移动终端将拾取到的音频流上传至服务器。
然后，服务器控制三个移动终端分别发出特定音频序列。三个移动终端分别在Tx(T1、T2、T3)时刻播放特定音频序列。
接着，服务器通过带通滤波器+模板匹配的方法在收到的音频流中匹配期望的音频序列，并提取时间戳，三个移动终端采集到的时间戳为Tx1、Tx2、Tx3。
随之，服务器通过以上信息对移动终端进行空间定位和延迟校准，得到校准参数。校准参数的计算方法如下：
按照前面的流程，服务器可以建立如下九元一次方程式，其中v是声音传播的速度：
T1+t1＝T11
T1+t2+d12/v＝T12
T1+t3+d13/v＝T13
T2+t2＝T22
T2+t1+d12/v＝T21
T2+t3+d13/v＝T23
T3+t3＝T33
T3+t2+d23/v＝T32
T3+t1+d13/v＝T31
需要解出的变量有T1、T2、T3、t1、t2、t3、d12、d13、d23。
考虑到存在噪声干扰，可以使用最小二乘法或者其它求近似解的方法求出t1、t2、t3、d12、d13、d23(MIC阵列算法无需知道Tx的值)作为校准参数。
最后，服务器使用所述校准参数对MIC阵列算法进行优化。
进一步地，考虑到对于便携式移动终端组网的MIC阵列来说，移动终端本身是可移动的，如果仅在录音开始做校准和定位，会限制移动终端的MIC阵列组网的便利性。因此，可以通过在录音中插播音频序列的方式检测是否需要重新校准MIC阵列。
具体插播时机可以是服务器MIC阵列算法失效，也可以是移动终端通过传感器检测到明显移动，还可以是非常简单的定时播放。
为了降低插播的音频序列对正常录音的影响，可以使用19K以上超声波音频序列。
本发明实施例还提供一种多移动终端的MIC阵列自校准装置，如图2所示，所述装置包括：
第一控制单元11，用于控制多个移动终端发起拾音，并指示所述多个移动终端在拾音同时为拾取的音频流加入时间戳；
接收单元12，用于接收所述多个移动终端上传的所拾取的音频流；
第二控制单元13，用于控制所述多个移动终端分别播放特定音频序列；
匹配单元14，用于在接收到的音频流中匹配所述特定音频序列，并提取时间戳；
计算单元15，用于根据所提取的时间戳对所述多个移动终端进行空间定位和延迟校准，得到校准参数；
校准单元16，用于使用所述校准参数对MIC阵列算法进行校准。
本发明实施例提供的多移动终端的MIC阵列自校准装置，控制多个移动终端发起拾音，并指示所述多个移动终端在拾音同时为拾取的音频流加入时间戳，接收所述多个移动终端上传的所拾取的音频流，控制所述多个移动终端分别播放特定音频序列，在接收到的音频流中匹配所述特定音频序列，并提取时间戳，根据所提取的时间戳对所述多个移动终端进行空间定位和延迟校准，得到校准参数；使用所述校准参数对MIC阵列算法进行优化。与现有技术相比，本发明能够实现多移动终端的MIC阵列的校准和空间定位，估算移动终端的拾音延迟，简化后处理算法，提升拾音效果。
可选地，当所述移动终端的个数为3个时，所述计算单元15，用于按照如下公式计算出t1、t2、t3、d12、d13、d23，作为校准参数：
T1+t1＝T11
T1+t2+d12/v＝T12
T1+t3+d13/v＝T13
T2+t2＝T22
T2+t1+d12/v＝T21
T2+t3+d13/v＝T23
T3+t3＝T33
T3+t2+d23/v＝T32
T3+t1+d13/v＝T31
其中，T1、T2、T3分别为各移动终端播放特定音频序列的时刻，t1、t2、t3分别为各移动终端的拾音延迟，d12、d13、d23为两两移动终端间的距离，T11、T12、T13为第一移动终端采集到的时间戳，T22、T21、T23为第二移动终端采集到的时间戳，T33、T32、T31为第三移动终端采集到的时间戳，v为声音传播的速度。
可选地，所述装置还包括：
插播单元，用于通过在录音中插播音频序列的方式检测是否需要重新校准MIC阵列。
可选地，所述插播音频序列的时机为：当服务器MIC阵列算法失效时，或者当移动终端通过传感器检测到明显移动时，或者当预定时间到来时。
可选地，所插播的音频序列为19K以上超声波音频序列。
本发明实施例还提供一种服务器，所述服务器包括上述多移动终端的MIC阵列自校准装置。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。
Claims (11)
1.一种多移动终端的MIC阵列自校准方法，其特征在于，包括：
控制多个移动终端发起拾音，并指示所述多个移动终端在拾音同时为拾取的音频流加入时间戳；
接收所述多个移动终端上传的所拾取的音频流；
控制所述多个移动终端分别播放特定音频序列；
在接收到的音频流中匹配所述特定音频序列，并提取时间戳；
根据所提取的时间戳对所述多个移动终端进行空间定位和延迟校准，得到校准参数；
使用所述校准参数对MIC阵列算法进行优化。
2.根据权利要求1所述的方法，其特征在于，当所述移动终端的个数为3个时，所述根据所提取的时间戳对所述多个移动终端进行空间定位和延迟校准，得到校准参数包括：
按照如下公式计算出t1、t2、t3、d12、d13、d23，作为校准参数：
T1+t1＝T11
T1+t2+d12/v＝T12
T1+t3+d13/v＝T13
T2+t2＝T22
T2+t1+d12/v＝T21
T2+t3+d13/v＝T23
T3+t3＝T33
T3+t2+d23/v＝T32
T3+t1+d13/v＝T31
其中，T1、T2、T3分别为各移动终端播放特定音频序列的时刻，t1、t2、t3分别为各移动终端的拾音延迟，d12、d13、d23为两两移动终端间的距离，T11、T12、T13为第一移动终端采集到的时间戳，T22、T21、T23为第二移动终端采集到的时间戳，T33、T32、T31为第三移动终端采集到的时间戳，v为声音传播的速度。
3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：
通过在录音中插播音频序列的方式检测是否需要重新校准MIC阵列。
4.根据权利要求3所述的方法，其特征在于，所述插播音频序列的时机为：当服务器MIC阵列算法失效时，或者当移动终端通过传感器检测到明显移动时，或者当预定时间到来时。
5.根据权利要求3所述的方法，其特征在于，所插播的音频序列为19K以上超声波音频序列。
6.一种多移动终端的MIC阵列自校准装置，其特征在于，包括：
第一控制单元，用于控制多个移动终端发起拾音，并指示所述多个移动终端在拾音同时为拾取的音频流加入时间戳；
接收单元，用于接收所述多个移动终端上传的所拾取的音频流；
第二控制单元，用于控制所述多个移动终端分别播放特定音频序列；
匹配单元，用于在接收到的音频流中匹配所述特定音频序列，并提取时间戳；
计算单元，用于根据所提取的时间戳对所述多个移动终端进行空间定位和延迟校准，得到校准参数；
校准单元，用于使用所述校准参数对MIC阵列算法进行校准。
7.根据权利要求6所述的装置，其特征在于，当所述移动终端的个数为3个时，所述计算单元，用于按照如下公式计算出t1、t2、t3、d12、d13、d23，作为校准参数：
T1+t1＝T11
T1+t2+d12/v＝T12
T1+t3+d13/v＝T13
T2+t2＝T22
T2+t1+d12/v＝T21
T2+t3+d13/v＝T23
T3+t3＝T33
T3+t2+d23/v＝T32
T3+t1+d13/v＝T31
其中，T1、T2、T3分别为各移动终端播放特定音频序列的时刻，t1、t2、t3分别为各移动终端的拾音延迟，d12、d13、d23为两两移动终端间的距离，T11、T12、T13为第一移动终端采集到的时间戳，T22、T21、T23为第二移动终端采集到的时间戳，T33、T32、T31为第三移动终端采集到的时间戳，v为声音传播的速度。
8.根据权利要求6或7所述的装置，其特征在于，所述装置还包括：
插播单元，用于通过在录音中插播音频序列的方式检测是否需要重新校准MIC阵列。
9.根据权利要求8所述的装置，其特征在于，所述插播音频序列的时机为：当服务器MIC阵列算法失效时，或者当移动终端通过传感器检测到明显移动时，或者当预定时间到来时。
10.根据权利要求8所述的装置，其特征在于，所插播的音频序列为19K以上超声波音频序列。
11.一种服务器，其特征在于，所述服务器包括如权利要求6至10中任一项所述的多移动终端的MIC阵列自校准装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711375194.3A CN109935237A (zh) | 2017-12-19 | 2017-12-19 | 多移动终端的mic阵列自校准方法、装置及服务器 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711375194.3A CN109935237A (zh) | 2017-12-19 | 2017-12-19 | 多移动终端的mic阵列自校准方法、装置及服务器 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109935237A true CN109935237A (zh) | 2019-06-25 |
Family
ID=66983745
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711375194.3A Pending CN109935237A (zh) | 2017-12-19 | 2017-12-19 | 多移动终端的mic阵列自校准方法、装置及服务器 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109935237A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115631758A (zh) * | 2022-12-21 | 2023-01-20 | 无锡沐创集成电路设计有限公司 | 音频信号处理方法、装置、设备和存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1288222A (zh) * | 1999-09-14 | 2001-03-21 | 德国汤姆森-布兰特有限公司 | 具有麦克风阵列的语音控制系统 |
| CN103827959A (zh) * | 2011-08-08 | 2014-05-28 | 高通股份有限公司 | 用于控制噪声的电子装置 |
| CN104937663A (zh) * | 2012-12-28 | 2015-09-23 | 汤姆逊许可公司 | 用于麦克风阵列校正的方法、装置和系统 |
| JP2016025629A (ja) * | 2014-07-24 | 2016-02-08 | パナソニックＩｐマネジメント株式会社 | 指向性制御システム及び指向性制御方法 |
| CN105793723A (zh) * | 2013-12-31 | 2016-07-20 | 谷歌公司 | 使用移动声源的麦克风自定位 |
-
2017
- 2017-12-19 CN CN201711375194.3A patent/CN109935237A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1288222A (zh) * | 1999-09-14 | 2001-03-21 | 德国汤姆森-布兰特有限公司 | 具有麦克风阵列的语音控制系统 |
| CN103827959A (zh) * | 2011-08-08 | 2014-05-28 | 高通股份有限公司 | 用于控制噪声的电子装置 |
| CN104937663A (zh) * | 2012-12-28 | 2015-09-23 | 汤姆逊许可公司 | 用于麦克风阵列校正的方法、装置和系统 |
| CN105793723A (zh) * | 2013-12-31 | 2016-07-20 | 谷歌公司 | 使用移动声源的麦克风自定位 |
| JP2016025629A (ja) * | 2014-07-24 | 2016-02-08 | パナソニックＩｐマネジメント株式会社 | 指向性制御システム及び指向性制御方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115631758A (zh) * | 2022-12-21 | 2023-01-20 | 无锡沐创集成电路设计有限公司 | 音频信号处理方法、装置、设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10839808B2 (en) | Detection of replay attack | |
| US9316717B2 (en) | Position determination of devices using stereo audio | |
| CN105277921B (zh) | 一种基于智能手机的被动声源定位方法 | |
| CN105301594B (zh) | 距离测量 | |
| CN105323772B (zh) | 一种基于智能手机的传感器网络节点自定位方法 | |
| CN110100459B (zh) | 音频信号再现装置和再现方法、声音收集装置和声音收集方法及程序 | |
| CN102044253B (zh) | 一种回声信号处理方法、系统及电视机 | |
| RU2635286C2 (ru) | Способ и устройство для определения позиции микрофона | |
| WO2017039632A1 (en) | Passive self-localization of microphone arrays | |
| WO2015078359A1 (zh) | 音频传输延时的测量方法及系统 | |
| TW200833153A (en) | System and method for calibrating phase and gain mismatches of an array microphone | |
| CN112151051B (zh) | 音频数据的处理方法和装置及存储介质 | |
| CN104155644B (zh) | 一种基于声音传感器的测距方法及系统 | |
| CN107708048A (zh) | 啸叫检测方法和装置、存储介质及电子装置 | |
| CN103858360B (zh) | 对无线通信信号进行干扰抑制的方法以及发射机和接收机 | |
| JPWO2017061023A1 (ja) | 音声信号処理方法および装置 | |
| JP2015084466A (ja) | サンプリングポイント調整装置および方法、並びにプログラム | |
| CN109935237A (zh) | 多移动终端的mic阵列自校准方法、装置及服务器 | |
| WO2017112085A1 (en) | Microphone beamforming using distance and environmental information | |
| CN107404599A (zh) | 音视频数据同步方法、装置及系统 | |
| CN110148426A (zh) | 一种啸叫检测方法及其设备、存储介质、电子设备 | |
| US10356518B2 (en) | First recording device, second recording device, recording system, first recording method, second recording method, first computer program product, and second computer program product | |
| CN108736982A (zh) | 声波通信处理方法、装置及电子设备 | |
| US20230179904A1 (en) | Wireless earphone, mobile phone and sonic ranging method | |
| JP2017181783A (ja) | 音場制御システム、解析装置、音響装置、音場制御システムの制御方法、解析装置の制御方法、音響装置の制御方法、プログラム、記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190625 |