CN115452141B - 一种非均匀声学成像方法 - Google Patents
一种非均匀声学成像方法 Download PDFInfo
- Publication number
- CN115452141B CN115452141B CN202211389651.5A CN202211389651A CN115452141B CN 115452141 B CN115452141 B CN 115452141B CN 202211389651 A CN202211389651 A CN 202211389651A CN 115452141 B CN115452141 B CN 115452141B
- Authority
- CN
- China
- Prior art keywords
- array
- uniform
- time delay
- imaging
- acoustic imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 74
- 239000011159 matrix material Substances 0.000 claims abstract description 21
- 238000005070 sampling Methods 0.000 claims abstract description 11
- 238000000034 method Methods 0.000 abstract description 9
- 238000003491 array Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
- G01H17/00—Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves, not provided for in the preceding groups
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
- G01S5/18—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
本发明涉及一种非均匀声学成像方法，生成初始成像阵列，以初始麦克风阵列进行初步采集，获取初始成像阵列中每一阵元至麦克风阵列中每一阵元的时延，根据时延生成时延矩阵，根据时延矩阵生成非均匀的优化阵列流行，根据优化阵列流行进行非均匀采样，得到声学成像。本发明的方法可以在不增加扫描阵元数量的前提下，提高声源处的扫描阵元密度，提高成像精度；且使扫描对准声源，减少了非声源区域的扫描，抑制旁瓣干扰产生，进一步提高了声源成像的精度。
Description
技术领域
本发明属于声源成像技术领域，具体涉及一种非均匀声学成像方法。
背景技术
在声学检测中，除了检测声源位置以外还需要检测声源物理特征。通过对声源物理特征进行分析，可以确定声源的物理状态、声源的大致形状，并且能够更加精确的定位声源位置，同时知晓该声源到底是有效声源还是反射干扰。
对于声源物理特征的分析，一般使用声学成像方法分析得到声源的图像。在现有技术中，声学成像使用由多个麦克风阵元组成的麦克风阵列扫描存在声源的一个空间区域，扫描的空间区域是由多个目标阵元组成的目标阵列，即由麦克风阵列中的多个阵元共同对组成目标区域的多个目标阵元进行扫描。
最常见的目标阵列构型为平面矩阵或者圆形矩阵，在这种目标阵列的构型下，如果想要得到声源的更详细分布，一般会将方阵的密度增大，即整个目标阵列中的目标阵元数量，从而以更密集的扫描得到清晰图像。
但上述方法将目标阵元数量提升以后不仅会大幅提升扫描及波束形成过程消耗的计算量，由于声源的主体部分仅占用目标区域中的部分空间，增加整体密度同时也会增加不重要区域的扫描密度，从而引入额外的旁瓣干扰，降低声源成像清晰度。
因此需要一种声学成像方法，不仅能够得到以较高精度对声源进行扫描，同时能够抑制旁瓣的干扰，进一步提高声源的成像精度。
发明内容
基于现有技术中存在的上述缺点和不足，本发明的目的之一是至少解决现有技术中存在的上述问题之一或多个，换言之，本发明的目的之一是提供满足前述需求之一或多个的一种非均匀声学成像方法。
为了达到上述发明目的，本发明采用以下技术方案：
一种非均匀声学成像方法，具体包括如下步骤：
S1、生成初始成像阵列；
S2、以初始麦克风阵列进行初步采集，获取初始成像阵列中每一阵元至麦克风阵列中每一阵元的时延，根据时延生成时延矩阵；
S3、根据时延矩阵生成非均匀的优化阵列流行；
S4、根据优化阵列流行进行非均匀采样，得到声学成像。
作为一种优选方案，步骤S3具体包括如下步骤：
S31、选取时延矩阵中时延最小的若干个点；
S32、获取时延最小的若干个点相对应的初始成像阵列中阵元；
S33、使用时延最小的若干个点相对应的初始成像阵列中阵元生成非均匀的优化阵列流行。
作为一种优选方案，步骤S4具体包括如下步骤：
S41、根据优化阵列流行进行非均匀采样；
S42、使用波束成形算法对非均匀采样的结果进行声学成像。
作为一种优选方案，波达方向定位算法使用波束成形算法。
作为一种优选方案，步骤S3之后、S4之前还包括步骤：
S310、对优化阵列流行进行离散，使重合的点分离。
作为一种进一步优选的方案，离散使用高斯函数进行。
作为一种优选方案，步骤S4之后还包括步骤：
S410、对声学成像插值运算，得到整体分辨率统一的声学成像。
本发明与现有技术相比，有益效果是：
本发明的方法可以在不增加扫描阵元数量的前提下，提高声源处的扫描阵元密度，提高成像精度；且使扫描对准声源，减少了非声源区域的扫描，抑制旁瓣干扰产生，进一步提高了声源成像的精度。
附图说明
图1是本申请实施例的一种初始成像阵列的排列示意图；
图2是本申请实施例的一种非均匀的优化流行阵列的排列示意图；
图3是本申请实施例的离散后的非均匀的优化流行阵列的排列示意图；
图4是本申请实施例的非均匀声学成像方法所成的三维声学云图；
图5是本申请实施例的非均匀声学成像方法所成的二维声学云图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
在下述介绍中提供了本申请的多个实施例，不同实施例之间可以替换或者合并组合，因此本申请也可认为包含所记载的相同和/或不同实施例的所有可能组合。因而，如果一个实施例包含特征A、B、C，另一个实施例包含特征B、D，那么本申请也应视为包括含有A、B、C、D的一个或多个所有其他可能的组合的实施例，尽管该实施例可能并未在以下内容中有明确的文字记载。
下面的描述提供了示例，并且不对权利要求书中阐述的范围、适用性或示例进行限制。可以在不脱离本申请内容的范围的情况下，对描述的元素的功能和布置做出改变。各个示例可以适当省略、替代或添加各种过程或组件。例如所描述的方法可以以所描述的顺序不同的顺序来执行，并且可以添加、省略或组合各种步骤。此外，可以将关于一些示例描述的特征组合到其他示例中。
一种非均匀声学成像方法，具体包括如下步骤：
S1、生成初始成像阵列M，M中的每一个阵元记录了该阵元的位置。
初始成像阵列M用于初步检测声源形状及分布，由于声源的分布尚未知晓，在初始成像阵列M中必然仅有部分区域为声源区域，其余区域只有少量声音或无声源，如果直接使用初始成像阵列进行扫描，非声源区域会产生旁瓣干扰，影响最终的成像清晰度。
另外，由于声学成像是通过联合初始成像阵列中的阵元及麦克风阵列中的阵元进行扫描成像的，在相同的阵列面积下，如果想得到更高的成像清晰度需要增大阵元密度，而更高的阵元密度会极大增加两个阵列中阵元的总配对数量，从而提高算力消耗。
因此，本申请的初始成像阵列不直接用于扫描，而是先修改、使其变为更符合声源物理形态的非均匀构型。
在本申请的某些实施例中，初始成像阵列可以如图1所示，使用最简单的均匀矩形阵列；而在本申请的另一些实施例中，初始成像阵列可以使用圆形均匀阵列等多种构型，甚至可以使用非均匀的初始成像阵列，根据成像前预估的声源位置适当将阵元集中于声源所在区域附近。
生成初始成像阵列后执行步骤S2、以初始麦克风阵列进行初步采集，获取初始成像阵列中每一阵元至麦克风阵列中每一阵元的时延，根据时延生成时延矩阵。
本申请的实施例在初始成像阵列以外，需要配置一个实体的麦克风阵列，麦克风阵列用于对初始成像阵列中的阵元进行扫描以获取成像数据。
具体的，步骤S2通过获取初始成像阵列中每一个阵元的位置，同时获取用于扫描声源成像的麦克风阵列中每一个阵元的位置，从而将初始成像阵列中的阵元与麦克风阵列中的阵元依次配对，枚举两种阵元的全部配对组合。
然后，依次选择每一对初始成像阵列与麦克风阵列中阵元的配对组合，计算该对阵元间的声波传输时延，将每个配对组合的时延记录以后，整合生成时延矩阵。
时延矩阵记录了任意一对阵元间的声波传输时延，作为一种具体的实施方法，根据M矩阵计算时延矩阵的公式为：
，其中ω为角频率（2*π*f / fs），f为频率范围（1~fs），fs为音频采样频率；c为声速。
得到每对阵元间的时延矩阵后，进行步骤S3、根据时延矩阵生成非均匀的优化阵列流行。
具体的，步骤S3从时延矩阵挑选若干时延最低的阵元，并找出这些阵元对应的阵元组合，这些时延最低的阵元对均是麦克风阵列与声源处的阵元对准的组合，因此具有最高的成像精度。挑选出时延最低的阵元组合后，再从组合中提取初始成像阵列阵元的部分，则得到了初始成像阵列中位于声源处的阵元。
在本申请的某些实施例中，步骤S3的优选实施方式包括如下步骤：
S31、选取时延矩阵中时延最小的若干个点；
S32、获取时延最小的若干个点相对应的初始成像阵列中阵元；
时延最小的阵元矩阵SM以如下公式计算：
其中，
为时延矩阵，/>
为麦克风阵列中的第i个阵元，N为麦克风阵列中的阵元数量。则/>
为时延最小的若干个点相对应的初始成像阵列中阵元的坐标(x,y)的映射。
S33、使用时延最小的若干个点相对应的初始成像阵列中阵元生成非均匀的优化阵列流行
，根据时延最小的阵元矩阵SM从MF中挑取相应的点构成非均匀的优化阵列流行PA1，其排列示意图如图2所示。
另外，由于一般情况下优化阵列流行PA1中的阵元数量远大于麦克风阵列中的阵元数量，因此在优化阵列流行PA1中许多位置其实具有多个阵元堆叠重合。
因此，在本申请的某些实施例中，步骤S3之后还包括步骤S310、对重合的点进行离散，使重合的点在周围小范围内分离，提高抑制旁瓣形成的效果。
具体的，对于重合的阵元，使用二维高斯函数将它们分离，使重合的阵元在局部呈高斯分布，所生成的优化流行阵列如图3所示。
二维高斯函数具体为：
得到优化阵列流行PA1后，则可以执行步骤S4、根据优化阵列流行进行非均匀采样，得到声学成像。
具体的，步骤S4的优选实施方式包括如下步骤：
S41、根据所述优化阵列流行进行非均匀采样；
S42、使用DOA（波达方向定位）算法对所述非均匀采样的结果进行声学成像，得到如图4、图5所示的声源成像结果。
DOA算法的核心为：
其中，Xout是生成的声学云图，Xin是输入的音频信号的频域波形，m是频率点。
另外，在本申请的某些实施例中，DOA算法优选使用波束成形算法。
由于上述优化流行阵列具有不均匀性，其中阵元的分布密度不均，得到的声学云图各处分辨率也随优化流行阵列的分布密度变化呈现不均匀性。
另外，在本申请的某些实施例中，由于上述步骤S310对优化流行阵列进行了离散，更加剧了声学云图分辨率的不均匀性。因此，在这些实施例中，步骤S4之后还包括步骤S410、设置一个统一的分辨率，利用声学云图上各点的值进行插值运算，生成整体分辨率统一的声学成像。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
以上所述者，仅为本公开的示例性实施例，不能以此限定本公开的范围。即但凡依本公开教导所作的等效变化与修饰，皆仍属本公开涵盖的范围内。本领域技术人员在考虑说明书及实践这里的公开后，将容易想到本公开的其实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未记载的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的范围和精神由权利要求限定。
Claims (5)
1.一种非均匀声学成像方法，其特征在于，具体包括如下步骤：
S1、生成初始成像阵列；
S2、获取所述初始成像阵列中每一阵元至麦克风阵列中每一阵元的时延，生成时延矩阵；
S3、根据所述时延矩阵生成非均匀的优化阵列流型；
S4、根据所述优化阵列流型进行非均匀采样，得到声学成像；
所述步骤S3具体包括如下步骤：
S31、选取所述时延矩阵中时延最小的若干个点；
S32、获取所述时延最小的若干个点相对应的所述初始成像阵列中阵元；
S33、使用所述时延最小的若干个点相对应的所述初始成像阵列中阵元生成所述非均匀的优化阵列流型；
所述步骤S4具体包括如下步骤：
S41、根据所述优化阵列流型进行非均匀采样；
S42、使用波达方向定位算法对所述非均匀采样的结果进行声学成像。
2.如权利要求1所述的一种非均匀声学成像方法，其特征在于，所述波达方向定位算法使用波束成形算法。
3.如权利要求1所述的一种非均匀声学成像方法，其特征在于，所述步骤S3之后、S4之前还包括步骤：
S310、对所述优化阵列流型进行离散，使重合的点分离。
4.如权利要求3所述的一种非均匀声学成像方法，其特征在于，所述离散使用高斯函数进行。
5.如权利要求1所述的一种非均匀声学成像方法，其特征在于，所述步骤S4之后还包括步骤：
S410、对所述声学成像插值运算，得到整体分辨率统一的声学成像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211389651.5A CN115452141B (zh) | 2022-11-08 | 2022-11-08 | 一种非均匀声学成像方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211389651.5A CN115452141B (zh) | 2022-11-08 | 2022-11-08 | 一种非均匀声学成像方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115452141A CN115452141A (zh) | 2022-12-09 |
| CN115452141B true CN115452141B (zh) | 2023-03-31 |
Family
ID=84311178
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211389651.5A Active CN115452141B (zh) | 2022-11-08 | 2022-11-08 | 一种非均匀声学成像方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115452141B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116989888B (zh) * | 2023-09-27 | 2024-03-12 | 之江实验室 | 声成像方法、装置、计算机设备和存储介质 |
Family Cites Families (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI389579B (zh) * | 2009-04-27 | 2013-03-11 | Univ Nat Chiao Tung | Acoustic camera |
| KR20110076002A (ko) * | 2009-12-29 | 2011-07-06 | 주식회사 액트 | 마이크로폰 최적화 배열 시스템 및 그 방법 |
| KR101782050B1 (ko) * | 2010-09-17 | 2017-09-28 | 삼성전자주식회사 | 비등간격으로 배치된 마이크로폰을 이용한 음질 향상 장치 및 방법 |
| CN106093864B (zh) * | 2016-06-03 | 2018-04-17 | 清华大学 | 一种麦克风阵列声源空间实时定位方法 |
| CN106872944B (zh) * | 2017-02-27 | 2020-05-05 | 海尔优家智能科技（北京）有限公司 | 一种基于麦克风阵列的声源定位方法及装置 |
| US10871543B2 (en) * | 2018-06-12 | 2020-12-22 | Kaam Llc | Direction of arrival estimation of acoustic-signals from acoustic source using sub-array selection |
| CN108919199B (zh) * | 2018-07-12 | 2020-12-29 | 南京航空航天大学 | 多波束成像声纳稀疏阵列的旁瓣抑制方法、阵列稀疏方法 |
| CN109932689A (zh) * | 2019-02-24 | 2019-06-25 | 华东交通大学 | 一种适用于特定定位场景的任意阵列优化方法 |
| CN110082724B (zh) * | 2019-05-31 | 2021-09-21 | 浙江大华技术股份有限公司 | 一种声源定位方法、装置及存储介质 |
| CN110488223A (zh) * | 2019-07-05 | 2019-11-22 | 东北电力大学 | 一种声源定位方法 |
| KR102191185B1 (ko) * | 2019-09-02 | 2020-12-15 | 인하대학교 산학협력단 | 음향원형마이크로폰 배열안테나 빔형성에 의한 hmm 기반 불법드론 분류 및 위치 추적 방법 및 장치 |
| CN112017688B (zh) * | 2020-10-28 | 2021-01-19 | 杭州兆华电子有限公司 | 一种声学成像方法 |
| CN112466323A (zh) * | 2020-11-24 | 2021-03-09 | 中核检修有限公司 | 一种光学图像与声学图像融合方法及系统 |
| CN112986916A (zh) * | 2021-02-22 | 2021-06-18 | 清华大学苏州汽车研究院（相城） | 一种基于阵列重构的多声源定位方法 |
| CN113176538A (zh) * | 2021-04-16 | 2021-07-27 | 杭州爱华仪器有限公司 | 一种基于麦克风阵列的声源成像方法 |
| CN113296056B (zh) * | 2021-05-10 | 2023-03-31 | 华中科技大学 | 一种声阵列构型及声源定位方法、系统 |
| CN113484865B (zh) * | 2021-07-02 | 2022-10-11 | 张振军 | 一种基于声学传感器阵列的非视域声源目标探测与定位方法 |
| CN113607447A (zh) * | 2021-07-08 | 2021-11-05 | 中核检修有限公司 | 一种声学光学联合风机故障定位装置及方法 |
| CN113884986B (zh) * | 2021-12-03 | 2022-05-03 | 杭州兆华电子股份有限公司 | 波束聚焦增强的强冲击信号空时域联合检测方法及系统 |
| CN113868583B (zh) * | 2021-12-06 | 2022-03-04 | 杭州兆华电子股份有限公司 | 一种子阵波束聚焦的声源距离计算方法及系统 |
| CN114741652A (zh) * | 2022-06-10 | 2022-07-12 | 杭州兆华电子股份有限公司 | 一种基于声像仪的解卷积高分辨成像方法及系统 |
| CN114994607B (zh) * | 2022-08-03 | 2022-11-04 | 杭州兆华电子股份有限公司 | 一种支持变焦的声学成像方法 |
-
2022
- 2022-11-08 CN CN202211389651.5A patent/CN115452141B/zh active Active
Non-Patent Citations (6)
| Title |
|---|
| Antonio Rodà.《Tracking sound sources by means of HMM》.《2011 8th IEEE International Conference on Advanced Video and Signal Based Surveillance (AVSS)》.2011,全文. * |
| In-Jee Jung.《Combined microphone array for precise localization of sound source using the acoustic intensimetry》.《Mechanical Systems and Signal Processing》.2021,全文. * |
| Sijun Zhang.《2D sound source localization technology based on diaphragm EFPI fiber microphone array》.《Optics Communications》.2022,全文. * |
| 宁清俊.《基于近场波束形成的声源成像研究》.《电声技术》.2014,全文. * |
| 张伟.《基于声学不均匀特性的磁感应磁声成像声压解析》.《北京生物医学工程》.2014,全文. * |
| 肖栋.《基于波束形成的声源定位及量化方法研究》.《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》.2019,全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115452141A (zh) | 2022-12-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106443587B (zh) | 一种高分辨率的快速反卷积声源成像算法 | |
| CN114624689B (zh) | 一种基于声像仪的近场聚焦声源距离计算方法及系统 | |
| EP3414919B1 (en) | Microphone probe, method, system and computer program product for audio signals processing | |
| CN107765221B (zh) | 适用于识别相干和非相干声源的反卷积声源成像方法 | |
| CN115452141B (zh) | 一种非均匀声学成像方法 | |
| Yang et al. | Functional delay and sum beamforming for three-dimensional acoustic source identification with solid spherical arrays | |
| Zhao et al. | Open‐Lake Experimental Investigation of Azimuth Angle Estimation Using a Single Acoustic Vector Sensor | |
| CN110109058A (zh) | 一种平面阵列反卷积声源识别方法 | |
| CN113868583B (zh) | 一种子阵波束聚焦的声源距离计算方法及系统 | |
| CN109884627B (zh) | 任意线阵构型的近程毫米波快速三维成像方法 | |
| CN109343003B (zh) | 一种快速迭代收缩波束形成声源识别方法 | |
| Xia et al. | Noise reduction method for acoustic sensor arrays in underwater noise | |
| JP2018091647A (ja) | 信号処理装置、方位算出方法及び方位算出プログラム | |
| CN110736976B (zh) | 一种任意阵形的声纳波束形成器性能估计方法 | |
| CN109491009B (zh) | 一种光纤组合阵及基于光纤组合阵的栅瓣抑制方法 | |
| CN110095755B (zh) | 一种声源定位方法 | |
| CN103983946A (zh) | 一种声源定位过程中的多测量通道信号处理方法 | |
| CN113593596B (zh) | 一种基于子阵划分的鲁棒自适应波束形成定向拾音方法 | |
| CN111142072B (zh) | 用于声源定位的传声器阵列优化方法 | |
| CN111352075B (zh) | 一种基于深度学习的水下多声源定位方法及系统 | |
| CN113491137B (zh) | 具有分数阶的灵活差分麦克风阵列 | |
| CN116381604A (zh) | 面向声场测量多目标协同三维传声器阵列优化方法及装置 | |
| CN116309921A (zh) | 基于cuda技术的延迟求和声成像并行加速方法 | |
| CN114563760B (zh) | 一种基于sca阵型的二阶超波束形成方法、设备及介质 | |
| CN113721184B (zh) | 基于改进music算法的近场信号源定位方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |