CN111289017B - 基于光波导多模成像的触觉传感器、系统及干扰检测方法 - Google Patents
基于光波导多模成像的触觉传感器、系统及干扰检测方法 Download PDFInfo
- Publication number
- CN111289017B CN111289017B CN202010402651.9A CN202010402651A CN111289017B CN 111289017 B CN111289017 B CN 111289017B CN 202010402651 A CN202010402651 A CN 202010402651A CN 111289017 B CN111289017 B CN 111289017B
- Authority
- CN
- China
- Prior art keywords
- interference layer
- multimode
- light
- optical waveguide
- multimode interference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 31
- 238000003384 imaging method Methods 0.000 title claims abstract description 19
- 238000001514 detection method Methods 0.000 title description 6
- 239000000758 substrate Substances 0.000 claims abstract description 16
- 230000008859 change Effects 0.000 claims abstract description 9
- 238000010801 machine learning Methods 0.000 claims description 16
- 238000012549 training Methods 0.000 claims description 15
- 238000009826 distribution Methods 0.000 claims description 13
- 238000000034 method Methods 0.000 claims description 8
- 230000001788 irregular Effects 0.000 claims description 7
- 230000035772 mutation Effects 0.000 claims description 6
- 230000035945 sensitivity Effects 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 3
- 238000005253 cladding Methods 0.000 description 2
- 230000005284 excitation Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002324 minimally invasive surgery Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000013041 optical simulation Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
- G01D5/00—Mechanical means for transferring the output of a sensing member; Means for converting the output of a sensing member to another variable where the form or nature of the sensing member does not constrain the means for converting; Transducers not specially adapted for a specific variable
- G01D5/26—Mechanical means for transferring the output of a sensing member; Means for converting the output of a sensing member to another variable where the form or nature of the sensing member does not constrain the means for converting; Transducers not specially adapted for a specific variable characterised by optical transfer means, i.e. using infrared, visible, or ultraviolet light
- G01D5/266—Mechanical means for transferring the output of a sensing member; Means for converting the output of a sensing member to another variable where the form or nature of the sensing member does not constrain the means for converting; Transducers not specially adapted for a specific variable characterised by optical transfer means, i.e. using infrared, visible, or ultraviolet light by interferometric means
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
- G01D3/00—Indicating or recording apparatus with provision for the special purposes referred to in the subgroups
- G01D3/028—Indicating or recording apparatus with provision for the special purposes referred to in the subgroups mitigating undesired influences, e.g. temperature, pressure
Abstract
本发明公开一种基于光波导多模成像的触觉传感器，该触觉传感器包括衬底，以及布置在衬底上的输入光波导和多模干涉层；多模干涉层的折射率大于衬底的折射率；输入光波导的出射端与多模干涉层的入射端相连，多模干涉层作为触觉传感层，其入射端局部被刻蚀掉，形成多个镂空孔，构成散射扩束器结构。本发明的触觉传感器结构简单、成本低、尺寸小，灵敏度和空间分辨率高。并且通过分析输出图样的变化，可以实现触觉传感器上任意位置的分布式传感。
Description
技术领域
本发明涉及集成光学、光波导传感、图像处理领域，具体涉及一种基于光波导多模成像的触觉传感器、系统及干扰检测方法。
背景技术
触觉感知是通过传感器和被评估介质之间的物理接触来测量机械变量。为了提供外部刺激的大小和空间分布信息，可以将多个感知元素以触觉阵列的形式排列，在智能机器人的开发、用于微创手术的机械手和人机交互界面等领域应用广泛。基于光波导的触觉传感器具有体积小、抗电磁干扰、重量轻、响应速度快、易于集成等优点，在实际应用中有巨大的潜力。
目前，触觉传感器主要形式有压电式、电阻式、电容式、磁场传导式、光学传感器等多种类型。这些传感器存在很多问题例如基于电阻率的传感方法可能易于小规模生产，但其低精度限制了其实用性。基于压电式的传感器不适用于静态测量。基于电容式的传感器因为静电放电会引入噪音，甚至可能会损坏其他电子部件。
另一方面，基于光纤的触觉传感器的例子包括微弯、光纤布拉格光栅和异芯光纤传感器，虽然在抗电磁干扰和多点测量等方面具有优势。然而，为了达到灵敏度和空间分辨率的要求，目前的技术要求使用大量的光纤或复杂的多路复用方案，这会降低传感器的可靠性。
发明内容
针对现有技术的不足，本发明提出一种基于光波导多模成像的触觉传感器、系统及干扰检测方法，利用多模干涉的原理，基于光波导结构实现触觉传感，该触觉传感器体积小、抗电磁干扰、重量轻、响应速度快，可以集成在智能机器人、人机交互等应用中。
本发明的目的通过如下的技术方案来实现：
一种基于光波导多模成像的触觉传感器，所述的触觉传感器包括衬底，以及布置在所述的衬底上的输入光波导和多模干涉层；
所述的多模干涉层的折射率大于所述的衬底的折射率，所述的输入光波导的折射率与所述的多模干涉层的折射率相等；
所述的输入光波导的出射端与所述的多模干涉层的入射端相连，所述的多模干涉层作为触觉传感层，其入射端局部被刻蚀掉，形成多个镂空孔，构成散射扩束器结构；
所述的镂空孔的形状需满足使镂空边界产生折射率突变，且镂空孔的边长不大于入射光的波长。
进一步地，所述的多模干涉层的入射端的镂空孔呈阵列分布。
进一步地，所述的多模干涉层的折射率为2.0，所述的衬底的折射率为1.45。
一种基于触觉传感器的触觉传感系统，该系统还包括布置在所述的触觉传感器输入端的光源、布置在所述的触觉传感器出射端的成像系统和二维图像捕获系统。
一种基于触觉传感器的触觉传感系统，该系统还包括布置在所述的触觉传感器输入端的光源、布置在所述的触觉传感器出射端的一维像素探测器阵列。
一种基于触觉传感系统的外部干扰检测方法，该方法具体包括如下步骤：
所述的光源的光从输入光波导进入所述的多模干涉层，由于所述的散射扩束器结构产生的不规则的折射率突变，使得多模干涉层中产生繁密的干涉图样，减少了干涉光场的暗区面积，通过所述的成像系统对所述的多模干涉层的出射端的光斑成像，所述的二维图像捕获系统采集所述的多模干涉层的出射端的光斑图像，结合外部干扰建立光斑图像训练数据集后，使用所述的光斑图像训练数据集对机器学习算法进行训练，得到训练好的机器学习算法，当采集新的光斑图像时，采用训练好的机器学习算法实时解调外部干扰的大小和空间分布信息。
一种基于触觉传感系统的外部干扰检测方法，该方法具体包括如下步骤：
所述的光源的光从输入光波导进入所述的多模干涉层，由于所述的散射扩束器结构产生的不规则的折射率突变，使得多模干涉层中产生繁密的干涉图样，在所述的多模干涉层的出射端的不同位置，放置多个一维像素探测器，探测多模干涉层出射端不同位置输出光强的变化，结合外部干扰建立光强值的训练数据集，使用所述的光强值的训练数据集对机器学习算法进行训练，得到训练好的机器学习算法，当采集新的光强值时，采用训练好的机器学习算法根据不同位置的光强值解调外部干扰的大小和空间分布信息。
本发明的有益效果如下：
（1）本发明利用光波导多模成像实现了触觉传感器，结构简单、成本低、尺寸小。
（2）本发明引入散射扩束器结构后，在多模干涉层引入了不规则的折射率突变，使得多模干涉图案更加繁密，减少干涉光场的暗区面积，大大提高了触觉传感器的灵敏度和空间分辨率。并且通过分析干涉图样的变化，可以实现触觉传感器上任意位置的分布式传感。
附图说明
图1为本发明的一个示例性实施例提供的触觉传感器的俯视图；
图2为本发明的一个示例性实施例提供的触觉传感器的侧视图；
图3是本发明的一个示例性实施例提供的触觉传感器的横向截面图；
图4为本发明的一个示例性实施例提供的触觉传感系统的结构框图；
图5为本发明另一个示例性实施例提供的触觉传感系统的结构框图；
图6为触觉传感器的多模干涉层没有散射扩束器结构时，产生的多模干涉图样示意图；
图7为触觉传感器的多模干涉层有散射扩束器结构时，产生的多模干涉图样示意图；
图8是本发明一个示例性实施例提供的在触觉传感器的多模干涉层表面的不同位置受到外部干扰后，多模干涉层输出端的光强归一化变化曲线；
图中，1、输入光波导，2、多模干涉层，3、散射扩束器结构，4、外部干扰，5、衬底，6、外部干扰位置1，7、外部干扰位置2，8、外部干扰位置3。
具体实施方式
下面根据附图和优选实施例详细描述本发明，本发明的目的和效果将变得更加明白。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1~3所示，本发明的触觉传感器包括衬底5，以及布置在衬底5上的输入光波导1和多模干涉层2，多模干涉层2的折射率大于衬底5的折射率，输入光波导1的折射率与多模干涉层2的折射率相等；输入光波导1的出射端与多模干涉层2的入射端相连，多模干涉层2作为触觉传感层，其入射端局部被刻蚀掉，形成多个镂空孔，构成散射扩束器结构3。
所述的镂空孔的形状需满足使镂空边界产生折射率突变，且镂空孔的边长不大于入射光的波长，这些都是为了产生明显的衍射现象，衍射后的光继续向前传播，发生干涉，会产生繁密的干涉图样，大大减少了干涉光场的暗区面积，提高了触觉传感器的灵敏度。
多模干涉层2的入射端的镂空孔呈阵列分布，入射光经过呈阵列分布的镂空孔后，会发生多次衍射，沿着多模干涉层2继续传播，发生干涉时，会产生繁密的干涉图样。
多模干涉层2没有上包层，或者上包层非常薄，保证在多模干涉层的表面有足够多的倏逝场，使得触觉传感器有非常高的灵敏度。
多模干涉层2作为实际触觉传感层，在输入光波导1的激励下产生多个光波模式，各模式向前传播，形成干涉图样。在受到外部干扰时，光的传播模式受到干扰，干涉图样发生改变，输出光成像将产生不同的光斑明暗分布。这种分布与外部干扰的位置和力度有关。引入散射扩束器结构3，在多模干涉层2引入了不规则的折射率突变，使得多模干涉图案更加繁密，减少干涉光场的暗区面积，大大提高了触觉传感器的灵敏度和空间分辨率。
作为其中一种实施方式，衬底5和多模干涉层2的折射率分别为1.45和2.0，多模干涉层2的厚度为200nm，宽40um，长2mm。散射扩束器结构3中一个单元的尺寸为2um×2um ×200nm（长×宽×高），一共11个单元成三列分布在多模干涉层2的入射端。
如图4所示，本发明的其中一个触觉传感系统包括依次设置的光源、触觉传感器、成像系统、二维图像捕获系统。光源布置在触觉传感器输入端，成像系统和二维图像捕获系统布置在触觉传感器输出端。其工作过程如下：光从输入光波导1进入多模干涉层2，多模干涉层2作为实际触觉传感层，在输入光波导1的激励下产生多个光波模式，各模式向前传播，形成干涉图样。在受到外部干扰时，光的传播模式受到干扰，干涉图样发生改变，输出光成像将产生不同的光斑明暗分布。这种分布与多模干涉层2受到的外部干扰的位置和力度有关。引入散射扩束器结构3后，在多模干涉层2引入了不规则的折射率突变，使得多模干涉图案更加繁密，减少干涉光场的暗区面积，大大提高了触觉传感器的灵敏度和空间分辨率。在多模干涉层2的出射端，通过所述的成像系统对所述的多模干涉层的出射端的光斑成像，使用二维图像捕获系统采集出射端的图像，再使用图像处理的方法对采集的图像数据集进行分析。例如在多模干涉层2表面的不同位置施加外部干扰，收集图像，建立图像数据集，使用机器学习算法对数据集训练、校验、测试，得到训练好的机器学习算法，从而实现实时解调触觉传感器受到的外部干扰的大小和空间位置信息。
如图5所示，本发明的另一个触觉传感系统包括依次设置的光源、触觉传感器、一维像素探测器阵列，一维像素探测器阵列布置在多模干涉层2的出射端，探测多模干涉层2出射端不同位置输出光强的变化，建立关于光强值的训练数据集后，使用机器学习算法对数据集进行训练，得到训练好的机器学习算法，根据不同位置光强的变化解调外部干扰的大小和空间分布信息。
使用Lumerical Mode Solution对提出的触觉传感器做光学仿真分析，添加一个外部干扰模拟触觉传感器受到的外部扰动，光源为1550nm。图6是触觉传感器未受到外部干扰，多模干涉层2中没有散射扩束器结构时，光在其中传播产生的多模干涉图样示意图；图7是触觉传感器未受到外部干扰，多模干涉层2中有散射扩束器结构时，光在其中传播产生的多模干涉图样示意图。比较图6和图7可以看到，在多模干涉层2的入射端加入散射扩束器结构3后，在多模干涉层2中产生了更加繁密的多模干涉图样，减少了干涉光场的暗区面积，这大大的提高了触觉传感器的灵敏度。
图7中的6、7、8分别表示触觉传感器上的不同位置受到的外部干扰。图8中的横坐标L表示多模干涉层输出端的不同位置，纵坐标表示多模干涉层输出端不同位置的光强，1、2、3、4号线分别表示：
1号线：触觉传感器未受到外部干扰时多模干涉层2出射端的光强归一化分布曲线；
2号线：触觉传感器在图7中的6位置受到外部干扰时多模干涉层2出射端的光强归一化分布曲线；
3号线：触觉传感器在图7中的7位置受到外部干扰时，多模干涉层2出射端的光强归一化分布曲线；
4号线：触觉传感器在图7中的8位置受到外部干扰时，多模干涉层2出射端的光强归一化分布曲线。
从图8可以看出，触觉传感器的不同位置受到外部干扰，出射端的光强分布都不同，因此在触觉传感器的输出端放置一维像素探测器阵列探测光强的变化，根据光强的分布，解调触觉传感器受到的外部干扰信息。
本领域普通技术人员可以理解，以上所述仅为发明的优选实例而已，并不用于限制发明，尽管参照前述实例对发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在发明的精神和原则之内，所做的修改、等同替换等均应包含在发明的保护范围之内。
Claims (7)
1.一种基于光波导多模成像的触觉传感器，其特征在于，所述的触觉传感器包括衬底，以及布置在所述的衬底上的输入光波导和多模干涉层；
所述的多模干涉层的折射率大于所述的衬底的折射率，所述的输入光波导的折射率与所述的多模干涉层的折射率相等；
所述的输入光波导的出射端与所述的多模干涉层的入射端相连，所述的多模干涉层作为触觉传感层，其入射端局部被刻蚀掉，形成多个镂空孔，构成散射扩束器结构；
所述的镂空孔的形状需满足使镂空边界产生折射率突变，且镂空孔的边长不大于入射光的波长。
2.根据权利要求1所述的基于光波导多模成像的触觉传感器，其特征在于，所述的多模干涉层的入射端的镂空孔呈阵列分布。
3.根据权利要求1所述的基于光波导多模成像的触觉传感器，其特征在于，所述的多模干涉层的折射率为2.0，所述的衬底的折射率为1.45。
4.一种基于权利要求1所述的触觉传感器的触觉传感系统，其特征在于，该系统还包括布置在所述的触觉传感器输入端的光源、布置在所述的触觉传感器出射端的成像系统和二维图像捕获系统。
5.一种基于权利要求1所述的触觉传感器的触觉传感系统，其特征在于，该系统还包括布置在所述的触觉传感器输入端的光源、布置在所述的触觉传感器出射端的一维像素探测器阵列。
6.一种基于权利要求4所述的触觉传感系统的外部干扰检测方法，其特征在于，该方法具体包括如下步骤：
所述的光源的光从输入光波导进入所述的多模干涉层，由于所述的散射扩束器结构产生的不规则的折射率突变，使得多模干涉层中产生繁密的干涉图样，减少了干涉光场的暗区面积，通过所述的成像系统对所述的多模干涉层的出射端的光斑成像，所述的二维图像捕获系统采集所述的多模干涉层的出射端的光斑图像，结合外部干扰建立光斑图像训练数据集后，使用所述的光斑图像训练数据集对机器学习算法进行训练，得到训练好的机器学习算法，当采集新的光斑图像时，采用训练好的机器学习算法实时解调外部干扰的大小和空间分布信息。
7.一种基于权利要求5所述的触觉传感系统的外部干扰检测方法，其特征在于，该方法具体包括如下步骤：
所述的光源的光从输入光波导进入所述的多模干涉层，由于所述的散射扩束器结构产生的不规则的折射率突变，使得多模干涉层中产生繁密的干涉图样，在所述的多模干涉层的出射端的不同位置，放置多个一维像素探测器，探测多模干涉层出射端不同位置输出光强的变化，结合外部干扰建立光强值的训练数据集，使用所述的光强值的训练数据集对机器学习算法进行训练，得到训练好的机器学习算法，当采集新的光强值时，采用训练好的机器学习算法根据不同位置的光强值解调外部干扰的大小和空间分布信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010402651.9A CN111289017B (zh) | 2020-05-13 | 2020-05-13 | 基于光波导多模成像的触觉传感器、系统及干扰检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010402651.9A CN111289017B (zh) | 2020-05-13 | 2020-05-13 | 基于光波导多模成像的触觉传感器、系统及干扰检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111289017A CN111289017A (zh) | 2020-06-16 |
| CN111289017B true CN111289017B (zh) | 2020-08-04 |
Family
ID=71027650
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010402651.9A Active CN111289017B (zh) | 2020-05-13 | 2020-05-13 | 基于光波导多模成像的触觉传感器、系统及干扰检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111289017B (zh) |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB0201950D0 (en) * | 2002-01-29 | 2002-03-13 | Qinetiq Ltd | Multimode interference optical waveguide device |
| CN101236273B (zh) * | 2008-02-29 | 2010-09-22 | 上海大学 | 单模和多模包层模干涉特种光纤及其制备方法 |
| CN101592783B (zh) * | 2009-06-19 | 2011-01-26 | 中国科学院上海光学精密机械研究所 | 相干阵列激光逆达曼光栅合束孔径装填装置 |
| WO2011091735A1 (zh) * | 2010-01-29 | 2011-08-04 | 浙江大学 | 一种基于宽带光源和级连光波导滤波器的光传感器 |
| CN101825480B (zh) * | 2010-01-29 | 2011-06-08 | 浙江大学 | 一种基于宽带光源和级连光波导滤波器的光传感器 |
| CN106441573B (zh) * | 2016-09-09 | 2018-03-27 | 电子科技大学 | 一种基于多模光波导的小型光谱仪 |
| CN106370302B (zh) * | 2016-09-29 | 2018-11-13 | 浙江大学 | 基于时空联合调制和mzi光波导阵列的成像光谱仪 |
-
2020
- 2020-05-13 CN CN202010402651.9A patent/CN111289017B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN111289017A (zh) | 2020-06-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Fujiwara et al. | Development of a tactile sensor based on optical fiber specklegram analysis and sensor data fusion technique | |
| JP3159763U (ja) | 表面プラズモン共鳴ファイバーセンサー | |
| US4733068A (en) | Crossed fiber optic tactile sensor | |
| Luo | Sensor technologies and microsensor issues for mechatronics systems | |
| Luo et al. | A fiber optic microbend sensor for distributed sensing application in the structural strain monitoring | |
| CN101799282A (zh) | 一种基于光纤阵列的反射式角位移传感器及测量方法 | |
| US7078676B2 (en) | Displacement sensor apparatus | |
| Liu et al. | An optical contact force sensor for tactile sensing based on specklegram detection from concatenated multimode fibers | |
| Mathias et al. | Grating based pressure monitoring system for subaquatic application | |
| Cai et al. | Investigation on refractive index sensing characteristics based on multimode fiber specklegram | |
| Cui et al. | Random forest assisted vector displacement sensor based on a multicore fiber | |
| Lyons et al. | Neural networks and pattern recognition techniques applied to optical fibre sensors | |
| CN111289017B (zh) | 基于光波导多模成像的触觉传感器、系统及干扰检测方法 | |
| Cao et al. | Improved spectral interrogation of tilted fiber Bragg grating refractometer using residual convolutional neural networks | |
| Gao et al. | Spatially-resolved bending recognition based on a learning-empowered fiber specklegram sensor | |
| Fujiwara et al. | Optical fiber tactile sensor for user interfaces | |
| King et al. | A multipoint optical fibre sensor system for use in process water systems based on artificial neural network pattern recognition techniques | |
| King et al. | Interpreting complex data from a three-sensor multipoint optical fibre ethanol concentration sensor system using artificial neural network pattern recognition | |
| Kumar et al. | Characterization of hydroacoustic optical fibre Bragg grating pressure sensor using different materials | |
| CN112629427B (zh) | 一种用于航天器应变测量的光纤传感系统 | |
| Zhao et al. | Interrogation technique using a novel spectra bandwidth measurement method with a blazed FBG and a fiber-optic array for an FBG displacement sensor | |
| Liu et al. | Development and characterization of a high-sensitivity fiber Bragg grating-based vibrating nano-probe for 3D measurement | |
| Lyons et al. | An optical fibre distributed sensor based on pattern recognition | |
| Lyons et al. | Interrogation of multipoint optical fibre sensor signals based on artificial neural network pattern recognition techniques | |
| Chen | Condition monitoring system of electromechanical equipment based on fiber Bragg grating sensors and artificial neural network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |