CN109886260B - 一种智能读码器 - Google Patents
一种智能读码器 Download PDFInfo
- Publication number
- CN109886260B CN109886260B CN201910145601.4A CN201910145601A CN109886260B CN 109886260 B CN109886260 B CN 109886260B CN 201910145601 A CN201910145601 A CN 201910145601A CN 109886260 B CN109886260 B CN 109886260B
- Authority
- CN
- China
- Prior art keywords
- module
- light source
- image
- code reader
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 claims abstract description 21
- 238000005286 illumination Methods 0.000 claims abstract description 11
- 238000006243 chemical reaction Methods 0.000 claims abstract description 10
- 238000000034 method Methods 0.000 claims abstract description 10
- 238000009792 diffusion process Methods 0.000 claims description 13
- 229910000838 Al alloy Inorganic materials 0.000 claims description 10
- 230000003287 optical effect Effects 0.000 claims description 9
- 101150071456 CSI2 gene Proteins 0.000 claims description 3
- 238000004806 packaging method and process Methods 0.000 claims 1
- 238000003384 imaging method Methods 0.000 abstract description 5
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011065 in-situ storage Methods 0.000 description 1
- 238000007373 indentation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Landscapes
- Studio Devices (AREA)
- Image Input (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明涉及一种智能读码器，包括光源系统、图像采集模块、图像处理模块、输出模块和电源；光源系统包括集成在读码器的前端的LED光源和LED光源控制电路，光源系统负责给被检测物提供照明光源；图像数据采集电路用于处理图像电信号并做A/D转换，以数字信号输出；图像处理模块把图像采集模块采集而来的数字信号进行处理，得到最终目标检测或者识别结果；输出模块将图像处理模块处理后的最终目标检测或者识别结果以指定的格式和协议输出；电源给整个读码器供电。本发明为光度立体视觉与人工智能处理模块相结合的一体成像系统。
Description
技术领域
本发明涉及一种读码器，具体涉及一种光度立体视觉与人工智能处理模块相结合的智能读码器。
背景技术
随着机器视觉行业的发展，检测要求的不断升级，表面检测越来越复杂，而大部分的流水线检测都离不开读码，所以变化多样的读码条件，给图像采集与图像处理带来了新的技术挑战。目前市场上大部分的读码检测都是2D方法实现的，但是由于目标物表面材料对光的反射特性的差异，以及各种码标记技术种类繁多，常规的2D检测方法在很多情况下已经无法得到清晰的图像，但是面对很多昂贵的3D检测方案，大规模使用又会大大增加生产成本。
除了清晰成像，后端图像处理是另一难题。常规方式是把采集的图像数据输出到计算机中去处理，但是这种方式体积过大，尤其对于大批量的使用，现场安装与布线都很难实现。目前市场上有很多带图像处理的一体机，但是对于常规算法无法解决的检测难题，这些读码器显得束手无策。
发明内容
针对上述问题，本发明的主要目的在于提供一种光度立体视觉与人工智能处理模块相结合的智能读码器。
本发明是通过下述技术方案来解决上述技术问题的：一种智能读码器，所述智能读码器包括如下构件：
光源系统、图像采集模块、图像处理模块、输出模块、电源；
光源系统：所述光源系统包括集成在读码器的前端的LED光源和LED光源控制电路，所述光源系统负责给被检测物提供照明光源；
图像采集模块：所述图像采集模块包括镜头、感光芯片、图像数据采集电路；被测物反射的光线通过镜头收集光线并在感光芯片上成像，感光芯片把在自身成像的光信号转化电信号；图像数据采集电路用于处理图像电信号并做A/D转换，以数字信号输出；
图像处理模块：所述图像处理模块结合AI算法，把图像采集模块采集而来的数字信号进行处理，得到最终目标检测或者识别结果；
输出模块：所述输出模块将图像处理模块处理后的最终目标检测或者识别结果以指定的格式和协议输出；
电源：所述电源给整个读码器供电；
电源电连接光源系统、图像采集模块、图像处理模块、输出模块；
光源系统和图像采集模块电连接；
图像采集模块和图像处理模块电连接；
图像处理模块和输出模块电连接。
在本发明的具体实施例子中，电源给读码器供电，通过光源控制电路把光源打开，光线照射到被测物上，部分反射光线被镜头收集，并在感光芯片上成像，感光芯片则把在自身成像的光信号转化电信号，图像数据采集电路把电信号做A/D转换，以数字信号格式输出给智能图像处理模块，结合AI算法，把采集而来的数字信号进行处理，得到最终目标检测或者识别结果。
在本发明的具体实施例子中，光源系统为能实现若干种模式的照明的光源系统。
在本发明的具体实施例子中，所述光源系统为角度光源或同轴光源；角度光源与同轴光源可以选择同时开启或者择一开启。
在本发明的具体实施例子中，所述角度光源包括：漫反射板、LED、电路板、外壳，漫反射板安置在LED的发光面的侧面与发光面的垂直方向呈一个角度，电路板在LED发光面的下方，漫反射板安装在外壳的表面，LED和电路板安装在外壳的内部，LED固定安装在电路板上。
在本发明的具体实施例子中，所述同轴光源包括：散热片、电路板、LED、漫射板、分光镜、增透镜、铝合金外壳，LED固定安装在电路板的其中一面上，散热片安装在电路板的另一面，与电路板有一定的间隙，漫射板位于LED的前方并固定在铝合金外壳上；分光镜位于漫射板的远离LED的一侧，分光镜固定在铝合金外壳上并与漫射板呈一定的角度布置；增透镜固定在铝合金外壳上并与漫射板垂直布置。
在本发明的具体实施例子中，所述图像处理模块包括sensor模块、FPGA控制模块和TX2模组三大部分组成，其中sensor模块把目标物反射的光信号转变成电信号，再经过AD变换为数字信号以后再以一定的编码方式给到FPGA控制模块；FPGA控制模块实现sensor的控制时序和数据接口转换，把LVDS编码方式的图像信号转换为MIPI CSI2接口的数据流，给到TX2模组，同时该模块还根据曝光时序给出光源控制信号点亮光源，做到sensor曝光跟光源同步；TX2模组是Nvidia的GPU异构SOC计算平台，用于实现复杂的软件AI算法。
在本发明的具体实施例子中，所述输出模块包括TX2模组和网络模块，其中TX2模组是跟图像处理部分共用的模组，TX2模组作为复杂的异构SOC片上系统，其不仅参与了图像处理算法的处理还参与了输出的处理，作为输出模块它把算法计算完成的接口按照编码方式编码并打包，通过SOC内的MAC层和模组内的物理层IC传输给变压器和RJ45实现处理结果的对外输出。
本发明的积极进步效果在于：本发明提供的智能读码器的优点如下：
1、图像采集方面，常规的2D检测方法在很多情况下已经无法得到清晰的图像，本发明可以使复杂的表面清晰成像，但是却不似昂贵的3D成像方案，在解决问题同时并不增加太多成本，在技术与成本直接找到平衡。
2、图像处理方面，常规的图像处理算法在很多情况下已经无法解决问题，本发明的深度学习算法成了解决这些难题的唯一方向。但是深度学习算法需要强大的计算能力的处理平台作为支撑，否则再强大的算法都是空谈，而强大的计算能力一般都需要外部计算机设备，这就增加了整体系统的体积与安装复杂度。本发明推出的Jetson TX2人工智能模块，在不牺牲计算速度的同时，把人工智能集中到相机内部，真正实现了终端化。
本发明在在解决图像采集的技术难题后，又结合人工智能图像处理模块，解决很多传统算法无法解决的检测难题，是光度立体视觉与人工智能处理模块相结合的一体成像系统。
附图说明
图1为本发明的整体结构示意图的框图。
图2为本发明中的角度光源的结构示意图。
图3为本发明中的同轴光源的结构示意图。
图4为本发明中的图像处理模块的结构示意图。
图5为本发明中的输出模块的结构示意图。
具体实施方式
下面结合附图给出本发明较佳实施例，以详细说明本发明的技术方案。
本发明提供的智能读码器主要应用在生产线上的产品码的读取，例如：晶圆ID的OCR识别、包装盒上的凸点印刷识别或者压痕OCR识别等等。
图1为本发明的整体结构示意图的框图，如图1所示，本发明提供的智能读码器，包括如下构件：光源系统1、图像采集模块2、图像处理模块3、输出模块4、电源5。
光源系统1包括集成在读码器的前端的LED光源和LED光源控制电路，光源系统1负责给被检测物提供照明光源。图像采集模块2包括镜头201、感光芯片202、图像数据采集电路203；被测物反射的光线通过镜头201收集光线并在感光芯片202上成像，感光芯片202把在自身成像的光信号转化电信号；图像数据采集电路203用于处理图像电信号并做A/D转换，以数字信号输出。图像处理模块3结合AI算法，把图像采集模块2采集而来的数字信号进行处理，得到最终目标检测或者识别结果。输出模块4将图像处理模块3处理后的最终目标检测或者识别结果以指定的格式和协议输出。电源5给整个读码器供电。
电源给读码器供电，通过光源控制电路把光源打开，光线照射到被测物上，部分反射光线被镜头收集，并在感光芯片上成像，感光芯片则把在自身成像的光信号转化电信号，图像数据采集电路把电信号做A/D转换，以数字信号格式输出给智能图像处理模块，结合AI算法，把采集而来的数字信号进行处理，得到最终目标检测或者识别结果。
在具体的实施过程中，本发明中的光源系统为能实现若干种模式的照明的光源系统。一般可以有两种：为角度光源10或同轴光源20；角度光源10与同轴光源20可以选择同时开启或者择一开启。
图2为本发明中的角度光源的结构示意图。如图2所示：角度光源10包括：漫反射板101、LED102、电路板103、外壳104，漫反射板101安置在LED102的发光面的侧面与发光面的垂直方向呈一个角度，电路板103在LED发光面的下方，漫反射板101安装在外壳104的表面，LED102和电路板103安装在外壳104的内部，LED102固定安装在电路板103上。
图3为本发明中的同轴光源的结构示意图。如图3所示：同轴光源20包括：散热片201、电路板202、LED203、漫射板204、分光镜205、增透镜206、铝合金外壳207，LED203固定安装在电路板202的其中一面上，散热片201安装在电路板202的另一面，与电路板202有一定的间隙，漫射板204位于LED203的前方并固定在铝合金外壳207上；分光镜205位于漫射板204的远离LED203的一侧，分光镜205固定在铝合金外壳207上并与漫射板204呈一定的角度布置；增透镜206固定在铝合金外壳207上并与漫射板204垂直布置。
图4为本发明中的图像处理模块的结构示意图。如图4所示：图像处理模块3包括sensor模块301、FPGA控制模块302和TX2模组303三大部分组成，其中sensor模块301把目标物反射的光信号转变成电信号，再经过AD变换为数字信号以后再以一定的编码方式(LVDS)给到FPGA控制模块302；FPGA控制模块302实现sensor的控制时序(sensor初始化和曝光控制)和数据接口转换，把LVDS编码方式的图像信号转换为MIPI CSI2接口的数据流，给到TX2模组303，同时该模块还根据曝光时序给出光源控制信号点亮光源，做到sensor曝光跟光源同步；TX2模组主要是Nvidia的GPU异构SOC计算平台，主要用于实现复杂的软件AI算法。
图5为本发明中的输出模块的结构示意图。如图5所示：输出模块4包括TX2模组和网络模块，其中TX2模组是跟图像处理部分共用的模组，因为作为复杂的异构SOC片上系统，其不仅参与了图像处理算法的处理还参与了输出的处理，作为输出模块它把算法计算完成的接口按照一定的软件编码方式编码并打包(网络数据包)，通过SOC内的MAC层和模组内的物理层IC传输给变压器和RJ45实现处理结果的对外输出。
本发明集成了多角度照明和同轴照明方式，可以实现多种照明控制得到各种角度照明下的图像，之后结合光度立体视觉算法，把各个角度图像拟合，得到物体的三维图像。
在本发明的具体实施例子中，采用人工智能模块，结合深度学习算法，直接在读码器内部处理完图像数据，得到最终检测结果。
在本发明的具体实施例子中，采用CMOS图像传感器，无论像素分辨率还是帧率抑或是成像质量都能满足大部分读码场合的需要。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内，本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (6)
1.一种智能读码器，其特征在于：所述智能读码器包括如下构件：
光源系统、图像采集模块、图像处理模块、输出模块、电源；
光源系统：所述光源系统包括集成在读码器的前端的LED光源和LED光源控制电路，所述光源系统负责给被检测物提供照明光源；
图像采集模块：所述图像采集模块包括镜头、感光芯片、图像数据采集电路；被测物反射的光线通过镜头收集光线并在感光芯片上成像，感光芯片把在自身成像的光信号转化电信号；图像数据采集电路用于处理图像电信号并做A/D转换，以数字信号输出；
图像处理模块：所述图像处理模块结合AI算法，把图像采集模块采集而来的数字信号进行处理，得到最终目标检测或者识别结果；
输出模块：所述输出模块将图像处理模块处理后的最终目标检测或者识别结果以指定的格式和协议输出；
电源：所述电源给整个读码器供电；
电源电连接光源系统、图像采集模块、图像处理模块、输出模块；
光源系统和图像采集模块电连接；
图像采集模块和图像处理模块电连接；
图像处理模块和输出模块电连接；
所述图像处理模块包括sensor模块、FPGA控制模块和TX2模组三大部分，其中sensor模块把目标物反射的光信号转变成电信号，再经过AD变换为数字信号以后再以一定的编码方式给到FPGA控制模块；FPGA控制模块实现sensor的控制时序和数据接口转换，把LVDS编码方式的图像信号转换为MIPI CSI2接口的数据流，给到TX2模组，同时该模块还根据曝光时序给出光源控制信号点亮光源，做到sensor曝光跟光源同步；TX2模组是Nvidia的GPU异构SOC计算平台，用于实现复杂的软件AI算法；
所述输出模块包括TX2模组和网络模块，其中TX2模组是跟图像处理部分共用的模组，TX2模组作为复杂的异构SOC片上系统，其不仅参与了图像处理算法的处理还参与了输出的处理，作为输出模块它把算法计算完成的接口按照编码方式编码并打包，通过SOC内的MAC层和模组内的物理层IC传输给变压器和RJ45实现处理结果的对外输出。
2.根据权利要求1所述的智能读码器，其特征在于：电源给读码器供电，通过光源控制电路把光源打开，光线照射到被测物上，部分反射光线被镜头收集，并在感光芯片上成像，感光芯片则把在自身成像的光信号转化电信号，图像数据采集电路把电信号做A/D转换，以数字信号格式输出给智能图像处理模块，结合AI算法，把采集而来的数字信号进行处理，得到最终目标检测或者识别结果。
3.根据权利要求1所述的智能读码器，其特征在于：光源系统为能实现若干种模式的照明的光源系统。
4.根据权利要求3所述的智能读码器，其特征在于：所述光源系统为角度光源或同轴光源；角度光源与同轴光源选择同时开启或者择一开启。
5.根据权利要求4所述的智能读码器，其特征在于：所述角度光源包括：漫反射板、LED、电路板、外壳，漫反射板安置在LED的发光面的侧面与发光面的垂直方向呈一个角度，电路板在LED发光面的下方，漫反射板安装在外壳的表面，LED和电路板安装在外壳的内部，LED固定安装在电路板上。
6.根据权利要求4所述的智能读码器，其特征在于：所述同轴光源包括：散热片、电路板、LED、漫射板、分光镜、增透镜、铝合金外壳，LED固定安装在电路板的其中一面上，散热片安装在电路板的另一面，与电路板有一定的间隙，漫射板位于LED的前方并固定在铝合金外壳上；分光镜位于漫射板的远离LED的一侧，分光镜固定在铝合金外壳上并与漫射板呈一定的角度布置；增透镜固定在铝合金外壳上并与漫射板垂直布置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910145601.4A CN109886260B (zh) | 2019-02-27 | 2019-02-27 | 一种智能读码器 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910145601.4A CN109886260B (zh) | 2019-02-27 | 2019-02-27 | 一种智能读码器 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109886260A CN109886260A (zh) | 2019-06-14 |
| CN109886260B true CN109886260B (zh) | 2024-02-02 |
Family
ID=66929640
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910145601.4A Active CN109886260B (zh) | 2019-02-27 | 2019-02-27 | 一种智能读码器 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109886260B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117057371B (zh) * | 2023-08-26 | 2024-02-20 | 泓浒(苏州)半导体科技有限公司 | 一种基于ai识别算法的自适应晶圆读码方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN202206495U (zh) * | 2011-08-04 | 2012-04-25 | 姚大红 | 智能无线数字传输指挥系统 |
| CN103329143A (zh) * | 2011-01-18 | 2013-09-25 | 数据逻辑Adc公司 | 用于照明光学读码器的扫描体积的系统和方法 |
| CN104866799A (zh) * | 2015-05-21 | 2015-08-26 | 福建新大陆电脑股份有限公司 | 一种用于获取图像数据的条码识读引擎 |
| CN105046297A (zh) * | 2015-07-08 | 2015-11-11 | 安徽瑞宏信息科技有限公司 | 一种超高频rfid读写器装置及跳信道方法 |
| CN205038658U (zh) * | 2015-05-21 | 2016-02-17 | 福建新大陆电脑股份有限公司 | 一种用于获取图像数据的条码识读引擎 |
| CN107659762A (zh) * | 2017-10-23 | 2018-02-02 | 德淮半导体有限公司 | 一种图像传感器 |
| CN207264400U (zh) * | 2017-09-18 | 2018-04-20 | 广西申能达智能技术有限公司 | 一种物联网tcp消费读写机 |
| CN108052682A (zh) * | 2018-01-19 | 2018-05-18 | 天津昊天伟业电子科技有限公司 | 一种智能查询机系统 |
| CN209803826U (zh) * | 2019-02-27 | 2019-12-17 | 上海千映智能科技有限公司 | 一种智能读码器 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7568628B2 (en) * | 2005-03-11 | 2009-08-04 | Hand Held Products, Inc. | Bar code reading device with global electronic shutter control |
| KR102600788B1 (ko) * | 2016-08-01 | 2023-11-13 | 삼성전자주식회사 | 액세서리를 인식하는 전자 장치 및 방법 |
| JP7329444B2 (ja) * | 2016-12-27 | 2023-08-18 | ジェラルド ディルク スミッツ | 機械知覚のためのシステム及び方法 |
-
2019
- 2019-02-27 CN CN201910145601.4A patent/CN109886260B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103329143A (zh) * | 2011-01-18 | 2013-09-25 | 数据逻辑Adc公司 | 用于照明光学读码器的扫描体积的系统和方法 |
| CN202206495U (zh) * | 2011-08-04 | 2012-04-25 | 姚大红 | 智能无线数字传输指挥系统 |
| CN104866799A (zh) * | 2015-05-21 | 2015-08-26 | 福建新大陆电脑股份有限公司 | 一种用于获取图像数据的条码识读引擎 |
| CN205038658U (zh) * | 2015-05-21 | 2016-02-17 | 福建新大陆电脑股份有限公司 | 一种用于获取图像数据的条码识读引擎 |
| CN105046297A (zh) * | 2015-07-08 | 2015-11-11 | 安徽瑞宏信息科技有限公司 | 一种超高频rfid读写器装置及跳信道方法 |
| CN207264400U (zh) * | 2017-09-18 | 2018-04-20 | 广西申能达智能技术有限公司 | 一种物联网tcp消费读写机 |
| CN107659762A (zh) * | 2017-10-23 | 2018-02-02 | 德淮半导体有限公司 | 一种图像传感器 |
| CN108052682A (zh) * | 2018-01-19 | 2018-05-18 | 天津昊天伟业电子科技有限公司 | 一种智能查询机系统 |
| CN209803826U (zh) * | 2019-02-27 | 2019-12-17 | 上海千映智能科技有限公司 | 一种智能读码器 |
Non-Patent Citations (2)
| Title |
|---|
| SoPC技术在图像采集和处理系统中的应用设计;张建荣等;电子技术应用(第2期);第33-35+43页 * |
| 基于FPGA的RFID读卡器设计;Niladri Roy等;电子产品世界(第16期);第66-68+72页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109886260A (zh) | 2019-06-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11741623B2 (en) | Depth calculation processor, data processing method and 3D image device | |
| US10194135B2 (en) | Three-dimensional depth perception apparatus and method | |
| US10267627B2 (en) | Multi-line array laser three-dimensional scanning system, and multi-line array laser three-dimensional scanning method | |
| US7672505B2 (en) | Apparatus, method and program for three-dimensional-shape detection | |
| US9860521B2 (en) | Image processing system | |
| EP3531066A1 (en) | Three-dimensional scanning method including a plurality of lasers with different wavelengths, and scanner | |
| US20120062746A1 (en) | Image Processing Apparatus | |
| US20070177160A1 (en) | Three-dimensional object information acquisition using patterned light projection with optimized image-thresholding | |
| CN104424662A (zh) | 立体扫描装置 | |
| CN104604221A (zh) | 用于生成深度图像的设备 | |
| CN109886260B (zh) | 一种智能读码器 | |
| US20120314039A1 (en) | 3d image acquisition apparatus employing interchangable lens | |
| CN114627249B (zh) | 三维扫描系统及三维扫描方法 | |
| CN111213361B (zh) | 信息处理装置、信息处理方法、程序以及可互换透镜 | |
| CN110913091A (zh) | 图像扫描系统 | |
| CN104866797B (zh) | 一种条码识读引擎 | |
| CN209803826U (zh) | 一种智能读码器 | |
| CN206661588U (zh) | 一种点胶机视觉伺服系统 | |
| CN106247944B (zh) | 编码靶标及基于编码靶标的视觉坐标测量方法 | |
| KR102507746B1 (ko) | 복수의 파장대역을 감지할 수 있는 카메라를 이용하여 복수의 정보를 생성하는 방법 및 이를 구현한 전자 장치 | |
| JP2023535916A (ja) | 深度データ測定機器及び構造化光投影ユニット | |
| CN213363683U (zh) | 一种多角度2d/3d检测的光学装置 | |
| US9736453B2 (en) | Method for encoding a stereoscopic image | |
| CN101114027A (zh) | 复眼透镜检测仪 | |
| CN209181735U (zh) | 基于激光器的两栖三维视觉探测装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |