CN115854892A - 用于pcb检测的零平面校正方法 - Google Patents
用于pcb检测的零平面校正方法 Download PDFInfo
- Publication number
- CN115854892A CN115854892A CN202211549868.8A CN202211549868A CN115854892A CN 115854892 A CN115854892 A CN 115854892A CN 202211549868 A CN202211549868 A CN 202211549868A CN 115854892 A CN115854892 A CN 115854892A
- Authority
- CN
- China
- Prior art keywords
- circuit board
- height
- point
- zero plane
- pixel point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000001514 detection method Methods 0.000 title claims abstract description 16
- 238000005070 sampling Methods 0.000 claims abstract description 59
- 238000007689 inspection Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 abstract description 7
- 238000005259 measurement Methods 0.000 abstract 1
- 229910000679 solder Inorganic materials 0.000 description 4
- 230000007547 defect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005476 soldering Methods 0.000 description 1
Images
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
一种用于PCB检测的零平面校正方法,涉及电路板检测技术领域,该方法在待测电路板的三维俯视图中密集设置采样点,并根据同位置二维俯视图剔除无效采样点,再根据有效采样点邻近区域中的有效像素点计算出采样点的零平面高度,再根据计算结果拟合出待测电路板的零平面,通过拟合出待测电路板的零平面对待测电路板的三维俯视图中的像素点的高度进行校正,能避免非电路板表面的点对测量高度结果的影响,减少待测电路板表面点的高度计算误差。
Description
技术领域
本发明涉及电路板检测技术,特别是涉及一种用于PCB检测的零平面校正方法的技术。
背景技术
PCB(印刷电路板)的3D检测是电路板生产过程中的重要工序,检测项目包括:在锡膏印刷后对锡膏的厚度、面积、有无连锡等进行检测,在将电子元件铺设到电路板上并进行焊接之后对各个元件的焊接状态进行检测。
PCB的3D检测方法是用3D结构光光源和相机对电路板表面锡膏或元器件的高度进行测量。如图1所示,在实施PCB的3D检测时,结构光光源101、结构光相机102分别设置在待测电路板104的上方,结构光光源101的发光端及结构光相机102的镜头端处于一个等效平面105上;将待测电路板104上表面的高度(这里的高度是指待测电路板104上表面与等效平面105之间的间距)定义为H0,将待测电路板104上的待测器件103上表面的高度(这里的高度是指待测器件103上表面与等效平面105之间的间距)定义为H1,将待测器件103的高度(这里的高度是指待测器件103上表面与待测电路板104上表面之间的间距)定义为H,则有:H=H0-H1。
在理想情况下,将待测电路板104上表面的所有点与等效平面105之间的间距H0的值是相同的,待测电路板104上表面的所有点在此理想情况下所构成的面称之为零平面。
但是,当待测电路板为软质电路板或待测电路板面积较大时,由于其自身重量的原因,容易导致电路板中间部分产生局部下坠,此时待测电路板104上表面不再是一个平面,而是一个曲面,因此在这种情况下,待测电路板104上表面的各个点的高度H0的值不是一个固定值。
另外,结构光光源101及结构光相机102是安装一组水平轨道上,能沿着水平轨道移动的,由于结构光光源101及结构光相机102较重,且水平轨道较长,结构光光源101及结构光相机102在水平轨道上移动时会有微小的下坠,并且在水平轨道上的不同位置上的下坠程度也有微小的差别,因此在实际运行过程中,等效平面105也不再是一个平面,而是一个曲面,因此即使待测电路板104上表面是一个平面,待测电路板104上表面的各个点的高度H0的值也不是一个固定值。
为了克服上述缺陷,现有的检测方法会以待测电路板上的位于待测器件附近区域内的各个点的平均高度H0作为基准,或者用待测电路板上的位于拍照视野范围内的各个点的平均高度H0作为基准。
当使用待测电路板上的位于待测器件附近区域内的各个点的平均高度H0为基准时,由于区域内采样点数量较少,且容易误采集到一些非电路板上表面位置的点,导致H0的误差较大;另外,当待测器件附近的器件排布较为密集时,可供采集的采样点可能距离待测器件所在位置较远,也会导致H0的误差较大。
当使用拍照视野范围内的各个点的平均高度H0作为基准时,由于拍照视野范围比较大,使得平均高度H0与某些具体位置的实际表面高度偏差会比较大,而且这种做法会使得相邻的两个拍照范围内的平均高度H0差异较大,当他们的图像拼接在一起时会出现明显的高度阶梯式变化形状,带来较大的计算误差。
发明内容
针对上述现有技术中存在的缺陷,本发明所要解决的技术问题是提供一种能避免非电路板表面的点对测量高度结果的影响,减少待测电路板表面点的高度计算误差,对多个拍摄位置进行3D图像拼接时不会出现高度阶梯形变化的用于PCB检测的零平面校正方法。
为了解决上述技术问题,本发明所提供的一种用于PCB检测的零平面校正方法,其特征在于,具体步骤如下:
1)设定多个拍摄位置,并在每个拍摄位置上用相机拍摄待测电路板的二维俯视图、三维俯视图;
2)对每个拍摄位置所拍摄的待测电路板的三维俯视图,每间隔5~10mm取一个采样点;
对于每个采样点,如果该采样点的邻近区域中的有效像素点数量小于N,则将该采样点判定为无效采样点,反之则将该采样点判定为有效采样点,采样点的邻近区域是以采样点为中心的包含有M个像素点的矩形区域,M、N为预先设定的常数值,并且M>N;
有效像素点的判断方法为:预先设定一个电路板表面点色值范围,对于每个像素点,如果该像素点在同一拍摄位置所拍摄的待测电路板的二维俯视图中的同位置像素点的色值落在预设的电路板表面点色值范围内,则将该像素点判定为有效像素点,反之则将该像素点判定为无效像素点;
3)对于每个有效采样点,先将该采样点的邻近区域中的所有有效像素点组成一个像素点集合,再计算出该像素点集合中的像素点的高度平均值及高度标准差,像素点的高度是指像素点与相机镜头之间的间距;
然后将高度值与高度平均值的差值的绝对值大于2倍高度标准差的像素点从该像素点集合中剔除后,得到新的目标像素点集合;
然后再计算出目标像素点集合中的像素点的高度平均值,将该高度平均值设定为该采样点的零平面高度;
4)根据步骤3)所得到的各个有效采样点的零平面高度,及各个有效采样点在相机坐标系的X轴、Y轴上的坐标,实施曲面拟合,并将拟合后得到的拟合面,作为待测电路板的零平面,从而得到待测电路板的零平面高度值;
X轴、Y轴是相机坐标系中的两个相互垂直的水平坐标轴;
5)对拍摄的待测电路板的每一个三维俯视图中的每一个像素点,将该像素点的相对待测电路板的零平面的高度校正为:Hij=Hn-Dij+d;
式中,Hij为该像素点的相对待测电路板的零平面的高度,Hn为待测电路板的三维俯视图中的像素点的零平面高度,Dij为该像素点的实际高度,d为预先设定的校正基准值d。
进一步的,步骤4)中实施曲面拟合时采用3次曲面拟合,具体3次曲面拟合公式为:
H0ij=a0+a1xi+a2yj+a3xi 2+a4xiyj+a5yj 2+a6xi 3+a7xi 2yj+a8xiyj 2+a9yj 3
式中,H0ij为待测电路板的三维俯视图中的像素点的零平面高度,xi为待测电路板的三维俯视图中的像素点在相机坐标系的X轴上的坐标,yj为待测电路板的三维俯视图中的像素点在相机坐标系的Y轴上的坐标;
将各个采样点在相机坐标系的X轴坐标、Y轴坐标及零平面高度分别代入3次曲面拟合公式,并用最小二乘法计算出a0、a1、a2、a3、a4、a5、a6、a7、a8、a9,再根据3次曲面拟合公式得出拟合面。
具体的,a0、a1、a2、a3、a4、a5、a6、a7、a8、a9为曲线拟合的拟合参数。
进一步的,步骤4)中实施曲面拟合时可以采用2次曲面拟合,具体2次曲面拟合公式为:
H0ij=a0+a1xi+a2yj+a3xi 2+a4xiyj+a5yj 2
式中,H0ij为待测电路板的三维俯视图中的像素点的零平面高度,xi为待测电路板的三维俯视图中的像素点在相机坐标系的X轴上的坐标,yj为待测电路板的三维俯视图中的像素点在相机坐标系的Y轴上的坐标;
将各个采样点在相机坐标系的X轴坐标、Y轴坐标及零平面高度分别代入2次曲面拟合公式,并用最小二乘法计算出a0、a1、a2、a3、a4、a5,再根据2次曲面拟合公式得出拟合面。
本发明提供的用于PCB检测的零平面校正方法,在待测电路板的三维俯视图中密集设置采样点,并根据同位置二维俯视图剔除无效采样点,再根据有效采样点邻近区域中的有效像素点计算出采样点的零平面高度,再根据计算结果拟合出待测电路板的零平面,通过拟合出待测电路板的零平面对待测电路板的三维俯视图中的像素点的高度进行校正,能避免非电路板表面的点对测量高度结果的影响,曲面拟合时也符合电路板中心下坠以及相机等效平面中心下坠所形成的曲面形状,保证了拟合的精度,减少了待测电路板表面点的高度计算误差,很好的解决了对多个拍摄位置进行3D图像拼接时可能出现的高度阶梯形变化的问题,这是因为在图像拼接位置的点的高度是曲面方程求得的,其变化是连续的,因此不会出现阶梯形的变化。
附图说明
图1是本发明实施例的用于PCB检测的零平面校正方法的原理图。
具体实施方式
以下结合附图说明对本发明的实施例作进一步详细描述,但本实施例并不用于限制本发明,凡是采用本发明的相似结构及其相似变化,均应列入本发明的保护范围,本发明中的顿号均表示和的关系,本发明中的英文字母区分大小写。
如图1所示,本发明实施例所提供的一种用于PCB检测的零平面校正方法,其特征在于,具体步骤如下:
1)设定多个拍摄位置,并在每个拍摄位置上用相机拍摄待测电路板的二维俯视图、三维俯视图;
2)对每个拍摄位置所拍摄的待测电路板的三维俯视图,每间隔5~10mm取一个采样点(采样点为图中的像素点);
对于每个采样点,如果该采样点的邻近区域中的有效像素点数量小于N,则将该采样点判定为无效采样点,反之则将该采样点判定为有效采样点,采样点的邻近区域是以采样点为中心的包含有M个像素点的矩形区域,M、N为预先设定的常数值,并且M>N,本实施例中的M取值为21×21,N取值为100,在其它实施例中也可根据实际需要将M、N的取值改为其它值,比如M取值为19×19、18×18等等,N取值为90、95等等;
有效像素点的判断方法为:预先设定一个电路板表面点色值范围,对于每个像素点,如果该像素点在同一拍摄位置所拍摄的待测电路板的二维俯视图中的同位置像素点的色值落在预设的电路板表面点色值范围内,则将该像素点判定为有效像素点(表明该像素点属于电路板上表面的图像),反之则将该像素点判定为无效像素点;
3)对于每个有效采样点,先将该采样点的邻近区域中的所有有效像素点组成一个像素点集合,再计算出该像素点集合中的像素点的高度平均值及高度标准差,像素点的高度是指像素点与相机镜头之间的间距;
然后将高度值与高度平均值的差值的绝对值大于2倍高度标准差的像素点从该像素点集合中剔除后,得到新的目标像素点集合;
然后再计算出目标像素点集合中的像素点的高度平均值,将该高度平均值设定为该采样点的零平面高度;
4)根据步骤3)所得到的各个有效采样点的零平面高度,及各个有效采样点在相机坐标系的X轴、Y轴上的坐标,实施曲面拟合,并将拟合后得到的拟合面,作为待测电路板的零平面,从而得到待测电路板的零平面高度值(这里的高度是指待测电路板的零平面与相机镜头端之间的间距);
X轴、Y轴是相机坐标系中的两个相互垂直的水平坐标轴;
5)对拍摄的待测电路板的每一个三维俯视图中的每一个像素点,将该像素点的相对待测电路板的零平面的高度校正为:Hij=Hn-Dij+d;
式中,Hij为该像素点的相对待测电路板的零平面的高度,Hn为待测电路板的三维俯视图中的像素点的零平面高度,Dij为该像素点的实际高度(这里的高度是像素点与相机镜头端之间的间距),d为预先设定的校正基准值d,d的取值范围为50±5um,设置校正基准值d的目的是为了避免Hij出现负数。
本发明实施例中,为了提高计算精度,步骤4)中实施曲面拟合时采用3次曲面拟合,具体3次曲面拟合公式为:
H0ij=a0+a1xi+a2yj+a3xi 2+a4xiyj+a5yj 2+a6xi 3+a7xi 2yj+a8xiyj 2+a9yj 3
式中,H0ij为待测电路板的三维俯视图中的像素点的零平面高度,xi为待测电路板的三维俯视图中的像素点在相机坐标系的X轴上的坐标,yj为待测电路板的三维俯视图中的像素点在相机坐标系的Y轴上的坐标;
将各个采样点在相机坐标系的X轴坐标、Y轴坐标及零平面高度分别代入3次曲面拟合公式,并用最小二乘法计算出a0、a1、a2、a3、a4、a5、a6、a7、a8、a9,再根据3次曲面拟合公式得出拟合面。
本发明实施例中,为了提高计算速度,步骤4)中实施曲面拟合时可以采用2次曲面拟合,具体2次曲面拟合公式为:
H0ij=a0+a1xi+a2yj+a3xi 2+a4xiyj+a5yj 2
式中,H0ij为待测电路板的三维俯视图中的像素点的零平面高度,xi为待测电路板的三维俯视图中的像素点在相机坐标系的X轴上的坐标,yj为待测电路板的三维俯视图中的像素点在相机坐标系的Y轴上的坐标;
将各个采样点在相机坐标系的X轴坐标、Y轴坐标及零平面高度分别代入2次曲面拟合公式,并用最小二乘法计算出a0、a1、a2、a3、a4、a5,再根据2次曲面拟合公式得出拟合面。
Claims (3)
1.一种用于PCB检测的零平面校正方法,其特征在于,具体步骤如下:
1)设定多个拍摄位置,并在每个拍摄位置上用相机拍摄待测电路板的二维俯视图、三维俯视图;
2)对每个拍摄位置所拍摄的待测电路板的三维俯视图,每间隔5~10mm取一个采样点;
对于每个采样点,如果该采样点的邻近区域中的有效像素点数量小于N,则将该采样点判定为无效采样点,反之则将该采样点判定为有效采样点,采样点的邻近区域是以采样点为中心的包含有M个像素点的矩形区域,M、N为预先设定的常数值,并且M>N;
有效像素点的判断方法为:预先设定一个电路板表面点色值范围,对于每个像素点,如果该像素点在同一拍摄位置所拍摄的待测电路板的二维俯视图中的同位置像素点的色值落在预设的电路板表面点色值范围内,则将该像素点判定为有效像素点,反之则将该像素点判定为无效像素点;
3)对于每个有效采样点,先将该采样点的邻近区域中的所有有效像素点组成一个像素点集合,再计算出该像素点集合中的像素点的高度平均值及高度标准差,像素点的高度是指像素点与相机镜头之间的间距;
然后将高度值与高度平均值的差值的绝对值大于2倍高度标准差的像素点从该像素点集合中剔除后,得到新的目标像素点集合;
然后再计算出目标像素点集合中的像素点的高度平均值,将该高度平均值设定为该采样点的零平面高度;
4)根据步骤3)所得到的各个有效采样点的零平面高度,及各个有效采样点在相机坐标系的X轴、Y轴上的坐标,实施曲面拟合,并将拟合后得到的拟合面,作为待测电路板的零平面,从而得到待测电路板的零平面高度值;
X轴、Y轴是相机坐标系中的两个相互垂直的水平坐标轴;
5)对拍摄的待测电路板的每一个三维俯视图中的每一个像素点,将该像素点的相对待测电路板的零平面的高度校正为:Hij=Hn-Dij+d;
式中,Hij为该像素点的相对待测电路板的零平面的高度,Hn为待测电路板的三维俯视图中的像素点的零平面高度,Dij为该像素点的实际高度,d为预先设定的校正基准值d。
2.根据权利要求1所述的用于PCB检测的零平面校正方法,其特征在于:步骤4)中实施曲面拟合时采用3次曲面拟合,具体3次曲面拟合公式为:
H 0ij=a0+a1xi+a 2y j+a3xi 2+a 4xiy j+a5y j 2+a6xi 3+a 7xi 2y j+a 8xiy j 2+a9y j 3
式中,H 0ij为待测电路板的三维俯视图中的像素点的零平面高度,xi为待测电路板的三维俯视图中的像素点在相机坐标系的X轴上的坐标,y j为待测电路板的三维俯视图中的像素点在相机坐标系的Y轴上的坐标;
将各个采样点在相机坐标系的X轴坐标、Y轴坐标及零平面高度分别代入3次曲面拟合公式,并用最小二乘法计算出a 0、a 1、a 2、a3、a 4、a5、a6、a7、a 8、a9,再根据3次曲面拟合公式得出拟合面。
3.根据权利要求1所述的用于PCB检测的零平面校正方法,其特征在于:步骤4)中实施曲面拟合时可以采用2次曲面拟合,具体2次曲面拟合公式为:
H 0ij=a0+a1xi+a 2y j+a3xi 2+a 4xiy j+a5y j 2
式中,H 0ij为待测电路板的三维俯视图中的像素点的零平面高度,xi为待测电路板的三维俯视图中的像素点在相机坐标系的X轴上的坐标,y j为待测电路板的三维俯视图中的像素点在相机坐标系的Y轴上的坐标;
将各个采样点在相机坐标系的X轴坐标、Y轴坐标及零平面高度分别代入2次曲面拟合公式,并用最小二乘法计算出a 0、a 1、a 2、a3、a 4、a5,再根据2次曲面拟合公式得出拟合面。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211549868.8A CN115854892B (zh) | 2022-12-05 | 2022-12-05 | 用于pcb检测的零平面校正方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211549868.8A CN115854892B (zh) | 2022-12-05 | 2022-12-05 | 用于pcb检测的零平面校正方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115854892A true CN115854892A (zh) | 2023-03-28 |
CN115854892B CN115854892B (zh) | 2024-02-02 |
Family
ID=85669961
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211549868.8A Active CN115854892B (zh) | 2022-12-05 | 2022-12-05 | 用于pcb检测的零平面校正方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115854892B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6496270B1 (en) * | 2000-02-17 | 2002-12-17 | Gsi Lumonics, Inc. | Method and system for automatically generating reference height data for use in a three-dimensional inspection system |
JP2004340832A (ja) * | 2003-05-16 | 2004-12-02 | Matsushita Electric Ind Co Ltd | 回路基板の外観検査方法及び回路基板の外観検査装置 |
CN110349195A (zh) * | 2019-06-25 | 2019-10-18 | 杭州汇萃智能科技有限公司 | 一种基于深度图像的目标物体3d测量参数获取方法、系统和存储介质 |
CN112082491A (zh) * | 2020-09-11 | 2020-12-15 | 苏州杰锐思智能科技股份有限公司 | 基于点云的高度检测方法 |
CN114581506A (zh) * | 2022-02-28 | 2022-06-03 | 上海像景智能科技有限责任公司 | 一种结合二维与三维信息精确计算高度的并行算法 |
CN114943778A (zh) * | 2022-07-26 | 2022-08-26 | 广州镭晨智能装备科技有限公司 | 基准面确定方法、检测方法、装置、设备和存储介质 |
-
2022
- 2022-12-05 CN CN202211549868.8A patent/CN115854892B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6496270B1 (en) * | 2000-02-17 | 2002-12-17 | Gsi Lumonics, Inc. | Method and system for automatically generating reference height data for use in a three-dimensional inspection system |
JP2004340832A (ja) * | 2003-05-16 | 2004-12-02 | Matsushita Electric Ind Co Ltd | 回路基板の外観検査方法及び回路基板の外観検査装置 |
CN110349195A (zh) * | 2019-06-25 | 2019-10-18 | 杭州汇萃智能科技有限公司 | 一种基于深度图像的目标物体3d测量参数获取方法、系统和存储介质 |
CN112082491A (zh) * | 2020-09-11 | 2020-12-15 | 苏州杰锐思智能科技股份有限公司 | 基于点云的高度检测方法 |
CN114581506A (zh) * | 2022-02-28 | 2022-06-03 | 上海像景智能科技有限责任公司 | 一种结合二维与三维信息精确计算高度的并行算法 |
CN114943778A (zh) * | 2022-07-26 | 2022-08-26 | 广州镭晨智能装备科技有限公司 | 基准面确定方法、检测方法、装置、设备和存储介质 |
Non-Patent Citations (2)
Title |
---|
勒系遥: "基于机器视觉的SMT元器件3D重建与缺陷识别方法研究", 中国优秀硕士学位论文全文库信息科技辑, no. 1, pages 22 - 34 * |
罗兵 等: "基于平面估计的三维测量相位展开新方法", 计算机测量与控制, vol. 24, no. 9, pages 43 - 46 * |
Also Published As
Publication number | Publication date |
---|---|
CN115854892B (zh) | 2024-02-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10542651B2 (en) | Inspection apparatus and quality control system for surface mounting line | |
KR100857257B1 (ko) | 스크린 인쇄장치 및 화상 인식 위치 맞춤방법 | |
US20130194569A1 (en) | Substrate inspection method | |
CN111263142B (zh) | 一种摄像模组光学防抖的测试方法、装置、设备及介质 | |
CN111351431B (zh) | 一种pcb板上多孔位的检测系统的校正方法 | |
CN113240674A (zh) | 基于三维点云和二维图像融合的共面度检测方法 | |
CN114998334B (zh) | 工件通孔位置校准方法及检测装置 | |
CN112802123A (zh) | 一种基于条纹虚拟靶标的双目线阵相机静态标定方法 | |
CN111376254A (zh) | 平面测距方法及系统和机械手调校平面的方法及系统 | |
KR102023087B1 (ko) | 카메라 캘리브레이션 방법 | |
JP5457665B2 (ja) | 電子部品装着装置 | |
CN115854892A (zh) | 用于pcb检测的零平面校正方法 | |
JP3668654B2 (ja) | 歪曲収差の補正方法 | |
CN113109259B (zh) | 一种图像的智能导航方法及装置 | |
JP5572247B2 (ja) | 画像歪補正方法 | |
JP2001133225A (ja) | デジタルカメラを用いる寸法,形状の計測方法 | |
CN112651261A (zh) | 高精度2d相机坐标系和机械坐标系转换关系的计算方法 | |
CN116295046B (zh) | 电路板板载元器件的回字形高度测量方法 | |
KR20160148735A (ko) | 카메라 광중심 측정을 위한 영상 처리 장치 및 그 방법 | |
JPH11264718A (ja) | ウエハの位置把握方法並びに露光方法及び露光装置 | |
CN112108776B (zh) | 一种用于led灯珠不良品标记的高精度激光打标方法 | |
KR101668990B1 (ko) | 공대지 사격장 채점 기기 및 방법 | |
CN116645292A (zh) | 物距偏差导致的透视误差修正方法 | |
JP4760072B2 (ja) | X線検査装置及びx線検査方法 | |
CN111757101B (zh) | 线阵相机静态检校装置及其检校方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |