CN111336947A - 一种基于双目点云融合的镜面类物体线激光扫描方法 - Google Patents
一种基于双目点云融合的镜面类物体线激光扫描方法 Download PDFInfo
- Publication number
- CN111336947A CN111336947A CN202010134635.6A CN202010134635A CN111336947A CN 111336947 A CN111336947 A CN 111336947A CN 202010134635 A CN202010134635 A CN 202010134635A CN 111336947 A CN111336947 A CN 111336947A
- Authority
- CN
- China
- Prior art keywords
- measured object
- laser
- binocular
- point cloud
- fringe
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 21
- 230000004927 fusion Effects 0.000 title claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 7
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 6
- 239000004065 semiconductor Substances 0.000 claims description 12
- 238000001514 detection method Methods 0.000 abstract description 12
- 238000005259 measurement Methods 0.000 abstract description 9
- 238000002310 reflectometry Methods 0.000 abstract description 5
- 238000004441 surface measurement Methods 0.000 abstract 2
- 230000008901 benefit Effects 0.000 description 8
- 239000000047 product Substances 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000000691 measurement method Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 238000005498 polishing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2545—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2518—Projection by scanning of the object
- G01B11/2522—Projection by scanning of the object the position of the object changing and being recorded
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种基于双目点云融合的镜面类物体线激光扫描方法,该方法通过设计双目扫描系统对被测物体进行线激光扫描,同时通过两台接受相机从相反的方向捕获其相应的调制激光条纹,然后通过图像处理算法对错误的高度信息区域进行抠除,最后将两部分带空洞的三维点云放入同一世界坐标系进行融合,完整的物体三维形貌可以获得。本发明解决了线激光测量高反射镜面的工业难题,由于兼容低反射率的粗糙表面测量,因此可以应用于反射率较复杂的物体表面测量,整个测量过程只需一次激光扫描便可完成整个形貌的测量,在工业检测、机器视觉以及逆向工程领域有极高的应用价值。
Description
技术领域
本发明涉及一种光学三维测量方法,属于光电检测技术领域,具体涉及一种基于双目点云融合的镜面类物体线激光扫描方法。
背景技术
传统的接触式测量方法虽然有着极高的精度,但是点云获取速度相对较慢。随着激光技术、光电成像技术和计算机技术的快速发展,新的光学三维测量方法不断涌现。基于线激光投影的光学三维面形测量方法具有高精度、非接触、快速实时测量及易于实现自动化测量等优点,在外形质量检测、逆向工程、机器视觉、文物修复、虚拟显示等领域都有着广泛的应用。另外,线激光扫描技术以硬件系统体积较小、成本经济、抗干扰性、寿命较长等优点在工业在线检测领域独占一席之地。随着现代工业的发展,不同材料、质地的工业产品涌入人类生活。各种物体表面的不同材料特性对线激光扫描方法提出了新的挑战。对于一些特殊的物体表面,例如镀膜器件、抛光金属、喷涂车身、等镜面反射较强的物体表面,传统的线激光扫描方法遇到新的测量难题。
在现代工业检测中,测量反射率较高的镜面物体与类镜面物体时,基本都是以人工检测方法为主,并且借助显微镜与放大镜等放大工具。人工检测方法存在很多缺点与局限性:首先,由于工厂的大量生产,要求人工检测速度必须匹配机器生产速度。面对市场的大量需求,企业为了保证生产效率,将会投入更大的人力检测资源。过度的人力消耗只会加重企业的负担,并且转化为产品的价值,从而提高产品的价格。另外,工作人员很容易疲劳从而导致误判和漏检现象的发生,从而提高产品的良率,使产品的质量难以得到保证。镜面类物体的检测方法严重限制了企业的发展和效益。利用线激光扫描的非接触,快速测量等优点来提高产品检测速率,解决线激光在扫描高反射率镜面类物体表面时出现的难题将会对镜面类物体的检测起着重要意义。
发明内容
本发明的目的是在于提供一种基于双目点云融合的镜面类物体线激光扫描方法,通过以下技术方案实现。
一种基于双目点云融合的镜面类物体线激光扫描方法,包括以下步骤:
步骤一、双目扫描系统结构搭建,所述双目扫描系统包括两台接收相机、半导体激光器、柱型棱镜、计算机、步进马达和被测物体,所述被测物体放置在所述步进马达的马达平台上,所述两台接收相机到所述马达平台的高度一致并在所述被测物体两侧放置,所述两台接收相机与所述计算机连接,所述半导体激光器垂直设置在所述被测物体上方,所述半导体激光器与所述被测物体中间设有所述柱型棱镜;
步骤二、所述半导体激光器发出线激光经过柱型棱镜扫射在所述被测物体上,所述步进马达带着被测物体移动,两台接收相机分别从相反方向实时捕获被测物体相应的调制激光条纹图发送到计算机;
步骤三、将两台接收相机捕获的调制激光条纹图通过图像处理算法,分别进行条纹受扰区域去除,保留两组正常条纹部分,通过两组正常条纹部分计算得到两组对应的三维信息。
步骤四、将两组三维信息统一于同一世界坐标,进行点云融合,减小双目标定误差,实现高精度点云融合。
本发明的优点:
(1)利用线激光测量镜面类物体,比传统测量方式只需加入一个相机,不需要增加费用较高的额外设备,另外线激光扫描系统的高稳定性,高寿命,低成本等优点被广泛应用于工业质量检测,可以使镜面检测行业成本减少,效益增高。
(2)现有激光扫描测量镜面类物体测量方法需要经过多次扫描才能获得物体完整三维信息,本方法只要经过单次扫描,即可获得镜面类物体的三维形貌,提高了测量效率。
(3)条纹干扰区域与正常条纹区域的特征明显,干扰区域提取的图形中心也较分散,关于受扰条纹区域去除的相关图像算法以及后期错误点云数据去除算法易于实现,使最终点云结果精度更高,可靠性更强。
附图说明
图1为本发明的双目扫描系统结构示意图;
图2为本发明光学原理图;
图3为图2中左相机实时采集的调制激光条纹图;
图4为图2中右相机实时采集的调制激光条纹图;
图5为本发明中一组数据融合结果。
具体实施方式
以下结合附图说明对本发明的实例作进一步详细描述,但本实例并不用于限制本发明,凡是采用本发明的相似结构及其相似变化,均应列入本发明的保护范围。
1、双目扫描系统结构搭建:本发明的使用的双目扫描系统,如图1所示,包括两台接收相机、半导体激光器、柱型棱镜、计算机、步进马达和被测物体。被测物体放置在步进马达的马达平台上,两台接收相机到马达平台的高度一致并在被测物体两侧对称放置,两台接收相机与计算机连接,半导体激光器垂直设置在被测物体上方,半导体激光器与被测物体中间设有柱型棱镜。半导体激光器发出激光经过柱型棱镜扫射在被测物体上,步进马达带着被测物体移动,两台接收相机分别从两侧实时捕获相应的调制激光条纹图发送到计算机,通过图像处理算法获取有效条纹中心,然后利用空间三角关系与获得参数计算被测物体的三维信息。
2、图像采集分析
如图2所示,步进马达移动过程中,在某些位置会出现星状光斑,此时干扰达到最大程度。如果假设相机与移动平台的水平夹角为β,相机像素阵列的列长度为M,可以发生星状光斑的表面斜率被限制在一定范围之内,可由公式(1)表示:
-π/4+(2arctan(2fy/M)-β)/2=<α<=π/4-(arctan(2fx/M)-β)/2 (1)
其中fx与fy为相机内参(焦距除以像素长度与宽度的商值),可由相机参数标定获得。
只有合适的高度与合适的角度才能发生激光光线完全射入相机,此时相机位置与物体表面斜率的关系可有公式(2)确定,其中L为相机与激光平面的距离,H为接收相机与载物平台的高度,它们为一定值,h为物体被测量点的高度值,随着步进电机移动,根据物体外形不断变化。
(H-h)tan(2α)=L (2)
3、条纹处理
由图3、图4可知,在右相机捕获激光条纹受到干扰时候,被测位置在左相机中形成的条纹形貌正常。用左相机的正常光条部分得到的三维数据补充右相机的条纹受扰部分三维数据是整个过程的关键。首先需要在图像处理阶段对激光条纹干扰区域进行去除,由于受扰区域比正常条纹区域过宽,需要在特定测量环境下进行多幅图像采集,计算不同位置导致的激光光带的宽度范围。根据统计结果,设定一个合理的图像宽度阈值,把获得图像中过宽的受扰区域进行抠除,然后对剩下条纹部分进行准确纹中心提取,用于下一步的三维信息计算。由于镜面物体反射较低,我们需要将被测物体表面置于激光线宽最小位置,提高条纹亮度,此时条纹宽度较窄。因此,我们选择使用亚像素级的质心法来获取激光条纹图像中心。可由公式(3)表示,
其中Ln为当前像素行第n个像素处在的列值,In当前像素行第n个像素的光强大小。
4、双目点云数据融合
经柱形棱镜散射产生的激光平面与相机的位置关系可由激光平面拟合获得,可由公式(4)中上式表示,其中,a、b、c、d为平面方程的四个系数。公式(4)中下式为提取的条纹中心与相机圆点所确定的直线在相机坐标系下的直线方程,(u0,v0)为图像坐标系原点,(u,v)为所得条纹中心。两个方程联立,即可根据条纹中心获得被测物体表面在相机坐标系下的三维信息,推导结果可由式(5)表示:
上式所得到的三维数据并非我们需要的最终三维信息。我们需要将相机坐标系下的三维数据转换到参考平面的世界坐标系下,所得的z值才为需要的高度信息。两个接收相机坐标系下的三维坐标转化为参考平面的世界坐标,可由公式(6)表示:
要想实现点云的正确融合,需要多两个测量系统进行世界坐标系的统一。通常世界坐标系的确定利用棋盘格来确定。如图5所示,通过移动多次棋盘格来标定相机内参。根据激光的投射光线与棋盘格的移动获得平面方程。将其中一次平行放置于移动平台上面的棋盘格做为共同世界坐标,则可实现两组点云的准确融合。假设相机内参矩阵为B、旋转矩阵为R、平移矩阵为T,两个接收相机坐标之间的转化关系可以表示为式(7):
5、发明实验结果
根据本发明所提方法进行实验,对一个相机的所获条纹进行统一步骤处理:首先对所得需条纹进行准确提取,然后膨胀区域进行宽度阈值抠除,最后对剩下条纹进行准确条纹中心提取,并且计算对应高度信息。同一位置的激光条纹不会同时在两个接收相机中出现条纹膨胀现象,对两个接收相机的条纹做数据处理。然后对两条所得数据进行融合,实现错误三维信息的去除与补充。该方法可以实现镜面物体的三维形貌完整测量,实验误差可达0.14mm。
不局限于此,任何不经过创造性劳动想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求书所限定的保护范围为准。
Claims (1)
1.一种基于双目点云融合的镜面类物体线激光扫描方法,其特征在于,包括以下步骤:
步骤一、双目扫描系统结构搭建,所述双目扫描系统包括两台接收相机、半导体激光器、柱型棱镜、计算机、步进马达和被测物体,所述被测物体放置在所述步进马达的马达平台上,所述两台接收相机到所述马达平台的高度一致并在所述被测物体两侧放置,所述两台接收相机与所述计算机连接,所述半导体激光器垂直设置在所述被测物体上方,所述半导体激光器与所述被测物体中间设有所述柱型棱镜;
步骤二、所述半导体激光器发出线激光经过柱型棱镜扫射在所述被测物体上,所述步进马达带着被测物体移动,两台接收相机分别从相反方向实时捕获被测物体相应的调制激光条纹图发送到计算机;
步骤三、将两台接收相机捕获的调制激光条纹图通过图像处理算法,分别进行条纹受扰区域去除,保留两组正常条纹部分,通过两组正常条纹部分计算得到两组对应的三维信息。
步骤四、将两组三维信息统一于同一世界坐标,进行点云融合,减小双目标定误差,实现高精度点云融合。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010134635.6A CN111336947A (zh) | 2020-03-02 | 2020-03-02 | 一种基于双目点云融合的镜面类物体线激光扫描方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010134635.6A CN111336947A (zh) | 2020-03-02 | 2020-03-02 | 一种基于双目点云融合的镜面类物体线激光扫描方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111336947A true CN111336947A (zh) | 2020-06-26 |
Family
ID=71185963
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010134635.6A Pending CN111336947A (zh) | 2020-03-02 | 2020-03-02 | 一种基于双目点云融合的镜面类物体线激光扫描方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111336947A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112958958A (zh) * | 2021-02-08 | 2021-06-15 | 西安知象光电科技有限公司 | 一种mems微镜面扫描与线扫描混合的激光焊缝扫描装置及扫描方法 |
CN113052898A (zh) * | 2021-04-08 | 2021-06-29 | 四川大学华西医院 | 基于主动式双目相机的点云和强反光目标实时定位方法 |
CN113375590A (zh) * | 2021-05-25 | 2021-09-10 | 霖鼎光学(上海)有限公司 | 一种基于立体偏折束的超精密加工原位测量装置和方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5675407A (en) * | 1995-03-02 | 1997-10-07 | Zheng Jason Geng | Color ranging method for high speed low-cost three dimensional surface profile measurement |
CN101853528A (zh) * | 2010-05-10 | 2010-10-06 | 沈阳雅克科技有限公司 | 一种手持式三维型面信息提取方法及其提取仪 |
CN105091782A (zh) * | 2015-05-29 | 2015-11-25 | 南京邮电大学 | 一种基于双目视觉的多线激光器光平面标定方法 |
CN105571513A (zh) * | 2015-12-16 | 2016-05-11 | 北京博视中自科技有限公司 | 一种基于线激光的三维数据获取装置和方法 |
CN106780725A (zh) * | 2016-12-23 | 2017-05-31 | 西安交通大学 | 一种双目三维重构方法及系统 |
CN106949848A (zh) * | 2017-03-15 | 2017-07-14 | 深圳市深视智能科技有限公司 | 一种高精度激光3d轮廓手机结构件检测方法 |
CN107907048A (zh) * | 2017-06-30 | 2018-04-13 | 长沙湘计海盾科技有限公司 | 一种基于线结构光扫描的双目立体视觉三维测量方法 |
CN110230998A (zh) * | 2019-06-24 | 2019-09-13 | 深度计算(长沙)信息技术有限公司 | 一种基于线激光和双目相机的快速精密三维测量方法和装置 |
-
2020
- 2020-03-02 CN CN202010134635.6A patent/CN111336947A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5675407A (en) * | 1995-03-02 | 1997-10-07 | Zheng Jason Geng | Color ranging method for high speed low-cost three dimensional surface profile measurement |
CN101853528A (zh) * | 2010-05-10 | 2010-10-06 | 沈阳雅克科技有限公司 | 一种手持式三维型面信息提取方法及其提取仪 |
CN105091782A (zh) * | 2015-05-29 | 2015-11-25 | 南京邮电大学 | 一种基于双目视觉的多线激光器光平面标定方法 |
CN105571513A (zh) * | 2015-12-16 | 2016-05-11 | 北京博视中自科技有限公司 | 一种基于线激光的三维数据获取装置和方法 |
CN106780725A (zh) * | 2016-12-23 | 2017-05-31 | 西安交通大学 | 一种双目三维重构方法及系统 |
CN106949848A (zh) * | 2017-03-15 | 2017-07-14 | 深圳市深视智能科技有限公司 | 一种高精度激光3d轮廓手机结构件检测方法 |
CN107907048A (zh) * | 2017-06-30 | 2018-04-13 | 长沙湘计海盾科技有限公司 | 一种基于线结构光扫描的双目立体视觉三维测量方法 |
CN110230998A (zh) * | 2019-06-24 | 2019-09-13 | 深度计算(长沙)信息技术有限公司 | 一种基于线激光和双目相机的快速精密三维测量方法和装置 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112958958A (zh) * | 2021-02-08 | 2021-06-15 | 西安知象光电科技有限公司 | 一种mems微镜面扫描与线扫描混合的激光焊缝扫描装置及扫描方法 |
CN113052898A (zh) * | 2021-04-08 | 2021-06-29 | 四川大学华西医院 | 基于主动式双目相机的点云和强反光目标实时定位方法 |
CN113052898B (zh) * | 2021-04-08 | 2022-07-12 | 四川大学华西医院 | 基于主动式双目相机的点云和强反光目标实时定位方法 |
CN113375590A (zh) * | 2021-05-25 | 2021-09-10 | 霖鼎光学(上海)有限公司 | 一种基于立体偏折束的超精密加工原位测量装置和方法 |
CN113375590B (zh) * | 2021-05-25 | 2023-03-10 | 霖鼎光学(上海)有限公司 | 一种基于立体偏折束的超精密加工原位测量装置和方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Xu et al. | Line structured light calibration method and centerline extraction: A review | |
EP3171129B1 (en) | High resolution dot pattern | |
Song et al. | An accurate and robust strip-edge-based structured light means for shiny surface micromeasurement in 3-D | |
CN111046776B (zh) | 基于深度相机的移动机器人行进路径障碍物检测的方法 | |
Xu et al. | Real-time 3D shape inspection system of automotive parts based on structured light pattern | |
Ribo et al. | State of the art on vision-based structured light systems for 3D measurements | |
CN102853786B (zh) | 平整度检测装置和方法 | |
CN111336947A (zh) | 一种基于双目点云融合的镜面类物体线激光扫描方法 | |
CN203231736U (zh) | 一种基于双目视觉的镜面物体测量装置 | |
CA2529498A1 (en) | Method and sytem for the three-dimensional surface reconstruction of an object | |
CN111256587A (zh) | 一种基于双线结构光扫描的高反射率表面三维测量方法 | |
Huang et al. | Overview on the profile measurement of turbine blade and its development | |
CN111426282B (zh) | 一种光学测量点云的密封面误差评估缺陷识别方法 | |
US20220092345A1 (en) | Detecting displacements and/or defects in a point cloud using cluster-based cloud-to-cloud comparison | |
Tian et al. | An experimental evaluation method for the performance of a laser line scanning system with multiple sensors | |
CN113310433A (zh) | 基于线结构光的虚拟双目立体视觉测量方法 | |
CN109506629B (zh) | 一种水下核燃料组件检测装置旋转中心标定的方法 | |
CN116592766A (zh) | 一种基于激光与单目视觉融合的精密三维测量方法和装置 | |
Yang et al. | Camera calibration with active standard Gaussian stripes for 3D measurement | |
CN113432558A (zh) | 一种基于激光的不规则物体表面积的测量装置及方法 | |
Harding | Latest optical methods for industrial dimensional metrology | |
CN202748012U (zh) | 一种用于金属零件三维测量的立体拼接块 | |
Sun et al. | Calibration Method for a Multi-line Structured Laser Light Vision System. | |
CN111174704B (zh) | 通过灰度图像测量锡球高度的方法 | |
Yang et al. | Application of 3D vision intelligent calibration and imaging technology for industrial robots |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200626 |