CN109813254A - 基于单目摄像头和测距设备的柱体体积测量方法 - Google Patents
基于单目摄像头和测距设备的柱体体积测量方法 Download PDFInfo
- Publication number
- CN109813254A CN109813254A CN201910037355.0A CN201910037355A CN109813254A CN 109813254 A CN109813254 A CN 109813254A CN 201910037355 A CN201910037355 A CN 201910037355A CN 109813254 A CN109813254 A CN 109813254A
- Authority
- CN
- China
- Prior art keywords
- cylinder
- image
- distance
- monocular cam
- measurement method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种基于单目摄像头和测距设备的柱体体积测量方法，包括：S1：采用所述测距设备测量所述柱体的高度；S2：获取所述单目摄像头的内部参数；S3：采用所述单目摄像头拍摄包含所述柱体的俯视图的图像，并提取出所述柱体的上表面在图像中的区域；S4：结合所述单目摄像头的内部参数和所述柱体的上表面在图像中的区域，计算得到所述柱体的上表面的面积，再结合所述柱体的高度，得到所述柱体的体积。本发明提出的基于单目摄像头和测距设备的柱体体积测量方法，成本低、计算效率高、精度更高，且易于实现。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于单目摄像头和测距设备的柱体体积测量方法。
背景技术
物体体积测量在物流行业具有重要的意义，在商品入库和商品装车环节是必不可少的。目前常用的双目摄像头测体积方法存在着成本高、计算效率低、精度不够高等问题，其中使用双目摄像机测量摄像头是利用双目视差的原理，可以测量任意物体的体积，而如果可以采用单目摄像头来测量体积，可以大大降低测量的成本，现有关于单目摄像头来测量体积的研究有中国专利申请CN102168954A和CN105203034A，其中中国专利申请CN102168954A中使用云台旋转，单目摄像头采集两次图像，与双目原理一致，仍然存在计算效率低、精度不够高等问题；中国专利申请CN105203034A中采用已知运动或者已知物体作为参考来测量面积与高度，其中采用已知运动的方法和双目的原理是一致的，同时对运动的测量精度要求特别高，使用已知物体作为参考物体时需要参考物体与被测物体位于同一水平面(即距离观察者的距离是相等的)，这两种方法在实际测量中基本难以实现。
以上背景技术内容的公开仅用于辅助理解本发明的构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。
发明内容
为解决上述技术问题，本发明提出一种基于单目摄像头和测距设备的柱体体积测量方法，成本低、计算效率高、精度更高，且易于实现。
为了达到上述目的，本发明采用以下技术方案：
本发明公开了一种基于单目摄像头和测距设备的柱体体积测量方法，包括：
S1：采用所述测距设备测量所述柱体的高度；
S2：获取所述单目摄像头的内部参数；
S3：采用所述单目摄像头拍摄包含所述柱体的俯视图的图像，并提取出所述柱体的上表面在图像中的区域；
S4：结合所述单目摄像头的内部参数和所述柱体的上表面在图像中的区域，计算得到所述柱体的上表面的面积，再结合所述柱体的高度，得到所述柱体的体积。
优选地，步骤S1中具体包括：采用所述测距设备分别测量与所述柱体置放平面之间的距离以及与所述柱体的上表面之间的距离，将二者相减得到所述柱体的高度，其中所述测距设备设置在所述柱体的上表面的正上方。
优选地，所述测距设备为激光测距仪或超声波测距仪。
优选地，步骤S3中采用所述单目摄像头拍摄包含所述柱体的上表面的图像时所述单目摄像头的镜头平面与所述柱体的上表面平行。
优选地，步骤S3中采用背景与前景相减除的方法来提取出所述柱体的上表面在图像中的区域。
优选地，步骤S3具体包括：
S31：采用所述单目摄像头拍摄所述柱体放置在背景中之前的背景的图像；
S32：在感知到所述柱体放置在背景中之后采用所述单目摄像头拍摄包含所述柱体的俯视图的图像；
S33：将步骤S31拍摄的背景的图像与步骤S32包含所述柱体的俯视图的图像进行相减；
S34：将步骤S33相减的图像进行图像二值化，并依次进行腐蚀操作、检测边界操作和筛选区域操作，筛选得到所述柱体的上表面在图像中的区域的点；
S35：将步骤S34中筛选得到的所述柱体的上表面在图像中的区域的点作为种子点进行生长，得到所述柱体的上表面在图像中的全部区域。
优选地，步骤S33中具体还包括：在将步骤S31拍摄的背景的图像与步骤S32包含所述柱体的俯视图的图像进行相减之前还分别对步骤S31拍摄的背景的图像和步骤S32包含所述柱体的俯视图的图像分别进行高斯滤波。
优选地，步骤S33中具体还包括：在将步骤S31拍摄的背景的图像与步骤S32包含所述柱体的俯视图的图像进行相减之后还对相减的图像进行窗口滤波。
优选地，步骤S32中具体是通过所述测距设备测量的距离是否发生变化或者通过光流是否发生变化来感知所述柱体是否放置在背景中。
优选地，步骤S1中获取所述单目摄像头的内部参数包括所述单目摄像头的水平焦距fx和竖直焦距fy；步骤S4中结合所述单目摄像头的内部参数和所述柱体的上表面在图像中的区域，计算得到所述柱体的上表面的面积其中，Sp为所述柱体的上表面在图像中的区域的面积，Z为所述柱体的上表面与所述单目摄像头的镜头之间的距离。
与现有技术相比，本发明的有益效果在于：本发明公开的柱体体积测量方法，结合测距设备和图像处理方法实现了采用单目摄像头在固定场景下能够测量柱体的体积，其主要优势在于成本低、处理速度快、对计算设备的运算能力要求低，且易于实现；在一般场景中，柱体的测量需求是比较大的，例如物流行业中的包装箱，本发明即解决了此类问题，大大降低了测量成本，其中单目摄像头可以采用常规的普通相机、手机等任意可以拍照的设备即可。
进一步地，对于市场上的基于双目摄像头的体积测量设备，由于受限于双目的测量原理，其误差通常在厘米级；而本发明的方法中通过激光测距仪或超声波测距仪，距离的误差可以降低到毫米级，从而提高体积的测量精度。
附图说明
图1是本发明优选实施例的基于单目摄像头和测距设备的柱体体积测量方法的流程示意图；
图2是本发明优选实施例的基于单目摄像头和测距设备的柱体体积测量方法的具体流程图；
图3是本发明优选实施例的感知物体采集图像的示意图；
图4a是本发明具体实例的背景布置的示意图；
图4b是将柱体放入到图4a中的背景的示意图；
图4c是在腐蚀操作后得到的图像的示意图；
图4d是在检测边界操作后得到的图像的示意图；
图4e是在相减的图像中提取到的种子点的示意图；
图4f是将种子点进行生长得到柱体区域的示意图；
图5是三维空间的点和像平面上的点的位置关系。
具体实施方式
下面对照附图并结合优选的实施方式对本发明作进一步说明。
如图1和图2所示，本发明优选实施例的基于单目摄像头和测距设备的柱体体积测量方法包括以下步骤：
S1：采用测距设备测量柱体的高度；
具体地，首先采用测距设备测量与柱体置放平面之间的距离，然后再测量与柱体的上表面之间的距离，将二者相减即得到柱体的高度，其中测距设备设置在柱体的上表面的正上方，使得测距设备的测量方向垂直向下。在本实施例中，测距设备可以为激光测距仪或超声波测距仪。一般情况下，测距设备可与单目摄像头置于同一高度，但是二者有所差距也可以，在此不作限制。
S2：获取单目摄像头的内部参数；
该步骤主要是对单目摄像头的内参进行相机标定(例如可以采用棋盘格对单目摄像头进行标定)，以获取单目摄像头的水平方向焦距以及竖直方向焦距值。在本实施例中，该单目摄像头可以是普通相机、手机等可以拍照的设备，在拍摄图像时要求单目摄像头的镜头平面与放置的柱体的表面平行，通常情况下将柱体放在地面上，此时参考平面即为地面，同样也可将柱体放在一些水平的平面上，也同样符合要求。
S3：采用单目摄像头拍摄包含柱体的俯视图的图像，并提取出柱体的上表面在图像中的区域；
具体地，本实施例中采用背景与前景相减除的方法来提取出柱体的上表面在图像中的区域，包括以下步骤：
S31：采用单目摄像头拍摄柱体放置在背景中之前的背景的图像，如图4a所示；
在采用单目摄像头拍摄图像之前还对柱体所置放的背景进行布置，以减少环境光变化产生的干扰；选择背景颜色与物体颜色反差比较大的背景，例如图4a中所示的背景100为本实例中布置的与物体颜色反差比较大的背景，如此可以在滤波过程中建立强约束，基本滤除全部的干扰。其中背景100也相当于限定了测量区域，测量区域指的是测量放在特定区域内的物体的体积，此犹如测量重量的称本身有一个测量范围，在测量过程中要求物体也需要放在体积称的测量范围之内(也即背景100的范围之内)；其中在本实施例中后续的图像处理方法中采用了区域生长方法，物体可以有部分超出体积称的范围，但要求柱体需要位于测量范围之内。
在布置好背景后，即可以采用单目摄像头拍摄柱体放置在背景中之前的背景的图像，得到图4a所示的图像。
S32：在感知到柱体放置在背景中之后采用单目摄像头拍摄包含柱体的俯视图的图像，如图4b所示；
结合图3，感知柱体是否放置在背景中，一方面可以采用测距设备进行感知，未放入柱体时，测距设备测量到的是与地面或放置平面之间的距离，放入柱体200之后，如图4b所示，其测量到的距离会显著发生变化，在距离稳定之后，即可以采用单目摄像头拍摄包含柱体的俯视图的图像，得到图4b所示的图像；另一方面，也可以根据光流变化，进行物体感知，柱体放入时会有较为显著的光流变化，而后会保持稳定，此时即可以采用单目摄像头拍摄包含柱体的主要部分的俯视图的图像，得到图4b所示的图像。
S33：将步骤S31拍摄的背景的图像与步骤S32包含柱体的俯视图的图像进行相减；
具体地，在将步骤S31拍摄的背景的图像与步骤S32包含柱体的俯视图的图像进行相减之前还包括：分别对步骤S31拍摄的背景的图像和步骤S32包含柱体的俯视图的图像进行高斯滤波，以消除图像中的高频分量，减少环境光变化产生的干扰。
进一步，在将步骤S31拍摄的背景的图像与步骤S32包含柱体的俯视图的图像进行相减之后还包括：对相减的图像进行窗口滤波，以进一步消除前景(包含柱体的俯视图的图像)和背景相差比较小的值。
S34：将步骤S33相减的图像进行图像二值化，并依次进行腐蚀操作、检测边界操作和筛选区域操作，筛选得到柱体的上表面在图像中的区域的点，如图4e所示；
其中，进行腐蚀操作后得到如图4c所示的图像，进行检测边界操作后得到如图4d所示的图像(其中显示了背景100区域内的图像)，检测边界会得到多个封闭区域，得到边界后进行筛选操作，得到如图4e所示的图像(其中显示了背景100区域内的图像)，筛选操作中主要滤除噪点，同时将区域中心位于测量区域外的区域剔除。进行腐蚀操作、检测边界操作和筛选区域操作可以进一步消除环境变化产生的干扰，消除二值图像中的孤立点以及中心位于测量区域之外的区域。
S35：将筛选得到的柱体的上表面在图像中的区域的点作为种子点进行生长，得到柱体的上表面在图像中的全部区域，如图4f所示。
S4：结合单目摄像头的内部参数和柱体的上表面在图像中的区域，计算得到柱体的上表面的面积，再结合柱体的高度，得到柱体的体积。
首先根据单目摄像头拍摄的图像以及提取出的柱体的上表面在图像中的区域，可以计算出在该图像中柱体的上表面的面积Sp。
对于三维空间中的点P＝[X,Y,Z]T，在像平面的点坐标p＝[x,y]T；由于光轴垂直于成像平面，可以知道像点p在相机坐标系中的坐标是p＝[x,y,z]T，z＝f。
根据图5所示的相似三角形关系，其中点O位于相机的镜头上，可得从而对于现实世界中的两个点[X1,Y1,Z1]T和[X2,Y2,Z2]T，它们之间的实际距离与像平面的对应点[x1,y1]和[x2,y2]之间的距离满足如下的对应关系：
因此，图像中物体面积乘以即是物体在真实世界中的面积，特别的，如果fx≠fy，则面积比值为fx、fy分别表示相机水平和竖直方向上的焦距，Z表示物体距离相机的镜头平面的距离。
因此，在本实施例中，结合单目摄像头的内部参数和柱体的上表面在图像中的区域，计算得到柱体的上表面的面积其中，Sp为柱体的上表面在图像中的区域的面积，Z为柱体的上表面与单目摄像头的镜头之间的距离，fx、fy分别表示单目摄像头的水平焦距和竖直焦距。
计算得到柱体的上表面的面积S后，再乘以根据测距设备测量得到的柱体的高度，即得到柱体的体积。其中可以采用市场上常见的单片机、计算机或者手机等设备来执行步骤S4即可。
根据上述步骤，本发明优选实施例基于单目摄像头和测距设备即可实现对柱体体积的测量，其中采用单目摄像头可以显著降低对计算能力和成本的要求，目前市场上双目摄像头价格都在千元以上，而单目摄像头的成本可以降到百元左右，甚至可以使用手机摄像头进行图像采集，进一步降低成本。而且目前非接触式测距设备已经十分成熟，如激光测距，具有精度高、成本低等优势，相对于双目测得的深度准确度更高，从而使得本发明的方法测得的体积准确度相比于普通双目摄像机测体积的方法更高。而调研市场上的双目测量体积的设备，其误差均在厘米级别，而通过激光测距设备误差可以轻易降低到毫米级别。因此，本发明优选实施例的基于单目摄像头和测距设备的柱体体积测量方法具有成本低、处理速度快、精度高等特点。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。
Claims (10)
1.一种基于单目摄像头和测距设备的柱体体积测量方法，其特征在于，包括：
S1：采用所述测距设备测量所述柱体的高度；
S2：获取所述单目摄像头的内部参数；
S3：采用所述单目摄像头拍摄包含所述柱体的俯视图的图像，并提取出所述柱体的上表面在图像中的区域；
S4：结合所述单目摄像头的内部参数和所述柱体的上表面在图像中的区域，计算得到所述柱体的上表面的面积，再结合所述柱体的高度，得到所述柱体的体积。
2.根据权利要求1所述的柱体体积测量方法，其特征在于，步骤S1中具体包括：采用所述测距设备分别测量与所述柱体置放平面之间的距离以及与所述柱体的上表面之间的距离，将二者相减得到所述柱体的高度，其中所述测距设备设置在所述柱体的上表面的正上方。
3.根据权利要求1所述的柱体体积测量方法，其特征在于，所述测距设备为激光测距仪或超声波测距仪。
4.根据权利要求1所述的柱体体积测量方法，其特征在于，步骤S3中采用所述单目摄像头拍摄包含所述柱体的上表面的图像时所述单目摄像头的镜头平面与所述柱体的上表面平行。
5.根据权利要求1所述的柱体体积测量方法，其特征在于，步骤S3中采用背景与前景相减除的方法来提取出所述柱体的上表面在图像中的区域。
6.根据权利要求5所述的柱体体积测量方法，其特征在于，步骤S3具体包括：
S31：采用所述单目摄像头拍摄所述柱体放置在背景中之前的背景的图像；
S32：在感知到所述柱体放置在背景中之后采用所述单目摄像头拍摄包含所述柱体的俯视图的图像；
S33：将步骤S31拍摄的背景的图像与步骤S32包含所述柱体的俯视图的图像进行相减；
S34：将步骤S33相减的图像进行图像二值化，并依次进行腐蚀操作、检测边界操作和筛选区域操作，筛选得到所述柱体的上表面在图像中的区域的点；
S35：将步骤S34中筛选得到的所述柱体的上表面在图像中的区域的点作为种子点进行生长，得到所述柱体的上表面在图像中的全部区域。
7.根据权利要求6所述的柱体体积测量方法，其特征在于，步骤S33中具体还包括：在将步骤S31拍摄的背景的图像与步骤S32包含所述柱体的俯视图的图像进行相减之前还分别对步骤S31拍摄的背景的图像和步骤S32包含所述柱体的俯视图的图像分别进行高斯滤波。
8.根据权利要求6所述的柱体体积测量方法，其特征在于，步骤S33中具体还包括：在将步骤S31拍摄的背景的图像与步骤S32包含所述柱体的俯视图的图像进行相减之后还对相减的图像进行窗口滤波。
9.根据权利要求6所述的柱体体积测量方法，其特征在于，步骤S32中具体是通过所述测距设备测量的距离是否发生变化或者通过光流是否发生变化来感知所述柱体是否放置在背景中。
10.根据权利要求1至9任一项所述的柱体体积测量方法，其特征在于，步骤S1中获取所述单目摄像头的内部参数包括所述单目摄像头的水平焦距fx和竖直焦距fy；步骤S4中结合所述单目摄像头的内部参数和所述柱体的上表面在图像中的区域，计算得到所述柱体的上表面的面积其中，Sp为所述柱体的上表面在图像中的区域的面积，Z为所述柱体的上表面与所述单目摄像头的镜头之间的距离。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910037355.0A CN109813254A (zh) | 2019-01-15 | 2019-01-15 | 基于单目摄像头和测距设备的柱体体积测量方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910037355.0A CN109813254A (zh) | 2019-01-15 | 2019-01-15 | 基于单目摄像头和测距设备的柱体体积测量方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109813254A true CN109813254A (zh) | 2019-05-28 |
Family
ID=66603839
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910037355.0A Pending CN109813254A (zh) | 2019-01-15 | 2019-01-15 | 基于单目摄像头和测距设备的柱体体积测量方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109813254A (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN201569481U (zh) * | 2010-01-08 | 2010-09-01 | 北京物资学院 | 一种物料动态检测传输系统 |
| CN104501718A (zh) * | 2014-12-18 | 2015-04-08 | 江苏物联网研究发展中心 | 基于视觉的包裹体积测量装置 |
| CN104766047A (zh) * | 2015-03-04 | 2015-07-08 | 西安工业大学 | 基于车辆长度检测的高速收费站车辆识别方法及装置 |
| JP2016103208A (ja) * | 2014-11-28 | 2016-06-02 | 富士通株式会社 | 計測方法、情報処理装置、プログラム及び商品数計測システム |
| CN106546169A (zh) * | 2016-10-12 | 2017-03-29 | 上海斐讯数据通信技术有限公司 | 利用移动设备测量物体尺寸的方法及装置 |
| CN107816943A (zh) * | 2017-10-23 | 2018-03-20 | 广东工业大学 | 一种物流箱体积重量测量系统及其实现方法 |
| CN108036724A (zh) * | 2017-12-01 | 2018-05-15 | 武汉万集信息技术有限公司 | 一种物体尺寸测量方法及装置 |
| CN208171179U (zh) * | 2018-04-19 | 2018-11-30 | 广州市中崎商业机器股份有限公司 | 一种体积重量测量仪 |
| CN109029618A (zh) * | 2018-07-11 | 2018-12-18 | 苏州科技大学 | 单目视觉包装箱体积测量方法 |
-
2019
- 2019-01-15 CN CN201910037355.0A patent/CN109813254A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN201569481U (zh) * | 2010-01-08 | 2010-09-01 | 北京物资学院 | 一种物料动态检测传输系统 |
| JP2016103208A (ja) * | 2014-11-28 | 2016-06-02 | 富士通株式会社 | 計測方法、情報処理装置、プログラム及び商品数計測システム |
| CN104501718A (zh) * | 2014-12-18 | 2015-04-08 | 江苏物联网研究发展中心 | 基于视觉的包裹体积测量装置 |
| CN104766047A (zh) * | 2015-03-04 | 2015-07-08 | 西安工业大学 | 基于车辆长度检测的高速收费站车辆识别方法及装置 |
| CN106546169A (zh) * | 2016-10-12 | 2017-03-29 | 上海斐讯数据通信技术有限公司 | 利用移动设备测量物体尺寸的方法及装置 |
| CN107816943A (zh) * | 2017-10-23 | 2018-03-20 | 广东工业大学 | 一种物流箱体积重量测量系统及其实现方法 |
| CN108036724A (zh) * | 2017-12-01 | 2018-05-15 | 武汉万集信息技术有限公司 | 一种物体尺寸测量方法及装置 |
| CN208171179U (zh) * | 2018-04-19 | 2018-11-30 | 广州市中崎商业机器股份有限公司 | 一种体积重量测量仪 |
| CN109029618A (zh) * | 2018-07-11 | 2018-12-18 | 苏州科技大学 | 单目视觉包装箱体积测量方法 |
Non-Patent Citations (2)
| Title |
|---|
| 屈姗姗 等: "基于单目视觉测距的测高测面积方法", 《科学技术与工程》 * |
| 赵小川: "《机器人技术创意设计》", 31 January 2013, 北京：北京航空航天大学出版社 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11145077B2 (en) | Device and method for obtaining depth information from a scene | |
| CN107077740B (zh) | 用于确定移动流体表面的速度的方法和系统 | |
| TWI530909B (zh) | 影像合成系統及方法 | |
| US12075020B2 (en) | Active stereo matching for depth applications | |
| CN108876855A (zh) | 一种基于深度学习的海参检测和双目视觉定位方法 | |
| CN110390719A (zh) | 基于飞行时间点云重建设备 | |
| CN108510540B (zh) | 立体视觉摄像机及其高度获取方法 | |
| CN108734776A (zh) | 一种基于散斑的三维人脸重建方法及设备 | |
| CN107543496B (zh) | 一种双目立体视觉三维坐标测量方法 | |
| CN109544679A (zh) | 管道内壁的三维重建方法 | |
| CN205610834U (zh) | 立体显示系统 | |
| WO2015199899A1 (en) | Systems and methods for depth map extraction using a hybrid algorithm | |
| CN102496183B (zh) | 基于互联网照片集的多视角立体重构方法 | |
| CN109360246A (zh) | 基于同步子区搜索的立体视觉三维位移测量方法 | |
| CN106033614B (zh) | 一种强视差下的移动相机运动目标检测方法 | |
| EP3769146A1 (en) | Hybrid depth detection and movement detection | |
| CN111563952B (zh) | 基于相位信息与空间纹理特征实现立体匹配方法及系统 | |
| CN109029618A (zh) | 单目视觉包装箱体积测量方法 | |
| CN111274959A (zh) | 一种基于可变视场角的加油锥套位姿精确测量方法 | |
| JP6285686B2 (ja) | 視差画像生成装置 | |
| CN117092659A (zh) | 一种激光成像雷达和相机联合测量船舶高度的系统及方法 | |
| CN109813254A (zh) | 基于单目摄像头和测距设备的柱体体积测量方法 | |
| Drap et al. | ROV-3D, 3D Underwater Survey Combining Optical and Acoustic Sensor. | |
| CN108090930A (zh) | 基于双目立体相机的障碍物视觉检测系统及方法 | |
| CN108182727B (zh) | 基于多视点几何一致性的相位展开方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190528 |
|
| RJ01 | Rejection of invention patent application after publication |