CN111028295A - 一种基于编码结构光和双目的3d成像方法 - Google Patents

一种基于编码结构光和双目的3d成像方法 Download PDF

Info

Publication number
CN111028295A
CN111028295A CN201911011290.9A CN201911011290A CN111028295A CN 111028295 A CN111028295 A CN 111028295A CN 201911011290 A CN201911011290 A CN 201911011290A CN 111028295 A CN111028295 A CN 111028295A
Authority
CN
China
Prior art keywords
image
structured light
cameras
camera
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911011290.9A
Other languages
English (en)
Inventor
邓奕
李宇
王骞
蔡倩
熊英鹏
张若西
范玉杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Textile University
Original Assignee
Wuhan Textile University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Textile University filed Critical Wuhan Textile University
Priority to CN201911011290.9A priority Critical patent/CN111028295A/zh
Publication of CN111028295A publication Critical patent/CN111028295A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提出一种基于结构光编码和双目视觉的3D成像方法，包括以下步骤：1、通过棋盘标定板对两个摄像头进行标定，求出摄像头的内外参数；2、通过随机编码产生相应的投影图案；3、编码图案投射到物体上后，左右两个摄像头采集物体表面的编码图像；4、将采集的图像进行立体校正和立体匹配；5、通过相机成像模型进行三维坐标计算，得到物体表面点的三维坐标；6、重复1‑5的过程，得到物体整个表面的三维信息，并进行三维重构，还原物体表面三维模型。本发明结合了主动式的结构光编码方案和被动式双目测量方案，能够实现对复杂环境下的物体三维重构，测量精度大大提高，对环境适应性增强。

Description

一种基于编码结构光和双目的3D成像方法
技术领域
本发明涉及图像处理技术领域，具体涉及一种基于编码结构光和双目视觉的3D成像方法。
背景技术
视觉是人类观察与认知世界最直接、最主要的途径。我们生活在一个三维世界中，人类视觉不仅能感知物体表面的亮度、颜色、纹理信息，运动情况，而且能判断其形状、空间及空间位置(深度、距离)。如何让机器视觉能实时获得高精度的三维深度信息、提高机器对环境的适应性是三维成像技术研究的重点内容。
三维重构是通过传感器获取某个环境或者某个对象的表面信息，并以三维点云或曲面的形式表现出来。三维重构技术在机器人控制领域、物体特征识别以及三维测量领域都有广泛的应用。目前三维重构的技术主要包括：基于被动式的纹理恢复形状法、阴影恢复形状法和立体视觉法以及基于主动式的莫尔条纹法、飞行时间法和结构光法。其中，双目视觉是三维重构中常用的方式之一，通过不同视角的2个摄像头采集两幅图像，通过模拟人眼视觉系统，基于视觉差原理获取与图像对应点对应的位置偏差，从而构建出物体的三维信息。双目视觉成像原理简单，但是重构精度有限，对于一些表面光滑且特征不明显的物体，无法达到好的效果，因而在一些复杂的环境下无法正确重构。结构光成像系统复杂，但是精度较高，适应性较好。
发明内容
本发明解决上述技术问题所采用的技术方案是：提将双目成像和结构光编码进行结合，提出一种基于编码结构光和双目的3D成像方法。编码结构光采用随机编码的形式，将图案投射到被测物体表面，通过两个等距的摄像头分别获取左右双目的目标物体表面的编码图案，通过图像坐标变换和图像处理计算空间点的三维坐标，最后生成高精度的空间三维点云图案，进行三维重构。
本发明提供了一种基于编码结构光和双目的3D成像方法。
包括以下步骤：
步骤1、采用一块棋盘格标定板作为标定板，进行两个摄像头参数标定；
步骤2、采用被动的双目视觉和主动的结构光编码方案结合，利用投影仪投出编码的结构光，对目标物体进行特征标定。
步骤3、双目摄像头采集各自的编码图案Rl和Rr；
步骤4、双目摄像头对各自采集到的含编码图案的图像进行预处理；
步骤5、对预处理后的图像输入到三维重构模型中进行立体校正和立体匹配；
步骤6、进行深度计算，包括以下过程：
(1)设左摄像机O-xyz位于世界坐标系原点，且没有发生旋转，图像坐标系为Ol-XlYl，有效焦距为fl；右摄像机坐标系为or-xyz，图像坐标系为Or-XrYr，有效焦距为fr。那么根据摄像机的投射模型我们就能得到如下关系式。
(2)根据左右相点的坐标、摄像头的内外参数，通过空间矩阵转换，计算空间点的三维坐标。
步骤7、重复上述过程，得到目标整个表面的三维信息，生成三维点云。
附图说明
图1为本发明实施双目摄像头和投影仪布局示意图；
图2为本发明实施双目摄像头计算模型示意图；
图3为本发明实施立体校正示意图；
图4是本发明实施的一种基于编码结构光和双目的3D成像方法流程图。
具体实施方式
下面结合具体事例详细说明本发明的实施方法。
总体而言，本发明是基于主动的结构光编码和双目感知的方法，先通过棋盘格标定板对两个摄像头的内外参数进行标定，再通过投影仪投射编码图案到对象表面，通过双目摄像头获取对象表面干涉的编码图案，然后进行图像的校正和匹配，最后通过三角法计算出图像在空间点的坐标，产生目标3D点云图像，实现物体表面的三维重构。
图4描述了本方法的实现流程，下面结合图1、图2和图3进行详细描述该方法。
步骤1、采用一块棋盘格标定板作为标定板，进行两个摄像头参数标定；
一个投影模版中包含多个结构光条，通过标定可以得到各坐标系之间的关系，进而可以获取目标点的位置并进行精确定位，但是双目视觉系统需要标定的变量较多，标定过程相对繁琐，而且标定参数的精度很大程度上决定了最终测量精度，所以，做好标定工作是整个测量环节中非常关键的一步。本发明采用张正友提出了基于平面模板的标定算法，这种方法采用几何参数已知的棋盘格模板代替立体标定快，相对于标定块，模板制造更为简单，大大降低了标定成本，并且其标定精度较高，能够满足很多条件下的应用要求。
透镜模型如下：
Figure BDA0002244269780000031
步骤2、采用被动的双目视觉和主动的结构光编码方案结合，利用投影仪投出编码的结构光，对目标物体进行特征标定。
结构光法是一种主动式的对被测物体进行特征点标记的方法，通过向物体投射特定图案使被测物体具有容易识别的编码特征信息，解决了双目视觉中“像素匹配”的难题。本文采用随机序列编码。
随机序列是通过随机产生0或1来产生投射图片，该图片各个位置像素的灰度值是255 或0都是随机的。用该方法产生的图片投射到被测物体表面，能够保证在物体表面产生足够的灰度变化，并且受外界环境噪声以及对被测物体表面纹理情况影响较小，使得采集到的图像有较高的信噪比。
步骤3、双目摄像头采集各自的编码图案Rl和Rr；
双目视觉系统是将两个型号一致的摄像头沿水平或者其他方式安装，同时采集场景的图像，通过两幅图的差别计算场景的深度信息。两个摄像头光心的距离称为基线距离，两个摄像头在安装时光轴应尽量平行，并且高度和前后位置尽可能相同。双目处理模型如图2所示。
步骤4、双目摄像头对各自采集到的含编码图案的图像进行预处理；
采集到的图像受到设备分辨率等限制，它的深度信息也存在着许多缺点。为了更好的促进后续基于深度图像的应用，必须对深度图像进行去噪和修复等图像增强过程。图像的预处理主要分为以下几种：图像变换：如傅立叶变换、沃尔什变换、离散余弦变换等间接处理技术，将空间域的处理转换为变换域处理，不仅可减少计算量，而且可获得更有效的处理。图像编码：压缩图像编码压缩技术可减少描述图像的数据量(即比特数)，以便节省图像传输、处理时间和减少所占用的存储器容量。图像增强和复原：图像增强和复原的目的是为了提高图像的质量，如去除噪声，提高图像的清晰度等。图像分割：图像分割是数字图像处理中的关键技术之一。图像分割是将图像中有意义的特征部分提取出来，其有意义的特征有图像中的边缘、区域等，这是进一步进行图像识别、分析和理解的基础。图像描述：图像描述是图像识别和理解的必要前提。作为最简单的二值图像可采用其几何特性描述物体的特性，一般图像的描述方法采用二维形状描述，它有边界描述和区域描述两类方法。图像识别：图像识别属于模式识别的范畴，其主要内容是图像经过某些预处理(增强、复原、压缩)后，进行图像分割和特征提取，从而进行判决分类。
步骤5、对预处理后的图像输入到三维重构模型中进行立体校正和立体匹配；
在现实的双目立体视觉系统中，是不存在完全的共面行对准的两个摄像头图像平面的，因此对立体图像进行极线校正，这样在进行图像匹配时，只要沿图像的水平扫描线搜索对应的点即可，简化了匹配问题。如图3所示，极线校正就是通过对立体图像各进行以此投影变换，使左右图像投影到一个公共的平行于基线的空间平面，使两幅图像对应的极线在同一水平扫描线上，使匹配问题变为在一维扫描线上搜索问题。
由于投影的图像是采用的随机编码结构光，物体表面会有大量的纹理信息，因此可以采用区域的立体匹配方法。基于灰度的立体匹配方法就是在左图像选取一个子窗口，然后根据匹配代价函数在右图像找到一个最为相似的子图像。匹配代价函数常用的有NCC、SAD、 SSD。其中SAD和SSD易受光照条件影响，NCC能够适当的消除光照增益和偏移的影响。因此选用NCC作为匹配代价函数，其公式如下：
Figure RE-GDA0002405079820000041
式(1)中，I1(x,y)为左图像灰度值，I2(x,y)为右图像灰度值，
Figure RE-GDA0002405079820000042
为左图像灰度平均值，
Figure RE-GDA0002405079820000043
为右图像灰度平均值。
步骤6、进行深度计算，包括以下过程：
(1)设左摄像机O-xyz位于世界坐标系原点，且没有发生旋转，图像坐标系为Ol-XlYl，有效焦距为fl；右摄像机坐标系为or-xyz，图像坐标系为Or-XrYr，有效焦距为fr。那么根据摄像机的投射模型我们就能得到如下关系式。
(2)根据左右相点的坐标，通过空间矩阵转换，计算空间点的三维坐标。
如图2所示，设左摄像机O-xyz位于世界坐标系原点，且没有发生旋转，图像坐标系为 Ol-XlYl，有效焦距为fl；右摄像机坐标系为or-xyz，图像坐标系为Or-XrYr，有效焦距为fr。那么根据摄像机的投射模型我们就能得到如下关系式：
Figure 1
O-xyz坐标系与or-xryrzr坐标系可通过空间转换矩阵Mlr表示为：
Figure BDA0002244269780000052
所以，空间点在世界坐标系下的三维坐标可表示为：
Figure BDA0002244269780000053
只要我们通过摄像头标定技术获得双目摄像头内参数和焦距fr,fl和空间点在左右摄像头中的图像坐标，就能够重构出被测点的三维空间坐标。
步骤7、重复上述过程，得到目标整个表面的三维信息，生成三维点云。
所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

Claims (6)

1.一种基于编码结构光和双目的3D成像方法，其特征在于，包括以下步骤：
步骤1、采用一块棋盘格标定板作为标定板，进行双目摄像机的两个摄像头参数标定；
步骤2、采用被动的双目视觉和主动的结构光编码方案结合，利用投影仪投出编码的结构光，对目标物体进行特征标定；
步骤3、双目摄像头的两个摄像头采集各自的编码图案Rl和Rr；
步骤4、双目摄像头对两个摄像头各自采集到的含编码图案的图像进行预处理；
步骤5、对预处理后的图像输入到三维重构模型中进行立体校正和立体匹配；
步骤6、进行深度计算，包括以下过程：
(1)设置双目摄像机的一个摄像头O-xyz位于世界坐标系原点，且没有发生旋转，图像坐标系为Ol-XlYl，有效焦距为fl；双目摄像机的另一个摄像头坐标系为or-xyz，图像坐标系为Or-XrYr，有效焦距为fr；根据双目摄像机的投影模型得到O-xyz坐标系与or-xryrzr坐标系的空间转换矩阵Mlr表达式；
(2)根据双目摄像机的两个摄像头的相点的坐标、双目摄像机的内外参数通过空间矩阵转换，计算空间点的三维坐标；
步骤7、重复上述过程，得到目标整个表面的三维信息，生成三维点云。
2.根据权利要求1所述的一种基于编码结构光和双目的3D成像方法，其特征在于，步骤3中双目摄像头包括两个性能指标相同的摄像头，所述双目摄像机的两个摄像头沿着同一基线、左右对称、等距的排列在投影仪两侧。
3.根据权利要求1所述的一种基于编码结构光和双目的3D成像方法，其特征在于，步骤2中投影仪投射出的图像为随机序列编码图案。
4.根据权利要求1-3任意一项所述的一种基于编码结构光和双目的3D成像方法，其特征在于，步骤4中图像预处理包括以下过程：图像灰度变换、空间坐标转换、图像去燥和增强等。
5.根据权利要求2所述的一种基于编码结构光和双目的3D成像方法，其特征在于，步骤5中所述立体校正具体包括将把两个摄像头采集的非共面行对准的两幅图像校正成共面行对准。
6.根据权利要求1-3任意一项所述的一种基于编码结构光和双目的3D成像方法，其特征在于，步骤6中空间坐标点(x，y，z)的计算公式为：
Figure 2
CN201911011290.9A 2019-10-23 2019-10-23 一种基于编码结构光和双目的3d成像方法 Pending CN111028295A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911011290.9A CN111028295A (zh) 2019-10-23 2019-10-23 一种基于编码结构光和双目的3d成像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911011290.9A CN111028295A (zh) 2019-10-23 2019-10-23 一种基于编码结构光和双目的3d成像方法

Publications (1)

Publication Number Publication Date
CN111028295A true CN111028295A (zh) 2020-04-17

Family

ID=70201296

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911011290.9A Pending CN111028295A (zh) 2019-10-23 2019-10-23 一种基于编码结构光和双目的3d成像方法

Country Status (1)

Country Link
CN (1) CN111028295A (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111707192A (zh) * 2020-07-08 2020-09-25 中国科学院长春光学精密机械与物理研究所 正弦相移非对称结合格雷码的结构光编解码方法及装置
CN111862241A (zh) * 2020-07-28 2020-10-30 杭州优链时代科技有限公司 一种人体对齐方法及装置
CN111948208A (zh) * 2020-08-13 2020-11-17 东风电子科技股份有限公司 实现仪表视觉识别的自动化检测系统
CN112017243A (zh) * 2020-08-26 2020-12-01 大连信维科技有限公司 一种介质能见度识别方法
CN112014393A (zh) * 2020-08-26 2020-12-01 大连信维科技有限公司 一种基于目标视觉效果的介质能见度识别方法
CN112070709A (zh) * 2020-09-04 2020-12-11 三一重工股份有限公司 三维点云信息的采集方法、装置及电子设备
CN112361962A (zh) * 2020-11-25 2021-02-12 天目爱视（北京）科技有限公司 一种多俯仰角度的智能视觉3d信息采集设备
CN112509055A (zh) * 2020-11-20 2021-03-16 浙江大学 基于双目视觉和编码结构光相结合的穴位定位系统及方法
CN113052898A (zh) * 2021-04-08 2021-06-29 四川大学华西医院 基于主动式双目相机的点云和强反光目标实时定位方法
CN113538548A (zh) * 2021-06-24 2021-10-22 七海测量技术（深圳）有限公司 一种半导体锡球的3d检测系统和方法
CN114923665A (zh) * 2022-05-27 2022-08-19 上海交通大学 波浪三维高度场的图像重构方法及图像重构试验系统
CN114972626A (zh) * 2022-04-07 2022-08-30 福州大学 一种基于编码结构光双目视觉的焊缝三维重建系统及方法
CN113538548B (zh) * 2021-06-24 2024-09-06 七海测量技术（深圳）有限公司 一种半导体锡球的3d检测系统和方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106910222A (zh) * 2017-02-15 2017-06-30 中国科学院半导体研究所 基于双目立体视觉的人脸三维重建方法
CN109191509A (zh) * 2018-07-25 2019-01-11 广东工业大学 一种基于结构光的虚拟双目三维重建方法
CN110197484A (zh) * 2019-06-06 2019-09-03 武汉纺织大学 一种面部皮肤色斑检测系统及检测方法
CN110288699A (zh) * 2019-06-26 2019-09-27 电子科技大学 一种基于结构光的三维重建方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106910222A (zh) * 2017-02-15 2017-06-30 中国科学院半导体研究所 基于双目立体视觉的人脸三维重建方法
CN109191509A (zh) * 2018-07-25 2019-01-11 广东工业大学 一种基于结构光的虚拟双目三维重建方法
CN110197484A (zh) * 2019-06-06 2019-09-03 武汉纺织大学 一种面部皮肤色斑检测系统及检测方法
CN110288699A (zh) * 2019-06-26 2019-09-27 电子科技大学 一种基于结构光的三维重建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈灵杰: "基于双目编码结构光的三维重建方法研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111707192A (zh) * 2020-07-08 2020-09-25 中国科学院长春光学精密机械与物理研究所 正弦相移非对称结合格雷码的结构光编解码方法及装置
CN111707192B (zh) * 2020-07-08 2021-07-06 中国科学院长春光学精密机械与物理研究所 正弦相移非对称结合格雷码的结构光编解码方法及装置
CN111862241A (zh) * 2020-07-28 2020-10-30 杭州优链时代科技有限公司 一种人体对齐方法及装置
CN111862241B (zh) * 2020-07-28 2024-04-12 杭州优链时代科技有限公司 一种人体对齐方法及装置
CN111948208A (zh) * 2020-08-13 2020-11-17 东风电子科技股份有限公司 实现仪表视觉识别的自动化检测系统
CN112017243A (zh) * 2020-08-26 2020-12-01 大连信维科技有限公司 一种介质能见度识别方法
CN112014393A (zh) * 2020-08-26 2020-12-01 大连信维科技有限公司 一种基于目标视觉效果的介质能见度识别方法
CN112017243B (zh) * 2020-08-26 2024-05-03 大连信维科技有限公司 一种介质能见度识别方法
CN112014393B (zh) * 2020-08-26 2023-12-19 大连信维科技有限公司 一种基于目标视觉效果的介质能见度识别方法
CN112070709A (zh) * 2020-09-04 2020-12-11 三一重工股份有限公司 三维点云信息的采集方法、装置及电子设备
CN112509055A (zh) * 2020-11-20 2021-03-16 浙江大学 基于双目视觉和编码结构光相结合的穴位定位系统及方法
CN112509055B (zh) * 2020-11-20 2022-05-03 浙江大学 基于双目视觉和编码结构光相结合的穴位定位系统及方法
CN112361962A (zh) * 2020-11-25 2021-02-12 天目爱视（北京）科技有限公司 一种多俯仰角度的智能视觉3d信息采集设备
CN113052898A (zh) * 2021-04-08 2021-06-29 四川大学华西医院 基于主动式双目相机的点云和强反光目标实时定位方法
CN113538548A (zh) * 2021-06-24 2021-10-22 七海测量技术（深圳）有限公司 一种半导体锡球的3d检测系统和方法
CN113538548B (zh) * 2021-06-24 2024-09-06 七海测量技术（深圳）有限公司 一种半导体锡球的3d检测系统和方法
CN114972626A (zh) * 2022-04-07 2022-08-30 福州大学 一种基于编码结构光双目视觉的焊缝三维重建系统及方法
CN114923665A (zh) * 2022-05-27 2022-08-19 上海交通大学 波浪三维高度场的图像重构方法及图像重构试验系统

Similar Documents

Publication Publication Date Title
CN111028295A (zh) 一种基于编码结构光和双目的3d成像方法
CN110288642B (zh) 基于相机阵列的三维物体快速重建方法
US9234749B2 (en) Enhanced object reconstruction
EP2751521B1 (en) Method and system for alignment of a pattern on a spatial coded slide image
US9025862B2 (en) Range image pixel matching method
CN110487216A (zh) 一种基于卷积神经网络的条纹投影三维扫描方法
CN107123156A (zh) 一种与双目立体视觉相结合的主动光源投影三维重构方法
US20090167843A1 (en) Two pass approach to three dimensional Reconstruction
CN113205592B (zh) 一种基于相位相似性的光场三维重建方法及系统
CN106155299B (zh) 一种对智能设备进行手势控制的方法及装置
CN104596439A (zh) 一种基于相位信息辅助的散斑匹配三维测量方法
CN109373912A (zh) 一种基于双目视觉的非接触式六自由度位移测量方法
CN116129037B (zh) 视触觉传感器及其三维重建方法、系统、设备及存储介质
CN113129430A (zh) 基于双目结构光的水下三维重建方法
CN113505626A (zh) 一种快速三维指纹采集方法与系统
JP6285686B2 (ja) 視差画像生成装置
CN112446926B (zh) 一种激光雷达与多目鱼眼相机的相对位置标定方法及装置
CN114998532B (zh) 一种基于数字图像重建的三维影像视觉传达优化方法
CN111462331A (zh) 扩展对极几何并实时计算三维点云的若干方法
CN114332373B (zh) 一种克服继电器金属表面反光的磁路落差检测方法及系统
CN107103620B (zh) 一种基于独立相机视角下空间采样的多光编码相机的深度提取方法
CN114998518A (zh) 一种面向视觉结构光的三维重建方法及系统
Kawasaki et al. Registration and entire shape acquisition for grid based active one-shot scanning techniques
Han et al. The study of improving the accuracy in the 3D data acquisition of motion capture system
Wang et al. Research of depth information acquisition with two stage structured light method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200417

RJ01 Rejection of invention patent application after publication