CN108876825A - 一种空间非合作目标相对导航三维匹配估计方法 - Google Patents
一种空间非合作目标相对导航三维匹配估计方法 Download PDFInfo
- Publication number
- CN108876825A CN108876825A CN201810461475.9A CN201810461475A CN108876825A CN 108876825 A CN108876825 A CN 108876825A CN 201810461475 A CN201810461475 A CN 201810461475A CN 108876825 A CN108876825 A CN 108876825A
- Authority
- CN
- China
- Prior art keywords
- data point
- point set
- target
- camera
- cooperative target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种空间非合作目标相对导航三维匹配估计方法,采用双目相机观测空间非合作目标,经过立体匹配和三维重建提取点云数据,通过获得的测量数据点集与目标的模型数据点集进行配准,计算出空间非合作目标的相对位置和姿态。通过此方法,在对空间非合作目标的近距离相对导航过程中,避免了对目标具备几何特征的特殊要求,可以直接获得目标表面的三维数据,只需要知道目标的三维模型,或者在轨重建后的三维模型,算法对目标的几何外形是通用的。避免了基于特征测量方法容易在目标大范围转动过程中因产生遮挡现象而丢失目标特征的缺点,适用于在轨翻滚或自旋目标。
Description
技术领域
本发明涉及一种空间非合作目标相对导航三维匹配估计方法,属于空间目标感知与测量技术领域。
背景技术
随着近些年计算机技术、机器人技术和传感技术的迅猛发展,以航天器在轨维护、废弃航天器清理、太空攻防等为目的的空间目标捕获技术成为了空间机器人领域的热点研究方向。根据待捕获的目标飞行器能否提供有效的合作信息,空间目标捕获技术分为合作目标捕获技术和非合作目标捕获技术两类。从目前的航天技术发展情况来看,空间合作目标的捕获技术已相对成熟,并已成功应用于一些航天器在轨维护项目,而空间非合作目标的捕获技术还不是很成熟,目前还没有国家能够实现空间非合作目标捕获的在轨演示验证。
空间非合作目标捕获技术的难点在于:如何对非合作目标进行准确的位置和姿态参数获取。目前,国内已有学者对空间非合作目标的自主识别与位姿测量问题进行了相关研究,但是问题还未能得到很好的解决。相对位姿获取方法主要有激光雷达测量和光学成像测量。光学成像测量方法的共同点是基于二维影像数据确定三维位姿信息,以其体积小、质量低、寿命长和稳定性好等优点,已成为逼近阶段航天器相对位姿获取的重要途径。目前已有的光学测量算法大多以航天器自有器件作为识别目标,如太阳翼安装支架、星箭对接环、发动机喷管等,提出了基于特征光流信息的测量方法,基于双目视觉立体匹配的测量方法,基于立体视觉和激光测量相融合的测量方法等。目前这些方法在应用中有如下局限性:
1)、特征点的选取对算法的计算稳定性和精度影响很大;
2)、视觉+激光测距的位姿测量算法虽然一定程度上提高了测距精度,但算法复杂,计算量大;
3)、基于特征目标的测量算法,在目标翻滚状态下容易丢失特征信息,即不适用于翻滚目标。
发明内容
本发明解决的技术问题为:克服现有技术的不足,针对翻滚或者自旋空间非合作目标的近距离相对导航问题,提供了一种空间非合作目标相对导航三维匹配估计方法。
本发明解决的技术方案为:一种空间非合作目标相对导航三维匹配估计方法,该方法步骤如下:
(1)、采用双目视觉相机对待测点的空间非合作目标进行观测,采用双目视觉立体匹配的方法,计算双目视觉相机拍摄的左图像、右图像的视差图;
(2)、根据步骤(1)计算得到的左图像、右图像的视差图,得到空间非合作目标上相应空间点在左相机摄像机坐标系下的坐标,进而对空间非合作目标进行双目视觉三维重建,提取其在卫星左相机摄像机坐标系下的三维点云数据,形成非合作目标的测量数据点集P(m);
(3)、将测量数据点集P(m)和模型数据点集X(m)进行模型匹配,以两个点集中对应点距离之和最小为优化目标,求解得到测量数据点集P(m)到模型数据点集X(m)的最佳旋转矩阵R(m)和平移矩阵T(m),所述模型数据点集X(m)为相对于卫星的位置和姿态是已知的;
(4)、根据步骤(3)所得到的最佳旋转矩阵R(m)和平移矩阵T(m),以及模型数据点集X(m)对应的空间非合作目标在卫星左相机摄像机坐标系下的位置和姿态,换算得到待测点空间非合作目标相对卫星的姿态和位置。
所述双目视觉相机中的左、右两个相机具有相同的焦距f且光轴平行,两个相机的像平面位于同一平面上。
所述步骤(1)的具体实现为:遍历左图像中的每一个像素点(I,J),采用加窗的方法进行左、右图像的立体匹配,找到使左、右图像的视差值QSAD(I,J,d(I,J))最小的d(I,J)作为左图像(I,J)像素点对应的视差,匹配窗口大小为(2N1+1)×(2N2+1),所述QSAD(I,J,d(I,J))定义如下:
式中,G0(I+p,J+q)为左图像像素点(I+p,J+q)的像素,G1(I+p+d,J+q)为右图像的像素点(I+p+d,J+q)的像素值。
所述卫星左相机摄像机坐标系选取左相机视轴为Z轴,XOY平面平行于相机的像平面,空间非合作目标上任意空间点p在该坐标系的坐标(X,Y,Z)为:
式中,T为两个相机之间的间距,(x1,y1)为空间点p对应的左相机图像中的像素点p1在左相机图像物理坐标系下的坐标,(x2,y2)为空间点p对应的右相机图像中的像素点p2在右相机图像物理坐标系下的坐标。
所述步骤(3)求解测量数据点集P(m)到模型数据点集X(m)的最佳旋转矩阵R(m)和平移矩阵T(m)的具体实现方法为:
(3.1)、初始化迭代次数m为1;
(3.2)、遍历测量数据点集P(m)中的每个点从模型数据点集X(m)中找到与之距离最近的点
(3.3)、建立转动矩阵R(m)和平动转换矩阵T(m),使得测量数据点集P(m)和模型数据点集X(m)中对应点距离之和J最小;
(3.4)、计算收敛指标E;
(3.5)、判断收敛指标E的值和迭代次数m,当收敛指标E大于预设的门限Em或者迭代次数小于预设次数Tm时,将m加1更新m,重复执行步骤(3.1)~(3.5),否则,将此时得到的转动矩阵R(m)和平动转换矩阵T(m)作为最佳转动矩阵R(m)和平动转换矩阵T(m)。
所述步骤(3.3)中测量数据点集P(m)和转换后的模型数据点集X(m)中对应点距离之和J的计算公式为:
式中,Np为测量数据点集P(m)中的数据点云数量,ki∈{1,...,Nx}是模型数据点集X(m)中的数据点,Nx为测量数据点集X(m)中的数据点云数量。
所述步骤(3.4)中收敛指标E的计算公式为:
本发明与现有技术相比的优点在于:
(1)、本发明实现了对非合作目标的自主相对导航,基于三维点云的计算方法,计算左右图像对应像素点的优化视差,避免了对目标具备几何特征的特殊要求,可以直接获得目标表面的三维数据,对目标几何特征的适应性更好。
(2)、本发明未对空间目标作特征提取,避免对目标具备几何特征的特殊要求,只需要知道目标的三维模型,或者在轨重建后的三维模型,算法对目标的几何外形是通用的。
(3)、本发明采用基于三维点云的模型配置方法获取目标的相对位置和姿态,避免了基于特征的测量方法容易在目标大范围转动过程中丢失目标特征的缺点,适用于在轨翻滚或自旋目标。
附图说明
图1本发明方法的流程框图;
图2为本发明实施例双目视觉三维重建示意图;
图3为本发明实施例基于模型匹配的相对位姿求解流程图;
具体实施方式
下面结合附图和具体实施例对本发明做进一步详细描述。
如图1所示,本发明提供了一种空间非合作目标相对导航三维匹配估计方法,该方法步骤如下:
(1)、采用双目视觉相机对待测点的空间非合作目标进行观测,采用双目视觉立体匹配的方法,计算双目视觉相机拍摄的左图像、右图像的视差图;
立体匹配是三维重建中极其重要同时也是实现难度最大的一步,当其他的因素已经确定的前提下,实现三维重建的重建精度及效果与立体匹配的结果是息息相关的。
本发明选用基于区域的立体匹配算法,利用从不同视角拍摄的两张图像生成视差图,利用加窗的方法进行两幅图像的立体匹配。
遍历左图像中的每一个像素点(I,J),采用加窗的方法进行左、右图像的立体匹配,找到使左、右图像的视差值QSAD(I,J,d(I,J))最小的d(I,J)作为左图像(I,J)像素点对应的视差,匹配窗口大小为(2N1+1)×(2N2+1),所述QSAD(I,J,d(I,J))定义如下:
式中,G0(I+p,J+q)为左图像像素点(I+p,J+q)的像素,G1(I+p+d,J+q)为右图像的像素点(I+p+d,J+q)的像素值,d(I,J)为视差,即两幅图像对应点的位置差。
采用双目视觉立体匹配方法计算得到双目视觉相机拍摄的左图像、右图像的视差图,采用基于二维影像数据确定三维位置信息的原理,稳定性好。
(2)、根据步骤(1)计算得到的左图像、右图像的视差图,得到空间非合作目标上相应空间点在左相机摄像机坐标系下的坐标,进而对空间非合作目标进行双目视觉三维重建,提取其在卫星左相机摄像机坐标系下的三维点云数据,形成非合作目标的测量数据点集P(m);
本发明实施例采用横向平行放置的双目立体视觉,如图2所示,所述双目视觉相机中的左、右两个相机具有相同的焦距f且光轴平行,两个相机的像平面位于同一平面上。
所述卫星左相机摄像机坐标系选取左相机视轴为Z轴,XOY平面平行于相机的像平面,空间非合作目标上任意空间点p在该坐标系的坐标(X,Y,Z)为:
式中,T为两个相机之间的间距,(x1,y1)为空间点p对应的左相机图像中的像素点p1在左相机图像物理坐标系下的坐标,(x2,y2)为空间点p对应的右相机图像中的像素点p2在右相机图像物理坐标系下的坐标,x2-x1是空间点P在左、右相机图像物理坐标系下横坐标之差。
(3)、将测量数据点集P(m)和模型数据点集X(m)进行模型匹配,以两个点集中对应点距离之和最小为优化目标,求解得到测量数据点集P(m)到模型数据点集X(m)的最佳旋转矩阵R(m)和平移矩阵T(m),所述模型数据点集X(m)为相对于卫星的位置和姿态是已知的;
图3给出了求解测量数据点集P(m)到模型数据点集X(m)最佳旋转矩阵R(m)和平移矩阵T(m)的迭代算法流程图,上标m表示迭代次数。如图3所示,具体实现方法为:
(3.1)、初始化迭代次数m为1;
(3.2)、遍历测量数据点集P(m)中的每个点从模型数据点集X(m)中找到与之距离最近的点
(3.3)、建立转动矩阵R(m)和平动转换矩阵T(m),使得测量数据点集P(m)和模型数据点集X(m)中对应点距离之和J最小;
测量数据点集P(m)和转换后的模型数据点集X(m)中对应点距离之和J的计算公式为:
式中,Np为测量数据点集P(m)中的数据点云数量,ki∈{1,...,Nx}是模型数据点集X(m)中的数据点,Nx为测量数据点集X(m)中的数据点云数量。
(3.4)、计算收敛指标E:
(3.5)、判断收敛指标E的值和迭代次数m,当收敛指标E大于预设的门限Em或者迭代次数小于预设次数Tm时,将m加1更新m,重复执行步骤(3.1)~(3.5),否则,将此时得到的转动矩阵R(m)和平动转换矩阵T(m)作为最佳转动矩阵R(m)和平动转换矩阵T(m)。
(4)、根据步骤(3)所得到的最佳旋转矩阵R(m)和平移矩阵T(m),以及模型数据点集X(m)对应的空间非合作目标在卫星左相机摄像机坐标系下的位置和姿态,换算得到待测点空间非合作目标相对卫星的姿态和位置。
本发明采用基于三维点云的模型配置方法获取目标的相对位置和姿态,避免了基于特征的测量方法容易在目标大范围转动过程中丢失目标特征的缺点,适用于在轨翻滚或自旋目标。
本说明书未进行详细描述部分属于本领域技术人员公知常识。
Claims (7)
1.一种空间非合作目标相对导航三维匹配估计方法,其特征在于步骤如下:
(1)、采用双目视觉相机对待测点的空间非合作目标进行观测,采用双目视觉立体匹配的方法,计算双目视觉相机拍摄的左图像、右图像的视差图;
(2)、根据步骤(1)计算得到的左图像、右图像的视差图,得到空间非合作目标上相应空间点在左相机摄像机坐标系下的坐标,进而对空间非合作目标进行双目视觉三维重建,提取其在卫星左相机摄像机坐标系下的三维点云数据,形成非合作目标的测量数据点集P(m);
(3)、将测量数据点集P(m)和模型数据点集X(m)进行模型匹配,以两个点集中对应点距离之和最小为优化目标,求解得到测量数据点集P(m)到模型数据点集X(m)的最佳旋转矩阵R(m)和平移矩阵T(m),所述模型数据点集X(m)为相对于卫星的位置和姿态是已知的;
(4)、根据步骤(3)所得到的最佳旋转矩阵R(m)和平移矩阵T(m),以及模型数据点集X(m)对应的空间非合作目标在卫星左相机摄像机坐标系下的位置和姿态,换算得到待测点空间非合作目标相对卫星的姿态和位置。
2.根据权利要求1所述的一种空间非合作目标相对导航三维匹配估计方法,其特征在于所述双目视觉相机中的左、右两个相机具有相同的焦距f且光轴平行,两个相机的像平面位于同一平面上。
3.根据权利要求2所述的一种空间非合作目标相对导航三维匹配估计方法,其特征在于所述步骤(1)的具体实现为:遍历左图像中的每一个像素点(I,J),采用加窗的方法进行左、右图像的立体匹配,找到使左、右图像的视差值QSAD(I,J,d(I,J))最小的d(I,J)作为左图像(I,J)像素点对应的视差,匹配窗口大小为(2N1+1)×(2N2+1),所述QSAD(I,J,d(I,J))定义如下:
式中,G0(I+p,J+q)为左图像像素点(I+p,J+q)的像素,G1(I+p+d,J+q)为右图像的像素点(I+p+d,J+q)的像素值。
4.根据权利要求2所述的一种空间非合作目标相对导航三维匹配估计方法,其特征在于所述卫星左相机摄像机坐标系选取左相机视轴为Z轴,XOY平面平行于相机的像平面,空间非合作目标上任意空间点p在该坐标系的坐标(X,Y,Z)为:
式中,T为两个相机之间的间距,(x1,y1)为空间点p对应的左相机图像中的像素点p1在左相机图像物理坐标系下的坐标,(x2,y2)为空间点p对应的右相机图像中的像素点p2在右相机图像物理坐标系下的坐标。
5.根据权利要求2所述的一种空间非合作目标相对导航三维匹配估计方法,其特征在于所述步骤(3)求解测量数据点集P(m)到模型数据点集X(m)的最佳旋转矩阵R(m)和平移矩阵T(m)的具体实现方法为:
(3.1)、初始化迭代次数m为1;
(3.2)、遍历测量数据点集P(m)中的每个点从模型数据点集X(m)中找到与之距离最近的点
(3.3)、建立转动矩阵R(m)和平动转换矩阵T(m),使得测量数据点集P(m)和模型数据点集X(m)中对应点距离之和J最小;
(3.4)、计算收敛指标E;
(3.5)、判断收敛指标E的值和迭代次数m,当收敛指标E大于预设的门限Em或者迭代次数小于预设次数Tm时,将m加1更新m,重复执行步骤(3.1)~(3.5),否则,将此时得到的转动矩阵R(m)和平动转换矩阵T(m)作为最佳转动矩阵R(m)和平动转换矩阵T(m)。
6.根据权利要求5所述的一种空间非合作目标相对导航三维匹配估计方法,其特征在于所述步骤(3.3)中测量数据点集P(m)和转换后的模型数据点集X(m)中对应点距离之和J的计算公式为:
式中,Np为测量数据点集P(m)中的数据点云数量,ki∈{1,...,Nx}是模型数据点集X(m)中的数据点,Nx为测量数据点集X(m)中的数据点云数量。
7.根据权利要求6所述的一种空间非合作目标相对导航三维匹配估计方法,其特征在于所述步骤(3.4)中收敛指标E的计算公式为:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810461475.9A CN108876825A (zh) | 2018-05-15 | 2018-05-15 | 一种空间非合作目标相对导航三维匹配估计方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810461475.9A CN108876825A (zh) | 2018-05-15 | 2018-05-15 | 一种空间非合作目标相对导航三维匹配估计方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108876825A true CN108876825A (zh) | 2018-11-23 |
Family
ID=64333419
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810461475.9A Pending CN108876825A (zh) | 2018-05-15 | 2018-05-15 | 一种空间非合作目标相对导航三维匹配估计方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108876825A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109782810A (zh) * | 2018-12-26 | 2019-05-21 | 中国人民解放军战略支援部队航天工程大学 | 基于图像引导的视频卫星运动目标跟踪成像方法及其装置 |
CN110084887A (zh) * | 2019-04-15 | 2019-08-02 | 北京空间飞行器总体设计部 | 一种空间非合作目标相对导航模型三维重建方法 |
CN116026342A (zh) * | 2023-03-29 | 2023-04-28 | 中国科学院西安光学精密机械研究所 | 一种基于集群弹性分散的空间目标位姿测量方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140037136A1 (en) * | 2012-08-01 | 2014-02-06 | Srikumar Ramalingam | Method and System for Determining Poses of Vehicle-Mounted Cameras for In-Road Obstacle Detection |
CN105976353A (zh) * | 2016-04-14 | 2016-09-28 | 南京理工大学 | 基于模型和点云全局匹配的空间非合作目标位姿估计方法 |
-
2018
- 2018-05-15 CN CN201810461475.9A patent/CN108876825A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140037136A1 (en) * | 2012-08-01 | 2014-02-06 | Srikumar Ramalingam | Method and System for Determining Poses of Vehicle-Mounted Cameras for In-Road Obstacle Detection |
CN105976353A (zh) * | 2016-04-14 | 2016-09-28 | 南京理工大学 | 基于模型和点云全局匹配的空间非合作目标位姿估计方法 |
Non-Patent Citations (4)
Title |
---|
CHAO XU 等: "Stereo Vision-based Navigation and Guidance for Pinpoint Planetary Landing in Unknown Environments", 《PROCEEDINGS OF THE 36TH CHINESE CONTROL CONFERENCE》 * |
杨滨华: "基于点云的非合作航天器超近距离位姿测量技术研究", 《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》 * |
桂力 等: "基于点云的非合作航天器位姿测量方法研究", 《上海航天》 * |
蒋萌等: "基于双目视觉的目标识别与定位研究", 《机电工程》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109782810A (zh) * | 2018-12-26 | 2019-05-21 | 中国人民解放军战略支援部队航天工程大学 | 基于图像引导的视频卫星运动目标跟踪成像方法及其装置 |
CN110084887A (zh) * | 2019-04-15 | 2019-08-02 | 北京空间飞行器总体设计部 | 一种空间非合作目标相对导航模型三维重建方法 |
CN110084887B (zh) * | 2019-04-15 | 2022-10-28 | 北京空间飞行器总体设计部 | 一种空间非合作目标相对导航模型三维重建方法 |
CN116026342A (zh) * | 2023-03-29 | 2023-04-28 | 中国科学院西安光学精密机械研究所 | 一种基于集群弹性分散的空间目标位姿测量方法 |
CN116026342B (zh) * | 2023-03-29 | 2023-08-18 | 中国科学院西安光学精密机械研究所 | 一种基于集群弹性分散的空间目标位姿测量方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108615244B (zh) | 一种基于cnn和深度滤波器的图像深度估计方法及系统 | |
CN105976353B (zh) | 基于模型和点云全局匹配的空间非合作目标位姿估计方法 | |
CN109919911B (zh) | 基于多视角光度立体的移动三维重建方法 | |
CN109712172A (zh) | 一种初始位姿测量结合目标追踪的位姿测量方法 | |
CN109000582A (zh) | 跟踪式三维扫描装置的扫描方法及系统、存储介质、设备 | |
CN105806315B (zh) | 基于主动编码信息的非合作目标相对测量系统及测量方法 | |
CN107560592B (zh) | 一种用于光电跟踪仪联动目标的精确测距方法 | |
CN106097348A (zh) | 一种三维激光点云与二维图像的融合方法 | |
CN106485690A (zh) | 基于点特征的点云数据与光学影像的自动配准融合方法 | |
CN109272537A (zh) | 一种基于结构光的全景点云配准方法 | |
CN105654547B (zh) | 三维重建方法 | |
quan Li et al. | Construction and accuracy test of a 3D model of non-metric camera images using Agisoft PhotoScan | |
CN110992487B (zh) | 手持式飞机油箱快速三维地图重建装置及重建方法 | |
CN108876825A (zh) | 一种空间非合作目标相对导航三维匹配估计方法 | |
CN107146223B (zh) | 一种输电塔及输电线位移耦合的分析系统及方法 | |
CN110849331B (zh) | 基于三维点云数据库模型的单目视觉测量与地面试验方法 | |
CN106096207B (zh) | 一种基于多目视觉的旋翼无人机抗风评估方法及系统 | |
CN106408650A (zh) | 在轨掠飞成像对空间目标三维重建与测量方法 | |
CN110084785A (zh) | 一种基于航拍图像的输电线垂弧测量方法及系统 | |
CN108010125A (zh) | 基于线结构光和图像信息的真实尺度三维重建系统及方法 | |
CN107038753B (zh) | 立体视觉三维重建系统及方法 | |
CN106023230A (zh) | 一种适合变形图像的稠密匹配方法 | |
CN115082446B (zh) | 一种基于图像边界提取的飞机蒙皮铆钉的测量方法 | |
CN107121250B (zh) | 一种输电塔及输电线模态内共振分析系统及方法 | |
CN104318566B (zh) | 可返回多个高程值的新型多视影像铅垂线轨迹匹配方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181123 |