CN105953795B - 一种用于航天器表面巡视的导航装置及方法 - Google Patents
一种用于航天器表面巡视的导航装置及方法 Download PDFInfo
- Publication number
- CN105953795B CN105953795B CN201610274837.4A CN201610274837A CN105953795B CN 105953795 B CN105953795 B CN 105953795B CN 201610274837 A CN201610274837 A CN 201610274837A CN 105953795 B CN105953795 B CN 105953795B
- Authority
- CN
- China
- Prior art keywords
- detector
- coordinate system
- point
- navigational
- indicate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000005259 measurement Methods 0.000 claims abstract description 95
- 230000001133 acceleration Effects 0.000 claims abstract description 41
- 238000007689 inspection Methods 0.000 claims abstract description 22
- 238000001514 detection method Methods 0.000 claims abstract description 19
- 238000001914 filtration Methods 0.000 claims abstract description 7
- 238000009434 installation Methods 0.000 claims abstract description 6
- 230000009467 reduction Effects 0.000 claims abstract description 4
- 238000013480 data collection Methods 0.000 claims description 19
- 238000004364 calculation method Methods 0.000 claims description 18
- 238000003384 imaging method Methods 0.000 claims description 18
- 239000011159 matrix material Substances 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 11
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 230000000737 periodic effect Effects 0.000 claims description 8
- 230000003287 optical effect Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 5
- 241000208340 Araliaceae Species 0.000 claims description 4
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims description 4
- 235000003140 Panax quinquefolius Nutrition 0.000 claims description 4
- 235000008434 ginseng Nutrition 0.000 claims description 4
- 238000011156 evaluation Methods 0.000 claims description 3
- 238000013459 approach Methods 0.000 claims 1
- 230000006870 function Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- IJGRMHOSHXDMSA-UHFFFAOYSA-N Atomic nitrogen Chemical compound N#N IJGRMHOSHXDMSA-UHFFFAOYSA-N 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 229910052757 nitrogen Inorganic materials 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Navigation (AREA)
Abstract
本发明实施例公开了一种用于航天器表面巡视的导航装置及方法，涉及航天在轨服务技术领域，实现巡检器相对导航和目标航天器表面结构检测复用。以目标航天器的轨道坐标系为导航坐标系；利用惯性测量单元输出的加速度和角速度信息进行纯惯导积分推算，计算相对于导航坐标系的姿态、位置和速度等导航参数；利用三角法测量航天器的外形点云数据，利用惯导短时高精度的特点和线激光三角测量器的安装参数，将外形点云数据换算到本体坐标系下；将目标航天器已知的外形结构数据与实测的外形点云数据配准，计算巡检器相对于导航坐标系的姿态和位置；通过卡尔曼滤波将测得的姿态和位置，与惯性导航系统计算出的导航信息进行融合，得到精确的导航参数。
Description
技术领域
本发明涉及航天在轨服务技术领域，尤其涉及一种用于航天器表面巡视的导航装置及方法。
背景技术
随着航天技术的发展，空间站、大型卫星等在轨大型航天器日益增多。由于大型航天器在轨运行时间长，容易遭受微流星等空间物体撞击导致损伤，为了减少大型航天器的运行风险，需要快速及时地发现大型航天器的外部表面异常，并进行维护。
目前，大型航天器的外壳维护检测主要通过微型舱外机器人相机，其使用氮气推进器作为动力在航天器表面运动，以便于帮助宇航员及地面工作人员在执行任务的过程中观察到航天器的外部情况。这类微型舱外机器人相机主要采用差分GPS接收机进行定位，并利用陀螺仪实现在空间中的姿态稳定。但是，在差分GPS定位的过程中，由于多径反射等因素，只能够保证定位精度在米级，并且在没有GPS信号覆盖的GEO等轨道上，无法使用该定位方式，限制了微型舱外机器人相机的可用轨道。
发明内容
本发明的实施例提供一种用于航天器表面巡视的导航装置及方法，能够利用大型航天器的表面结构特征信息实现导航定位，并降低巡检器的复杂度的同时提高巡检器的功能密度，且降低成本。
为达到上述目的，本发明的实施例采用如下技术方案：
第一方面，本发明的实施例提供一种用于航天器表面巡视的导航装置，所述装置安装在巡检器上，所述巡检器用于在目标航天器表面漂移以实现巡检功能；
所述装置包括：惯性测量单元(IMU)、线激光三角测量器和导航计算机，所述线激光三角测量器由红外线激光器、相机和滤波片组成；
所述惯性测量单元，用于测量所述巡检器的加速度和角速度信息，并根据所述巡检器的加速度和角速度信息通过惯性积分推算，得到相对于导航坐标系的导航参数，所述导航参数包括：所述巡检器的姿态参数、位置参数和速度参数，所述导航坐标系为所述目标航天器的轨道坐标系；
所述线激光三角测量器，用于通过三角法周期性测量所述目标航天器表面结构的点云数据；
所述红外线激光器用于投射到目标航天器表面，形成红外激光线光斑；
所述滤光片用于滤除可见光，通过红外光；
所述相机用于对目标航天器表面的红外激光线光斑进行成像；
所述导航计算机，用于采集惯性测量单元的加速度与角速度信息，线激光三角测量器中相机输出的图像信息，并进行数据处理。第二方面，本发明的实施例提供一种用于航天器表面巡视的导航方法，测量所述巡检器的加速度和角速度信息，并根据所述巡检器的加速度和角速度信息通过惯性积分推算，得到相对于导航坐标系的导航参数，所述导航参数包括：所述巡检器的姿态参数、位置参数和速度参数，所述导航坐标系为所述目标航天器的轨道坐标系；
通过三角法周期性测量所述目标航天器表面结构的点云数据；
控制线激光三角测量器的红外线激光器投射到目标航天器表面，形成红外激光线光斑，线激光三角测量器中的滤光片用于滤除可见光，通过红外光，相机用于对目标航天器表面的红外激光线光斑进行成像；
采集惯性测量单元的加速度与角速度信息，线激光三角测量器中相机输出的图像信息，并进行数据处理。本发明实施例提供的用于航天器表面巡视的导航装置及方法，利用线激光三角测量得到空间站外表面的局部外形的点云数据，并计算出在本体坐标系中的结构特征与已知的外形结构计算出两者之间的相对位姿关系，从而实现巡检器的导航测量。相对于现有技术中通过GPS信号进行定位的方案，本发明实施例的导航过程能减少对卫星导航系统的依赖，并且不限制于在低轨上使用。并且通过线激光三角测量还可以检测目标航天器的表面结构，从而达到导航和表面结构检测复用的目的，在降低巡检器的简单复杂度的同时提高巡检器的功能密度。且导航装置中的惯性测量单元(IMU)、线激光三角测量器和导航计算机皆可采用的工业元件，成本低廉。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的用于航天器表面巡视的导航装置的结构示意图；
图2为本发明实施例提供的线激光三角测量器的结构示意图；
图3为本发明实施例提供的线激光三角测量原理的具体实例示意图；
图4为本发明实施例提供的用于航天器表面巡视的导航方法的流程图；
图5为本发明实施例提供的导航装置在运行过程中的执行流程示意图。
具体实施方式
为使本领域技术人员更好地理解本发明的技术方案，下面结合附图和具体实施方式对本发明作进一步详细描述。下文中将详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
本发明实施例提供一种用于航天器表面巡视的导航装置，所述装置安装在巡检器上，所述巡检器用于在目标航天器表面漂移。如图1所述，所述装置包括：惯性测量单元(IMU)、线激光三角测量器和导航计算机，所述线激光三角测量器由红外线激光器、相机和滤波片组成。其中相机可以采用通常的工业相机，所述线激光三角测量器由红外线激光器、相机和滤波片安装在与惯性测量单元(IMU)相连的基础框架上，比如图2所述的。所述装置安装在巡检器上，所述巡检器用于在目标航天器表面漂移以实现巡检功能；
所述装置包括：惯性测量单元(IMU)、线激光三角测量器和导航计算机，所述线激光三角测量器由红外线激光器、相机和滤波片组成；
所述惯性测量单元，用于测量所述巡检器的加速度和角速度信息，并根据所述巡检器的加速度和角速度信息通过惯性积分推算，得到相对于导航坐标系的导航参数，所述导航参数包括：所述巡检器的姿态参数、位置参数和速度参数，所述导航坐标系为所述目标航天器的轨道坐标系；
所述线激光三角测量器，用于通过三角法周期性测量所述目标航天器表面结构的点云数据；
所述红外线激光器用于投射到目标航天器表面，形成红外激光线光斑；
所述滤光片用于滤除可见光，通过红外光；
所述相机用于对目标航天器表面的红外激光线光斑进行成像；
所述导航计算机，用于采集惯性测量单元的加速度与角速度信息，线激光三角测量器中相机输出的图像信息，并进行数据处理。
所述惯性测量单元，具体用于：
获取所述目标航天器的轨道坐标系作为所述导航坐标系；
并利用加速度计和陀螺测量所述巡检器的加速度信息和角速度信息；
再根据所述巡检器相对于所述导航坐标系的导航方程，计算所述巡检器的姿态参数和位置参数，所述导航方程包括：
其中，ρ表示巡检器的位置，表示巡检器的速度，是巡检器的加速度，n是轨道角速率， q表示巡检器相对于导航坐标系的姿态四元数，表示对应的姿态矩阵，是的转置矩阵，即 表示加速度计漂移的估计值，fc＝f+fb+fε，f表示加速度真值，fb表示加速度计漂移，fε表示加速度计测量噪声，表示陀螺漂移的估计值，ωc＝ω+ωb+ωε，ω表示角速度真值，ωb表示陀螺漂移，ωε表示陀螺测量噪声。
所述线激光三角测量器，具体用于：
建立测量坐标系，在所述测量坐标系中，A点为坐标轴原点，AO为x轴，垂直于平面AOO′的轴为y轴，AO'为z轴；
在所述巡检器在所述目标航天器表面漂移的过程中，根据 得到所述点云数据中各个点在测量坐标系中的坐标，其中，s表示激光器光束端面与被测物体表面基准面REF的垂直距离，d0表示OO'的距离，f表示相机焦距，Δ表示被测物体距离基准面的距离，θ表示激光束与OO'的夹角，δ表示成像点偏移的位移距离，表示激光照射线MN上点的坐标，h表示该点和O点在成像平面上的像点在成像平面上的垂直距离；
得到单次测量的点云坐标数据，点云坐标数据描述在所述测量坐标系中。
巡检器在目标航天器表面漂移时，所述线激光三角测量器重复m次测量。计算巡检器测量坐标系在m次测量时刻之间的相对位置和相对姿态，将m次测量得到的点云坐标数据归算到同一测量坐标系下，根据线激光三角测量装置在巡检器中的安装方位关系，进一步将所述点云坐标数据换算到巡检器本体坐标系中，该点云数据集记为
所述导航计算机，还用于根据所述目标航天器的外形结构数据和所述点云数据集计算得到所述巡检器相对于所述导航坐标系的姿态观测值和位置观测值，其中，所述巡检器附近的目标航天器表面区域的点云数据集为所述导航计算机，具体用于通过ICP算法，计算将P变换到Q的姿态旋转矩阵R和平移矢量T，其中的迭代计算步骤包括：对Q中的每一个数据点，从P中通过计算找到距离最近的点，组成对应点集D，从而建立了两个点集的对应关系；并通过最小化目标函数计算出R和T，Di为点集D中的一个点，Qi是点集Q中的一个点；再利用计算得到的R和T，对点云数据集P进行更新，计算方法是RP+T，得到新的点云数据集P，用于寻找对应点集D；重复该迭代计算步骤，直至目标函数d小于一定的阈值，或者迭代次数达到一定次数，并计算得到R和T，与R对应的姿态四元数记为δρ，所述巡检器相对于导航坐标系的姿态观测值为同时计算对应的旋转矩阵R(qc)，所述巡检器相对于导航坐标系的位置观测值为ρc＝ρ+R(qc)TT。
所述导航计算机，还用于以所述姿态观测值和所述位置观测值作为观测值，利用扩展卡尔曼滤波器算法对状态矢量的精确估计并输出导航参数，所述状态矢量包括所述巡检器的位置参数、速度参数、姿态参数、陀螺漂移估计值和加速度计漂移估计值。
利用IMU测量巡检器的加速度和角速度信息，其测量值分别记为fc和ωc。考虑到IMU中的加速度计和陀螺的测量误差，则设计公式(1)和(2)：
fc＝f+fb+fε (1)
ωc＝ω+ωb+ωε (2)
针对fb和ωb可以分别通过建模得到公式(3)和(4)：
进一步得到的导航方程包括：
其中，ρ表示巡检器的位置，表示巡检器的速度，n是轨道角速率， q表示巡检器相对于导航坐标系的姿态四元数，表示对应的姿态矩阵，是的转置矩阵，即 表示加速度计漂移的估计值，f表示加速度真值，fb表示加速度计漂移，fε表示加速度计测量噪声，表示陀螺漂移的估计值，ω表示角速度真值，ωb表示陀螺漂移，ωε表示陀螺测量噪声。
基于导航方程(5)和(6)表示惯性积分在轨道坐标系下的实现形式，并可利用数值积分算法在短时间内推算巡检器在轨道坐标系内的姿态、位置和速度等导航参数。
在本实施例中，线激光三角测量原理如图3左图所述，首先利用红外线激光束照射在物体上，相机经过红外滤波片滤除可见光后，对投射在物体上的红外激光束进行成像，物体远近不同，激光束在成像平面上的成像位置也不同，从而计算出各个点在测量坐标系中的坐标。所述线激光三角测量器，具体用于：
建立测量坐标系，在所述测量坐标系中，A点为坐标轴原点，AO为x轴，垂直于平面AOO′的轴为y轴，AO'为z轴。
在所述巡检器在所述目标航天器表面漂移的过程中，根据 得到所述点云数据中各个点在测量坐标系中的坐标。
其中，在图3左图AOO′平面内的几何关系如图3右图所述，则相应的几何关系是s表示激光器光束端面与被测物体表面基准面REF的垂直距离，d0表示OO'的距离，f表示相机焦距，Δ表示被测物体距离基准面的距离，θ表示激光束与OO'的夹角，δ表示成像点偏移的位移距离，表示激光照射线MN上点的坐标，h表示该点和O点在成像平面上的像点在成像平面上的垂直距离。并根据各个点在测量坐标系中的坐标，得到所述点云数据中的各个点在所述本体坐标系中的坐标，例如：当得到某点在测量坐标系中的坐标后，可以利用在地面精确标定的测量坐标系与巡检器本体坐标系之间的关系，计算得到某点在本体坐标系中的坐标。
本发明实施例提供的用于航天器表面巡视的导航装置，利用线激光三角测量得到空间站外表面的局部外形的点云数据，并计算出在本体坐标系中的结构特征与已知的外形结构计算出两者之间的相对位姿关系，从而实现巡检器的导航测量。本发明实施例的导航过程摆脱了对卫星导航系统的依赖，并不受限于在低轨使用。并且通过线激光三角测量还可以检测目标航天器的表面结构，从而达到导航和表面结构检测复用的目的，在降低巡检器的简单复杂度的同时提高巡检器的功能密度。且导航装置中的惯性测量单元(IMU)、线激光三角测量器和导航计算机皆可采用的工业元件，成本低廉。
本发明实施例还提供一种如图4所述的用于航天器表面巡视的导航方法，用于上述安装在巡检器上的导航装置，所述巡检器用于在目标航天器表面漂移，所述导航装置包括：惯性测量单元(IMU)、线激光三角测量器和导航计算机，所述线激光三角测量器由红外线激光器、相机和滤波片组成。其中相机可以采用通常的工业相机。
所述方法包括：
S1、所述惯性测量单元测量所述巡检器的加速度和角速度信息，并根据所述巡检器的加速度和角速度信息通过惯性积分推算，得到相对于导航坐标系的导航参数。
其中，所述导航参数包括：所述巡检器的姿态参数、位置参数和速度参数，所述导航坐标系为所述目标航天器的轨道坐标系。在本实施例中，步骤S1具体包括：
获取所述目标航天器的轨道坐标系作为所述导航坐标系。
测量所述巡检器的加速度信息和角速度信息。
根据所述巡检器相对于所述导航坐标系的导航方程，获取所述巡检器的姿态参数和位置参数，所述导航方程包括：
其中，ρ表示巡检器的位置，表示巡检器的速度，n是轨道角速率， q表示巡检器相对于本体坐标系的姿态四元数，表示对应的姿态矩阵，是的转置矩阵，即 表示加速度计测量偏差的估计值，f表示加速度真值，fb表示加速度计漂移，fε表示加速度计测量噪声，表示陀螺测量偏差的估计值，ω表示角速度真值，ωb表示陀螺漂移，ωε表示陀螺测量噪声，fc＝f+fb+fε，ωc＝ω+ωb+ωε。
S2、所述线激光三角测量器通过三角法测量所述目标航天器的点云数据
在本实施例中，步骤S2具体包括：
建立测量坐标系，在所述测量坐标系中，A点为坐标轴原点，AO为x轴，垂直于平面AOO′的轴为y轴，AO'为z轴。
在所述巡检器在所述目标航天器表面漂移的过程中，根据 得到所述点云数据中各个点在测量坐标系中的坐标，其中，s表示激光器光束端面与被测物体表面基准面REF的垂直距离，d0表示OO'的距离，f表示相机焦距，Δ表示被测物体距离基准面的距离，θ表示激光束与OO'的夹角，δ表示成像点偏移的位移距离，表示激光照射线MN上点的坐标，h表示该点和O点在成像平面上的像点在成像平面上的垂直距离。
S3、所述导航计算机统计指定时间内测量得到的点云数据，记录至同一测量坐标系
其中，所述测量坐标系选为所述指定时间内所述线激光三角测量器在最后一个周期进行测量时所对应的本体坐标系。在本实施例中，由于线激光三角测量器一次只能测量一条激光线上的点云数据，但是目标航天器已知的外形结构数据与实测的点云数据进行配准时需要一片点云数据，以提高配准成功率和配准精度。因此在通过人工操作或是自动巡航，使巡检器在目标航天器表面同时发生位移变化和姿态变化，所以需要利用惯性导航系统短时高精度的特点，并将多次测量的点云数据统一到同一个测量坐标系下。例如：
巡检器连续进行了m次线激光三角测量，将第i次测量的第j个点在巡检器测量坐标系中的坐标记为
将一共m次线激光三角测量时的点云坐标都转换到最后一次(即第m次的)的线激光三角测量时的测量坐标系中去，记第i次测量时的测量坐标系到第m次测量时的测量坐标系之间的姿态转换矩阵为记第i次测量时的测量坐标系原点在第m次测量时的测量坐标系中的坐标值为xi。并依据将多次测量的点云数据转换到第m次线激光三角测量时的测量坐标系中，其中，和xi由捷联惯性导航系统在短时间内的推算运算得到的。
根据线激光三角测量装置在巡检器中的安装方位关系，进一步将所述点云坐标数据换算到巡检器本体坐标系中。
S4、根据所述目标航天器的外形结构数据和所述点云数据集，计算得到所述巡检器相对于所述导航坐标系的姿态观测值和位置观测值
在本实施例中，由于目标航天器的表面结构特征是已知的，并且惯性导航系统也能提供在第m次测量时的预报的姿态q和位置ρ，因此可以生成巡检器附近的点云数据集为并将测量的点云数据集记为
导航计算机具体可以采用ICP算法，将P变换到Q的姿态旋转矩阵R和平移矢量T，其中的迭代计算步骤包括：
1、对Q中的每一个数据点，从P中通过计算找到距离最近的点，组成对应点集D，从而建立了两个点集的对应关系；
2、通过最小化目标函数计算出R和T，Di为点集D中的一个点，Qi是点集Q中的一个点；
3、利用计算得到的R和T，对点云数据集P进行更新，计算方法是RP+T，得到新的点云数据集P，用于寻找对应点集D；
4、重复步骤1～3，直到目标函数d小于一定的阈值，或者迭代次数达到一定次数，则计算终止，则最终计算得到的R和T，与R对应的姿态四元数记为δρ。由此得到，巡检器相对于本体坐标系的姿态观测值为同时计算对应的旋转矩阵R(qc)，所述巡检器相对于导航坐标系的位置观测值为ρc＝ρ+R(qc)TT。。
S5、以所述姿态观测值和所述位置观测值作为观测值，对状态矢量进行估计计算并得到输出参数。
其中，所述输出参数包括用于所述巡检器导航控制的位置参数、速度参数和姿态参数。
举例来说，如图1所述的导航装置在运行过程中的执行流程可以如图5所述。可以基于公式(3)、(4)、(5)和(6)作为状态方程，状态矢量表示为导航计算机通过点云配准等过程计算出的巡检器相对于本体坐标系的姿态qc和位置ρc作为观测值，利用通常的扩展卡尔曼滤波器算法实现对状态矢量的精确估计，从而得到位置、速度、姿态等导航参数。
具体的，上述执行流程也可以实现为：
测量所述巡检器的加速度和角速度信息，并根据所述巡检器的加速度和角速度信息通过惯性积分推算，得到相对于导航坐标系的导航参数，所述导航参数包括：所述巡检器的姿态参数、位置参数和速度参数，所述导航坐标系为所述目标航天器的轨道坐标系；并通过三角法周期性测量所述目标航天器表面结构的点云数据；再控制线激光三角测量器的红外线激光器投射到目标航天器表面，形成红外激光线光斑，线激光三角测量器中的滤光片用于滤除可见光，通过红外光，相机用于对目标航天器表面的红外激光线光斑进行成像；之后采集惯性测量单元的加速度与角速度信息，线激光三角测量器中相机输出的图像信息，并进行数据处理。
其中，所述测量所述巡检器的加速度和角速度信息，并根据所述巡检器的加速度和角速度信息通过惯性积分推算，得到相对于导航坐标系的导航参数，包括：获取所述目标航天器的轨道坐标系作为所述导航坐标系；利用加速度计和陀螺测量所述巡检器的加速度信息和角速度信息；根据所述巡检器相对于所述导航坐标系的导航方程，计算所述巡检器的姿态参数和位置参数，所述导航方程包括：
其中，ρ表示巡检器的位置，表示巡检器的速度，是巡检器的加速度，n是轨道角速率， q表示巡检器相对于导航坐标系的姿态四元数，表示对应的姿态矩阵，是的转置矩阵，即 表示加速度计漂移的估计值，fc＝f+fb+fε，f表示加速度真值，fb表示加速度计漂移，fε表示加速度计测量噪声，表示陀螺漂移的估计值，ωc＝ω+ωb+ωε，ω表示角速度真值，ωb表示陀螺漂移，ωε表示陀螺测量噪声。
其中，所述通过三角法周期性测量所述目标航天器表面结构的点云数据，包括：
采取测量过程：建立测量坐标系，在所述测量坐标系中，A点为坐标轴原点，AO为x轴，垂直于平面AOO′的轴为y轴，AO'为z轴；在所述巡检器在所述目标航天器表面漂移的过程中，根据得到所述点云数据中各个点在测量坐标系中的坐标，其中，s表示激光器光束端面与被测物体表面基准面REF的垂直距离，d0表示OO'的距离，f表示相机焦距，Δ表示被测物体距离基准面的距离，θ表示激光束与OO'的夹角，δ表示成像点偏移的位移距离，表示激光照射线MN上点的坐标，h表示该点和O点在成像平面上的像点在成像平面上的垂直距离；得到单次测量的点云坐标数据，点云坐标数据描述在所述测量坐标系中。进一步的，巡检器在目标航天器表面漂移时，重复m次上述测量过程，计算巡检器测量坐标系在m次测量时刻之间的相对位置和相对姿态，将m次测量得到的点云坐标数据归算到同一测量坐标系下，根据线激光三角测量方法在巡检器中的安装方位关系，进一步将所述点云坐标数据换算到巡检器本体坐标系中，该点云数据集记为
具体的，根据所述目标航天器的外形结构数据和所述点云数据集计算得到所述巡检器相对于所述导航坐标系的姿态观测值和位置观测值，其中，所述巡检器附近的目标航天器表面区域的点云数据集为所述导航计算机，具体用于通过ICP算法，计算将P变换到Q的姿态旋转矩阵R和平移矢量T，其中的迭代计算步骤包括：对Q中的每一个数据点，从P中通过计算找到距离最近的点，组成对应点集D，从而建立了两个点集的对应关系；并通过最小化目标函数计算出R和T，Di为点集D中的一个点，Qi是点集Q中的一个点；再利用计算得到的R和T，对点云数据集P进行更新，计算方法是RP+T，得到新的点云数据集P，用于寻找对应点集D；重复该迭代计算步骤，直至目标函数d小于一定的阈值，或者迭代次数达到一定次数，并计算得到R和T，与R对应的姿态四元数记为δρ，所述巡检器相对于导航坐标系的姿态观测值为同时计算对应的旋转矩阵R(qc)，所述巡检器相对于导航坐标系的位置观测值为ρc＝ρ+R(qc)TT。
具体的，以所述姿态观测值和所述位置观测值作为观测值，利用扩展卡尔曼滤波器算法对状态矢量的精确估计并输出导航参数，所述状态矢量包括所述巡检器的位置参数、速度参数、姿态参数、陀螺漂移估计值和加速度计漂移估计值。
本发明实施例提供的用于航天器表面巡视的导航方法，利用线激光三角测量得到空间站外表面的局部外形的点云数据，并计算出在本体坐标系中的结构特征与已知的外形结构计算出两者之间的相对位姿关系，从而实现巡检器的导航测量。相对于现有技术中通过GPS信号进行定位的方案，本发明实施例的导航过程不依赖卫星导航系统，不局限于在低轨上使用。并且通过线激光三角测量还可以检测目标航天器的表面结构，从而达到导航和表面结构检测复用的目的，在降低巡检器的简单复杂度的同时提高巡检器的功能密度。且导航装置中的惯性测量单元(IMU)、线激光三角测量器和导航计算机皆可采用的工业元件，成本低廉。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccess Memory，RAM)等。以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。
Claims (8)
1.一种用于航天器表面巡视的导航装置，其特征在于，所述装置安装在巡检器上，所述巡检器用于在目标航天器表面漂移以实现巡检功能；
所述装置包括：惯性测量单元(IMU)、线激光三角测量器和导航计算机，所述线激光三角测量器由红外线激光器、相机和滤光片组成；
所述惯性测量单元，用于测量所述巡检器的加速度和角速度信息，并根据所述巡检器的加速度和角速度信息通过惯性积分推算，得到相对于导航坐标系的导航参数，所述导航参数包括：所述巡检器的姿态参数、位置参数和速度参数，所述导航坐标系为所述目标航天器的轨道坐标系；
所述线激光三角测量器，用于通过三角法周期性测量所述目标航天器表面结构的点云数据；
所述红外线激光器用于投射到目标航天器表面，形成红外激光线光斑；
所述滤光片用于滤除可见光，通过红外光；
所述相机用于对目标航天器表面的红外激光线光斑进行成像；
所述导航计算机，用于采集惯性测量单元的加速度与角速度信息、线激光三角测量器中相机输出的图像信息，并进行数据处理；
所述惯性测量单元，具体用于：
获取所述目标航天器的轨道坐标系作为所述导航坐标系；
并利用加速度计和陀螺测量所述巡检器的加速度信息和角速度信息；
再根据所述巡检器相对于所述导航坐标系的导航方程，计算所述巡检器的姿态参数和位置参数，所述导航方程包括：
其中，ρ表示巡检器的位置，表示巡检器的速度，是巡检器的加速度，n是轨道角速率， q表示巡检器相对于导航坐标系的姿态四元数，表示对应的姿态矩阵，是的转置矩阵，即 表示加速度计漂移的估计值，fc＝f+fb+fε，f表示加速度真值，fb表示加速度计漂移，fε表示加速度计测量噪声，表示陀螺漂移的估计值，ωc＝ω+ωb+ωε，ω表示角速度真值，ωb表示陀螺漂移，ωε表示陀螺测量噪声。
2.根据权利要求1所述的装置，其特征在于，所述线激光三角测量器，具体用于：
建立测量坐标系，在所述测量坐标系中，A点为坐标轴原点，AO为x轴，垂直于平面AOO′的轴为y轴，AO'为z轴；
在所述巡检器在所述目标航天器表面漂移的过程中，根据 得到所述点云数据中各个点在测量坐标系中的坐标，d0表示OO'的距离，f表示相机焦距，Δ表示被测物体距离基准面的距离，θ表示激光束与OO'的夹角，δ表示成像点偏移的位移距离，表示激光照射线MN上点的坐标，h表示所述激光照射线MN上点的坐标和O点在成像平面上的像点在成像平面上的垂直距离；
得到单次测量的点云坐标数据，点云坐标数据描述在所述测量坐标系中；
O为A点垂直落在所述物体表面基准面REF上的投影点，O'为所述相机的镜头的位置点。
3.根据权利要求1所述的装置，其特征在于：巡检器在目标航天器表面漂移时，所述线激光三角测量器重复m次测量；利用纯惯性积分计算巡检器测量坐标系在m次测量时刻之间的相对位置和相对姿态，将m次测量得到的点云坐标数据归算到同一测量坐标系；根据线激光三角测量装置在巡检器中的安装方位关系，进一步将所述点云坐标数据换算到巡检器本体坐标系中，该点云数据集记为
4.根据权利要求1所述的装置，其特征在于，所述导航计算机，还用于根据所述目标航天器的外形结构数据和点云数据集计算得到所述巡检器相对于所述导航坐标系的姿态观测值和位置观测值，其中，所述巡检器附近的目标航天器表面区域的点云数据集为P，所述导航计算机，具体用于通过迭代最近点算法(Iterative Closest Point,ICP)，计算将P变换到Q的姿态旋转矩阵R和平移矢量T，其中的迭代计算步骤包括：对Q中的每一个数据点，从P中通过计算找到距离最近的点，组成对应点集D，从而建立了两个点集的对应关系；并通过最小化目标函数计算出R和T，Di为点集D中的一个点，Qi是点云数据集Q中的一个点；再利用计算得到的R和T，对点云数据集P进行更新，计算方法是RP+T，得到新的点云数据集P，用于寻找对应点集D；重复该迭代计算步骤，直至目标函数d小于一定的阈值，或者迭代次数达到一定次数，并计算得到R和T，与R对应的姿态四元数记为δρ，所述巡检器相对于导航坐标系的姿态观测值为同时计算对应的旋转矩阵R(qc)，所述巡检器相对于导航坐标系的位置观测值为ρc＝ρ+R(qc)TT；
所述导航计算机，还用于以所述姿态观测值和所述位置观测值作为观测值，利用扩展卡尔曼滤波器算法对状态矢量的精确估计并输出导航参数，所述状态矢量包括所述巡检器的位置参数、速度参数、姿态参数、陀螺漂移估计值和加速度计漂移估计值。
5.一种用于航天器表面巡视的导航方法，其特征在于，包括：
测量巡检器的加速度和角速度信息，并根据所述巡检器的加速度和角速度信息通过惯性积分推算，得到相对于导航坐标系的导航参数，所述导航参数包括：所述巡检器的姿态参数、位置参数和速度参数，所述导航坐标系为目标航天器的轨道坐标系；
通过三角法周期性测量所述目标航天器表面结构的点云数据；
控制线激光三角测量器的红外线激光器投射到目标航天器表面，形成红外激光线光斑，线激光三角测量器中的滤光片用于滤除可见光，通过红外光，相机用于对目标航天器表面的红外激光线光斑进行成像；
采集惯性测量单元的加速度与角速度信息，线激光三角测量器中相机输出的图像信息，并进行数据处理；
所述测量所述巡检器的加速度和角速度信息，并根据所述巡检器的加速度和角速度信息通过惯性积分推算，得到相对于导航坐标系的导航参数，包括：
获取所述目标航天器的轨道坐标系作为所述导航坐标系；
利用加速度计和陀螺测量所述巡检器的加速度信息和角速度信息；
根据所述巡检器相对于所述导航坐标系的导航方程，计算所述巡检器的姿态参数和位置参数，所述导航方程包括：
其中，ρ表示巡检器的位置，表示巡检器的速度，是巡检器的加速度，n是轨道角速率， q表示巡检器相对于导航坐标系的姿态四元数，表示对应的姿态矩阵，是的转置矩阵，即 表示加速度计漂移的估计值，fc＝f+fb+fε，f表示加速度真值，fb表示加速度计漂移，fε表示加速度计测量噪声，表示陀螺漂移的估计值，ωc＝ω+ωb+ωε，ω表示角速度真值，ωb表示陀螺漂移，ωε表示陀螺测量噪声。
6.根据权利要求5所述的方法，其特征在于，所述通过三角法周期性测量所述目标航天器表面结构的点云数据，包括：
采取测量过程：
建立测量坐标系，在所述测量坐标系中，A点为坐标轴原点，AO为x轴，垂直于平面AOO′的轴为y轴，AO'为z轴；
在所述巡检器在所述目标航天器表面漂移的过程中，根据 得到所述点云数据中各个点在测量坐标系中的坐标，d0表示OO'的距离，f表示相机焦距，Δ表示被测物体距离基准面的距离，θ表示激光束与OO'的夹角，δ表示成像点偏移的位移距离，表示激光照射线MN上点的坐标，h表示所述激光照射线MN上点的坐标和O点在成像平面上的像点在成像平面上的垂直距离；
得到单次测量的点云坐标数据，点云坐标数据描述在所述测量坐标系中；
O为A点垂直落在所述物体表面基准面REF上的投影点，O'为所述相机的镜头的位置点；
巡检器在目标航天器表面漂移时，重复m次上述测量过程，利用纯惯性积分计算巡检器测量坐标系在m次测量时刻之间的相对位置和相对姿态，将m次测量得到的点云坐标数据归算到同一测量坐标系下，根据线激光三角测量方法在巡检器中的安装方位关系，进一步将所述点云坐标数据换算到巡检器本体坐标系中，该点云数据集记为
7.根据权利要求5所述的方法，其特征在于，还包括：
根据所述目标航天器的外形结构数据和点云数据集计算得到所述巡检器相对于所述导航坐标系的姿态观测值和位置观测值，其中，所述巡检器附近的目标航天器表面区域的点云数据集为所述导航计算机，具体用于通过ICP算法，计算将P变换到Q的姿态旋转矩阵R和平移矢量T，其中的迭代计算步骤包括：对Q中的每一个数据点，从P中通过计算找到距离最近的点，组成对应点集D，从而建立了两个点集的对应关系；并通过最小化目标函数计算出R和T，Di为点集D中的一个点，Qi是点云数据集Q中的一个点；再利用计算得到的R和T，对点云数据集P进行更新，计算方法是RP+T，得到新的点云数据集P，用于寻找对应点集D；重复该迭代计算步骤，直至目标函数d小于一定的阈值，或者迭代次数达到一定次数，并计算得到R和T，与R对应的姿态四元数记为δρ，所述巡检器相对于导航坐标系的姿态观测值为同时计算对应的旋转矩阵R(qc)，所述巡检器相对于导航坐标系的位置观测值为ρc＝ρ+R(qc)TT。
8.根据权利要求5所述的方法，其特征在于，还包括：
以所述姿态观测值和所述位置观测值作为观测值，利用扩展卡尔曼滤波器算法对状态矢量的精确估计并输出导航参数，所述状态矢量包括所述巡检器的位置参数、速度参数、姿态参数、陀螺漂移估计值和加速度计漂移估计值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610274837.4A CN105953795B (zh) | 2016-04-28 | 2016-04-28 | 一种用于航天器表面巡视的导航装置及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610274837.4A CN105953795B (zh) | 2016-04-28 | 2016-04-28 | 一种用于航天器表面巡视的导航装置及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105953795A CN105953795A (zh) | 2016-09-21 |
| CN105953795B true CN105953795B (zh) | 2019-02-26 |
Family
ID=56916108
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610274837.4A Expired - Fee Related CN105953795B (zh) | 2016-04-28 | 2016-04-28 | 一种用于航天器表面巡视的导航装置及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105953795B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106885571B (zh) * | 2017-03-07 | 2019-10-25 | 辽宁工程技术大学 | 一种结合imu和导航影像的月面巡视器快速定位方法 |
| CN107958209B (zh) * | 2017-11-16 | 2021-10-29 | 深圳天眼激光科技有限公司 | 一种违建识别方法、系统及电子设备 |
| CN108759815B (zh) * | 2018-04-28 | 2022-11-15 | 温州大学激光与光电智能制造研究院 | 一种用于全局视觉定位方法中的信息融合组合导航方法 |
| CN109444917B (zh) * | 2018-10-09 | 2020-09-18 | 中国人民解放军国防科技大学 | 基于微纳卫星集群的空间站外部结构检测维修系统及方法 |
| CN110111356B (zh) * | 2019-03-21 | 2021-05-28 | 西安交通大学 | 运动旋转物体的转动轴方向与转动角速度解算方法 |
| CN111351487A (zh) * | 2020-02-20 | 2020-06-30 | 深圳前海达闼云端智能科技有限公司 | 多传感器的时钟同步方法、装置及计算设备 |
| CN112862776A (zh) * | 2021-02-02 | 2021-05-28 | 中电鸿信信息科技有限公司 | 基于ar和多重语义分割的智能测量方法 |
| CN115431287B (zh) * | 2022-11-09 | 2023-01-24 | 广东南海电力设计院工程有限公司 | 一种配电房智能巡维机器人的控制系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103424114A (zh) * | 2012-05-22 | 2013-12-04 | 同济大学 | 一种视觉导航/惯性导航的全组合方法 |
| CN103674021A (zh) * | 2013-11-25 | 2014-03-26 | 哈尔滨工业大学 | 基于捷联惯导与星敏感器的组合导航系统及方法 |
| CN104049269A (zh) * | 2014-06-25 | 2014-09-17 | 哈尔滨工程大学 | 一种基于激光测距和mems/gps组合导航系统的目标导航测绘方法 |
| CN104316060A (zh) * | 2014-06-06 | 2015-01-28 | 清华大学深圳研究生院 | 空间非合作目标的交会对接方法与装置 |
| CN104536449A (zh) * | 2014-12-03 | 2015-04-22 | 中国空间技术研究院 | 一种用于高轨卫星通用抓捕机构的相对位姿实时测量方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3734729B2 (ja) * | 2001-08-20 | 2006-01-11 | 三菱電機株式会社 | 目標観測装置及び目標観測方法 |
-
2016
- 2016-04-28 CN CN201610274837.4A patent/CN105953795B/zh not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103424114A (zh) * | 2012-05-22 | 2013-12-04 | 同济大学 | 一种视觉导航/惯性导航的全组合方法 |
| CN103674021A (zh) * | 2013-11-25 | 2014-03-26 | 哈尔滨工业大学 | 基于捷联惯导与星敏感器的组合导航系统及方法 |
| CN104316060A (zh) * | 2014-06-06 | 2015-01-28 | 清华大学深圳研究生院 | 空间非合作目标的交会对接方法与装置 |
| CN104049269A (zh) * | 2014-06-25 | 2014-09-17 | 哈尔滨工程大学 | 一种基于激光测距和mems/gps组合导航系统的目标导航测绘方法 |
| CN104536449A (zh) * | 2014-12-03 | 2015-04-22 | 中国空间技术研究院 | 一种用于高轨卫星通用抓捕机构的相对位姿实时测量方法 |
Non-Patent Citations (3)
| Title |
|---|
| SUMO:spacecraft for the universal modification of orbits;Bosse A B，Henshaw C G，Pipitone F，et al;《Proceedings of SPIE，The International Society for optical Engineering》;20040830;第36-46页 |
| 在轨服务航天器相对测量及姿态控制研究;钱山;《中国博士学位论文全文数据库 工程科技Ⅱ辑》;20110415(第04期);第23-28页 |
| 基于线激光三角法的目标深度探测;冯翠芝;《中国优秀硕士学位论文全文数据库 信息科技辑》;20130215(第02期);第4-5，33-34页 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105953795A (zh) | 2016-09-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105953795B (zh) | 一种用于航天器表面巡视的导航装置及方法 | |
| CN106052584B (zh) | 一种基于视觉及惯性信息融合的轨道空间线形测量方法 | |
| Panahandeh et al. | Vision-aided inertial navigation based on ground plane feature detection | |
| CN109991636A (zh) | 基于gps、imu以及双目视觉的地图构建方法及系统 | |
| CN103033189B (zh) | 一种深空探测巡视器惯性/视觉组合导航方法 | |
| CN102435188B (zh) | 一种用于室内环境的单目视觉/惯性全自主导航方法 | |
| CN108225308A (zh) | 一种基于四元数的扩展卡尔曼滤波算法的姿态解算方法 | |
| CN109141433A (zh) | 一种机器人室内定位系统及定位方法 | |
| CN102607526A (zh) | 双介质下基于双目视觉的目标姿态测量方法 | |
| CN110361010A (zh) | 一种基于占据栅格地图且结合imu的移动机器人定位方法 | |
| CN106885571B (zh) | 一种结合imu和导航影像的月面巡视器快速定位方法 | |
| US7120875B2 (en) | Method and apparatus for augmented reality hybrid tracking system with fiducial-based heading correction | |
| CN108592914A (zh) | 无gps情况下的复杂区域巡视机器人定位、导航及授时方法 | |
| CN107728182A (zh) | 基于相机辅助的柔性多基线测量方法和装置 | |
| Dorveaux et al. | Combining inertial measurements and distributed magnetometry for motion estimation | |
| CN102636081A (zh) | 一种基于视觉运动建模的传递对准方法及装置 | |
| CN106672265B (zh) | 一种基于光流信息的小天体定点着陆制导控制方法 | |
| CN108375383A (zh) | 多相机辅助的机载分布式pos柔性基线测量方法和装置 | |
| CN107144278A (zh) | 一种基于多源特征的着陆器视觉导航方法 | |
| CN110736457A (zh) | 一种基于北斗、gps和sins的组合导航方法 | |
| Xian et al. | Fusing stereo camera and low-cost inertial measurement unit for autonomous navigation in a tightly-coupled approach | |
| CN110146092A (zh) | 基于导航信息评价的双体小行星探测轨迹优化方法 | |
| Karimi et al. | Skewed-redundant hall-effect magnetic sensor fusion for perturbation-free indoor heading estimation | |
| CN104075710B (zh) | 一种基于航迹预测的机动扩展目标轴向姿态实时估计方法 | |
| CN103630109A (zh) | 一种基于星光折射确定地心矢量的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190226 Termination date: 20210428 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |