CN110458885B - 基于行程感知与视觉融合的定位系统和移动终端 - Google Patents
基于行程感知与视觉融合的定位系统和移动终端 Download PDFInfo
- Publication number
- CN110458885B CN110458885B CN201910795289.3A CN201910795289A CN110458885B CN 110458885 B CN110458885 B CN 110458885B CN 201910795289 A CN201910795289 A CN 201910795289A CN 110458885 B CN110458885 B CN 110458885B
- Authority
- CN
- China
- Prior art keywords
- camera
- constraint
- wheel
- acquisition module
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 25
- 230000004438 eyesight Effects 0.000 title claims abstract description 23
- 230000008447 perception Effects 0.000 title claims abstract description 16
- 230000000007 visual effect Effects 0.000 claims abstract description 42
- 238000000034 method Methods 0.000 claims abstract description 27
- 230000033001 locomotion Effects 0.000 claims abstract description 17
- 230000000694 effects Effects 0.000 claims abstract description 8
- 238000006073 displacement reaction Methods 0.000 claims description 38
- 230000006870 function Effects 0.000 claims description 34
- 238000013519 translation Methods 0.000 claims description 34
- 238000005457 optimization Methods 0.000 claims description 27
- 239000011159 matrix material Substances 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 4
- CLOMYZFHNHFSIQ-UHFFFAOYSA-N clonixin Chemical compound CC1=C(Cl)C=CC=C1NC1=NC=CC=C1C(O)=O CLOMYZFHNHFSIQ-UHFFFAOYSA-N 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 abstract description 14
- 230000016776 visual perception Effects 0.000 abstract description 7
- 238000002360 preparation method Methods 0.000 abstract description 5
- 238000009825 accumulation Methods 0.000 abstract description 3
- 230000008859 change Effects 0.000 description 8
- 238000013507 mapping Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 4
- 230000004807 localization Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000017105 transposition Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000009194 climbing Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
- G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
- G07C5/0841—Registering performance data
- G07C5/085—Registering performance data using electronic data carriers
- G07C5/0866—Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Automation & Control Theory (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于行程感知与视觉融合的定位系统和移动终端，准备阶段，获取视觉数据和行程数据；增量对应关系转换，确定初始位置，以后一时刻j对前一时刻i行程感知设备获取行程数据中提取增量的转换关系；约束，以行程感知设备提取增量的转换关系作为约束条件约束视觉感知设备。采用行程感知设备感知车身运动的长度和航向角信息，将行程感知设备感知的长度或者轨迹信息作为相机的轨迹约束，解决了单目相机的尺度不确定问题，也能防止视觉定位误差累计和尺度漂移。此外，仅仅采用行程感知的长度约束，对于非平面场景的定位，也能起到很好的效果，不局限于平面场景。
Description
技术领域
本发明涉及汽车电子技术领域，特别是涉及一种基于行程感知与视觉融合的定位系统和移动终端。
背景技术
以视觉为中心的同时定位与建图(simultaneous localization and mapping，简称SLAM)是通过图像匹配来同时计算摄像头的位置、姿态朝向(位姿)以及环境点云三维坐标的技术。对于单目摄像头，计算出来的轨迹与真实的轨迹长度之间存在一个未知比例因子(尺度)，使得定位和建图结果缺乏实用性；此外，单目摄像头的定位结果还容易发生尺度漂移，导致大范围不可用；本发明利用车载轮速脉冲里程计作为尺度信息约束，使得定位和建图有了真实尺度，并且提高了大范围的可用性。
当前视觉SLAM技术主要通过图像匹配，得到帧与帧的像素匹配关系，通过多视角几何方程计算出这些帧对应时刻的位姿以及匹配点的三维坐标，构成三维点云，然后重投影到图像上，通过最小化所有匹配图像点的投影误差平方和，得到最优的相机位置和点云坐标。在计算相机位置的过程中，单目摄像头不知道两帧位置的绝对长度，因而只能任意设置，这就是尺度不确定性的来源；为了解决这个问题，通常需要额外的传感器来提供尺度信息。目前最常用的解决方案包括：双(多)目、摄像头融合惯性测量单元IMU、摄像头与全球定位系统GNSS+IMU等。
双目定位和建图原理与单目基本相同，只是利用两个相机之间的光轴距离作为尺度基准可以获得真实尺度。
与IMU融合的技术方法主要利用IMU的加速度和角速度信息来获取单目的尺度。与GNSS/IMU的融合在IMU基础之上还能提供地理坐标系，但受限于GNSS的使用不是全天候的。
单目的缺点在于摄像头的轨迹与真实轨迹相差一个比例因子(尺度)，无法靠摄像头本身确定；此外单目摄像头在大范围使用时还容易发生尺度漂移，造成地图前后尺度不一致。
双目或者多目摄像头能确定相机运动的尺度，但硬件成本更高，数据传输和处理量更大，也需要摄像头有良好的校准和标定。
IMU与摄像头的组合能确定相机的尺度，但硬件要求较高：摄像头是全局快门，且与IMU有精准硬件时间同步和稳固空间刚性连接；此外还要求运动在三维空间中有充分的加速度和角速度。对于汽车而言，这些条件都不理想，因而不太实用。
摄像头与GNSS或者GNSS+IMU的融合的方案在室内或者城市楼群中不可用，不是一个全天候的方案，也面临着摄像头与IMU组合相同的问题。
目前将车身里程计与视觉融合已有相关专利和论文。如专利名称为：“Robustsensor fusion for mapping and localization in a simultaneous localization andmapping(SLAM)system”，专利号为US20050182518A1的美国专利，该专利公开了一种基于SLAM的机器人传感器融合的系统，此发明涉及允许来自多个传感器的测量结果以稳健方式组合或融合的方法和装置。例如，传感器可以对应于移动设备(例如机器人)用于定位和/或映射的传感器。可以融合测量值以估计测量值，例如估计机器人的姿势。它是通过多传感器融合来确保数据的鲁棒完整性，侧重在与传感器之间互相确认状态完整性，其实现方法是基于粒子滤波的概率函数，其实现场景也是平面。
发表于IEEE会议的2013年论文Heng,Lionel&Li,Bo&Pollefeys,Marc.(2013).CamOdoCal:Automatic intrinsic and extrinsic calibration of a rig withmultiple generic cameras and odometry.Proceedings of the...IEEE/RSJInternational Conference on Intelligent Robots and Systems.IEEE/RSJInternational Conference on Intelligent Robots and Systems.1793-1800.10.1109/IROS.2013.6696592.公开了使用多个通用摄像头和测距法进行自动内在和外在校准的方法。
发表于IEEE会议的2015年论文Raúl Mur-Artal,J.M.M.Montiel and JuanD.Tardós.ORB-SLAM:A Versatile and Accurate Monocular SLAM System.IEEETransactions on Robotics,vol.31,no.5,pp.1147-1163,2015.公开了一种精准的多功能单目SLAM系统。
发表于ACC会议的2017年论文Li,Dongxuan&Eckenhoff,Kevin&Wu,Kanzhi&Wang,Yue&Xiong,Rong&Huang,Guoquan.(2017).Gyro-aided camera-odometer onlinecalibration and localization.3579-3586.10.23919/ACC.2017.7963501.公开了一种基于陀螺辅助摄像机里程计的在线标定和定位方法。
发表于机器人与仿生技术国际学会的2017年论文International Conference onRobotics and Biomimetics的2017年论文Yijia,He&Guo,Yue&Ye,Aixue&Yuan,Kui.(2017).Camera-odometer calibration and fusion using graph basedoptimization.1624-1629.10.1109/ROBIO.2017.8324650.公开了一种使用基于图形的优化摄像机里程计校准和融合的方法。
发表于2018年的IEEE Sensors Journal期刊的2018年论文Zheng,Fan&Liu,Yun-Hui.(2018).SE(2)-Constrained Visual Inertial Fusion for Ground Vehicles.IEEESensors Journal.PP.1-1.10.1109/JSEN.2018.2873055.公开了一种地面车辆的约束视觉惯性融合方法。
以上是最接近本文的现有技术，也使用轮式里程计提供的位姿约束来约束、优化相机的位姿，但这些方法无一例外都是要求里程计运行在平面上，其对象都是有较高精度的机器人编码器里程计，而本方法是基于汽车固有的里程计，从精度上较机器人编码器精度要低，[4-6]中所述方案在此实用性不强，最重要的是，基于公式(8)的变通方案，对于汽车在爬坡情况下也能使用，从而突破了前述论文的约束框架。
发明内容
为了解决上述的以及其他潜在的技术问题，本发明提供了一种基于行程感知与视觉融合的定位系统和移动终端,采用行程感知设备感知车身运动的长度和航向角信息，将行程感知设备感知的长度或者轨迹信息作为相机的轨迹约束，解决了单目相机的尺度不确定问题，也能防止视觉定位误差累计和尺度漂移。此外，仅仅采用行程感知的长度约束，对于非平面场景的定位，也能起到很好的效果，不局限于平面场景。
基于行程感知与视觉融合的定位方法，包括以下步骤：
准备阶段，获取视觉数据和行程数据；
增量对应关系转换，确定初始位置，以后一时刻j对前一时刻i行程感知设备获取行程数据中提取增量的转换关系；
约束，以行程感知设备提取增量的转换关系作为约束条件约束视觉感知设备。
进一步地，所述行程感知设备为非视觉感知设备，所述非视觉感知设备用于精确的获取车辆行进路程，所述非视觉感知设备可以为编码器、里程计、差分里程计。
进一步地，还包括权重调整模块，所述权重调整模块以行程感知设备的相对可信度和/或视觉感知设备的相对可信度来动态调整视觉感知位姿优化的代价函数的权重。
准备阶段，首先根据背景技术中提及的多个通用摄像头和测距法进行自动内在和外在校准的方法所述的标定摄像头与车身后轴中心的相对旋转平移关系Rdc和tdc，里程计的坐标原点选为后轴中心在地面上的投影。
其中Rdc是Rotate(旋转)的首字母，下标d表示Odometry，即里程计；下标c表示camera，即相机。所以Rdc表示从摄像头到里程计的旋转关系，它是一个3x3正交矩阵。
其中tdc是Translation(平移)的首字母，下标d表示Odometry，即里程计；下标c表示camera，即相机。所以tdc是一个三维向量，表示从摄像头到里程计位移矢量。
进一步地，在增量对应关系转换，确定初始位置，以后一时刻j对前一时刻i行程感知设备获取行程数据中提取增量的转换关系中：
当车身运动在平面上，其中i表示第i时刻车身相机获取数据，j表示第j时刻车身相机获取数据。车身相机的任意两帧i和j的旋转平移Rci,Tci、Rcj,Tcj与从里程计算出来的航向角Yij和位移dij之间有如下约束关系：
在公式(1)中：dij表示摄像头与里程计的平移矢量的表达式，其函数表达用Rdc表示摄像头到里程计的旋转关系、表示摄像头到里程计的旋转关系的矩阵转置、/>表示第j时刻摄像头的旋转关系、/>表示第i时刻摄像头转换关系的矩阵转置、tdc表示从摄像头到里程计平移矢量、Tcj表示第j时刻摄像头的平移关系、Tci表示第i时刻摄像头的平移关系。
在公式(2)中：表示第j时刻摄像头旋转关系的矩阵转置、Rci表示第i时刻摄像头旋转关系、/>表示摄像头到里程计的旋转关系矩阵转置、/>表示摄像头到里程计的旋转关系、Yij表示从第i时刻到第j时刻航向角的变化。
以此获得行程数据中提取增量的转换关系，即i时刻旋转平移关系Rci,Tci、j时刻旋转平移关系Rcj,Tcj。
如果车身不是运动在平面上，而是运动在有坡度的道路上，上述公式稍有偏差，但幅度可以忽略不计，因而可以认为一直有效。
基于行程感知与视觉融合的定位方法，包括：
S01：视觉初始化：车辆启动后选取视频两帧(第1帧和第2帧)初始化，两帧有一定位置移动，同时又有较多的视野重合；提取每帧图片的特征点，完成两帧图像的匹配。第一帧捕获图像的初始数据为设定值，第二帧捕获图像相对于第一帧捕获图像的增量对应关系(Rc1,Tc1)，其中包括旋转关系和平移关系。设为旋转关系为3x3单位矩阵，第二帧捕获图像的旋转增量以相乘初始值获得、第二帧捕获图像的平移增量以初始值矢量相加的方式获得。第三帧的增量对应关系(Rc2,Tc2)通过匹配像素从多视角几何方程计算出来(例如，采用基础矩阵分解)；Tc1的长度设为1。可以由主流的视觉SLAM来实现此过程，详细参见背景技术中提及的精准的多功能单目SLAM系统。
S02：获得1和2帧之间的轮速脉冲编码器读数。假设后左轮和后右轮的两时刻脉冲读数差ΔL12和ΔR12，轮胎半径r，直径d，对于轮式编码器，轮胎每转一圈有脉冲计数ppr(pulse per round)。根据Ackerman原理从各个轮的里程差计算出两帧之间的位移dij和航向角Y12。是一个脉冲读数对应的长度，则第一帧航向角：/>第一帧位移
由此推广到任意第i时刻、任意第j时刻的航向角Yij和位移dij如下所示：
为ΔLij和ΔRij，轮胎半径r，对于轮式编码器，轮胎每转一圈有脉冲计数ppr(pulse per round)。根据Ackerman原理从各个轮的里程差计算出两帧之间的位移dij和航向角Y12。 是一个脉冲读数对应的长度，则：
其中，ΔLij表示后左轮第i时刻到第j时刻的增量，ΔRij表示后右轮第i时刻到第j时刻的增量，dij表示根据洛必达法则计算得出的两帧之间的位移增量、是一个脉冲读数对应的长度，所以S(ΔRij+ΔLij)/2为后左轮和后右轮路程的平均数，Yij表示航向角的角度。
初始化阶段，对于车辆的行驶轨迹，要求为直线，从而确保第一帧到第二帧航向角的变化Y12＝0，这样轮式里程计的运动长度和相机的运动长度相等。将Tc1，即摄像头第一帧平移的长度调整为d12第一帧到第二帧之间位移增量的长度，方向不变，这样保证两者尺度一致。
S03：对于任意第i帧和第j帧，按照公式(3)和(4)计算两帧之间的位移dij和航向角变化Yij，作为相机姿态的先验约束加入误差函数中去优化。相机的旋转为Rci、Rcj，相机的平移Tci、Tcj，此时Tci、Tcj不需要调整尺度，只需要优化即可。
传统的视觉SLAM优化的是点云和相机的投影误差。假设在第i,j帧之间有若干三维地图点P(第k个记为Pk)，地图点在i(j)帧对应的二维平面像素是(ui,vi)，则视觉SLAM优化的代价函数是：
其中，fx,fy,cx,cy是相机内参，提前标定好，不需要优化。求和对所有帧以及帧的特征点遍历。经过非线性最优化过程迭代优化使得损失函数cost最小化，最后得到最优化的相机姿态Rci、Rcj，Tci、Tcj；表示第k个点p的x坐标、/>表示第k个点p的y坐标、/>表示第k个点p的z坐标、Pk为三维地图中第k个点，(ui,vi)表示第i帧图像对应的二维平面像素。
Rcj表示第j时刻摄像头旋转关系、Rci表示第i时刻摄像头旋转关系、Tci表示相机第i时刻里程计的平移关系、Tcj表示第j时刻摄像头到里程计的平移关系。
S04：在上述公式(6)基础上，根据公式(1)和(2)，在视觉位姿优化中加入代价函数：
其中Yij根据公式(3)，dij根据公式(4)右边算出，分别表示轮速里程计的旋转和位移转化为相机位移，log运算是求旋转矩阵的罗德里格斯角，即旋转角。σ1和σ2是相应的权重因子，一般根据实际数据情况调节。
进一步地，所述步骤S04中视觉位姿优化加入代价函数的公式(7)有一个弱化的版本:
即，只添加两个时刻之间的长度约束。此关系属于公式(1)的推论，也可以代替(7)，仍能起到改善定位精度和恢复尺度的效果。
基于行程感知与视觉融合的定位系统，包括：
视觉数据获取模块，所述视觉数据获取模块用于获取相机或摄像头数据，并根据相机或摄像头数据获取时间的时间戳分别给数据标签；
里程计数据获取模块，所述里程计数据获取模块包括航向角Yij获取模块、里程计位移获取模块，
所述航向角Yij获取模块获取每一个车轮的轮速脉冲编码器的读数、车轮轮胎的半径r数值、车轮轮胎每转一圈的脉冲计数ppr，以同一主动轴两车轮中第一车轮的轮速脉冲编码器乘以第一脉冲计数减第二车轮的轮速脉冲编码器乘以第二脉冲计数除以车轮轮胎直径d，获得航向角Yij；
所述里程计位移获取模块获取每一个车轮的轮速脉冲编码器的读数、车轮轮胎的半径r数值、车轮轮胎每转一圈的脉冲计数ppr，以同一主动轴两车轮中第一车轮的轮速脉冲编码器乘以第一脉冲计数减第二车轮的轮速脉冲编码器乘以第二脉冲计数除以航向角Yij乘以罗德里格斯角获得里程计位移；
约束模块，所述约束模块用于以行程数据获取模块获得数据以约束关系约束视觉数据获取模块，对视觉数据获取模块计算结果进行优化。
所述约束模块包括第一约束模块和第二约束模块：
第一约束模块以相同的自i至j时刻以车身里程计数据产生的运动增量约束相机运动增量，所述第一约束模块是约束车辆平移矢量的约束，
第二约束模块以轮速里程计的读数差获得车身航向角偏转来作为旋转增量的约束，所述第二约束模块是约束车辆旋转矢量的约束。
进一步地，还包括代价函数优化模块，所述代价函数约束模块，代价函数约束模块的影响因子，所述影响因子可以用于辅助判断代价函数的相对可信度。
如上所述，本发明的具有以下有益效果：
1)采用车身固有轮速脉冲里程计，根据里程计读数计算出车身运动的长度和航向角信息，将里程计的长度或者轨迹信息作为相机的轨迹约束，解决了单目相机的尺度不确定问题，也能防止视觉定位误差累计和尺度漂移。
2)本方法对于非平面场景的定位，也能起到很好的效果，不局限于平面场景。
3)视觉轨迹与真实尺度一致，可用于导航和定位参考；在较大行驶范围内，定位和建图精度提高。
4)采用车身固有的轮速脉冲里程计，不需要额外增加硬件成本；与IMU或者双目相
比，几乎没有额外计算量。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1显示为本发明的流程图。
图2显示为本发明另一实施例的流程图。
图3显示为本发明相机和里程计数据流程图。
图4显示为本发明另一实施例中相机和里程计数据流程图。
图5显示为本发明相机提取特征点定位的示意图。
图6显示为本发明另一时刻相机提取特征点定位的示意图。
图7显示为本发明另一时刻相机提取特征点定位的示意图。
图8显示为本发明另一时刻相机提取特征点定位的示意图。
图9显示为本发明另一时刻相机提取特征点定位的示意图。
图10显示为相机提取特征点定位的偏移以及以里程计约束后回归实际位置的示意图。
图11显示为另一时刻相机提取特征点定位的偏移以及以里程计约束后回归实际位置的示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
须知，本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。同时，本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”及“一”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。
参见图1～图11，
基于行程感知与视觉融合的定位方法，包括以下步骤：
准备阶段，获取视觉数据和行程数据；
增量对应关系转换，确定初始位置，以后一时刻j对前一时刻i行程感知设备获取行程数据中提取增量的转换关系；
约束，以行程感知设备提取增量的转换关系作为约束条件约束视觉感知设备。
进一步地，所述行程感知设备为非视觉感知设备，所述非视觉感知设备用于精确的获取车辆行进路程，所述非视觉感知设备可以为编码器、里程计、差分里程计。
进一步地，还包括权重调整模块，所述权重调整模块以行程感知设备的相对可信度和/或视觉感知设备的相对可信度来动态调整视觉感知位姿优化的代价函数的权重。
准备阶段，首先根据背景技术中提及的多个通用摄像头和测距法进行自动内在和外在校准的方法所述的标定摄像头与车身后轴中心的相对旋转平移关系Rdc和tdc，里程计的坐标原点选为后轴中心在地面上的投影。
其中Rdc是Rotate(旋转)的首字母，下标d表示Odometry，即里程计；下标c表示camera，即相机。所以Rdc表示从摄像头到里程计的旋转关系，它是一个3x3正交矩阵。
其中tdc是Translation(平移)的首字母，下标d表示Odometry，即里程计；下标c表示camera，即相机。所以tdc是一个三维向量，表示从摄像头到里程计位移矢量。
当车身运动在平面上，其中i表示第i时刻车身相机获取数据，j表示第j时刻车身相机获取数据。车身相机的任意两帧i和j的旋转平移Rci,Tci、Rcj,Tcj与从里程计算出来的航向角Yij和位移dij之间有如下约束关系：
在公式(1)中：dij表示摄像头与里程计的平移矢量的表达式，其函数表达用Rdc表示摄像头到里程计的旋转关系、表示摄像头到里程计的旋转关系的矩阵转置、/>表示第j时刻摄像头的旋转关系、/>表示第i时刻摄像头转换关系的矩阵转置、tdc表示从摄像头到里程计平移矢量、Tcj表示第j时刻摄像头的平移关系、Tci表示第i时刻摄像头的平移关系。
在公式(2)中：表示第j时刻摄像头旋转关系的矩阵转置、Rci表示第i时刻摄像头旋转关系、/>表示摄像头到里程计的旋转关系矩阵转置、/>表示摄像头到里程计的旋转关系、Yij表示从第i时刻到第j时刻航向角的变化。
如果车身不是运动在平面上，而是运动在有坡度的道路上，上述公式稍有偏差，但幅度可以忽略不计，因而可以认为一直有效。
基于行程感知与视觉融合的定位方法，包括：
S01：视觉初始化：车辆启动后选取视频两帧(第1帧和第2帧)初始化，两帧有一定位置移动，同时又有较多的视野重合；提取每帧图片的特征点，完成两帧图像的匹配。第一帧捕获图像的初始数据为设定值，第二帧捕获图像相对于第一帧捕获图像的增量对应关系(Rc1,Tc1)，其中包括旋转关系和平移关系。设为旋转关系为3x3单位矩阵，第二帧捕获图像的旋转增量以相乘初始值获得、第二帧捕获图像的平移增量以初始值矢量相加的方式获得。第三帧的增量对应关系(Rc2,Tc2)通过匹配像素从多视角几何方程计算出来(例如，采用基础矩阵分解)；Tc1的长度设为1。可以由主流的视觉SLAM来实现此过程，详细参见背景技术中提及的精准的多功能单目SLAM系统。
S02：获得1和2帧之间的轮速脉冲编码器读数。假设后左轮和后右轮的两时刻脉冲读数差ΔL12和ΔR12，轮胎半径r，直径d，对于轮式编码器，轮胎每转一圈有脉冲计数ppr(pulse per round)。根据Ackerman原理从各个轮的里程差计算出两帧之间的位移dij和航向角Y12。是一个脉冲读数对应的长度，则第一帧航向角：/>第一帧位移
由此推广到任意第i时刻、任意第j时刻的航向角Yij和位移dij如下所示：
为ΔLij和ΔRij，轮胎半径r，对于轮式编码器，轮胎每转一圈有脉冲计数ppr(pulse per round)。根据Ackerman原理从各个轮的里程差计算出两帧之间的位移dij和航向角Y12。 是一个脉冲读数对应的长度，则：
其中，ΔLij表示后左轮第i时刻到第j时刻的增量，ΔRij表示后右轮第i时刻到第j时刻的增量，dij表示根据洛必达法则计算得出的两帧之间的位移增量、是一个脉冲读数对应的长度，所以S(ΔRij+ΔLij)/2为后左轮和后右轮路程的平均数，Yij表示航向角的角度。
初始化阶段，对于车辆的行驶轨迹，要求为直线，从而确保第一帧到第二帧航向角的变化Y12＝0，这样轮式里程计的运动长度和相机的运动长度相等。将Tc1，即摄像头第一帧平移的长度调整为d12第一帧到第二帧之间位移增量的长度，方向不变，这样保证两者尺度一致。
S03：对于任意第i帧和第j帧，按照公式(3)和(4)计算两帧之间的位移dij和航向角变化Yij，作为相机姿态的先验约束加入误差函数中去优化。相机的旋转为Rci、Rcj，相机的平移Tci、Tcj，此时Tci、Tcj不需要调整尺度，只需要优化即可。
传统的视觉SLAM优化的是点云和相机的投影误差。假设在第i,j帧之间有若干三维地图点P(第k个记为Pk)，地图点在i(j)帧对应的二维平面像素是(ui,vi)，则视觉SLAM优化的代价函数是：
其中，fx,fy,cx,cy是相机内参，提前标定好，不需要优化。求和对所有帧以及帧的特征点遍历。经过非线性最优化过程迭代优化使得损失函数cost最小化，最后得到最优化的相机姿态Rci、Rcj，Tci、Tcj；表示第k个点p的x坐标、/>表示第k个点p的y坐标、/>表示第k个点p的z坐标、Pk为三维地图中第k个点，(ui,vi)表示第i帧图像对应的二维平面像素。
Rcj表示第j时刻摄像头旋转关系、Rci表示第i时刻摄像头旋转关系、Tci表示相机第i时刻里程计的平移关系、Tcj表示第j时刻摄像头到里程计的平移关系。
S04：在上述公式(6)基础上，根据公式(1)和(2)，在视觉位姿优化中加入代价函数：
其中Yij根据公式(3)，dij根据公式(4)右边算出，分别表示轮速里程计的旋转和位移转化为相机位移，log运算是求旋转矩阵的罗德里格斯角，即旋转角。σ1和σ2是相应的权重因子，一般根据实际数据情况调节。
进一步地，所述步骤S04中视觉位姿优化加入代价函数的公式(7)有一个弱化的版本:
即，只添加两个时刻之间的长度约束。此关系属于公式(1)的推论，也可以代替(7)，仍能起到改善定位精度和恢复尺度的效果。
基于行程感知与视觉融合的定位系统，包括：
视觉数据获取模块，所述视觉数据获取模块用于获取相机或摄像头数据，并根据相机或摄像头数据获取时间的时间戳分别给数据标签；
行程数据获取模块，所述行程数据获取模块包括航向角Yij获取模块、位移获取模块，
所述航向角Yij获取模块获取每一个车轮的轮速脉冲编码器的读数、车轮轮胎的半径r数值、车轮轮胎每转一圈的脉冲计数ppr，以同一主动轴两车轮中第一车轮的轮速脉冲编码器乘以第一脉冲计数减第二车轮的轮速脉冲编码器乘以第二脉冲计数除以车轮轮胎直径d，获得航向角Yij；
所述位移获取模块获取每一个车轮的轮速脉冲编码器的读数、车轮轮胎的半径r数值、车轮轮胎每转一圈的脉冲计数ppr，以同一主动轴两车轮中第一车轮的轮速脉冲编码器乘以第一脉冲计数减第二车轮的轮速脉冲编码器乘以第二脉冲计数除以航向角Yij乘以罗德里格斯角获得里程计位移；
约束模块，所述约束模块用于以行程数据获取模块获得数据以约束关系约束视觉数据获取模块，对视觉数据获取模块计算结果进行优化。
所述约束模块包括第一约束模块和第二约束模块：
第一约束模块以相同的自i至j时刻以车身里程计数据产生的运动增量约束相机运动增量，所述第一约束模块是约束车辆平移矢量的约束，
第二约束模块以轮速里程计的读数差获得车身航向角偏转来作为旋转增量的约束，所述第二约束模块是约束车辆旋转矢量的约束。
所述第一约束模块以相同的自i至j时刻以车身里程计数据产生的运动增量约束相机运动增量，所述第一约束模块是约束车辆平移矢量的约束，
所述第二约束模块以轮速里程计的读数差获得车身航向角偏转来作为旋转增量的约束，所述第二约束模块是约束车辆旋转矢量的约束。
进一步地，还包括代价函数优化模块，所述代价函数约束模块，代价函数约束模块的影响因子，所述影响因子可以用于辅助判断代价函数的相对可信度。
作为优选实施例，本实施例还提供一种终端设备，如可以执行程序的智能手机、平板电脑、笔记本电脑、台式计算机、机架式云端、刀片式云端、塔式云端或机柜式云端(包括独立的云端，或者多个云端所组成的云端集群)等。本实施例的终端设备至少包括但不限于：可通过系统总线相互通信连接的存储器、处理器。需要指出的是，具有组件存储器、处理器的终端设备，但是应理解的是，并不要求实施所有示出的组件，可以替代的基于行程感知与视觉融合的定位系统实施更多或者更少的组件。
作为优选实施例，存储器(即可读存储介质)包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，存储器可以是计算机设备的内部存储单元，例如该计算机设备的硬盘或内存。在另一些实施例中，存储器也可以是计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。当然，存储器还可以既包括计算机设备的内部存储单元也包括其外部存储设备。本实施例中，存储器通常用于存储安装于计算机设备的操作系统和各类应用软件，例如实施例中的基于行程感知与视觉融合的定位方法程序代码等。此外，存储器还可以用于暂时地存储已经输出或者将要输出的各类数据。
本实施例还提供一种计算机可读存储介质，如闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、云端、App应用商城等等，其上存储有计算机程序，程序被处理器执行时实现相应功能。本实施例的计算机可读存储介质基于行程感知与视觉融合的定位方法程序代码程序，被处理器执行时实现基于行程感知与视觉融合的定位方法程序代码诚信。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中包括通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。
Claims (9)
1.一种基于行程感知与视觉融合的定位系统，其特征在于，包括：
视觉数据获取模块，所述视觉数据获取模块用于获取相机或摄像头数据，并根据相机或摄像头数据获取时间的时间戳分别给数据标签；
行程数据获取模块，所述行程数据获取模块包括航向角Yij获取模块、位移获取模块、旋转关系获取模块；
约束模块，所述约束模块用于以行程数据获取模块获得数据以约束关系约束视觉数据获取模块，对视觉数据获取模块计算结果进行优化，所述航向角Yij获取模块，获得的航向角Yij，位移获取模块和旋转关系获取模块分别为ΔLij和ΔRij，则：
根据公式(3)和公式(4)可以获得航向角Yij和两帧之间的位移增量dij；
其中，ΔLij表示后左轮第i时刻到第j时刻的增量，ΔRij表示后右轮第i时刻到第j时刻的增量，dij表示根据洛必达法则计算得出的两帧之间的位移增量、是一个脉冲读数对应的长度，所以S(ΔRij+ΔLij)/2为后左轮和后右轮路程的平均数，Yij表示航向角的角度，d表示车轮轮胎直径。
2.根据权利要求1所述的基于行程感知与视觉融合的定位系统，其特征在于，还包括代价函数优化模块，所述代价函数约束模块，代价函数约束模块的影响因子，所述影响因子可以用于辅助判断代价函数的相对可信度。
3.根据权利要求2所述的基于行程感知与视觉融合的定位系统，其特征在于，所述航向角Yij获取模块获取每一个车轮的轮速脉冲编码器的读数、车轮轮胎的半径r数值、车轮轮胎每转一圈的脉冲计数ppr，以同一主动轴两车轮中第一车轮的轮速脉冲编码器乘以第一脉冲计数减第二车轮的轮速脉冲编码器乘以第二脉冲计数除以车轮轮胎直径d，获得航向角Yij。
4.根据权利要求1所述的基于行程感知与视觉融合的定位系统，其特征在于，所述位移获取模块获取每一个车轮的轮速脉冲编码器的读数、车轮轮胎的半径r数值、车轮轮胎每转一圈的脉冲计数ppr，以同一主动轴两车轮中第一车轮的轮速脉冲编码器乘以第一脉冲计数减第二车轮的轮速脉冲编码器乘以第二脉冲计数除以航向角Yij乘以罗德里格斯角获得位移。
5.根据权利要求4所述的基于行程感知与视觉融合的定位系统，其特征在于，所述约束模块包括第一约束模块和第二约束模块：所述第一约束模块以相同的自i至j时刻以车身里程计数据产生的运动增量约束相机运动增量，所述第一约束模块是约束车辆平移矢量的约束。
6.根据权利要求5所述的基于行程感知与视觉融合的定位系统，其特征在于，所述约束模块包括第一约束模块和第二约束模块：所述第二约束模块以轮速里程计的读数差获得车身航向角偏转来作为旋转增量的约束，所述第二约束模块是约束车辆旋转矢量的约束。
7.根据权利要求6所述的基于行程感知与视觉融合的定位系统，其特征在于，约束方式具体为：假设在第i，j帧之间有若干三维地图点P(第k个记为Pk)，地图点在i(j)帧对应的二维平面像素是(ui，vi)，则视觉SLAM优化的代价函数是：
在视觉位姿优化中加入代价函数即行程数据获取模块对视觉数据获取模块的约束：
以公式(7)约束视觉数据获取模块获取数据，以起到改善定位精度和恢复尺度的效果；
其中Rcj表示第j时刻摄像头旋转关系、Rci表示第i时刻摄像头旋转关系、Tci表示相机第i时刻里程计的平移关系、Tcj表示第j时刻摄像头到里程计的平移关系；log运算是求旋转矩阵的罗德里格斯角；σ1和σ2是相应的权重因子，一般根据实际数据情况调节；
其中tdc是一个三维向量，表示从摄像头到里程计位移矢量；
其中Rdc表示从摄像头到里程计的旋转关系；
其中表示第k个点p的x坐标、/>表示第k个点p的y坐标、/>表示第k个点p的z坐标、Pk为三维地图中第k个点，(ui，vi)表示第i帧图像对应的二维平面像素；
其中fx，fy，cx，cy是相机内参，经过非线性最优化过程迭代优化使得损失函数cost最小化，最后得到最优化的相机姿态Rci、Rcj，Tci、Tcj。
8.根据权利要求6所述的基于行程感知与视觉融合的定位系统，其特征在于，约束方式具体为：
假设在第i，j帧之间有若干三维地图点P(第k个记为Pk)，地图点在i(j)帧对应的二维平面像素是(ui，vi)，则视觉SLAM优化的代价函数是：
在视觉位姿优化中加入代价函数即行程数据获取模块对视觉数据获取模块的约束：
以公式(8)约束视觉数据获取模块获取数据，以起到改善定位精度和恢复尺度的效果；
其中Rcj表示第j时刻摄像头旋转关系、Rci表示第i时刻摄像头旋转关系、Tci表示相机第i时刻里程计的平移关系、Tcj表示第j时刻摄像头到里程计的平移关系；log运算是求旋转矩阵的罗德里格斯角；σ1和σ2是相应的权重因子，一般根据实际数据情况调节；
其中tdc是一个三维向量，表示从摄像头到里程计位移矢量；
其中Rdc表示从摄像头到里程计的旋转关系；
其中表示第k个点p的x坐标、/>表示第k个点p的y坐标、/>表示第k个点p的z坐标、Pk为三维地图中第k个点，(ui，vi)表示第i帧图像对应的二维平面像素；
其中fx，fy，cx，cy是相机内参，经过非线性最优化过程迭代优化使得损失函数cost最小化，最后得到最优化的相机姿态Rci、Rcj，Tci、Tcj。
9.一种移动终端，其特征在于：其可以是车载终端或手机移动终端，其执行上述权利要求1-8任一项所述基于行程感知与视觉融合的定位系统的车载终端或手机移动终端。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910795289.3A CN110458885B (zh) | 2019-08-27 | 2019-08-27 | 基于行程感知与视觉融合的定位系统和移动终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910795289.3A CN110458885B (zh) | 2019-08-27 | 2019-08-27 | 基于行程感知与视觉融合的定位系统和移动终端 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110458885A CN110458885A (zh) | 2019-11-15 |
| CN110458885B true CN110458885B (zh) | 2024-04-19 |
Family
ID=68489284
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910795289.3A Active CN110458885B (zh) | 2019-08-27 | 2019-08-27 | 基于行程感知与视觉融合的定位系统和移动终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110458885B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111595336B (zh) * | 2020-07-27 | 2020-10-27 | 北京云迹科技有限公司 | 一种机器人定位信息的确定方法及装置 |
| CN112476433B (zh) * | 2020-11-23 | 2023-08-04 | 深圳怪虫机器人有限公司 | 一种基于识别阵列边界的移动机器人定位方法 |
| CN114018284B (zh) * | 2021-10-13 | 2024-01-23 | 上海师范大学 | 一种基于视觉的轮速里程计校正方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103292804A (zh) * | 2013-05-27 | 2013-09-11 | 浙江大学 | 一种单目自然视觉路标辅助的移动机器人定位方法 |
| WO2017077261A1 (en) * | 2015-11-05 | 2017-05-11 | Quantum Vision Technologies Ltd | A monocular camera cognitive imaging system for a vehicle |
| CN109579844A (zh) * | 2018-12-04 | 2019-04-05 | 电子科技大学 | 定位方法及系统 |
| CN110018470A (zh) * | 2019-03-01 | 2019-07-16 | 北京纵目安驰智能科技有限公司 | 基于多传感器前融合的实例标注方法、模型、终端和存储介质 |
-
2019
- 2019-08-27 CN CN201910795289.3A patent/CN110458885B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103292804A (zh) * | 2013-05-27 | 2013-09-11 | 浙江大学 | 一种单目自然视觉路标辅助的移动机器人定位方法 |
| WO2017077261A1 (en) * | 2015-11-05 | 2017-05-11 | Quantum Vision Technologies Ltd | A monocular camera cognitive imaging system for a vehicle |
| CN109579844A (zh) * | 2018-12-04 | 2019-04-05 | 电子科技大学 | 定位方法及系统 |
| CN110018470A (zh) * | 2019-03-01 | 2019-07-16 | 北京纵目安驰智能科技有限公司 | 基于多传感器前融合的实例标注方法、模型、终端和存储介质 |
Non-Patent Citations (4)
| Title |
|---|
| 基于单目视觉与惯导融合的无人机位姿估计;熊敏君;卢惠民;熊丹;肖军浩;吕鸣;;计算机应用(第S2期);全文 * |
| 基于单目视觉的仓储物流机器人定位方法;张涛;马磊;梅玲玉;;计算机应用(第09期);全文 * |
| 基于曲率特征的自主车辆地图匹配定位方法;苏奎峰;邓志东;黄振;;机器人(第04期);全文 * |
| 基于点线特征的单目视觉同时定位与地图构建算法;王丹;黄鲁;李垚;;机器人(第03期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110458885A (zh) | 2019-11-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110411457B (zh) | 基于行程感知与视觉融合的定位方法、系统、终端和存储介质 | |
| US10788830B2 (en) | Systems and methods for determining a vehicle position | |
| JP6821712B2 (ja) | 自然光景中での統合センサの較正 | |
| CN107180215B (zh) | 基于库位和二维码的停车场自动建图与高精度定位方法 | |
| CN109631887B (zh) | 基于双目、加速度与陀螺仪的惯性导航高精度定位方法 | |
| CN109443348B (zh) | 一种基于环视视觉和惯导融合的地下车库库位跟踪方法 | |
| CN110207714B (zh) | 一种确定车辆位姿的方法、车载系统及车辆 | |
| JP2021508814A (ja) | ＬｉＤＡＲを用いた車両測位システム | |
| CN111862673B (zh) | 基于顶视图的停车场车辆自定位及地图构建方法 | |
| CN110458885B (zh) | 基于行程感知与视觉融合的定位系统和移动终端 | |
| CN113899375B (zh) | 车辆定位方法和装置、存储介质及电子设备 | |
| JP4978615B2 (ja) | 対象特定装置 | |
| JP2009053059A (ja) | 対象特定装置、対象特定方法および対象特定プログラム | |
| CN113580134B (zh) | 视觉定位方法、设备、机器人、存储介质及程序产品 | |
| CN108613675B (zh) | 低成本无人飞行器移动测量方法及系统 | |
| CN112136021A (zh) | 用于构建基于地标的高清地图的系统和方法 | |
| CN114638897B (zh) | 基于无重叠视域的多相机系统的初始化方法、系统及装置 | |
| Xian et al. | Fusing stereo camera and low-cost inertial measurement unit for autonomous navigation in a tightly-coupled approach | |
| CN112424568A (zh) | 构建高清地图的系统和方法 | |
| CN111833443A (zh) | 自主机器应用中的地标位置重建 | |
| JP7337617B2 (ja) | 推定装置、推定方法及びプログラム | |
| CN108322698B (zh) | 基于多摄像机和惯性测量单元融合的系统和方法 | |
| Jiang et al. | Precise vehicle ego-localization using feature matching of pavement images | |
| Wei | Multi-sources fusion based vehicle localization in urban environments under a loosely coupled probabilistic framework | |
| US20240200953A1 (en) | Vision based cooperative vehicle localization system and method for gps-denied environments |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| CB03 | Change of inventor or designer information |
Inventor after: Xie Yi Inventor after: Zhang Baichao Inventor after: Yu Xuan Inventor before: Song Yu Inventor before: Xie Yi Inventor before: Zhang Baichao Inventor before: Yu Xuan |
|
| CB03 | Change of inventor or designer information | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |