CN107421566A - 一种无人车多源传感器信息仿真平台 - Google Patents
一种无人车多源传感器信息仿真平台 Download PDFInfo
- Publication number
- CN107421566A CN107421566A CN201710739673.2A CN201710739673A CN107421566A CN 107421566 A CN107421566 A CN 107421566A CN 201710739673 A CN201710739673 A CN 201710739673A CN 107421566 A CN107421566 A CN 107421566A
- Authority
- CN
- China
- Prior art keywords
- mtd
- mrow
- msub
- mtr
- msubsup
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004088 simulation Methods 0.000 claims abstract description 46
- 238000005259 measurement Methods 0.000 claims abstract description 25
- 230000001133 acceleration Effects 0.000 claims abstract description 13
- 238000000034 method Methods 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000009795 derivation Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000005295 random walk Methods 0.000 claims description 5
- 230000002123 temporal effect Effects 0.000 claims description 2
- 238000004422 calculation algorithm Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 238000011160 research Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000013500 data storage Methods 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 238000007796 conventional method Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000452 restraining effect Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 241000282414 Homo sapiens Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 230000009194 climbing Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 239000005436 troposphere Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
- G01C25/005—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass initial alignment, calibration or starting-up of inertial devices
Landscapes
- Engineering & Computer Science (AREA)
- Manufacturing & Machinery (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Secondary Cells (AREA)
- Position Fixing By Use Of Radio Waves (AREA)
- Navigation (AREA)
Abstract
本发明一种无人车多源传感器信息仿真平台,包括B样条插值模块、运动轨迹生成模块、GPS测量值模拟器、IMU测量值模拟器、中频信号模拟器及车辆里程计模拟器;B样条插值模块,用于拟合频率较低的真实的无人车轨迹,得到任意设置频率的无人车轨迹;轨迹发生器,用于生成所需的无人车轨迹;GPS测量值模拟器,用于根据无人车轨迹,模拟出无人车的经纬高测量值;IMU测量值模拟器,用于根据无人车轨迹,模拟出无人车的加速度和角速度;卫星中频信号模拟器,用于根据无人车轨迹,生成4路中频信号;车辆里程计模拟器,用于根据无人车轨迹,模拟出车辆的轮速和航向角。本发明仿真平台包括多种传感器的模拟器,可以根据无人车的轨迹模拟出相应的数据。
Description
技术领域
本发明属于导航定位技术领域,具体涉及一种无人车多源传感器信息仿真平台,适用于无人车多模态组合导航算法的研究。
背景技术
无人驾驶车辆可替代人类完成车辆驾驶、野外探险、应急救援等各种“急难险重”任务,因此,近年来相关技术的研究在学术和工业界受到了极大关注。但目前无人车只能适应相对友好的外界环境,比如卫星信号良好的结构化道路等,而在城市峡谷、野外丛林等复杂环境下,仍然具有很大的挑战。为了保证无人车在复杂环境下的高可靠性、高智能性,搭载多传感器(GPS绝对位置、惯性测量单元的姿态信息、视觉传感器的图像或视频信息、车辆里程计的速度信息等)以实现多模态组合导航功能是目前较为可靠的方案,当前的研究也多数围绕此方案展开。
然而多传感器无人车硬件平台的搭建成本较高,因此如何获得较为“真实”全面的传感器数据对于多模态组合导航算法的开发至关重要。德国卡尔斯鲁厄理工学院和丰田美国技术研究院(Karlsruhe Institute of Technologyand Toyota TechnologicalInstitute,KITTI)数据集是目前广泛使用的无人车公开数据集平台,它提供了包括真值轨迹、实际场景图像以及激光点云在内的真实传感器数据[1]。但是受限于硬件平台和存储设备,惯性测量单元(Inertial measurement unit,IMU)测量加速度与角速度信息、原始GPS位置信息、GNSS卫星中频信号、车辆四轮轮速和方向盘转角信息等数据均无提供,导致GPS、IMU、视觉里程计(Visual Odometry,VO)以及车辆运动模型多个子系统间的深度交互辅助和信息融合算法的开发无法有效开展。而且KITTI提供的真值轨迹频率较低,仅为10Hz,使用常规方法无法仿真得到高频IMU测量值。针对上述问题,本发明首先在KITTI真值轨迹的基础上,通过B样条曲线插值得到连续光滑的真值轨迹;然后通过IMU仿真模型、GPS中频信号仿真模型以及车辆运动模型,得到包括IMU测量信息、GPS位置信息、GPS中频信号、车辆四轮轮速和方向盘转角在内的全部真值数据;最后通过建立精确的传感器误差模型,将各模型产生的噪声叠加于相应的真值数据中,保证数据的“真实性”,提高仿真置信度。另外,本发明同样支持轨迹生成和图像仿真功能,即独立于KITTI数据集,可根据需求任意设置仿真场景,增加了本发明使用的灵活性。
发明内容
本发明的目的是克服已有技术的不足,在KITTI数据集的基础上,结合B样条曲线插值算法、各类传感器模型以及传感器误差模型,提出了一种无人车多源传感器信息仿真平台。该仿真平台可以提供任意频率的真值轨迹以及仿真置信度较高的IMU数据、GPS位置数据、中频信号数据、车辆四轮轮速和方向盘转角数据。本发明对于开发多模型融合的组合导航算法具有重要意义。
本发明的目的是通过下述技术方案实现的。
一种无人车多源传感器信息仿真平台,该平台包括两种工作模型,模式1:基于真实的无人车轨迹作为输入,模式2:利用轨迹生成模块产生所需无人车轨迹,且所述无人车轨迹与无人车上相机的轨迹相同,其特征在于,该仿真平台包括B样条插值模块、运动轨迹生成模块、GPS测量值模拟器、IMU测量值模拟器、中频信号模拟器及车辆里程计模拟器;
所述B样条插值模块,在模式1时使用,用于拟合频率较低的真实的无人车轨迹,得到任意设置频率的无人车轨迹;
所述轨迹发生器,在模式2时使用,用于生成所需的无人车轨迹;
所述GPS测量值模拟器,用于根据所述无人车轨迹,模拟出无人车的经纬高测量值;
所述IMU测量值模拟器,用于根据所述无人车轨迹,模拟出无人车的加速度和角速度;
所述卫星中频信号模拟器,用于根据所述无人车轨迹,生成4路中频信号;
所述车辆里程计模拟器,用于根据无人车轨迹,模拟出车辆的轮速和航向角。
进一步地,本发明所述GPS模拟器模拟出无人车的经纬高测量值的过程为:
地球坐标系e和世界坐标系w的相对位姿为:
其中,
其中,N是基准椭球体的卯酉圆曲率半径,e为椭球偏心率,(λ0,L0,h0)为相机初始经纬高,(α0,χ0,η0)为相机初始横滚、俯仰、航向角;
利用式(4)将相机轨迹转换为其在地球坐标系下的轨迹,即:
设相机和GPS模拟器在无人车上相对位姿为:
其中,(w2,h2,-l2)为GPS模拟器在相机坐标系下的三维坐标;
最终GPS模拟器的表达式为:
式(7)中(λ,L,h)即为t时刻GPS模拟所模拟出的无人车经纬高测量值。
进一步地,本发明所述IMU模拟器模拟无人车的加速度和角速度过程为:
设IMU传感器和相机的相对位姿为:
其中,(-w1,h1,-l1)为IMU在相机坐标系下的三维坐标;
利用将t∈[ti,ti+1]时的IMU模拟器的连续位姿转换为t∈[ti,ti+1]时IMU坐标系s相对于0时刻IMU坐标系s的连续位姿:
对进行求导得到加速度和角速度
所述IMU模拟器的连续位姿基于平台上相机与IMU模拟器之间的相对位置关系,利用相机轨迹转换获得。
进一步地,本发明所述车辆里程计模拟器模拟的过程为:
设IMU坐标系和车辆后轴中点坐标系相对位姿为:
其中,(-l3,w1,h3)为车辆后轴中点在IMU坐标系下的三维坐标,则有:
对上式求导即有:即为车辆后轴中点的速度,所以:
车辆航向角角速率通过IMU模拟出的角速度来计算,车辆姿态角的微分方程为:
即为航向角角速率ω。
进一步地,本发明还包括IMU模拟器的输出加速度和角速度还包括噪声,具体输出yout如下:
其中,为白噪声,其协方差矩阵为:
其中,Qa_vrw,Qg_vrw分别为加速度计和陀螺的随机游走系数的平方;
设x初值的方差为:
STD=diag(abias_var gbias_var asacle_var gsacle_var abias_var gbias_var) (33)
其中,abias_var,gbias_var分别加速度计和陀螺的零偏重复性,asacle_var,gsacle_var分别为加速度计和陀螺的初始刻度方差,所以x初始值为:
进一步地,本发明还包括图像特征信息模拟器,在模式2时使用,用于根据无人车轨迹,获得相邻时刻采集图像得到的特征点关联集合。
本发明与现有技术相比优点在于:
(1)本发明仿真平台包括多种传感器的模拟器,可以根据无人车的轨迹模拟出相应的数据,克服了现有KITTI提供传感器数据不全面的缺点。
(2)本发明仿真平台包括B样条插值模块,可以拟合频率较低的真实的无人车轨迹,得到任意设置频率的无人车轨迹,解决了KITTI提供轨迹真值频率较低导致常规方法无法仿真得到高频传感器测量值的问题,本发明支持设置任意频率的传感器测量值。
(3)本发明仿真平台包括轨迹发生器和图像特征信息模拟器,兼具轨迹生成和图像仿真功能,不局限于KITTI提供的实车场景,可根据组合导航算法需求任意设置仿真场景;
(4)本发明建立了更加“真实”的传感器误差模型,提高了仿真数据的置信度。
附图说明
图1为本发明方法的整体框图;
图2为车辆模型辅助和约束方法具体实施的流程图;
图3为KITTI低频真值轨迹和通过B样条插值后得到的高频真值轨迹对比图;
图4为各类传感器的坐标定义,以及相互之间的位置关系图;
图5为仿真的GPS真值轨迹图。
图6为GPS中频信号模拟器原理图;
图7为本发明所用车辆转弯的几何关系图;
图8为仿真的图像特征点关联图;
图9为噪声加入前后卫星信号的对比图。
具体实施方式
下面结合附图和理论分析,对本发明进行详细描述。
本发明的一种无人车多源传感器信息仿真平台的结构如图1所示。本发明支持采用实际真值轨迹作为输入(模式1),也支持利用轨迹生成模块产生所需轨迹(模式2)。该平台主要包括B样条插值模块1、运动轨迹生成模块2、GPS测量值模拟器3、IMU测量值模拟器4、中频信号模拟器5、车辆里程计模拟器6、图像特征点模拟器7、GPS误差模型8、IMU误差模型9、卫星载噪比配置10、里程计误差模型11和时间对准、数据存储模块12。
B样条插值模块1是在输入为实际KITTI真值轨迹即模式1时,用于拟合频率较低的真值轨迹,从而得到可以任意设置频率的真值曲线。轨迹发生器2是在模式2(所有数据均采用仿真的方式)的情况下使用,可根据实际算法研究需求生成相应轨迹。然后基于真值轨迹,通过分析各类传感器模型,建立各类传感器模拟器,包括GPS测量值模拟器3、IMU测量值模拟器4、中频信号模拟器5、车辆里程计模拟器6、图像特征点模拟器7,从而得到理想的传感器测量值。其中,图像特征点模拟器7只在模式2的情况下使用,因为此时没有实际图像信息,所以利用真值轨迹仿真了VO位姿解算所需的图像特征点信息。之后,研究GPS误差模型8、IMU误差模型9、卫星载噪比配置模型10和里程计误差模型11,用于产生和实际情况类似的传感器噪声,并叠加于相应的理想测量值上,增加仿真数据的置信度。最后,利用时间对准、数据存储模块12得到时间对齐后的所有传感器信息,并进行存储,存储格式主要有文本格式.txt和基于ROS机制的.bag格式。
图2所示为本发明的具体实施过程:
步骤1.真值轨迹生成
利用KITTI提供的真值轨迹时,存在其频率较低导致常规方法无法仿真得到高频传感器测量值的问题。本发明采用B样条插值算法解决该问题,具体原理如下:
KITTI真值轨迹为带有时间戳的位姿矩阵其具体含义为i时刻相机坐标系ci相对于0时刻相机坐标系c0(也即世界坐标系w)的位姿变化矩阵,i=0,...,N-1。将带入B样条插值算法,B样条插值算法见现有技术Lovegrove S.Spline Fusion:Acontinuous-time representation for visual-inertial fusion with application torolling shutter cameras[J].Bulletin of Mathematical Biology,2013,74(8):1764.且考虑B样条曲线应具有三阶连续性质(需要求导得到角速度、加速度),本发明采用四次B样条函数。最终,在i时刻到i+1时刻内的连续位姿可用下式表示:
其中,是i+j-1时刻的六维李代数向量,代表i+j-1时刻相对于上一时刻i+j-2的平移、旋转向量;u为和连续时间t相关的中间变量,可用下式计算:
式中,ti,ti+1分别为i时刻,i+1时刻的时间。式(1)中B(u)为B样条基函数,计算方式写成矩阵形式如下:
最后,根据需求对B样条曲线(1)进行采样即可得到任意频率的轨迹真值,结果如图3所示。
当利用轨迹发生器生成轨迹时,主要是按照独立的函数模块产生理想的位置和姿态角,用以模拟车辆的加速、减速、转弯、爬坡、下降等一系列动作。为保持一致,其位置表示方式同KITTI一致,即ti时刻的位姿矩阵为
步骤2.各类传感器模拟器的建立
为了通过相机的轨迹真值Tc w得到其他传感器的测量值,首先需要明确各类传感器的坐标定义,以及相互之间的位置关系,详细设置如图4所示。进一步给定相机初始经纬高为(λ0,L0,h0),初始横滚、俯仰、航向角为(α0,χ0,η0),e为地球坐标系,n为北东地导航坐标系,s为IMU传感器坐标系。
i.建立GPS测量值模拟器
地球坐标系e和世界坐标系w的相对位姿为:
其中,
N是基准椭球体的卯酉圆曲率半径,e为椭球偏心率。
利用式(4)可以将相机轨迹转换为其在地球坐标系下的轨迹,即:
这里需要考虑相机和GPS在车上的安装位置并不重合,两者的相对位姿为:
其中(w2,h2,-l2)为GPS在相机坐标系下的三维坐标,如图4所示。
最终GPS模拟器的表达式为:
式7中(λ,L,h)即为t时刻GPS的理想经纬高测量值。最终结果如图5所示。
ii.建立IMU测量值模拟器
根据图4所示,IMU传感器和相机坐标系也不重合,其相对位姿为:
其中(-w1,h1,-l1)为IMU在相机坐标系下的三维坐标,如图4所示。因此,可利用将t∈[ti,ti+1]时的连续位姿转换为t∈[ti,ti+1]时s坐标系相对于0时刻s坐标系的连续位姿:
对进行求导可得到加速度和角速度信息,求导过程如下:
其中:j=0,1,2
最终,IMU传感器所得加速度角速度模拟器可用下式表示:
式中,为地球自转角速度,ge为地球重力加速度,为s和e的转换矩阵,可从步骤i中获得。
iii.建立卫星中频信号模拟器
基带处理的中频信号是将视野内所有卫星或者选星后锁定的最佳导航卫星的信号进行合成。中频信号仿真的数学模型即卫星中频信号模拟器为:
其中,Ac为信号振幅,Ci为第i颗星的C/A码,Di为第i颗星的数据码,tr为接收机接收时刻,tp为信号传播过程中除电离层外的时间延迟,δtiono为电离层延迟,ωIF为期望的中频值,ω1为卫星发射信号的频率。中频信号模拟的关键是计算信号的传输时间tp,获得tp后,即可得到在信号接收时刻tr的信号幅值和相位。
在式(14)的基础上,本发明采用的GPS中频信号模拟器如图6所示。主要模块包括星历产生、导航电文编码、传输时间计算、电流层和对流层延时时间模拟等。
首先根据实际的广播星历数据,外推出参考时刻的星历参数,并将星历数据编制为导航电文,同时根据奇偶校验算法和星历数据生成奇偶校验码,从而得到完整的导航电文;其次,按照卫星码相位分配表生成所有卫星的C/A码,码值“1”和“0”分别用“-1”和“1”来代替。然后需要根据接收机的位置及当前的信号接收时刻计算信号传输时间tp,以获得导航卫星的4路载波和C/A码。具体计算过程如下:
步骤2i中所得GPS位置为其中代表GPS在地心直角坐标系中的位置,该位置对应时间为接收机接收信号的时刻tr。
设发射时刻卫星在地心直角坐标系中的位置为[Xt Yt Zt]T,历经传输时间tp到达接收机后,由于地球的自转,地心直角坐标系旋转了所以在tr时刻地心坐标系下的卫星发射时刻位置为:
又有:
其中c为光速。通过式(15)和(16)可知,在已知[Xt Yt Zt]T和[x y z]T的情况下,需要通过不断迭代求取传输时间tp,直至最近两次计算的传输时间差小于一定的阈值即可。
最后,将卫星对应的C/A码、导航电文以及载波信号进行调制,即可生成4路理想的中频信号。
该部分内容为现有技术,因此进行上述简单描述。
iv.建立车辆里程计模拟器模拟器
考虑到当前的大多数车辆装有四通道ABS和方向盘转角传感器,可以提供四个轮速传感器和方向盘的转角信息,因此本发明通过车辆运动模型模拟当前大部分车辆的传感器配置情况,给出相应的测量值。具体过程如下:
根据阿克曼转向原理,可以得到四轮车辆转弯的几何关系如图7所示,并得到以下关系式:
其中,L为前后轮轮距,B为车辆轴距。T为采样时间,v1,v2,v3,v4分别对应图4所示四轮的轮速,δ为虚拟前轮转角,正比于方向盘传感器测得的转角;δL为左前轮转角,δR为右前轮转角,可由下式计算得到:
给定航向角角速率ω和车辆后轴中点速度v的理想值,即可得到四个轮速传感器和方向盘的转角信息的理想测量值。
通过式(10)可知IMU的速度为需要将其转化到车辆后轴中点。通过图4可知IMU坐标系和车辆后轴中点坐标系b系相对位姿为:
上式中,(-l3,w1,h3)为车辆后轴中点在IMU坐标系下的三维坐标,如图4所示。类似于式(10),有:
对上式求导即有:即为车辆后轴中点的速度,所以:
车辆航向角角速率通过IMU测量角速度来计算,车辆姿态角的微分方程为:
即为航向角角速率ω。
v.建立图像特征点信息模拟器
本发明在模式2的情况下没有真实图像信息,所以还需通过轨迹真值建立图像特征点信息模拟器,从而得到双目相机在相邻时刻采集图像得到的特征点关联集合。具体过程如下:
首先通过轨迹真值得到当前时刻ti与上一时刻ti-1的相对位姿变化
然后在当前时刻车体所在位置前方5m到300m,左右各150m以及上下各50m的区域内随机选取三维点[Xw Yw Zw],并利用相机透视成像原理分别将这些三维点投影到ti-1时刻图像帧和ti时刻图像帧:
其中ax,ay,u0,v0为相机内参,像素坐标(ui-1,vi-1),(ui,vi)即为ti-1和ti时刻的关联特征点。如果(ui-1,vi-1),(ui,vi)都落在设定的成像范围内,如采用KITTI图像尺寸1344像素×372像素,则将该对点(ui-1,vi-1),(ui,vi)加入特征关联集合中。最终结果如图8所示。
综上,建立了各类传感器模型,实现了对相应传感器理想测量值的仿真。
步骤3.传感器精确误差模型的建立
为了建立更加“真实”的传感器测量信息,提高仿真数据的置信度,需要建立各类传感器的误差模型,并将产生的噪声叠加于理想测量值中。
GPS测量值、四轮轮速、方向盘转角测量误差均可认为是零均值,方差为Q的高斯白噪声,所以最终输出的量测信息可分别用下式表示:
式中wi为白噪声,其对应的方差为Qi。Qi即为该环节需要根据实际需求设定的值。
i.IMU误差模型
IMU传感器的性能指标主要包括有零偏稳定性,随机游走以及刻度因子误差等。选取IMU加速度计测量误差、陀螺测量误差、加速度计刻度因子误差、陀螺刻度因子误差、加速度计开机漂移、陀螺开机漂移作为状态变量,建立18维IMU状态变量:
x=[xa_bias xg_bias xa_scale xg_scale xa_turn_on_bias xg_turn_on_bias]T (28)
xa_bias,xg_bias可建模为一阶马尔可夫过程,xa_scale,xg_scale可建模为随机游走,xa_turn_on_bias,xg_turn_on_bias可视为随机常数,因此其状态方程为:
其中,τa,τg分别为加速度计、陀螺的马尔可夫相关时间;η为白噪声,其协方差矩阵为:
其中Qa_bias,Qg_bias分别为加速度计和陀螺的零偏稳定性,Qa_scale,Qg_scale分别为加速度计和陀螺刻度因子方差。
最终建立IMU带有噪声的输出方程为:
其中为白噪声,其协方差矩阵为:
Qa_vrw,Qg_vrw分别为加速度计和陀螺的随机游走系数的平方。
通过式(29)和(31),只需要设置x的初值,就可通过不断的迭代计算各个时刻的输出,x初值的方差为:
STD=diag(abias_var gbias_var asacle_var gsacle_var abias_var gbias_var) (33)
其中abias_var,gbias_var分别加速度计和陀螺的零偏重复性,asacle_var,gsacle_var分别为加速度计和陀螺的初始刻度方差,所以x初始值为:
ii.卫星载噪比配置
本部分主要是在步骤2iii所得理想数字中频信号基础上叠加符合载噪比需求的噪声。实际环境中,由于不同的卫星视线仰角、遮蔽、噪声、其他通道信号干扰的影响,不同通道卫星信号的强弱是不同的。通常利用信号的载噪比C/N0作为GPS信号的强弱指标。
在噪声信号生成环节中,多颗卫星噪声的叠加可以当作整体噪声,通常将整体噪声定义为均值为零、方差为σ2的高斯白噪声。假设第i颗卫星载波信号的理想幅值为Ai,那么卫星载噪比配置需要确定信号的幅值Ai与噪声方差σ2和载噪比C/N0的函数关系,此关系可用下式表示:
由上式可知,在σ2取某一固定值后,就可按照第i颗卫星对应的载噪比(C/N0)i得到相应的载波幅值Ai。若所模拟的所有卫星具有相同的载噪比,也可将Ai固定,反推得到σ2,然后在信号中加入均值为0、方差为σ2的高斯白噪声。噪声加入前后卫星信号的对比如图9所示。
步骤4.时间对准和数据存储
时间对准具体操作是在每个传感器所测得的数据前增加统一的时间戳,用于算法研究时传感器的数据对齐。数据存储主要将所有的数据存入硬盘,存储格式主要有文本格式.txt和基于ROS机制的.bag格式,便于跨平台的算法研究。
本发明所述的一种车辆模型辅助和约束的低成本组合导航方法,在MEMS-IMU传感器的基础上,引入了四通道ABS传感器和车轮转角,并结合车辆模型显著提高了INS导航解算所需的角速率和比力的精度;其次,利用车辆模型以及城市环境车辆运行特性,对导航解算所得高度和速度进行辅助和约束;最后,在车辆静止情况下,利用零速修正进一步抑制INS导航解算的误差积累,从而在不增加成本的基础上使组合系统获得更高的精度。
本发明所述的一种无人车多源传感器信息仿真平台,是在KITTI真值轨迹的基础上,通过B样条曲线插值得到连续光滑的真值轨迹;然后通过IMU仿真模型、GPS中频信号仿真模型以及车辆运动模型,得到包括IMU测量信息、GPS位置信息、GPS中频信号、车辆四轮轮速和方向盘转角信息在内的全部真值数据;最后通过建立精确的传感器误差模型,将各模型产生的噪声叠加于相应的真值数据中,保证数据的“真实性”,提高仿真置信度。另外,本发明同样支持轨迹生成和图像仿真功能,即独立于KITTI数据集,可根据需求任意设置仿真场景,增加了本发明使用的灵活性
以上所述是本发明的优选实施方式,本发明说明书中未做进一步详细描述的内容属于本领域专业技术人员公知的现有技术。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (6)
1.一种无人车多源传感器信息仿真平台,该平台包括两种工作模型,模式1:基于真实的无人车轨迹作为输入,模式2:利用轨迹生成模块产生所需无人车轨迹,且所述无人车轨迹与无人车上相机的轨迹相同,其特征在于,该仿真平台包括B样条插值模块(1)、运动轨迹生成模块(2)、GPS测量值模拟器(3)、IMU测量值模拟器(4)、中频信号模拟器(5)及车辆里程计模拟器(6);
所述B样条插值模块(1),在模式1时使用,用于拟合频率较低的真实的无人车轨迹,得到任意设置频率的无人车轨迹;
所述轨迹发生器(2),在模式2时使用,用于生成所需的无人车轨迹;
所述GPS测量值模拟器(3),用于根据所述无人车轨迹,模拟出无人车的经纬高测量值;
所述IMU测量值模拟器(4),用于根据所述无人车轨迹,模拟出无人车的加速度和角速度;
所述卫星中频信号模拟器(5),用于根据所述无人车轨迹,生成4路中频信号;
所述车辆四轮轮速和方向盘转角模拟器(6),用于根据无人车轨迹,模拟出车辆的轮速和航向角。
2.根据权利要求1所述无人车多源传感器信息仿真平台,其特征在于,所述GPS模拟器模拟出无人车的经纬高测量值的过程为:
地球坐标系e和世界坐标系w的相对位姿为:
<mrow>
<msubsup>
<mi>T</mi>
<mi>w</mi>
<mi>e</mi>
</msubsup>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mrow>
<msubsup>
<mi>C</mi>
<msub>
<mi>n</mi>
<mn>0</mn>
</msub>
<mi>e</mi>
</msubsup>
<msubsup>
<mi>C</mi>
<mi>w</mi>
<msub>
<mi>n</mi>
<mn>0</mn>
</msub>
</msubsup>
</mrow>
</mtd>
<mtd>
<msubsup>
<mi>t</mi>
<mi>w</mi>
<mi>e</mi>
</msubsup>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>4</mn>
<mo>)</mo>
</mrow>
</mrow>
其中,
<mrow>
<msubsup>
<mi>C</mi>
<msub>
<mi>n</mi>
<mn>0</mn>
</msub>
<mi>e</mi>
</msubsup>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mrow>
<mo>-</mo>
<msub>
<mi>cos&lambda;</mi>
<mn>0</mn>
</msub>
<mi>sin</mi>
<mi> </mi>
<msub>
<mi>L</mi>
<mn>0</mn>
</msub>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>-</mo>
<msub>
<mi>sin&lambda;</mi>
<mn>0</mn>
</msub>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>-</mo>
<msub>
<mi>cos&lambda;</mi>
<mn>0</mn>
</msub>
<mi>cos</mi>
<mi> </mi>
<msub>
<mi>L</mi>
<mn>0</mn>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>-</mo>
<msub>
<mi>sin&lambda;</mi>
<mn>0</mn>
</msub>
<mi>sin</mi>
<mi> </mi>
<msub>
<mi>L</mi>
<mn>0</mn>
</msub>
</mrow>
</mtd>
<mtd>
<mrow>
<msub>
<mi>cos&lambda;</mi>
<mn>0</mn>
</msub>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>-</mo>
<msub>
<mi>sin&lambda;</mi>
<mn>0</mn>
</msub>
<mi>cos</mi>
<mi> </mi>
<msub>
<mi>L</mi>
<mn>0</mn>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mi>cos</mi>
<mi> </mi>
<msub>
<mi>L</mi>
<mn>0</mn>
</msub>
</mrow>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mrow>
<mo>-</mo>
<mi>sin</mi>
<mi> </mi>
<msub>
<mi>L</mi>
<mn>0</mn>
</msub>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
<mrow>
<msubsup>
<mi>C</mi>
<mi>w</mi>
<msub>
<mi>n</mi>
<mn>0</mn>
</msub>
</msubsup>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>cos&eta;</mi>
<mn>0</mn>
</msub>
<msub>
<mi>cos&chi;</mi>
<mn>0</mn>
</msub>
</mrow>
</mtd>
<mtd>
<mrow>
<msub>
<mi>cos&eta;</mi>
<mn>0</mn>
</msub>
<msub>
<mi>sin&chi;</mi>
<mn>0</mn>
</msub>
<msub>
<mi>sin&alpha;</mi>
<mn>0</mn>
</msub>
<mo>-</mo>
<msub>
<mi>sin&eta;</mi>
<mn>0</mn>
</msub>
<msub>
<mi>cos&alpha;</mi>
<mn>0</mn>
</msub>
</mrow>
</mtd>
<mtd>
<mrow>
<msub>
<mi>cos&eta;</mi>
<mn>0</mn>
</msub>
<msub>
<mi>sin&chi;</mi>
<mn>0</mn>
</msub>
<msub>
<mi>cos&alpha;</mi>
<mn>0</mn>
</msub>
<mo>+</mo>
<msub>
<mi>sin&eta;</mi>
<mn>0</mn>
</msub>
<msub>
<mi>sin&alpha;</mi>
<mn>0</mn>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>sin&eta;</mi>
<mn>0</mn>
</msub>
<msub>
<mi>cos&chi;</mi>
<mn>0</mn>
</msub>
</mrow>
</mtd>
<mtd>
<mrow>
<msub>
<mi>sin&eta;</mi>
<mn>0</mn>
</msub>
<msub>
<mi>sin&chi;</mi>
<mn>0</mn>
</msub>
<msub>
<mi>sin&alpha;</mi>
<mn>0</mn>
</msub>
<mo>+</mo>
<msub>
<mi>cos&eta;</mi>
<mn>0</mn>
</msub>
<msub>
<mi>cos&alpha;</mi>
<mn>0</mn>
</msub>
</mrow>
</mtd>
<mtd>
<mrow>
<msub>
<mi>sin&eta;</mi>
<mn>0</mn>
</msub>
<msub>
<mi>sin&chi;</mi>
<mn>0</mn>
</msub>
<msub>
<mi>cos&alpha;</mi>
<mn>0</mn>
</msub>
<mo>-</mo>
<msub>
<mi>cos&eta;</mi>
<mn>0</mn>
</msub>
<msub>
<mi>sin&alpha;</mi>
<mn>0</mn>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>-</mo>
<msub>
<mi>sin&chi;</mi>
<mn>0</mn>
</msub>
</mrow>
</mtd>
<mtd>
<mrow>
<msub>
<mi>cos&chi;</mi>
<mn>0</mn>
</msub>
<msub>
<mi>sin&alpha;</mi>
<mn>0</mn>
</msub>
</mrow>
</mtd>
<mtd>
<mrow>
<msub>
<mi>cos&chi;</mi>
<mn>0</mn>
</msub>
<msub>
<mi>cos&alpha;</mi>
<mn>0</mn>
</msub>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
<mrow>
<msubsup>
<mi>t</mi>
<mi>w</mi>
<mi>e</mi>
</msubsup>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mrow>
<mo>(</mo>
<mi>N</mi>
<mo>+</mo>
<msub>
<mi>h</mi>
<mn>0</mn>
</msub>
<mo>)</mo>
<mi>cos</mi>
<mi> </mi>
<msub>
<mi>L</mi>
<mn>0</mn>
</msub>
<msub>
<mi>cos&lambda;</mi>
<mn>0</mn>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>(</mo>
<mi>N</mi>
<mo>+</mo>
<msub>
<mi>h</mi>
<mn>0</mn>
</msub>
<mo>)</mo>
<mi>cos</mi>
<mi> </mi>
<msub>
<mi>L</mi>
<mn>0</mn>
</msub>
<msub>
<mi>sin&lambda;</mi>
<mn>0</mn>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>(</mo>
<mi>N</mi>
<mo>(</mo>
<mrow>
<mn>1</mn>
<mo>-</mo>
<msup>
<mi>e</mi>
<mn>2</mn>
</msup>
</mrow>
<mo>)</mo>
<mo>+</mo>
<mi>h</mi>
<mo>)</mo>
<mi>sin</mi>
<mi> </mi>
<msub>
<mi>L</mi>
<mn>0</mn>
</msub>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
其中,N是基准椭球体的卯酉圆曲率半径,e为椭球偏心率,(λ0,L0,h0)为相机初始经纬高,(α0,χ0,η0)为相机初始横滚、俯仰、航向角;
利用式(4)将相机轨迹转换为其在地球坐标系下的轨迹,即:
<mrow>
<msubsup>
<mi>T</mi>
<mi>c</mi>
<mi>e</mi>
</msubsup>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msubsup>
<mi>T</mi>
<mi>w</mi>
<mi>e</mi>
</msubsup>
<msubsup>
<mi>T</mi>
<mi>c</mi>
<mi>w</mi>
</msubsup>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>5</mn>
<mo>)</mo>
</mrow>
</mrow>
设相机和GPS模拟器在无人车上相对位姿为:
<mrow>
<msubsup>
<mi>T</mi>
<mrow>
<mi>G</mi>
<mi>P</mi>
<mi>S</mi>
</mrow>
<mi>c</mi>
</msubsup>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<msub>
<mi>w</mi>
<mn>2</mn>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<msub>
<mi>h</mi>
<mn>2</mn>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
<mtd>
<mrow>
<mo>-</mo>
<msub>
<mi>l</mi>
<mn>2</mn>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>6</mn>
<mo>)</mo>
</mrow>
</mrow>
其中,(w2,h2,-l2)为GPS模拟器在相机坐标系下的三维坐标;
最终GPS模拟器的表达式为:
<mrow>
<mtable>
<mtr>
<mtd>
<mrow>
<msubsup>
<mi>T</mi>
<mrow>
<mi>G</mi>
<mi>P</mi>
<mi>S</mi>
</mrow>
<mi>e</mi>
</msubsup>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msubsup>
<mi>T</mi>
<mi>c</mi>
<mi>e</mi>
</msubsup>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
<msubsup>
<mi>T</mi>
<mrow>
<mi>G</mi>
<mi>P</mi>
<mi>S</mi>
</mrow>
<mi>c</mi>
</msubsup>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msubsup>
<mi>C</mi>
<mrow>
<mi>G</mi>
<mi>P</mi>
<mi>S</mi>
</mrow>
<mi>e</mi>
</msubsup>
</mtd>
<mtd>
<msubsup>
<mi>t</mi>
<mrow>
<mi>G</mi>
<mi>P</mi>
<mi>S</mi>
</mrow>
<mi>e</mi>
</msubsup>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mrow>
<mo>-</mo>
<mi>cos</mi>
<mi>&lambda;</mi>
<mi>sin</mi>
<mi> </mi>
<mi>L</mi>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>-</mo>
<mi>sin</mi>
<mi>&lambda;</mi>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>-</mo>
<mi>cos</mi>
<mi>&lambda;</mi>
<mi>cos</mi>
<mi> </mi>
<mi>L</mi>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>(</mo>
<mi>N</mi>
<mo>+</mo>
<mi>h</mi>
<mo>)</mo>
<mi>cos</mi>
<mi> </mi>
<mi>L</mi>
<mi> </mi>
<mi>cos</mi>
<mi>&lambda;</mi>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>-</mo>
<mi>sin</mi>
<mi>&lambda;</mi>
<mi>sin</mi>
<mi> </mi>
<mi>L</mi>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>cos</mi>
<mi>&lambda;</mi>
</mrow>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mrow>
<mo>(</mo>
<mi>N</mi>
<mo>+</mo>
<mi>h</mi>
<mo>)</mo>
<mi>cos</mi>
<mi> </mi>
<mi>L</mi>
<mi> </mi>
<mi>sin</mi>
<mi>&lambda;</mi>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mi>cos</mi>
<mi> </mi>
<mi>L</mi>
</mrow>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mrow>
<mo>-</mo>
<mi>sin</mi>
<mi> </mi>
<mi>L</mi>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>(</mo>
<mi>N</mi>
<mo>(</mo>
<mrow>
<mn>1</mn>
<mo>-</mo>
<msup>
<mi>e</mi>
<mn>2</mn>
</msup>
</mrow>
<mo>)</mo>
<mo>+</mo>
<mi>h</mi>
<mo>)</mo>
<mi>sin</mi>
<mi> </mi>
<mi>L</mi>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
</mtd>
</mtr>
</mtable>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>7</mn>
<mo>)</mo>
</mrow>
</mrow>
式(7)中(λ,L,h)即为t时刻GPS模拟所模拟出的无人车经纬高测量值。
3.根据权利要求1所述无人车多源传感器信息仿真平台,其特征在于,所述IMU模拟器模拟无人车的加速度和角速度过程为:
设IMU传感器和相机的相对位姿为:
<mrow>
<msubsup>
<mi>T</mi>
<mi>s</mi>
<mi>c</mi>
</msubsup>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mrow>
<mo>-</mo>
<msub>
<mi>w</mi>
<mn>1</mn>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
<mtd>
<msub>
<mi>h</mi>
<mn>1</mn>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mrow>
<mo>-</mo>
<msub>
<mi>l</mi>
<mn>1</mn>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>8</mn>
<mo>)</mo>
</mrow>
</mrow>
其中,(-w1,h1,-l1)为IMU在相机坐标系下的三维坐标;
利用将t∈[ti,ti+1]时的IMU模拟器的连续位姿转换为t∈[ti,ti+1]时IMU坐标系s相对于0时刻IMU坐标系s的连续位姿:
<mrow>
<msubsup>
<mi>T</mi>
<mi>s</mi>
<msub>
<mi>s</mi>
<mn>0</mn>
</msub>
</msubsup>
<mrow>
<mo>(</mo>
<mi>u</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mrow>
<msubsup>
<mi>C</mi>
<mi>s</mi>
<msub>
<mi>s</mi>
<mn>0</mn>
</msub>
</msubsup>
<mrow>
<mo>(</mo>
<mi>u</mi>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
<mtd>
<mrow>
<msubsup>
<mi>t</mi>
<mi>s</mi>
<msub>
<mi>s</mi>
<mn>0</mn>
</msub>
</msubsup>
<mrow>
<mo>(</mo>
<mi>u</mi>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>=</mo>
<msup>
<mrow>
<mo>(</mo>
<msubsup>
<mi>T</mi>
<mi>s</mi>
<mi>c</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msup>
<msubsup>
<mi>T</mi>
<mi>c</mi>
<mi>w</mi>
</msubsup>
<mrow>
<mo>(</mo>
<mi>u</mi>
<mo>)</mo>
</mrow>
<msubsup>
<mi>T</mi>
<mi>s</mi>
<mi>c</mi>
</msubsup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>9</mn>
<mo>)</mo>
</mrow>
</mrow>
对进行求导得到加速度和角速度
所述IMU模拟器的连续位姿基于平台上相机与IMU模拟器之间的相对位置关系,利用相机轨迹转换获得。
4.根据权利要求1所述无人车多源传感器信息仿真平台,其特征在于,所述车辆四轮轮速和方向盘转角模拟器模拟的过程为:
设IMU坐标系和车辆后轴中点坐标系相对位姿为:
<mrow>
<msubsup>
<mi>T</mi>
<mi>b</mi>
<mi>s</mi>
</msubsup>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mrow>
<mo>-</mo>
<msub>
<mi>l</mi>
<mn>3</mn>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<msub>
<mi>w</mi>
<mn>1</mn>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
<mtd>
<msub>
<mi>h</mi>
<mn>3</mn>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>19</mn>
<mo>)</mo>
</mrow>
</mrow>
其中,(-l3,w1,h3)为车辆后轴中点在IMU坐标系下的三维坐标,则有:
<mrow>
<msubsup>
<mi>T</mi>
<mi>b</mi>
<msub>
<mi>b</mi>
<mn>0</mn>
</msub>
</msubsup>
<mrow>
<mo>(</mo>
<mi>u</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mrow>
<msubsup>
<mi>C</mi>
<mi>b</mi>
<msub>
<mi>b</mi>
<mn>0</mn>
</msub>
</msubsup>
<mrow>
<mo>(</mo>
<mi>u</mi>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
<mtd>
<mrow>
<msubsup>
<mi>t</mi>
<mi>b</mi>
<msub>
<mi>b</mi>
<mn>0</mn>
</msub>
</msubsup>
<mrow>
<mo>(</mo>
<mi>u</mi>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>=</mo>
<msup>
<mrow>
<mo>(</mo>
<msubsup>
<mi>T</mi>
<mi>b</mi>
<mi>s</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msup>
<msubsup>
<mi>T</mi>
<mi>s</mi>
<msub>
<mi>s</mi>
<mn>0</mn>
</msub>
</msubsup>
<mrow>
<mo>(</mo>
<mi>u</mi>
<mo>)</mo>
</mrow>
<msubsup>
<mi>T</mi>
<mi>b</mi>
<mi>s</mi>
</msubsup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>20</mn>
<mo>)</mo>
</mrow>
</mrow>
对上式求导即有:即为车辆后轴中点的速度,所以:
<mrow>
<mi>v</mi>
<mo>=</mo>
<msqrt>
<mrow>
<msup>
<mrow>
<mo>(</mo>
<msubsup>
<mi>v</mi>
<mi>x</mi>
<msub>
<mi>b</mi>
<mn>0</mn>
</msub>
</msubsup>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mrow>
<mo>(</mo>
<msubsup>
<mi>v</mi>
<mi>y</mi>
<msub>
<mi>b</mi>
<mn>0</mn>
</msub>
</msubsup>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mrow>
<mo>(</mo>
<msubsup>
<mi>v</mi>
<mi>z</mi>
<msub>
<mi>b</mi>
<mn>0</mn>
</msub>
</msubsup>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
</msqrt>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>21</mn>
<mo>)</mo>
</mrow>
</mrow>
车辆航向角角速率通过IMU模拟出的角速度来计算,车辆姿态角的微分方程为:
<mrow>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mover>
<mi>&alpha;</mi>
<mo>&CenterDot;</mo>
</mover>
</mtd>
</mtr>
<mtr>
<mtd>
<mover>
<mi>&chi;</mi>
<mo>&CenterDot;</mo>
</mover>
</mtd>
</mtr>
<mtr>
<mtd>
<mover>
<mi>&eta;</mi>
<mo>&CenterDot;</mo>
</mover>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
<mtd>
<mrow>
<mi>t</mi>
<mi>a</mi>
<mi>n</mi>
<mi>&chi;</mi>
<mi>s</mi>
<mi>i</mi>
<mi>n</mi>
<mi>&alpha;</mi>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>t</mi>
<mi>a</mi>
<mi>n</mi>
<mi>&chi;</mi>
<mi>c</mi>
<mi>o</mi>
<mi>s</mi>
<mi>&alpha;</mi>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mrow>
<mi>cos</mi>
<mi>&alpha;</mi>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>-</mo>
<mi>s</mi>
<mi>i</mi>
<mi>n</mi>
<mi>&alpha;</mi>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mrow>
<mo>-</mo>
<mi>sec</mi>
<mi>&chi;</mi>
<mi>s</mi>
<mi>i</mi>
<mi>n</mi>
<mi>&alpha;</mi>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>sec</mi>
<mi>&chi;</mi>
<mi>c</mi>
<mi>o</mi>
<mi>s</mi>
<mi>&alpha;</mi>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<msubsup>
<mi>&omega;</mi>
<mrow>
<mi>i</mi>
<mi>s</mi>
</mrow>
<mi>s</mi>
</msubsup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>22</mn>
<mo>)</mo>
</mrow>
</mrow>
即为航向角角速率ω。
5.根据权利要求1所述无人车多源传感器信息仿真平台,其特征在于,还包括IMU模拟器的输出加速度和角速度还包括噪声,具体输出yout如下:
其中,为白噪声,其协方差矩阵为:
<mrow>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msub>
<mi>Q</mi>
<mrow>
<mi>a</mi>
<mo>_</mo>
<mi>v</mi>
<mi>r</mi>
<mi>w</mi>
</mrow>
</msub>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<msub>
<mi>Q</mi>
<mrow>
<mi>g</mi>
<mo>_</mo>
<mi>v</mi>
<mi>r</mi>
<mi>w</mi>
</mrow>
</msub>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>32</mn>
<mo>)</mo>
</mrow>
</mrow>
其中,Qa_vrw,Qg_vrw分别为加速度计和陀螺的随机游走系数的平方;
设x初值的方差为:
STD=diag(abias_var gbias_var asacle_var gsacle_var abias_var gbias_var) (33)
其中,abias_var,gbias_var分别加速度计和陀螺的零偏重复性,asacle_var,gsacle_var分别为加速度计和陀螺的初始刻度方差,所以x初始值为:
<mrow>
<msub>
<mi>x</mi>
<mn>0</mn>
</msub>
<mo>=</mo>
<msqrt>
<mrow>
<mi>S</mi>
<mi>T</mi>
<mi>D</mi>
</mrow>
</msqrt>
<mo>&CenterDot;</mo>
<mi>r</mi>
<mi>a</mi>
<mi>n</mi>
<mi>d</mi>
<mrow>
<mo>(</mo>
<mn>18</mn>
<mo>,</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>34</mn>
<mo>)</mo>
</mrow>
<mo>.</mo>
</mrow>
6.根据权利要求1所述无人车多源传感器信息仿真平台,其特征在于,还包括图像特征信息模拟器,在模式2时使用,用于根据无人车轨迹,获得相邻时刻采集图像得到的特征点关联集合。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710739673.2A CN107421566B (zh) | 2017-08-25 | 2017-08-25 | 一种无人车多源传感器信息仿真平台 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710739673.2A CN107421566B (zh) | 2017-08-25 | 2017-08-25 | 一种无人车多源传感器信息仿真平台 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107421566A true CN107421566A (zh) | 2017-12-01 |
CN107421566B CN107421566B (zh) | 2020-08-11 |
Family
ID=60433952
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710739673.2A Active CN107421566B (zh) | 2017-08-25 | 2017-08-25 | 一种无人车多源传感器信息仿真平台 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107421566B (zh) |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108303980A (zh) * | 2018-01-16 | 2018-07-20 | 上海木爷机器人技术有限公司 | 基于机器人实现虚拟墙图层的系统及方法 |
CN108961337A (zh) * | 2018-06-15 | 2018-12-07 | 深圳地平线机器人科技有限公司 | 车载相机航向角标定方法和装置、电子设备以及车辆 |
CN110209169A (zh) * | 2019-06-12 | 2019-09-06 | 杭州迦智科技有限公司 | 一种可移动平台的控制方法、控制装置及可移动平台 |
CN111158028A (zh) * | 2019-12-27 | 2020-05-15 | 北京理工大学 | 一种基于最小二乘b样条近似的信号模拟方法和装置 |
CN111176298A (zh) * | 2020-01-21 | 2020-05-19 | 广州赛特智能科技有限公司 | 一种无人车轨迹录制与轨迹跟踪方法 |
CN111221334A (zh) * | 2020-01-17 | 2020-06-02 | 清华大学 | 一种用于自动驾驶汽车仿真的环境传感器模拟方法 |
CN111623767A (zh) * | 2020-04-10 | 2020-09-04 | 北京百度网讯科技有限公司 | Imu伪数据的生成方法、装置、电子设备及存储介质 |
CN112762933A (zh) * | 2021-04-07 | 2021-05-07 | 智道网联科技(北京)有限公司 | 基于神经网络模型的车辆定位方法及装置 |
CN112837816A (zh) * | 2021-02-09 | 2021-05-25 | 清华大学 | 生理状态预测方法、计算机装置及存储介质 |
CN112988669A (zh) * | 2021-04-30 | 2021-06-18 | 湖北亿咖通科技有限公司 | 多传感器数据文件的回放方法、电子设备及存储介质 |
CN113064193A (zh) * | 2021-03-25 | 2021-07-02 | 上海智能新能源汽车科创功能平台有限公司 | 一种基于车路云协同的组合定位系统 |
CN113137973A (zh) * | 2020-01-20 | 2021-07-20 | 北京初速度科技有限公司 | 一种图像语义特征点真值确定方法及装置 |
CN113237482A (zh) * | 2021-05-13 | 2021-08-10 | 东南大学 | 一种基于因子图的城市峡谷环境下车辆鲁棒定位方法 |
CN113434427A (zh) * | 2021-07-06 | 2021-09-24 | 和芯星通科技(北京)有限公司 | 一种实现测试验证的方法、装置、计算机存储介质及终端 |
CN113467464A (zh) * | 2021-07-17 | 2021-10-01 | 普达迪泰(天津)智能装备科技有限公司 | 一种用于无人车轨迹模拟测试的卫星定位运动轨迹方法 |
CN114019824A (zh) * | 2021-09-27 | 2022-02-08 | 北京控制工程研究所 | 基于Modelica的星球车移动过程仿真系统及构建方法 |
CN117606473A (zh) * | 2024-01-24 | 2024-02-27 | 电子科技大学 | 一种抑制高度和航向角误差累积的行人自主导航方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130338958A1 (en) * | 2012-06-14 | 2013-12-19 | Spirent Communications, Inc. | Hybrid location test system and method |
US20140139635A1 (en) * | 2012-09-17 | 2014-05-22 | Nec Laboratories America, Inc. | Real-time monocular structure from motion |
CN104713559A (zh) * | 2015-02-01 | 2015-06-17 | 西北工业大学 | 一种高精度sins模拟器的设计方法 |
CN205734875U (zh) * | 2016-01-21 | 2016-11-30 | 烟台拓伟智能科技股份有限公司 | 惯性导航式机器人示教设备 |
CN106840196A (zh) * | 2016-12-20 | 2017-06-13 | 南京航空航天大学 | 一种捷联惯性导航计算机测试系统及实现方法 |
RU2626755C1 (ru) * | 2016-07-18 | 2017-07-31 | Общество с ограниченной ответственностью "НАСТЭК" (ООО "НАСТЭК") | Устройство для определения положения объекта в пространстве |
CN107063299A (zh) * | 2016-12-15 | 2017-08-18 | 北京航空航天大学 | 一种用于数据复现的惯性/卫星组合导航演示验证系统 |
-
2017
- 2017-08-25 CN CN201710739673.2A patent/CN107421566B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130338958A1 (en) * | 2012-06-14 | 2013-12-19 | Spirent Communications, Inc. | Hybrid location test system and method |
US20140139635A1 (en) * | 2012-09-17 | 2014-05-22 | Nec Laboratories America, Inc. | Real-time monocular structure from motion |
CN104713559A (zh) * | 2015-02-01 | 2015-06-17 | 西北工业大学 | 一种高精度sins模拟器的设计方法 |
CN205734875U (zh) * | 2016-01-21 | 2016-11-30 | 烟台拓伟智能科技股份有限公司 | 惯性导航式机器人示教设备 |
RU2626755C1 (ru) * | 2016-07-18 | 2017-07-31 | Общество с ограниченной ответственностью "НАСТЭК" (ООО "НАСТЭК") | Устройство для определения положения объекта в пространстве |
CN107063299A (zh) * | 2016-12-15 | 2017-08-18 | 北京航空航天大学 | 一种用于数据复现的惯性/卫星组合导航演示验证系统 |
CN106840196A (zh) * | 2016-12-20 | 2017-06-13 | 南京航空航天大学 | 一种捷联惯性导航计算机测试系统及实现方法 |
Cited By (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108303980A (zh) * | 2018-01-16 | 2018-07-20 | 上海木爷机器人技术有限公司 | 基于机器人实现虚拟墙图层的系统及方法 |
CN108961337A (zh) * | 2018-06-15 | 2018-12-07 | 深圳地平线机器人科技有限公司 | 车载相机航向角标定方法和装置、电子设备以及车辆 |
CN108961337B (zh) * | 2018-06-15 | 2020-11-24 | 深圳地平线机器人科技有限公司 | 车载相机航向角标定方法和装置、电子设备以及车辆 |
CN110209169A (zh) * | 2019-06-12 | 2019-09-06 | 杭州迦智科技有限公司 | 一种可移动平台的控制方法、控制装置及可移动平台 |
CN111158028A (zh) * | 2019-12-27 | 2020-05-15 | 北京理工大学 | 一种基于最小二乘b样条近似的信号模拟方法和装置 |
CN111158028B (zh) * | 2019-12-27 | 2022-04-15 | 北京理工大学 | 一种基于最小二乘b样条近似的信号模拟方法和装置 |
CN111221334A (zh) * | 2020-01-17 | 2020-06-02 | 清华大学 | 一种用于自动驾驶汽车仿真的环境传感器模拟方法 |
CN113137973A (zh) * | 2020-01-20 | 2021-07-20 | 北京初速度科技有限公司 | 一种图像语义特征点真值确定方法及装置 |
CN111176298A (zh) * | 2020-01-21 | 2020-05-19 | 广州赛特智能科技有限公司 | 一种无人车轨迹录制与轨迹跟踪方法 |
CN111176298B (zh) * | 2020-01-21 | 2023-04-07 | 广州赛特智能科技有限公司 | 一种无人车轨迹录制与轨迹跟踪方法 |
CN111623767A (zh) * | 2020-04-10 | 2020-09-04 | 北京百度网讯科技有限公司 | Imu伪数据的生成方法、装置、电子设备及存储介质 |
CN111623767B (zh) * | 2020-04-10 | 2022-08-23 | 北京百度网讯科技有限公司 | 用于定位的imu伪数据的生成方法、装置、电子设备及介质 |
CN112837816A (zh) * | 2021-02-09 | 2021-05-25 | 清华大学 | 生理状态预测方法、计算机装置及存储介质 |
CN113064193A (zh) * | 2021-03-25 | 2021-07-02 | 上海智能新能源汽车科创功能平台有限公司 | 一种基于车路云协同的组合定位系统 |
CN112762933A (zh) * | 2021-04-07 | 2021-05-07 | 智道网联科技(北京)有限公司 | 基于神经网络模型的车辆定位方法及装置 |
CN112988669A (zh) * | 2021-04-30 | 2021-06-18 | 湖北亿咖通科技有限公司 | 多传感器数据文件的回放方法、电子设备及存储介质 |
CN113237482B (zh) * | 2021-05-13 | 2022-05-13 | 东南大学 | 一种基于因子图的城市峡谷环境下车辆鲁棒定位方法 |
CN113237482A (zh) * | 2021-05-13 | 2021-08-10 | 东南大学 | 一种基于因子图的城市峡谷环境下车辆鲁棒定位方法 |
CN113434427A (zh) * | 2021-07-06 | 2021-09-24 | 和芯星通科技(北京)有限公司 | 一种实现测试验证的方法、装置、计算机存储介质及终端 |
CN113467464A (zh) * | 2021-07-17 | 2021-10-01 | 普达迪泰(天津)智能装备科技有限公司 | 一种用于无人车轨迹模拟测试的卫星定位运动轨迹方法 |
CN114019824A (zh) * | 2021-09-27 | 2022-02-08 | 北京控制工程研究所 | 基于Modelica的星球车移动过程仿真系统及构建方法 |
CN114019824B (zh) * | 2021-09-27 | 2024-03-15 | 北京控制工程研究所 | 基于Modelica的星球车移动过程仿真系统及构建方法 |
CN117606473A (zh) * | 2024-01-24 | 2024-02-27 | 电子科技大学 | 一种抑制高度和航向角误差累积的行人自主导航方法 |
CN117606473B (zh) * | 2024-01-24 | 2024-05-10 | 电子科技大学 | 一种抑制高度和航向角误差累积的行人自主导航方法 |
Also Published As
Publication number | Publication date |
---|---|
CN107421566B (zh) | 2020-08-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107421566B (zh) | 一种无人车多源传感器信息仿真平台 | |
US12092740B2 (en) | Positioning method and device based on multi-sensor fusion | |
Georgy et al. | Modeling the stochastic drift of a MEMS-based gyroscope in gyro/odometer/GPS integrated navigation | |
CN103743414B (zh) | 一种里程计辅助车载捷联惯导系统行进间初始对准方法 | |
CN104316059B (zh) | 由里程计获得车辆经纬度的航位推算导航定位方法及系统 | |
CN104713555A (zh) | 应用全天域中性点辅助定向的车辆自主导航方法 | |
CN102508954A (zh) | Gps/sins组合导航全数字仿真方法及装置 | |
CN103454662B (zh) | 一种基于ckf的sins/北斗/dvl组合对准方法 | |
Gao et al. | An integrated land vehicle navigation system based on context awareness | |
CN103791918A (zh) | 一种舰船捷联惯导系统极区动基座对准方法 | |
Iqbal et al. | Experimental results on an integrated GPS and multisensor system for land vehicle positioning | |
CN114690229A (zh) | 一种融合gps的移动机器人视觉惯性导航方法 | |
Chiang et al. | Multifusion schemes of INS/GNSS/GCPs/V-SLAM applied using data from smartphone sensors for land vehicular navigation applications | |
Guan et al. | Multi-sensor fusion vehicle positioning based on Kalman Filter | |
CN101943582A (zh) | 基于ccd星敏感器与加速度计的惯性导航定位方法 | |
CN103616026A (zh) | 一种基于h∞滤波的auv操纵模型辅助捷联惯导组合导航方法 | |
Qian et al. | Novel integration strategy for GNSS-aided inertial integrated navigation | |
Farroni et al. | A comparison among different methods to estimate vehicle sideslip angle | |
Chen et al. | An integrated GNSS/INS/DR positioning strategy considering nonholonomic constraints for intelligent vehicle | |
Bak et al. | Multi-sensor localization-visual odometry as a low cost proprioceptive sensor | |
Islam et al. | Implementation methodology of embedded land vehicle positioning using an integrated GPS and multi sensor system | |
Liu | Vision sensor aided navigation for ground vehicle applications | |
Huang et al. | Wheel odometry aided visual-inertial odometry for land vehicle navigation in winter urban environments | |
Maklouf et al. | Trajectory Tracking, Simulation and Shaping of Moving Land Vehicle Using MATLAB, INS and GPS | |
Salmon | An experimental exploration of low-cost sensor and vehicle model solutions for precision ground vehicle navigation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |