CN110244715A - 一种基于超宽带技术的多移动机器人高精度协同跟踪方法 - Google Patents

一种基于超宽带技术的多移动机器人高精度协同跟踪方法 Download PDF

Info

Publication number
CN110244715A
CN110244715A CN201910434851.XA CN201910434851A CN110244715A CN 110244715 A CN110244715 A CN 110244715A CN 201910434851 A CN201910434851 A CN 201910434851A CN 110244715 A CN110244715 A CN 110244715A
Authority
CN
China
Prior art keywords
probability
robot
distance
nlos
sensor model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910434851.XA
Other languages
English (en)
Other versions
CN110244715B (zh
Inventor
辛菁
刘丁
高凯源
延波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Technology
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN201910434851.XA priority Critical patent/CN110244715B/zh
Publication of CN110244715A publication Critical patent/CN110244715A/zh
Application granted granted Critical
Publication of CN110244715B publication Critical patent/CN110244715B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0259—Control of position or course in two dimensions specially adapted to land vehicles using magnetic or electromagnetic means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle

Abstract

一种基于超宽带技术的多移动机器人高精度协同跟踪方法，步骤如下：在ROS下搭建多移动机器人协同跟踪实验平台、利用超宽带传感器建立多节点间测距网络，同时获得机器人与机器人，机器人与锚点之间的距离信息、提出一种基于贝叶斯滤波的超宽带测距误差削弱算法，对获得的测距值的LOS和NLOS误差进行有效削弱，还原距离真值、采用协同跟踪算法，基于Gibbs采样的协同粒子滤波算法对多个移动机器人的位置信息进行估计、采用OptiTrack运动捕获系统获得多个机器人相应运动的真实轨迹，对协同跟踪算法进行评价；能对复杂环境中LOS和NLOS误差进行有效削弱，还原距离真实，并准确的定出每个机器人在任意时刻的位置信息，实现多机器人协同跟踪。

Description

一种基于超宽带技术的多移动机器人高精度协同跟踪方法
技术领域
本发明属于多移动机器人自主导航技术领域，具体涉及一种基于超宽带技术的多移动机器人高精度协同跟踪方法。
背景技术
自主导航是移动机器人利用自身携带的传感器(里程计)和外部传感器(视觉)在无人参与的情况下感知周围环境和自身状态，实现在有障碍物的环境中移向目标的运动，这是机器人自主运动的基础。机器人自主运动能力是机器人智能水平高低的重要指标，先进的导航技术决定着其能否更好的为人类提供服务。因此，在面临复杂变化的环境时，只有设计出有效的自主导航系统，才能保证移动机器人有效完成任务。而跟踪定位是机器人导航领域的一项关键性技术，也是机器人进行其他行为决策的前提。在多机器人系统中，每个机器人只有确定好自己与同伴的位置，才能有效进行战术协同与配合，提高执行任务的效率与安全性。例如在京东与阿里巴巴的无人仓储与分拣中心，多个物流机器人必须实时获取自己与同伴的位置信息以决策自己的行为，从而无碰撞的从起始点到目标点，完成分拣任务。因此跟踪定位对多机器人系统具有重要的实际意义。
协同是多机器人系统的一大特征，近几年，在多机器人自主导航领域中，协同跟踪问题成为了一大热点与难点。多机器人协同跟踪是指多机器人群利用相互之间的观测信息，在未知环境中互为路标(锚点)，并通过信息交换，共享各个机器人获得的自身和环境测量信息，得到比单机器人定位更精确的位姿估计。国内外专家学者在多机器人协同跟踪方面已经做了很多理论研究，但大多数都是基于参数的方法，即将噪声视为高斯模型，并且应用于真实场景下的很少。
发明内容
为克服上述现有技术的不足，本发明的目的在于提供一种基于超宽带技术的多移动机器人高精度协同跟踪方法，估计出多个机器人在任意时刻的精确位置信息，解决了复杂场景下多机器人系统跟踪定位难的技术问题，并将其应用在真实场景下具有重要的意义。
为实现上述目的，本发明采用的技术方案是：一种基于超宽带技术的多移动机器人高精度协同跟踪方法，包括以下步骤：
步骤1，在机器人操作系统ROS(Robot Operating system)下搭建多移动机器人协同跟踪实验平台；
步骤2，利用超宽带传感器建立多节点间测距网络，同时获得机器人与机器人，机器人与锚点之间的距离信息，距离信息包括到达时间、测距值和接收信号强度；
步骤3，采用基于贝叶斯滤波的超宽带测距误差削弱算法，对步骤2中获得的测距值的LOS和NLOS误差进行有效削弱，还原距离真值；
步骤4，采用协同跟踪算法，即基于Gibbs采样的协同粒子滤波算法对多个移动机器人的位置信息进行估计；
步骤5，采用OptiTrack运动捕获系统获得多个机器人相应运动的真实轨迹，对协同跟踪算法进行评价。
所述的步骤1，具体做法是：
在机器人操作系统ROS下搭建多移动机器人协同跟踪实验平台，即利用主控机远程控制多个移动机器人随机运动，机器人在运动过程中能够有效避开环境中的所有静态以及随机出现的动态障碍物；当机器人检测到动态障碍物时，对局部路径进行修改，从而有效避开动态障碍物，继续向目标位置运动；最终多个机器人之间相互配合，分别到达各自的目标位置；实验平台的搭建主要包括场景2D栅格地图构建和路径规划两部分。
所述的步骤3，具体做法是：
步骤3.1，在各种传播和障碍物材质下采集大量数据，包括测量距离zd和接收信号强度zrss，建立概率传感器模型RSS和TOA；
步骤3.2，在贝叶斯滤波框架下利用概率传感器模型RSS对障碍物材质进行识别，估计出测量距离zd在任意传播下所测量得到的概率；
步骤3.3，结合概率传感器模型TOA获得距离概率密度函数，通过求取期望即可得到测距误差削弱后的距离估计值。
所述的步骤3.1中，概率传感器建模过程如下：
为了建立UWB传感器模型，在LOS和NLOS情况下，采集大量数据，包括：到达时间zt，测量距离zd和接收信号强度zrss；NLOS情况包括木板障碍物NLOSW和金属障碍物NLOSM；采集建模数据的原则为：通信节点间真实距离为d∈{d1,d2,...,dNd}时，Nd为所采集建模数据的组数，在每一真实距离下采集大量数据，最终得到Nd组测量数据，建立TOA和RSS概率传感器模型；
建立概率传感器模型RSS：
概率传感器模型RSS可表示为P(zrss|zd,s)，其中s∈{LOS,NLOSW,NLOSM}，表示传播和障碍物材质属性，分别代表无障碍物、木板障碍物和金属障碍物，对应于室内环境中比较经典的三种情况，即无NLOS效应、微弱NOLS效应、较强NLOS效应，zrss表示接收信号强度，zd表示利用TOA方法得到的测量距离；
首先，以横轴为测量距离，纵轴为接收信号的强度，将坐标系按一定大小范围划成大小相同的格子，其中，横轴被换分成了Nzd个等范围区间，纵轴被划分成了zzrss个等范围区间；其次，将采集到的每对测量值投入到相应格子中，每对测量值包括测量距离值与接收信号强度，格子里的数值加1；最终，每个格子里的数除以每列测量数据总数就可以得到概率传感器模型RSS，此模型可以用Nzrss×Nzd大小的概率矩阵和概率分布图来表示；
建立概率传感器模型TOA：
TOA模型可表示为P(zd|d,s)，其中s∈{LOS,NLOSW,NLOSM}，d表示两个通信节点之间的真实欧式距离，zd表示利用TOA方法得到的测量距离；
与概率传感器模型RSS的建模过程类似，首先，以横轴为真实距离，纵轴为测量距离，将坐标系按一定大小范围划成大小相同的格子，其中横轴被划分成了Nd个等范围区间，纵轴被划分成了Nzd个等范围区间；其次，将采集到的测量距离值投到相应的格子里，格子里数值加1；最终，每个格子里的数除以每列数据总数就得到概率传感器模型TOA，此模型可以用Nzd×Nd大小的概率矩阵和概率分布图来表示。
所述的步骤3.2，具体做法是：在贝叶斯滤波框架下利用所建立的概率传感器模型RSS，对通信节点之间的障碍物属性进行识别，在此基础上结合概率传感器模型TOA模型对UWB测距误差进行削弱，得到准确的测距估计值；
1)预测：
其中，P(st|st-1)是t-1时刻到t时刻的状态转移函数，是从初始时刻到t-1时刻的测量数据集，P(st-1|Zt-1)是t-1时刻的后验状态，P(st|Zt-1)是t时刻的预测状态；状态s的转移遵循马尔科夫过程；
先验状态P(st-1|Zt-1)可被分解为：
P(st-1|Zt-1)＝[P(st-1＝LOS|Zt-1)P(st-1＝NLOSW|Zt-1)P(st-1＝NLOSM|Zt-1)]T (2)
定义状态转移函数P(st|st-1)下一时刻维持上一时刻状态的概率为α(0≤α≤1)，而转移到其他状态的概率是等几率的；例如本发明中上一时刻状态转移到其他两种状态下的概率都为(1-α)/2；
因此，t时刻的预测状态P(st|Zt-1)可别表示为：
假设每一时刻维持当前状态s以及转换到其他两种状态的概率值保持不变，这是因为状态转移函数与测距节点的位置以及其他状态信息是相互独立的，因此不需要环境或障碍物布局作为先验信息；
2)更新：
给定t时刻的测量数据，包括测量距离和接收信号强度利用所建立的概率传感器模型可以获得距离似然函数，如式(4)所示：
其中，和是利用RSS传感器模型和TOA传感器模型来获得；
利用距离似然函数对贝叶斯滤波进行更新，如式(5)所示：
通过计算从式(5)中可以进一步提取出后验状态P(st|Zt)，如式(6)所示：
由式(6)可知边缘概率PLOS＝P(st＝LOS|Zt)，和描述了两个UWB通信节点之间的障碍物材质情况，即测量数据在各种传播和障碍物材质属性下的概率；该概率值也将作为下一时刻贝叶斯滤波的先验状态，对下一时刻的障碍物材质进行识别。
所述的步骤3.3，具体做法是：在贝叶斯滤波框架下对障碍物材质进行识别之后，结合概率传感器模型TOA可对UWB测距误差进行削弱，
对状态st进行边缘化之后可以求得在各种传播和障碍物材质下的测量距离在第i个真实距离下的概率：
最终，通过归一化处理求取期望即可得到精确的距离估计值：
式中，di为第i个真实距离，Pd(i)为测量距离在第i个真实距离下的概率值。
对UWB测距误差有效削弱之后，将得到的精确距离估计值融合到协同跟踪算法中，提高多机器人定位精度。
所述的步骤4，具体做法是：
多机器人系统具有非线性、非高斯特性，利用基于非参数的粒子滤波算法进行状态估计；但粒子滤波算法应用到多机器人系统中时，系统的状态空间维数会随着机器人数的增加呈指数形式增加，系统会出现维数灾难的情况，从而导致联合后验概率密度函数太复杂以至于不能直接采样，而基于条件分布的Gibbs采样只考虑单变量的分布，其他变量的分布均为常数，具有降维的目的。
本发明将基于条件分布的Gibbs采样与粒子滤波算法相结合，设计出基于Gibbs采样的协同粒子滤波算法来对多个机器人进行跟踪，大大提高了系统的实用性与准确度。
所述的步骤5，具体做法是：
在多机器人协同跟踪系统中，将获得的机器人与机器人、机器人与锚点之间的精确距离信息融合到协同跟踪算法中，定出每个机器人在任意时刻的位置信息，为了对协同跟踪结果进行评价，本发明在OptiTrack运动捕获系统下获得每个机器人相应运动的真实轨迹。
本发明的有益效果是：
由于本发明采用超宽带(UWB)技术，所以具有测距精度高、安全性好、低功耗、抗多径能力强、数据传输率高和穿透力强的优势，
由于本发明对UWB测距误差有效削弱之后，将得到的精确距离估计值融合到协同跟踪算法中，所以可大大地提高多机器人定位精度。
由于本发明将基于条件分布的Gibbs采样与粒子滤波算法相结合，设计出基于Gibbs采样的协同粒子滤波算法来对多个机器人进行跟踪，所以可大大提高系统的实用性与准确度。
本发明由于采用了利用基于非参数的粒子滤波算法进行状态估计，粒子滤波算法应用到多机器人系统中时，系统的状态空间维数会随着机器人数的增加呈指数形式增加，系统会出现维数灾难的情况，从而导致联合后验概率密度函数太复杂以至于不能直接采样，而基于条件分布的Gibbs采样只考虑单变量的分布，其他变量的分布均为常数，具有降维的特点。
本发明通过比较估计轨迹与真实轨迹，从而验证所提出的基于超宽带(UWB)技术的多移动机器人协同跟踪方法在真实场景下的有效性和准确性。
本发明针对复杂环境中多机器人系统跟踪定位难的问题，采用了基于贝叶斯滤波的测距误差削弱算法和基于Gibbs采样的协同粒子滤波算法，能够对复杂环境中LOS和NLOS误差进行有效削弱，还原距离真实，并准确的定出每个机器人在任意时刻的位置信息，实现多机器人协同跟踪。
附图说明
图1是基于超宽带(UWB)技术的多移动机器人协同跟踪系统总体框图。
图2是多移动机器人协同跟踪实验平台示意图。
图3是障碍物材质识别结果。
图4是LOS、NLOSW和NLOSM下UWB测距误差削弱结果。
图5是本发明所提测距误差削弱算法与Deterministic ID方法实验结果对比图。
图6(a)是基于超宽带(UWB)技术的多移动机器人协同跟踪实验的初始位置图。
图6(b)是基于超宽带(UWB)技术的多移动机器人协同跟踪实验的中间位置图。
图6(c)是基于超宽带(UWB)技术的多移动机器人协同跟踪实验的目标位置图。
图7是多移动机器人协同跟踪实验结果。
图8是OptiTrack运动捕获系统照片。
图9为本发明的流程图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明：
本发明提供了一种基于超宽带(UWB)技术的多移动机器人协同跟踪方法，超宽带的英文简称为UWB。基于超宽带(UWB)技术的多移动机器人协同跟踪系统总体框图如图1所示，首先，在已知位置放置3个支架，支架上分别安装UWB锚点，在3个机器人上分别安装UWB标签，UWB锚点高度与标签高度保持一致；接着利用主控机远程控制3个移动机器人从起始点运动到目标位置，避开环境中所有静态以及随机出现的动态障碍物，机器人在运动过程中利用UWB传感器实时获得机器人与机器人，机器人与锚点之间的距离信息；然后，将获得的距离信息代入基于贝叶斯滤波的UWB测距误差削弱算法中，对LOS和NLOS误差进行削弱，还原距离真值，最终，将削弱后得到的距离估计值融合到协同跟踪算法中，估计出每个机器人在任意时刻的位置信息。
参见图9，具体按照以下步骤实施：
步骤1，在机器人操作系统ROS(Robot Operating system)下搭建多移动机器人协同跟踪实验平台；如图2所示，在3个已知位置分别放置3个支架，每个支架上安装锚点，利用主控机远程控制3个移动机器人随机运动(即1号机器人、2号机器人、3号机器人)，机器人在运动过程中能够有效避开环境中的所有静态以及随机出现的动态障碍物；当机器人检测到动态障碍物时，对局部路径进行修改，从而有效避开动态障碍物，继续向目标位置运动。最终多个机器人之间相互配合，分别到达各自的目标位置；实验平台的搭建主要包括场景2D栅格地图构建和路径规划两部分。
步骤2，利用超宽带(UWB)传感器建立多节点测距网络，来同时获得机器人与机器人，机器人与锚点之间的距离信息，距离信息包括到达时间、测距值和接收信号强度；
步骤3，采用基于贝叶斯滤波的超宽带(UWB)测距误差削弱算法，对步骤2中获得的测距值(步骤2中获得的距离信息包括：到达时间、测距值和接收信号强度，将测距值和接收信号强度代入测距误差削弱算法中来对测距值的LOS和NLOS误差进行削弱)的LOS和NLOS误差进行有效削弱，还原距离真值；还可以对障碍物的材质进行准确识别；
所述的步骤3，具体做法是：
步骤3.1，在各种传播和障碍物材质下采集大量数据，包括测量距离zd和接收信号强度zrss，建立概率传感器模型RSS和TOA；
所述的步骤3.1中，概率传感器建模过程如下：
建立UWB传感器模型，在LOS和NLOS情况下，采集大量数据，包括：到达时间zt，测量距离zd和接收信号强度zrss；本文NLOS情况包括木板障碍物NLOSW和金属障碍物NLOSM；采集建模数据的原则为：通信节点间真实距离为d∈{d1,d2,...,dNd}时，Nd为所采集建模数据的组数，在每一真实距离下采集大量数据，最终得到Nd组测量数据，分别在LOS、NLOSW和NLOSM场景下采集了132651、196063和200659组数据来建立概率传感器模型TOA和RSS；
建立概率传感器模型RSS模型：
概率传感器模型RSS可表示为P(zrss|zd,s)，其中s∈{LOS,NLOSW,NLOSM}，表示传播和障碍物材质属性，分别代表无障碍物、木板障碍物和金属障碍物，对应于室内环境中比较经典的三种情况，即无NLOS效应、微弱NOLS效应、较强NLOS效应，zrss表示接收信号强度，zd表示利用TOA方法得到的测量距离；
首先，以横轴为测量距离，纵轴为接收信号的强度，将坐标系按一定大小范围划成大小相同的格子，其中，横轴被换分成了Nzd个等范围区间，纵轴被划分成了zzrss个等范围区间；其次，将采集到的每对测量值(测量距离值与接收信号强度)投入到相应格子中，格子里的数值加1；最终，每个格子里的数除以每列测量数据总数就可以得到概率传感器模型RSS，此模型可以用Nzrss×Nzd大小的概率矩阵和概率分布图来表示。
建立概率传感器模型TOA：
TOA模型可表示为P(zd|d,s)，其中s∈{LOS,NLOSW,NLOSM}，d表示两个通信节点之间的真实欧式距离，zd表示利用TOA方法得到的测量距离；
与概率传感器模型RSS的建模过程类似，首先，以横轴为真实距离，纵轴为测量距离，将坐标系按一定大小范围划成大小相同的格子，其中横轴被划分成了Nd个等范围区间，纵轴被划分成了Nzd个等范围区间；其次，将采集到的测量距离值投到相应的格子里，格子里数值加1；最终，每个格子里的数除以每列数据总数就得到概率传感器模型TOA，此模型可以用Nzd×Nd大小的概率矩阵和概率分布图来表示；
为了对各种传播和障碍物材质属性下的TOA模型更好的可视化，本发明将TOA模型中y轴重新定义为测距误差Δd＝zd-d，由于UWB信号极易穿透木板障碍物，因此木板障碍物下的TOA模型与LOS下的TOA模型比较相似。LOS情况下的测距噪声比较稳定，并且误差大小与距离无关，但金属障碍物对UWB测距的影响比较大，测距误差不稳定，波动比较大，这主要是由于电磁波信号在金属介质下传播能量损耗比较大。
步骤3.2，在贝叶斯滤波框架下利用概率传感器模型RSS对障碍物材质进行识别，估计出测量距离zd在任意传播下所测量得到的概率；
所述的步骤3.2，具体做法是：在贝叶斯滤波框架下利用所建立的RSS模型，对通信节点之间的障碍物属性进行识别，在此基础上结合TOA模型对UWB测距误差进行削弱，得到准确的测距估计值；
1)预测：
其中，P(st|st-1)是t-1时刻到t时刻的状态转移函数，是从初始时刻到t-1时刻的测量数据集，P(st-1|Zt-1)是t-1时刻的后验状态，P(st|Zt-1)是t时刻的预测状态；状态s的转移遵循马尔科夫过程，例如，t时刻的状态st仅仅依靠t-1时刻的状态st-1；
先验状态P(st-1|Zt-1)可被分解为：
P(st-1|Zt-1)＝[P(st-1＝LOS|Zt-1)P(st-1＝NLOSW|Zt-1)P(st-1＝NLOSM|Zt-1)]T (2)
定义状态转移函数P(st|st-1)下一时刻维持上一时刻状态的概率为α(0≤α≤1)，而转移到其他状态的概率是等几率的；例如本发明中上一时刻状态转移到其他两种状态下的概率都为(1-α)/2；
因此，t时刻的预测状态P(st|Zt-1)可别表示为：
假设每一时刻维持当前状态s以及转换到其他两种状态的概率值保持不变，这是因为状态转移函数与测距节点的位置以及其他状态信息是相互独立的，因此不需要环境或障碍物布局作为先验信息；
2)更新：
给定t时刻的测量数据，包括测量距离和接收信号强度利用所建立的概率传感器模型可以获得距离似然函数，如式(4)所示：
其中，和是利用RSS传感器模型和TOA传感器模型来获得；
利用距离似然函数对贝叶斯滤波进行更新，如式(5)所示：
通过计算从式(5)中可以进一步提取出后验状态P(st|Zt)，如式(6)所示：
由式(6)可知边缘概率PLOS＝P(st＝LOS|Zt)，和描述了两个UWB通信节点之间的障碍物材质情况，即测量数据在各种传播和障碍物材质属性下的概率；该概率值也将作为下一时刻贝叶斯滤波的先验状态，对下一时刻的障碍物材质进行识别；
障碍物材质识别结果如图3所示，从图中明显看出，本发明能够对各种情况下的障碍物材质进行准确识别。结合TOA模型将各种传播下的概率进行融合获得距离概率密度函数。
3.3步骤3.2结合概率传感器模型TOA获得距离概率密度函数，归一化处理后通过求取期望即可得到测距误差削弱后的距离估计值；
所述的步骤3.3，具体做法是：在贝叶斯滤波框架下对障碍物材质进行识别之后，结合概率传感器模型TOA可对UWB测距误差进行削弱，
对状态st进行边缘化之后可以求得在各种传播和障碍物材质下的测量距离在第i个真实距离下的概率：
最终，通过归一化处理求取期望即可得到精确的距离估计值：
式中，di为第i个真实距离，Pd(i)为测量距离在第i个真实距离下的概率值。
对UWB测距误差有效削弱之后，将得到的精确距离估计值融合到本发明所设计的协同跟踪算法中，大大地提高多机器人定位精度。
对UWB测距误差有效削弱之后，将得到的精确距离估计值融合到多机器人协同跟踪算法中，大大地提高机器人定位精度。
LOS、NLOSW和NLOSM下测距误差削弱削弱结果如图4所示，从图4中明显看出，本发明所提测距误差削弱方法能够有效削弱各种传播和障碍物材质下的测距误差，尤其是LOS和NLOSW情况下，测距误差削弱之后得到的测距估计值更加接近真实值。在障碍物材质为金属的NLOSM情况下，削弱前测值与真实值相比偏差比较大，绝对误差在200mm以上，而经过误差削弱之后其测距绝对误差明显减小。
目前在UWB测距误差削弱的研究中，大多数研究没有考虑各种传播下概率融合的情况，仅仅利用障碍物辨识结果的唯一性来削弱测距误差，这种方法称之为DeterministicID。利用本发明所提方法和Deterministic ID方法对复杂环境中的测距误差进行削弱，削弱后的测距误差如图5所示。
从图5中可知，Deterministic ID方法同样能够对测距误差进行削弱，但误差削弱效果远远不如本发明所提方法。通过计算得到测量距离在测距误差削弱前以及利用TOA方法、Determinstic ID方法和本发明所提方法削弱后的平均测距误差如表1所示。
由表1可知，本发明所提方法能够对室内任何障碍物下的测距值进行很好补偿，有效抑制了LOS和NLOS误差的影响。尤其是在LOS和非视距木板障碍物NLOSW下，削弱之后得到的距离估计值接近真实值。并且在挑战比较大的非视距金属障碍物NLOSM下，测距误差也进行了有效削弱。实验中，在Inter Xeon E3-1230 v3 CPU和MATLAB 2017b下本发明所提方法处理测量数据的速度为0.07ms/个，能够满足实时性的要求。
由此可见，本发明所提出的基于概率的误差削弱方法能够对测量距离进行很好的补偿，使其接近真实距离值，且算法实时性好，可以实现动态实时精准测距。当应用于室内机器人定位时，可以大大提高机器人定位的精度。
步骤4，采用协同跟踪算法，即基于Gibbs采样的协同粒子滤波算法对多个移动机器人的位置信息进行估计；
所述的步骤4，具体做法是：
多机器人系统具有非线性、非高斯特性，因此本发明利用一种基于非参数的粒子滤波算法进行状态估计，但粒子滤波算法应用到多机器人系统中时，系统的状态空间维数会随着机器人数的增加呈指数形式增加，系统会出现“维数灾难”的情况，从而导致联合后验概率密度函数太复杂以至于不能直接采样，而基于条件分布的Gibbs采样只考虑单变量的分布，其他变量的分布均为常数，具有降维的目的。
因此，本发明将基于条件分布的Gibbs采样与粒子滤波算法相结合，设计出基于Gibbs采样的协同粒子滤波算法来对多个机器人进行跟踪，大大提高了系统的实用性与准确度。
发明在真实场景下实现了3个移动机器人协同跟踪，协同跟踪实验示意图如图6(a)～(c)所示，其中图6(a)、图6(b)和图6(c)分别为多移动机器人协同跟踪实验的初始位置、中间位置和目标位置。多个机器人在运动的过程中避开障碍物，利用UWB传感器实时测量主机器人与辅助机器人，主机器人与锚点之间的距离信息，将得到的距离值代入本发明所提出的基于贝叶斯滤波的UWB测距误差削弱算法中对LOS和NLOS误差进行有效削弱，得到精确的距离估计值。接着将所得到的距离估计值融合到协同跟踪算法(GSCPF)中，对各个机器人的位置信息进行估计，从而实现多机器人协同跟踪定位。
多移动机器人协同跟踪结果如图7所示，为了对协同跟踪结果进行评价，本发明利用实验室提供的NaturalPoint公司的OptiTrack运动捕获系统获取每个移动机器人运动的真实运动轨迹。
步骤5，采用OptiTrack运动捕获系统获得多个机器人相应运动的真实轨迹，对协同跟踪算法进行评价；
所述的步骤5，具体做法是：
在多机器人协同跟踪系统中，将获得的机器人与机器人、机器人与锚点之间的精确距离信息融合到协同跟踪算法中定出每个机器人在任意时刻的位置信息。为了对协同跟踪结果进行评价，本发明在OptiTrack运动捕获系统下获得每个机器人相应运动的真实轨迹，如图8所示。OptiTrack运动捕获系统如图8所示，由24个高精度摄像头组成，呈正方形分布。通过标定，OptiTrack运动捕获系统的3D定位精度能够达到10-3m，因此将OptiTrack下的得到的定位结果视为真实值。
从图7中明显看出，本发明提供的基于超宽带(UWB)技术的多移动机器人协同跟踪方法能够准确的估计出每个机器人在任意时刻的位置信息，得到的估计轨迹与真实轨迹基本重合，通过计算得到多机器人定位的均方根误差为0.0426m。验证了本发明提供的基于超宽带(UWB)技术的多移动机器人协同跟踪方法在真实场景下的有效性和准确性。
表1
表1是LOS、NLOSW和NLOSM混合条件下测量距离在测距误差削弱前以及利用TOA方法、Determinstic ID方法和本发明所提方法削弱后的平均测距误差值。

Claims (7)

1.一种基于超宽带技术的多移动机器人高精度协同跟踪方法，其特征在于，包括以下步骤：
步骤1，在机器人操作系统ROS下搭建多移动机器人协同跟踪实验平台；
步骤2，利用超宽带传感器建立多节点间测距网络，同时获得机器人与机器人，机器人与锚点之间的距离信息，距离信息包括到达时间、测距值和接收信号强度；
步骤3，采用基于贝叶斯滤波的超宽带测距误差削弱算法，对步骤2中获得的测距值的LOS和NLOS误差进行有效削弱，还原距离真值；
步骤4，采用协同跟踪算法，即基于Gibbs采样的协同粒子滤波算法对多个移动机器人的位置信息进行估计；
步骤5，采用OptiTrack运动捕获系统获得多个机器人相应运动的真实轨迹，对协同跟踪算法进行评价。
2.根据权利要求1所述的一种基于超宽带技术的多移动机器人高精度协同跟踪方法，其特征在于，所述的步骤1，具体做法是：
在机器人操作系统ROS下搭建多移动机器人协同跟踪实验平台，即利用主控机远程控制多个移动机器人随机运动，机器人在运动过程中能够有效避开环境中的所有静态以及随机出现的动态障碍物；当机器人检测到动态障碍物时，对局部路径进行修改，从而有效避开动态障碍物，继续向目标位置运动；最终多个机器人之间相互配合，分别到达各自的目标位置。
3.根据权利要求1所述的一种基于超宽带技术的多移动机器人高精度协同跟踪方法，其特征在于，所述的步骤3，具体做法是：
步骤3.1，在各种传播和障碍物材质下采集大量数据，包括测量距离zd和接收信号强度zrss，建立概率传感器模型RSS和TOA；
步骤3.2，在贝叶斯滤波框架下利用概率传感器模型RSS对障碍物材质进行识别，估计出测量距离zd在任意传播下所测量得到的概率；
步骤3.3，结合概率传感器模型TOA获得距离概率密度函数，通过求取期望即可得到测距误差削弱后的距离估计值。
4.根据权利要求3所述的一种基于超宽带技术的多移动机器人高精度协同跟踪方法，其特征在于，所述的步骤3.1中，概率传感器建模过程如下：
为了建立UWB传感器模型，在LOS和NLOS情况下，采集大量数据，包括：到达时间zt，测量距离zd和接收信号强度zrss；NLOS情况包括木板障碍物NLOSW和金属障碍物NLOSM；采集建模数据的原则为：通信节点间真实距离为d∈{d1,d2,...,dNd}时，Nd为所采集建模数据的组数，在每一真实距离下采集大量数据，最终得到Nd组测量数据，建立TOA和RSS概率传感器模型；
建立概率传感器模型RSS：
概率传感器模型RSS可表示为P(zrss|zd,s)，其中s∈{LOS,NLOSW,NLOSM}，表示传播和障碍物材质属性，分别代表无障碍物、木板障碍物和金属障碍物，对应于室内环境中比较经典的三种情况，即无NLOS效应、微弱NOLS效应、较强NLOS效应，zrss表示接收信号强度，zd表示利用TOA方法得到的测量距离；
首先，以横轴为测量距离，纵轴为接收信号的强度，将坐标系按一定大小范围划成大小相同的格子，其中，横轴被换分成了Nzd个等范围区间，纵轴被划分成了zzrss个等范围区间；其次，将采集到的每对测量值投入到相应格子中，每对测量值包括测量距离值与接收信号强度，格子里的数值加1；最终，每个格子里的数除以每列测量数据总数就可以得到概率传感器模型RSS，此模型可以用Nzrss×Nzd大小的概率矩阵和概率分布图来表示；
建立概率传感器模型TOA：
TOA模型可表示为P(zd|d,s)，其中s∈{LOS,NLOSW,NLOSM}，d表示两个通信节点之间的真实欧式距离，zd表示利用TOA方法得到的测量距离；
与概率传感器模型RSS的建模过程类似，首先，以横轴为真实距离，纵轴为测量距离，将坐标系按一定大小范围划成大小相同的格子，其中横轴被划分成了Nd个等范围区间，纵轴被划分成了Nzd个等范围区间；其次，将采集到的测量距离值投到相应的格子里，格子里数值加1；最终，每个格子里的数除以每列数据总数就得到概率传感器模型TOA，此模型可以用Nzd×Nd大小的概率矩阵和概率分布图来表示。
5.根据权利要求3所述的一种基于超宽带技术的多移动机器人高精度协同跟踪方法，其特征在于，所述的步骤3.2，具体做法是：在贝叶斯滤波框架下利用所建立的概率传感器模型RSS，对通信节点之间的障碍物属性进行识别，在此基础上结合概率传感器模型TOA模型对UWB测距误差进行削弱，得到准确的测距估计值；
1)预测：
其中，P(st|st-1)是t-1时刻到t时刻的状态转移函数，是从初始时刻到t-1时刻的测量数据集，P(st-1|Zt-1)是t-1时刻的后验状态，P(st|Zt-1)是t时刻的预测状态；状态s的转移遵循马尔科夫过程；
先验状态P(st-1|Zt-1)可被分解为：
P(st-1|Zt-1)＝[P(st-1＝LOS|Zt-1)P(st-1＝NLOSW|Zt-1)P(st-1＝NLOSM|Zt-1)]T (2)
定义状态转移函数P(st|st-1)下一时刻维持上一时刻状态的概率为α(0≤α≤1)，而转移到其他状态的概率是等几率的；例如本发明中上一时刻状态转移到其他两种状态下的概率都为(1-α)/2；
因此，t时刻的预测状态P(st|Zt-1)可别表示为：
假设每一时刻维持当前状态s以及转换到其他两种状态的概率值保持不变，这是因为状态转移函数与测距节点的位置以及其他状态信息是相互独立的，因此不需要环境或障碍物布局作为先验信息；
2)更新：
给定t时刻的测量数据，包括测量距离和接收信号强度利用所建立的概率传感器模型可以获得距离似然函数，如式(4)所示：
其中，和是利用RSS传感器模型和TOA传感器模型来获得；
利用距离似然函数对贝叶斯滤波进行更新，如式(5)所示：
通过计算从式(5)中可以进一步提取出后验状态P(st|Zt)，如式(6)所示：
由式(6)可知边缘概率PLOS＝P(st＝LOS|Zt)，和描述了两个UWB通信节点之间的障碍物材质情况，即测量数据在各种传播和障碍物材质属性下的概率；该概率值也将作为下一时刻贝叶斯滤波的先验状态，对下一时刻的障碍物材质进行识别。
6.根据权利要求3所述的一种基于超宽带技术的多移动机器人高精度协同跟踪方法，其特征在于，所述的步骤3.3，具体做法是：在贝叶斯滤波框架下对障碍物材质进行识别之后，结合概率传感器模型TOA可对UWB测距误差进行削弱，
对状态st进行边缘化之后可以求得在各种传播和障碍物材质下的测量距离在第i个真实距离下的概率：
最终，通过归一化处理求取期望即可得到精确的距离估计值：
式中，di为第i个真实距离，Pd(i)为测量距离在第i个真实距离下的概率值；
对UWB测距误差有效削弱之后，将得到的精确距离估计值融合到协同跟踪算法中，提高多机器人定位精度。
7.根据权利要求1所述的一种基于超宽带技术的多移动机器人高精度协同跟踪方法，其特征在于，所述的步骤5，具体做法是：
在多机器人协同跟踪系统中，将获得的机器人与机器人、机器人与锚点之间的精确距离信息融合到协同跟踪算法中，定出每个机器人在任意时刻的位置信息，为了对协同跟踪结果进行评价，在OptiTrack运动捕获系统下获得每个机器人相应运动的真实轨迹。
CN201910434851.XA 2019-05-23 2019-05-23 一种基于超宽带技术的多移动机器人高精度协同跟踪方法 Active CN110244715B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910434851.XA CN110244715B (zh) 2019-05-23 2019-05-23 一种基于超宽带技术的多移动机器人高精度协同跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910434851.XA CN110244715B (zh) 2019-05-23 2019-05-23 一种基于超宽带技术的多移动机器人高精度协同跟踪方法

Publications (2)

Publication Number Publication Date
CN110244715A true CN110244715A (zh) 2019-09-17
CN110244715B CN110244715B (zh) 2022-09-30

Family

ID=67884901

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910434851.XA Active CN110244715B (zh) 2019-05-23 2019-05-23 一种基于超宽带技术的多移动机器人高精度协同跟踪方法

Country Status (1)

Country Link
CN (1) CN110244715B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112541944A (zh) * 2020-12-10 2021-03-23 山东师范大学 基于条件变分编码器的概率孪生目标跟踪方法及系统
CN112556689A (zh) * 2020-10-30 2021-03-26 郑州联睿电子科技有限公司 一种融合加速度计和超宽带测距的定位方法
CN112595320A (zh) * 2020-11-23 2021-04-02 北京联合大学 基于ros的室内智能轮椅高精定位自主导航方法及系统
CN112833876A (zh) * 2020-12-30 2021-05-25 西南科技大学 一种融合里程计与uwb的多机器人协作定位方法
CN112925318A (zh) * 2021-01-25 2021-06-08 西南交通大学 一种应用于智能机器人移动路径的计算方法
CN113411883A (zh) * 2021-06-17 2021-09-17 北京理工大学 一种确定收敛的分布式协作定位方法
CN113670318A (zh) * 2021-08-17 2021-11-19 中国科学院空天信息创新研究院 协同定位方法及定位系统
CN114003041A (zh) * 2021-11-02 2022-02-01 中山大学 一种多无人车协同探测系统
CN114019519A (zh) * 2022-01-05 2022-02-08 视丰达科技（深圳）有限公司 一种水准测距探鱼器的轨迹记录方法及其设备
CN114501310A (zh) * 2022-01-17 2022-05-13 中国科学院国家授时中心 一种同时定位和跟踪的协同定位方法
CN114932552A (zh) * 2022-05-31 2022-08-23 西安理工大学 协作机器人主动动作决策方法、系统、设备及存储介质
CN115657720A (zh) * 2022-10-28 2023-01-31 哈尔滨工业大学 动态障碍物场景下微型无人机集群算法的实验系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104184781A (zh) * 2013-05-28 2014-12-03 东北大学 面向未知环境探测的移动机器人自部署感知网络
US20160193729A1 (en) * 2015-01-06 2016-07-07 Discovery Robotics Method and system for determining precise robotic position and orientation using near-simultaneous radio frequency measurements
CN106647766A (zh) * 2017-01-13 2017-05-10 广东工业大学 一种基于复杂环境的uwb‑视觉交互的机器人巡航方法及系统
CN107515384A (zh) * 2017-09-07 2017-12-26 南京理工大学 基于uwb与多传感器的室内机器人的定位与环境建模方法
CN107861509A (zh) * 2017-10-26 2018-03-30 广州科语机器人有限公司 一种锚点坐标校正方法及用于提高机器人定位精度的方法
CN108810133A (zh) * 2018-06-08 2018-11-13 深圳勇艺达机器人有限公司 一种基于uwb和tdoa算法的智能机器人定位方法及定位系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104184781A (zh) * 2013-05-28 2014-12-03 东北大学 面向未知环境探测的移动机器人自部署感知网络
US20160193729A1 (en) * 2015-01-06 2016-07-07 Discovery Robotics Method and system for determining precise robotic position and orientation using near-simultaneous radio frequency measurements
CN106647766A (zh) * 2017-01-13 2017-05-10 广东工业大学 一种基于复杂环境的uwb‑视觉交互的机器人巡航方法及系统
CN107515384A (zh) * 2017-09-07 2017-12-26 南京理工大学 基于uwb与多传感器的室内机器人的定位与环境建模方法
CN107861509A (zh) * 2017-10-26 2018-03-30 广州科语机器人有限公司 一种锚点坐标校正方法及用于提高机器人定位精度的方法
CN108810133A (zh) * 2018-06-08 2018-11-13 深圳勇艺达机器人有限公司 一种基于uwb和tdoa算法的智能机器人定位方法及定位系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
卫恒等: "基于超宽带测距的异构移动机器人轨迹跟踪控制", 《北京航空航天大学学报》 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112556689A (zh) * 2020-10-30 2021-03-26 郑州联睿电子科技有限公司 一种融合加速度计和超宽带测距的定位方法
CN112556689B (zh) * 2020-10-30 2023-09-05 郑州联睿电子科技有限公司 一种融合加速度计和超宽带测距的定位方法
CN112595320A (zh) * 2020-11-23 2021-04-02 北京联合大学 基于ros的室内智能轮椅高精定位自主导航方法及系统
CN112541944A (zh) * 2020-12-10 2021-03-23 山东师范大学 基于条件变分编码器的概率孪生目标跟踪方法及系统
CN112541944B (zh) * 2020-12-10 2022-07-12 山东师范大学 基于条件变分编码器的概率孪生目标跟踪方法及系统
CN112833876B (zh) * 2020-12-30 2022-02-11 西南科技大学 一种融合里程计与uwb的多机器人协作定位方法
CN112833876A (zh) * 2020-12-30 2021-05-25 西南科技大学 一种融合里程计与uwb的多机器人协作定位方法
CN112925318A (zh) * 2021-01-25 2021-06-08 西南交通大学 一种应用于智能机器人移动路径的计算方法
CN113411883B (zh) * 2021-06-17 2022-05-17 北京理工大学 一种确定收敛的分布式协作定位方法
CN113411883A (zh) * 2021-06-17 2021-09-17 北京理工大学 一种确定收敛的分布式协作定位方法
CN113670318A (zh) * 2021-08-17 2021-11-19 中国科学院空天信息创新研究院 协同定位方法及定位系统
CN113670318B (zh) * 2021-08-17 2024-04-16 中国科学院空天信息创新研究院 协同定位方法及定位系统
CN114003041A (zh) * 2021-11-02 2022-02-01 中山大学 一种多无人车协同探测系统
CN114019519A (zh) * 2022-01-05 2022-02-08 视丰达科技（深圳）有限公司 一种水准测距探鱼器的轨迹记录方法及其设备
CN114501310A (zh) * 2022-01-17 2022-05-13 中国科学院国家授时中心 一种同时定位和跟踪的协同定位方法
CN114501310B (zh) * 2022-01-17 2023-04-25 中国科学院国家授时中心 一种同时定位和跟踪的协同定位方法
CN114932552A (zh) * 2022-05-31 2022-08-23 西安理工大学 协作机器人主动动作决策方法、系统、设备及存储介质
CN114932552B (zh) * 2022-05-31 2024-03-26 西安理工大学 协作机器人主动动作决策方法、系统、设备及存储介质
CN115657720A (zh) * 2022-10-28 2023-01-31 哈尔滨工业大学 动态障碍物场景下微型无人机集群算法的实验系统

Also Published As

Publication number Publication date
CN110244715B (zh) 2022-09-30

Similar Documents

Publication Publication Date Title
CN110244715A (zh) 一种基于超宽带技术的多移动机器人高精度协同跟踪方法
Pak et al. Distributed hybrid particle/FIR filtering for mitigating NLOS effects in TOA-based localization using wireless sensor networks
Yang et al. A novel NLOS error compensation method based IMU for UWB indoor positioning system
CN109116349A (zh) 多传感器协同跟踪联合优化决策方法
CN103645487B (zh) 水下多目标跟踪方法
CN101655561A (zh) 基于联合卡尔曼滤波的多点定位数据与雷达数据融合方法
CN103152826A (zh) 一种基于nlos状态检测补偿的移动目标追踪方法
CN112525197B (zh) 基于图优化算法超宽带惯性导航融合位姿估计方法
Xiong et al. A scheme on indoor tracking of ship dynamic positioning based on distributed multi-sensor data fusion
CN101179707A (zh) 无线网络视频图像多视角协作目标跟踪测量方法
CN105828287A (zh) 一种基于强化学习的无线传感器网络协同跟踪方法
Cheng et al. Real time indoor positioning system for smart grid based on uwb and artificial intelligence techniques
CN105357754A (zh) 一种基于无线网络的移动节点组合定位方法
Zhang et al. Review on UWB-based and multi-sensor fusion positioning algorithms in indoor environment
CN103810382A (zh) 机载分布式多传感器两级数据融合策略选择方法
Rachel et al. Probabilistic Framework for the Positioning Of a Vehicle in a Combined Indoor-Outdoor Scenario
Dai et al. Analysis of target detection based on UWB NLOS ranging modeling
Shangguan et al. Interactive perception-based multiple object tracking via CVIS and AV
Cao et al. Uwb based integrated communication and positioning system for multi-uavs close formation
CN102595309A (zh) 一种基于无线传感器网络的穿墙跟踪方法
CN104994579A (zh) 一种适用于事件触发的分布式移动目标跟踪方法
CN112034713A (zh) 非理想网络环境下移动目标的最优状态估计方法及系统
Zhou et al. NLOS Identification and Ranging Error Mitigation for UWB Signal
Tang et al. Mobility Prediction Based Tracking of Moving Objects in Wireless Sensor Networks
Luo et al. Accurate localization for indoor and outdoor scenario by GPS and UWB fusion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant