CN113009917B - 基于闭环检测校正的移动机器人地图构建方法、存储介质及设备 - Google Patents
基于闭环检测校正的移动机器人地图构建方法、存储介质及设备 Download PDFInfo
- Publication number
- CN113009917B CN113009917B CN202110250358.XA CN202110250358A CN113009917B CN 113009917 B CN113009917 B CN 113009917B CN 202110250358 A CN202110250358 A CN 202110250358A CN 113009917 B CN113009917 B CN 113009917B
- Authority
- CN
- China
- Prior art keywords
- perception
- memory
- information
- cell
- visual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012937 correction Methods 0.000 title claims abstract description 34
- 238000001514 detection method Methods 0.000 title claims abstract description 31
- 238000010276 construction Methods 0.000 title claims abstract description 12
- 238000003860 storage Methods 0.000 title claims abstract description 11
- 230000008447 perception Effects 0.000 claims abstract description 122
- 230000016776 visual perception Effects 0.000 claims abstract description 64
- 230000000694 effects Effects 0.000 claims abstract description 59
- 238000000034 method Methods 0.000 claims abstract description 40
- 230000000007 visual effect Effects 0.000 claims abstract description 37
- 230000033001 locomotion Effects 0.000 claims abstract description 23
- 230000003213 activating effect Effects 0.000 claims abstract description 6
- 210000004027 cell Anatomy 0.000 claims description 134
- 230000007613 environmental effect Effects 0.000 claims description 19
- 230000005284 excitation Effects 0.000 claims description 19
- 230000004044 response Effects 0.000 claims description 18
- 230000004438 eyesight Effects 0.000 claims description 17
- 238000013507 mapping Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 10
- 210000000225 synapse Anatomy 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 7
- 230000010354 integration Effects 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 7
- 230000036755 cellular response Effects 0.000 claims description 6
- 230000005764 inhibitory process Effects 0.000 claims description 6
- 230000000946 synaptic effect Effects 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 5
- 238000006073 displacement reaction Methods 0.000 claims description 4
- 230000000737 periodic effect Effects 0.000 claims description 4
- 230000001276 controlling effect Effects 0.000 claims description 3
- 230000001105 regulatory effect Effects 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- 230000001413 cellular effect Effects 0.000 claims description 2
- 206010001497 Agitation Diseases 0.000 abstract description 2
- 239000002585 base Substances 0.000 description 21
- 238000004422 calculation algorithm Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 21
- 239000000243 solution Substances 0.000 description 5
- 210000002569 neuron Anatomy 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000003750 conditioning effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 239000003637 basic solution Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 239000011664 nicotinic acid Substances 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Manipulator (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于闭环检测校正的移动机器人地图构建方法、存储介质及设备，该方法包括步骤S1，根据视觉系统采集环境信息构建表征空间位置的记忆感知模板，并生成对应的视觉感知记忆库；步骤S2：根据陀螺仪和加速度计采集自感知运动信息更新位置感知信息；步骤S3，将当前的记忆感知模板和视觉感知记忆库相关联，当到达经历过的环境位置时，通过计算记忆感知模板的活性强度激活相应视觉感知记忆库；步骤S4，根据得到的位置感知信息与视觉感知记忆库、记忆感知模板相互联系后对自感知空间地图进行绘制和校正。本发明实现了位置信息的实时更新，并且消除累计误差，考虑到相邻记忆感知模板之间的兴奋性水平差异，提高了闭环检测的准确性。
Description
技术领域
本发明属于同步定位与地图创建(Simultaneous Location And Mapping，SLAM)技术领域，涉及基于闭环检测校正的移动机器人地图构建方法、存储介质及设备。
背景技术
同步定位与地图创建(Simultaneous Location And Mapping，SLAM)的核心问题是，要求机器人在一个陌生的环境中，首先要探索环境从而了解环境(构建地图)，同步运用地图追踪机器人在该环境中的位置(定位)。对SLAM问题的传统解决方法主要是基于数学概率方法，其中，卡尔曼滤波器、粒子滤波器和极大期望算法等是机器人SLAM问题的基本解决方法。虽然这些传统的SLAM算法中仍使用激光测距和声呐测距采集信息，但是这些传感器采集信息，往往得到的数据不精确且使用有一定的局限性，更多情况下激光测距传感器已被视觉传感器所替代。
现有技术中，通常采用视觉SLAM算法来构建上述二维拓扑图，在构建二维拓扑图的过程中，通过图像处理方法来进行图像模板的更新，该方法仅能判断两幅图像信息是否一致，但图像信息与感知的位置信息缺乏关联，不存在位置坐标的实时更新和修正，在回到经历过的环境位置时，不能保证位置完全相同，而且由于图像信息在获取和传输过程中会产生各类噪音，即使相同位置获得的图像信息也具有一定的差异，因此现有技术缺乏自我修正能力，会导致图像匹配准确率和定位精度低，进而导致所构建的二维拓扑图失真。
发明内容
本发明的目的在于提供基于闭环检测校正的移动机器人地图构建方法、存储介质及设备，以解决现有技术由于因位置坐标不能实时更新和修正，图像匹配准确率较差和定位精度较差，二维位置估计图失真较为严重等问题的技术问题。
所述的基于闭环检测校正的移动机器人地图构建方法、存储介质及设备,包括：
步骤S1，根据视觉系统采集环境信息构建表征空间位置的记忆感知模板，并生成对应的视觉感知记忆库；
步骤S2：根据陀螺仪和加速度计采集自感知运动信息更新位置感知信息：
先对自感知运动信息进行方向和位移编码，经过路径整合后，再通过自感知反映射网络学习得到当前时刻的位置细胞活性强度，将当前位置的记忆感知模板与位置细胞进行关联，得到关联之后的位置细胞活性强度，最后通过关联后的位置细胞活性之间的相互竞争获取位置感知信息；
步骤S3，将当前的记忆感知模板和视觉感知记忆库相关联，当到达经历过的环境位置时，通过计算记忆感知模板的活性强度激活相应视觉感知记忆库；
步骤S4，根据得到的位置感知信息对自感知空间地图进行绘制，当视觉感知记忆库被激活时，将对应的视觉感知记忆库与位置细胞相关联，得到关联之后的位置细胞活性强度，以此对位置感知信息进行修正，并进一步对自感知空间地图进行校正。
优选的，所述步骤S2中，在构建所述环境位置感知过程中获取当前时刻环境中第i个位置细胞活性强度fi(t)，关联之后的位置细胞活性强度为：
其中，
为一个连接强度常数，决定视觉识别信息对位置细胞活动的影响，μ为图像增强系数，用来调节图像的亮度值。δi为第i位置细胞与对应视觉识别信息之间的连接矩阵，Vi为当前第i个位置细胞对应的视觉识别信息，视觉识别信息即采集环境信息形成的图像信息经过处理的结果，是表示环境信息的图像特征；
在激活视觉感知记忆库的情况下，同样采用上述算式将位置细胞活性强度与视觉感知记忆库相关联，此时Vi是对应视觉感知记忆库的视觉识别信息。
优选的，所述步骤S2中，将编码整合获取的速度信息和方向信息映射到自感知反映射网络层，获得网格细胞的兴奋值，具体如下：
网格细胞层为自感知反映射网络输出层，网格细胞放电率随着机器人运动而发生变化，根据自感知反映射网络学习规则，网格细胞的兴奋值更新规则如下式所示：
Rp＝1/exp(||Xpos-Xwall||)
其中，θ为瞬时角速度信息，κ为网格细胞空间尺度参数，v为机器人当前速度，μ为网格细胞幅值抑制常数，决定网格细胞放电率幅值，
的值为负数，为第j个网格细胞的抑制水平，
的值为正数，为第j个网格细胞的兴奋水平，Rp为t时刻网格细胞放电率调节因子，用于根据边界位置信息调整网格细胞兴奋值，Xpos为当前机器人的位置信息，Xwall为正前方的边界位置信息，边界位置信息为机器人与前方障碍物的距离信息，可以通过距离感应器单独测定，n为网格细胞总数量，χj为第j个网格细胞的兴奋值，
为兴奋度连接常数以防止在训练过程中某些权值一直获胜。
优选的，所述步骤S2中，根据自感知反映射网络学习规则进行权重学习，获得网格细胞的响应值，具体如下：
自感知反映射网络采用双极性激活函数，激活函数的取值范围[-1,1]，输入与输出同号时加大权重，否则降低权重，自感知反映射网络的输出值为网格细胞响应值，其输出值的算式如下所示：
其中，n为网格细胞的总个数，ξj(t)为当前时刻的第j个网格细胞响应值，ξj(t-1)为前一时刻的第j个网格细胞响应值，χj(t)为当前时刻第j个网格细胞的兴奋值，η为学习率常数，决定当前网络的学习速度，通过在环境中的探索与学习，更新后的突触权重呈六边形周期分布，得到稳定的网格细胞放电率，为了使突触权重产生周期性的空间分布，对权重更新进行非线性限制，分别设置权重的上边界和下边界，当所有突触的任一权重超出上边界或下边界之间的范围时，通过竞争对所有突触的权重等比例缩放，使得所有的突触权重在上边界和下边界之间。
优选的，所述步骤S2中，在构建所述环境位置感知过程中获取当前时刻环境中位置细胞活性，具体如下：
当前时刻第i个位置细胞活性强度fi(t)为：
其中，n为网格细胞的总个数，
为网格细胞i到位置细胞j的连接权重，Cinh为位置细胞的抑制常数，用来控制位置细胞放电野个数，ξj(t)为t时刻第j个网格细胞的的响应值，符号[·]+表示输出值为非负值，α为位置细胞活性常数，防止位置细胞活性较小，无法估计当前位置。
优选的，所述步骤S3中，记忆感知模板的活性强度
为：
其中，G＝[x,y]为移动机器人的当前位置信息。Vi(G)是移动机器人G位置的视觉识别信息，其中i表示对应的时刻点，β为常数，用于在需要探索的空间环境中，保证有足够的表征环境位置信息的记忆点，B是用来判断当前时刻记忆感知模板是否被激活而设置的记忆常数，即当且仅当某个视觉感知记忆库接收到的环境识别信息输入量导致相应记忆感知模板的活性强度达到所有时刻点最大显著度的一定阈值以上时，视觉感知记忆库中对应的记忆感知模板才会在这一时刻激活。a为记忆感知模板幅值常数，防止记忆感知模板活性较大导致误匹配。
优选的，所述步骤S1中，视觉系统采集环境信息形成的图像信息经过处理后提取图像特征的信息形成记忆感知模板，再其标准化后储存形成对应当前位置的视觉感知记忆库，上述方法采用双目视觉感知图作为视觉感知记忆库，记忆感知单元由一个一维记忆单元阵列组成，每个记忆单元对应一个特定的当前位置场景信息。
本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的基于闭环检测校正的移动机器人地图构建方法的步骤。
本发明还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的基于闭环检测校正的移动机器人地图构建方法的步骤。
本发明的技术效果：1、本方案使用基于记忆感模板的SLAM技术对速度和方向信息进行整合，实时通过记忆感知模板和视觉感知记忆库进行闭环检测来消除累计误差，不仅考虑到实时坐标更新，而且考虑到相邻记忆感知模板之间的兴奋性水平差异，提高了闭环检测的准确性。
2、使用记忆感知模板、视觉感知记忆库，自感知位置信息相关联进行修正当前位置信息的方式，考虑到单独使用自感知位置信息估计会降低算法实时性的缺陷且定位精度较低，选择使用记忆感知模板和视觉感知记忆库修正，在提高闭环检测准确率的同时，实时性也不会有很大的影响，且可以减少由于角度偏移而产生的累积误差，从而达到感知地图的优化效果。
3、本方案采用的算法将位置细胞与记忆感知模板或关联，关联后的位置细胞活性强度包含的信息更加丰富，不仅包括当前的场景的图像信息，还引入记忆感知模板和视觉感知记忆库的视觉识别信息，位置细胞与视觉识别信息之间通过连接矩阵关联，从而令上述算法包含了当前场景的位置信息和其他位置之间的拓扑关系。
4、本方案利用被激活的视觉感知记忆库，将其对应的记忆感知模板中视觉识别信息和连接矩阵引入之前与记忆感知模板关联后的细胞活性的算式，关联后的当前位置细胞活性被修正后再通过位置细胞之间的相互竞争获取位置感知信息。因此在经历过的环境位置时，能进一步利用视觉感知记忆库对当前的位置信息进行修正，进而修正自感知空间地图。
5、本方案反映射网络学习模型进行了改进，采用新的细胞活性强度的算式，不仅考虑了神经元之间的前向连接，还考虑了神经元之间的横向连接。在训练结果中，通过我们的算法竞争获胜的网格细胞更加符合生理学特性。并且随着探索时间的增长，定位误差越来越小。
6、本方案不仅考虑了移动机器人的自运动信息，并且考虑了环境的边界位置信息，这里的边界位置信息是距离前方的障碍物的信息，如前方的墙壁，会议桌等障碍物，通过距离传感器测出机器人与前方障碍物的距离信息来调整网格细胞，通过不规则复杂环境边界信息对网格细胞进行校正来提高算法定位精度。我们的算法在探索环境时在定位精度以及实验能力上有较好的优势。
附图说明
图1为基于闭环检测校正的移动机器人地图构建方法的流程示意图。
图2为构建视觉感知记忆库的流程示意图。
图3为构建自感知位置信息的流程示意图。
图4为在正方形和正六边形下采集的环境样本点示意图。
图5为在环境中探索60s生成的记忆感知模板放电响应分布图。
图6为在环境中探索120s生成的记忆感知模板放电响应分布图。
图7为自感知位置信息的校正前的生成结果和自感知位置信息的校正前的生成结果图。
图8为在KITTI数据集00序列下获取的未经修正的轨迹图。
图9为在KITTI数据集00序列下本文算法检测到的相似性场景。
图10为在KITTI数据集00序列下采用记忆感知模板和视觉感知记忆库对自感知运动信息进行修正的轨迹图。
图11为真实实验环境场景和对应的平面分布图。
图12为移动机器人运行到a点时里程计信息图。
图13为移动机器人运行到b点时里程计信息图。
图14为移动机器人运行结束时里程计信息图。
图15为移动机器人运行到a点时用记忆感知模板和视觉感知记忆库对自感知运动信息进行修正的轨迹图。
图16为移动机器人运行到b点时用记忆感知模板和视觉感知记忆库对自感知运动信息进行修正的轨迹图。
图17为移动机器人运行结束时用记忆感知模板和视觉感知记忆库对自感知运动信息进行修正的轨迹图。
图18为移动机器人运行到a点时自感知位置信息响应图。
图19为移动机器人运行到b点时自感知位置信息响应图。
图20为移动机器人结束时自感知位置信息响应图。
具体实施方式
下面对照附图，通过对实施例的描述，对本发明具体实施方式作进一步详细的说明，以帮助本领域的技术人员对本发明的发明构思、技术方案有更完整、准确和深入的理解。
模拟视觉系统包括：两个视觉感知标定器、信号调理电路、模数(AD)转换器。其中，两个视觉标定器对称安置，主控芯片优选为STM32主控芯片。
视觉系统的工作原理为：两个视觉标定器分别将在不同位置处获取的图像信息进行预处理，提供每帧图像的特征信息形成一个记忆感知模板，再转化为电信号，电信号经过信号调理电路进行电压放大以及滤波处理，通过AD转换器换成数字信号传输至视觉感知标定器；用局部图像微分技术来获得边缘检测算子，对图像边缘检测后通过特征匹配算法进行匹配，通过数模(DA)转换器转换为模拟信号，模拟信号经过放大处理后，通过视觉感知标定器进行位置标定。
实施例一：
如图1-20所示，本发明提供了基于闭环检测校正的移动机器人地图构建方法，具体步骤(如图1所示)如下：
步骤S1根据视觉系统采集环境信息构建表征空间位置的记忆感知模板，并生成对应的视觉感知记忆库；
具体包括：采用高斯平滑滤波器对步骤S1中得到的环境图像进行去畸变处理，以排除外界环境变化引起的图形畸变。依据视觉系统的工作原理，视觉系统采集环境信息经过处理后提取图像特征能得到记忆感知模板，进而得到视觉感知记忆库(如图2所示)。
将去畸变处理后的图像信息存储记忆起来，形成一个感知模板E具体表示为：
其中，l为处理后的视觉感知图，r表示当前机器人的状态，由于环境信息随着运动不断地变化，对记忆感知模板进行唯一性映射k:l→r，即对任意环境信息，只有一个记忆感知模板与当前图像信息对应；g为机器人当前的位置坐标即g＝(x,y,θ)。
进一步地，对记忆感知模板进行标准化处理(也称归一化处理)，形成标准化记忆感知模板，其计算公式可表示为：
其中，i与j分别表示第i个记忆感知单元和第j个记忆感知单元，i＝1,2,…,n；j＝1,2,…,n。
最后，将标准化记忆感知模板作为当前视觉感知记忆库R，计算公式可表示为：
采用双目视觉感知图作为视觉感知记忆库，视觉感知记忆库由一个一维记忆单元阵列组成，每个视觉感知记忆库对应一个特定的当前位置场景信息。
步骤S2根据陀螺仪和加速度计采集自感知运动信息，进行方向和位移编码，更新位置感知信息(如图3所示)。
具体包括：
S2.1构建路径整合模块，利用陀螺仪和加速度计获取角速度调节信号以及特定方向上速度调节信号，对方向和位移进行编码获取当前方向和速度信息。
S2.2经过路径整合来更新的机器人位置信息和方向信息。
路径整合是通过转换每个自感知模块基于机器人加速度计速度、陀螺仪角速度更新自感知模块的运动活动，同时使用记忆感知模板的比较来保持和校正位姿信息，从而对自感知模块实现消除累计误差的功能，其中x表示机器人所处环境位置点的横坐标信息，y表示机器人所处环境位置点的纵坐标信息，θ表示机器人所处环境位置的角速度信息。自感知模块内部动态过程主要包括方向更新、位置坐标点更新。该模型路径积分方法是预测下一时刻自感知模块的状态而不是立即将当前状态进行转移。该过程使其性能独立于记忆感知与环境位置信息的变化，不仅能生成更加准确地机器人位置估计轨迹，并且不需要参数调整。经过路径整合后，被更新的机器人位置信息和方向信息为如下式所示。
θHD(t+1)＝θHD(t)+θ(t)T
x(t+1)＝x(t)+vt(t)Tcos(θHD(t+1))，
y(t+1)＝y(t)+vt(t)Tsin(θHD(t+1))
其中，x(t)、y(t)表示机器人在第t个时刻的位置信息，θHD(t)表示机器人在第t个时刻的方向信息；vt(t)，θ(t)分别表示机器人在第t个时刻的线速度信息和角速度信息，T表示采样时间。
S2.3将获取的速度信息和方向信息映射到自感知反映射网络层，速度信息包括线速度信息和角速度信息，为机器人在探索环境时提供运动方向信息，建立视觉感知记忆库、记忆感知模板与位置感知信息的关联。
S2.3.1获得网格细胞的兴奋值。
其中，网格细胞层为自感知反映射网络输出层。网格细胞放电率随着机器人运动而发生变化，根据自感知反映射网络学习规则，网格细胞的兴奋值更新规则如下式所示。
Rp＝1/exp(||Xpos-Xwall||)
其中，θ为瞬时角速度信息，κ为网格细胞空间尺度参数，v为机器人当前速度，μ取值为1，为网格细胞幅值抑制常数，决定网格细胞放电率幅值。
的值为负数，为第j个网格细胞的抑制水平。
的值为正数，为第j个网格细胞的兴奋水平。Rp为t时刻网格细胞放电率调节因子，用于根据边界位置信息调整网格细胞兴奋值，Xpos为当前机器人的位置信息，Xwall为正前方的边界位置信息，边界位置信息为机器人与前方障碍物的距离信息，可以通过距离感应器单独测定，n为网格细胞总数量。χj为第j个网格细胞的兴奋值。
取值0.8，为兴奋度连接常数防止在训练过程中某些权值一直获胜。由上述方法获得网格细胞的兴奋值。
这样本方案不仅考虑了移动机器人的自运动信息，并且考虑了环境的边界位置信息，这里的边界位置信息是距离前方的障碍物的信息，如前方的墙壁，会议桌等障碍物，通过距离传感器测出机器人与前方障碍物的距离信息来调整网格细胞，通过不规则复杂环境边界信息对网格细胞进行校正来提高算法定位精度。我们的算法在探索环境中在定位精度，环境的实验能力有较好的优势。
S2.3.2根据自感知反映射网络学习规则进行权重学习，获得网格细胞的响应值。
自感知反映射网络采用双极性激活函数，激活函数的取值范围[-1,1],输入与输出同号时，加大权重，否则，降低权重，自感知反映射网络的输出值为网格细胞响应值，其输出值如式(6)所示：
其中，n为网格细胞的总个数。ξj(t)为当前时刻的第j个网格细胞响应值，ξj(t-1)为前一时刻的第j个网格细胞响应值.χj(t)为当前时刻第j个网格细胞的兴奋值。η本文取值0.9，为学习率常数，决定当前网络的学习速度。通过在环境中的探索与学习，更新后的突触权重呈六边形周期分布。得到稳定的网格细胞放电率。为了使突触权重产生周期性的空间分布，对权重更新进行非线性限制，分别设置权重的上边界和下边界，当所有突触的任一权重超出上边界或下边界之间的范围时，通过竞争对所有突触的权重等比例缩放，使得所有的突触权重在上边界和下边界之间。由上述方法获得网格细胞的响应值。
这里提到的权重上、下边界是指将学习的权重进行等比例放大或缩小，类似归一化，这样做的目的可以加速算法运行速度。
S2.3.3在构建所述环境位置感知过程中获取当前时刻环境中位置细胞活性。
当前时刻第i个位置细胞活性强度fi(t)为：
其中，n为网格细胞的总个数，
为网格细胞i到位置细胞j的连接权重，Cinh取值1.2，为位置细胞的抑制常数，用来控制位置细胞放电野个数，ξj(t)为t时刻第j个网格细胞的的响应值。[·]+表示输出值为非负值，α取值0.8，为位置细胞活性常数，防止位置细胞活性较小，无法估计当前位置。反映射网络学习模型采用上述细胞活性强度的算式，不仅考虑了神经元之间的前向连接，还考虑了神经元之间的横向连接。在训练结果中，通过我们的算法竞争获胜的网格细胞更加符合生理学特性。并且随着探索时间的增长，定位误差越来越小。
S2.3.4建立新的记忆感知模板，同时与当前位置信息进行关联，获取关联之后的位置细胞活性。
对于每个新的环境场景，算法会建立新的记忆感知模板，同时与当前位置信息进行关联，关联之后的位置细胞活性为
其中，
取值0.8，为一个连接强度常数，决定视觉识别信息对位置细胞活动的影响，μ取值0.2，为图像增强系数，用来调节图像的亮度值。δi为第i位置细胞与对应视觉识别信息之间的连接矩阵，Vi为当前第i个位置细胞对应的视觉识别信息，视觉识别信息即采集环境信息形成的图像信息经过处理的结果，是表示环境信息的图像特征。gi(t)为第i个位置细胞在视觉关联后的活性值，fi(t)为第i个位置细胞在视觉关联前的活性值。
采用上述算法，记忆感知模板包含的信息更加丰富，不仅包括当前的场景的图像信息，还引入视觉识别信息，以及位置细胞与视觉识别信息之间的连接矩阵，从而令上述算法包含了当前场景的位置信息以为和不同位置之间的拓扑关系。
S2.3.5通过关联后的当前位置细胞活性之间的相互竞争获取位置感知信息。
步骤S3采用记忆感知模板和视觉感知记忆库对位置感知信息进行修正；
具体包括：当机器人在环境中进行漫游时，采集的视觉记忆模板与存储在系统中的视觉感知记忆库中的场景相似时，使用当前记忆感知模板，视觉感知记忆库以及位置感知信息进行匹配，首先，采用视觉传感器获取环境图像，对采取的环境信息进行处理，得到表征环境位置信息的记忆感知模板。其记忆感知模板的活性强度
为：
其中，G＝[x,y]为移动机器人的当前位置信息。Vi(G)是移动机器人G位置的视觉识别信息，其中i表示对应的时刻点，β为常数，在需要探索的空间环境中，保证有足够的表征环境位置信息的记忆点，经过多次试验可得β＝0.8时效果最好。B＝0.1是用来判断当前时刻记忆感知模板是否被激活而设置的记忆常数，即当且仅当某个视觉感知记忆库接收到的环境识别信息输入量导致相应记忆感知模板的活性强度达到所有时刻点最大显著度的80％以上时，视觉感知记忆库中对应的记忆感知模板才会在这一时刻激活。a取值0.9，为记忆感知模板幅值常数，防止记忆感知模板活性较大导致误匹配。
因此当到达经历过的环境位置时，对应的记忆感知模板放电率将达到最大，进行一次闭环检测，利用被激活的视觉感知记忆库，将其对应的记忆感知模板中视觉识别信息和连接矩阵引入之前与记忆感知模板关联后的细胞活性的算式，关联后的当前位置细胞活性被修正后再通过位置细胞之间的相互竞争获取位置感知信息。
步骤S4通过记忆感知模板与位置感知信息的相互联系，对自感知空间地图进行绘制，当视觉感知记忆库被激活的情况下，通过记忆感知模板、视觉感知记忆库与位置感知信息的相互联系，对自感知空间地图进行校正。
下面以结合具体实验对上述构建视觉感知记忆库的过程进行说明。
图4至图7分别给出了环境探索时，在环境中采集的环境样本信息，不同探索时间下记忆感知模板的生成结果、自感知位置信息的生成结果。在公开数据集KITTI数据集00序列进行测试，其中图8为在环境中未经关联修正的轨迹图。图9提供了本方案在闭环检测中的位置估计图，其中红色连接线条表示检测到的熟悉场景，图10是经过记忆感知模板，自感知运动信息，视觉感知记忆库之间相关联修正的轨迹图。
表1
表2
基于闭环检测校正的移动机器人地图构建方法的位置估计定位误差的实验数据如表1、2所示，其中表1是在正方形环境下探索结束后的定位精度分析表，表2是在正六方形环境下探索结束后的定位精度分析表。
由表1和表2可知，移动机器人在正方形环境和正六边形环境中的探索时长与定位精度的关系。起初探索时间较短，定位误差较大，但随着对场景熟悉程度的增加，定位误差逐渐减小并趋于稳定。从表中可以得出，在不同的环境下，本文方法依然能够取得较好的定位精度。
当存在复杂未知环境时，使用基于自感知运行下的基于视觉闭环检测校正的移动机器人地图构建方法具有明显的实时性优势，提高定位精度，同时利用闭环检测减小位置估计图的失真率。
下面将用另一组实验对本实施例的方法进行说明：选取室内长方形会议桌构建的环形场地作为实验环境，本文选取学校会议室为室内实验场景，如图15所示，大小为5m×7m。图11为会议室场景的平面布局图，其中虚线部分为会议桌，阴影部分为桌子，椅子等障碍物。a、b、c为机器人在实验场景中的位置，移动机器人围绕会议桌运动的过程中实时获取图像信息并处理。
移动机器人从a点位置出发，围绕会议桌做逆时针运动两圈，最后回到a点位置。图12为移动机器人运行到c点位置时的里程计轨迹，图13为移动机器人运行到b点位置时的里程计轨迹，图14为移动机器人运行结束时的里程计轨迹。图15为运行到c点时经过记忆感知模板，自感知运动信息，视觉感知记忆库之间相关联修正的轨迹图，图16为运行到b点时经过记忆感知模板，自感知运动信息，视觉感知记忆库之间相关联修正的轨迹图，图17为运行结束时经过记忆感知模板，自感知运动信息，视觉感知记忆库之间相关联修正的轨迹图。图18为运动到c点时对应的位置细胞响应图，图19为运动到d点时对应的位置细胞响应图，图20为运动结束时对应的位置细胞响应图。
从图12、15中可以看出当运行到第一圈的c点位置时，视觉里程计轨迹和本文算法都有漂移误差，但当运行到第二圈的b点位置时，视觉里程计误差漂移越来越严重，但是仿生自感知SLAM算法检测到回到了以前的场景，开始激活记忆感知模板进行重定位，构建的运行轨迹图经过记忆感知模板，视觉感知记忆库和自感知位置信息的相互关联修正了之前的误差。图14、17是运动完之后的里程计轨迹和经过记忆感知模板，自感知运动信息，视觉感知记忆库之间相关联修正的轨迹图。从图中可以看出，可以看出本文算法在未进行闭环修正之前，误差随着时间的增加而增大，经过熟悉场景时，开始经过记忆感知模板，视觉感知记忆库和自感知位置信息的相互关联修正了之前的误差。而传统的里程计没有位置修正这一环节，所以随着时间的增加，漂移误差越来越大。
由上述实验可知，基于闭环检测校正的移动机器人地图构建方法不仅完成了二维地图环境下位置估计图绘制，而且提高了闭环检测的准确率，减小了定位误差和轨迹图偏差，改善了位置估计图定位精度，实现了位置估计图的优化。
实施例二：
与本发明实施例一对应，本发明实施例二提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时依照实施例一的方法实现以下步骤：
步骤S1，根据视觉系统采集环境信息构建表征空间位置的记忆感知模板，并生成对应的视觉感知记忆库；
步骤S2：根据陀螺仪和加速度计采集自感知运动信息更新位置感知信息；
步骤S3，将当前的记忆感知模板和视觉感知记忆库相关联，当到达经历过的环境位置时，通过计算记忆感知模板的活性强度激活相应视觉感知记忆库；
步骤S4，根据得到的位置感知信息与视觉感知记忆库、记忆感知模板相互联系后对自感知空间地图进行绘制和校正。
上述存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、光盘等各种可以存储程序代码的介质。
上述关于计算机可读存储介质中程序执行后实现步骤的具体限定可以参见实施例一，在此不再做详细说明。
实施例三
与本发明实施例一对应，本发明实施例三提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时依照实施例一的方法实现以下步骤：
步骤S1，根据视觉系统采集环境信息构建表征空间位置的记忆感知模板，并生成对应的视觉感知记忆库；
步骤S2：根据陀螺仪和加速度计采集自感知运动信息更新位置感知信息；
步骤S3，将当前的记忆感知模板和视觉感知记忆库相关联，当到达经历过的环境位置时，通过计算记忆感知模板的活性强度激活相应视觉感知记忆库；
步骤S4，根据得到的位置感知信息与视觉感知记忆库、记忆感知模板相互联系后对自感知空间地图进行绘制和校正。
上述关于计算机设备实现步骤的具体限定可以参见实施例一，在此不再做详细说明。
需要说明的是，本发明的说明书附图中的框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与获得机指令的组合来实现。
上面结合附图对本发明进行了示例性描述，显然本发明具体实现并不受上述方式的限制，只要采用了本发明的发明构思和技术方案进行的各种非实质性的改进，或未经改进将本发明构思和技术方案直接应用于其它场合的，均在本发明保护范围之内。
Claims (8)
1.基于闭环检测校正的移动机器人地图构建方法，其特征在于，所述方法包括：
步骤S1，根据视觉系统采集环境信息构建表征空间位置的记忆感知模板，并生成对应的视觉感知记忆库；
步骤S2：根据陀螺仪和加速度计采集自感知运动信息更新位置感知信息：
先对自感知运动信息进行方向和位移编码，经过路径整合后，再通过自感知反映射网络学习得到当前时刻的位置细胞活性强度，将当前位置的记忆感知模板与位置细胞进行关联，得到关联之后的位置细胞活性强度，最后通过关联后的位置细胞活性之间的相互竞争获取位置感知信息；
步骤S3，将当前的记忆感知模板和视觉感知记忆库相关联，当到达经历过的环境位置时，通过计算记忆感知模板的活性强度激活相应视觉感知记忆库；
步骤S4，根据得到的位置感知信息对自感知空间地图进行绘制，当视觉感知记忆库被激活时，将对应的视觉感知记忆库与位置细胞相关联，得到关联之后的位置细胞活性强度，以此对位置感知信息进行修正，并进一步对自感知空间地图进行校正；
所述步骤S2中，在构建所述环境位置感知过程中获取当前时刻环境中第i个位置细胞活性强度fi(t)，关联之后的位置细胞活性强度为：
其中，
为一个连接强度常数，决定视觉识别信息对位置细胞活动的影响，μ为图像增强系数，用来调节图像的亮度值；δi为第i位置细胞与对应视觉识别信息之间的连接矩阵，Vi为当前第i个位置细胞对应的视觉识别信息，视觉识别信息即采集环境信息形成的图像信息经过处理的结果，是表示环境信息的图像特征；
在激活视觉感知记忆库的情况下，同样采用上述算式将位置细胞活性强度与视觉感知记忆库相关联，此时Vi是对应视觉感知记忆库的视觉识别信息。
2.根据权利要求1所述的基于闭环检测校正的移动机器人地图构建方法，其特征在于：所述步骤S2中，将编码整合获取的速度信息和方向信息映射到自感知反映射网络层，获得网格细胞的兴奋值，具体如下：
网格细胞层为自感知反映射网络输出层，网格细胞放电率随着机器人运动而发生变化，根据自感知反映射网络学习规则，网格细胞的兴奋值更新规则如下式所示：
Rp＝1/exp(||Xpos-Xwall||)
其中，θ为瞬时角速度信息，κ为网格细胞空间尺度参数，v为机器人当前速度，μ为网格细胞幅值抑制常数，决定网格细胞放电率幅值，
的值为负数，为第j个网格细胞的抑制水平，
的值为正数，为第j个网格细胞的兴奋水平，Rp为t时刻网格细胞放电率调节因子，用于根据边界位置信息调整网格细胞兴奋值，Xpos为当前机器人的位置信息，Xwall为正前方的边界位置信息，边界位置信息为机器人与前方障碍物的距离信息，可以通过距离感应器单独测定，n为网格细胞总数量，χj为第j个网格细胞的兴奋值，
为兴奋度连接常数以防止在训练过程中某些权值一直获胜。
3.根据权利要求1所述的基于闭环检测校正的移动机器人地图构建方法，其特征在于：所述步骤S2中，根据自感知反映射网络学习规则进行权重学习，获得网格细胞的响应值，具体如下：
自感知反映射网络采用双极性激活函数，激活函数的取值范围[-1,1]，输入与输出同号时加大权重，否则降低权重，自感知反映射网络的输出值为网格细胞响应值，其输出值的算式如下所示：
其中，n为网格细胞的总个数，ξj(t)为当前时刻的第j个网格细胞响应值，ξj(t-1)为前一时刻的第j个网格细胞响应值，χj(t)为当前时刻第j个网格细胞的兴奋值，η为学习率常数，决定当前网络的学习速度，通过在环境中的探索与学习，更新后的突触权重呈六边形周期分布，得到稳定的网格细胞放电率，为了使突触权重产生周期性的空间分布，对权重更新进行非线性限制，分别设置权重的上边界和下边界，当所有突触的任一权重超出上边界或下边界之间的范围时，通过竞争对所有突触的权重等比例缩放，使得所有的突触权重在上边界和下边界之间。
4.根据权利要求1所述的基于闭环检测校正的移动机器人地图构建方法，其特征在于：所述步骤S2中，在构建所述环境位置感知过程中获取当前时刻环境中位置细胞活性，具体如下：
当前时刻第i个位置细胞活性强度fi(t)为：
其中，n为网格细胞的总个数，
为网格细胞i到位置细胞j的连接权重，Cinh为位置细胞的抑制常数，用来控制位置细胞放电野个数，ξj(t)为t时刻第j个网格细胞的响应值，符号[·]+表示输出值为非负值，α为位置细胞活性常数，防止位置细胞活性较小，无法估计当前位置。
5.根据权利要求1所述的基于闭环检测校正的移动机器人地图构建方法，其特征在于：所述步骤S3中，记忆感知模板的活性强度
为：
其中，G＝[x,y]为移动机器人的当前位置信息；Vi(G)是移动机器人G位置的视觉识别信息，其中i表示对应的时刻点，β为常数，用于在需要探索的空间环境中，保证有足够的表征环境位置信息的记忆点，B是用来判断当前时刻记忆感知模板是否被激活而设置的记忆常数，即当且仅当某个视觉感知记忆库接收到的环境识别信息输入量导致相应记忆感知模板的活性强度达到所有时刻点最大显著度的一定阈值以上时，视觉感知记忆库中对应的记忆感知模板才会在这一时刻激活；a为记忆感知模板幅值常数，防止记忆感知模板活性较大导致误匹配。
6.根据权利要求1所述的基于闭环检测校正的移动机器人地图构建方法，其特征在于：所述步骤S1中，视觉系统采集环境信息形成的图像信息经过处理后提取图像特征的信息形成记忆感知模板，再其标准化后储存形成对应当前位置的视觉感知记忆库，上述方法采用双目视觉感知图作为视觉感知记忆库，记忆感知单元由一个一维记忆单元阵列组成，每个记忆单元对应一个特定的当前位置场景信息。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1-6中任一所述的基于闭环检测校正的移动机器人地图构建方法的步骤。
8.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于：所述处理器执行所述计算机程序时实现如权利要求1-6中任一所述的基于闭环检测校正的移动机器人地图构建方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110250358.XA CN113009917B (zh) | 2021-03-08 | 2021-03-08 | 基于闭环检测校正的移动机器人地图构建方法、存储介质及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110250358.XA CN113009917B (zh) | 2021-03-08 | 2021-03-08 | 基于闭环检测校正的移动机器人地图构建方法、存储介质及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113009917A CN113009917A (zh) | 2021-06-22 |
| CN113009917B true CN113009917B (zh) | 2022-02-15 |
Family
ID=76408219
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110250358.XA Active CN113009917B (zh) | 2021-03-08 | 2021-03-08 | 基于闭环检测校正的移动机器人地图构建方法、存储介质及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113009917B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106125730A (zh) * | 2016-07-10 | 2016-11-16 | 北京工业大学 | 一种基于鼠脑海马空间细胞的机器人导航地图构建方法 |
| CN106949896A (zh) * | 2017-05-14 | 2017-07-14 | 北京工业大学 | 一种基于鼠脑海马的情景认知地图构建及导航方法 |
| CN110019582A (zh) * | 2017-08-28 | 2019-07-16 | 中国科学院沈阳自动化研究所 | 基于空间与运动联合编码的认知地图构建方法 |
| CN110210462A (zh) * | 2019-07-02 | 2019-09-06 | 北京工业大学 | 一种基于卷积神经网络的仿生海马认知地图构建方法 |
| CN111552298A (zh) * | 2020-05-26 | 2020-08-18 | 北京工业大学 | 一种基于鼠脑海马空间细胞的仿生定位方法 |
| CN111813113A (zh) * | 2020-07-06 | 2020-10-23 | 安徽工程大学 | 仿生视觉自运动感知地图绘制方法、存储介质及设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11505292B2 (en) * | 2014-12-31 | 2022-11-22 | FLIR Belgium BVBA | Perimeter ranging sensor systems and methods |
-
2021
- 2021-03-08 CN CN202110250358.XA patent/CN113009917B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106125730A (zh) * | 2016-07-10 | 2016-11-16 | 北京工业大学 | 一种基于鼠脑海马空间细胞的机器人导航地图构建方法 |
| CN106949896A (zh) * | 2017-05-14 | 2017-07-14 | 北京工业大学 | 一种基于鼠脑海马的情景认知地图构建及导航方法 |
| CN110019582A (zh) * | 2017-08-28 | 2019-07-16 | 中国科学院沈阳自动化研究所 | 基于空间与运动联合编码的认知地图构建方法 |
| CN110210462A (zh) * | 2019-07-02 | 2019-09-06 | 北京工业大学 | 一种基于卷积神经网络的仿生海马认知地图构建方法 |
| CN111552298A (zh) * | 2020-05-26 | 2020-08-18 | 北京工业大学 | 一种基于鼠脑海马空间细胞的仿生定位方法 |
| CN111813113A (zh) * | 2020-07-06 | 2020-10-23 | 安徽工程大学 | 仿生视觉自运动感知地图绘制方法、存储介质及设备 |
Non-Patent Citations (1)
| Title |
|---|
| Bionic SLAM based on MEMS pose measurement module and RTAB-Map closed loop detection algorithm;MengYuan Chen;《CLUSTER COMPUTING-THE JOURNAL OF NETWORKS SOFTWARE TOOLS AND APPLICATIONS》;20191013;5367–5378 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113009917A (zh) | 2021-06-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021082571A1 (zh) | 机器人跟踪方法、装置、设备及计算机可读存储介质 | |
| CN111813113B (zh) | 仿生视觉自运动感知地图绘制方法、存储介质及设备 | |
| CN112949407B (zh) | 一种基于深度学习和点集优化的遥感影像建筑物矢量化方法 | |
| CN110401978B (zh) | 基于神经网络和粒子滤波多源融合的室内定位方法 | |
| CN112486197B (zh) | 基于多源图像自适应选权的融合定位跟踪控制方法 | |
| CN108320051B (zh) | 一种基于gru网络模型的移动机器人动态避碰规划方法 | |
| CN104778699B (zh) | 一种自适应对象特征的跟踪方法 | |
| CN114998276B (zh) | 一种基于三维点云的机器人动态障碍物实时检测方法 | |
| CN114693787B (zh) | 停车库建图与定位方法、系统及车辆 | |
| CN112052802A (zh) | 一种基于机器视觉的前方车辆行为识别方法 | |
| CN106679672A (zh) | 一种基于dbn和卡尔曼滤波算法的agv定位算法 | |
| WO2022021661A1 (zh) | 一种基于高斯过程的视觉定位方法、系统及存储介质 | |
| Yu et al. | A deep-learning-based strategy for kidnapped robot problem in similar indoor environment | |
| CN113689502B (zh) | 一种多信息融合的障碍物测量方法 | |
| CN114739391A (zh) | 跟踪目标的定位优化方法 | |
| CN111123953A (zh) | 人工智能大数据下粒子化移动机器人组及其控制方法 | |
| Nandkumar et al. | Simulation of Indoor Localization and Navigation of Turtlebot 3 using Real Time Object Detection | |
| CN114047766A (zh) | 面向室内外场景长期应用的移动机器人数据采集系统及方法 | |
| CN113009917B (zh) | 基于闭环检测校正的移动机器人地图构建方法、存储介质及设备 | |
| CN112904388A (zh) | 基于领航者策略的融合定位跟踪控制方法 | |
| CN115950414A (zh) | 一种不同传感器数据的自适应多重融合slam方法 | |
| CN112307917A (zh) | 一种融合视觉里程计及imu的室内定位方法 | |
| CN115235505A (zh) | 一种基于非线性优化的视觉里程计方法 | |
| CN112025709B (zh) | 一种基于车载摄像头视觉的移动机器人定位系统及方法 | |
| CN114462545A (zh) | 一种基于语义slam的地图构建方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |