CN115774265A - 用于工业机器人的二维码和激光雷达融合定位方法与装置 - Google Patents

用于工业机器人的二维码和激光雷达融合定位方法与装置 Download PDF

Info

Publication number
CN115774265A
CN115774265A CN202310113218.7A CN202310113218A CN115774265A CN 115774265 A CN115774265 A CN 115774265A CN 202310113218 A CN202310113218 A CN 202310113218A CN 115774265 A CN115774265 A CN 115774265A
Authority
CN
China
Prior art keywords
point cloud
coordinate system
pose
dimensional code
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310113218.7A
Other languages
English (en)
Other versions
CN115774265B (zh
Inventor
秦晓辉
周云水
李建中
秦兆博
谢国涛
王晓伟
徐彪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Jicui Qinglian Intelligent Control Technology Co ltd
Original Assignee
Jiangsu Jicui Qinglian Intelligent Control Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Jicui Qinglian Intelligent Control Technology Co ltd filed Critical Jiangsu Jicui Qinglian Intelligent Control Technology Co ltd
Priority to CN202310113218.7A priority Critical patent/CN115774265B/zh
Publication of CN115774265A publication Critical patent/CN115774265A/zh
Application granted granted Critical
Publication of CN115774265B publication Critical patent/CN115774265B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种用于工业机器人的二维码和激光雷达融合定位方法与装置，其中方法包括：步骤1，检测图像数据中的二维码信息，结合预先标定的相机坐标系
Figure ZY_2
和
Figure ZY_5
坐标系
Figure ZY_7
之间的转换关系
Figure ZY_1
，获得世界坐标系到
Figure ZY_4
坐标系的变换关系
Figure ZY_6
；步骤2，融合变换关系
Figure ZY_8
和点云信息，进行全局定位建图，获得机器人位姿
Figure ZY_3
。本发明能够提升系统的鲁棒性。

Description

用于工业机器人的二维码和激光雷达融合定位方法与装置
技术领域
本发明涉及工业机器人定位技术领域，特别是关于一种用于工业机器人的二维码和激光雷达融合定位方法与装置。
背景技术
定位导航精度一直是工业机器人自动化研究的重难点，传统基于磁条或电磁的导航技术限制了机器人的运行路线，其运行路径难以更改、设备难以维护。
例如：基于
Figure SMS_1
（英文全称为“
Figure SMS_2
”，中文全称为“超带宽”）的定位方式在小范围内部署容易、精度高，然而成本也更高，且难以完成大规模室内掩盖。
还例如：激光
Figure SMS_3
（英文全称为“Simultaneous Localization and Mapping”，中文全称为“同时定位与建图”）技术可有效解决路线变更的难题，然而，面对单一、缺少充足轮廓信息的仓库或工厂环境，其定位易出现退化，且长距离定位存在累计误差，单独依靠激光雷达进行定位难以满足复杂多变的场景需求。
另外，现有还有使用低成本的视觉二维码进行定位的方法，二维码的空间位置可以通过高精度的测绘来获得，布置精度可以达到亚毫米级，工业机器人在检测到二维码时可获得准确的全局位姿，然而二维码不适合在大型室内场景的每一处都进行布置。
发明内容
本发明的目的在于提供一种用于工业机器人的二维码和激光雷达融合定位方法与装置来克服或至少减轻现有技术的上述缺陷中的至少一个。
为实现上述目的，本发明提供一种用于工业机器人的二维码和激光雷达融合定位方法，其包括：
步骤1，检测图像数据中的二维码信息，结合预先标定的相机坐标系
Figure SMS_4
和
Figure SMS_5
坐标系
Figure SMS_6
之间的转换关系
Figure SMS_7
，获得世界坐标系到
Figure SMS_8
坐标系的变换关系
Figure SMS_9
；以及
步骤2，融合变换关系
Figure SMS_10
和点云信息，进行全局定位建图，获得机器人位姿
Figure SMS_11
；
其中，步骤1具体包括：
步骤11，获取二维码信息中二维码的标记点
Figure SMS_12
的世界坐标
Figure SMS_13
，
Figure SMS_14
为在图像数据上检测到的标记点
Figure SMS_15
的总数；
步骤12，将世界坐标
Figure SMS_16
转换到
Figure SMS_17
坐标系中，得到标记点
Figure SMS_18
的
Figure SMS_19
坐标
Figure SMS_20
；
步骤13，获取变换关系
Figure SMS_21
：
将二维码定位问题转化为第一优化问题（3），其中，
Figure SMS_22
表示利用“相机
Figure SMS_23
坐标系到世界坐标转换”构建的约束，
Figure SMS_24
为最小二乘运算符：
Figure SMS_25
（3）
根据
Figure SMS_26
，
Figure SMS_27
表示世界坐标系到
Figure SMS_28
坐标系的旋转变换矩阵，
Figure SMS_29
表示下式（4）描述的世界坐标系到
Figure SMS_30
坐标系的平移变换矩阵；
Figure SMS_31
（4）
式（4）中，
Figure SMS_32
为中心点的世界坐标，
Figure SMS_33
为中心点的
Figure SMS_34
坐标，
Figure SMS_35
表示世界坐标系到
Figure SMS_36
坐标系的旋转变换矩阵。
进一步地，旋转变换矩阵
Figure SMS_37
的获取方法具体包括：
先用下式（7）计算
Figure SMS_38
和
Figure SMS_39
以及标记点
Figure SMS_40
相对中心点的世界坐标
Figure SMS_41
和像素坐标
Figure SMS_42
，再用下式（8）求解
Figure SMS_43
：
Figure SMS_44
（7）
Figure SMS_45
（8）
式中，
Figure SMS_48
为标记点
Figure SMS_50
的
Figure SMS_54
坐标，
Figure SMS_47
为标记点
Figure SMS_53
在相机坐标系下的
Figure SMS_57
轴坐标，
Figure SMS_59
为地面先验中的
Figure SMS_49
投影矩阵，
Figure SMS_52
表示标记点
Figure SMS_56
的像素坐标，
Figure SMS_58
表示取三维向量的
Figure SMS_46
、
Figure SMS_51
二维数据，
Figure SMS_55
为标记点
Figure SMS_60
的世界坐标
Figure SMS_61
。
进一步地，步骤2具体包括：
步骤21，检测点云信息中当前帧对应的图像帧的二维码；
步骤22，在检测到点云信息中当前帧对应的图像帧有二维码的情形下，结合二维码世界坐标，求解机器人位姿
Figure SMS_62
；
步骤23，在未检测到点云信息中当前帧对应的图像帧有二维码的情形下，利用历史关键帧的位姿信息，构建局部点云地图，提取当前帧点云中的特征点，并与局部点云地图相匹配，以获得机器人位姿估计信息，待重新检测到点云信息中当前帧对应的图像帧有二维码的情形下，融合变换关系
Figure SMS_63
和激光里程计定位信息，获得机器人位姿
Figure SMS_64
。
进一步地，步骤23中的关键帧的获取方法包括：
步骤231a，判断当前时刻与上一时刻的位姿变化量是否大于预先设定的位姿变化量阈值，若是，则为关键帧，否则为非关键帧；
步骤232a，将非关键帧点云投影至当前关键帧点云，并对投影获得的关键帧点云进行滤波，再存储关键帧位姿及其对应的点云。
进一步地，步骤23中的“融合变换关系
Figure SMS_65
和激光里程计定位信息，获得机器人位姿
Figure SMS_66
”的方法具体包括：
步骤231c，根据变换关系
Figure SMS_67
，结合预先标定的
Figure SMS_68
坐标系到激光雷达坐标系的变换矩阵
Figure SMS_69
，用下式（17）获取激光雷达在世界坐标系下的位姿
Figure SMS_70
，再利用
Figure SMS_71
构建关键帧约束、关键帧局部点云地图或全局点云地图；
Figure SMS_72
（17）
步骤232c，通过将当前帧点云中的特征点与局部点云地图或全局点云地图进行匹配，构建下式（18）描述的点云重投影代价函数，获得机器人位姿
Figure SMS_73
：
Figure SMS_74
（18）
其中，
Figure SMS_84
为平面特征点的重投影误差，由下式（19）获得，
Figure SMS_76
为当前帧平面特征点云中的第
Figure SMS_86
个平面特征点，
Figure SMS_83
为待优化旋转参数，
Figure SMS_92
为待优化平移参数，
Figure SMS_82
为
Figure SMS_91
在局部点云地图或全局点云地图中的最近点，
Figure SMS_77
为
Figure SMS_88
所在平面的单位法向量，
Figure SMS_75
为边线特征点的重投影误差，由下式（20）获得，
Figure SMS_85
为当前帧边线特征点云中的第
Figure SMS_78
个边线特征点，
Figure SMS_87
为
Figure SMS_79
在局部或全局点云地图中的最近点，
Figure SMS_90
为
Figure SMS_81
在局部或全局点云地图中与
Figure SMS_89
不在同一线束上的最近点，
Figure SMS_80
为待优化成本函数；
Figure SMS_93
（19）
Figure SMS_94
（20）
式中，
Figure SMS_95
表示
Figure SMS_96
范数运算，上标
Figure SMS_97
表示转置。
本发明还提供一种用于工业机器人的二维码和激光雷达融合定位装置，其包括：
二维码信息定位模块，其用于检测图像数据中的二维码信息，结合预先标定的相机坐标系
Figure SMS_98
和
Figure SMS_99
坐标系
Figure SMS_100
之间的转换关系
Figure SMS_101
，获得世界坐标系到
Figure SMS_102
坐标系的变换关系
Figure SMS_103
；以及
位姿获取模块，其用于融合变换关系
Figure SMS_104
和点云信息，进行全局定位建图，获得机器人位姿
Figure SMS_105
；
其中，二维码信息定位模块具体包括：
世界坐标获取单元，其用于获取二维码信息中二维码的标记点
Figure SMS_106
的世界坐标
Figure SMS_107
，
Figure SMS_108
为在图像数据上检测到的标记点
Figure SMS_109
的总数；
Figure SMS_110
坐标获取单元，其用于将世界坐标
Figure SMS_111
转换到
Figure SMS_112
坐标系中，得到标记点
Figure SMS_113
的
Figure SMS_114
坐标
Figure SMS_115
；
坐标系变换单元，其用于获取变换关系
Figure SMS_116
：
将二维码定位问题转化为第一优化问题（3），其中，
Figure SMS_117
表示利用“相机
Figure SMS_118
坐标系到世界坐标转换”构建的约束，
Figure SMS_119
为最小二乘运算符：
Figure SMS_120
（3）
根据
Figure SMS_121
，
Figure SMS_122
表示世界坐标系到
Figure SMS_123
坐标系的旋转变换矩阵，
Figure SMS_124
表示下式（4）描述的世界坐标系到
Figure SMS_125
坐标系的平移变换矩阵；
Figure SMS_126
（4）
式（4）中，
Figure SMS_127
为中心点的世界坐标，
Figure SMS_128
为中心点的
Figure SMS_129
坐标，
Figure SMS_130
表示世界坐标系到
Figure SMS_131
坐标系的旋转变换矩阵。
进一步地，旋转变换矩阵
Figure SMS_132
的获取方法具体包括：
先用下式（7）计算
Figure SMS_133
和
Figure SMS_134
以及标记点
Figure SMS_135
相对中心点的世界坐标
Figure SMS_136
和像素坐标
Figure SMS_137
，再用下式（8）求解
Figure SMS_138
：
Figure SMS_139
（7）
Figure SMS_140
（8）
式中，
Figure SMS_148
为标记点
Figure SMS_143
的
Figure SMS_153
坐标，
Figure SMS_144
为标记点
Figure SMS_152
在相机坐标系下的
Figure SMS_149
轴坐标，
Figure SMS_155
为地面先验中的
Figure SMS_142
投影矩阵，
Figure SMS_154
表示标记点
Figure SMS_141
的像素坐标，
Figure SMS_150
表示取三维向量的
Figure SMS_145
、
Figure SMS_151
二维数据，
Figure SMS_147
为标记点
Figure SMS_156
的世界坐标
Figure SMS_146
。
进一步地，位姿获取模块具体包括：
二维码检测单元，其用于检测点云信息中当前帧对应的图像帧的二维码；
第一位姿获取单元，其用于在检测到点云信息中当前帧对应的图像帧有二维码的情形下，根据变换关系
Figure SMS_157
，获得机器人位姿
Figure SMS_158
；
第二位姿获取单元，其用于在未检测到点云信息中当前帧对应的图像帧有二维码的情形下，利用历史关键帧的位姿信息，构建局部点云地图，提取当前帧点云中的特征点，并与局部点云地图相匹配，以获得机器人位姿估计信息，待重新检测到点云信息中当前帧对应的图像帧有二维码的情形下，融合变换关系
Figure SMS_159
和激光里程计定位信息，获得机器人位姿
Figure SMS_160
。
进一步地，第二位姿获取单元具体包括：
位姿变化量判断子单元，其用于判断当前时刻与上一时刻的位姿变化量是否大于预先设定的位姿变化量阈值，若是，则为关键帧，否则为非关键帧；
关键帧点云处理子单元，其用于将非关键帧点云投影至当前关键帧点云，并对投影获得的关键帧点云进行滤波，再存储关键帧位姿及其对应的点云。
进一步地，位姿获取模块具体还包括信息融合单元；
信息融合单元具有：
二维码定位子单元，其用于根据变换关系
Figure SMS_161
，结合预先标定的
Figure SMS_162
坐标系到激光雷达坐标系的变换矩阵
Figure SMS_163
，用下式（17）获取激光雷达在世界坐标系下的位姿
Figure SMS_164
；
Figure SMS_165
（17）
优化子单元，其用于通过将当前帧点云中的特征点与局部点云地图或全局点云地图进行匹配，构建下式（18）描述的点云重投影代价函数，获得机器人位姿
Figure SMS_166
：
Figure SMS_167
（18）
其中，
Figure SMS_168
为平面特征点的重投影误差，由下式（19）获得，
Figure SMS_169
为当前帧平面特征点云中的第
Figure SMS_173
个平面特征点，
Figure SMS_175
为待优化旋转参数，
Figure SMS_179
为待优化平移参数，
Figure SMS_172
为
Figure SMS_176
在局部点云地图或全局点云地图中的最近点，
Figure SMS_180
为
Figure SMS_183
所在平面的单位法向量，
Figure SMS_170
为边线特征点的重投影误差，由下式（20）获得，
Figure SMS_174
为当前帧边线特征点云中的第
Figure SMS_178
个边线特征点，
Figure SMS_182
为
Figure SMS_171
在局部或全局点云地图中的最近点，
Figure SMS_177
为
Figure SMS_181
在局部或全局点云地图中与
Figure SMS_184
不在同一线束上的最近点，
Figure SMS_185
为待优化成本函数；
Figure SMS_186
（19）
Figure SMS_187
（20）
式中，
Figure SMS_188
表示
Figure SMS_189
范数运算，上标
Figure SMS_190
表示转置。
由于本发明通过融合地面模型改进了传统二维码定位方法，通过激光里程计结合二维码定位位姿进行位姿校正，因此能够提升二维码定位精度。还由于本发明引入双地图策略，在普通工况和高动态工况下采取不同的定位策略，例如，为了有效避免累计误差在大多数区域采用全局点云地图以及少量二维码进行定位，而在少数动态加工区域，采用局部点云地图以及较密集的二维码进行定位，因此，本发明能够提升系统的鲁棒性。
附图说明
图1为本发明实施例提供的用于工业机器人的二维码和激光雷达融合定位的框架图。
图2为采用本发明与现有的公开号为CN115014338A的专利技术的定位效果的实验比对示意图。
具体实施方式
下面结合附图和实施例对本发明进行详细的描述。
如图1所示，本发明实施例提供的用于工业机器人的二维码和激光雷达融合定位方法包括：
步骤1，二维码定位：检测图像数据中的二维码信息，结合预先标定的相机坐标系
Figure SMS_191
和
Figure SMS_192
坐标系
Figure SMS_193
之间的转换关系
Figure SMS_194
，获得世界坐标系到
Figure SMS_195
坐标系的变换关系
Figure SMS_196
，即相机位姿。其中，
Figure SMS_197
的标定方法为现有技术，在此不再赘述。
在一个实施例中，步骤1具体包括：
步骤11，二维码检测：获取二维码信息中二维码的标记点
Figure SMS_199
的世界坐标
Figure SMS_203
，
Figure SMS_206
为在图像数据上检测到的标记点
Figure SMS_200
的总数。其中，采用基于二进制编码的
Figure SMS_201
（英文全称为“Augmented Reality Library from the University of Cordoba”，中文全称为“科尔多瓦大学提出的一种增强现实库”）码或
Figure SMS_204
（一种视觉基准系统，广泛用于视觉定位和增强现实）码，获取标记点
Figure SMS_207
的世界坐标
Figure SMS_198
，即标记点
Figure SMS_202
的在世界坐标系中的坐标
Figure SMS_205
。本步骤方法可以采用新有方法实现，在此不再展开描述。本实施例选取的标记点是二维码的轮廓外围框的四个角点。当然，本领域技术人员可以根据实际应用场景和需求选取其他点作为标记点。
步骤12，标记点
Figure SMS_209
（英文全称为“Inverse Perspective Mapping”，中文全称为“逆透视变换”）变换：将世界坐标
Figure SMS_211
转换到
Figure SMS_214
坐标系中，得到标记点
Figure SMS_210
的
Figure SMS_212
坐标
Figure SMS_215
，即标记点
Figure SMS_216
的在
Figure SMS_208
坐标系中的坐标
Figure SMS_213
。
例如：将标记点
Figure SMS_217
（第
Figure SMS_218
个标记点）投影到
Figure SMS_219
坐标系，满足公式（1），且标记点
Figure SMS_220
的
Figure SMS_221
坐标表示为下式（2）：
Figure SMS_222
（1）
Figure SMS_223
（2）
式中，
Figure SMS_226
为标记点
Figure SMS_227
在相机坐标系下的
Figure SMS_230
轴坐标，
Figure SMS_225
表示标记点
Figure SMS_228
的像素坐标，
Figure SMS_231
表示取三维向量的
Figure SMS_233
、
Figure SMS_224
二维数据，
Figure SMS_229
为标记点
Figure SMS_232
的世界坐标
Figure SMS_234
。
步骤13，获取变换关系
Figure SMS_235
：
将二维码定位问题转化为第一优化问题（3），其中，
Figure SMS_236
表示利用“相机
Figure SMS_237
坐标系到世界坐标转换”构建的约束，
Figure SMS_238
为最小二乘运算符：
Figure SMS_239
（3）
根据
Figure SMS_240
，
Figure SMS_241
表示世界坐标系到
Figure SMS_242
坐标系的旋转变换矩阵，
Figure SMS_243
表示下式（4）描述的世界坐标系到
Figure SMS_244
坐标系的平移变换矩阵，为2*1向量；
Figure SMS_245
（4）
式（4）中，
Figure SMS_246
为中心点的世界坐标，
Figure SMS_247
为中心点的
Figure SMS_248
坐标，
Figure SMS_249
表示世界坐标系到
Figure SMS_250
坐标系的旋转变换矩阵，为2*2矩阵。
在一个实施例中，本实施例的中心点选取但不限于为标记点
Figure SMS_251
的世界坐标和
Figure SMS_252
坐标的质心，如：用下式（5）计算所有检测到的标记点的世界坐标和
Figure SMS_253
坐标的质心，即中心点，再用下式（6）计算所有点相对中心点的坐标：
Figure SMS_254
（5）
Figure SMS_255
（6）
式中，
Figure SMS_256
为标记点
Figure SMS_257
相对于中心点的世界坐标，
Figure SMS_258
为标记点
Figure SMS_259
相对于中心点的
Figure SMS_260
坐标。
在一个实施例中，旋转变换矩阵
Figure SMS_261
的获取方法具体包括：
先用下式（7），结合中心点的世界和
Figure SMS_262
坐标以及标记点
Figure SMS_263
相对于中心点的世界和
Figure SMS_264
坐标，获得下式（8）：
Figure SMS_265
（7）
Figure SMS_266
（8）优选地，考虑到
Figure SMS_267
可以理解为常数项，与
Figure SMS_268
无关，且
Figure SMS_269
，有：
Figure SMS_270
，那么，第一优化问题（3）可以转化为第二优化问题（9）：
Figure SMS_271
（9）
因为式（9）中的两项都不小于0，且第一项与
Figure SMS_272
无关，因此，再用下式（10）求解
Figure SMS_273
：
Figure SMS_274
（10）
式中，
Figure SMS_277
为标记点
Figure SMS_281
的
Figure SMS_285
坐标，
Figure SMS_276
为标记点
Figure SMS_280
在相机坐标系下的
Figure SMS_284
轴坐标，
Figure SMS_287
表示标记点
Figure SMS_275
的像素坐标，
Figure SMS_282
表示取三维向量的
Figure SMS_286
、
Figure SMS_288
二维数据，
Figure SMS_278
为标记点
Figure SMS_279
的世界坐标
Figure SMS_283
。
在一个实施例中，由于式（10）中的第一项旋转矩阵是正交矩阵，第二项的
Figure SMS_289
可以消掉，因此均与
Figure SMS_290
无关，从而可以将求解
Figure SMS_291
的问题可以转化为下式（11）：
Figure SMS_292
（11）
将式（11）中
Figure SMS_293
用无物理意义的中间参数替代，如下式（12）所示：
Figure SMS_294
（12）
于是，该问题转化为下式（13）：
Figure SMS_295
（13）
由于二维码的四个标记点不共线，因此该问题必定满秩。此时，对
Figure SMS_296
进行奇异值分解
Figure SMS_297
，可以得到
Figure SMS_298
的最优解为
Figure SMS_299
。
最后，求解得到的
Figure SMS_300
代入式（9）的第二项解得
Figure SMS_301
，如上式（4）所示。
上述实施例提供的方法根据已知标记点的
Figure SMS_302
坐标和世界坐标，来恢复相机位姿，可达到厘米级精度定位。
在上述实施例中，在步骤11之前还包括图像预处理：通过灰度化、二值化、滤波等操作对包含有二维码的原始图片进行预处理，减少噪声影响。其中，原始图片可以通过现有摄像机获得。
步骤2，融合定位：融合变换关系
Figure SMS_303
和点云信息，进行全局定位建图，获得机器人位姿
Figure SMS_304
。
在一个实施例中，步骤2具体包括：
步骤21，判断是否检测到二维码：检测点云信息中当前帧对应的图像帧的二维码，若判定为是，则进入步骤22，反之，则进入步骤23。
步骤22，二维码定位：在检测到点云信息中当前帧对应的图像帧有二维码的情形下，结合二维码世界坐标，求解机器人位姿
Figure SMS_305
。
步骤23，激光里程定位：在未检测到点云信息中当前帧对应的图像帧有二维码的情形下，利用历史关键帧的位姿信息，构建局部点云地图，提取当前帧点云中的特征点，并与局部点云地图相匹配，以获得机器人位姿估计信息，待重新检测到点云信息中当前帧对应的图像帧有二维码的情形下，融合变换关系
Figure SMS_306
和激光里程计定位信息，获得机器人位姿
Figure SMS_307
。本实施例通过融合变换关系
Figure SMS_308
和激光里程计定位信息，可以减少累计位姿误差，提升定位及局部点云地图构建精度，获得连续、稳定且准确的机器人位姿。
在一个实施例中，步骤23中的关键帧的获取方法包括但不限于：
步骤231a，判断当前时刻与上一时刻的位姿变化量是否大于预先设定的位姿变化量阈值，例如：位姿平移阈值0.3m或者位姿旋转阈值超过10°，若是，则为关键帧，否则为非关键帧。
步骤232a，将非关键帧点云投影至当前关键帧点云，并对投影获得的关键帧点云进行滤波，得到更加规整的点云，再存储关键帧位姿及其对应的点云。其中，关键帧位姿表示这一时刻机器人的位姿，其对应的点云指的是关键帧点云。通过点云滤波处理能够获得更加均匀、丰富、准确的点云信息，这样有效提升了点云地图精度。
在一个实施例中，步骤23中，本实施例点云采用深度图格式，通过设定空间区域特征点提取数量，以均匀特征分布，并根据六自由度（沿空间三轴平移和三轴旋转）可视性筛选特征点，“提取当前帧点云中的特征点”的方法具体包括：
步骤231b，根据激光雷达竖直视场角
Figure SMS_311
和水平视场角
Figure SMS_314
，选定行分辨率
Figure SMS_317
和列分辨率
Figure SMS_312
，例如32线旋转式激光雷达，扫描分辨率为0.2°，则行数选择为32（对应线束数量），列数选择为1800（360°/0.2°）。再用下式（14）计算深度图的行数量
Figure SMS_315
和列数量
Figure SMS_318
。其中，激光雷达竖直视场角
Figure SMS_320
指的是点云
Figure SMS_309
和激光雷达坐标系原点的第一连线与激光雷达坐标系
Figure SMS_313
平面（一般指平行于激光雷达上表面的平面）的夹角，水平视场角
Figure SMS_316
指的是第一连线在激光雷达坐标系
Figure SMS_319
平面内的投影与
Figure SMS_310
轴方向的夹角。
Figure SMS_321
（14）
步骤232b，根据点云
Figure SMS_324
的三维空间位置
Figure SMS_327
，计算激光雷达竖直视场角
Figure SMS_330
和水平视场角
Figure SMS_323
，利用角度信息计算点云
Figure SMS_326
在深度图中的行元素的数值
Figure SMS_329
和列元素的数值
Figure SMS_331
，并将其储存至深度图对应像素点
Figure SMS_322
；如下式（15）所示，
Figure SMS_325
为激光雷达竖直视场角最小值；
Figure SMS_328
为激光雷达水平视场角最小值。
Figure SMS_332
（15）
步骤233b，将深度图内的点云进行划分，采用式（16）分别计算深度图内所有点云的曲率
Figure SMS_333
，根据曲率
Figure SMS_334
的数值对深度图内的点云进行排序，按预先设定的曲率阈值，比如：0.1，其具体数值可以在调试中根据实际效果进行修正，初步筛选候选的边线特征点和待选的平面特征点，
Figure SMS_335
为计算点云曲率时在该点云所在行的左右两侧所需的点云数量，
Figure SMS_336
可以理解为常数，根据实际工况可以选取为2至10之间进行选择。
Figure SMS_337
（16）
式中，
Figure SMS_338
为点云
Figure SMS_339
的三维坐标，
Figure SMS_340
为各相邻点云的三维坐标，
Figure SMS_341
为当前点云
Figure SMS_342
在深度图中的列坐标。其中的相邻可以理解为点云左侧的
Figure SMS_343
个点云和右侧的
Figure SMS_344
个点云。
步骤234b，对提取的候选的边线特征点
Figure SMS_345
，通过聚类的方式剔除树叶等不稳定的特征点云，再计算步骤233b初步筛选得到的各候选的边线特征点与相邻点的水平角度和垂直角度，若两类角度均符合规定阈值，例如：水平阈值1°，垂直阈值3°，则将该候选的边线特征点和相邻点聚类为同一点云，剔除无法形成聚类的候选的边线特征点。其中的相邻可以理解为该点上侧、下侧、左侧和右侧各
Figure SMS_346
个点。
步骤235b，对提取的待选的平面特征点
Figure SMS_347
，通过深度图查询其上下两行临近点和左右两列临近点，再利用空间平面方程，对该点及其临近点进行平面拟合，若平面拟合成功则保留该待选的平面特征点及其所在平面单位法向量，若平面拟合失败，则删除该待选的平面特征点。
在一个实施例中，步骤23中的“与局部点云地图相匹配，以获得机器人位姿估计信息”的方法具体包括：
基于
Figure SMS_348
或
Figure SMS_349
的点云配准算法，进行点云与局部点云地图之间的配准，得到点云之间的转换矩阵，该转换矩阵可以表示为激光雷达自身的运动变化状态。
在一个实施例中，激光
Figure SMS_350
后端维护局部、全局两张点云地图。当工业机器人移动到环境易变的区域时（例如大型加工工件附近、堆放流动货物的货架附近等），维护局部点云地图进行定位；在其它区域，则定时更新全局点云地图，先基于全局点云地图进行定位，若定位失败再基于局部点云地图进行定位。
步骤23中的“融合变换关系
Figure SMS_351
和激光里程计定位信息，获得机器人位姿
Figure SMS_352
”的方法具体包括：
步骤231c，根据变换关系
Figure SMS_353
，结合预先标定的
Figure SMS_354
坐标系到激光雷达坐标系的变换矩阵
Figure SMS_355
，用下式（17）获取激光雷达在世界坐标系下的位姿
Figure SMS_356
，再利用
Figure SMS_357
构建关键帧约束、关键帧局部点云地图或全局点云地图；
Figure SMS_358
（17）
步骤232c，通过将当前帧点云中的特征点与局部点云地图或全局点云地图进行匹配，构建下式（18）描述的点云重投影代价函数，获得机器人位姿
Figure SMS_359
：
Figure SMS_360
（18）
其中，
Figure SMS_369
为由步骤235b得到的平面特征点的重投影误差，由下式（19）获得，
Figure SMS_364
为由步骤235b得到的当前帧平面特征点云中的第
Figure SMS_376
个平面特征点，
Figure SMS_362
为待优化旋转参数，
Figure SMS_371
为待优化平移参数，
Figure SMS_367
为
Figure SMS_375
在局部点云地图或全局点云地图中的最近点（通过坐标求解地图中每个点到当前点的距离，然后选择最近的那个点），
Figure SMS_363
为
Figure SMS_372
所在平面的单位法向量，
Figure SMS_370
为步骤234b得到的边线特征点的重投影误差，由下式（20）获得，
Figure SMS_377
为步骤234b获得的当前帧边线特征点云中的第
Figure SMS_365
个边线特征点，
Figure SMS_374
为
Figure SMS_366
在局部或全局点云地图中的最近点，
Figure SMS_378
为
Figure SMS_361
在局部或全局点云地图中与
Figure SMS_373
不在同一线束上的最近点，
Figure SMS_368
为待优化成本函数；
Figure SMS_379
（19）
Figure SMS_380
（20）
式中，
Figure SMS_381
表示
Figure SMS_382
范数运算，上标
Figure SMS_383
表示转置。
通过上述实施例构建的位姿图优化代价函数，迭代优化以减少前端累计位姿估计误差，提高定位精度。
本发明提供的方法将二维码定位和激光雷达定位进行融合，既避免了特殊场景下的激光里程计退化现象，也一定程度上降低了传统定位方式（超带宽、电磁、磁条、大面积部署视觉二维码）的施工成本；另一方面，二维码定位时结合地面模型提升其定位精度，大大提升了系统的定位精度；此外，针对工业机器人工作环境的特殊性，维护全局、局部两张点云地图，在不同的工作区使用不同的地图进行定位，以保证系统的鲁棒性。
本发明实施例提供的用于工业机器人的二维码和激光雷达融合定位装置包括二维码信息定位模块和位姿获取模块，其中：
二维码信息定位模块用于检测图像数据中的二维码信息，结合预先标定的相机坐标系
Figure SMS_384
和
Figure SMS_385
坐标系
Figure SMS_386
之间的转换关系
Figure SMS_387
，获得世界坐标系到
Figure SMS_388
坐标系的变换关系
Figure SMS_389
。
位姿获取模块用于融合变换关系
Figure SMS_390
和点云信息，进行全局定位建图，获得机器人位姿
Figure SMS_391
。
其中，二维码信息定位模块具体包括世界坐标获取单元、
Figure SMS_392
坐标获取单元和坐标系变换单元，其中：世界坐标获取单元用于获取二维码信息中二维码的标记点
Figure SMS_393
的世界坐标
Figure SMS_394
，
Figure SMS_395
为在图像数据上检测到的标记点
Figure SMS_396
的总数。
Figure SMS_397
坐标获取单元，其用于将世界坐标
Figure SMS_398
转换到
Figure SMS_399
坐标系中，得到标记点
Figure SMS_400
的
Figure SMS_401
坐标
Figure SMS_402
。
坐标系变换单元用于获取变换关系
Figure SMS_403
：将二维码定位问题转化为第一优化问题（3），根据
Figure SMS_404
，
Figure SMS_405
表示世界坐标系到
Figure SMS_406
坐标系的旋转变换矩阵，
Figure SMS_407
表示式（4）描述的世界坐标系到
Figure SMS_408
坐标系的平移变换矩阵。
在一个实施例中，位姿获取模块具体包括二维码检测单元、第一位姿获取单元和第二位姿获取单元，其中：
二维码检测单元用于检测点云信息中当前帧对应的图像帧的二维码。
第一位姿获取单元用于在检测到点云信息中当前帧对应的图像帧有二维码的情形下，根据变换关系
Figure SMS_409
，获得机器人位姿
Figure SMS_410
。
第二位姿获取单元用于在未检测到点云信息中当前帧对应的图像帧有二维码的情形下，利用历史关键帧的位姿信息，构建局部点云地图，提取当前帧点云中的特征点，并与局部点云地图相匹配，以获得机器人位姿估计信息，待重新检测到点云信息中当前帧对应的图像帧有二维码的情形下，融合变换关系
Figure SMS_411
和激光里程计定位信息，获得机器人位姿
Figure SMS_412
。
在一个实施例中，第二位姿获取单元具体包括位姿变化量判断子单元和关键帧点云处理子单元，其中：
位姿变化量判断子单元用于判断当前时刻与上一时刻的位姿变化量是否大于预先设定的位姿变化量阈值，若是，则为关键帧，否则为非关键帧。
关键帧点云处理子单元用于将非关键帧点云投影至当前关键帧点云，并对投影获得的关键帧点云进行滤波，再存储关键帧位姿及其对应的点云。
在一个实施例中，位姿获取模块具体还包括信息融合单元；
信息融合单元具有二维码定位子单元和优化子单元，其中：
二维码定位子单元用于根据变换关系
Figure SMS_413
，结合预先标定的
Figure SMS_414
坐标系到激光雷达坐标系的变换矩阵
Figure SMS_415
，用式（17）获取激光雷达在世界坐标系下的位姿
Figure SMS_416
，再利用
Figure SMS_417
构建关键帧约束、关键帧局部点云地图或全局点云地图。
优化子单元用于通过将当前帧点云中的特征点与局部点云地图或全局点云地图进行匹配，构建式（18）描述的点云重投影代价函数，获得机器人位姿
Figure SMS_418
。
图2和下表1为采用本发明（方法1）与现有的公开号为CN115014338A的专利技术（方法2）的定位效果进行了实验比对，设置不同的参数（相机到地面的距离
Figure SMS_419
、相机轴线和地面法线的夹角
Figure SMS_420
、二维码的尺寸
Figure SMS_421
），将相机向前移动固定距离，通过对比定位结果中
Figure SMS_422
、
Figure SMS_423
方向运动测量误差和横摆角测量误差，来反映两种方法的定位效果。其中，每一个测试都采集了100组数据，并取平均值进行对比。对比如下：
Figure SMS_424
可以看到，本发明的二维码定位精度总体提升了5倍以上。
而且，公开号为CN115014338A的专利技术（方法2）在仅维护局部点云地图的情况下进行定位，需要二维码张贴的更加密集，否则精度较低；在仅维护全局点云地图的情况下进行定位，常出现激光定位丢失的情况。经过系统稳定性测试发现：在加工车间等工况下，本发明（方法1）所提出的双地图维护方案相较于其它方案具有非常明显的鲁棒性。
基于本方案进行室内定位效果测试，结果如图2所示（测试场地约50m，共布置6个二维码，传统定位方法的定位误差约为0.5％，在本测试场地的误差约25cm；图中的横坐标表示测试的序号，纵坐标表示定位误差，单位为
Figure SMS_425
，可以发现定位误差基本在2cm以内）：由此证实本发明大大提升了传统定位方法的精度及鲁棒性。
最后需要指出的是：以上实施例仅用以说明本发明的技术方案，而非对其限制。本领域的普通技术人员应当理解：可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种用于工业机器人的二维码和激光雷达融合定位方法，其特征在于，包括：
步骤1，检测图像数据中的二维码信息，结合预先标定的相机坐标系
Figure QLYQS_1
和
Figure QLYQS_2
坐标系
Figure QLYQS_3
之间的转换关系
Figure QLYQS_4
，获得世界坐标系到
Figure QLYQS_5
坐标系的变换关系
Figure QLYQS_6
；以及
步骤2，融合变换关系
Figure QLYQS_7
和点云信息，进行全局定位建图，获得机器人位姿
Figure QLYQS_8
；
其中，步骤1具体包括：
步骤11，获取二维码信息中二维码的标记点
Figure QLYQS_9
的世界坐标
Figure QLYQS_10
，
Figure QLYQS_11
为在图像数据上检测到的标记点
Figure QLYQS_12
的总数；
步骤12，将世界坐标
Figure QLYQS_13
转换到
Figure QLYQS_14
坐标系中，得到标记点
Figure QLYQS_15
的
Figure QLYQS_16
坐标
Figure QLYQS_17
；
步骤13，获取变换关系
Figure QLYQS_18
将二维码定位问题转化为第一优化问题（3），其中，
Figure QLYQS_19
表示利用“相机
Figure QLYQS_20
坐标系到世界坐标转换”构建的约束，
Figure QLYQS_21
为最小二乘运算符：
Figure QLYQS_22
（3）
根据
Figure QLYQS_23
，
Figure QLYQS_24
表示世界坐标系到
Figure QLYQS_25
坐标系的旋转变换矩阵，
Figure QLYQS_26
表示下式（4）描述的世界坐标系到
Figure QLYQS_27
坐标系的平移变换矩阵；
Figure QLYQS_28
（4）
式（4）中，
Figure QLYQS_29
为中心点的世界坐标，
Figure QLYQS_30
为中心点的
Figure QLYQS_31
坐标，
Figure QLYQS_32
表示世界坐标系到
Figure QLYQS_33
坐标系的旋转变换矩阵。
2.如权利要求1所述的用于工业机器人的二维码和激光雷达融合定位方法，其特征在于，旋转变换矩阵
Figure QLYQS_34
的获取方法具体包括：
先用下式（7）计算
Figure QLYQS_35
和
Figure QLYQS_36
以及标记点
Figure QLYQS_37
相对中心点的世界坐标
Figure QLYQS_38
和像素坐标
Figure QLYQS_39
，再用下式（8）求解
Figure QLYQS_40
：
Figure QLYQS_41
（7）
Figure QLYQS_42
（8）
式中，
Figure QLYQS_47
为标记点
Figure QLYQS_48
的
Figure QLYQS_58
坐标，
Figure QLYQS_44
为标记点
Figure QLYQS_53
在相机坐标系下的
Figure QLYQS_51
轴坐标，
Figure QLYQS_55
为地面先验中的
Figure QLYQS_50
投影矩阵，
Figure QLYQS_57
表示标记点
Figure QLYQS_43
的像素坐标，
Figure QLYQS_52
表示取三维向量的
Figure QLYQS_46
、
Figure QLYQS_54
二维数据，
Figure QLYQS_49
为标记点
Figure QLYQS_56
的世界坐标
Figure QLYQS_45
。
3.如权利要求1或2所述的用于工业机器人的二维码和激光雷达融合定位方法，其特征在于，步骤2具体包括：
步骤21，检测点云信息中当前帧对应的图像帧的二维码；
步骤22，在检测到点云信息中当前帧对应的图像帧有二维码的情形下，结合二维码世界坐标，求解机器人位姿
Figure QLYQS_59
；
步骤23，在未检测到点云信息中当前帧对应的图像帧有二维码的情形下，利用历史关键帧的位姿信息，构建局部点云地图，提取当前帧点云中的特征点，并与局部点云地图相匹配，以获得机器人位姿估计信息，待重新检测到点云信息中当前帧对应的图像帧有二维码的情形下，融合变换关系
Figure QLYQS_60
和激光里程计定位信息，获得机器人位姿
Figure QLYQS_61
。
4.如权利要求3所述的用于工业机器人的二维码和激光雷达融合定位方法，其特征在于，步骤23中的关键帧的获取方法包括：
步骤231a，判断当前时刻与上一时刻的位姿变化量是否大于预先设定的位姿变化量阈值，若是，则为关键帧，否则为非关键帧；
步骤232a，将非关键帧点云投影至当前关键帧点云，并对投影获得的关键帧点云进行滤波，再存储关键帧位姿及其对应的点云。
5.如权利要求3所述的用于工业机器人的二维码和激光雷达融合定位方法，其特征在于，步骤23中的“融合变换关系
Figure QLYQS_62
和激光里程计定位信息，获得机器人位姿
Figure QLYQS_63
”的方法具体包括：
步骤231c，根据变换关系
Figure QLYQS_64
，结合预先标定的
Figure QLYQS_65
坐标系到激光雷达坐标系的变换矩阵
Figure QLYQS_66
，用下式（17）获取激光雷达在世界坐标系下的位姿
Figure QLYQS_67
，再利用
Figure QLYQS_68
构建关键帧约束、关键帧局部点云地图或全局点云地图；
Figure QLYQS_69
（17）
步骤232c，通过将当前帧点云中的特征点与局部点云地图或全局点云地图进行匹配，构建下式（18）描述的点云重投影代价函数，获得机器人位姿
Figure QLYQS_70
：
Figure QLYQS_71
（18）
其中，
Figure QLYQS_74
为平面特征点的重投影误差，由下式（19）获得，
Figure QLYQS_75
为当前帧平面特征点云中的第
Figure QLYQS_83
个平面特征点，
Figure QLYQS_77
为待优化旋转参数，
Figure QLYQS_88
为待优化平移参数，
Figure QLYQS_78
为
Figure QLYQS_85
在局部点云地图或全局点云地图中的最近点，
Figure QLYQS_81
为
Figure QLYQS_89
所在平面的单位法向量，
Figure QLYQS_72
为边线特征点的重投影误差，由下式（20）获得，
Figure QLYQS_82
为当前帧边线特征点云中的第
Figure QLYQS_80
个边线特征点，
Figure QLYQS_86
为
Figure QLYQS_79
在局部或全局点云地图中的最近点，
Figure QLYQS_87
为
Figure QLYQS_76
在局部或全局点云地图中与
Figure QLYQS_84
不在同一线束上的最近点，
Figure QLYQS_73
为待优化成本函数；
Figure QLYQS_90
（19）
Figure QLYQS_91
（20）
式中，
Figure QLYQS_92
表示
Figure QLYQS_93
范数运算，上标
Figure QLYQS_94
表示转置。
6.一种用于工业机器人的二维码和激光雷达融合定位装置，其特征在于，包括：
二维码信息定位模块，其用于检测图像数据中的二维码信息，结合预先标定的相机坐标系
Figure QLYQS_95
和
Figure QLYQS_96
坐标系
Figure QLYQS_97
之间的转换关系
Figure QLYQS_98
，获得世界坐标系到
Figure QLYQS_99
坐标系的变换关系
Figure QLYQS_100
；以及
位姿获取模块，其用于融合变换关系
Figure QLYQS_101
和点云信息，进行全局定位建图，获得机器人位姿
Figure QLYQS_102
；
其中，二维码信息定位模块具体包括：
世界坐标获取单元，其用于获取二维码信息中二维码的标记点
Figure QLYQS_103
的世界坐标
Figure QLYQS_104
，
Figure QLYQS_105
为在图像数据上检测到的标记点
Figure QLYQS_106
的总数；
Figure QLYQS_107
坐标获取单元，其用于将世界坐标
Figure QLYQS_108
转换到
Figure QLYQS_109
坐标系中，得到标记点
Figure QLYQS_110
的
Figure QLYQS_111
坐标
Figure QLYQS_112
；
坐标系变换单元，其用于获取变换关系
Figure QLYQS_113
：
将二维码定位问题转化为第一优化问题（3），其中，
Figure QLYQS_114
表示利用“相机
Figure QLYQS_115
坐标系到世界坐标转换”构建的约束，
Figure QLYQS_116
为最小二乘运算符：
Figure QLYQS_117
（3）
根据
Figure QLYQS_118
，
Figure QLYQS_119
表示世界坐标系到
Figure QLYQS_120
坐标系的旋转变换矩阵，
Figure QLYQS_121
表示下式（4）描述的世界坐标系到
Figure QLYQS_122
坐标系的平移变换矩阵；
Figure QLYQS_123
（4）
式（4）中，
Figure QLYQS_124
为中心点的世界坐标，
Figure QLYQS_125
为中心点的
Figure QLYQS_126
坐标，
Figure QLYQS_127
表示世界坐标系到
Figure QLYQS_128
坐标系的旋转变换矩阵。
7.如权利要求6所述的用于工业机器人的二维码和激光雷达融合定位装置，其特征在于，旋转变换矩阵
Figure QLYQS_129
的获取方法具体包括：
先用下式（7）计算
Figure QLYQS_130
和
Figure QLYQS_131
以及标记点
Figure QLYQS_132
相对中心点的世界坐标
Figure QLYQS_133
和像素坐标
Figure QLYQS_134
，再用下式（8）求解
Figure QLYQS_135
：
Figure QLYQS_136
（7）
Figure QLYQS_137
（8）
式中，
Figure QLYQS_139
为标记点
Figure QLYQS_143
的
Figure QLYQS_152
坐标，
Figure QLYQS_141
为标记点
Figure QLYQS_148
在相机坐标系下的
Figure QLYQS_142
轴坐标，
Figure QLYQS_149
为地面先验中的
Figure QLYQS_146
投影矩阵，
Figure QLYQS_153
表示标记点
Figure QLYQS_138
的像素坐标，
Figure QLYQS_147
表示取三维向量的
Figure QLYQS_145
、
Figure QLYQS_150
二维数据，
Figure QLYQS_144
为标记点
Figure QLYQS_151
的世界坐标
Figure QLYQS_140
。
8.如权利要求6或7所述的用于工业机器人的二维码和激光雷达融合定位装置，其特征在于，位姿获取模块具体包括：
二维码检测单元，其用于检测点云信息中当前帧对应的图像帧的二维码；
第一位姿获取单元，其用于在检测到点云信息中当前帧对应的图像帧有二维码的情形下，根据变换关系
Figure QLYQS_154
，获得机器人位姿
Figure QLYQS_155
；
第二位姿获取单元，其用于在未检测到点云信息中当前帧对应的图像帧有二维码的情形下，利用历史关键帧的位姿信息，构建局部点云地图，提取当前帧点云中的特征点，并与局部点云地图相匹配，以获得机器人位姿估计信息，待重新检测到点云信息中当前帧对应的图像帧有二维码的情形下，融合变换关系
Figure QLYQS_156
和激光里程计定位信息，获得机器人位姿
Figure QLYQS_157
。
9.如权利要求8所述的用于工业机器人的二维码和激光雷达融合定位装置，其特征在于，第二位姿获取单元具体包括：
位姿变化量判断子单元，其用于判断当前时刻与上一时刻的位姿变化量是否大于预先设定的位姿变化量阈值，若是，则为关键帧，否则为非关键帧；
关键帧点云处理子单元，其用于将非关键帧点云投影至当前关键帧点云，并对投影获得的关键帧点云进行滤波，再存储关键帧位姿及其对应的点云。
10.如权利要求8所述的用于工业机器人的二维码和激光雷达融合定位装置，其特征在于，位姿获取模块具体还包括信息融合单元；
信息融合单元具有：
二维码定位子单元，其用于根据变换关系
Figure QLYQS_158
，结合预先标定的
Figure QLYQS_159
坐标系到激光雷达坐标系的变换矩阵
Figure QLYQS_160
，用下式（17）获取激光雷达在世界坐标系下的位姿
Figure QLYQS_161
；
Figure QLYQS_162
（17）
优化子单元，其用于通过将当前帧点云中的特征点与局部点云地图或全局点云地图进行匹配，构建下式（18）描述的点云重投影代价函数，获得机器人位姿
Figure QLYQS_163
：
Figure QLYQS_164
（18）
其中，
Figure QLYQS_173
为平面特征点的重投影误差，由下式（19）获得，
Figure QLYQS_167
为当前帧平面特征点云中的第
Figure QLYQS_177
个平面特征点，
Figure QLYQS_166
为待优化旋转参数，
Figure QLYQS_176
为待优化平移参数，
Figure QLYQS_172
为
Figure QLYQS_180
在局部点云地图或全局点云地图中的最近点，
Figure QLYQS_174
为
Figure QLYQS_182
所在平面的单位法向量，
Figure QLYQS_165
为边线特征点的重投影误差，由下式（20）获得，
Figure QLYQS_175
为当前帧边线特征点云中的第
Figure QLYQS_171
个边线特征点，
Figure QLYQS_178
为
Figure QLYQS_170
在局部或全局点云地图中的最近点，
Figure QLYQS_179
为
Figure QLYQS_169
在局部或全局点云地图中与
Figure QLYQS_181
不在同一线束上的最近点，
Figure QLYQS_168
为待优化成本函数；
Figure QLYQS_183
（19）
Figure QLYQS_184
（20）
式中，
Figure QLYQS_185
表示
Figure QLYQS_186
范数运算，上标
Figure QLYQS_187
表示转置。
CN202310113218.7A 2023-02-15 2023-02-15 用于工业机器人的二维码和激光雷达融合定位方法与装置 Active CN115774265B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310113218.7A CN115774265B (zh) 2023-02-15 2023-02-15 用于工业机器人的二维码和激光雷达融合定位方法与装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310113218.7A CN115774265B (zh) 2023-02-15 2023-02-15 用于工业机器人的二维码和激光雷达融合定位方法与装置

Publications (2)

Publication Number Publication Date
CN115774265A true CN115774265A (zh) 2023-03-10
CN115774265B CN115774265B (zh) 2023-05-12

Family

ID=85393706

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310113218.7A Active CN115774265B (zh) 2023-02-15 2023-02-15 用于工业机器人的二维码和激光雷达融合定位方法与装置

Country Status (1)

Country Link
CN (1) CN115774265B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116228870A (zh) * 2023-05-05 2023-06-06 山东省国土测绘院 一种基于二维码slam精度控制的建图方法及系统
CN117830604A (zh) * 2024-03-06 2024-04-05 成都睿芯行科技有限公司 一种定位用二维码异常检测方法及介质
CN117824666A (zh) * 2024-03-06 2024-04-05 成都睿芯行科技有限公司 融合定位用二维码对、二维码标定方法及融合定位方法
CN117824667A (zh) * 2024-03-06 2024-04-05 成都睿芯行科技有限公司 一种基于二维码和激光的融合定位方法及介质
CN118031976A (zh) * 2024-04-15 2024-05-14 中国科学院国家空间科学中心 一种探索未知环境的人机协同系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106044645A (zh) * 2016-08-02 2016-10-26 诺力机械股份有限公司 一种基于二维码定位的货物托盘存取系统、及其存取方法
CN110345937A (zh) * 2019-08-09 2019-10-18 东莞市普灵思智能电子有限公司 一种基于二维码的导航定姿定位方法和系统
CN111045017A (zh) * 2019-12-20 2020-04-21 成都理工大学 一种激光和视觉融合的巡检机器人变电站地图构建方法
CN112862894A (zh) * 2021-04-12 2021-05-28 中国科学技术大学 一种机器人三维点云地图构建与扩充方法
US20210405650A1 (en) * 2019-05-16 2021-12-30 Lg Electronics Inc. Robot generating map and configuring correlation of nodes based on multi sensors and artificial intelligence, and moving based on map, and method of generating map
CN114648584A (zh) * 2022-05-23 2022-06-21 北京理工大学前沿技术研究院 一种用于多源融合定位的鲁棒性控制方法和系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106044645A (zh) * 2016-08-02 2016-10-26 诺力机械股份有限公司 一种基于二维码定位的货物托盘存取系统、及其存取方法
US20210405650A1 (en) * 2019-05-16 2021-12-30 Lg Electronics Inc. Robot generating map and configuring correlation of nodes based on multi sensors and artificial intelligence, and moving based on map, and method of generating map
CN110345937A (zh) * 2019-08-09 2019-10-18 东莞市普灵思智能电子有限公司 一种基于二维码的导航定姿定位方法和系统
CN111045017A (zh) * 2019-12-20 2020-04-21 成都理工大学 一种激光和视觉融合的巡检机器人变电站地图构建方法
CN112862894A (zh) * 2021-04-12 2021-05-28 中国科学技术大学 一种机器人三维点云地图构建与扩充方法
CN114648584A (zh) * 2022-05-23 2022-06-21 北京理工大学前沿技术研究院 一种用于多源融合定位的鲁棒性控制方法和系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
尚明超: "基于二维码和角点标签的无人小车室内定位算法研究实现" *
潘文波 等: "智轨电车多传感器融合定位研究" *
黄钢: "基于点云配准优化的视觉惯性SLAM技术研究" *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116228870A (zh) * 2023-05-05 2023-06-06 山东省国土测绘院 一种基于二维码slam精度控制的建图方法及系统
CN116228870B (zh) * 2023-05-05 2023-07-28 山东省国土测绘院 一种基于二维码slam精度控制的建图方法及系统
CN117830604A (zh) * 2024-03-06 2024-04-05 成都睿芯行科技有限公司 一种定位用二维码异常检测方法及介质
CN117824666A (zh) * 2024-03-06 2024-04-05 成都睿芯行科技有限公司 融合定位用二维码对、二维码标定方法及融合定位方法
CN117824667A (zh) * 2024-03-06 2024-04-05 成都睿芯行科技有限公司 一种基于二维码和激光的融合定位方法及介质
CN117824666B (zh) * 2024-03-06 2024-05-10 成都睿芯行科技有限公司 融合定位用二维码对、二维码标定方法及融合定位方法
CN117830604B (zh) * 2024-03-06 2024-05-10 成都睿芯行科技有限公司 一种定位用二维码异常检测方法及介质
CN117824667B (zh) * 2024-03-06 2024-05-10 成都睿芯行科技有限公司 一种基于二维码和激光的融合定位方法及介质
CN118031976A (zh) * 2024-04-15 2024-05-14 中国科学院国家空间科学中心 一种探索未知环境的人机协同系统

Also Published As

Publication number Publication date
CN115774265B (zh) 2023-05-12

Similar Documents

Publication Publication Date Title
CN115774265A (zh) 用于工业机器人的二维码和激光雷达融合定位方法与装置
CN111968177B (zh) 一种基于固定摄像头视觉的移动机器人定位方法
CN110853075B (zh) 一种基于稠密点云与合成视图的视觉跟踪定位方法
CN107292927B (zh) 一种基于双目视觉的对称运动平台位姿测量方法
CN112070770B (zh) 一种高精度三维地图与二维栅格地图同步构建方法
CN107194991B (zh) 一种基于骨架点局域动态更新的三维全局可视化监控系统构建方法
CN102156970B (zh) 基于畸变直线斜率计算的鱼眼图像校正方法
CN113409410A (zh) 一种基于3d激光雷达的多特征融合igv定位与建图方法
CN109272574B (zh) 基于投影变换的线阵旋转扫描相机成像模型构建方法和标定方法
CN106529587B (zh) 基于目标点识别的视觉航向识别方法
CN104537709A (zh) 一种基于位姿变化的实时三维重建关键帧确定方法
CN111046776A (zh) 基于深度相机的移动机器人行进路径障碍物检测的方法
CN111598952B (zh) 一种多尺度合作靶标设计与在线检测识别方法及系统
Gracias et al. Underwater mosaicing and trajectory reconstruction using global alignment
CN110415304B (zh) 一种视觉标定方法及系统
CN112819883B (zh) 一种规则对象检测及定位方法
CN113884002B (zh) 基于二三维信息融合的受电弓滑板上表面检测系统及方法
CN111273312A (zh) 一种智能车辆定位与回环检测方法
Olson et al. Wide-baseline stereo vision for Mars rovers
CN116563377A (zh) 一种基于半球投影模型的火星岩石测量方法
Ma et al. RoLM: Radar on LiDAR map localization
Betge-Brezetz et al. Object-based modelling and localization in natural environments
CN116929336A (zh) 一种基于最小误差的激光反光柱slam建图方法
CN116402890A (zh) 一种抗遮挡的光学跟踪定位方法
CN115908562A (zh) 一种异面点合作标志器及测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant