CN116160458A - 一种移动机器人多传感器融合快速定位方法、设备及系统 - Google Patents

Abstract

本发明公开了一种移动机器人多传感器融合快速定位方法、设备及系统，方法包括：控制移动机器人到达第一位置，并在第一位置处获取关于定位装置的实时图像与实时点云深度图；将实时图像与实时点云深度图输入至移动机器人中经过预先训练的3D目标检测模型，得到定位装置的目标检测框；控制移动机器人到达第二位置，根据目标检测框进行单目测距，并控制移动机器人到达第三位置；实时测算移动机器人与定位装置间的角度与第一距离，并同时控制移动机器人到达第四位置；根据预先配置的Apriltag码确定定位装置所在的第五位置，并控制移动机器人到达第五位置。本发明可以快速稳定且准确地进行移动机器人定位，可广泛应用于机器人定位领域。

Description

一种移动机器人多传感器融合快速定位方法、设备及系统

技术领域

本发明涉及机器人定位技术领域，尤其是一种移动机器人多传感器融合快速定位方法、设备及系统。

背景技术

基于单线雷达与机器视觉的移动机器人引导定位泊车方案已被广泛应用且较为单一使用。现有的移动机器人的定位方法通常是直接将单模态特征提取识别出来具体位置，导致特征之间产生强烈的依赖预先设置的先验条件，比如自动泊车系统中的建图定位，建图定位为后续自动泊车的路径规划、决策控制提供依据，是整个泊车系统的根本基础，也是决定车辆自动泊车质量的直接因素，这种强相关依赖损害了定位检测快速部署实施的稳定性和精度以及使用场景单一。

因此，上述技术问题亟待解决。

发明内容

有鉴于此，本发明实施例提供一种移动机器人多传感器融合快速定位方法、设备及系统，用于快速稳定且准确地进行移动机器人定位。

本发明实施例的一方面提供了一种移动机器人多传感器融合快速定位方法，包括：

控制移动机器人到达第一位置，并在所述第一位置处获取关于定位装置的实时图像与实时点云深度图；

将所述实时图像与实时点云深度图输入至所述移动机器人中经过预先训练的3D目标检测模型，得到所述定位装置的目标检测框；

控制所述移动机器人到达第二位置，根据所述目标检测框进行单目测距，并控制所述移动机器人到达第三位置；

实时测算所述移动机器人与所述定位装置间的角度与第一距离，并同时控制所述移动机器人到达第四位置；

根据预先配置的Apriltag码确定所述定位装置所在的第五位置，并控制所述移动机器人到达所述第五位置。

可选地，所述3D目标检测模型的训练过程，包括：

获取安装在所述移动机器人所处室内的室内侧相机拍摄的第一图像、所述移动机器人的车载相机拍摄的第二图像、安装在所述移动机器人所处室内的室内侧雷达扫描得到的第一点云深度图以及所述移动机器人的车载雷达扫描得到的第二点云深度图，作为训练数据集；

根据所述训练数据集训练所述3D目标检测模型。

可选地，所述训练数据集的构建过程，包括：

根据预设的标注规则，分别对所述第一图像与所述第一点云深度图标注感兴趣区域，得到第一数据集；根据预设的标注规则，分别对所述第二图像与所述第二点云深度图标注感兴趣区域，得到第二数据集；

从所述第一数据集中随机抽取部分第一图像和第一点云深度图，并在对应的感兴趣区域添加噪声，得到第三数据集；从所述第二数据集中随机抽取部分第二图像和第二点云深度图并在对应的感兴趣区域添加噪声，得到第四数据集；

将所述第一数据集和所述第三数据集合并为第五数据集，将所述第二数据集和所述第四数据集合并为第六数据集；将所述第五数据集和第六数据集作为所述训练数据集。

可选地，所述根据所述目标检测框进行单目测距，并控制所述移动机器人到达第三位置，包括：

根据所述目标检测框以及车载相机的预设参数进行单目测距；

根据单目测距的结果控制所述移动机器人到达第三位置。

可选地，所述实时测算所述移动机器人与所述定位装置间的角度与第一距离，并同时控制所述移动机器人到达第四位置，包括：

利用单线激光雷达对所述定位装置进行扫描，实时测算所述定位装置的形状与所述移动机器人的角度；

同时利用视觉双目视觉SLAM进行点云测距，实时测算所述定位装置与所述移动机器人的第一距离；

根据所述角度与所述第一距离控制所述移动机器人到达第四位置。

可选地，所述根据预先配置的Apriltag码确定所述定位装置所在的第五位置，并控制所述移动机器人到达所述第五位置，包括：

利用所述移动机器人手臂末端的平面端视觉定位系统获取所述定位装置上的Apriltag码的中心位置坐标；

根据预先设置的所述移动机器人的末端手臂与所述中心位置坐标间的第二距离，控制所述移动机器人到达所述第五位置。

可选地，所述方法还包括：

通过所述视觉定位系统检测所述移动机器人与所述Apriltag码的像素值偏移；

根据所述像素值偏移以及所述Apriltag码的尺寸，确定所述移动机器人与所述Apriltag码的空间方向偏移量；

根据所述空间方向偏移量校正所述移动机器人的定位。

本发明实施例的另一方面还提供了一种移动机器人多传感器融合快速定位设备，包括：

第一控制模块，用于控制移动机器人到达第一位置，并在所述第一位置处获取关于定位装置的实时图像与实时点云深度图；

第二控制模块，用于将所述实时图像与实时点云深度图输入至所述移动机器人中经过预先训练的3D目标检测模型，得到所述定位装置的目标检测框；

第三控制模块，用于控制所述移动机器人到达第二位置，根据所述目标检测框进行单目测距，并控制所述移动机器人到达第三位置；

第四控制模块，用于实时测算所述移动机器人与所述定位装置间的角度与第一距离，并同时控制所述移动机器人到达第四位置；

第五控制模块，用于根据预先配置的Apriltag码确定所述定位装置所在的第五位置，并控制所述移动机器人到达所述第五位置。

本发明实施例的另一方面还提供了一种移动机器人多传感器融合快速定位系统，包括：定位装置、移动机器人、车载相机、车载雷达、单目相机、双目相机以及视觉定位系统；

其中，所述车载相机、车载雷达、单目相机、双目相机以及视觉定位系统集成在所述移动机器人上；

所述移动机器人包括控制芯片，所述控制芯片用于：控制移动机器人到达第一位置，并在所述第一位置处获取关于定位装置的实时图像与实时点云深度图；将所述实时图像与实时点云深度图输入至所述移动机器人中经过预先训练的3D目标检测模型，得到所述定位装置的目标检测框；控制所述移动机器人到达第二位置，根据所述目标检测框进行单目测距，并控制所述移动机器人到达第三位置；实时测算所述移动机器人与所述定位装置间的角度与第一距离，并同时控制所述移动机器人到达第四位置；根据预先配置的Apriltag码确定所述定位装置所在的第五位置，并控制所述移动机器人到达所述第五位置。

可选地，所述快速定位系统还包括室内侧相机和室内侧雷达；

其中，所述室内侧相机安装在所述移动机器人和所述定位装置所处的空间内，用于获取所述移动机器人和所述定位装置的第一图像；

所述室内侧雷达安装在所述移动机器人和所述定位装置所处的空间内，用于获取所述移动机器人和所述定位装置的第一点云深度图；

所述第一图像、所述第一点云深度图、所述车载相机获取的第二图像以及所述车载雷达获取的第二点云深度图，用于训练所述3D目标检测模型。

本发明实施例的另一方面还提供了一种电子设备，包括处理器以及存储器；

所述存储器用于存储程序；

所述处理器执行所述程序实现上述任一项所述的方法。

本发明实施例的另一方面还提供了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现上述任一项所述的方法。

本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前面的方法。

本发明对比现有技术，具有如下优点：

1.本发明的3D目标检测模型与传统视觉检测算法等多传感器融合定位结构高效结合，可大大提高移动机器人的定位精度，适应不同的工业应用场景。

2.移动机器人导航定位移动快。本发明方法可以提供五个位置阶段的定位，移动机器人能快速选择不同的定位检测阶段，能够快速移动进行粗定位和慢速进行精确定位。多传感器融合加权定位测距，可以有效避免背景数据干扰。

3.导航定位检测结果丰富，提供多样化的结果。定位检测算法可以判定多种定位，且可以定位位置及类别。可根据实际需求个性化返回结果。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种移动机器人多传感器融合快速定位方法的流程示意图；

图2为本发明实施例提供的一种3D目标检测模型的训练及运用示例图；

图3为本发明实施例提供的一种目标检测框的示例图；

图4为本发明实施例提供的一种3D目标检测模型结合单目测距工作原理框图；

图5为本发明实施例提供的一种激光雷达与双目视觉SLAM多传感器融合定位工作原理框图；

图6为本发明实施例提供的一种移动机器人作业场景图；

图7为本发明实施例提供的一种多传感器融合定位工作原理流程图；

图8为本发明实施例提供的一种根据Apriltag码进行定位的示例流程图；

图9为本发明实施例提供的一种根据Apriltag码进行定位的示例场景图；

图10为本发明实施例提供的一种定位装置与Apriltag码的示例图；

图11为本发明实施例提供的一种移动机器人多传感器融合快速定位设备的结构框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

参照图1，本发明实施例提供了一种移动机器人多传感器融合快速定位方法，包括：

S100：控制移动机器人到达第一位置，并在所述第一位置处获取关于定位装置的实时图像与实时点云深度图。

S110：将所述实时图像与实时点云深度图输入至所述移动机器人中经过预先训练的3D目标检测模型，得到所述定位装置的目标检测框。

S120：控制所述移动机器人到达第二位置，根据所述目标检测框进行单目测距，并控制所述移动机器人到达第三位置。

S130：实时测算所述移动机器人与所述定位装置间的角度与第一距离，并同时控制所述移动机器人到达第四位置。

S140：根据预先配置的Apriltag码确定所述定位装置所在的第五位置，并控制所述移动机器人到达所述第五位置。

本发明可以解决目前边缘端工业生产场景移动机器人作业时的导航定位准确率差和速度慢且不易实施等问题。相对现有的方法，本发明方案实施简单方便且导航定位快、精度高，本发明能够解决复杂多变场景工作定位装置实时慢，导航定位搜寻停靠位置耗时长、边缘段占用计算资源多等问题，使用多个模型一套自适应可调参数完成快速导航定位任务，本发明具有极高的末端定位准确性与鲁棒性，可以很容易推广到各个生产工业边缘应用场景。

具体的，本发明采用如下技术方案：

收集工业场景图像与雷达点云数据并对其进行标注，收集感兴趣图像并对图像中不同类型目标进行3D标注，从图像中选取出目标区域并随机变化，及添加噪声，然后贴在背景图像上并计算标注；使用卷积神经网络训练得到3D目标检测模型，如图2所示；如图3所示，本发明实施例提供了一种目标检测框的示例图，其中，图3中的(a)为待检测的示例，(b)为使用3D目标检测模型检测出检测框的示例，使用3D目标检测模型检测到目标检测框，再进行单目测距，根据已有标定参数进行校正，如图4所示；使用传统算法处理视觉和单线雷达和双目视觉点云数据，选择最佳的评判超参数判断不同类型检测定位模型；根据模型检测结果和双目视觉及雷达点云检测算法判断定位，如图5所示。

本发明具体可以包括以下步骤：

1.数据集制作。

a)如图6所示，采集室内侧和车载相机拍摄图片、室内侧和车载雷达扫描点云数据。

b)制定3D目标检测标注标准，深度图灰度值标准。

c)根据标注标准进行标注。

图像和标记分别构成室内侧对应的第一数据集，车载侧对应的第二数据集。

2.选取一定数量各类据集，选取出目标区域，随机改变特征形状等，例如：使用gan等生成噪声数据，并贴在正常数据集上，合成新的数据集，并计算出该目标区域在新数据集中的标记，数据和标记构成第三、第四数据集。

4.合并各类数据集，构成第五、第六数据集。

5.将3D目标检测模型在公开数据集上进行训练，至模型收敛，再用第五、第六数据集上分别做微调训练得到两个3D目标检测模型。

6.对车载相机内外参进行标定，以满足小孔成像单目测距等需求。使用传统视觉检测Apriltag码和特制码，进行超参数调优，至模型泛化能力到达最佳，分别得到Apriltag码和特制码检测模型。

7.移动机器人实时对工业生产场景以视频流等形式拉取数据，使用边缘计算算力模组对3D目标检测模型分别进行定位装置、移动机器人进行检测定位分类，并对三方模型结果进行输出，输出包含移动机器人、定位装置的坐标（x,y,z,w,h,l）。如果未检测到缺陷，则判定该帧数据量不含目标并进行报警计秒报数，如果检测到，则进行步骤8。

8.从视频流的原始数据帧中选出定位装置所在的区域，使用小孔成像原理根据先验标定信息测出其距离位置；移动机器人至对应特制Apriltag码时，使用传统视觉检测算法检测出对应特制码的位置信息（x,y,z），移动机器人至d米时，开启雷达与视觉SLAM进行定位装置特殊形状角度校正靠近移动；移动机器人到达设定距离阈值时，开启平面特制码机器人手臂末端视觉定位检测，先使用Apriltag码测算其大概高度，机器人手臂足够接近高精度特制码，使用高倍镜头实时成像，再用传统二维视觉检测算法，例如如找圆心，找矩形中心等算法，测算出足够高的末端精度，本发明实施例的综合手臂末端精度可达0.1mm。

9.重复步骤7和步骤8，若连续s帧数据流中有t帧计数判定一致，其中s大于1，t小于等于s，则判定定位精度有效，本发明移动机器人的控制芯片可以将该数值转换至移动机器人位置中心距离。

参照图7，本发明实施例提供了一种移动机器人多传感器融合快速定位的示例流程图。

在本发明实施例中，可以包括三个阶段的定位过程，具体说明如下：

一阶段定位检测模块：以二维图像和点云深度图作为输入，根据经过预训练后的3D目标检测模型对定位装置和移动机器人进行三维目标检测（x1,y1,z1,w1,h1,l1），移动机器人到第一位置d1处后，使用车载相机拍摄的实时图像和车载雷达扫描得到的实时点云深度图作为输入，根据经过预训练后的3D目标检测模型对定位装置进行三维目标检测（x2,y2,z2,w2,h2,l2），控制移动机器人到第二位置d2处。

二阶段定位检测模块：利用一阶段提供的定位装置目标检测框（x2,y2,w2,h2）进行单目测距，移动机器人至第三位置d3处，利用移动机器人的车载单线激光雷达对定位装置进行扫描，实时测算定位装置的形状与移动机器人的角度，同时利用移动机器人的车载双目相机进行SLAM点云测距，两者辅助进行定位校正，然后控制移动机器人至第四位置d4处。

图8示出了一种根据Apriltag码进行定位的示例流程图，图9示出了一种根据Apriltag码进行定位的示例场景图，图10示出了一种定位装置与Apriltag码的示例图。

三阶段定位检测模块：根据移动机器人手臂末端的平面端视觉定位系统，首先对定位装置上的特制Apriltag码进行检测，输出对应中心位置的（x3,y3,z3）；根据预先设置的末端手臂标定与定位装置的距离，计算并控制移动机器人带动末端手臂移动到第五位置d5处，其中Z轴方向与定位装置的平面端的处于同一水平面；视觉定位系统可以检测高精度特制码的空间方向偏移量，其中由于特制码长宽，即尺寸是已知量，因此可以根据像素值偏移进行高精度计算并得出精确值，最终得到高精度机器人手臂末端定位。

为了更详细描述本发明，接下来将以具体实例说明本发明的实际应用过程。

具体的，可以包括以下过程：

1.将定位装置放置在任意作业室内场景位置，收集需要检测目标（定位装置、机器人等）图像以及点云数据帧并进行标注其中的3D坐标，得到二维和三维缺陷数据集和转换后的深度灰度图。对3D目标检测模型进行训练，直至收敛，得到两个3D目标检测模型。在一些实施方式中，使用hrnet和centernet等特征提取网络，训练时输入不同类型的数据帧，例如rgb图像和深度灰度图，其中车载的3D目标检测模型可以将rgb图像作为输入训练。

2.收集目标场景图像与点云数据，标注数据帧以及基于室内侧雷达点云数据转换深度灰度图做3D目标检测数据集。此外，选取一定数量含有检测目标数据集，选取出目标区域，随机改变大小、方向、颜色饱和度等，例如使用空间数据增强和gan等卷积神经网络生成的噪声数据，然后贴在无缺陷正常数据集上，合成新的数据集。以上两部分数据构成缺陷检测的3D目标检测数据集。使用卷积神经网络训练，直至收敛，得到移动机器人与定位装置的3D目标检测模型。在一些实施方式中，使用vision transform作为多模态的骨干网络，训练时输入为点云和rgb图片。其中车载的3D目标检测模型可以将rgb图像作为输入训练，两者数据可以共用训练。

3.对数据帧进行预处理，图像输入大小变为3x1920x1080，记作X；输入的3D点云转换深度灰度图（0-255）二值化格式数据处理，最后将其数据与图像数据对其，记作L。输入3D目标检测模型进行训练，直至模型收敛。

4.预测时先将数据帧进行预处理，处理为多种不同的输入规格大小，输入上述训练后的卷积神经网络中，获得3D目标检测模型，以及使用传统的二维和三维已建模好的算法对图像数据帧进行检测处理判断，分别检测得到对应3D坐标位置；并使用3D检测模型以及传统算法得到的位置结果进行加权判断，计算公式为

，其中w1表示3D检测模型的权重系数、w2表示传统算法的权重系数，γa表示3D检测模型计算的位置，γb表示传统算法计算的位置；进而对感兴趣目标区域进行自动推理检测划分，并输出检测目标位置坐标信息,中心点以及长宽高：x,y,z,w,h,l。

5.仍参照图7，整体流程如下：

1)移动机器接到工作任务，一阶段快速定位任务工作触发。室内侧相机实时拍照获取图片数据，移动机器人的车载边缘计算平台实时获得数据流并进行3D目标检测推理，获得移动机器人的车身以及定位装置坐标位置。移动机器人导航移动触发，移动机器人的车载相机实时采集数据并进行3D目标检测，实时反馈定位装置位置距离。

2) 移动机器人移动距离到S1处，二阶段高精度定位任务工作触发。从一阶段获取到的定位装置目标检测框，进行小孔成像单目测距定位，移动机器人到S2处，触发Apriltag侧码实时检测，输出中心三维位置。移动机器人S3处，视觉SLAM与单线雷达检测融合定位，实时移动输出定位装置中心坐标。

3)移动机器人至S4处，三阶段超精密精确定位机器人手臂末端工作任务触发。定位装置Apriltag平面码实时检测，实时输出三维位置，移动机器人末端手臂移动到S5处，此时移动机器人与特制码的距离到达设定阈值，开启超高精度检测识别，连续t秒数据帧输出定位误差0.01，移动机器人末端手臂至S6处。通过末端位置转换移动机器人中心，输出移动机器人位置，接下来移动机器人即可进行其它作业任务。

参照图11，本发明实施例提供了一种移动机器人多传感器融合快速定位设备，包括：

第一控制模块，用于控制移动机器人到达第一位置，并在所述第一位置处获取关于定位装置的实时图像与实时点云深度图；

第二控制模块，用于将所述实时图像与实时点云深度图输入至所述移动机器人中经过预先训练的3D目标检测模型，得到所述定位装置的目标检测框；

第三控制模块，用于控制所述移动机器人到达第二位置，根据所述目标检测框进行单目测距，并控制所述移动机器人到达第三位置；

第四控制模块，用于实时测算所述移动机器人与所述定位装置间的角度与第一距离，并同时控制所述移动机器人到达第四位置；

第五控制模块，用于根据预先配置的Apriltag码确定所述定位装置所在的第五位置，并控制所述移动机器人到达所述第五位置。

本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图1所示的方法。

在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。

此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。

计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置）、便携式计算机盘盒（磁装置）、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编辑只读存储器（EPROM或闪速存储器）、光纤装置以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本发明权利要求所限定的范围内。

Claims (10)

1.一种移动机器人多传感器融合快速定位方法，其特征在于，包括：

控制移动机器人到达第一位置，并在所述第一位置处获取关于定位装置的实时图像与实时点云深度图；

将所述实时图像与实时点云深度图输入至所述移动机器人中经过预先训练的3D目标检测模型，得到所述定位装置的目标检测框；

控制所述移动机器人到达第二位置，根据所述目标检测框进行单目测距，并控制所述移动机器人到达第三位置；

实时测算所述移动机器人与所述定位装置间的角度与第一距离，并同时控制所述移动机器人到达第四位置；

根据预先配置的Apriltag码确定所述定位装置所在的第五位置，并控制所述移动机器人到达所述第五位置。

2.根据权利要求1所述的一种移动机器人多传感器融合快速定位方法，其特征在于，所述3D目标检测模型的训练过程，包括：

获取安装在所述移动机器人所处室内的室内侧相机拍摄的第一图像、所述移动机器人的车载相机拍摄的第二图像、安装在所述移动机器人所处室内的室内侧雷达扫描得到的第一点云深度图以及所述移动机器人的车载雷达扫描得到的第二点云深度图，作为训练数据集；

根据所述训练数据集训练所述3D目标检测模型。

3.根据权利要求2所述的一种移动机器人多传感器融合快速定位方法，其特征在于，所述训练数据集的构建过程，包括：

根据预设的标注规则，分别对所述第一图像与所述第一点云深度图标注感兴趣区域，得到第一数据集；根据预设的标注规则，分别对所述第二图像与所述第二点云深度图标注感兴趣区域，得到第二数据集；

从所述第一数据集中随机抽取部分第一图像和第一点云深度图，并在对应的感兴趣区域添加噪声，得到第三数据集；从所述第二数据集中随机抽取部分第二图像和第二点云深度图并在对应的感兴趣区域添加噪声，得到第四数据集；

将所述第一数据集和所述第三数据集合并为第五数据集，将所述第二数据集和所述第四数据集合并为第六数据集；将所述第五数据集和第六数据集作为所述训练数据集。

4.根据权利要求1所述的一种移动机器人多传感器融合快速定位方法，其特征在于，所述根据所述目标检测框进行单目测距，并控制所述移动机器人到达第三位置，包括：

根据所述目标检测框以及车载相机的预设参数进行单目测距；

根据单目测距的结果控制所述移动机器人到达第三位置。

5.根据权利要求1所述的一种移动机器人多传感器融合快速定位方法，其特征在于，所述实时测算所述移动机器人与所述定位装置间的角度与第一距离，并同时控制所述移动机器人到达第四位置，包括：

利用单线激光雷达对所述定位装置进行扫描，实时测算所述定位装置的形状与所述移动机器人的角度；

同时利用视觉双目视觉SLAM进行点云测距，实时测算所述定位装置与所述移动机器人的第一距离；

根据所述角度与所述第一距离控制所述移动机器人到达第四位置。

6.根据权利要求1所述的一种移动机器人多传感器融合快速定位方法，其特征在于，所述根据预先配置的Apriltag码确定所述定位装置所在的第五位置，并控制所述移动机器人到达所述第五位置，包括：

利用所述移动机器人手臂末端的平面端视觉定位系统获取所述定位装置上的Apriltag码的中心位置坐标；

根据预先设置的所述移动机器人的末端手臂与所述中心位置坐标间的第二距离，控制所述移动机器人到达所述第五位置。

7.根据权利要求6所述的一种移动机器人多传感器融合快速定位方法，其特征在于，所述方法还包括：

通过所述视觉定位系统检测所述移动机器人与所述Apriltag码的像素值偏移；

根据所述像素值偏移以及所述Apriltag码的尺寸，确定所述移动机器人与所述Apriltag码的空间方向偏移量；

根据所述空间方向偏移量校正所述移动机器人的定位。

8.一种移动机器人多传感器融合快速定位设备，其特征在于，包括：

第一控制模块，用于控制移动机器人到达第一位置，并在所述第一位置处获取关于定位装置的实时图像与实时点云深度图；

第二控制模块，用于将所述实时图像与实时点云深度图输入至所述移动机器人中经过预先训练的3D目标检测模型，得到所述定位装置的目标检测框；

第三控制模块，用于控制所述移动机器人到达第二位置，根据所述目标检测框进行单目测距，并控制所述移动机器人到达第三位置；

第四控制模块，用于实时测算所述移动机器人与所述定位装置间的角度与第一距离，并同时控制所述移动机器人到达第四位置；

第五控制模块，用于根据预先配置的Apriltag码确定所述定位装置所在的第五位置，并控制所述移动机器人到达所述第五位置。

9.一种移动机器人多传感器融合快速定位系统，其特征在于，包括：定位装置、移动机器人、车载相机、车载雷达、单目相机、双目相机以及视觉定位系统；

其中，所述车载相机、车载雷达、单目相机、双目相机以及视觉定位系统集成在所述移动机器人上；

所述移动机器人包括控制芯片，所述控制芯片用于：控制移动机器人到达第一位置，并在所述第一位置处获取关于定位装置的实时图像与实时点云深度图；将所述实时图像与实时点云深度图输入至所述移动机器人中经过预先训练的3D目标检测模型，得到所述定位装置的目标检测框；控制所述移动机器人到达第二位置，根据所述目标检测框进行单目测距，并控制所述移动机器人到达第三位置；实时测算所述移动机器人与所述定位装置间的角度与第一距离，并同时控制所述移动机器人到达第四位置；根据预先配置的Apriltag码确定所述定位装置所在的第五位置，并控制所述移动机器人到达所述第五位置。

10.根据权利要求9所述的一种移动机器人多传感器融合快速定位系统，其特征在于，所述快速定位系统还包括室内侧相机和室内侧雷达；

其中，所述室内侧相机安装在所述移动机器人和所述定位装置所处的空间内，用于获取所述移动机器人和所述定位装置的第一图像；

所述室内侧雷达安装在所述移动机器人和所述定位装置所处的空间内，用于获取所述移动机器人和所述定位装置的第一点云深度图；

所述第一图像、所述第一点云深度图、所述车载相机获取的第二图像以及所述车载雷达获取的第二点云深度图，用于训练所述3D目标检测模型。

Images