CN112935703A - 识别动态托盘终端的移动机器人位姿校正方法及系统 - Google Patents
识别动态托盘终端的移动机器人位姿校正方法及系统 Download PDFInfo
- Publication number
- CN112935703A CN112935703A CN202110295975.1A CN202110295975A CN112935703A CN 112935703 A CN112935703 A CN 112935703A CN 202110295975 A CN202110295975 A CN 202110295975A CN 112935703 A CN112935703 A CN 112935703A
- Authority
- CN
- China
- Prior art keywords
- tray
- point
- point cloud
- mobile robot
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 74
- 238000012937 correction Methods 0.000 title claims abstract description 46
- 238000009826 distribution Methods 0.000 claims abstract description 22
- 238000012512 characterization method Methods 0.000 claims abstract description 20
- 238000001514 detection method Methods 0.000 claims description 27
- 238000001914 filtration Methods 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 18
- 238000003860 storage Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 14
- 238000011156 evaluation Methods 0.000 claims description 13
- 238000002310 reflectometry Methods 0.000 claims description 11
- 238000012216 screening Methods 0.000 claims description 11
- 238000012935 Averaging Methods 0.000 claims description 4
- 238000011161 development Methods 0.000 claims description 3
- 230000018109 developmental process Effects 0.000 claims 2
- 230000008859 change Effects 0.000 abstract description 4
- 230000007547 defect Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 20
- 238000004364 calculation method Methods 0.000 description 14
- 238000004590 computer program Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000012163 sequencing technique Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23P—METAL-WORKING NOT OTHERWISE PROVIDED FOR; COMBINED OPERATIONS; UNIVERSAL MACHINE TOOLS
- B23P6/00—Restoring or reconditioning objects
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25B—TOOLS OR BENCH DEVICES NOT OTHERWISE PROVIDED FOR, FOR FASTENING, CONNECTING, DISENGAGING OR HOLDING
- B25B27/00—Hand tools, specially adapted for fitting together or separating parts or objects whether or not involving some deformation, not otherwise provided for
- B25B27/02—Hand tools, specially adapted for fitting together or separating parts or objects whether or not involving some deformation, not otherwise provided for for connecting objects by press fit or detaching same
Abstract
本公开提供了一种识别动态托盘终端的移动机器人位姿校正方法及系统，获取托盘的激光点云簇数据，对获取的激光点云簇数据进行处理，得到托盘腿特征均值表征点；根据所有托盘腿特征均值表征点得到点云分布得分和点云形状得分，根据两个得分乘积得到托盘腿特征点坐标；根据得到的托盘腿特征点坐标进行移动机器人的位姿校正；本公开克服了现有技术中因动态托盘位姿变化移动机器人位姿无法实时校正而导致的应用适应性差的缺陷，实现了对移动机器人位姿的高柔性高和高适应性的修正，保证了机器人作业的高效性和安全性。
Description
技术领域
本公开涉及机器人位姿控制技术领域，特别涉及一种识别动态托盘终端的移动机器人位姿校正方法及系统。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术，并不必然构成现有技术。
随着计算机技术、传感器技术的快速发展，移动机器人应用逐步广泛，其中物流行业尤甚。在执行物流相关操作时，背负式或叉车式移动机器人将托盘作为其与货物的交流媒介，机器人通过顶升装置将托盘升起完成指定路径的运输和指定工位的上下料，在货物精准装卸、智能搬运中扮演着重要的角色。
传统的托盘摆放位置是移动机器人路径中一个已知、静态的点，进而对托盘的摆放位姿有着较高的准确度要求，一旦因失误造成托盘位姿产生较大误差时，易发生车、物相撞的安全性问题，也会对整个生产线的效率造成较大的影响。对于动态托盘终端的位姿变换，传统方式不能做出随托盘动态变化移动机器人适应性位姿校正的动作，使得系统缺乏一定的柔性、智能性。
发明人发现，移动机器人位姿校正系统应用的前提是精准识别托盘并确定其位置，现有的托盘识别方式有：采用RFID技术的方式简单可靠，但存在定位精度、柔性较低的问题；采用视觉目标识别的方式柔性高、准确度高，但存在易受环境光线干扰的问题，环境适应性较差；采用2D激光雷达识别的方式，有着较强的环境适应性、较高的位置准确性，但需要预先建立托盘识别模板，对不同工作场景下的不同货架适应性较差，且2D激光点云数据量较少易出现误检的情况；采用3D激光雷达识别的方式，场景、环境适应性较强，精度较高，但是传感器设备价格较高。
发明内容
为了解决现有技术的不足，本公开提供了一种识别动态托盘终端的移动机器人位姿校正方法及系统，克服了现有技术中因动态托盘位姿变化移动机器人位姿无法实时校正而导致的应用适应性差的缺陷，实现了对移动机器人位姿的高柔性高和高适应性的修正，保证了机器人作业的高效性和安全性。
为了实现上述目的，本公开采用如下技术方案：
本公开第一方面提供了一种识别动态托盘终端的移动机器人位姿校正方法。
一种识别动态托盘终端的移动机器人位姿校正方法，包括以下过程：
获取托盘的激光点云簇数据，对获取的激光点云簇数据进行处理，得到托盘腿特征均值表征点；
根据所有托盘腿特征均值表征点得到点云分布得分和点云形状得分，根据两个得分乘积得到托盘腿特征点坐标；
根据得到的托盘腿特征点坐标进行移动机器人的位姿校正。
作为可选的实施方式，获取托盘的激光点云簇数据，对获取的激光点云簇数据进行处理，包括以下过程：
待移动机器人停止运动后，获取激光雷达的至少一帧扫描点云数据，作为原始点云数据；
对原始点云数据进行剔除与筛选；
对剔除和筛选后的点云数据进行特征点分类，将点云归类为线特征点和角特征点，剔除线特征点，将角特征点分为断点和角点；
对断点进行体素滤波；
基于断点进行窗口化托盘特征滤波；
根据预设的托盘搜索框，完成聚类检索。
进一步的，对原始点云数据进行剔除与筛选，包括以下过程：
剔除空点，将激光雷达前中距离的矩形范围限制为托盘摆放区域，把原始数据中存在于此矩形范围内的点云筛选出来作为识别检测的输入信息，其余未筛选出的数据剔除，过程中原始点云数据的排序不变。
进一步的，对剔除和筛选后的点云数据进行特征点分类，包括以下过程：
通过建立曲率阈值将点云归类为具备线特征和角特征的点，遍历点云赋予分类信息并剔除线特征点，对筛选出的角特征点建立分布方差阈值和曲率阈值，将角特征点再次分为断点和角点。
进一步的，对断点进行体素滤波，包括以下过程：
对属于同一断点的点云进行滤波，选取不连续点云范围内的最小序号断点作为断点表征。
进一步的，基于断点进行窗口化托盘特征滤波，包括以下过程：
对滤波所得断点，顺序选择访问是否存在至少两个断点存在一个矩形范围内，将符合要求的断点链表存储在队列中，不满足的点剔除。
进一步的，根据预设的托盘搜索框，完成聚类检索，包括以下步骤：
依次取出队列中的断点链表，对断点链表中的所有对象求均值并作为托盘搜索框的中心点，构建托盘搜索框；
对搜索框中的所有点云进行聚类操作，结合得到的曲率阈值，对点云再次分类为直线特征点、托盘腿特征点和无效点，将所有检索框中的托盘腿特征均值表征点存储。
作为可选的实施方式，以得到的托盘腿特征点坐标为中心点构建圆形范围，计算点云分布得分，具体为：聚类同一类点云落在圆形范围内的数目与聚类同一类所有点云的数量的比值。
作为可选的实施方式，点云形状得分的获取，包括：
对所有的托盘腿特征均值表征点进行选择计算，循环选择点云的三个点，计算三个表征点连线斜率值；
根据得到的连线斜率，计算连线之间构成直角的程度，通过三点线段之间的夹角计算托盘腿点云形状得分。
作为可选的实施方式，得到两个得分后，将托盘腿点云形状得分与组成托盘四边形形状的所有托盘腿点云分布得分相乘得到总得分，将得分最高的一组点云作为托盘腿特征点坐标。
作为可选的实施方式，查询检测框中点云反射率数据中是否存在符合反光板特征信息的数据，若存在且高反射率表征点处于总得分队列前端的位置处，则把带有反射板信息的表征点链表优先级更新，调整完毕后输出总得分队列中首位的托盘表征点链表。
作为可选的实施方式，根据得到的托盘腿特征点坐标进行移动机器人的位姿校正，包括以下过程：
根据得到的托盘腿特征点坐标做移动机器人车头朝向的由小及大排序，计算移动机器人的虚拟切入cap点和虚拟终止cap点；
调整移动机器人姿态至切入虚拟cap点处，构建虚拟路径切入托盘下方，待位置到达虚拟终止cap点处时，控制移动机器人的顶端摄像模块识别托盘底部的识别码；
待移动机器人正常作业后按照切入路径返回至移动机器人正常作业路径中，将虚拟切入cap点和虚拟终止cap点删除。
本公开第二方面提供了一种识别动态托盘终端的移动机器人位姿校正系统。
一种识别动态托盘终端的移动机器人位姿校正系统，包括：
仓储托盘终端识别检测模块，被配置为：获取托盘的激光点云簇数据，对获取的激光点云簇数据进行处理，得到托盘腿特征均值表征点；
托盘信任度自评价模块，被配置为：根据所有托盘腿特征均值表征点得到点云分布得分和点云形状得分，根据两个得分乘积得到托盘腿特征点坐标；
移动机器人位姿校正模块，被配置为：根据得到的托盘腿特征点坐标进行移动机器人的位姿校正。
本公开第三方面提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本公开第一方面所述的识别动态托盘终端的移动机器人位姿校正方法中的步骤。
本公开第四方面提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本公开第一方面所述的识别动态托盘终端的移动机器人位姿校正方法中的步骤。
与现有技术相比，本公开的有益效果是：
1、本公开所述的方法、系统、介质或电子设备，对于激光雷达扫描数据把机器学习与特征提取做耦合处理，根据所得的类别、结构信息将激光点云分为直线特征、角点特征、断点特征，借助托盘、结构环境的特征与搜索框内的聚类信息以滑动窗口的形式确定托盘的近似点云，相比传统激光点云识别货架，摆脱了搭建托盘长度模板的缺陷，相比传统的RFID的形式，该方案可智能的检测任意动态变化位置的托盘，无需在路径中设定标志点，精度更高、终端作业柔性化程度更高。
2、本公开所述的方法、系统、介质或电子设备，建立托盘信任度自评价函数，增加识别的置信度，可保证安全可靠的识别检测工作，赋予系统甄别的能力，智能化水平更高。
3、本公开所述的方法、系统、介质或电子设备，终端位姿校正可以以托盘为参考修正移动机器人运输路径过程中的累积误差，无人为干预的自动调整切入位姿，对任意动态摆放的托盘都能做出相应反应来调整，减少了生产线上工人对托盘摆放的严格性，增加了移动机器人的容错能力。
附图说明
构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。
图1为本公开实施例1提供的识别动态托盘终端的移动机器人位姿校正系统组成示意图。
图2为本公开实施例1提供的识别动态托盘终端的移动机器人位姿校正系统的工作方法总流程图。
图3为本公开实施例1提供的识别动态托盘终端的移动机器人位姿校正系统中仓储托盘终端识别检测模块的工作方法流程图。
图4为本公开实施例1提供的识别动态托盘终端的移动机器人位姿校正系统中托盘信任度自评价模块的工作方法流程图。
图5为本公开实施例1提供的识别动态托盘终端的移动机器人位姿校正系统中移动机器人位姿校正模块的工作方法流程图。
图6为本公开实施例1提供的背负式移动机器人所用仓储托盘结构示意图
图7为本公开实施例1提供的移动机器人识别终端仓储托盘时激光雷达点云布局规划图。
图8为本公开实施例1提供的仓储托盘于大厅环境下的激光雷达扫描点云图。
图9为本公开实施例1提供的移动机器人识别动态托盘终端后位姿校正工作示意图。
具体实施方式
下面结合附图与实施例对本公开作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。
实施例1：
本公开实施例1提供了一种识别动态托盘终端的移动机器人位姿校正系统，如图1所示，该系统包括仓储托盘终端识别检测模块、托盘信任度自评价模块、移动机器人位姿校正模块；
其中，仓储托盘终端识别检测模块主要完成关键帧激光点云剔除与筛选、特征点分类、机器学习非监督式学习分析、窗口式搜索托盘可能范围等工作；托盘信任度自评价模块主要完成托盘腿点云自评价函数在线监督、基于特征标签的反光板检测、输出信任优先级更新的得分序列等工作；移动机器人位姿校正模块为构造虚拟cap点使移动机器人自适应调整作业位姿。
如图2所示为一种识别动态托盘终端的移动机器人位姿校正系统的工作方法，移动机器人会按照调度系统给予的路径自主规划移动，当机器人到达指定工位需要执行终端作业时，移动机器人停止作业，通过仓储托盘终端识别检测模块将识别得到的窗口范围近似托盘点云簇队列发送给托盘信任度自评价模块，对所得点云簇进行计算得分处理，将得分最高的一组托盘腿的点云信息发送给移动机器人位姿校正模块，实时柔性地完成机器人位姿的修正，进而保证机器人作业的高效性、安全性。
对于仓储托盘终端识别检测模块，该模块由移动机器人基体上的激光雷达、工业相机构成，其中激光雷达安装在具有最大扫描范围的移动机器人前端中间位置处，输出具有位置信息的点云，两个工业相机对向安装，顶端处的工业相机完成对终端托盘二维码信息的检测，底端处的工业相机完成精确路径位置信息的检测，仓储托盘终端识别检测模块对激光雷达识别范围内的点云进行数据处理获得符合托盘特征信息的点云簇，通过工业相机确认终端托盘信息完成移动机器人工作调度系统的反馈回环。
仓储托盘终端识别检测模块的工作方法，如图3所示，包括如下步骤：
步骤A1：移动机器人在调度系统规定路径上运转到指定抬升作业工位时，机器人停止运动，同时将激光雷达一帧扫描点云数据存储，作为原始数据完成后续处理。
如图5所示为背负式移动机器人所用托盘，该托盘底端由四个腿支撑，移动机器人的扫描点云原始数据中托盘的信息皆由四个腿点云进行表征，图中的1为托盘信息二维码，用于向调度系统反馈运输信息及抬升作业如期正常运行，图中的2为具有高反射率的反光板，这里用作托盘的特征标签，增强托盘的可识别性。
步骤A2：对原始点云数据进行筛选与剔除。
原始数据中存在空点(未检测到物体的点输出的x、y坐标皆为0)，将其剔除减少后续计算量；激光点云密度具有随距离变大而稀疏的性质，因此将激光雷达前中距离的矩形范围限制为托盘摆放区域。
如图7所示为移动机器人处于识别位置时激光点云筛选与剔除的范围示意图，其中区域1为长28.28m宽14.14m的托盘停放范围，这个范围与工厂内托盘停放范围一致，保证了后续托盘识别的准确性，区域2为激光点云剔除部分，因激光点云密度与距离存在反比例函数，过远的点托盘特征识别困难，容易造成安全性问题，区域3为激光点云剔除部分，托盘常存放于机器人车体前方，因此将此区域点云剔除。
把原始数据中存在于此矩形范围区域2内的点云筛选出来作为识别检测的输入信息，其余未筛选出的数据剔除，过程中原始点云数据的排序未改变。
步骤A3：处理输入数据完成特征点分类。
输入数据以邻域为3的范围对对应点云坐标计算曲率、均值、方差值，其计算公式如下：
其中，cur、
xvar、yvar分别为点云的曲率、x坐标均值、y坐标均值、x坐标方差、y坐标方差，下标j为当前点云点的序号。通过建立0.01m曲率阈值将点云归类为具备线特征和角特征的点，遍历点云赋予分类信息并剔除线特征点，对筛选出的角特征点建立分布方差阈值和曲率阈值，将角特征点再次分为断点和角点。
如图8所示为仓储托盘于大厅环境下的激光雷达扫描点云图，图中区域1中为筛选出的直线特征，托盘主要的表征点为断点和角点，所以将其剔除，图中2为激光点云中激光雷达的位置，图中4为角点，角点多为障碍物的直线转折点，如墙角，图中5为断点，即为不连续的点，多表现为激光点云从一个物体上射到另一个物体上。
步骤A4：断点特征点体素滤波。
点云不连续处的断点会因为曲率相似而重复，对属于同一断点的点云进行滤波，将选取不连续点云范围内的最小序号断点作为断点表征。
步骤A5：基于断点实现窗口化托盘特征滤波。
对上述滤波所得断点，顺序选择访问是否存在至少两个断点存在一个4×4m2矩形范围内，将符合要求的断点链表存储在队列中，不满足的点剔除，此步骤可以有效区分结构体边缘断点和障碍物边缘断点。
步骤A6：设定托盘搜索框及完成聚类检索。
依次取出队列中的断点链表，对断点链表中的所有对象求均值并作为托盘搜索框的中心点，构建托盘搜索框从而精确托盘近似范围；对搜索框中的所有点云搭建KD-TREE，可加速DBSCAN聚类操作的进度，结合步骤A3中的曲率阈值，对点云再次分类为直线特征点、托盘腿特征点、无效点，如图8中序号3所示为托盘腿这一类点云，且点云数量大多为2个以上，将所有检索框中的托盘腿特征均值表征点存储，且保证每一组托盘腿表征点的数量至少为2。
对于托盘信任度自评价模块，是构建托盘特征自评价函数，对仓储托盘终端识别检测模块输出的托盘腿特征均值表征点做得分预估处理。该模块不再搭建传统激光雷达识别托盘时的距离模板，而是对上述模块输出的所有检索框中符合要求托盘腿表征点链表进行计算排序，将得分最高的一组点云作为托盘腿特征点坐标，为保证模块识别稳定性与安全性，将对10帧点云的最高得分特征点进行核验比较，根据高斯分布得到最优解，该方法适应性强、柔性化程度高。
托盘信任度自评价模块的工作方法，如图4所示，包括如下步骤：
步骤B1：计算托盘腿点云分布得分。
以聚类得到的托盘腿表征点为中心点构建圆形范围，计算分类得分，其计算公式如下：
其中，dis_score为一个托盘腿表征点的点云分布得分，range_count为聚类同一类点云落在圆形范围内的数目，clust_sum为聚类同一类所有点云的数量，该得分越高认为这一类点云为托盘腿的可能性越大。
步骤B2：计算托盘腿点云形状得分。
对所有的托盘腿特征均值表征点进行选择计算，循环选择点云的三个点，计算三个表征点连线斜率值，其计算公式如下：
其中，k、x、y分别为连线斜率、表征点的横坐标、表征点的纵坐标，在求得连线斜率之后，计算连线之间构成直角的程度，其计算公式如下：
其中angle为连线之间的夹角，通过三点线段之间的夹角计算托盘腿点云形状得分，其计算公式如下：
其中，shape_score为托盘腿点云形状得分，i为相对角度值最小的连线角度索引值，relative_angle为连线夹角的相对角度值，该得分可用来表示点云表征点构成四边形的近似程度，得分越高四边形越正。
步骤B3：计算队列中托盘表征点链表总得分，将托盘腿点云形状得分与组成托盘四边形形状的所有托盘腿点云分布得分相乘得到总得分，总得分越高认为此表征点队列为托盘特征点云的可能性越大。
步骤B4：查询反光板特征及更新优先级。查询检测框中点云反射率数据中是否存在符合反光板特征信息的，若存在且高反射率表征点处于总得分队列前端的位置处，则把带有反射板信息的表征点链表优先级更新，调整完毕后输出总得分队列中首位的托盘表征点链表。
对于移动机器人位姿校正模块，是移动机器人根据识别到的托盘位置修正移动机器人的切入位置，确保安全可靠的实现移动机器人的抬升作业。移动机器人位姿校正模块，如图5所示，包括如下步骤：
步骤C1：计算移动机器人切入、终止虚拟cap点。对托盘信任度自评价模块输出的坐标点做移动机器人车头朝向的由小及大排序，计算移动机器人切入、终止cap点，其计算公式如下：
其中，entry_cap为虚拟切入cap点，用于调整机器人的位置，entry_angle为虚拟切入角度，用于调整机器人的姿态，end_cap为移动机器人的虚拟托盘终端停车点，diagonal_x、diagonal_y为对角线坐标元素值。
步骤C2：移动机器人姿态调整并作业，如图9所示为移动机器人的实际工作示意图，图中序号1为end_cap，由托盘腿点云坐标计算所得，用于移动机器人精准停车，保证高精度作业，图中序号2为移动机器人检测识别托盘位置处，此处有二维码信息，其记录着要移动机器人要执行的动作，图中序号3为移动机器人正常作业路径上的cap点，用于机器人记录关键位置与局部导航，图中序号4为托盘的停放区域，图中序号5为entry_cap，图中虚线为调度系统规定路径，细点画线为移动机器人顶升托盘时的虚拟路径。移动机器人上位机控制下位机调整姿态至entry_cap处，构建虚拟路径切入托盘下方，待位置到达end_cap点处时，移动机器人顶端工业摄像头识别托盘底部二维码，并回馈机器人调度系统，机器人正常作业后按照切入路径返回至移动机器人正常作业路径中，entry_cap、end_cap两类虚拟cap点删除，从而实现移动机器人柔性的、智能的、无人为干预的终端托盘顶升作业，增加了整个移动机器人终端作业的容错性、鲁棒性。
实施例2：
本公开实施例2提供了一种识别动态托盘终端的移动机器人位姿校正方法，包括以下过程：
获取托盘的激光点云簇数据，对获取的激光点云簇数据进行处理，得到托盘腿特征均值表征点；
根据所有托盘腿特征均值表征点得到点云分布得分和点云形状得分，根据两个得分乘积得到托盘腿特征点坐标；
根据得到的托盘腿特征点坐标进行移动机器人的位姿校正。
S1：获取托盘的激光点云簇数据，对获取的激光点云簇数据进行处理，得到托盘腿特征均值表征点，包括以下过程：
步骤A1：待移动机器人在调度系统规定路径上运转到指定抬升作业工位且机器人停止运动，同时将激光雷达一帧扫描点云数据存储，作为原始数据完成后续处理。
步骤A2：对原始点云数据进行筛选与剔除。
原始数据中存在空点(未检测到物体的点输出的x、y坐标皆为0)，将其剔除减少后续计算量；激光点云密度具有随距离变大而稀疏的性质，因此将激光雷达前中距离的矩形范围限制为托盘摆放区域，把原始数据中存在于此矩形范围内的点云筛选出来作为识别检测的输入信息，其余未筛选出的数据剔除，过程中原始点云数据的排序未改变。
步骤A3：处理输入数据完成特征点分类。
输入数据以邻域为3的范围对对应点云坐标计算曲率、均值、方差值，其计算公式如下：
其中，cur、
xvar、yvar分别为点云的曲率、x坐标均值、y坐标均值、x坐标方差、y坐标方差，下标j为当前点云点的序号。通过建立曲率阈值将点云归类为具备线特征和角特征的点，遍历点云赋予分类信息并剔除线特征点，对筛选出的角特征点建立分布方差阈值和曲率阈值，将角特征点再次分为断点和角点。
步骤A4：断点特征点体素滤波。
点云不连续处的断点会因为曲率相似而重复，对属于同一断点的点云进行滤波，将选取不连续点云范围内的最小序号断点作为断点表征。
步骤A5：基于断点实现窗口化托盘特征滤波。
对上述滤波所得断点，顺序选择访问是否存在至少两个断点存在一个矩形范围内，将符合要求的断点链表存储在队列中，不满足的点剔除，此步骤可以有效区分结构体边缘断点和障碍物边缘断点。
步骤A6：设定托盘搜索框及完成聚类检索。
依次取出队列中的断点链表，对断点链表中的所有对象求均值并作为托盘搜索框的中心点，构建托盘搜索框从而精确托盘近似范围；对搜索框中的所有点云进行DBSCAN聚类操作，结合步骤A3中的曲率阈值，对点云再次分类为直线特征点、托盘腿特征点、无效点，将所有检索框中的托盘腿特征均值表征点存储，且保证每一组托盘腿表征点的数量至少为2。
S2：根据所有托盘腿特征均值表征点得到点云分布得分和点云形状得分，根据两个得分乘积得到托盘腿特征点坐标，包括以下过程：
步骤B1：计算托盘腿点云分布得分。
以聚类得到的托盘腿表征点为中心点构建圆形范围，计算分类得分，其计算公式如下：
其中，dis_score为一个托盘腿表征点的点云分布得分，range_count为聚类同一类点云落在圆形范围内的数目，clust_sum为聚类同一类所有点云的数量，该得分越高认为这一类点云为托盘腿的可能性越大。
步骤B2：计算托盘腿点云形状得分。
对所有的托盘腿特征均值表征点进行选择计算，循环选择点云的三个点，计算三个表征点连线斜率值，其计算公式如下：
其中，k、x、y分别为连线斜率、表征点的横坐标、表征点的纵坐标，在求得连线斜率之后，计算连线之间构成直角的程度，其计算公式如下：
其中，angle为连线之间的夹角，通过三点线段之间的夹角计算托盘腿点云形状得分，其计算公式如下：
其中，shape_score为托盘腿点云形状得分，i为相对角度值最小的连线角度索引值，relative_angle为连线夹角的相对角度值，该得分可用来表示点云表征点构成四边形的近似程度，得分越高四边形越正。
步骤B3：计算队列中托盘表征点链表总得分。
将托盘腿点云形状得分与组成托盘四边形形状的所有托盘腿点云分布得分相乘得到总得分，总得分越高认为此表征点队列为托盘特征点云的可能性越大。
步骤B4：查询反光板特征及更新优先级。
查询检测框中点云反射率数据中是否存在符合反光板特征信息的，若存在且高反射率表征点处于总得分队列前端的位置处，则把带有反射板信息的表征点链表优先级更新，调整完毕后输出总得分队列中首位的托盘表征点链表。
S3：根据得到的托盘腿特征点坐标进行移动机器人的位姿校正，包括以下过程：
步骤C1：计算移动机器人切入、终止虚拟cap点。对托盘信任度自评价模块输出的坐标点做移动机器人车头朝向的由小及大排序，计算移动机器人切入、终止cap点，其计算公式如下：
其中，entry_cap为虚拟切入cap点，用于调整机器人的位置，entry_angle为虚拟切入角度，用于调整机器人的姿态，end_cap为移动机器人的虚拟托盘终端停车点，diagonal_x、diagonal_y为对角线坐标元素值。
步骤C2：移动机器人姿态调整并作业。
移动机器人上位机控制下位机调整姿态至entry_cap处，构建虚拟路径切入托盘下方，待位置到达end_cap点处时，移动机器人顶端工业摄像头识别托盘底部二维码，并回馈机器人调度系统，机器人正常作业后按照切入路径返回至移动机器人正常作业路径中，entry_cap、end_cap两类虚拟cap点删除。
实施例3：
本公开实施例3提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本公开实施例2所述的识别动态托盘终端的移动机器人位姿校正方法中的步骤。
实施例4：
本公开实施例4提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本公开实施例2所述的识别动态托盘终端的移动机器人位姿校正方法中的步骤。
本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。
以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。
Claims (10)
1.一种识别动态托盘终端的移动机器人位姿校正方法，其特征在于：包括以下过程：
获取托盘的激光点云簇数据，对获取的激光点云簇数据进行处理，得到托盘腿特征均值表征点；
根据所有托盘腿特征均值表征点得到点云分布得分和点云形状得分，根据两个得分乘积得到托盘腿特征点坐标；
根据得到的托盘腿特征点坐标进行移动机器人的位姿校正。
2.如权利要求1所述的识别动态托盘终端的移动机器人位姿校正方法，其特征在于：
获取托盘的激光点云簇数据，对获取的激光点云簇数据进行处理，包括以下过程：
待移动机器人停止运动后，获取激光雷达的至少一帧扫描点云数据，作为原始点云数据；
对原始点云数据进行剔除与筛选；
对剔除和筛选后的点云数据进行特征点分类，将点云归类为线特征点和角特征点，剔除线特征点，将角特征点分为断点和角点；
对断点进行体素滤波；
基于断点进行窗口化托盘特征滤波；
根据预设的托盘搜索框，完成聚类检索。
3.如权利要求2所述的识别动态托盘终端的移动机器人位姿校正方法，其特征在于：
对原始点云数据进行剔除与筛选，包括以下过程：
剔除空点，将激光雷达前中距离的矩形范围限制为托盘摆放区域，把原始数据中存在于此矩形范围内的点云筛选出来作为识别检测的输入信息，其余未筛选出的数据剔除，过程中原始点云数据的排序不变；
或者，
对剔除和筛选后的点云数据进行特征点分类，包括以下过程：
通过建立曲率阈值将点云归类为具备线特征和角特征的点，遍历点云赋予分类信息并剔除线特征点，对筛选出的角特征点建立分布方差阈值和曲率阈值，将角特征点再次分为断点和角点；
或者，
对断点进行体素滤波，包括以下过程：
对属于同一断点的点云进行滤波，选取不连续点云范围内的最小序号断点作为断点表征；
或者，
基于断点进行窗口化托盘特征滤波，包括以下过程：
对滤波所得断点，顺序选择访问是否存在至少两个断点存在一个矩形范围内，将符合要求的断点链表存储在队列中，不满足的点剔除；
或者，
根据预设的托盘搜索框，完成聚类检索，包括以下步骤：
依次取出队列中的断点链表，对断点链表中的所有对象求均值并作为托盘搜索框的中心点，构建托盘搜索框；
对搜索框中的所有点云进行聚类操作，结合得到的曲率阈值，对点云再次分类为直线特征点、托盘腿特征点和无效点，将所有检索框中的托盘腿特征均值表征点存储。
4.如权利要求1所述的识别动态托盘终端的移动机器人位姿校正方法，其特征在于：
以得到的托盘腿特征点坐标为中心点构建圆形范围，计算点云分布得分，具体为：聚类同一类点云落在圆形范围内的数目与聚类同一类所有点云的数量的比值。
5.如权利要求1所述的识别动态托盘终端的移动机器人位姿校正方法，其特征在于：
点云形状得分的获取，包括：
对所有的托盘腿特征均值表征点进行选择计算，循环选择点云的三个点，计算三个表征点连线斜率值；
根据得到的连线斜率，计算连线之间构成直角的程度，通过三点线段之间的夹角计算托盘腿点云形状得分。
6.如权利要求1所述的识别动态托盘终端的移动机器人位姿校正方法，其特征在于：
得到两个得分后，将托盘腿点云形状得分与组成托盘四边形形状的所有托盘腿点云分布得分相乘得到总得分，将得分最高的一组点云作为托盘腿特征点坐标；
或者，
查询检测框中点云反射率数据中是否存在符合反光板特征信息的数据，若存在且高反射率表征点处于总得分队列前端的位置处，则把带有反射板信息的表征点链表优先级更新，调整完毕后输出总得分队列中首位的托盘表征点链表。
7.如权利要求1所述的识别动态托盘终端的移动机器人位姿校正方法，其特征在于：
根据得到的托盘腿特征点坐标进行移动机器人的位姿校正，包括以下过程：
根据得到的托盘腿特征点坐标做移动机器人车头朝向的由小及大排序，计算移动机器人的虚拟切入cap点和虚拟终止cap点；
调整移动机器人姿态至切入虚拟cap点处，构建虚拟路径切入托盘下方，待位置到达虚拟终止cap点处时，控制移动机器人的顶端摄像模块识别托盘底部的识别码；
待移动机器人正常作业后按照切入路径返回至移动机器人正常作业路径中，将虚拟切入cap点和虚拟终止cap点删除。
8.一种识别动态托盘终端的移动机器人位姿校正系统，其特征在于：包括：
仓储托盘终端识别检测模块，被配置为：获取托盘的激光点云簇数据，对获取的激光点云簇数据进行处理，得到托盘腿特征均值表征点；
托盘信任度自评价模块，被配置为：根据所有托盘腿特征均值表征点得到点云分布得分和点云形状得分，根据两个得分乘积得到托盘腿特征点坐标；
移动机器人位姿校正模块，被配置为：根据得到的托盘腿特征点坐标进行移动机器人的位姿校正。
9.一种计算机可读存储介质，其上存储有程序，其特征在于，该程序被处理器执行时实现如权利要求1-7任一项所述的识别动态托盘终端的移动机器人位姿校正方法中的步骤。
10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7任一项所述的识别动态托盘终端的移动机器人位姿校正方法中的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110295975.1A CN112935703B (zh) | 2021-03-19 | 2021-03-19 | 识别动态托盘终端的移动机器人位姿校正方法及系统 |
| AU2021266204A AU2021266204B2 (en) | 2021-03-01 | 2021-11-09 | Mobile robot pose correction method and system for recognizing dynamic pallet terminals |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110295975.1A CN112935703B (zh) | 2021-03-19 | 2021-03-19 | 识别动态托盘终端的移动机器人位姿校正方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112935703A true CN112935703A (zh) | 2021-06-11 |
| CN112935703B CN112935703B (zh) | 2022-09-27 |
Family
ID=76227084
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110295975.1A Active CN112935703B (zh) | 2021-03-01 | 2021-03-19 | 识别动态托盘终端的移动机器人位姿校正方法及系统 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN112935703B (zh) |
| AU (1) | AU2021266204B2 (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113516750A (zh) * | 2021-06-30 | 2021-10-19 | 同济大学 | 三维点云地图构建方法、系统、电子设备及存储介质 |
| CN114055781A (zh) * | 2021-10-24 | 2022-02-18 | 扬州大学 | 基于点体素相关场的燃油箱焊接机械臂自适应校正方法 |
| CN115159402A (zh) * | 2022-06-17 | 2022-10-11 | 杭州海康机器人技术有限公司 | 货物放取方法、装置、电子设备及机器可读存储介质 |
| CN115600118A (zh) * | 2022-11-29 | 2023-01-13 | 山东亚历山大智能科技有限公司（Cn） | 基于二维激光点云的托盘腿识别方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110163906A (zh) * | 2019-05-22 | 2019-08-23 | 北京市商汤科技开发有限公司 | 点云数据处理方法、装置、电子设备及存储介质 |
| CN110168559A (zh) * | 2017-12-11 | 2019-08-23 | 北京嘀嘀无限科技发展有限公司 | 用于识别和定位车辆周围物体的系统和方法 |
| CN111533051A (zh) * | 2020-05-08 | 2020-08-14 | 三一机器人科技有限公司 | 托盘位姿检测方法、装置、叉车和货运系统 |
| CN112070759A (zh) * | 2020-09-16 | 2020-12-11 | 浙江光珀智能科技有限公司 | 一种叉车托盘检测与定位方法及系统 |
| EP3764273A1 (de) * | 2019-07-08 | 2021-01-13 | Fraunhofer Gesellschaft zur Förderung der Angewand | System und verfahren zum identifizieren einer palette |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10328578B2 (en) * | 2017-04-21 | 2019-06-25 | X Development Llc | Methods and systems for detecting, recognizing, and localizing pallets |
| US11389965B2 (en) * | 2019-07-26 | 2022-07-19 | Mujin, Inc. | Post-detection refinement based on edges and multi-dimensional corners |
-
2021
- 2021-03-19 CN CN202110295975.1A patent/CN112935703B/zh active Active
- 2021-11-09 AU AU2021266204A patent/AU2021266204B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110168559A (zh) * | 2017-12-11 | 2019-08-23 | 北京嘀嘀无限科技发展有限公司 | 用于识别和定位车辆周围物体的系统和方法 |
| CN110163906A (zh) * | 2019-05-22 | 2019-08-23 | 北京市商汤科技开发有限公司 | 点云数据处理方法、装置、电子设备及存储介质 |
| EP3764273A1 (de) * | 2019-07-08 | 2021-01-13 | Fraunhofer Gesellschaft zur Förderung der Angewand | System und verfahren zum identifizieren einer palette |
| CN111533051A (zh) * | 2020-05-08 | 2020-08-14 | 三一机器人科技有限公司 | 托盘位姿检测方法、装置、叉车和货运系统 |
| CN112070759A (zh) * | 2020-09-16 | 2020-12-11 | 浙江光珀智能科技有限公司 | 一种叉车托盘检测与定位方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| 孙刚: "基于ROS的机器人智能识别与抓取系统研究", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 * |
| 赵俊宏: "基于激光雷达的托盘位姿识别算法及验证", 《仪器仪表学报》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113516750A (zh) * | 2021-06-30 | 2021-10-19 | 同济大学 | 三维点云地图构建方法、系统、电子设备及存储介质 |
| CN114055781A (zh) * | 2021-10-24 | 2022-02-18 | 扬州大学 | 基于点体素相关场的燃油箱焊接机械臂自适应校正方法 |
| CN114055781B (zh) * | 2021-10-24 | 2023-12-29 | 扬州大学 | 基于点体素相关场的燃油箱焊接机械臂自适应校正方法 |
| CN115159402A (zh) * | 2022-06-17 | 2022-10-11 | 杭州海康机器人技术有限公司 | 货物放取方法、装置、电子设备及机器可读存储介质 |
| CN115600118A (zh) * | 2022-11-29 | 2023-01-13 | 山东亚历山大智能科技有限公司（Cn） | 基于二维激光点云的托盘腿识别方法及系统 |
| CN115600118B (zh) * | 2022-11-29 | 2023-08-08 | 山东亚历山大智能科技有限公司 | 基于二维激光点云的托盘腿识别方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112935703B (zh) | 2022-09-27 |
| AU2021266204B2 (en) | 2023-06-15 |
| AU2021266204A1 (en) | 2022-09-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112935703B (zh) | 识别动态托盘终端的移动机器人位姿校正方法及系统 | |
| EP3489895B1 (en) | Industrial vehicles with point fix based localization | |
| EP3489894A1 (en) | Industrial vehicles with overhead light based localization | |
| US20230114588A1 (en) | Warehouse robot control method and apparatus, robot, and warehouse system | |
| WO2023005384A1 (zh) | 可移动设备的重定位方法及装置 | |
| CN114820391B (zh) | 基于点云处理的仓储托盘检测定位方法及系统 | |
| CN113253737A (zh) | 货架检测方法及装置、电子设备、存储介质 | |
| CN114862301A (zh) | 基于二维码辅助定位的托盘叉车agv自动装载方法 | |
| CN115308708A (zh) | 一种基于激光雷达的托盘位姿识别方法与系统 | |
| CN113050636A (zh) | 一种叉车自主拾取托盘的控制方法、系统及装置 | |
| CN114170521B (zh) | 一种叉车托盘对接识别定位方法 | |
| CN116443527B (zh) | 基于激光雷达的托盘叉取方法、装置、设备和介质 | |
| CN114911226A (zh) | 搬运车行驶控制方法、装置及搬运车 | |
| CN113392747A (zh) | 一种用于立体仓库的货物包装箱识别方法及系统 | |
| CN111832986A (zh) | 一种产品入库存储方法、系统、存储介质及计算机设备 | |
| CN108534788B (zh) | 一种基于kinect视觉的AGV导航方法 | |
| US20220284216A1 (en) | Method and computing system for generating a safety volume list for object detection | |
| CN113706610A (zh) | 基于rgb-d相机的栈板位姿计算方法 | |
| CN112330748A (zh) | 一种基于双目深度相机的托盘识别和定位方法 | |
| US11644845B2 (en) | Industrial vehicle with feature-based localization and navigation | |
| CN117115240A (zh) | 一种通用栈板3d位姿定位方法及系统、存储介质 | |
| WO2023151603A1 (zh) | 货箱存放方法和机器人 | |
| Zhao et al. | A Method for Autonomous Shelf Recognition and Docking of Mobile Robots Based on 2D LiDAR | |
| CN117474892A (zh) | 货架识别方法、移动机器人及存储介质 | |
| CN115902817A (zh) | 库存容器识别方法以及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240419 Address after: 102, Building 9, Zhongrun Century City, No. 13777 Jingshi Road, Lixia District, Jinan City, Shandong Province, 250000 Patentee after: SHANDONG ALESMART INTELLIGENT TECHNOLOGY CO.,LTD. Country or region after: China Address before: 250061, No. ten, No. 17923, Lixia District, Ji'nan City, Shandong Province Patentee before: SHANDONG University Country or region before: China Patentee before: SHANDONG ALESMART INTELLIGENT TECHNOLOGY CO.,LTD. |