CN115308708A - 一种基于激光雷达的托盘位姿识别方法与系统 - Google Patents

一种基于激光雷达的托盘位姿识别方法与系统 Download PDF

Info

Publication number
CN115308708A
CN115308708A CN202210926847.7A CN202210926847A CN115308708A CN 115308708 A CN115308708 A CN 115308708A CN 202210926847 A CN202210926847 A CN 202210926847A CN 115308708 A CN115308708 A CN 115308708A
Authority
CN
China
Prior art keywords
pose
tray
point
filtering
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210926847.7A
Other languages
English (en)
Inventor
杨松超
马晓庆
张昆帆
朱永丰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang EP Equipment Co Ltd
Original Assignee
Zhejiang EP Equipment Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang EP Equipment Co Ltd filed Critical Zhejiang EP Equipment Co Ltd
Priority to CN202210926847.7A priority Critical patent/CN115308708A/zh
Publication of CN115308708A publication Critical patent/CN115308708A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本发明公开了一种基于激光雷达的托盘位姿识别方法与系统，利用生成库位列信息来进行更精细的点云过滤，并且还利用点云聚类、目标跟踪、多帧累积方法，基于库位列信息进行位姿粗判断，从而实现基于激光雷达识别出托盘位姿。本发明不仅不受光线影响，在强光、逆光或明暗相接场景都可以工作，而且还不需要训练数据，本系统可以识别不同尺寸的仓储笼和托盘，而且位姿识别精度更高，位置识别精度更高。通过使用本发明，能够ARM搬运机器人自主取货，节省人力。

Description

一种基于激光雷达的托盘位姿识别方法与系统
技术领域
本发明涉及AMR搬运领域，尤其涉及一种基于激光雷达的托盘位姿识别方法与系统。
背景技术
自主移动机器人(Automated Mobile Robot，简称AMR),是指装备有自动导航和感知系统，沿规划好的线路自动行驶，如果行驶线路上有障碍物，并具有绕障功能。AMR在工业应用中不需要驾驶员，一般采用蓄电池作为其动力来源，通过激光、视觉等传感器感知周边环境，并通过工控机和电控系统来控制其行进路线和行为。AMR系统与其他人工物流系统相比，具有环境适应性强、自动化程度高、工作时长不受限等优点，对企业提高生产效率、降低生产成本有着重要意义。
当前的仓储调度系统会告诉AMR去哪里取货或卸货，但不会告诉AMR货物的位姿(x,y,yaw)。为实现上述目的，通常需要在ARM上安装额外的传感器来获取托盘的位姿，目前常见的传感器有RGBD深度相机或单目相机。例如通过RGB-D深度相机定位、识别托盘位姿，该方法易受光线影响，尤其是在强光、逆光或明暗相接场景，图像或点云精度会受到影响，出现托盘定位失败，位姿识别错误的现象。或是采用深度学习的方法，该方法不仅需要大量的数据进行模型训练，而且AMR上还需要高性能的计算平台，成本极高。如果遇到没有训练过的托盘或场景，同样会导致托盘定位失败。
发明内容
本发明的目的在于针对现有技术的不足，提供了一种基于激光雷达的托盘位姿识别方法及系统。
本发明的目的是通过以下技术方式实现的：一种基于激光雷达的托盘位姿识别方法，该方法步骤如下：
步骤1：接收外部的依赖信息，包括点云、定位、库位列信息、托盘位姿检测信号；
步骤2：库位列信息初始化，基于从调度系统处接收到的包含库位起点、终点和列宽信息的库位列信息生成库位列和车辆坐标系；进行系统初始化，包括初始化目标跟踪信息，初始化位姿检测信息。
步骤3：点云过滤，滤掉打在自车身上点云、库位列以外的点云和离散的点云；
步骤4：点云聚类，根据雷达的角分辨率特性，生成三维体素；将点云投影到体素中，对体素分成不同类别，计算每个类别的轮廓凸包；
步骤5：对前后帧中托盘脚尖进行目标跟踪；托盘位姿的计算需要多帧累积的信息，所有需要对前后帧中托盘脚尖进行跟踪；如果当前帧与上一帧的轮廓凸包互相匹配，则认为目标跟踪成功，更新跟踪列表信息，记为托盘脚尖，并对目标的位置和位姿进行滤波；如果没有跟踪成功，则仅将该目标加入到跟踪列表中，并进行初始化扩展卡尔曼跟踪模型参数；
步骤6：二次滤除无效点云，计算托盘位姿时，需要的是托盘外端面点云。但点云会打在托盘内端面上，因此需要将内端面的点云滤除。基于水平投影和垂直投影的方法，找到托盘的内端面和外端面；滤除托盘内端面的点云，并重构过滤后的跟踪列表信息，包括凸包信息、长宽信息；
步骤7：位姿粗判断，设定托盘允许摆放最大角度阈值，判断托盘位姿是否满足Ransac拟合的直线与库位中轴的夹角小于托盘允许摆放最大角度阈值；大于阈值则判断不满足位姿要求，从步骤3开始进行下一帧的检测周期，否则判断满足要求；进行步骤8；
步骤8：位姿精计算，基于满足要求的托盘脚尖点云，采用最小二乘和多帧累积计算出托盘的位姿和中点。
进一步地，所述步骤2中的生成库位列方法为：建立车辆坐标系，车辆坐标系为沿车头向前为y轴，与车头方向的切向方向向右为x轴；
假设库位起点A(x0,y0)，库位终点B(x1,y1)，终点到起点的单位向量v(x,y)，v的两个法向量分别为v1(-y,x)、v2(y,-x)，列宽w，生成一个四边形，四边形为A0A1B1B0，四边形的四个顶点的x，y坐标分别为：
A0·x＝x0+(-y*w/2) A0·y＝y0+(x*w/2)
A1·x＝x0+(y*w/2) A1·y＝x1+(-x*w/2)
B0·x＝x0+(-y*w/2) B0·y＝y0+(x*w/2)
B1·x＝x0+(y*w/2) B1·y＝x1+(-x*w/2)。
进一步地，所述步骤4中对体素分成不同类别具体步骤为：随机选取一个含有点云的体素，检索与该体素相邻的前后左后4个体素，如果相邻体素含有点云，将它们归为同一类；然后在以检索相邻体素为起点检索它的前后左右4个体素，并将含有点云的体素归为同一类，重复该步骤，直到相邻的4个体素都不含有点云。
进一步地，所述步骤5中的滤波为基于扩展卡尔曼滤波模型，对目标的位置和位姿进行滤波。
进一步地，所述点云过滤模块中点云过滤包括：自车过滤、库位列过滤和半径过滤；
所述自车过滤：过滤掉打在自车身上的点云。
所述库位列过滤：过滤掉库位以外的点云，即过滤四边形A0A1B1B0以外的点云。
所述半径过滤为过滤离散点；以任意点P为圆心，r为半径，假如剩余点到点P的距离小于r的个数为N，如果N小于5，则认为点P属于离散点，需要滤除。
进一步地，所述位姿粗判断包括：
基于Ransac算法，初步判断托盘位姿是否满足要求，并判断托盘是否为仓储笼。即Ransac拟合的直线与库位中轴的夹角小于托盘允许摆放的最大位姿。
所有目标物的中心点投影到库位中轴线，按照与库位起始点的距离从近到远排序；
选出距库位起始点最近点pt；
从所有目标物中选取距pt的距离小于最大距离maxDist的点云。maxDist计算方式：库位宽度*sin(托盘允许摆放最大角度阈值)；
将上述操作中满足要求的点云进行Ransac直线拟合，并得到符合要求的直线起点和单位向量；由直线起点和单位向量组成的直线上的托盘脚尖个数判断是三个托盘脚尖的普通托盘还是两个托盘脚尖的仓储笼。
进一步地，所述位姿精计算中使用最小二乘和多帧累积计算托盘的位姿和中点的具体步骤为：
步骤①：使用最小二乘方法拟合步骤6中的直线起点和单位向量组成直线上的托盘脚尖上的点云直线方程y＝kx+b，其中k为托盘的位姿yaw，将结果保存到位姿列表中。
步骤②：计算步骤6中的直线起点和单位向量组成直线上的托盘脚尖上所有点云的均值(x’,y’)，将结果保存到位姿列表中
步骤③：设定位姿列表阈值，重复步骤①和步骤②，当位姿列表中的数量大于位姿列表阈值时，计算位姿列表中的yaw和(x’,y’)均值，计算结果即为托盘最终的位姿和中点。
本发明还提供了一种基于激光雷达的托盘位姿识别系统，所述系统利用权利要求1-7任一项所述方法实现，其特征在于，该系统包括：数据接收模块、数据发送模块、库位列信息初始化模块、点云过滤模块、点云聚类模块，目标跟踪模块和托盘位姿检测模块；
所述数据接收模块是基于网络接收外部的依赖信息，包括点云、定位、库位列信息、停车检测信号；
所述数据发送模块用于将基于网络识别到的货物位姿(x,y,yaw)发给控制系统，执行取货操作；
所述库位列信息初始化模块是基于从仓储调度系统接收到的列信息生成的库位，库位的四个顶点坐标为A0A1B1B0；
所述点云过滤模块的作用是滤掉无效的点云，加快后续步骤的处理效率；包含自车过滤、库位列过滤、半径过滤；
所述点云聚类模块基于三维体素方法，根据雷达的角分辨率特性，生成三维体素；将点云投影到体素中，相邻的体素属于同一个类别，最后计算每个类别的轮廓凸包，用于后续的目标跟踪模块。
所述目标跟踪模块是为了得到托盘位姿计算需要的多帧累积的信息，对前后帧目标进行跟踪。如果当前帧的轮廓凸包与上一帧的聚类目标凸包匹配上，则认为目标跟踪成功，更新跟踪列表信息，记为托盘脚尖，并对目标的位置和位姿进行滤波；如果没有跟踪成功，则仅将该目标加入到跟踪列表中，并进行初始化扩展卡尔曼跟踪模型参数；
所述托盘位姿检测模块的作用是进行滤除无效点云、位姿粗判断和位姿精计算，并能够基于安装在叉尖的激光雷达检测两腿的仓储笼和三腿的托盘位姿；
托盘位姿检测模块根据托盘距自车距离可分为侧向和纵向检测，并将检测结果发给控制系统进行取货，
进一步地，所述控制系统用于规划行驶路径，控制车辆运行。
进一步地，所述托盘位姿检测模块侧向和纵向检测的判定为：当自车离货物小于1.5米，采用侧向识别托盘位姿；当自车距货物大于1.5米时，采用纵向识别托盘位姿。
本发明的有益效果：
本发明针对当前AMR搬运机器人的托盘或仓储笼位姿识别系统中存在的不足，提出了基于激光雷达识别货物位姿方法和系统，该方法不仅不受光线影响，而且还不需要训练数据。本系统可以识别不同尺寸的仓储笼和托盘，而且位姿识别精度≤1°，位置识别精度≤1cm。通过使用本发明，能够ARM搬运机器人自主取货，节省人力。
附图说明
图1为基于激光雷达的托盘位姿识别方法流程图；
图2为车辆坐标系示意图；
图3为基于列信息生成的库位四边形；
图4为体素示意图；
图5为基于激光雷达的位姿识别示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
如图1所示，本发明提供的一种基于激光雷达的托盘位姿识别方法，该方法步骤如下：
步骤1：基于网络接收外部的依赖信息，包括激光雷达点云、定位、库位列信息、托盘位姿检测信号；
步骤2：库位列信息初始化，基于从调度系统接收到库位信息生成库位列，库位信息包含库位起点、终点和库位宽度。如图2所示，车辆坐标系为沿车头向前为y轴，与车头方向的切向方向向右为x轴；在车辆坐标系下基于公式1生成库位列的四个顶点为A0A1B1B0；
设库位起点A(x0,y0)，库位终点B(x1,y1)，终点到起点的单位向量v(x,y)，v的两个法向量分别为v1(-y,x)、v2(y,-x)，列宽w。下基于公式1生成库位列的四个顶点为A0A1B1B0，如图3所示。
Figure BDA0003779864600000051
步骤3：进行系统初始化，包括初始化目标跟踪信息，初始化位姿检测信息，点云过滤，滤掉打在自车身上点云、库位列以外的点云和离散的点云；
所述自车过滤：过滤掉打在自车身上的点云。
所述库位列过滤：过滤掉库位以外的点云，即过滤四边形A0A1B1B0以外的点云。四边形A0A1B1B0四个顶点坐标分布为A0(x11，y11),A1(x22，y22),B1(x33，y33),B0(x44，y44)。经自车过滤后的任意点云Pt(x55，y55)。设向量
Figure BDA0003779864600000052
与向量
Figure BDA0003779864600000053
的叉积dot0、向量
Figure BDA0003779864600000054
与向量
Figure BDA0003779864600000055
的叉积dot1、向量
Figure BDA0003779864600000056
与向量
Figure BDA0003779864600000057
的叉积dot2、向量
Figure BDA0003779864600000058
与向量
Figure BDA0003779864600000059
的叉积dot3。如果dot0*dot1*dot2*dot3＞0，则认为点Pt在四边形A0A1B1B0内，需要保留；如果dot0*dot1*dot2*dot3≤0,则说明点Pt在四边形A0A1B1B0外，需要滤除。其中向量
Figure BDA00037798646000000510
Figure BDA00037798646000000511
的计算如公式2所示。叉积dot0、dot1、dot2、dot3的计算如公式3所示。
Figure BDA0003779864600000061
Figure BDA0003779864600000062
所述半径过滤为过滤离散点；以任意点P为圆心，r为半径，设剩余点到点P的距离小于r的个数为N，如果N小于5，则认为点P属于离散点，需要滤除。具体步骤如下：
假设经自车过滤和库位过滤保留下来的所有点云集合为PointCloudA，首先对PointCloudA构建二叉树，本方法使用的是KD-tree；
本方法使用的一线激光雷达，只有x和y两个维度，首先计算PointCloudA中点云在x方向和y方向的方差，并确定方差最大的维度，假设方差最大的维度在x方向。然后找出维度x上所有数据项的中位数xa，按xa划分数据集，一分为二，记这两个数据子集为Sa,Sb。建立树节点，存储这次划分的情况，即记录划分的维度x以及中位数xa。
对Sa,Sb重复进行以上的划分，并且将新生成的树节点设置为上一次划分的左右子节点；
递归地进行以上两步，直到不能再划分为止。
从PointCloudA选择任意点P，从KD-tree的根结点开始检索，计算点P与KD-tree的结点距离，如果距离小于r＝0.05米，则与点P距离小于r的个数N递增，直至达到KD-tree的叶子结点，如果N＜5，则认为点P属于离散点，需要滤除；当N≥5时，点P保留。重复此步骤，直到PointCloudA内所用点云都参与计算。
步骤4：经步骤3过滤后的点云集合为PointCloudB。点云聚类，根据雷达的角分辨率特性，生成三维体素，雷达扫描一周为360°、雷达角分辨率为0.2°、按照步长step＝0.1米进行生成体素，如图4所示；将点云投影到体素中，对体素分成不同类别，邻近的体素属于同一个类别，最后基于每个类别的点云计算它的轮廓凸包，凸包的计算步骤：
步骤①：选出类别内x坐标最小的点云作为极点(x坐标相同，则选y最小的点)。这个点必在凸包上。
步骤②：将其余点云按极角排序，在极角相同的情况下比较与极点的距离，离极点比较近的优先
步骤③：用一个队列S存储凸包上的点，先将按极角和极点排序最小的两个点入栈
步骤④：按需扫描每个点，检查队列S的前两个元素与这个点构成的折线段是否“拐”向右侧(叉积≤0)。
步骤⑤：如果满足，则弹出队列S的第一个元素，并返回步骤④再次检查，直至不满足。将该点存入队列S，并对其他点不断执行步骤⑤操作。
步骤⑥：最终队列S中的元素为凸包的顶点序列。
步骤5：对前后帧中托盘脚尖进行目标跟踪；如果当前帧的轮廓凸包与上一帧的轮廓凸包在车体坐标系下有交点，则认为目标跟踪成功，更新跟踪列表信息，并基于扩展卡尔曼滤波模型，对目标的位置和位姿进行滤波；如果没有跟踪成功，则仅将该托盘脚尖加入到跟踪列表中，进行初始化扩展卡尔曼跟踪模型参数；
步骤6：滤除无效点云，计算托盘位姿时，需要的是托盘外端面点云，但点云会打在托盘内端面上，因此需要将内端面的点云滤除。本方法采用水平投影和垂直投影法滤除托盘内端面的点云。首先将步骤5中所有托盘脚尖中的点云投影到库位起点和终点组成的直线上、找到与库位起点最近的点Pt0、如果剩余点与Pt0的距离大于0.03米，则认为它是托盘内端面的点云，需要滤除掉、基于过滤后的点云重构托盘脚尖信息，例如凸包、长和宽信息。
步骤7：位姿粗判断，基于Ransac算法，初步判断托盘位姿是否满足要求并依据由直线起点和单位向量组成的直线上的托盘脚尖个数判断是托盘(3个脚尖)还是仓储笼(2个脚尖)。设定托盘允许摆放最大角度阈值θ，本方法为25°，对所述步骤6的托盘脚尖按照与库位起点的距离从近到远进行排序、选出距库位起始点最近点Pt1、从所有托盘脚尖中选取距Pt1的距离小于maxDist的点云存入点云集合PointCloudC，maxDist为点云到点Pt1的最大距离，它的计算方式：库位宽度w*sin(θ)；
将点云集合PointCloudC进行Ransac直线拟合，详细步骤为；
步骤①：从点云集合中随机选取两个点Pta和Ptb
步骤②：计算Pta和Ptb组成直线的单位向量vab＝(xab，yab)，单位向量vab和点Pta为点Pta和Ptb两点组成的直线lab参数。
步骤③：计算点云集合PointCloudC剩下所有点云到直线lab的距离，如果距离小于0.05米，判断点为直线lab附近的点，直线lab附近点的计数器Countab加1。
步骤④：重复步骤①到③，直到Countab大于点云集合PointCloudC数量的一半时，说明直线lab是有效的直线，计算向量vab与库位起点与终点组成的直线的角度θ0，如果θ0小于θ，说明找到了符合要求的托盘位姿。如果θ0大于θ，超出托盘允许摆放最大角度阈值θ，则认为当前检测失败，从步骤3开始进行下一帧的检测周期。
步骤8：位姿精计算，基于符合要求的托盘脚尖点云，采用最小二乘和多帧累积计算出托盘的位姿和中点；
步骤①：使用最小二乘方法拟合步骤7中的直线起点和单位向量组成直线上的托盘脚尖上的点云直线方程y＝kx+b，其中k为托盘的位姿yaw，b为常数，将结果保存到位姿列表中。
步骤②：计算步骤7中的直线起点和单位向量组成直线上的托盘脚尖上所有点云的均值(x’,y’)，将结果保存到位姿列表中
步骤③：设定位姿列表阈值M＝10，重复步骤①和步骤②，当位姿列表中的数量大于位姿列表阈值时，计算位姿列表中的yaw和(x’,y’)均值，计算结果即为托盘最终的位姿和中点。
根据本发明实施例提供的一种基于激光雷达的托盘位姿识别系统，该系统包括：数据接收模块、数据发送模块、库位列信息初始化模块、点云过滤模块、点云聚类模块，目标跟踪模块和托盘位姿检测模块；
所述数据接收模块是基于网络接收外部的依赖信息，包括点云、定位、库位列信息、停车检测信号；
所述数据发送模块用于将基于网络识别到的货物位姿(x,y,yaw)发给控制系统，执行取货操作；
所述库位列信息初始化模块是基于从仓储调度系统接收到的列信息生成的库位，库位的四个顶点坐标为A0A1B1B0；
所述点云过滤模块的作用是滤掉无效的点云，加快后续步骤的处理效率；包含自车过滤、库位列过滤、半径过滤；
所述点云聚类模块基于三维体素方法，根据雷达的角分辨率特性，生成三维体素；将点云投影到体素中，相邻的体素属于同一个类别，最后计算每个类别的轮廓凸包，用于后续的目标跟踪模块；
所述目标跟踪模块中，托盘位姿的计算需要多帧累积的信息，所有需要对前后帧目标进行跟踪；如果当前帧的轮廓凸包与上一帧的聚类目标凸包匹配上，则认为目标跟踪成功，更新跟踪列表信息，记为托盘脚尖，并对目标的位置和位姿进行滤波；如果没有跟踪成功，则仅将该目标加入到跟踪列表中，并进行初始化扩展卡尔曼跟踪模型参数；
所述托盘位姿检测模块的作用是进行滤除无效点云、位姿粗判断和位姿精计算，并能够基于安装在叉尖的激光雷达检测两腿的仓储笼和三腿的托盘位姿；
托盘位姿检测模块根据托盘距自车距离可分为侧向和纵向检测，并将检测结果发给控制系统(用于规划行驶路径，控制车辆运行)进行取货。
本系统中根据托盘距自车距离可分为侧向和纵向检测，如图5所示。当自车离货物较近时(<1.5米)，采用侧向识别托盘位姿；当自车距货物较远时，采用纵向识别托盘位姿，并将检测结果发给控制系统进行取货，由规划控制规划车辆的行驶路线，进行取货操作。
托盘位姿检测模块的角度检测精度≤1°，位置检测精度≤2cm。
以上所述仅是本发明的优选实施方式，虽然本发明已以较佳实施例披露如上，然而并非用以限定本发明。任何熟悉本领域的技术人员，在不脱离本发明技术方案范围情况下，都可利用上述揭示的方法和技术内容对本发明技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何的简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。

Claims (10)

1.一种基于激光雷达的托盘位姿识别方法，其特征在于，该方法步骤如下：
步骤1：接收外部的依赖信息，包括点云、定位、库位列信息、托盘位姿检测信号；
步骤2：库位列信息初始化，基于从调度系统处接收到的包含库位起点、终点和列宽信息的库位列信息生成库位列和车辆坐标系；进行系统初始化，包括初始化目标跟踪信息，初始化位姿检测信息；
步骤3：点云过滤，滤掉打在自车身上点云、库位列以外的点云和离散的点云；
步骤4：点云聚类，根据雷达的角分辨率特性，生成三维体素；将点云投影到体素中，对体素分成不同类别，计算每个类别的轮廓凸包；
步骤5：对前后帧中托盘脚尖进行目标跟踪；如果当前帧与上一帧的轮廓凸包互相匹配，则认为目标跟踪成功，更新跟踪列表信息，记为托盘脚尖，并对目标的位置和位姿进行滤波；如果没有跟踪成功，则仅将该目标加入到跟踪列表中，并进行初始化扩展卡尔曼跟踪模型参数；
步骤6：二次滤除无效点云，找到托盘的内端面和外端面；滤除托盘内端面的点云，并重构过滤后的跟踪列表信息，包括凸包信息、长宽信息；
步骤7：位姿粗判断，设定托盘允许摆放最大角度阈值，判断托盘位姿是否满足Ransac拟合的直线与库位中轴的夹角小于托盘允许摆放最大角度阈值；大于阈值则判断不满足位姿要求，从步骤3开始进行下一帧的检测周期，否则判断满足要求；进行步骤8；
步骤8：位姿精计算，基于满足要求的托盘脚尖点云，采用最小二乘和多帧累积计算出托盘的位姿和中点。
2.根据权利要求1所述的一种基于激光雷达的托盘位姿识别方法，其特征在于，所述步骤2中的生成库位列方法为：建立车辆坐标系，车辆坐标系为沿车头向前为y轴，与车头方向的切向方向向右为x轴；
假设库位起点A(x0，y0)，库位终点B(x1，y1)，终点到起点的单位向量v(x，y)，v的两个法向量分别为v1(-y，x)、v2(y，-x)，列宽w，生成一个库位列为四边形，库位列A0A1B1B0的四个顶点的x，y坐标分别为：
A0.x＝x0+(-y*w/2) A0.y＝y0+(x*w/2)
A1.x＝x0+(y*w/2) A1.y＝x1+(-x*w/2)
B0.x＝x0+(-y*w/2) B0.y＝y0+(x*w/2)
Bi.x＝x0+(y*w/2) B1.y＝x1+(-x*w/2)。
3.根据权利要求1所述的一种基于激光雷达的托盘位姿识别方法，其特征在于，所述步骤4中对体素分成不同类别具体步骤为：随机选取一个含有点云的体素，检索与该体素相邻的前后左后4个体素，如果相邻体素含有点云，将它们归为同一类；然后在以检索相邻体素为起点检索它的前后左右4个体素，并将含有点云的体素归为同一类，重复该步骤，直到相邻的4个体素都不含有点云。
4.根据权利要求1所述的一种基于激光雷达的托盘位姿识别方法，其特征在于，所述步骤5中的滤波为基于扩展卡尔曼滤波模型，对目标的位置和位姿进行滤波。
5.根据权利要求1所述的一种基于激光雷达的托盘位姿识别方法，其特征在于，所述点云过滤模块中点云过滤包括：自车过滤、库位列过滤和半径过滤；
所述自车过滤：过滤掉打在自车身上的点云；
所述库位列过滤：过滤掉库位以外的点云，即过滤四边形A0A1B1B0以外的点云；
所述半径过滤为过滤离散点；以任意点P为圆心，r为半径，假如剩余点到点P的距离小于r的个数为N，如果N小于5，则认为点P属于离散点，需要滤除。
6.根据权利要求1所述的一种基于激光雷达的托盘位姿识别方法，其特征在于，所述位姿粗判断包括：
基于Ransac算法，初步判断托盘位姿是否满足要求，并判断托盘是否为仓储笼；即Ransac拟合的直线与库位中轴的夹角小于托盘允许摆放的最大位姿；
所有目标物的中心点投影到库位中轴线，按照与库位起始点的距离从近到远排序；
选出距库位起始点最近点pt；
从所有目标物中选取距pt的距离小于最大距离maxDist的点云；maxDist计算方式：库位宽度*sin(托盘允许摆放最大角度阈值)；
将上述操作中满足要求的点云进行Ransac直线拟合，并得到符合要求的直线起点和单位向量；由直线起点和单位向量组成的直线上的托盘脚尖个数判断是三个托盘脚尖的普通托盘还是两个托盘脚尖的仓储笼。
7.根据权利要求6所述的一种基于激光雷达的托盘位姿识别方法，其特征在于，所述位姿精计算中使用最小二乘和多帧累积计算托盘的位姿和中点的具体步骤为：
步骤①：使用最小二乘方法拟合步骤6中的直线起点和单位向量组成直线上的托盘脚尖上的点云直线方程y＝kx+b，其中k为托盘的位姿yaw，将结果保存到位姿列表中；
步骤②：计算步骤6中的直线起点和单位向量组成直线上的托盘脚尖上所有点云的均值(x’,y’)，将结果保存到位姿列表中
步骤③：设定位姿列表阈值，重复步骤①和步骤②，当位姿列表中的数量大于位姿列表阈值时，计算位姿列表中的yaw和(x’,y’)均值，计算结果即为托盘最终的位姿和中点。
8.一种基于激光雷达的托盘位姿识别系统，所述系统利用权利要求1-7任一项所述方法实现，其特征在于，该系统包括：数据接收模块、数据发送模块、库位列信息初始化模块、点云过滤模块、点云聚类模块，目标跟踪模块和托盘位姿检测模块；
所述数据接收模块是基于网络接收外部的依赖信息，包括点云、定位、库位列信息、停车检测信号；
所述数据发送模块用于将基于网络识别到的货物位姿(x,y,yaw)发给控制系统，执行取货操作；
所述库位列信息初始化模块是基于从仓储调度系统接收到的列信息生成的库位，库位的四个顶点坐标为A0A1B1B0；
所述点云过滤模块的作用是滤掉无效的点云，加快后续步骤的处理效率；包含自车过滤、库位列过滤、半径过滤；
所述点云聚类模块基于三维体素方法，根据雷达的角分辨率特性，生成三维体素；将点云投影到体素中，相邻的体素属于同一个类别，最后计算每个类别的轮廓凸包，用于后续的目标跟踪模块；
所述目标跟踪模块中，托盘位姿的计算需要多帧累积的信息，所有需要对前后帧目标进行跟踪；如果当前帧的轮廓凸包与上一帧的聚类目标凸包匹配上，则认为目标跟踪成功，更新跟踪列表信息，记为托盘脚尖，并对目标的位置和位姿进行滤波；如果没有跟踪成功，则仅将该目标加入到跟踪列表中，并进行初始化扩展卡尔曼跟踪模型参数；
所述托盘位姿检测模块的作用是进行滤除无效点云、位姿粗判断和位姿精计算，并能够基于安装在叉尖的激光雷达检测两腿的仓储笼和三腿的托盘位姿；
托盘位姿检测模块根据托盘距自车距离可分为侧向和纵向检测，并将检测结果发给控制系统进行取货。
9.根据权利要求8所述的一种基于激光雷达的托盘位姿识别系统，其特征在于，所述控制系统用于规划行驶路径，控制车辆运行。
10.根据权利要求8所述的一种基于激光雷达的托盘位姿识别系统，其特征在于，所述托盘位姿检测模块侧向和纵向检测的判定为：当自车离货物小于1.5米，采用侧向识别托盘位姿；当自车距货物大于1.5米时，采用纵向识别托盘位姿。
CN202210926847.7A 2022-08-03 2022-08-03 一种基于激光雷达的托盘位姿识别方法与系统 Pending CN115308708A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210926847.7A CN115308708A (zh) 2022-08-03 2022-08-03 一种基于激光雷达的托盘位姿识别方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210926847.7A CN115308708A (zh) 2022-08-03 2022-08-03 一种基于激光雷达的托盘位姿识别方法与系统

Publications (1)

Publication Number Publication Date
CN115308708A true CN115308708A (zh) 2022-11-08

Family

ID=83858923

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210926847.7A Pending CN115308708A (zh) 2022-08-03 2022-08-03 一种基于激光雷达的托盘位姿识别方法与系统

Country Status (1)

Country Link
CN (1) CN115308708A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115494472A (zh) * 2022-11-16 2022-12-20 中南民族大学 一种基于增强雷达波信号的定位方法、毫米波雷达、装置
CN115600118A (zh) * 2022-11-29 2023-01-13 山东亚历山大智能科技有限公司（Cn） 基于二维激光点云的托盘腿识别方法及系统
CN115761210A (zh) * 2023-01-09 2023-03-07 成都睿芯行科技有限公司 一种基于深度相机的托盘识别定位方法
CN116342858A (zh) * 2023-05-29 2023-06-27 未来机器人（深圳）有限公司 物体检测方法、装置、电子设备及存储介质

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115494472A (zh) * 2022-11-16 2022-12-20 中南民族大学 一种基于增强雷达波信号的定位方法、毫米波雷达、装置
CN115494472B (zh) * 2022-11-16 2023-03-10 中南民族大学 一种基于增强雷达波信号的定位方法、毫米波雷达、装置
CN115600118A (zh) * 2022-11-29 2023-01-13 山东亚历山大智能科技有限公司（Cn） 基于二维激光点云的托盘腿识别方法及系统
CN115600118B (zh) * 2022-11-29 2023-08-08 山东亚历山大智能科技有限公司 基于二维激光点云的托盘腿识别方法及系统
CN115761210A (zh) * 2023-01-09 2023-03-07 成都睿芯行科技有限公司 一种基于深度相机的托盘识别定位方法
CN116342858A (zh) * 2023-05-29 2023-06-27 未来机器人（深圳）有限公司 物体检测方法、装置、电子设备及存储介质
CN116342858B (zh) * 2023-05-29 2023-08-25 未来机器人（深圳）有限公司 物体检测方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN115308708A (zh) 一种基于激光雷达的托盘位姿识别方法与系统
Ferryman et al. Visual surveillance for moving vehicles
Surmann et al. An autonomous mobile robot with a 3D laser range finder for 3D exploration and digitalization of indoor environments
Petrovskaya et al. Model Based Vehicle Tracking for Autonomous Driving in Urban Environments.
EP3451296B1 (en) Multidimensional evidence grids and system and methods for applying same
Manz et al. Monocular model-based 3D vehicle tracking for autonomous vehicles in unstructured environment
CN113345008B (zh) 考虑轮式机器人位姿估计的激光雷达动态障碍物检测方法
US20200057160A1 (en) Multi-object tracking based on lidar point cloud
Negre et al. Robust vision‐based underwater homing using self‐similar landmarks
US20200300639A1 (en) Mobile robots to generate reference maps for localization
Arras et al. Hybrid, high-precision localisation for the mail distributing mobile robot system MOPS
Burger et al. Fast multi-pass 3D point segmentation based on a structured mesh graph for ground vehicles
CN110580040A (zh) 盲区中的对象跟踪
US11527028B2 (en) Systems and methods for monocular based object detection
Behrje et al. An autonomous forklift with 3d time-of-flight camera-based localization and navigation
KR102249485B1 (ko) 로봇 자율주행 시스템 및 방법
CN116301061A (zh) 无人车跟人行驶方法、装置、电子设备及可读存储介质
Vatavu et al. Modeling and tracking of dynamic obstacles for logistic plants using omnidirectional stereo vision
US20220095871A1 (en) Systems and methods for enabling navigation in environments with dynamic objects
Hoy et al. Bayesian tracking of multiple objects with vision and radar
CN114074666A (zh) 传感器融合
CN115308709A (zh) 一种基于激光雷达的库位检测方法与系统
CN117474892A (zh) 货架识别方法、移动机器人及存储介质
CN117649495B (zh) 基于点云描述符匹配的室内三维点云地图生成方法及系统
CN116342695B (zh) 无人叉车放货检测方法及装置、无人叉车、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination