CN115546202B - 一种用于无人叉车的托盘检测与定位方法 - Google Patents

一种用于无人叉车的托盘检测与定位方法 Download PDF

Info

Publication number
CN115546202B
CN115546202B CN202211471137.6A CN202211471137A CN115546202B CN 115546202 B CN115546202 B CN 115546202B CN 202211471137 A CN202211471137 A CN 202211471137A CN 115546202 B CN115546202 B CN 115546202B
Authority
CN
China
Prior art keywords
tray
point cloud
loss
prediction
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211471137.6A
Other languages
English (en)
Other versions
CN115546202A (zh
Inventor
房殿军
韩孝斌
韩佳良
蒋红琰
罗尔夫·施密特
王平
任晓霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Sino German Intelligent Technology Research Institute
Original Assignee
Qingdao Sino German Intelligent Technology Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Sino German Intelligent Technology Research Institute filed Critical Qingdao Sino German Intelligent Technology Research Institute
Priority to CN202211471137.6A priority Critical patent/CN115546202B/zh
Publication of CN115546202A publication Critical patent/CN115546202A/zh
Application granted granted Critical
Publication of CN115546202B publication Critical patent/CN115546202B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T3/06—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Abstract

本发明公开了一种用于无人叉车的托盘检测与定位方法，属于摄影测量学技术领域，用于托盘监测和定位，包括：S1、执行托盘目标检测，若存在目标托盘，则回传目标托盘位置，若不存在目标托盘，则重新执行S1；S2、回传目标托盘位置后，判断托盘距离是否小于阈值，若小于，则进行托盘位姿检测，若不小于，则重新执行S1；S3、托盘位姿检测后，回传托盘位姿偏差，判断位姿偏差是否小于阈值，若小于，则重新执行托盘位姿检测，若不小于，则停止运行。本发明所提出的检测模型平均准确率为88.16%，参数量和推理时间分别仅为9.5M和21.5ms，且在低层货架仓库内能保证准确快速地检测。

Description

一种用于无人叉车的托盘检测与定位方法
技术领域
本发明公开了一种用于无人叉车的托盘检测与定位方法，属于摄影测量学技术领域。
背景技术
现有技术的对托盘检测、定位的方法包括以下内容：专利申请号：CN202210450511.8公开了较为传统的以相机图像为输入的机器视觉识别方法，利用了对托盘外形角点的识别方法定位托盘，并进行对其位置的计算；专利申请号：CN202110868163.1以相机图像为输入的机器学习识别方法，利用训练好的分类模型进行托盘的外形识别与托盘插槽的定位，以此为基础进行分类，最后计算出托盘中心坐标；上述两项发明，只利用了相机图像作为输入，然而，图像中也会因为有阴影和遮挡的存在使得检测出现错误，同时相机图像是二维的，对于图像内各点的距离计算效果较差。专利申请号：CN202111607658.5利用了二维相机图像与点云图，使用深度学习算法从相机图像数据分类出托盘，并对应提取点云图相应数据进行计算，利用了相机图像数据与点云数据，但其方法是对于每一次处理的相机图像数据都提取对应的点云数据，然而在距离目标较远时，托盘目标在整体图像中占有的比重可能是较小的，对应的点云数据量也较少，难以进行精确的计算。同时，每一次的处理都经历了相机图像数据的深度学习分类与点云数据的对应处理，这在距离较远时造成了很多不必要的算力消耗，拖慢了运行速度。
综合上述现有技术，发现托盘检测、定位的方法存在以下弊端：对托盘检测、定位的人工设置的方法需要对托盘做标记或进行改造，然而托盘具有很强的流动性并且其尺寸结构已经形成标准化，因此该方法很难实际应用通过托盘的颜色等特征进行托盘的定位和检测任务的方法对光照条件的依赖性比较强；通过激光雷达进行托盘检测的方法仍旧是考虑对于目标托盘某些特定物理特征的检测，无法保障在托盘样式更换后还具有良好的稳定性；新兴的利用机器学习技术进行托盘检测的相关技术也存在相应弊端：利用单目视觉进行托盘的检测的方法受异常样本影响大，准确率偏低；使用的普通摄像头，进行检测的原始数据仅为图像，缺乏更多空间信息，因此不能够进行更为精确的定位。
发明内容
本发明提出了一种用于无人叉车的托盘检测与定位方法，解决现有技术中无人叉车的托盘检测与定位精度低的问题。
一种用于无人叉车的托盘检测与定位方法，包括：
S1、执行托盘目标检测，若存在目标托盘，则回传目标托盘位置，若不存在目标托盘，则重新执行S1；
S2、回传目标托盘位置后，判断托盘距离是否小于阈值，若小于，则进行托盘位姿检测，若不小于，则重新执行S1；
S3、托盘位姿检测后，回传托盘位姿偏差，判断位姿偏差是否小于阈值，若小于，则重新执行托盘位姿检测，若不小于，则停止运行。
托盘目标检测的网络结构包括：输入的图像数据通过跨阶段局部深度网络提取特征，然后得到三个下采样分别为8、16和32倍的特征层，利用三个特征层进行特征金字塔的构建，得到三个加强特征图，以加强特征图作为预测部分的输入。
所述预测部分包括三个预测分支，分别为判定预测框中的特征点所属类别、预测 每个特征点的坐标信息
Figure DEST_PATH_IMAGE001
以及判断特征点是否是前景，其中，
Figure DEST_PATH_IMAGE002
表示预测 框左上角的横坐标信息，
Figure DEST_PATH_IMAGE003
表示预测框左上角的纵坐标信息，
Figure DEST_PATH_IMAGE004
表示预测框的宽度信息，
Figure DEST_PATH_IMAGE005
表示预测框的高度信息。
预测分支的第一分支使用1个维度为
Figure DEST_PATH_IMAGE006
的卷积进行降 维，其余分支部分使用2个维度的卷积以减少速度上的损失，得到三个分支的预测结果后， 将其进行堆叠得到预测特征层，预测特征层的通道维度包括预测坐标、置信度和类别概率 的信息，将三个预测特征层堆叠连接得到最终预测信息。
目标检测模型的损失分为位置损失、分类损失和置信度损失；
位置损失中，对每个预测目标，通过计算预测框和真实框的交并比损失IoU作为回 归损失，IoU定义如下式：
Figure DEST_PATH_IMAGE007
，A表示预测框位置损失，B表示真实框位置损失；
分类损失中，对每个预测目标，确定其特征点所属于的种类，通过真实类别和预测类别来计算交叉熵作为分类损失；
置信度损失中，损失
Figure DEST_PATH_IMAGE008
的计算式为：
Figure DEST_PATH_IMAGE009
，其中
Figure DEST_PATH_IMAGE010
，控制正样本和负样本对损失的权重，
Figure DEST_PATH_IMAGE011
是交叉熵损失的调制因子，其 中
Figure DEST_PATH_IMAGE012
为分类正确的概率，
Figure DEST_PATH_IMAGE013
为超参数。
托盘位姿检测包括：B1.点云预处理、B2.分割托盘与包裹箱的点云、B3.分割货架点云、B4.计算托盘姿态信息。
点云预处理包括：
B1.1.点云图投射到二维平面得到投影图，并对原始点云进行比例变换；
B1.2.通过二值化阈值的方法对投影图进行阈值分割，提取托盘前表面的投影区域；
B1.3.对投影区域进行形态学变换，对其进行膨胀运算以最大化表征需要提取区域的特性，让托盘区域特征最大化；
B1.4.利用最大类间方差算法Otsu让托盘、货架的投影特征更为显著，其中，用下 式确定最大类间方差的阈值
Figure DEST_PATH_IMAGE014
：
Figure DEST_PATH_IMAGE015
，
Figure DEST_PATH_IMAGE016
，其中，
Figure DEST_PATH_IMAGE017
是 方差，
Figure DEST_PATH_IMAGE018
是标准差，按照Otsu所得阈值将图像像素划分为两个类别，背景所占比例
Figure DEST_PATH_IMAGE019
，前 景所占比例
Figure DEST_PATH_IMAGE020
，背景和背景平均灰度值分别为：
Figure DEST_PATH_IMAGE021
，
Figure DEST_PATH_IMAGE022
，其中，
Figure DEST_PATH_IMAGE023
为灰度等级的数量，t为两者 灰度的分界等级，
Figure DEST_PATH_IMAGE024
为灰度等级为i时的概率；
B1.5.考虑邻接关系进行连通域处理得到二维投影；
B1.6.将二维投影转换回三维点云坐标系，搜索并保留原始点云中托盘区域点云的临近点云，在原始点云中筛选出托盘及包裹箱前表面。
采用随机采样一致性算法对托盘和包裹箱进行分割，得到托盘、包裹箱前表面的平面模型系数以及内点的索引值，具体包括：
B2.1.托盘、包裹箱的前表面为平面模型，目标拟合模型设定为
Figure DEST_PATH_IMAGE025
，
Figure DEST_PATH_IMAGE026
是拟合后的值，
Figure DEST_PATH_IMAGE027
、
Figure 653937DEST_PATH_IMAGE003
、
Figure DEST_PATH_IMAGE028
是单位方向矢量；
B2.2.在点云中随机选取三个点作为最小的子集进行平面模型的拟合；
B2.3.舍弃不在目标函数范围的离群点云，设定样本点对模型的最大损失值阈值τ；
B2.4.计算点集中所有点和当前平面模型的损失值并与τ作比较，如果在误差允许的范围内，统计其数量，否则舍弃掉；
B2.5.重复B2.1到B2.4，不断迭代找到最佳的拟合平面模型；
B2.6.根据目标点云区域的索引值提取出托盘及包裹箱的前表面点云，将点云通过欧拉角与旋转矩阵的关系转正，并将点云图进行二维投影；
B2.7.根据托盘有插孔的特殊形状特性，将托盘与包裹箱在二维平面上进行分割，对于B2.6所得二维投影，假设r、c分别为图像的行分量列分量，Count为计数器，托盘与包裹箱分割流程为：
B2.7.1.对计数器进行初始化操作，并且对投影图的列分量进行遍历操作；
B2.7.2.对于坐标为(x，y)的像素点，如果该像素点的灰度值为255，那么计数器进行自增操作；
B2.7.3.每进行一次迭代，统计计数器Count的大小占图像沿x轴像素总值的比例p；
B2.7.4.判断比例p是否达到设定的比例阈值T，如果大于指定阈值，则记录当前坐标，否则进入下一轮的迭代，得到包裹箱点云投影的起始坐标和终止坐标位置，通过两个坐标实现托盘与包裹箱在二维投影上的分割；
B2.8.将B2.7中搜索到的起始坐标和终止坐标转换到三维坐标系下，得到在三维坐标下的托盘和包裹箱的点云图和三维坐标下包裹箱的起始和终止坐标位置，然后综合两者对进行仿射变换之前的点云数据进行分割，得到目标平面的点云图。
分割货架点云包括：
B3.1.通过直通滤波对目标托盘点云进行有效的滤波裁剪，在x轴或者y轴方向直通滤波可以指定滤波范围以便于快速的取得更理想的结果，处理流程为：创建滤波对象、将托盘点云设定输入数据、设定点云滤波的方向y、设定滤波范围、执行滤波操作；
B3.2.将滤波后所得点云作为输入，利用随机采样一致性算法分割拟合平面，获得货架的点云，包括：
B3.2.1.假设平面模型为
Figure DEST_PATH_IMAGE029
，
Figure DEST_PATH_IMAGE030
是其拟合 后的值；
B3.2.2.在滤波后的点云中随机选取最小子集拟合模型；
B3.2.3.所以设置误差范围阈值，计算点云中每个点与拟合平面模型的损失是否在误差范围内，若在误差允许的范围内，统计其数量；
B3.2.4.不断迭代B3.2.1至B3.2.3，拟合出最佳的点云平面。
计算托盘姿态信息包括：
B4.1.计算托盘的位置偏移与角度偏转；
B4.2.以叉车为参照物利用质心来计算托盘的空间坐标位置，得到托盘在世界坐标系下的空间偏移位置信息；
B4.3.选择货架作为托盘角度检测的参照物，结合B2和B3进行点云分割，得到的托盘点云和货架点云，进行托盘偏转角度的计算。
与现有技术对比，本发明的有益效果是：本发明在模型及算法设计上做到了轻量化，设计算法时，在保证精度的同时，也兼顾了算法的推理时间；在复杂场景对托盘进行目标识别检测的实验中，性能和场景实验表明，本发明所提出的检测模型平均准确率为88.16%，参数量和推理时间分别仅为9.5M和21.5ms，且在低层货架仓库内能保证准确快速地检测；在三维点云检测托盘与叉车间位姿偏差（位置和角度偏移）的实验中，实验表明算法对位置偏移的检测误差在±1cm以内，角度偏转的检测误差在1.5°以内。
附图说明
图1为托盘目标检测与定位整体流程示意图；
图2为托盘位姿检测流程中点云预处理部分的示意图；
图3为托盘位姿检测流程中图2后续部分的示意图；
图4为托盘与包裹箱分割流程示意图。
具体实施方式
下面结合具体实施例对本发明的具体实施方式做进一步说明：
一种用于无人叉车的托盘检测与定位方法，如图1，包括：
S1、执行托盘目标检测，若存在目标托盘，则回传目标托盘位置，若不存在目标托盘，则重新执行S1；
S2、回传目标托盘位置后，判断托盘距离是否小于阈值，若小于，则进行托盘位姿检测，若不小于，则重新执行S1；
S3、托盘位姿检测后，回传托盘位姿偏差，判断位姿偏差是否小于阈值，若小于，则重新执行托盘位姿检测，若不小于，则停止运行。
托盘目标检测的网络结构包括：输入的图像数据通过跨阶段局部深度网络提取特征，然后得到三个下采样分别为8、16和32倍的特征层，利用三个特征层进行特征金字塔的构建，得到三个加强特征图，以加强特征图作为预测部分的输入。
所述预测部分包括三个预测分支，分别为判定预测框中的特征点所属类别、预测 每个特征点的坐标信息
Figure DEST_PATH_IMAGE031
以及判断特征点是否是前景，其中，
Figure DEST_PATH_IMAGE032
表示预测 框左上角的横坐标信息，
Figure 751337DEST_PATH_IMAGE003
表示预测框左上角的纵坐标信息，
Figure DEST_PATH_IMAGE033
表示预测框的宽度信息，
Figure DEST_PATH_IMAGE034
表示预测框的高度信息。
预测分支的第一分支使用1个维度为
Figure DEST_PATH_IMAGE035
的卷积进行降 维，其余分支部分使用2个维度的卷积以减少速度上的损失，得到三个分支的预测结果后， 将其进行堆叠得到预测特征层，预测特征层的通道维度包括预测坐标、置信度和类别概率 的信息，将三个预测特征层堆叠连接得到最终预测信息。
目标检测模型的损失分为位置损失、分类损失和置信度损失；
位置损失中，对每个预测目标，通过计算预测框和真实框的交并比损失IoU作为回 归损失，IoU定义如下式：
Figure DEST_PATH_IMAGE036
，A表示预测框位置损失，B表示真实框位置损失；
分类损失中，对每个预测目标，确定其特征点所属于的种类，通过真实类别和预测类别来计算交叉熵作为分类损失；
置信度损失中，损失
Figure DEST_PATH_IMAGE037
的计算式为：
Figure DEST_PATH_IMAGE038
，其中
Figure DEST_PATH_IMAGE039
，控制正样本和负样本对损失的权重，
Figure DEST_PATH_IMAGE040
是交叉熵损失的调制因子，其 中
Figure DEST_PATH_IMAGE041
为分类正确的概率，
Figure DEST_PATH_IMAGE042
为超参数。
托盘位姿检测包括：B1.点云预处理、B2.分割托盘与包裹箱的点云、B3.分割货架点云、B4.计算托盘姿态信息。
点云预处理包括：
B1.1.点云图投射到二维平面得到投影图，并对原始点云进行比例变换；
B1.2.通过二值化阈值的方法对投影图进行阈值分割，提取托盘前表面的投影区域；
B1.3.对投影区域进行形态学变换，对其进行膨胀运算以最大化表征需要提取区域的特性，让托盘区域特征最大化；
B1.4.利用最大类间方差算法Otsu让托盘、货架的投影特征更为显著，其中，用下 式确定最大类间方差的阈值
Figure 318191DEST_PATH_IMAGE014
：
Figure DEST_PATH_IMAGE043
，
Figure DEST_PATH_IMAGE044
，其中，
Figure DEST_PATH_IMAGE045
是 方差，
Figure 221556DEST_PATH_IMAGE018
是标准差，按照Otsu所得阈值将图像像素划分为两个类别，背景所占比例
Figure DEST_PATH_IMAGE046
，前 景所占比例
Figure DEST_PATH_IMAGE047
，背景和背景平均灰度值分别为：
Figure 809663DEST_PATH_IMAGE021
，
Figure 468178DEST_PATH_IMAGE022
，其中，
Figure 833912DEST_PATH_IMAGE023
为灰度等级的数量，t为两者 灰度的分界等级，
Figure 868865DEST_PATH_IMAGE024
为灰度等级为i时的概率；
B1.5.考虑邻接关系进行连通域处理得到二维投影；
B1.6.将二维投影转换回三维点云坐标系，搜索并保留原始点云中托盘区域点云的临近点云，在原始点云中筛选出托盘及包裹箱前表面。
采用随机采样一致性算法对托盘和包裹箱进行分割，得到托盘、包裹箱前表面的平面模型系数以及内点的索引值，如图4，具体包括：
B2.1.托盘、包裹箱的前表面为平面模型，目标拟合模型设定为
Figure DEST_PATH_IMAGE048
，
Figure DEST_PATH_IMAGE049
是拟合后的值，
Figure DEST_PATH_IMAGE050
、
Figure DEST_PATH_IMAGE051
、
Figure DEST_PATH_IMAGE052
是单位方向矢量；
B2.2.在点云中随机选取三个点作为最小的子集进行平面模型的拟合；
B2.3.舍弃不在目标函数范围的离群点云，设定样本点对模型的最大损失值阈值τ；
B2.4.计算点集中所有点和当前平面模型的损失值并与τ作比较，如果在误差允许的范围内，统计其数量，否则舍弃掉；
B2.5.重复B2.1到B2.4，不断迭代找到最佳的拟合平面模型；
B2.6.根据目标点云区域的索引值提取出托盘及包裹箱的前表面点云，将点云通过欧拉角与旋转矩阵的关系转正，并将点云图进行二维投影；
B2.7.根据托盘有插孔的特殊形状特性，将托盘与包裹箱在二维平面上进行分割，对于B2.6所得二维投影，假设r、c分别为图像的行分量列分量，Count为计数器，托盘与包裹箱分割流程为：
B2.7.1.对计数器进行初始化操作，并且对投影图的列分量进行遍历操作；
B2.7.2.对于坐标为(x，y)的像素点，如果该像素点的灰度值为255，那么计数器进行自增操作；
B2.7.3.每进行一次迭代，统计计数器Count的大小占图像沿x轴像素总值的比例p；
B2.7.4.判断比例p是否达到设定的比例阈值T，如果大于指定阈值，则记录当前坐标，否则进入下一轮的迭代，得到包裹箱点云投影的起始坐标和终止坐标位置，通过两个坐标实现托盘与包裹箱在二维投影上的分割；
B2.8.将B2.7中搜索到的起始坐标和终止坐标转换到三维坐标系下，得到在三维坐标下的托盘和包裹箱的点云图和三维坐标下包裹箱的起始和终止坐标位置，然后综合两者对进行仿射变换之前的点云数据进行分割，得到目标平面的点云图。
分割货架点云包括：
B3.1.通过直通滤波对目标托盘点云进行有效的滤波裁剪，在x轴或者y轴方向直通滤波可以指定滤波范围以便于快速的取得更理想的结果，处理流程为：创建滤波对象、将托盘点云设定输入数据、设定点云滤波的方向y、设定滤波范围、执行滤波操作；
B3.2.将滤波后所得点云作为输入，利用随机采样一致性算法分割拟合平面，获得货架的点云，包括：
B3.2.1.假设平面模型为
Figure DEST_PATH_IMAGE053
，
Figure DEST_PATH_IMAGE054
是其拟合 后的值；
B3.2.2.在滤波后的点云中随机选取最小子集拟合模型；
B3.2.3.所以设置误差范围阈值，计算点云中每个点与拟合平面模型的损失是否在误差范围内，若在误差允许的范围内，统计其数量；
B3.2.4.不断迭代B3.2.1至B3.2.3，拟合出最佳的点云平面。
如图2和图3，计算托盘姿态信息包括：
B4.1.计算托盘的位置偏移与角度偏转；
B4.2.以叉车为参照物利用质心来计算托盘的空间坐标位置，得到托盘在世界坐标系下的空间偏移位置信息；
B4.3.选择货架作为托盘角度检测的参照物，结合B2和B3进行点云分割，得到的托盘点云和货架点云，进行托盘偏转角度的计算。
本发明的功能从整体思路可以分为两大部分：
从视野中确定托盘目标的大致位置，返回位置坐标，使无人叉车移动到对应的位置（托盘目标前方），保证所要操作的对象是正确的托盘，无人叉车与托盘的距离小于阈值，视野中只存在一个完整的托盘；
从视野中确定托盘目标与无人叉车之间的位姿关系，返回位移偏差和角度偏移量，使无人叉车进行调正，保证叉车插入位置与方向与托盘的插槽一致，防止碰撞。
本发明是基于3D视觉传感器的数据进行计算处理的，由此得到的RGB-D（三原色与 深度）图像中既包含了RGB（三原色）图像二维平面下的坐标 ，也包括了深度图像中的距离 信息。3D视觉传感器的相机安装在无人叉车上时应提前进行标定与校准，通过对传感器合 适的校准避免出现测量偏差。为方便后续理解，这里指出相机坐标系与空间坐标系的转换： 相机坐标系定义中z为相机深度方向，是相机成像平面的轴向，对应于叉车前进的方向；因 此在相机的安装设置时，将相机坐标系中y方向调整为世界坐标系的重力方向，即一般意义 上空间坐标系的z方向，由于相机与无人叉车刚性连接，且无人叉车与货架都在同一平面工 作，因此3D相机获取到的信息的方向与空间中物体方向对应一致。本发明选取
Figure DEST_PATH_IMAGE055
以最大 程度减少简单样本损失贡献，比例阈值T设定为0.6。
本发明提出了一种用于无人叉车的托盘检测与定位技术，应用环境为设有货架的仓储环境中，货架上储存了托盘，适用于装备3D视觉传感器的无人叉车在复杂环境下对托盘的目标检测与位姿检测，复杂环境是指包含了目标托盘的同时也具有其他干扰因素（如货架、其他托盘、工人等）的环境。首先利用Yolo系列目标识别检测算法从复杂环境中选取托盘且定位大概位置，将位置返回给无人叉车以方便其靠近。在无人叉车移动至托盘前方更近处后，利用三维点云处理技术对托盘姿态（位置和角度偏移）进行精确检测，返回托盘与无人叉车之间距离与角度的偏差，以供无人叉车进行调整，安全取出托盘。基于Yolo系列算法提出用于叉车识别定位托盘的检测模型。综合考虑应用于叉车的目标检测模型高精度、高推理速度和低复杂度的需求，使用CSPDarknet、解耦的预测头和Focal loss等组件对模型的复杂度和精度进行优化，提高了预测算法的计算速度，降低了预测算法的资源消耗，进行了适用于实时计算的轻量化设计。
本发明基于三维点云处理技术，提出了叉车对装载包裹箱的托盘姿态（位置和角度偏移）进行精确检测的算法，以达到叉车对托盘精准、安全搬运的目的。在对点云数据进行阈值化、形态学变换及连通域处理的基础上，对托盘、包裹箱、货架进行点云分割和平面模型拟合，然后利用质心和法向量关系进行托盘位置偏移和角度偏转的计算。
当然，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。

Claims (5)

1.一种用于无人叉车的托盘检测与定位方法，其特征在于，包括：
S1、执行托盘目标检测，若存在目标托盘，则回传目标托盘位置，若不存在目标托盘，则重新执行S1；
S2、回传目标托盘位置后，判断托盘距离是否小于阈值，若小于，则进行托盘位姿检测，若不小于，则重新执行S1；
S3、托盘位姿检测后，回传托盘位姿偏差，判断位姿偏差是否小于阈值，若小于，则重新执行托盘位姿检测，若不小于，则停止运行；
托盘位姿检测包括：B1.点云预处理、B2.分割托盘与包裹箱的点云、B3.分割货架点云、B4.计算托盘姿态信息；
点云预处理包括：
B1.1.点云图投射到二维平面得到投影图，并对原始点云进行比例变换；
B1.2.通过二值化阈值的方法对投影图进行阈值分割，提取托盘前表面的投影区域；
B1.3.对投影区域进行形态学变换，对其进行膨胀运算以最大化表征需要提取区域的特性，让托盘区域特征最大化；
B1.4.利用最大类间方差算法Otsu让托盘、货架的投影特征更为显著，其中，用下式确定最大类间方差的阈值
Figure QLYQS_1
：
Figure QLYQS_2
，
Figure QLYQS_3
，其中，
Figure QLYQS_4
是方差，
Figure QLYQS_5
是标准差，按照Otsu所得阈值将图像像素划分为两个类别，背景所占比例
Figure QLYQS_6
，前景所占比例
Figure QLYQS_7
，背景和背景平均灰度值分别为：
Figure QLYQS_8
，
Figure QLYQS_9
，其中，
Figure QLYQS_10
为灰度等级的数量，
Figure QLYQS_11
为两者灰度的分界等级，
Figure QLYQS_12
为灰度等级为i时的概率；
B1.5.考虑邻接关系进行连通域处理得到二维投影；
B1.6.将二维投影转换回三维点云坐标系，搜索并保留原始点云中托盘区域点云的临近点云，在原始点云中筛选出托盘及包裹箱前表面；
采用随机采样一致性算法对托盘和包裹箱进行分割，得到托盘、包裹箱前表面的平面模型系数以及内点的索引值，具体包括：
B2.1.托盘、包裹箱的前表面为平面模型，目标拟合模型设定为
Figure QLYQS_13
，
Figure QLYQS_14
是拟合后的值，
Figure QLYQS_15
、
Figure QLYQS_16
、
Figure QLYQS_17
是单位方向矢量；
B2.2.在点云中随机选取三个点作为最小的子集进行平面模型的拟合；
B2.3.舍弃不在目标函数范围的离群点云，设定样本点对模型的最大损失值阈值τ；
B2.4.计算点集中所有点和当前平面模型的损失值并与τ作比较，如果在误差允许的范围内，统计其数量，否则舍弃掉；
B2.5.重复B2.1到B2.4，不断迭代找到最佳的拟合平面模型；
B2.6.根据目标点云区域的索引值提取出托盘及包裹箱的前表面点云，将点云通过欧拉角与旋转矩阵的关系转正，并将点云图进行二维投影；
B2.7.根据托盘有插孔的特殊形状特性，将托盘与包裹箱在二维平面上进行分割，对于B2.6所得二维投影，假设r、c分别为图像的行分量列分量，Count为计数器，托盘与包裹箱分割流程为：
B2.7.1.对计数器进行初始化操作，并且对投影图的列分量进行遍历操作；
B2.7.2.对于坐标为(x，y)的像素点，如果该像素点的灰度值为255，那么计数器进行自增操作；
B2.7.3.每进行一次迭代，统计计数器Count的大小占图像沿x轴像素总值的比例p；
B2.7.4.判断比例p是否达到设定的比例阈值T，如果大于指定阈值，则记录当前坐标，否则进入下一轮的迭代，得到包裹箱点云投影的起始坐标和终止坐标位置，通过两个坐标实现托盘与包裹箱在二维投影上的分割；
B2.8.将B2.7中搜索到的起始坐标和终止坐标转换到三维坐标系下，得到在三维坐标下的托盘和包裹箱的点云图和三维坐标下包裹箱的起始和终止坐标位置，然后综合两者对进行仿射变换之前的点云数据进行分割，得到目标平面的点云图；
分割货架点云包括：
B3.1.通过直通滤波对目标托盘点云进行有效的滤波裁剪，在x轴或者y轴方向直通滤波指定滤波范围以便于快速的取得更理想的结果，处理流程为：创建滤波对象、将托盘点云设定输入数据、设定点云滤波的方向y、设定滤波范围、执行滤波操作；
B3.2.将滤波后所得点云作为输入，利用随机采样一致性算法分割拟合平面，获得货架的点云，包括：
B3.2.1.假设平面模型为
Figure QLYQS_18
，
Figure QLYQS_19
是其拟合后的值；
B3.2.2.在滤波后的点云中随机选取最小子集拟合模型；
B3.2.3.所以设置误差范围阈值，计算点云中每个点与拟合平面模型的损失是否在误差范围内，若在误差允许的范围内，统计其数量；
B3.2.4.不断迭代B3.2.1至B3.2.3，拟合出最佳的点云平面；
计算托盘姿态信息包括：
B4.1.计算托盘的位置偏移与角度偏转；
B4.2.以叉车为参照物利用质心来计算托盘的空间坐标位置，得到托盘在世界坐标系下的空间偏移位置信息；
B4.3.选择货架作为托盘角度检测的参照物，结合B2和B3进行点云分割，得到的托盘点云和货架点云，进行托盘偏转角度的计算。
2.如权利要求1所述的一种用于无人叉车的托盘检测与定位方法，其特征在于，托盘目标检测的网络结构包括：输入的图像数据通过跨阶段局部深度网络提取特征，然后得到三个下采样分别为8、16和32倍的特征层，利用三个特征层进行特征金字塔的构建，得到三个加强特征图，以加强特征图作为预测部分的输入。
3.如权利要求2所述的一种用于无人叉车的托盘检测与定位方法，其特征在于，所述预测部分包括三个预测分支，分别为判定预测框中的特征点所属类别、预测每个特征点的坐标信息
Figure QLYQS_20
以及判断特征点是否是前景，其中，
Figure QLYQS_21
表示预测框左上角的横坐标信息，
Figure QLYQS_22
表示预测框左上角的纵坐标信息，
Figure QLYQS_23
表示预测框的宽度信息，
Figure QLYQS_24
表示预测框的高度信息。
4.如权利要求3所述的一种用于无人叉车的托盘检测与定位方法，其特征在于，预测分支的第一分支使用1个维度为
Figure QLYQS_25
的卷积进行降维，其余分支部分使用2个维度的卷积以减少速度上的损失，得到三个分支的预测结果后，将其进行堆叠得到预测特征层，预测特征层的通道维度包括预测坐标、置信度和类别概率的信息，将三个预测特征层堆叠连接得到最终预测信息。
5.如权利要求4所述的一种用于无人叉车的托盘检测与定位方法，其特征在于，目标检测模型的损失分为位置损失、分类损失和置信度损失；
位置损失中，对每个预测目标，通过计算预测框和真实框的交并比损失IoU作为回归损失，IoU定义如下式：
Figure QLYQS_26
，A表示预测框位置损失，B表示真实框位置损失；
分类损失中，对每个预测目标，确定其特征点所属于的种类，通过真实类别和预测类别来计算交叉熵作为分类损失；
置信度损失中，损失
Figure QLYQS_27
的计算式为：
Figure QLYQS_28
，其中
Figure QLYQS_29
，控制正样本和负样本对损失的权重，
Figure QLYQS_30
是交叉熵损失的调制因子，其中
Figure QLYQS_31
为分类正确的概率，
Figure QLYQS_32
为超参数。
CN202211471137.6A 2022-11-23 2022-11-23 一种用于无人叉车的托盘检测与定位方法 Active CN115546202B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211471137.6A CN115546202B (zh) 2022-11-23 2022-11-23 一种用于无人叉车的托盘检测与定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211471137.6A CN115546202B (zh) 2022-11-23 2022-11-23 一种用于无人叉车的托盘检测与定位方法

Publications (2)

Publication Number Publication Date
CN115546202A CN115546202A (zh) 2022-12-30
CN115546202B true CN115546202B (zh) 2023-03-03

Family

ID=84720960

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211471137.6A Active CN115546202B (zh) 2022-11-23 2022-11-23 一种用于无人叉车的托盘检测与定位方法

Country Status (1)

Country Link
CN (1) CN115546202B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116977328B (zh) * 2023-09-19 2023-12-19 中科海拓(无锡)科技有限公司 车底机器人主动视觉中的图像质量评估方法

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011143496A (ja) * 2010-01-13 2011-07-28 Ihi Corp トレイ移載装置及び方法
JP2011179885A (ja) * 2010-02-26 2011-09-15 Seiko Epson Corp キャリブレーション装置及びキャリブレーション方法及び位置検出用治具及び部品検査装置
CN111310631A (zh) * 2020-02-10 2020-06-19 湖南大学 一种旋翼作业飞行机器人目标跟踪方法及系统
EP3764273A1 (de) * 2019-07-08 2021-01-13 Fraunhofer Gesellschaft zur Förderung der Angewand System und verfahren zum identifizieren einer palette
CN112907667A (zh) * 2021-02-23 2021-06-04 广东省农业科学院设施农业研究所 一种视觉激光融合的托盘位姿估计方法、系统及装置
CN112907666A (zh) * 2021-02-23 2021-06-04 广东省农业科学院设施农业研究所 一种基于rgb-d的托盘位姿估计方法、系统及装置
CN113435524A (zh) * 2021-06-30 2021-09-24 兰剑智能科技股份有限公司 智能堆垛机及托盘位置异常的识别方法、装置和设备
JP2021170233A (ja) * 2020-04-15 2021-10-28 矢崎エナジーシステム株式会社 車載器、稼働管理装置、運転支援システム、及び運転支援プログラム
CN113998626A (zh) * 2021-09-27 2022-02-01 诺力智能装备股份有限公司 一种应用于托盘识别/定位的调整agv姿态方法
CN114194675A (zh) * 2021-10-28 2022-03-18 北京迈格威科技有限公司 穿梭车控制方法、仓储系统、控制装置及计算机程序产品
CN114332219A (zh) * 2021-12-27 2022-04-12 机科发展科技股份有限公司 一种基于三维点云处理的托盘定位方法及装置
CN216917266U (zh) * 2021-10-28 2022-07-08 北京迈格威科技有限公司 一种托盘纠偏装置和具有其的仓储系统
CN114820391A (zh) * 2022-06-28 2022-07-29 山东亚历山大智能科技有限公司 基于点云处理的仓储托盘检测定位方法及系统
CN114972968A (zh) * 2022-05-19 2022-08-30 长春市大众物流装配有限责任公司 基于多重神经网络的托盘识别和位姿估计方法
CN114972489A (zh) * 2022-05-31 2022-08-30 珠海格力智能装备有限公司 托盘识别方法、装置、存储介质及智能叉车设备
CN115019274A (zh) * 2022-06-13 2022-09-06 重庆大学 一种融合追踪与检索算法的路面病害识别方法
CN115018895A (zh) * 2022-05-25 2022-09-06 劢微机器人科技(深圳)有限公司 无人叉车高位货架放货方法、装置、设备及存储介质
CN115092855A (zh) * 2022-05-30 2022-09-23 上海理工大学 基于视觉和深度学习的自动导航叉车及其运动控制方法
CN115272275A (zh) * 2022-08-10 2022-11-01 深圳鹏鲲智科技术有限公司 基于rgb-d相机及神经网络模型的托盘、障碍物检测定位系统和方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109816050A (zh) * 2019-02-23 2019-05-28 深圳市商汤科技有限公司 物体位姿估计方法及装置

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011143496A (ja) * 2010-01-13 2011-07-28 Ihi Corp トレイ移載装置及び方法
JP2011179885A (ja) * 2010-02-26 2011-09-15 Seiko Epson Corp キャリブレーション装置及びキャリブレーション方法及び位置検出用治具及び部品検査装置
EP3764273A1 (de) * 2019-07-08 2021-01-13 Fraunhofer Gesellschaft zur Förderung der Angewand System und verfahren zum identifizieren einer palette
CN111310631A (zh) * 2020-02-10 2020-06-19 湖南大学 一种旋翼作业飞行机器人目标跟踪方法及系统
JP2021170233A (ja) * 2020-04-15 2021-10-28 矢崎エナジーシステム株式会社 車載器、稼働管理装置、運転支援システム、及び運転支援プログラム
CN112907667A (zh) * 2021-02-23 2021-06-04 广东省农业科学院设施农业研究所 一种视觉激光融合的托盘位姿估计方法、系统及装置
CN112907666A (zh) * 2021-02-23 2021-06-04 广东省农业科学院设施农业研究所 一种基于rgb-d的托盘位姿估计方法、系统及装置
CN113435524A (zh) * 2021-06-30 2021-09-24 兰剑智能科技股份有限公司 智能堆垛机及托盘位置异常的识别方法、装置和设备
CN113998626A (zh) * 2021-09-27 2022-02-01 诺力智能装备股份有限公司 一种应用于托盘识别/定位的调整agv姿态方法
CN114194675A (zh) * 2021-10-28 2022-03-18 北京迈格威科技有限公司 穿梭车控制方法、仓储系统、控制装置及计算机程序产品
CN216917266U (zh) * 2021-10-28 2022-07-08 北京迈格威科技有限公司 一种托盘纠偏装置和具有其的仓储系统
CN114332219A (zh) * 2021-12-27 2022-04-12 机科发展科技股份有限公司 一种基于三维点云处理的托盘定位方法及装置
CN114972968A (zh) * 2022-05-19 2022-08-30 长春市大众物流装配有限责任公司 基于多重神经网络的托盘识别和位姿估计方法
CN115018895A (zh) * 2022-05-25 2022-09-06 劢微机器人科技(深圳)有限公司 无人叉车高位货架放货方法、装置、设备及存储介质
CN115092855A (zh) * 2022-05-30 2022-09-23 上海理工大学 基于视觉和深度学习的自动导航叉车及其运动控制方法
CN114972489A (zh) * 2022-05-31 2022-08-30 珠海格力智能装备有限公司 托盘识别方法、装置、存储介质及智能叉车设备
CN115019274A (zh) * 2022-06-13 2022-09-06 重庆大学 一种融合追踪与检索算法的路面病害识别方法
CN114820391A (zh) * 2022-06-28 2022-07-29 山东亚历山大智能科技有限公司 基于点云处理的仓储托盘检测定位方法及系统
CN115272275A (zh) * 2022-08-10 2022-11-01 深圳鹏鲲智科技术有限公司 基于rgb-d相机及神经网络模型的托盘、障碍物检测定位系统和方法

Also Published As

Publication number Publication date
CN115546202A (zh) 2022-12-30

Similar Documents

Publication Publication Date Title
CN111429514B (zh) 一种融合多帧时序点云的激光雷达3d实时目标检测方法
CN111798475B (zh) 一种基于点云深度学习的室内环境3d语义地图构建方法
CN107507167B (zh) 一种基于点云平面轮廓匹配的货物托盘检测方法及系统
CN107610176A (zh) 一种基于Kinect的栈板动态识别与定位方法、系统及介质
JP7433609B2 (ja) 物体識別のための方法および計算システム
US20160203387A1 (en) Vision system and analytical method for planar surface segmentation
CN110879994A (zh) 基于形状注意力机制的三维目测检测方法、系统、装置
CN111353985B (zh) 一种基于深度相机的机场自助托运行李的检测方法
CN113139453A (zh) 一种基于深度学习的正射影像高层建筑基底矢量提取方法
CN111123242B (zh) 一种基于激光雷达和相机的联合标定方法及计算机可读存储介质
CN113267761B (zh) 激光雷达目标检测识别方法、系统及计算机可读存储介质
CN113658257B (zh) 一种无人设备定位方法、装置、设备及存储介质
CN115546202B (zh) 一种用于无人叉车的托盘检测与定位方法
CN116128841A (zh) 托盘位姿检测方法及装置、无人叉车、存储介质
CN114463736A (zh) 一种基于多模态信息融合的多目标检测方法及装置
CN116452852A (zh) 一种高精度矢量地图的自动生成方法
CN110689568A (zh) 一种基于深度图像的立方物体体积的精确计算方法
CN114358133A (zh) 一种基于语义辅助双目视觉slam检测回环帧的方法
CN113128346B (zh) 起重机施工现场的目标识别方法、系统、装置及存储介质
CN114118247A (zh) 一种基于多传感器融合的无锚框3d目标检测方法
Dos Santos et al. Building boundary extraction from LiDAR data using a local estimated parameter for alpha shape algorithm
CN109785388B (zh) 一种基于双目摄像头的短距离精确相对定位方法
CN116309817A (zh) 一种基于rgb-d相机的托盘检测与定位方法
CN116309882A (zh) 一种面向无人叉车应用的托盘检测和定位方法及系统
Guan et al. Simultaneous image segmentation and 3D plane fitting for RGB-D sensors—An iterative framework

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant