CN115984195B - 一种基于三维点云的车厢轮廓检测方法及系统 - Google Patents

一种基于三维点云的车厢轮廓检测方法及系统 Download PDF

Info

Publication number
CN115984195B
CN115984195B CN202211623801.4A CN202211623801A CN115984195B CN 115984195 B CN115984195 B CN 115984195B CN 202211623801 A CN202211623801 A CN 202211623801A CN 115984195 B CN115984195 B CN 115984195B
Authority
CN
China
Prior art keywords
carriage
point cloud
coordinates
image
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211623801.4A
Other languages
English (en)
Other versions
CN115984195A (zh
Inventor
张岩松
贾璐
董建伟
李海滨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Binyuan Guoke Qinhuangdao Intelligent Technology Co ltd
Original Assignee
Qinhuangdao Yanda Binyuan Technology Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qinhuangdao Yanda Binyuan Technology Development Co ltd filed Critical Qinhuangdao Yanda Binyuan Technology Development Co ltd
Priority to CN202211623801.4A priority Critical patent/CN115984195B/zh
Publication of CN115984195A publication Critical patent/CN115984195A/zh
Application granted granted Critical
Publication of CN115984195B publication Critical patent/CN115984195B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)

Abstract

本发明公开了一种基于三维点云的车厢轮廓检测方法及系统,通过将云台不同角度的点云坐标进行拼接验证,得到完整点云车厢数据,并将三维点云数据转化到二维平面图像,通过图像处理的方式得到车厢轮廓区域坐标,然后通过坐标变换转化为系统坐标,传递给自动装车系统,指导自动装车作业,防止装车过程中,机械臂与车厢侧壁或车厢拉绳碰撞,还能够防止装车过程中,袋装货物装到车厢拉绳或车厢侧壁,从而散落货物。本发明能够实现高栏车、半挂车等车厢外轮廓和车厢拉绳的自动检测,为实现自动装车提供必要准备和前提条件。

Description

一种基于三维点云的车厢轮廓检测方法及系统
技术领域
本发明涉及物流运输技术领域,尤其涉及的是一种基于三维点云的车厢轮廓检测方法及系统。
背景技术
物流业是我国国民经济基础产业重要组成部分,其融合了道路运输业、仓储业和信息业等多个产业,具有涉及领域广,吸纳就业人数多等特点。
目前袋装物品装车过程中,主要依赖人在现场或通过摄像头判断车厢外轮廓和车厢拉绳的位置,这种方式过于依赖人工,由于长时间的货物装载,极易引起人员疲劳,并且受视角、光线变化、尺度变化等因素影响,容易存在盲区和误检的情况。
因此,现有技术存在缺陷,需要改进。
发明内容
本发明所要解决的技术问题是针对现有技术的不足提供一种基于三维点云的车厢轮廓检测方法及系统。
本发明的技术方案如下:
一种基于三维点云的车厢轮廓检测方法,包括以下步骤:
(1)指定系统坐标系原点,保证所有装车区域的点云坐标x,y,z均为正值,方便后续的处理和计算;使用手持RTK标定系统坐标原点的经纬度坐标,并转换为空间直角坐标系坐标O(x0,y0,z0);
(2)指定搭载三维激光扫描仪云台的安装位置为车厢停靠位置的正上方,并使用手持RTK标定该点的经纬度坐标,然后转换为云台安装位置原点O1(x′0,y′0,z′0),其中两个坐标系之间在x,y,z方向的平移向量分别为l,w,h;
(3)对三维激光扫描仪加装旋转云台,以便于扫描车厢全部区域;三维激光扫描仪的坐标系是以三维激光扫描仪成像位置为中心,以扫描区域正前方为x轴方向,y轴和z轴方向平行于扫描仪扫描平面;
采集云台俯仰角为0度即雷达垂直向下以及云台俯仰角为正负30度三个角度的雷达三维点云数据;将云台正负30度时的三维点云数据转换到垂直向下的坐标系;该坐标系的点云坐标通过(1)、(2)步手持RTK的标定,直接通过平移变换转换到系统坐标系坐标;
(5)将三个角度点云数据的重合点进行位置校验拼接,得到整个车厢的三维点云数据;
(5)采用均匀采样的方式进行拼接采样;首先设定每隔e长度,取一个三维点云,取与网格点云重心欧式距离最近的点作为点云坐标;
(6)选取感兴趣区域点云,投影到平面图像,图像的像素为该位置的Z值;则根据车厢边框和拉绳明显高于车厢底部的特性,设置高度阈值Tz将投影后的单通道图像进行二值化处理;
假设车厢底部高度为h1,车厢外边框的高度为h2,则高度阈值为选择h1-Δh<z<h2+Δh区域,作为系统感兴趣区域;
选择感兴趣区域的系统坐标系点云数据(x2,y2,z2),将其投影到二维图像,将(x2,y2)作为像素位置,将z2作为像素值,得到灰度图像image(x2,y2)=Z2(x2,y2);再对灰度图像二值化处理得到二值化图像;
(7)将二值化的图像进行轮廓提取并得到轮廓的最小外接矩形,通过车厢尺寸对二值化图像进行轮廓筛选,判断得到车厢外轮廓和车厢拉绳分割区域的最小外接矩形,并得到角点图像坐标;
(8)最后将车厢及拉绳分割区域的角点图像坐标的像素值提取出来,转化为系统坐标系的真实坐标(x3,y3,z3),传输给自动装车系统。
所述的方法,所述步骤(3),通过平移变换转换到系统坐标系坐标的方法为:首先获取云台倾斜角度θ,假设云台倾斜轴距离扫描仪的扫描位置长度为l,扫描仪倾斜状态下点云坐标为(x,y,z),转化后的坐标为(x1,y1,z1);
所述的方法,所述步骤(4),首先分别对垂直扫描点云数据和倾斜扫描并转化完成的点云数据进行平面拟合,以(x11,y11,z11)和(x12,y12,z12)为例:
通过(x11,y11,z11)点云拟合出的平面为a1x11+b1y11+c1z11+d1=0;
通过(x12,y12,z12)点云拟合出的平面为a2x12+b2y12+c2z12+d2=0;
设定阈值T1,若同一区域内两个平面位置差超过阈值T1,则需要重新扫描;若位置差小于阈值T1,则判定为可以对点云进行拼接采样。
根据任一所述方法的车厢轮廓检测系统。
根据所述车厢轮廓检测系统的自动装车系统,所述自动装车系统根据步骤(1)到(8)中过程得到的车厢边缘及拉绳位置坐标进行计算,判断可有效装车区域的坐标,并根据预设好的袋装物料码垛规则,指导自动装车下料装置行驶到指定位置进行装车作业,实现自动装车流程。
本方法通过将云台不同角度的点云坐标进行拼接验证,得到完整点云车厢数据,并将三维点云数据转化到二维平面图像,通过图像处理的方式得到车厢轮廓区域坐标,然后通过坐标变换转化为系统坐标,传递给自动装车系统,指导自动装车作业,防止装车过程中,机械臂与车厢侧壁或车厢拉绳碰撞,还能够防止装车过程中,袋装货物装到车厢拉绳或车厢侧壁,从而散落货物。本发明能够实现高栏车、半挂车等车厢外轮廓和车厢拉绳的自动检测,为实现自动装车提供必要准备和前提条件。
附图说明
图1三维激光扫描仪坐标系示意图;
图2拼接采样示意图;
图3车厢轮廓识别方法流程图;
具体实施方式
以下结合具体实施例,对本发明进行详细说明。
本发明提供了一种基于三维点云的车厢轮廓检测方法,包括以下步骤:
(1)指定系统坐标系原点为装车机房的西南角,使用手持RTK标定系统坐标原点的经纬度坐标,并转换为空间直角坐标系坐标O(x0,y0,z0),此系统坐标原点的选择可以保证所有装车区域的点云坐标x,y,z均为正值,方便后续的处理和计算。
(2)指定搭载三维激光扫描仪云台的安装位置为车厢停靠位置的正上方,并使用手持RTK标定该点的经纬度坐标,然后转换为云台安装位置原点O1(x′0,y′0,z′0),其中两个坐标系之间在x,y,z方向的平移向量分别为l,w,h;
(3)由于载货车厢长度经常超出扫描仪的扫描区域,因此对三维激光扫描仪加装旋转云台,以便于扫描车厢全部区域。
三维激光扫描仪的坐标系是以三维激光扫描仪成像位置为中心,以扫描区域正前方为x轴方向,y轴和z轴方向平行于扫描仪扫描平面。
采集云台俯仰角为0度(雷达垂直向下),以及云台俯仰角为正负30度,三个位置的雷达三维点云数据。将云台正负30度时的三维点云数据转换到垂直向下的坐标系。该坐标系的点云坐标通过(1)、(2)步手持RTK的标定,可以直接通过平移变换转换到系统坐标系坐标。
首先获取云台倾斜角度θ,假设云台倾斜轴距离扫描仪的扫描位置长度为l,扫描仪倾斜状态下点云坐标为(x,y,z),转化后的坐标为(x1,y1,z1)。
(6)将三个角度点云数据的重合点进行位置校验拼接,得到整个车厢的三维点云数据。
首先分别对垂直扫描点云数据和倾斜扫描并转化完成的点云数据进行平面拟合,以(x11,y11,z11)和(x12,y12,z12)为例。
通过(x11,y11,z11)点云拟合出的平面为a1x11+b1y11+c1z11+d1=0。
通过(x12,y12,z12)点云拟合出的平面为a2x12+b2y12+c2z12+d2=0。
设定阈值T1,若同一区域内两个平面位置差超过阈值T1,则需要重新扫描。若位置差小于阈值T1,则判定为可以对点云进行拼接采样。
(5)采用均匀采样的方式进行拼接采样。首先设定每隔e长度,取一个三维点云,本系统取与网格点云重心欧式距离最近的点作为点云坐标。
(6)选取感兴趣区域点云,投影到平面图像,图像的像素为该位置的Z值。则根据车厢边框和拉绳明显高于车厢底部的特性,设置高度阈值Tz将投影后的单通道图像进行二值化处理;
假设车厢底部高度为h1,车厢外边框的高度为h2,则高度阈值为选择h1-Δh<z<h2+Δh区域,作为系统感兴趣区域,其中Δh=0.5m。
选择感兴趣区域的系统坐标系点云数据(x2,y2,z2),将其投影到二维图像,将(x2,y2)作为像素位置,将z2作为像素值,得到灰度图像image(x2,y2)=Z2(x2,y2)。再对灰度图像二值化处理得到二值化图像。
(7)将二值化的图像进行轮廓提取并得到轮廓的最小外接矩形,通过车厢尺寸对二值化图像进行轮廓筛选,判断得到车厢外轮廓和车厢拉绳分割区域的最小外接矩形,并得到角点图像坐标。
(8)最后将车厢及拉绳分割区域的角点图像坐标的像素值提取出来,转化为系统坐标系的真实坐标(x3,y3,z3),传输给自动装车系统。
(9)自动装车系统根据(1)到(8)中过程得到的车厢边缘及拉绳位置坐标进行计算,判断可有效装车区域的坐标,并根据预设好的袋装物料码垛规则,指导自动装车下料装置行驶到指定位置进行装车作业,实现自动装车流程。
使用基于三维点云检测出的车厢轮廓来指导自动装车作业,可以有效地防止机械臂与车厢侧壁或车厢拉绳碰撞,或者袋装货物装到车厢拉绳或车厢侧壁,避免装车过程的货物散落。
应当理解的是,对本领域普通技术人员来说,可以根据上述说明加以改进或变换,而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (5)

1.一种基于三维点云的车厢轮廓检测方法,其特征在于,包括以下步骤:
(1)指定系统坐标系原点,保证所有装车区域的点云坐标x,y,z均为正值,方便后续的处理和计算;使用手持RTK标定系统坐标原点的经纬度坐标,并转换为空间直角坐标系坐标O(x0,y0,z0);
(2)指定搭载三维激光扫描仪云台的安装位置为车厢停靠位置的正上方,并使用手持RTK标定三维激光扫描仪云台的安装位置的经纬度坐标,然后转换为云台安装位置原点O1(x′0,y′0,z′0),其中两个坐标系之间在x,y,z方向的平移向量分别为l,w,h;
(3)对三维激光扫描仪加装旋转云台,以便于扫描车厢全部区域;三维激光扫描仪的坐标系是以三维激光扫描仪成像位置为中心,以扫描区域正前方为x轴方向,y轴和z轴方向平行于扫描仪扫描平面;
采集云台俯仰角为0度即雷达垂直向下以及云台俯仰角为正负30度三个角度的雷达三维点云数据;将云台正负30度时的三维点云数据转换到垂直向下的坐标系;该垂直向下的坐标系的点云坐标通过(1)、(2)步手持RTK的标定,直接通过平移变换转换到系统坐标系坐标;
(4)将三个角度点云数据的重合点进行位置校验拼接,得到整个车厢的三维点云数据;
(5)采用均匀采样的方式进行拼接采样;首先设定每隔e长度,取一个三维点云,取与网格点云重心欧式距离最近的点作为点云坐标;
(6)选取感兴趣区域点云,投影到平面图像,图像的像素为所投影到的平面图像所在的位置的Z值;则根据车厢边框和拉绳明显高于车厢底部的特性,设置高度阈值Tz将投影后的单通道图像进行二值化处理;
假设车厢底部高度为h1,车厢外边框的高度为h2,则高度阈值为选择h1-Δh<z<h2+Δh区域,作为系统感兴趣区域;
选择感兴趣区域的系统坐标系点云数据(x2,y2,z2),将其投影到二维图像,将(x2,y2)作为像素位置,将z2作为像素值,得到灰度图像image(x2,y2)=Z2(x2,y2);再对灰度图像二值化处理得到二值化图像;
(7)将二值化的图像进行轮廓提取并得到轮廓的最小外接矩形,通过车厢尺寸对二值化图像进行轮廓筛选,判断得到车厢外轮廓和车厢拉绳分割区域的最小外接矩形,并得到角点图像坐标;
(8)最后将车厢及拉绳分割区域的角点图像坐标的像素值提取出来,转化为系统坐标系的真实坐标(x3,y3,z3),传输给自动装车系统。
2.根据权利要求1所述的方法,其特征在于,所述步骤(3),通过平移变换转换到系统坐标系坐标的方法为:首先获取云台倾斜角度θ,假设云台倾斜轴距离扫描仪的扫描位置长度为l,扫描仪倾斜状态下点云坐标为(x,y,z),转化后的坐标为(x1,y1,z1);
3.根据权利要求1所述的方法,其特征在于,所述步骤(4),首先分别对垂直扫描点云数据和倾斜扫描并转化完成的点云数据进行平面拟合,以(x11,y11,z11)和(x12,y12,z12)为例:
通过(x11,y11,z11)点云拟合出的平面为a1x11+b1y11+c1z11+d1=0;
通过(x12,y12,z12)点云拟合出的平面为a2x12+b2y12+c2z12+d2=0;
设定阈值T1,若同一区域内两个平面位置差超过阈值T1,则需要重新扫描;若位置差小于阈值T1,则判定为可以对点云进行拼接采样。
4.根据权利要求1-3任一所述方法的车厢轮廓检测系统。
5.根据权利要求4所述车厢轮廓检测系统的自动装车系统,其特征在于,所述自动装车系统根据步骤(1)到(8)中过程得到的车厢边缘及拉绳位置坐标进行计算,判断可有效装车区域的坐标,并根据预设好的袋装物料码垛规则,指导自动装车下料装置行驶到指定位置进行装车作业,实现自动装车流程。
CN202211623801.4A 2022-12-16 2022-12-16 一种基于三维点云的车厢轮廓检测方法及系统 Active CN115984195B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211623801.4A CN115984195B (zh) 2022-12-16 2022-12-16 一种基于三维点云的车厢轮廓检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211623801.4A CN115984195B (zh) 2022-12-16 2022-12-16 一种基于三维点云的车厢轮廓检测方法及系统

Publications (2)

Publication Number Publication Date
CN115984195A CN115984195A (zh) 2023-04-18
CN115984195B true CN115984195B (zh) 2023-09-29

Family

ID=85967360

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211623801.4A Active CN115984195B (zh) 2022-12-16 2022-12-16 一种基于三维点云的车厢轮廓检测方法及系统

Country Status (1)

Country Link
CN (1) CN115984195B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107089599A (zh) * 2017-06-29 2017-08-25 北京国泰星云科技有限公司 基于集装箱箱区轮廓三维识别的吊具安全防撞系统及方法
WO2020006433A1 (en) * 2018-06-29 2020-01-02 Fast Global Solutions, Inc. Segmentation of boxes from a 3d point cloud for automatic unloading and loading
CN111121640A (zh) * 2019-12-18 2020-05-08 浙江明度智控科技有限公司 一种车辆尺寸检测方法和装置
CN112731441A (zh) * 2021-01-08 2021-04-30 唐山曹妃甸煤炭港务有限公司 一种敞车车厢状态检测装置及方法
CN112767540A (zh) * 2021-01-15 2021-05-07 苏州艾吉威机器人有限公司 一种agv自动装车方法
CN112906128A (zh) * 2021-01-18 2021-06-04 上海交通大学 基于直线导轨与扫描仪的车辆建模方法、设备及系统
CN112927133A (zh) * 2021-02-07 2021-06-08 湖南桥康智能科技有限公司 一种基于一体化标定参数的图像空间投影拼接方法
CN113340287A (zh) * 2021-08-04 2021-09-03 杭州集益科技有限公司 一种装船机船舱舱口识别方法
CN114998824A (zh) * 2022-05-07 2022-09-02 洛伦兹(宁波)科技有限公司 一种车辆装卸任务监控方法、装置及系统
CN115236628A (zh) * 2022-07-26 2022-10-25 中国矿业大学 一种基于激光雷达检测车厢残留货物的方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107089599A (zh) * 2017-06-29 2017-08-25 北京国泰星云科技有限公司 基于集装箱箱区轮廓三维识别的吊具安全防撞系统及方法
WO2020006433A1 (en) * 2018-06-29 2020-01-02 Fast Global Solutions, Inc. Segmentation of boxes from a 3d point cloud for automatic unloading and loading
CN111121640A (zh) * 2019-12-18 2020-05-08 浙江明度智控科技有限公司 一种车辆尺寸检测方法和装置
CN112731441A (zh) * 2021-01-08 2021-04-30 唐山曹妃甸煤炭港务有限公司 一种敞车车厢状态检测装置及方法
CN112767540A (zh) * 2021-01-15 2021-05-07 苏州艾吉威机器人有限公司 一种agv自动装车方法
CN112906128A (zh) * 2021-01-18 2021-06-04 上海交通大学 基于直线导轨与扫描仪的车辆建模方法、设备及系统
CN112927133A (zh) * 2021-02-07 2021-06-08 湖南桥康智能科技有限公司 一种基于一体化标定参数的图像空间投影拼接方法
CN113340287A (zh) * 2021-08-04 2021-09-03 杭州集益科技有限公司 一种装船机船舱舱口识别方法
CN114998824A (zh) * 2022-05-07 2022-09-02 洛伦兹(宁波)科技有限公司 一种车辆装卸任务监控方法、装置及系统
CN115236628A (zh) * 2022-07-26 2022-10-25 中国矿业大学 一种基于激光雷达检测车厢残留货物的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于CCD图像的点云区域分割方法;陈远;陈震;危水根;;南昌航空工业学院学报(自然科学版)(01);全文 *

Also Published As

Publication number Publication date
CN115984195A (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
US11195011B2 (en) Object detection and avoidance for aerial vehicles
CN112528721B (zh) 一种桥吊集卡安全定位方法和系统
WO2017113805A1 (zh) 列车车号和车型识别方法和系统及安全检查方法和系统
CN111767780B (zh) 一种ai与视觉结合的智能集卡定位方法和系统
WO2021196938A1 (zh) 一种自动化集装箱装卸装置及方法
CN107067439B (zh) 一种基于车头检测的集装箱卡车定位与引导方法
CN112348034A (zh) 基于无人机图像识别的起重机缺陷检测系统和工作方法
KR101970747B1 (ko) 크레인 코일 상하차 제어 시스템
CN112037521B (zh) 一种车辆类型识别方法以及危化品车辆识别方法
CN112465706A (zh) 一种闸口集装箱自动验残方法
CN114022537B (zh) 一种用于动态称重区域车辆装载率和偏载率分析方法
CN111704035A (zh) 一种基于机器视觉的集装箱装卸集卡自动定位装置及方法
CN114998824A (zh) 一种车辆装卸任务监控方法、装置及系统
CN103336282A (zh) 一种自动船舱定位装置及其定位方法
US10697757B2 (en) Container auto-dimensioning
CN112784814A (zh) 车辆倒车入库的姿态识别方法及输送车倒车入库引导系统
CN115984195B (zh) 一种基于三维点云的车厢轮廓检测方法及系统
US11009604B1 (en) Methods for detecting if a time of flight (ToF) sensor is looking into a container
KR100439178B1 (ko) 3차원 물체 치수 측정 시스템 및 방법
EP4177694A1 (en) Obstacle detection device and obstacle detection method
CN112788293B (zh) 一种信息采集方法、装置、终端设备及存储介质
CN112580517A (zh) 集卡车头防砸保护系统及方法、计算机存储介质、龙门吊
US11436835B2 (en) Method for detecting trailer status using combined 3D algorithms and 2D machine learning models
KR102102471B1 (ko) 크레인 상하차 운영을 위한 이미지 프로세싱 기반의 형상인식 시스템
CN112819894A (zh) 一种集卡引导定位系统及方法、计算机存储介质、龙门吊

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: 066006 room 2317, 3rd floor, zone B, E-Valley creative space, 12 Yanghe Road, Qinhuangdao Economic and Technological Development Zone, Hebei Province

Patentee after: Binyuan Guoke (Qinhuangdao) Intelligent Technology Co.,Ltd.

Country or region after: China

Address before: 066006 room 2317, 3rd floor, zone B, E-Valley creative space, 12 Yanghe Road, Qinhuangdao Economic and Technological Development Zone, Hebei Province

Patentee before: QINHUANGDAO YANDA BINYUAN TECHNOLOGY DEVELOPMENT Co.,Ltd.

Country or region before: China

CP03 Change of name, title or address