发明内容
本发明的目的在于提供行车线缆盘装卸位置定位检测系统。
为实现上述技术目的,本发明采用如下技术方案:
一种行车线缆盘装卸位置定位检测系统,包括中心服务器、行车装置、相机装置、三维激光扫描仪和车载终端;
所述中心服务器基于订单处理向车载终端发送入库、出库任务;
所述车载终端接收中心服务器发送的任务,控制行车装置进行线缆盘装卸;
所述相机装置包括全局相机和多个局部相机;
所述行车装置包括行车、吊具和夹具;行车包括横梁,吊具顶端与行车横梁滑动连接,沿横梁滑动,吊具底端连接夹具;所述吊具上安装编码器,夹具上安装重力传感器;所述行车的横梁中段下端固定三维激光扫描仪和全局相机;所述夹具上固定多个局部相机;
所述三维激光扫描仪获取运输车辆和线缆盘的三维图像,中心服务器基于相机装置获取的图像和三维激光扫描仪获取的三维图像定位线缆盘,发送至车载终端,控制行车吊装线缆盘;其流程如下:
S100.获取全局相机采集的线缆盘全局视频,设定线缆盘图像特定部位特征,通过寻找线缆盘全局视频中符合定义的线缆盘图像特定部位特征的方式来进行粗定位,获取线缆盘的粗略位置;
S200.通过三维激光扫描仪扫描线缆盘的粗略位置处,获取点云数据;对点云数据进行平面分割,将点集划分为平面集和非平面集;
S300.利用先验知识,基于RanSaC算法从平面分割的结果中筛选可能包含线缆的潜在平面集:通过RanSaC算法拟合出平面两侧的边线,计算其宽度,如果其宽度和线缆本身宽度的差超出了一定的范围,则认为其是不相关平面,剔除不相关平面后获取潜在平面集;
S400.基于滑动模板匹配获取潜在平面集中匹配度最高的平面,其坐标即线缆盘的三维坐标;
S500.将线缆盘的三维坐标反馈至车载终端,控制指引行车行驶到相应位置,行车起吊夹具下降到相应高度;
S600.获取多个局部相机采集的线缆盘局部视频,识别线缆盘中心可抓取位置,将行车起吊夹具移动到可抓取位置,完成线缆盘起吊。
进一步的,所述S200中,点云分割的步骤如下:
S210.按照点云中点的相邻关系将点云划分为子窗口;
S220.根据子窗口中点集的三维形状将其划分为平面和非平面两类,分割出已分类点集,分别加入平面集P和非平面集
S230.选取未分割部分中平面度最好的子窗口作为区域增长的种子;
S240.基于区域增长的种子进行区域增长,提取平面区域R;
S250.将R中的点标记为已分割;
S260.统计R中的点数,如果点数大于阈值t,则将R加入平面集P,否则加入非平面集
S270.重复S230~S260,直至分割完毕。
进一步的,所述S200中,全局相机拍摄时,将夹具移动至边缘远离全局相机处。
进一步的,所述S300中,基于概率统计对点云数据进行降噪和无效点去除。
进一步的,所述S400中,滑动匹配的步骤如下:
S410.从潜在平面集中读取第1个平面;
S420.将平面从三维空间投影到二维空间的网格中;
S430.采用滑动模板对投影平面进行匹配;
S440.如果匹配度大于给定阈值,则将与模板匹配的网格投影回三维空间,保存其坐标;
S450.重复S420~S440,直至所有潜在平面集中的平面处理完毕。
进一步的,所述S420中,网格的边长为1cm。
进一步的,所述夹具为左右对称结构,包括固定臂、旋转臂、固定臂两侧的水平臂、垂直臂、夹抱臂和托脚;所述固定臂为水平结构,固定臂中段上端垂直连接旋转臂,旋转臂与固定臂活动连接,旋转臂顶部开有孔,用于和吊具连接;所述固定臂两端水平延伸,通过位移装置连接所述水平臂,使水平臂通过位移装置沿水平方向位移;所述水平臂末端连接垂直臂,所述垂直臂包括垂直臂上段和垂直臂下段,垂直臂上段和垂直臂下段间通过伸缩装置连接,使垂直臂沿垂直方向伸缩;所述垂直臂末端连接夹抱臂,所述夹抱臂呈镂空三角结构,三角形底部两角水平连接托脚,用于托举线缆盘;
所述夹具上设置三个局部相机,分别为固定臂中段下端的第一局部相机;垂直臂内侧设有的第二局部相机和夹抱臂、托脚连接处设置的第三局部相机。
进一步的,所述夹抱臂内侧设有激光对射装置。
进一步的,所述车载终端接收编码器、重力传感器发送的数据并发送至中心服务器,获取吊具高度信息和载重数据,进行线缆盘盘点。
进一步的,所述车载终端上设置定位装置,基于定位信息、吊具高度信息及重力传感器的载重数据进行吊装执行进度判断,流程如下:
S10.车载终端对比重力传感器当前载重数据及前一时刻的载重数据,如果负载发生变化,跳转S40,否则跳转S20;
S20.基于吊具高度信息判断是否存在吊起或吊下动作,如果没有,则基于车载终端上的定位装置获取行车位置信息,进行方向判断;
S30.进行任务匹配,如果有匹配的入库或出库任务,则计算行车应前进方向,并更新方向提示,结束判断流程;否则跳转S60;
S40.基于吊具高度信息判断是否存在吊起或吊下动作,如果存在吊起或吊下动作,则进行行车作业判断;
S50.进行任务匹配,如果有匹配的入库或出库任务,则更改作业执行状态,更新作业显示,并上传行车作业,结束判断流程;否则跳转S60;
S60.结束。
本发明的系统通过全局相机、激光三维扫描结合的图像处理、点云处理实现线缆盘的精确定位,并基于局部相机、激光对射装置进行夹具升降时的细定位,实现了整体装卸流程上的自动化控制,大大减少了人工成本,同时也降低了人工操作的风险和劳动强度,适应仓储智能化的发展需求。
具体实施方式
下面结合附图说明和具体实施方式对本发明的技术方案作进一步阐述。
实施例1
本实施例具体说明本发明系统应用的行车装置结构。
如图1所示的行车装置100,包括行车、吊具和夹具;行车选用单梁门式电动葫芦起重机,电动葫芦采用四绳收放线结构;吊具顶端与行车横梁滑动连接,沿横梁滑动,吊具底端连接夹具,所述吊具上安装编码器。
如图2~4所示,所述夹具为左右对称结构,包括固定臂2、旋转臂1、固定臂2两侧的水平臂3、垂直臂、夹抱臂5和托脚6;固定臂2为水平结构,固定臂2中段上端垂直连接旋转臂1,旋转臂1顶部开有孔11,用于连接吊钩;固定臂2两端水平延伸,通过位移装置31连接所述水平臂3,使水平臂3通过位移装置沿水平方向位移;水平臂3末端连接垂直臂,垂直臂包括垂直臂上段41和垂直臂下段42,垂直臂上段41和垂直臂下段42间通过伸缩装置43连接,使垂直臂沿垂直方向伸缩;
位移装置31组成包括齿轮、滑轨、第一连接件和电机;固定臂2和水平臂3内设有空腔,齿轮、滑轨、第一连接件和电机设置于空腔内,第一连接件连接齿轮、固定臂2和水平臂3,经电机驱动齿轮转动带动水平臂沿滑轨水平运动。
伸缩装置组成包括齿轮、滑轨、第二连接件和电机;垂直臂上段41和垂直臂下段42连接处设有空腔,齿轮、滑轨、第二连接件和电机设置于空腔内,第二连接件连接齿轮、垂直臂上段41和垂直臂下段42,经电机驱动齿轮转动带动垂直臂下段沿滑轨垂直运动。
垂直臂末端连接夹抱臂5,如图3所示,夹抱臂5呈镂空三角结构,水平连接托脚6,用于托举线缆盘9,如图2所示,托举位点为线缆盘外圈下方,托脚6为圆角结构。
旋转臂1两侧设有重力传感器12。重力传感器12与旋转臂1相连,在进行线缆盘吊装操作的同时,可实现对线缆盘重量的记录,控制装置读取重力传感器12返回的重量信息,获得当前吊钩重量数据,传回后台系统之后,与上次记录的重量信息比较,查看是否有误差,进而进行盘点。夹抱臂5内侧设有激光对射装置51,当夹具下降到线缆以下高度时,激光对射被线缆阻挡,可用于线缆盘的盘点。
为实现精确定位,行车的横梁中段下端设有三维激光扫描仪7和全局相机8,夹具上设置有三个相机,固定臂2中段下端设有第一局部相机21,对线缆盘进行全局定位,引导夹具移动至线缆盘上方。垂直臂内侧设有第二局部相机44,夹具下降过程中,两侧垂直臂上设置的第二局部相机44获取线缆盘边缘的位置,可根据两侧线缆盘边缘在视野区中的对称情况指示夹具移动的方向,进一步精细定位。夹抱臂5和托脚6连接处设有第三局部相机61,第三局部相机61观测线缆盘圆盘的侧面圆弧,根据圆弧和夹抱臂5的相对位置确定夹具移动的方向,进一步精细定位。
托脚6和三角形夹抱臂5底部两角为活动连接,通过电机控制托脚6放下和收起,可解决线缆并排摆放时中间距离小的问题。
实施例2
本实施例结合实施例1的行车装置,具体说明本发明行车线缆盘装卸位置定位检测系统的实现方法。
本发明的行车线缆盘装卸位置定位检测系统包括中心服务器、行车装置、相机装置、三维激光扫描仪和车载终端;
所述中心服务器基于订单处理向车载终端发送入库、出库任务;
所述车载终端接收中心服务器发送的任务,控制行车装置进行线缆盘装卸;
所述三维激光扫描仪获取运输车辆和线缆盘的三维图像,中心服务器基于相机装置获取的图像和三维激光扫描仪获取的三维图像定位线缆盘,发送至车载终端,控制行车吊装线缆盘;其流程如下:
S100.获取全局相机8采集的线缆盘全局视频,设定线缆盘图像特定部位特征,通过寻找线缆盘全局视频中符合定义的线缆盘图像特定部位特征的方式来进行粗定位,获取线缆盘9的粗略位置;
S200.通过三维激光扫描仪7扫描线缆盘的粗略位置处,获取点云数据;对点云数据进行平面分割,将点集划分为平面集和非平面集;
点云分割的步骤如图5所示:
S210.按照点云中点的相邻关系将点云划分为子窗口;
S220.根据子窗口中点集的三维形状将其划分为平面和非平面两类,分割出已分类点集,分别加入平面集P和非平面集
S230.选取未分割部分中平面度最好的子窗口作为区域增长的种子;
S240.基于区域增长的种子进行区域增长,提取平面区域R;
S250.将R中的点标记为已分割;
S260.统计R中的点数,如果点数大于阈值t,则将R加入平面集P,否则加入非平面集
S270.重复S230~S260,直至分割完毕。
S300.利用先验知识,基于RanSaC算法从平面分割的结果中筛选可能包含线缆的潜在平面集:通过RanSaC算法拟合出平面两侧的边线,计算其宽度,如果其宽度和线缆本身宽度的差超出了一定的范围,则认为其是不相关平面,剔除不相关平面后获取潜在平面集;
S400.基于滑动模板匹配获取潜在平面集中匹配度最高的平面,其坐标即线缆盘的三维坐标;
滑动匹配的步骤如图6所示:
S410.从潜在平面集中读取第1个平面;
S420.将平面从三维空间投影到二维空间的网格中;网格的边长为1cm;
S430.采用滑动模板对投影平面进行匹配;
S440.如果匹配度大于给定阈值,则将与模板匹配的网格投影回三维空间,保存其坐标;
S450.重复S420~S440,直至所有潜在平面集中的平面处理完毕。
S500.将线缆盘的三维坐标反馈至车载终端,控制指引行车行驶到相应位置,行车起吊夹具下降到相应高度;
S600.获取三个局部相机21、44、61采集的线缆盘局部视频,识别线缆盘中心可抓取位置,将夹具移动到可抓取位置,完成线缆盘起吊。
其中,车载终端接收编码器、重力传感器发送的数据并发送至中心服务器,获取吊具高度信息和载重数据,进行线缆盘盘点。车载终端上设置定位装置,基于定位信息、吊具高度信息及重力传感器的载重数据进行吊装执行进度判断,流程如图7所示:
S10.车载终端对比重力传感器当前载重数据及前一时刻的载重数据,如果负载发生变化,跳转S40,否则跳转S20;
S20.基于吊具高度信息判断是否存在吊起或吊下动作,如果没有,则基于车载终端上的定位装置获取行车位置信息,进行方向判断;
S30.进行任务匹配,如果有匹配的入库或出库任务,则计算行车应前进方向,并更新方向提示,结束判断流程;否则跳转S60;
S40.基于吊具高度信息判断是否存在吊起或吊下动作,如果存在吊起或吊下动作,则进行行车作业判断;
S50.进行任务匹配,如果有匹配的入库或出库任务,则更改作业执行状态,更新作业显示,并上传行车作业,结束判断流程;否则跳转S60;
S60.结束。