CN112184800A - 一种集装箱卡车吊具检测方法和系统 - Google Patents

一种集装箱卡车吊具检测方法和系统 Download PDF

Info

Publication number
CN112184800A
CN112184800A CN202010916237.XA CN202010916237A CN112184800A CN 112184800 A CN112184800 A CN 112184800A CN 202010916237 A CN202010916237 A CN 202010916237A CN 112184800 A CN112184800 A CN 112184800A
Authority
CN
China
Prior art keywords
container
spreader
coordinate system
truck
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010916237.XA
Other languages
English (en)
Inventor
王晓东
张天雷
陈建松
鞠豪明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhuxian Technology Co Ltd
Original Assignee
Beijing Zhuxian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhuxian Technology Co Ltd filed Critical Beijing Zhuxian Technology Co Ltd
Priority to CN202010916237.XA priority Critical patent/CN112184800A/zh
Publication of CN112184800A publication Critical patent/CN112184800A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00—Other constructional features or details
    • B66C13/16—Applications of indicating, registering, or weighing devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Control And Safety Of Cranes (AREA)

Abstract

本发明提供一种卡车吊具检测方法，包括以下步骤：S1、下发作业任务，卡车根据任务移动至贝位；S2、场桥接收指令，移动至相应的贝位；S3、场桥到达贝位后，向港口作业系统反馈到达信息，港口作业系统将场桥状态反馈给卡车；S4、卡车收到信息，锁定卡车，吊具检测控制器开启；S5、场桥控制吊具根据指令，通过吊具检测控制器实时监控，进行装箱任务或卸箱任务；S6、吊具检测控制器接收任务完成信号，向港口作业系统发送作业完成信息，港口任务系统作业系统确认，解锁卡车，卡车驶离作业区域。本方法实时检测吊具和集装箱的姿态和位置，并与港口作业系统交互，确保吊具安全作业；运营逻辑使得港口的装卸操作可控性、可靠性和能效性得到大幅度提高。

Description

一种集装箱卡车吊具检测方法和系统
技术领域
本发明涉及港口自动化领域，具体涉及一种集装箱卡车吊具检测方法和系统。
背景技术
港口集装箱作业，主要涉及各类吊具与集装箱卡车之间的装卸箱操作。此类操作中，主要的安全隐患在于集装箱卡车是否能够正确识别吊具的动作、状态。在传统港口环境中，安全判断通常是由集装箱卡车驾驶员做出的，当安全员出现疲劳、操作不当等行为时，会出现拖拽吊具、集装箱放置不当等安全事故。
吊具检测系统是利用计算机技术，自动确定吊具的工作状态以及集装箱的位置、姿态，从而智能判断集装箱卡车是否安全完成装卸操作，接受新的任务指令。目前常见方法是基于自动化场桥，利用场桥的信息化装备确定吊具以及装卸箱操作的安全性，这类方法缺乏对集装箱卡车行为的控制和管理，并不能杜绝由于集装箱卡车驾驶员操作不当造成的事故。
发明内容
本发明是为了解决现有技术中，提供了一种集装箱卡车吊具检测方法和系统，采用计算机视觉技术，获得吊具的工作状态和集装箱的位置、姿态信息的方式，产生正确的车辆行为，降低安全隐患。
本发明所述的一种集装箱卡车吊具检测方法，包括以下步骤：
S1、港口作业系统向集装箱卡车下发作业任务，集装箱卡车根据作业任务移动至相应的贝位，等待场桥到达；
S2、场桥接收港口作业系统指令，移动至相应的贝位；
S3、场桥到达相应贝位后，向港口作业系统反馈到达信息，港口作业系统将场桥到达状态反馈给集装箱卡车；
S4、集装箱卡车收到场桥到达状态信息，锁定集装箱开车，吊具检测控制器开启；
S5、场桥控制吊具根据港口作业系统的指令，通过吊具检测控制器实时监控，进行装箱任务或卸箱任务；
S6、吊具检测控制器判断任务完成，吊具检测控制器向港口作业系统发送作业完成信息，港口任务系统作业系统确认，解锁集装箱卡车，集装箱卡车驶离作业区域。
在吊具抓运集装箱时，由于位置关系集装箱会遮蔽吊具，可以看到此时并没有影响检测对两者相对位置的判断。检测系统检测吊具和集装箱的相对位置并计算两者距离世界坐标系原点的距离，当吊具和集装箱的空间位置大于世界坐标系的指定阈值时标志着箱体安全脱离集装箱卡车，此时集装箱卡车和吊具不会发生关于箱体的拉扯
本发明所述的一种集装箱卡车吊具检测方法，作为优选方式，步骤S5中装箱作业具体包括：
S511、未装有集装箱的集装箱卡车，在集装箱卡车后方，以后轴中心为坐标系原点，车中轴为y轴，指向车尾方向，地面垂直向上为z轴，x-y-z服从右手螺旋定则，在1m<y<20m，-5m<x<5m区域建立世界坐标系，在世界坐标系下吊具检测控制器检测吊具和集装箱的空间位置和相对位置关系；
S512、吊具和集装箱卡车等待接收港口作业系统的装箱指令，并通过吊具检测控制器实时检测吊具和集装箱相对于世界坐标系的空间位置，当检测目标出现在世界坐标系中时，则进行步骤S513，否则，则继续在世界坐标系中检测吊具和集装箱；
S513、信息传递模块将确认信息反馈到场桥作业系统；
S514、吊具检测相机检测到吊具和集装箱，吊具检测控制器通过计算吊具和集装箱相对位置距离得到两者的位置关系并将此信息反馈到港口作业系统；
S515、通过箱体的垂直两点确定吊具和集装箱在世界坐标系的空间位置，视觉检测模块实时计算吊具和集装箱相对于世界坐标系的空间距离，吊具吊起集装箱位置逐渐接近集装箱卡车承载集装箱位置，当空间距离相较于世界坐标系原点为零时集装箱到达正确装载位置；
S516、吊具卸下集装箱，实时检测吊具和集装箱的相对位置，吊具与集装箱的距离逐渐增大，当吊具位置z>3m，信息传递模块向港口作业系统发送作业完成信息。
本发明所述的一种集装箱卡车吊具检测方法，作为优选方式，步骤S5中卸箱作业具体包括：
S521、装有集装箱的集装箱卡车，在集装箱卡车后方，以后轴中心为坐标系原点，车中轴为y轴，指向车尾方向，地面垂直向上为z轴，x-y-z服从右手螺旋定则，在1m<y<20m，-5m<x<5m区域建立世界坐标系，在世界坐标系下吊具检测控制器检测吊具空间位置；
S522、吊具和集装箱卡车等待接收港口作业系统的卸箱指令，并通过吊具检测控制器实时检测吊具和集装箱相对于世界坐标系的空间位置，当吊具到达集装箱卡车装载的所述集装箱上部，并正确锁定所述集装箱，则进行步骤S523，否则，则继续在世界坐标系中检测吊具和集装箱；
S523、信息传递模块将确认信息反馈到场桥作业系统；
S524、吊具检测相机检测到吊具和集装箱，吊具检测控制器通过计算吊具和集装箱相对位置距离得到两者的位置关系并将此信息反馈到港口作业系统；
S525、视觉检测模块实时计算吊具和集装箱的相对空间距离，吊具位置逐渐接近集装箱卡车承载集装箱位置，吊具移动的过程中，吊具检测控制器会向场桥作业系统发送确认信息，确保集装箱卡车保持静止，当空间距离相较于世界坐标系原点为零时，吊具锁定集装箱；
S526、吊具离开世界坐标系原点，检测吊具和集装箱的相对位置并计算两者距离世界坐标系原点的距离，当吊具和集装箱的空间位置处于世界坐标系的z>3m且x>5m或者x<-5m区域时，信息传递模块向港口作业系统发送作业完成信息。
本发明所述的一种集装箱卡车吊具检测方法，作为优选方式，视觉检测模块检测吊具和集装箱的具体方法为：
将吊具和集装箱基本形状视为长方体，通过吊具检测相机获得吊具和集装箱的外接矩形框，在矩形框内，使用分割算法，提取集装箱和吊具指向车头方向的面，以车头方向的面在图像中的垂直两角点估计集装箱和吊具的空间位置；
角点距离计算方法具体如下：
建立世界坐标系到相机坐标系的映射关系如下：
Figure BDA0002665114230000051
其中γ为吊具检测相机俯仰角；
根据小孔成像原理，建立相机坐标系到二维图像坐标系的映射关系如下：
Figure BDA0002665114230000052
其中f为相机的焦距；
构建图像坐标系和世界坐标系的关系，公式如下：
Figure BDA0002665114230000053
构建数据表TIW，表中每个三元组(u，v，depth＝yw)的内容为(xw，zw)；
根据图像上的点(u，v)，以及该点所在平面相对世界坐标系XZ平面的深度值depth，其中depth与深度值尺度step相加得到新的深度值，通过(u，v，depth)三元组，在数据表TIW中快速查表得出(xw，zw)，进而得到该图像点的世界坐标系位置(xw，yw＝deptn,zw)；
判定查表得到的A,B两点的世界坐标，公式如下：
Figure BDA0002665114230000061
其中d为集装箱箱体的高度，threshold为固定误差值，当不满足判定时，向上调整深度值，进行重复判定；否则向下调整深度值，并根据原深度值加上新的尺度，直至最小深度值尺度，得出最优解。
吊具和集装箱基本形状可以看作是长方体，二维图像检测算法，获得吊具和集装箱的外接矩形框，在矩形框内，使用分割算法，提取集装箱和吊具指向车头方向的面。然后以该面在图像中的垂直两点，估计其空间位置。
在检测相机捕捉到视频帧后采用二维图像检测算法获取吊具和集装箱的外接矩形框，在矩形框内，使用分割算法，提取集装箱和吊具指向车头方向的面，以确定图像中的垂直两点。
本发明提供了一种集装箱卡车吊具检测系统，包括集装箱卡车、吊具检测相机、吊具检测控制器、港口作业系统和场桥，吊具检测相机设置于集装箱卡车上，吊具检测控制器与吊具检测相机信号连接，港口作业系统与集装箱卡车信号连接，场桥与港口作业系统信号连接，吊具检测控制器与港口作业系统信号连接；
集装箱卡车用于运送集装箱，吊具检测相机用于检测集装箱和场桥的位置图像，吊具检测控制器用于根据吊具检测相机的位置图像计算出位置信息并控制场桥的吊具吊起或释放集装箱，港口作业系统用于对集装箱卡车发送和接收作业命令。
本发明所述的一种集装箱卡车吊具检测系统，作为一种优选方式，吊具检测控制器包括视觉检测模块、信号接收模块和信息传递模块，视觉检测模块用于检测吊具检测相机实时反馈的吊具与集装箱状态，信号接收模块接收吊具检测相机的信号并传递给视觉检测模块，信息传递模块用于将视觉检测模块中检测到的吊具与集装箱状态传递给港口作业系统。
吊具检测控制器，利用相机成像原理，计算吊具的位置、姿态和吊具装卸的集装箱的位置、姿态，根据吊具检测状态机，确定吊具的状态，进而输出车辆控制信息，确保车辆是否可以离开作业点，接受新作业指令。
本发明有益效果如下：
(1)系统实时传输吊具和集装箱的姿态和位置信息，可以有效避免人为操作中信息传输的障碍带来的人为隐患；
(2)系统运营逻辑使得港口的装卸操作可控性和能效性得到大幅度提高；
(3)基于目标检测算法，可以同时检测吊具和集装箱的空位位置，在发生遮挡时检测两者的相对位置关系，确保装卸操作的安全有序进行；
(4)将检测系统部署在集装箱卡车上，可减少信息的传输成本。
附图说明
图1为一种集装箱卡车吊具检测方法实施例1流程图；
图2为一种集装箱卡车吊具检测方法实施例2流程图；
图3为一种集装箱卡车吊具检测方法三元组数据表图；
图4为一种集装箱卡车吊具检测系统示意图；
图5为一种集装箱卡车吊具检测系统吊具检测控制器示意图。
附图标记：
1、集装箱卡车；2、吊具检测相机；3、吊具检测控制器；31、视觉检测模块；32、信号接收模块；33、信息传递模块；4、港口作业系统；5、场桥。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
实施例1
如图1所示，一种集装箱卡车吊具检测方法，其中装箱任务包括以下步骤：
S1、港口作业系统4向集装箱卡车1下发作业任务，集装箱卡车1根据作业任务移动至相应的贝位(固定位置，可通过GPS/北斗定位设备采集其位置信息)，等待场桥5到达；
S2、场桥5接收港口作业系统4指令，移动至相应的贝位；
S3、场桥5到达相应贝位后，向港口作业系统4反馈到达信息，港口作业系统4将场桥5到达状态反馈给集装箱卡车1；
S4、集装箱卡车1收到场桥5到达状态信息，锁定集装箱卡车，吊具检测控制器3开启；
S5、未装有集装箱的集装箱卡车1进入Ready状态，在集装箱卡车1后方，以后轴中心为坐标系原点，车中轴为y轴，指向车尾方向，地面垂直向上为z轴，x-y-z服从右手螺旋定则，在1m<y<20m，-5m<x<5m区域建立世界坐标系，在世界坐标系下吊具检测控制器3检测吊具和集装箱的空间位置和相对位置关系；
S6、吊具和集装箱卡车1等待接收港口作业系统4的装箱指令，并通过吊具检测控制器3实时检测吊具和集装箱相对于世界坐标系的空间位置，当检测目标出现在世界坐标系中时，则进行步骤S7，否则，则继续在世界坐标系中检测吊具和集装箱；
S7、此时系统进入装箱(LOAD)流程，并将ACK信息反馈到场桥作业系统，当检测系统检测到只有吊具接近集装箱卡车时迫使系统进入Waiting状态等待人工处理；
S8、吊具检测相机2检测到吊具和集装箱，吊具检测控制器3通过计算吊具和集装箱相对位置距离得到两者的位置关系并将此信息反馈到港口作业系统4；
S9、通过箱体的垂直两点确定吊具和集装箱在世界坐标系的空间位置，视觉检测模块31实时计算吊具和集装箱相对于世界坐标系的空间距离，吊具吊起集装箱位置逐渐接近集装箱卡车1承载集装箱位置，当空间距离相较于世界坐标系原点为零时集装箱到达正确装载位置；
S10、吊具卸下集装箱，实时检测吊具和集装箱的相对位置，当吊具卸下集装箱后检测系统进入DetCrane状态,吊具与集装箱的距离逐渐增大，当吊具位置z>3m，信息传递模块33向港口作业系统4发送作业完成信息；
S11、吊具检测控制器3判断任务完成，吊具检测控制器3向港口作业系统4发送作业完成信息，港口任务系统作业系统确认，解锁集装箱卡车1的Ready状态，集装箱卡车1驶离作业区域。
视觉检测模块31检测吊具和集装箱的具体方法为：
将吊具和集装箱基本形状视为长方体，通过吊具检测相机2获得吊具和集装箱的外接矩形框，在矩形框内，使用分割算法，提取集装箱和吊具指向车头方向的面，以车头方向的面在图像中的垂直两角点估计集装箱和吊具的空间位置；
角点距离计算方法具体如下：
建立世界坐标系到相机坐标系的映射关系如下：
Figure BDA0002665114230000111
其中γ为吊具检测相机2俯仰角；
根据小孔成像原理，建立相机坐标系到二维图像坐标系的映射关系如下：
Figure BDA0002665114230000112
其中f为相机的焦距；
构建图像坐标系和世界坐标系的关系，公式如下：
Figure BDA0002665114230000113
构建数据表TIW，表中每个三元组的内容为；
根据图像上的点(u，v)，以及该点所在平面相对世界坐标系XZ平面的深度值，其中depth与深度值尺度step相加得到新的深度值，通过(u，v，depth)在数据表TIW中快速查表得出(xw，zw)，进而得到该图像点的世界坐标系位置(xw，yw＝depth，zw)；
判定查表得到的A,B两点的世界坐标，公式如下：
|xAw-xBw|＜threshold
|zAw-zBw-d|＜threshold，
其中d为集装箱箱体的高度，threshold为固定误差值，当不满足判定时，向上调整深度值，进行重复判定；否则向下调整深度值，并根据原深度值加上新的尺度，直至最小深度值尺度，得出最优解。
如图3所示，由于集装箱和吊具相对于检测相机是规则的平移运动，不存在旋转。可通过上述公式实现相机坐标系连接图像坐标系和世界坐标系。其中A(uA，vA)和B(uB，vB)的值通过图像坐标系获得，已知世界坐标系下A，B两点间存在如下关系等式：
xAw＝xBw，yAw＝yBw，zAw-zBw＝d
其中d为箱体的高度。为求得满足此关系的最优解(xAw，yAwzAw)T，建立基于图像坐标系的三元组数据表TIW，每个三元组(u，v，depth)的内容为(xw，zw)，depth的尺度step分别为2m,1m,0.5m,0.1m。范围在0到20m之间。
当检测到箱体的两个垂直角点A,B后，利用图像坐标系A(uA，vA)和B(uB，vB)和depth＝yw在多尺度三元组数据表中查询，得到对应的(xAw，zAw)和(xBw，zBw)后代入到判定公式中进行判定，如果满足判定则在该depth下选择更小的尺度。例如现有一组垂直观测点M(uM，vM),N(uN，vN)，在depth＝1,step＝1时两组三元组数据表的形式为(uM，vM，depth＝1)，(uN，vN，depth＝1)经过查表得到世界坐标分别(xMw，zMw)，(xNw，zNw)，将两点世界坐标代入判定进行判定，当不满足时更新depth＝depth+step＝2，并重复上述查表和判定过程；当满足判定时更新step＝0.5,depth＝depth+step＝1.5，重复上述查表和判定过程直到step＝0.1m时得到满足条件的最优解。
三元组数据表：{"image_width":1080,"image_height":720,"max_depth":20}表示图像坐标长度和宽度，以及预计的最大深度为20米，{"step":"2","depth":"4","world_coord":[[1.38,10.94],[1.38,10.89],[1.38,10.84],[1.38,10.79],[1.38,10.74],[1.38,10.7],[1.38,10.65],...}分别表示step当前深度变化步进值，depth表示当前深度，world_coord表示图像坐标系转化为世界坐标系(x,z)坐标。
如图4所示，一种集装箱卡车吊具检测系统，包括集装箱卡车1、吊具检测相机2、吊具检测控制器3、港口作业系统4和场桥5，吊具检测相机2设置于集装箱卡车1上，吊具检测控制器3与吊具检测相机2信号连接，港口作业系统4与集装箱卡车1信号连接，场桥5与港口作业系统4信号连接，吊具检测控制器3与港口作业系统4信号连接；
集装箱卡车1用于运送集装箱，吊具检测相机2用于检测集装箱和场桥5的位置图像，吊具检测控制器3用于根据吊具检测相机2的位置图像计算出位置信息并控制场桥5的吊具吊起或释放集装箱，港口作业系统4用于对集装箱卡车1发送和接收作业命令。
如图5所示，吊具检测控制器3包括视觉检测模块31、信号接收模块32和信息传递模块33，视觉检测模块31用于检测吊具检测相机2实时反馈的吊具与集装箱状态，信号接收模块32接收吊具检测相机2的信号并传递给视觉检测模块31，信息传递模块33用于将视觉检测模块31中检测到的吊具与集装箱状态传递给港口作业系统4。
其中吊具检测相机2采用车规级相机，LVDS接口，焦距6毫米，FOV 120度，吊具检测控制器3以NVIDIA TX2板卡为基础，增加LVDS解码芯片和CAN总线通信模块。吊具检测相机2安装在车头顶部，相机光轴方向指向车辆行驶的反方向，与车头顶部平面的夹角20度。吊具检测相机2采集为集装箱卡车作业的吊具图像，通过LVDS接口传送给吊具检测控制器3，吊具检测控制器3利用深度学习算法，检测吊具以及要作业的集装箱在图像中的位置，利用投影成像原理，估计吊具和集装箱在相机坐标系中的三维位置和姿态，根据吊具检测状态机，确定吊具和集装箱的状态，如果确认吊具和集装箱安全，则通过CAN总线解除车辆锁定，车辆接受新作业任务，驾驶员可以操作车辆行驶。
实施例2
如图2所示，一种集装箱卡车吊具检测方法，其中卸箱任务包括以下步骤：
S1、港口作业系统4向集装箱卡车1下发作业任务，集装箱卡车1根据作业任务移动至相应的贝位(固定位置，可通过GPS/北斗定位设备采集其位置信息)，等待场桥5到达；
S2、场桥5接收港口作业系统4指令，移动至相应的贝位；
S3、场桥5到达相应贝位后，向港口作业系统4反馈到达信息，港口作业系统4将场桥5到达状态反馈给集装箱卡车1；
S4、集装箱卡车1收到场桥5到达状态信息，锁定集装箱开车，吊具检测控制器3开启；
S5、装有集装箱的集装箱卡车1，在集装箱卡车1后方，以后轴中心为坐标系原点，车中轴为y轴，指向车尾方向，地面垂直向上为z轴，x-y-z服从右手螺旋定则，在1m<y<20m，-5m<x<5m区域建立世界坐标系，集装箱卡车(有箱)停靠在作业区域，保持Ready状态，此时检测系统开启视觉传感器，接受来自场桥系统的指令同时返回ACK，在世界坐标系下吊具检测控制器3检测吊具空间位置；
S6、吊具和集装箱卡车1等待接收港口作业系统4的卸箱指令，并通过吊具检测控制器3实时检测吊具和集装箱相对于世界坐标系的空间位置，当吊具到达集装箱卡车装载的所述集装箱上部，并正确锁定所述集装箱，检测系统发出警告迫使系统进入Waiting状态等待人工处理，则进行步骤S7，否则，则继续在世界坐标系中检测吊具和集装箱；
S7、当吊达到世界坐标系指定的安全阈值时系统进入(UNLOAD)状态；
S8、吊具检测相机2检测到吊具和集装箱，检测系统进入DetCrane状态，吊具检测控制器3通过计算吊具和集装箱相对位置距离得到两者的位置关系并将此信息反馈到港口作业系统4；
S9、视觉检测模块31实时计算吊具和集装箱的相对空间距离，吊具位置逐渐接近集装箱卡车1承载集装箱位置，吊具移动的过程中，吊具检测控制器3会向场桥5作业系统发送ARK信息，确保集装箱卡车1保持保持Ready状态，当空间距离相较于世界坐标系原点为零时，吊具锁定集装箱；
S10、吊具离开世界坐标系原点，集装箱卡车1仍然保持Ready状态。检测系统进入DetBox状态，检测吊具和集装箱的相对位置并计算两者距离世界坐标系原点的距离，当吊具和集装箱的空间位置处于世界坐标系的z>3m且x>5m或者x<-5m区域时，信息传递模块33向港口作业系统4发送作业完成信息。
S11、吊具检测控制器3判断任务完成，吊具检测控制器3向港口作业系统4发送作业完成信息，港口任务系统作业系统确认，解锁集装箱卡车1，集装箱卡车1驶离作业区域。
视觉检测模块31检测吊具和集装箱的具体方法为：
将吊具和集装箱基本形状视为长方体，通过吊具检测相机2获得吊具和集装箱的外接矩形框，在矩形框内，使用分割算法，提取集装箱和吊具指向车头方向的面，以车头方向的面在图像中的垂直两角点估计集装箱和吊具的空间位置；
角点距离计算方法具体如下：
建立世界坐标系到相机坐标系的映射关系如下：
Figure BDA0002665114230000171
其中γ为吊具检测相机2俯仰角；
根据小孔成像原理，建立相机坐标系到二维图像坐标系的映射关系如下：
Figure BDA0002665114230000172
其中f为相机的焦距；
构建图像坐标系和世界坐标系的关系，公式如下：
Figure BDA0002665114230000173
构建数据表TIW，表中每个三元组的内容为；
根据图像上的点(u，v)，以及该点所在平面相对世界坐标系XZ平面的深度值，其中depth与深度值尺度step相加得到新的深度值，通过(u，v，depth)三元组，在数据表TIW中快速查表得出(xw，zw)，进而得到该图像点的世界坐标系位置(xw，yw＝depth，zw)；
判定查表得到的A,B两点的世界坐标，公式如下：
|xAw-xBw|＜threshold
|zAw-zBw-d|＜threshold，
其中d为集装箱箱体的高度，threshold为固定误差值，当不满足判定时，向上调整深度值，进行重复判定；否则向下调整深度值，并根据原深度值加上新的尺度，直至最小深度值尺度，得出最优解。
如图3所示，由于集装箱和吊具相对于检测相机是规则的平移运动，不存在旋转。可通过上述公式实现相机坐标系连接图像坐标系和世界坐标系。其中A(uA，vA)和B(uB，vB)的值通过图像坐标系获得，已知世界坐标系下A，B两点间存在如下关系等式：
xAw＝xBw，yAw＝yBw，zAw-zBw＝d
其中d为箱体的高度。为求得满足此关系的最优解(xAw，yAwzAw)T，建立基于图像坐标系的三元组数据表TIW，每个三元组(u，v，depth)的内容为(xw，zw)，depth的尺度step分别为2m,1m,0.5m,0.1m。范围在0到20m之间。
当检测到箱体的两个垂直角点A,B后，利用图像坐标系A(uA，vA)和B(uB，vB)和depth＝yw在多尺度三元组数据表中查询，得到对应的(xAw，zAw)和(xBw，zBw)后代入到判定公式中进行判定，如果满足判定则在该depth下选择更小的尺度。例如现有一组垂直观测点M(uM，vM),N(uN，vN)，在depth＝1,step＝1时两组三元组数据表的形式为(uM，vM，depth＝1)，(uN，vN，depth＝1)经过查表得到世界坐标分别(xMw，zMw)，(xNw，zNw)，将两点世界坐标代入判定进行判定，当不满足时更新depth＝depth+step＝2，并重复上述查表和判定过程；当满足判定时更新step＝0.5,depth＝depth+step＝1.5，重复上述查表和判定过程直到step＝0.1m时得到满足条件的最优解。
三元组数据表：{"image_width":1080,"image_height":720,"max_depth":20}表示图像坐标长度和宽度，以及预计的最大深度为20米，{"step":"2","depth":"4","world_coord":[[1.38,10.94],[1.38,10.89],[1.38,10.84],[1.38,10.79],[1.38,10.74],[1.38,10.7],[1.38,10.65],...}分别表示step当前深度变化步进值，depth表示当前深度，world_coord表示图像坐标系转化为世界坐标系(x,z)坐标。
如图4所示，一种集装箱卡车吊具检测系统，包括集装箱卡车1、吊具检测相机2、吊具检测控制器3、港口作业系统4和场桥5，吊具检测相机2设置于集装箱卡车1上，吊具检测控制器3与吊具检测相机2信号连接，港口作业系统4与集装箱卡车1信号连接，场桥5与港口作业系统4信号连接，吊具检测控制器3与港口作业系统4信号连接；
集装箱卡车1用于运送集装箱，吊具检测相机2用于检测集装箱和场桥5的位置图像，吊具检测控制器3用于根据吊具检测相机2的位置图像计算出位置信息并控制场桥5的吊具吊起或释放集装箱，港口作业系统4用于对集装箱卡车1发送和接收作业命令。
如图5所示，吊具检测控制器3包括视觉检测模块31、信号接收模块32和信息传递模块33，视觉检测模块31用于检测吊具检测相机2实时反馈的吊具与集装箱状态，信号接收模块32接收吊具检测相机2的信号并传递给视觉检测模块31，信息传递模块33用于将视觉检测模块31中检测到的吊具与集装箱状态传递给港口作业系统4。
其中吊具检测相机2采用车规级相机，LVDS接口，焦距6毫米，FOV 120度，吊具检测控制器3以NVIDIA TX2板卡为基础，增加LVDS解码芯片和CAN总线通信模块。吊具检测相机2安装在车头顶部，相机光轴方向指向车辆行驶的反方向，与车头顶部平面的夹角20度。吊具检测相机2采集为集装箱卡车作业的吊具图像，通过LVDS接口传送给吊具检测控制器3，吊具检测控制器3利用深度学习算法，检测吊具以及要作业的集装箱在图像中的位置，利用投影成像原理，估计吊具和集装箱在相机坐标系中的三维位置和姿态，根据吊具检测状态机，确定吊具和集装箱的状态，如果确认吊具和集装箱安全，则通过CAN总线解除车辆锁定，车辆接受新作业任务，驾驶员可以操作车辆行驶。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (7)

1.一种集装箱卡车吊具检测方法，其特征在于：包括以下步骤：
S1、港口作业系统(4)向集装箱卡车(1)下发作业任务，所述集装箱卡车(1)根据所述作业任务移动至相应的贝位，等待场桥(5)到达；
S2、所述场桥(5)接收所述港口作业系统(4)指令，移动至相应的贝位；
S3、所述场桥(5)到达相应贝位后，向所述港口作业系统(4)反馈到达信息，所述港口作业系统(4)将所述场桥(5)到达状态反馈给所述集装箱卡车(1)；
S4、所述集装箱卡车(1)收到所述场桥(5)到达状态信息，锁定所述集装箱卡车(1)，吊具检测控制器(3)开启；
S5、所述场桥(5)控制吊具根据所述港口作业系统(4)的指令，通过所述吊具检测控制器(3)实时监控，进行装箱任务或卸箱任务；
S6、所述吊具检测控制器(3)接收任务完成信号，所述吊具检测控制器(3)向所述港口作业系统(4)发送作业完成信息，所述港口任务系统作业系统确认，解锁所述集装箱卡车(1)，所述集装箱卡车(1)驶离作业区域。
2.根据权利要求1所述的一种集装箱卡车吊具检测系统的检测方法，其特征在于：所述步骤S5中所述装箱作业具体包括：
S511、未装有所述集装箱的所述集装箱卡车(1)，在所述集装箱卡车(1)后方，以后轴中心为坐标系原点，车中轴为y轴，指向车尾方向，地面垂直向上为z轴，x-y-z服从右手螺旋定则，在1m<y<20m，-5m<x<5m区域建立世界坐标系，在所述世界坐标系下所述吊具检测控制器(3)检测所述吊具和所述集装箱的空间位置和相对位置关系；
S512、所述吊具和所述集装箱卡车(1)等待接收所述港口作业系统(4)的装箱指令，并通过所述吊具检测控制器(3)实时检测所述吊具和所述集装箱相对于世界坐标系的空间位置，当检测目标出现在所述世界坐标系中时，则进行步骤S513，否则，则继续在所述世界坐标系中检测所述吊具和所述集装箱；
S513、所述吊具检测控制器(3)的信息传递模块(33)将确认信息反馈到所述场桥(5)作业系统；
S514、所述吊具检测相机(2)检测到所述吊具和所述集装箱，所述吊具检测控制器(3)通过计算所述吊具和所述集装箱相对位置距离得到两者的位置关系并将此信息反馈到所述港口作业系统(4)；
S515、通过箱体的垂直两点确定吊具和集装箱在世界坐标系的空间位置，所述视觉检测模块(31)实时计算所述吊具和集装箱相对于世界坐标系的空间距离，所述吊具吊起所述集装箱位置逐渐接近所述集装箱卡车(1)承载集装箱位置，当空间距离相较于世界坐标系原点为零时集装箱到达正确装载位置；
S516、所述吊具卸下所述集装箱，实时检测所述吊具和所述集装箱的相对位置，所述吊具与所述集装箱的距离逐渐增大，当所述吊具位置z>3m，所述信息传递模块(33)向所述港口作业系统(4)发送作业完成信息。
3.根据权利要求1所述的一种集装箱卡车吊具检测系统的检测方法，其特征在于：所述步骤S5中所述卸箱作业具体包括：
S521、装有所述集装箱的所述集装箱卡车(1)，在所述集装箱卡车(1)后方，以后轴中心为坐标系原点，车中轴为y轴，指向车尾方向，地面垂直向上为z轴，x-y-z服从右手螺旋定则，在1m<y<20m，-5m<x<5m区域建立世界坐标系，在所述世界坐标系下所述吊具检测控制器(3)检测所述吊具空间位置；
S522、所述吊具和所述集装箱卡车(1)等待接收所述港口作业系统(4)的卸箱指令，并通过所述吊具检测控制器(3)实时检测所述吊具和所述集装箱相对于世界坐标系的空间位置，当所述吊具到达所述集装箱卡车(1)装载的所述集装箱上部，并正确锁定所述集装箱，则进行步骤S523，否则，则继续在所述世界坐标系中检测所述吊具位置；
S523、所述信息传递模块(33)将确认信息反馈到所述场桥(5)作业系统；
S524、所述吊具检测相机(2)检测到所述吊具和所述集装箱，所述吊具检测控制器(3)通过计算所述吊具和所述集装箱相对位置距离得到两者的位置关系并将此信息反馈到所述港口作业系统(4)；
S525、所述视觉检测模块(31)实时计算所述吊具和所述集装箱的相对空间距离，所述吊具位置逐渐接近所述集装箱卡车(1)承载所述集装箱位置，所述吊具移动的过程中，所述吊具检测控制器(3)会向所述场桥(5)作业系统发送确认信息，确保所述集装箱卡车(1)保持静止，当空间距离相较于世界坐标系原点为零时，所述吊具锁定所述集装箱；
S526、所述吊具离开所述世界坐标系原点，检测所述吊具和所述集装箱的相对位置并计算两者距离所述世界坐标系原点的距离，当所述吊具和所述集装箱的空间位置处于世界坐标系的z>3m且x>5m或者x<-5m区域时，所述信息传递模块(33)向所述港口作业系统(4)发送作业完成信息。
4.根据权利要求2所述的一种集装箱卡车吊具检测系统的检测方法，其特征在于：
步骤S511～步骤S516中，所述视觉检测模块(31)检测所述吊具和所述集装箱的具体方法为：
将所述吊具和所述集装箱基本形状视为长方体，通过所述吊具检测相机(2)获得所述吊具和所述集装箱的外接矩形框，在矩形框内，使用分割算法，提取所述集装箱和所述吊具指向车头方向的面，以车头方向的所述面在图像中的垂直两角点估计所述集装箱和所述吊具的空间位置；
所述角点距离计算方法具体如下：
建立世界坐标系到相机坐标系的映射关系如下：
Figure FDA0002665114220000041
其中γ为所述吊具检测相机(2)俯仰角；
根据小孔成像原理，建立相机坐标系到二维图像坐标系的映射关系如下：
Figure FDA0002665114220000051
其中f为相机的焦距；
构建图像坐标系和世界坐标系的关系，公式如下：
Figure FDA0002665114220000052
构建数据表TIW，表中每个三元组(u，v，depth＝yw)的内容为(xw，zw)；
根据图像上的点(u，v)，以及该点所在平面相对世界坐标系XZ平面的深度值，其中depth与深度值尺度step相加得到新的深度值，通过(u，v，depth)三元组，在数据表TIW中快速查表得出(xw，zw)，进而得到该图像点的世界坐标系位置(xw，yw＝depth，zw)；
判定查表得到的A,B两点的世界坐标，公式如下：
|xAw-xBw|＜threshold
|zAw-zBw-d|＜threshold，
其中d为集装箱箱体的高度，threshold为固定误差值，当不满足判定时，向上调整深度值，进行重复判定；否则向下调整深度值，并根据原深度值加上新的尺度，直至最小深度值尺度，得出最优解。
5.根据权利要求3所述的一种集装箱卡车吊具检测系统的检测方法，其特征在于：
步骤S521～步骤S526中，所述视觉检测模块(31)检测所述吊具和所述集装箱的具体方法为：
将所述吊具和所述集装箱基本形状视为长方体，通过所述吊具检测相机(2)获得所述吊具和所述集装箱的外接矩形框，在矩形框内，使用分割算法，提取所述集装箱和所述吊具指向车头方向的面，以车头方向的所述面在图像中的垂直两角点估计所述集装箱和所述吊具的空间位置；
所述角点距离计算方法具体如下：
建立世界坐标系到相机坐标系的映射关系如下：
Figure FDA0002665114220000061
其中γ为所述吊具检测相机(2)俯仰角；
根据小孔成像原理，建立相机坐标系到二维图像坐标系的映射关系如下：
Figure FDA0002665114220000062
其中f为相机的焦距；
构建图像坐标系和世界坐标系的关系，公式如下：
Figure FDA0002665114220000071
构建数据表TIW，表中每个三元组(u，v，depth＝yw)的内容为(xw，zw)；
根据图像上的点(u，v)，以及该点所在平面相对世界坐标系XZ平面的深度值，其中depth与深度值尺度step相加得到新的深度值，通过(u，v，depth)三元组，在数据表TIW中快速查表得出(xw，zw)，进而得到该图像点的世界坐标系位置(xw，yw＝depth，zw)；
判定查表得到的A,B两点的世界坐标，公式如下：
|xAw-xBw|＜threshold
|zAw-zBw-d|＜threshold，
其中d为集装箱箱体的高度，threshold为固定误差值，当不满足判定时，向上调整深度值，进行重复判定；否则向下调整深度值，并根据原深度值加上新的尺度，直至最小深度值尺度，得出最优解。
6.使用权利要求1所述一种集装箱卡车吊具检测方法的一种集装箱卡车吊具检测系统，其特征在于：包括所述集装箱卡车(1)、所述吊具检测相机(2)、所述吊具检测控制器(3)、所述港口作业系统(4)和所述场桥(5)，所述吊具检测相机(2)设置于所述集装箱卡车(1)上，所述吊具检测控制器(3)与所述吊具检测相机(2)信号连接，所述港口作业系统(4)与所述集装箱卡车(1)信号连接，所述场桥(5)与所述港口作业系统(4)信号连接，所述吊具检测控制器(3)与所述港口作业系统(4)信号连接；
所述集装箱卡车(1)用于运送集装箱，所述吊具检测相机(2)用于检测所述集装箱和所述场桥(5)的位置图像，所述吊具检测控制器(3)用于根据所述吊具检测相机(2)的位置图像计算出位置信息并控制所述场桥(5)的吊具吊起或释放所述集装箱，所述港口作业系统(4)用于对所述集装箱卡车(1)发送和接收作业命令。
7.根据权利要求6所述的一种集装箱卡车吊具检测系统，其特征在于：所述吊具检测控制器(3)包括所述视觉检测模块(31)、信号接收模块(32)和所述信息传递模块(33)，所述视觉检测模块(31)用于检测所述吊具检测相机(2)实时反馈的吊具与集装箱状态，所述信号接收模块(32)接收所述吊具检测相机(2)的信号并传递给所述视觉检测模块(31)，所述信息传递模块(33)用于将所述视觉检测模块(31)中检测到的吊具与集装箱状态传递给所述港口作业系统(4)。
CN202010916237.XA 2020-09-03 2020-09-03 一种集装箱卡车吊具检测方法和系统 Pending CN112184800A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010916237.XA CN112184800A (zh) 2020-09-03 2020-09-03 一种集装箱卡车吊具检测方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010916237.XA CN112184800A (zh) 2020-09-03 2020-09-03 一种集装箱卡车吊具检测方法和系统

Publications (1)

Publication Number Publication Date
CN112184800A true CN112184800A (zh) 2021-01-05

Family

ID=73924753

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010916237.XA Pending CN112184800A (zh) 2020-09-03 2020-09-03 一种集装箱卡车吊具检测方法和系统

Country Status (1)

Country Link
CN (1) CN112184800A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023273871A1 (zh) * 2021-06-29 2023-01-05 中移(上海)信息通信科技有限公司 港口信息的处理方法、装置及相关设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005082349A (ja) * 2003-09-09 2005-03-31 Sumitomo Heavy Ind Ltd コンテナクレーン作業管理システム、コンテナクレーン作業管理方法、及びコンテナクレーン
CN103324198A (zh) * 2013-07-08 2013-09-25 宁波大榭招商国际码头有限公司 一种基于计算机视觉技术的集卡定位自动引导系统及其使用方法
CN205537507U (zh) * 2016-03-02 2016-08-31 宁波大榭招商国际码头有限公司 一种基于机器视觉技术的集卡车拖板定位装置
JP2017088355A (ja) * 2015-11-12 2017-05-25 三井造船株式会社 コンテナターミナル
CN107150953A (zh) * 2016-03-02 2017-09-12 宁波大榭招商国际码头有限公司 一种基于机器视觉的起重机大车方向精确定位系统及方法
CN109368503A (zh) * 2018-12-14 2019-02-22 天津港太平洋国际集装箱码头有限公司 场桥装卸作业远程控制操作系统
CN109828577A (zh) * 2019-02-25 2019-05-31 北京主线科技有限公司 无人驾驶集装箱卡车相对自动化场桥高精度定位停车方法
CN110598987A (zh) * 2019-08-13 2019-12-20 武汉中海庭数据技术有限公司 一种基于无人驾驶的港口调度系统及方法
CN110902570A (zh) * 2019-11-25 2020-03-24 上海驭矩信息科技有限公司 一种用于集装箱装卸作业的动态测量方法及系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005082349A (ja) * 2003-09-09 2005-03-31 Sumitomo Heavy Ind Ltd コンテナクレーン作業管理システム、コンテナクレーン作業管理方法、及びコンテナクレーン
CN103324198A (zh) * 2013-07-08 2013-09-25 宁波大榭招商国际码头有限公司 一种基于计算机视觉技术的集卡定位自动引导系统及其使用方法
JP2017088355A (ja) * 2015-11-12 2017-05-25 三井造船株式会社 コンテナターミナル
CN205537507U (zh) * 2016-03-02 2016-08-31 宁波大榭招商国际码头有限公司 一种基于机器视觉技术的集卡车拖板定位装置
CN107150953A (zh) * 2016-03-02 2017-09-12 宁波大榭招商国际码头有限公司 一种基于机器视觉的起重机大车方向精确定位系统及方法
CN109368503A (zh) * 2018-12-14 2019-02-22 天津港太平洋国际集装箱码头有限公司 场桥装卸作业远程控制操作系统
CN109828577A (zh) * 2019-02-25 2019-05-31 北京主线科技有限公司 无人驾驶集装箱卡车相对自动化场桥高精度定位停车方法
CN110598987A (zh) * 2019-08-13 2019-12-20 武汉中海庭数据技术有限公司 一种基于无人驾驶的港口调度系统及方法
CN110902570A (zh) * 2019-11-25 2020-03-24 上海驭矩信息科技有限公司 一种用于集装箱装卸作业的动态测量方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023273871A1 (zh) * 2021-06-29 2023-01-05 中移(上海)信息通信科技有限公司 港口信息的处理方法、装置及相关设备

Similar Documents

Publication Publication Date Title
KR101699672B1 (ko) 컨테이너 크레인을 사용하여 랜딩 타깃 상에 컨테이너들을 자동적으로 랜딩하기 위한 방법 및 시스템
CN103332597B (zh) 一种基于主动视觉技术的起重机远程操作用监控系统及其实现方法
WO2021208273A1 (zh) 用于识别状态参数的系统、吊装定位系统及吊装设备
WO2019000859A1 (zh) 基于集装箱箱区轮廓三维识别的吊具安全防撞系统及方法
CN110902570A (zh) 一种用于集装箱装卸作业的动态测量方法及系统
JP2023531391A (ja) 倉庫ロボットの制御方法、装置、機器、および読み取り可能記憶媒体
WO2020215772A1 (zh) 一种智能叉车以及容器位姿偏移检测方法
CN111268566A (zh) 一种基于激光的集装箱卡车车道上的自动着箱系统及方法
CN202766229U (zh) 用于堆高机的监控系统
CN108263950A (zh) 基于机器视觉的码头岸桥吊具自动着箱系统及方法
CN113165853B (zh) 将集装箱装载在着落目标上的系统和方法
CN110540137B (zh) 一种基于多传感器融合的起重机作业系统
US20220371199A1 (en) System and method for connection of service lines to trailer fronts by automated trucks
CN111891927B (zh) 第一层集装箱放置方法及计算机可读存储介质
CN104386582A (zh) 一种用于轨道吊机的集装箱卡车防误吊起系统及方法
CN112661013B (zh) 一种自动化码头桥吊遗留锁垫检测方法及系统
CN112184800A (zh) 一种集装箱卡车吊具检测方法和系统
EP3418244B1 (en) Loading a container on a landing target
CN107200274A (zh) 一种基于机器视觉的防集装箱卡车被吊起方法
CN116583382A (zh) 用于自主卡车及其牵引的挂车的自动操作和操纵的系统和方法
CN104843583A (zh) 基于岸桥的轮廓信息扫描方法和系统
CN115849189B (zh) 基于点云的吊具二次锚定方法、系统、设备及存储介质
CN114803571B (zh) 一种物料抓取的控制方法、装置、存储介质以及电子设备
CN114803570B (zh) 物料抓取策略的确定方法、装置、存储介质以及电子设备
CN116002529A (zh) 基于起重设备特征的对位方法、系统、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination