CN112184800B - 一种集装箱卡车吊具检测方法 - Google Patents
一种集装箱卡车吊具检测方法 Download PDFInfo
- Publication number
- CN112184800B CN112184800B CN202010916237.XA CN202010916237A CN112184800B CN 112184800 B CN112184800 B CN 112184800B CN 202010916237 A CN202010916237 A CN 202010916237A CN 112184800 B CN112184800 B CN 112184800B
- Authority
- CN
- China
- Prior art keywords
- lifting appliance
- container
- coordinate system
- truck
- world coordinate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 183
- 238000000034 method Methods 0.000 claims abstract description 29
- 235000015170 shellfish Nutrition 0.000 claims abstract description 11
- 238000012544 monitoring process Methods 0.000 claims abstract description 3
- 230000000007 visual effect Effects 0.000 claims description 22
- 230000005540 biological transmission Effects 0.000 claims description 18
- 238000013507 mapping Methods 0.000 claims description 10
- 238000003384 imaging method Methods 0.000 claims description 8
- 230000011218 segmentation Effects 0.000 claims description 7
- 238000012790 confirmation Methods 0.000 claims description 6
- 238000013459 approach Methods 0.000 claims description 5
- 230000036544 posture Effects 0.000 abstract description 5
- 238000012546 transfer Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
- B66C13/00—Other constructional features or details
- B66C13/16—Applications of indicating, registering, or weighing devices
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mechanical Engineering (AREA)
- Control And Safety Of Cranes (AREA)
Abstract
本发明提供一种卡车吊具检测方法，包括以下步骤：S1、下发作业任务，卡车根据任务移动至贝位；S2、场桥接收指令，移动至相应的贝位；S3、场桥到达贝位后，向港口作业系统反馈到达信息，港口作业系统将场桥状态反馈给卡车；S4、卡车收到信息，锁定卡车，吊具检测控制器开启；S5、场桥控制吊具根据指令，通过吊具检测控制器实时监控，进行装箱任务或卸箱任务；S6、吊具检测控制器接收任务完成信号，向港口作业系统发送作业完成信息，港口任务系统作业系统确认，解锁卡车，卡车驶离作业区域。本方法实时检测吊具和集装箱的姿态和位置，并与港口作业系统交互，确保吊具安全作业；运营逻辑使得港口的装卸操作可控性、可靠性和能效性得到大幅度提高。
Description
技术领域
本发明涉及港口自动化领域，具体涉及一种集装箱卡车吊具检测方法。
背景技术
港口集装箱作业，主要涉及各类吊具与集装箱卡车之间的装卸箱操作。此类操作中，主要的安全隐患在于集装箱卡车是否能够正确识别吊具的动作、状态。在传统港口环境中，安全判断通常是由集装箱卡车驾驶员做出的，当安全员出现疲劳、操作不当等行为时，会出现拖拽吊具、集装箱放置不当等安全事故。
吊具检测系统是利用计算机技术，自动确定吊具的工作状态以及集装箱的位置、姿态，从而智能判断集装箱卡车是否安全完成装卸操作，接受新的任务指令。目前常见方法是基于自动化场桥，利用场桥的信息化装备确定吊具以及装卸箱操作的安全性，这类方法缺乏对集装箱卡车行为的控制和管理，并不能杜绝由于集装箱卡车驾驶员操作不当造成的事故。
发明内容
本发明是为了解决现有技术中，提供了一种集装箱卡车吊具检测方法和系统，采用计算机视觉技术，获得吊具的工作状态和集装箱的位置、姿态信息的方式，产生正确的车辆行为，降低安全隐患。
本发明所述的一种集装箱卡车吊具检测方法，包括以下步骤：
S1、港口作业系统向集装箱卡车下发作业任务，集装箱卡车根据作业任务移动至相应的贝位，等待场桥到达；
S2、场桥接收港口作业系统指令，移动至相应的贝位；
S3、场桥到达相应贝位后，向港口作业系统反馈到达信息，港口作业系统将场桥到达状态反馈给集装箱卡车；
S4、集装箱卡车收到场桥到达状态信息，锁定集装箱开车，吊具检测控制器开启；
S5、场桥控制吊具根据港口作业系统的指令，通过吊具检测控制器实时监控，进行装箱任务或卸箱任务；
S6、吊具检测控制器判断任务完成，吊具检测控制器向港口作业系统发送作业完成信息，港口作业系统确认，解锁集装箱卡车，集装箱卡车驶离作业区域。
在吊具抓运集装箱时，由于位置关系集装箱会遮蔽吊具，可以看到此时并没有影响检测对两者相对位置的判断。检测系统检测吊具和集装箱的相对位置并计算两者距离世界坐标系原点的距离，当吊具和集装箱的空间位置大于世界坐标系的指定阈值时标志着箱体安全脱离集装箱卡车，此时集装箱卡车和吊具不会发生关于箱体的拉扯
本发明所述的一种集装箱卡车吊具检测方法，作为优选方式，步骤S5中装箱作业具体包括：
S511、未装有集装箱的集装箱卡车，在集装箱卡车后方，以后轴中心为坐标系原点，车中轴为y轴，指向车尾方向，地面垂直向上为z轴，x-y-z服从右手螺旋定则，在1m<y<20m，-5m<x<5m区域建立世界坐标系，在世界坐标系下吊具检测控制器检测吊具和集装箱的空间位置和相对位置关系；
S512、吊具和集装箱卡车等待接收港口作业系统的装箱指令，并通过吊具检测控制器实时检测吊具和集装箱相对于世界坐标系的空间位置，当检测目标出现在世界坐标系中时，则进行步骤S513，否则，则继续在世界坐标系中检测吊具和集装箱；
S513、信息传递模块将确认信息反馈到场桥作业系统；
S514、吊具检测相机检测到吊具和集装箱，吊具检测控制器通过计算吊具和集装箱相对位置距离得到两者的位置关系并将此信息反馈到港口作业系统；
S515、通过箱体的垂直两点确定吊具和集装箱在世界坐标系的空间位置，视觉检测模块实时计算吊具和集装箱相对于世界坐标系的空间距离，吊具吊起集装箱位置逐渐接近集装箱卡车承载集装箱位置，当空间距离相较于世界坐标系原点为零时集装箱到达正确装载位置；
S516、吊具卸下集装箱，实时检测吊具和集装箱的相对位置，吊具与集装箱的距离逐渐增大，当吊具位置z>3m，信息传递模块向港口作业系统发送作业完成信息。
本发明所述的一种集装箱卡车吊具检测方法，作为优选方式，步骤S5中卸箱任务具体包括：
S521、装有集装箱的集装箱卡车，在集装箱卡车后方，以后轴中心为坐标系原点，车中轴为y轴，指向车尾方向，地面垂直向上为z轴，x-y-z服从右手螺旋定则，在1m<y<20m，-5m<x<5m区域建立世界坐标系，在世界坐标系下吊具检测控制器检测吊具空间位置；
S522、吊具和集装箱卡车等待接收港口作业系统的卸箱指令，并通过吊具检测控制器实时检测吊具和集装箱相对于世界坐标系的空间位置，当吊具到达集装箱卡车装载的所述集装箱上部，并正确锁定所述集装箱，则进行步骤S523，否则，则继续在世界坐标系中检测吊具和集装箱；
S523、信息传递模块将确认信息反馈到场桥作业系统；
S524、吊具检测相机检测到吊具和集装箱，吊具检测控制器通过计算吊具和集装箱相对位置距离得到两者的位置关系并将此信息反馈到港口作业系统；
S525、视觉检测模块实时计算吊具和集装箱的相对空间距离，吊具位置逐渐接近集装箱卡车承载集装箱位置，吊具移动的过程中，吊具检测控制器会向场桥作业系统发送确认信息，确保集装箱卡车保持静止，当空间距离相较于世界坐标系原点为零时，吊具锁定集装箱；
S526、吊具离开世界坐标系原点，检测吊具和集装箱的相对位置并计算两者距离世界坐标系原点的距离，当吊具和集装箱的空间位置处于世界坐标系的z>3m且x>5m或者x<-5m区域时，信息传递模块向港口作业系统发送作业完成信息。
本发明所述的一种集装箱卡车吊具检测方法，作为优选方式，视觉检测模块检测吊具和集装箱的具体方法为：
将吊具和集装箱基本形状视为长方体，通过吊具检测相机获得吊具和集装箱的外接矩形框，在矩形框内，使用分割算法，提取集装箱和吊具指向车头方向的面，以车头方向的面在图像中的垂直两角点估计集装箱和吊具的空间位置；
角点距离计算方法具体如下：
建立世界坐标系到相机坐标系的映射关系如下：
其中γ为吊具检测相机俯仰角；
根据小孔成像原理，建立相机坐标系到二维图像坐标系的映射关系如下：
其中f为相机的焦距；
构建图像坐标系和世界坐标系的关系，公式如下：
构建数据表TIW，表中每个三元组(u，v，depth＝yw)的内容为(xw，zw)；
根据图像上的点(u，v)，以及该点所在平面相对世界坐标系XZ平面的深度值depth，其中depth与深度值尺度step相加得到新的深度值，通过(u，v，depth)三元组，在数据表TIW中快速查表得出(xw，zw)，进而得到该图像点的世界坐标系位置(xw，yw＝depth，zw)；
判定查表得到的A,B两点的世界坐标，公式如下：
其中d为集装箱箱体的高度，threshold为固定误差值，当不满足判定时，向上调整深度值，进行重复判定；否则向下调整深度值，并根据原深度值加上新的尺度，直至最小深度值尺度，得出最优解。
吊具和集装箱基本形状可以看作是长方体，二维图像检测算法，获得吊具和集装箱的外接矩形框，在矩形框内，使用分割算法，提取集装箱和吊具指向车头方向的面。然后以该面在图像中的垂直两点，估计其空间位置。
在检测相机捕捉到视频帧后采用二维图像检测算法获取吊具和集装箱的外接矩形框，在矩形框内，使用分割算法，提取集装箱和吊具指向车头方向的面，以确定图像中的垂直两点。
本发明提供了一种集装箱卡车吊具检测系统，包括集装箱卡车、吊具检测相机、吊具检测控制器、港口作业系统和场桥，吊具检测相机设置于集装箱卡车上，吊具检测控制器与吊具检测相机信号连接，港口作业系统与集装箱卡车信号连接，场桥与港口作业系统信号连接，吊具检测控制器与港口作业系统信号连接；
集装箱卡车用于运送集装箱，吊具检测相机用于检测集装箱和场桥的位置图像，吊具检测控制器用于根据吊具检测相机的位置图像计算出位置信息并控制场桥的吊具吊起或释放集装箱，港口作业系统用于对集装箱卡车发送和接收作业命令。
本发明所述的一种集装箱卡车吊具检测系统，作为一种优选方式，吊具检测控制器包括视觉检测模块、信号接收模块和信息传递模块，视觉检测模块用于检测吊具检测相机实时反馈的吊具与集装箱状态，信号接收模块接收吊具检测相机的信号并传递给视觉检测模块，信息传递模块用于将视觉检测模块中检测到的吊具与集装箱状态传递给港口作业系统。
吊具检测控制器，利用相机成像原理，计算吊具的位置、姿态和吊具装卸的集装箱的位置、姿态，根据吊具检测状态机，确定吊具的状态，进而输出车辆控制信息，确保车辆是否可以离开作业点，接受新作业指令。
本发明有益效果如下：
(1)系统实时传输吊具和集装箱的姿态和位置信息，可以有效避免人为操作中信息传输的障碍带来的人为隐患；
(2)系统运营逻辑使得港口的装卸操作可控性和能效性得到大幅度提高；
(3)基于目标检测算法，可以同时检测吊具和集装箱的空位位置，在发生遮挡时检测两者的相对位置关系，确保装卸操作的安全有序进行；
(4)将检测系统部署在集装箱卡车上，可减少信息的传输成本。
附图说明
图1为一种集装箱卡车吊具检测方法实施例1流程图；
图2为一种集装箱卡车吊具检测方法实施例2流程图；
图3为一种集装箱卡车吊具检测方法三元组数据表图；
图4为一种集装箱卡车吊具检测系统示意图；
图5为一种集装箱卡车吊具检测系统吊具检测控制器示意图。
附图标记：
1、集装箱卡车；2、吊具检测相机；3、吊具检测控制器；31、视觉检测模块；32、信号接收模块；33、信息传递模块；4、港口作业系统；5、场桥。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
实施例1
如图1所示，一种集装箱卡车吊具检测方法，其中装箱任务包括以下步骤：
S1、港口作业系统4向集装箱卡车1下发作业任务，集装箱卡车1根据作业任务移动至相应的贝位(固定位置，可通过GPS/北斗定位设备采集其位置信息)，等待场桥5到达；
S2、场桥5接收港口作业系统4指令，移动至相应的贝位；
S3、场桥5到达相应贝位后，向港口作业系统4反馈到达信息，港口作业系统4将场桥5到达状态反馈给集装箱卡车1；
S4、集装箱卡车1收到场桥5到达状态信息，锁定集装箱卡车，吊具检测控制器3开启；
S5、未装有集装箱的集装箱卡车1进入Ready状态，在集装箱卡车1后方，以后轴中心为坐标系原点，车中轴为y轴，指向车尾方向，地面垂直向上为z轴，x-y-z服从右手螺旋定则，在1m<y<20m，-5m<x<5m区域建立世界坐标系，在世界坐标系下吊具检测控制器3检测吊具和集装箱的空间位置和相对位置关系；
S6、吊具和集装箱卡车1等待接收港口作业系统4的装箱指令，并通过吊具检测控制器3实时检测吊具和集装箱相对于世界坐标系的空间位置，当检测目标出现在世界坐标系中时，则进行步骤S7，否则，则继续在世界坐标系中检测吊具和集装箱；
S7、此时系统进入装箱(LOAD)流程，并将ACK信息反馈到场桥作业系统，当检测系统检测到只有吊具接近集装箱卡车时迫使系统进入Waiting状态等待人工处理；
S8、吊具检测相机2检测到吊具和集装箱，吊具检测控制器3通过计算吊具和集装箱相对位置距离得到两者的位置关系并将此信息反馈到港口作业系统4；
S9、通过箱体的垂直两点确定吊具和集装箱在世界坐标系的空间位置，视觉检测模块31实时计算吊具和集装箱相对于世界坐标系的空间距离，吊具吊起集装箱位置逐渐接近集装箱卡车1承载集装箱位置，当空间距离相较于世界坐标系原点为零时集装箱到达正确装载位置；
S10、吊具卸下集装箱，实时检测吊具和集装箱的相对位置，当吊具卸下集装箱后检测系统进入DetCrane状态,吊具与集装箱的距离逐渐增大，当吊具位置z>3m，信息传递模块33向港口作业系统4发送作业完成信息；
S11、吊具检测控制器3判断任务完成，吊具检测控制器3向港口作业系统4发送作业完成信息，港口作业系统确认，解锁集装箱卡车1的Ready状态，集装箱卡车1驶离作业区域。
视觉检测模块31检测吊具和集装箱的具体方法为：
将吊具和集装箱基本形状视为长方体，通过吊具检测相机2获得吊具和集装箱的外接矩形框，在矩形框内，使用分割算法，提取集装箱和吊具指向车头方向的面，以车头方向的面在图像中的垂直两角点估计集装箱和吊具的空间位置；
角点距离计算方法具体如下：
建立世界坐标系到相机坐标系的映射关系如下：
其中γ为吊具检测相机2俯仰角；
根据小孔成像原理，建立相机坐标系到二维图像坐标系的映射关系如下：
其中f为相机的焦距；
构建图像坐标系和世界坐标系的关系，公式如下：
构建数据表TIW，表中每个三元组的内容为；
根据图像上的点(u，v)，以及该点所在平面相对世界坐标系XZ平面的深度值，其中depth与深度值尺度step相加得到新的深度值，通过(u，v，depth)三元组，在数据表TIW中快速查表得出(xw，zw)，进而得到该图像点的世界坐标系位置(xw，yw＝depth，zw)；
判定查表得到的A,B两点的世界坐标，公式如下：
|xAw-xBw|＜threshold
|zAw-zBw-d＜threshold，
其中d为集装箱箱体的高度，threshold为固定误差值，当不满足判定时，向上调整深度值，进行重复判定；否则向下调整深度值，并根据原深度值加上新的尺度，直至最小深度值尺度，得出最优解。
如图3所示，由于集装箱和吊具相对于检测相机是规则的平移运动，不存在旋转。可通过上述公式实现相机坐标系连接图像坐标系和世界坐标系。其中A(uA，vA)和B(uB，vB)的值通过图像坐标系获得，已知世界坐标系下A，B两点间存在如下关系等式：
xAw＝xBw,yAw＝yBw,zAw-zBw＝d
其中d为箱体的高度。为求得满足此关系的最优解(xAw，yAw，zAw)T，建立基于图像坐标系的三元组数据表TIW，每个三元组(u，v，depth)的内容为(xw，zw)，depth的尺度step分别为2m,1m,0.5m,0.1m。范围在0到20m之间。
当检测到箱体的两个垂直角点A,B后，利用图像坐标系A(uA，vA)和B(uB，vB)和depth＝yw在多尺度三元组数据表中查询，得到对应的(xAw，zAw)和(xBw，zBw)后代入到判定公式中进行判定，如果满足判定则在该depth下选择更小的尺度。例如现有一组垂直观测点M(uM，vM),N(uN，vN)，在depth＝1,step＝1时两组三元组数据表的形式为(uM，vM，depth＝1)，(uN，vN，depth＝1)经过查表得到世界坐标分别(xMw，zMw)，(xNw，zNw)，将两点世界坐标代入判定进行判定，当不满足时更新depth＝depth+step＝2，并重复上述查表和判定过程；当满足判定时更新step＝0.5,depth＝depth+step＝1.5，重复上述查表和判定过程直到step＝0.1m时得到满足条件的最优解。
三元组数据表：{"image_width":1080,"image_height":720,"max_depth":20}表示图像坐标长度和宽度，以及预计的最大深度为20米，{"step":"2","depth":"4","world_coord":[[1.38,10.94],[1.38,10.89],[1.38,10.84],[1.38,10.79],[1.38,10.74],[1.38,10.7],[1.38,10.65],...}分别表示step当前深度变化步进值，depth表示当前深度，world_coord表示图像坐标系转化为世界坐标系(x,z)坐标。
如图4所示，一种集装箱卡车吊具检测系统，包括集装箱卡车1、吊具检测相机2、吊具检测控制器3、港口作业系统4和场桥5，吊具检测相机2设置于集装箱卡车1上，吊具检测控制器3与吊具检测相机2信号连接，港口作业系统4与集装箱卡车1信号连接，场桥5与港口作业系统4信号连接，吊具检测控制器3与港口作业系统4信号连接；
集装箱卡车1用于运送集装箱，吊具检测相机2用于检测集装箱和场桥5的位置图像，吊具检测控制器3用于根据吊具检测相机2的位置图像计算出位置信息并控制场桥5的吊具吊起或释放集装箱，港口作业系统4用于对集装箱卡车1发送和接收作业命令。
如图5所示，吊具检测控制器3包括视觉检测模块31、信号接收模块32和信息传递模块33，视觉检测模块31用于检测吊具检测相机2实时反馈的吊具与集装箱状态，信号接收模块32接收吊具检测相机2的信号并传递给视觉检测模块31，信息传递模块33用于将视觉检测模块31中检测到的吊具与集装箱状态传递给港口作业系统4。
其中吊具检测相机2采用车规级相机，LVDS接口，焦距6毫米，FOV 120度，吊具检测控制器3以NVIDIA TX2板卡为基础，增加LVDS解码芯片和CAN总线通信模块。吊具检测相机2安装在车头顶部，相机光轴方向指向车辆行驶的反方向，与车头顶部平面的夹角20度。吊具检测相机2采集为集装箱卡车作业的吊具图像，通过LVDS接口传送给吊具检测控制器3，吊具检测控制器3利用深度学习算法，检测吊具以及要作业的集装箱在图像中的位置，利用投影成像原理，估计吊具和集装箱在相机坐标系中的三维位置和姿态，根据吊具检测状态机，确定吊具和集装箱的状态，如果确认吊具和集装箱安全，则通过CAN总线解除车辆锁定，车辆接受新作业任务，驾驶员可以操作车辆行驶。
实施例2
如图2所示，一种集装箱卡车吊具检测方法，其中卸箱任务包括以下步骤：
S1、港口作业系统4向集装箱卡车1下发作业任务，集装箱卡车1根据作业任务移动至相应的贝位(固定位置，可通过GPS/北斗定位设备采集其位置信息)，等待场桥5到达；
S2、场桥5接收港口作业系统4指令，移动至相应的贝位；
S3、场桥5到达相应贝位后，向港口作业系统4反馈到达信息，港口作业系统4将场桥5到达状态反馈给集装箱卡车1；
S4、集装箱卡车1收到场桥5到达状态信息，锁定集装箱开车，吊具检测控制器3开启；
S5、装有集装箱的集装箱卡车1，在集装箱卡车1后方，以后轴中心为坐标系原点，车中轴为y轴，指向车尾方向，地面垂直向上为z轴，x-y-z服从右手螺旋定则，在1m<y<20m，-5m<x<5m区域建立世界坐标系，集装箱卡车(有箱)停靠在作业区域，保持Ready状态，此时检测系统开启视觉传感器，接受来自场桥系统的指令同时返回ACK，在世界坐标系下吊具检测控制器3检测吊具空间位置；
S6、吊具和集装箱卡车1等待接收港口作业系统4的卸箱指令，并通过吊具检测控制器3实时检测吊具和集装箱相对于世界坐标系的空间位置，当吊具到达集装箱卡车装载的所述集装箱上部，并正确锁定所述集装箱，检测系统发出警告迫使系统进入Waiting状态等待人工处理，则进行步骤S7，否则，则继续在世界坐标系中检测吊具和集装箱；
S7、当吊达到世界坐标系指定的安全阈值时系统进入(UNLOAD)状态；
S8、吊具检测相机2检测到吊具和集装箱，检测系统进入DetCrane状态，吊具检测控制器3通过计算吊具和集装箱相对位置距离得到两者的位置关系并将此信息反馈到港口作业系统4；
S9、视觉检测模块31实时计算吊具和集装箱的相对空间距离，吊具位置逐渐接近集装箱卡车1承载集装箱位置，吊具移动的过程中，吊具检测控制器3会向场桥5作业系统发送ARK信息，确保集装箱卡车1保持保持Ready状态，当空间距离相较于世界坐标系原点为零时，吊具锁定集装箱；
S10、吊具离开世界坐标系原点，集装箱卡车1仍然保持Ready状态。检测系统进入DetBox状态，检测吊具和集装箱的相对位置并计算两者距离世界坐标系原点的距离，当吊具和集装箱的空间位置处于世界坐标系的z>3m且x>5m或者x<-5m区域时，信息传递模块33向港口作业系统4发送作业完成信息。
S11、吊具检测控制器3判断任务完成，吊具检测控制器3向港口作业系统4发送作业完成信息，港口作业系统确认，解锁集装箱卡车1，集装箱卡车1驶离作业区域。
视觉检测模块31检测吊具和集装箱的具体方法为：
将吊具和集装箱基本形状视为长方体，通过吊具检测相机2获得吊具和集装箱的外接矩形框，在矩形框内，使用分割算法，提取集装箱和吊具指向车头方向的面，以车头方向的面在图像中的垂直两角点估计集装箱和吊具的空间位置；
角点距离计算方法具体如下：
建立世界坐标系到相机坐标系的映射关系如下：
其中γ为吊具检测相机2俯仰角；
根据小孔成像原理，建立相机坐标系到二维图像坐标系的映射关系如下：
其中f为相机的焦距；
构建图像坐标系和世界坐标系的关系，公式如下：
构建数据表TIW，表中每个三元组的内容为；
根据图像上的点(u，v)，以及该点所在平面相对世界坐标系XZ平面的深度值，其中depth与深度值尺度step相加得到新的深度值，通过(u，v，depth)三元组，在数据表TIW中快速查表得出(xw，zw)，进而得到该图像点的世界坐标系位置(xw，yw＝deoth，zw)；
判定查表得到的A,B两点的世界坐标，公式如下：
|xAw-xBw|＜threshold
|zAw-zBw-d＜threshold，
其中d为集装箱箱体的高度，threshold为固定误差值，当不满足判定时，向上调整深度值，进行重复判定；否则向下调整深度值，并根据原深度值加上新的尺度，直至最小深度值尺度，得出最优解。
如图3所示，由于集装箱和吊具相对于检测相机是规则的平移运动，不存在旋转。可通过上述公式实现相机坐标系连接图像坐标系和世界坐标系。其中A(uA，vA)和B(uB，vB)的值通过图像坐标系获得，已知世界坐标系下A，B两点间存在如下关系等式：
xAw＝xBw,yAw＝yBw,zAw-zBw＝d
其中d为箱体的高度。为求得满足此关系的最优解(xAw，yAwzAw)T，建立基于图像坐标系的三元组数据表TIW，每个三元组(u，v，depth)的内容为(xw，zw)，depth的尺度step分别为2m,1m,0.5m,0.1m。范围在0到20m之间。
当检测到箱体的两个垂直角点A,B后，利用图像坐标系A(uA,vA)和B(uB,vB)和depth＝yw在多尺度三元组数据表中查询，得到对应的(xAw,zAw)和(xBw,zBw)后代入到判定公式中进行判定，如果满足判定则在该depth下选择更小的尺度。例如现有一组垂直观测点M(uM,vM),N(uN，vN)，在depth＝1,step＝1时两组三元组数据表的形式为(uM,vM,depth＝1)，(uM,vM,depth＝1)经过查表得到世界坐标分别(xMw,zMw)，(xNw，zNw)，将两点世界坐标代入判定进行判定，当不满足时更新depth＝depth+step＝2，并重复上述查表和判定过程；当满足判定时更新step＝0.5,depth＝depth+step＝1.5，重复上述查表和判定过程直到step＝0.1m时得到满足条件的最优解。
三元组数据表：{"image_width":1080,"image_height":720,"max_depth":20}表示图像坐标长度和宽度，以及预计的最大深度为20米，{"step":"2","depth":"4","world_coord":[[1.38,10.94],[1.38,10.89],[1.38,10.84],[1.38,10.79],[1.38,10.74],[1.38,10.7],[1.38,10.65],...}分别表示step当前深度变化步进值，depth表示当前深度，world_coord表示图像坐标系转化为世界坐标系(x,z)坐标。
如图4所示，一种集装箱卡车吊具检测系统，包括集装箱卡车1、吊具检测相机2、吊具检测控制器3、港口作业系统4和场桥5，吊具检测相机2设置于集装箱卡车1上，吊具检测控制器3与吊具检测相机2信号连接，港口作业系统4与集装箱卡车1信号连接，场桥5与港口作业系统4信号连接，吊具检测控制器3与港口作业系统4信号连接；
集装箱卡车1用于运送集装箱，吊具检测相机2用于检测集装箱和场桥5的位置图像，吊具检测控制器3用于根据吊具检测相机2的位置图像计算出位置信息并控制场桥5的吊具吊起或释放集装箱，港口作业系统4用于对集装箱卡车1发送和接收作业命令。
如图5所示，吊具检测控制器3包括视觉检测模块31、信号接收模块32和信息传递模块33，视觉检测模块31用于检测吊具检测相机2实时反馈的吊具与集装箱状态，信号接收模块32接收吊具检测相机2的信号并传递给视觉检测模块31，信息传递模块33用于将视觉检测模块31中检测到的吊具与集装箱状态传递给港口作业系统4。
其中吊具检测相机2采用车规级相机，LVDS接口，焦距6毫米，FOV 120度，吊具检测控制器3以NVIDIA TX2板卡为基础，增加LVDS解码芯片和CAN总线通信模块。吊具检测相机2安装在车头顶部，相机光轴方向指向车辆行驶的反方向，与车头顶部平面的夹角20度。吊具检测相机2采集为集装箱卡车作业的吊具图像，通过LVDS接口传送给吊具检测控制器3，吊具检测控制器3利用深度学习算法，检测吊具以及要作业的集装箱在图像中的位置，利用投影成像原理，估计吊具和集装箱在相机坐标系中的三维位置和姿态，根据吊具检测状态机，确定吊具和集装箱的状态，如果确认吊具和集装箱安全，则通过CAN总线解除车辆锁定，车辆接受新作业任务，驾驶员可以操作车辆行驶。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
Claims (3)
1.一种集装箱卡车吊具检测方法，其特征在于：包括以下步骤：
S1、港口作业系统(4)向集装箱卡车(1)下发作业任务，所述集装箱卡车(1)根据所述作业任务移动至相应的贝位，等待场桥(5)到达；
S2、所述场桥(5)接收所述港口作业系统(4)指令，移动至相应的贝位；
S3、所述场桥(5)到达相应贝位后，向所述港口作业系统(4)反馈到达信息，所述港口作业系统(4)将所述场桥(5)到达状态反馈给所述集装箱卡车(1)；
S4、所述集装箱卡车(1)收到所述场桥(5)到达状态信息，锁定所述集装箱卡车(1)，吊具检测控制器(3)开启；
S5、所述场桥(5)控制吊具根据所述港口作业系统(4)的指令，通过所述吊具检测控制器(3)实时监控，进行装箱任务或卸箱任务；
S6、所述吊具检测控制器(3)接收任务完成信号，所述吊具检测控制器(3)向所述港口作业系统(4)发送作业完成信息，所述港口作业系统(4)确认，解锁所述集装箱卡车(1)，所述集装箱卡车(1)驶离作业区域；
所述吊具检测控制器(3)包括视觉检测模块(31)、信号接收模块(32)和信息传递模块(33)，所述视觉检测模块(31)用于检测吊具检测相机(2)实时反馈的吊具与集装箱状态，所述信号接收模块(32)接收所述吊具检测相机(2)的信号并传递给所述视觉检测模块(31)，所述信息传递模块(33)用于将所述视觉检测模块(31)中检测到的吊具与集装箱状态传递给所述港口作业系统(4)；
所述步骤S5中所述卸箱任务具体包括：
S511、未装有所述集装箱的所述集装箱卡车(1)，在所述集装箱卡车(1)后方，以后轴中心为坐标系原点，车中轴为y轴，指向车尾方向，地面垂直向上为z轴，x-y-z服从右手螺旋定则，在1m<y<20m，-5m<x<5m区域建立世界坐标系，在所述世界坐标系下所述吊具检测控制器(3)检测所述吊具和所述集装箱的空间位置和相对位置关系；
S512、所述吊具和所述集装箱卡车(1)等待接收所述港口作业系统(4)的装箱指令，并通过所述吊具检测控制器(3)实时检测所述吊具和所述集装箱相对于世界坐标系的空间位置，当检测目标出现在所述世界坐标系中时，则进行步骤S513，否则，则继续在所述世界坐标系中检测所述吊具和所述集装箱；
S513、所述吊具检测控制器(3)的信息传递模块(33)将确认信息反馈到所述场桥(5)作业系统；
S514、所述吊具检测相机(2)检测到所述吊具和所述集装箱，所述吊具检测控制器(3)通过计算所述吊具和所述集装箱相对位置距离得到两者的位置关系并将此信息反馈到所述港口作业系统(4)；
S515、通过箱体的垂直两点确定吊具和集装箱在世界坐标系的空间位置，所述视觉检测模块(31)实时计算所述吊具和集装箱相对于世界坐标系的空间距离，所述吊具吊起所述集装箱位置逐渐接近所述集装箱卡车(1)承载集装箱位置，当空间距离相较于世界坐标系原点为零时集装箱到达正确装载位置；
S516、所述吊具卸下所述集装箱，实时检测所述吊具和所述集装箱的相对位置，所述吊具与所述集装箱的距离逐渐增大，当所述吊具位置z>3m，所述信息传递模块(33)向所述港口作业系统(4)发送作业完成信息；
或所述步骤S5中所述卸箱任务具体包括：
S521、装有所述集装箱的所述集装箱卡车(1)，在所述集装箱卡车(1)后方，以后轴中心为坐标系原点，车中轴为y轴，指向车尾方向，地面垂直向上为z轴，x-y-z服从右手螺旋定则，在1m<y<20m，-5m<x<5m区域建立世界坐标系，在所述世界坐标系下所述吊具检测控制器(3)检测所述吊具空间位置；
S522、所述吊具和所述集装箱卡车(1)等待接收所述港口作业系统(4)的卸箱指令，并通过所述吊具检测控制器(3)实时检测所述吊具和所述集装箱相对于世界坐标系的空间位置，当所述吊具到达所述集装箱卡车(1)装载的所述集装箱上部，并正确锁定所述集装箱，则进行步骤S523，否则，则继续在所述世界坐标系中检测所述吊具位置；
S523、所述信息传递模块(33)将确认信息反馈到所述场桥(5)作业系统；
S524、所述吊具检测相机(2)检测到所述吊具和所述集装箱，所述吊具检测控制器(3)通过计算所述吊具和所述集装箱相对位置距离得到两者的位置关系并将此信息反馈到所述港口作业系统(4)；
S525、所述视觉检测模块(31)实时计算所述吊具和所述集装箱的相对空间距离，所述吊具位置逐渐接近所述集装箱卡车(1)承载所述集装箱位置，所述吊具移动的过程中，所述吊具检测控制器(3)会向所述场桥(5)作业系统发送确认信息，确保所述集装箱卡车(1)保持静止，当空间距离相较于世界坐标系原点为零时，所述吊具锁定所述集装箱；
S526、所述吊具离开所述世界坐标系原点，检测所述吊具和所述集装箱的相对位置并计算两者距离所述世界坐标系原点的距离，当所述吊具和所述集装箱的空间位置处于世界坐标系的z>3m且x>5m或者x<-5m区域时，所述信息传递模块(33)向所述港口作业系统(4)发送作业完成信息；
所述集装箱卡车吊具检测方法的集装箱卡车吊具检测系统，包括所述集装箱卡车(1)、所述吊具检测相机(2)、所述吊具检测控制器(3)、所述港口作业系统(4)和所述场桥(5)，所述吊具检测相机(2)设置于所述集装箱卡车(1)上，所述吊具检测控制器(3)与所述吊具检测相机(2)信号连接，所述港口作业系统(4)与所述集装箱卡车(1)信号连接，所述场桥(5)与所述港口作业系统(4)信号连接，所述吊具检测控制器(3)与所述港口作业系统(4)信号连接；
所述集装箱卡车(1)用于运送集装箱，所述吊具检测相机(2)用于检测所述集装箱和所述场桥(5)的位置图像，所述吊具检测控制器(3)用于根据所述吊具检测相机(2)的位置图像计算出位置信息并控制所述场桥(5)的吊具吊起或释放所述集装箱，所述港口作业系统(4)用于对所述集装箱卡车(1)发送和接收作业命令。
2.根据权利要求1所述的一种集装箱卡车吊具检测方法，其特征在于：
步骤S511～步骤S516中，所述视觉检测模块(31)检测所述吊具和所述集装箱的具体方法为：
将所述吊具和所述集装箱基本形状视为长方体，通过所述吊具检测相机(2)获得所述吊具和所述集装箱的外接矩形框，在矩形框内，使用分割算法，提取所述集装箱和所述吊具指向车头方向的面，以车头方向的所述面在图像中的垂直两角点估计所述集装箱和所述吊具的空间位置；
所述角点距离计算方法具体如下：
建立世界坐标系到相机坐标系的映射关系如下：
其中γ为所述吊具检测相机(2)俯仰角；
根据小孔成像原理，建立相机坐标系到二维图像坐标系的映射关系如下：
其中f为相机的焦距；
构建图像坐标系和世界坐标系的关系，公式如下：
构建数据表TIW，表中每个三元组(u，v，depth＝yw)的内容为(xw，zw)；
根据图像上的点(u，v)，以及该点所在平面相对世界坐标系XZ平面的深度值，其中depth与深度值尺度step相加得到新的深度值，通过(u，v，depth)三元组，在数据表TIW中快速查表得出(xw，zw)，进而得到该图像点的世界坐标系位置(xw，yw＝depth,zw)；
判定查表得到的A，B两点的世界坐标，公式如下：
|xAw-xBw|＜threshold
|zAw-zBw-d|＜threshold，
其中d为集装箱箱体的高度，threshold为固定误差值，当不满足判定时，向上调整深度值，进行重复判定；否则向下调整深度值，并根据原深度值加上新的尺度，直至最小深度值尺度，得出最优解。
3.根据权利要求1所述的一种集装箱卡车吊具检测方法，其特征在于：
步骤S521～步骤S526中，所述视觉检测模块(31)检测所述吊具和所述集装箱的具体方法为：
将所述吊具和所述集装箱基本形状视为长方体，通过所述吊具检测相机(2)获得所述吊具和所述集装箱的外接矩形框，在矩形框内，使用分割算法，提取所述集装箱和所述吊具指向车头方向的面，以车头方向的所述面在图像中的垂直两角点估计所述集装箱和所述吊具的空间位置；
所述角点距离计算方法具体如下：
建立世界坐标系到相机坐标系的映射关系如下：
其中γ为所述吊具检测相机(2)俯仰角；
根据小孔成像原理，建立相机坐标系到二维图像坐标系的映射关系如下：
其中f为相机的焦距；
构建图像坐标系和世界坐标系的关系，公式如下：
构建数据表TIW，表中每个三元组(u，v，depth＝yw)的内容为(xw，zw)；
根据图像上的点(u，v)，以及该点所在平面相对世界坐标系XZ平面的深度值，其中depth与深度值尺度step相加得到新的深度值，通过(u，v，depth)三元组，在数据表TIW中快速查表得出(xw，zw)，进而得到该图像点的世界坐标系位置(xw，yw＝depth,zw)；
判定查表得到的A，B两点的世界坐标，公式如下：
|xAw-xBw|＜threshold
|zAw-zBw-d|＜threshold，
其中d为集装箱箱体的高度，threshold为固定误差值，当不满足判定时，向上调整深度值，进行重复判定；否则向下调整深度值，并根据原深度值加上新的尺度，直至最小深度值尺度，得出最优解。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010916237.XA CN112184800B (zh) | 2020-09-03 | 2020-09-03 | 一种集装箱卡车吊具检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010916237.XA CN112184800B (zh) | 2020-09-03 | 2020-09-03 | 一种集装箱卡车吊具检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112184800A CN112184800A (zh) | 2021-01-05 |
| CN112184800B true CN112184800B (zh) | 2024-09-13 |
Family
ID=73924753
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010916237.XA Active CN112184800B (zh) | 2020-09-03 | 2020-09-03 | 一种集装箱卡车吊具检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112184800B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113252046B (zh) * | 2021-06-29 | 2021-10-26 | 中移(上海)信息通信科技有限公司 | 港口信息的处理方法、装置及相关设备 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109368503A (zh) * | 2018-12-14 | 2019-02-22 | 天津港太平洋国际集装箱码头有限公司 | 场桥装卸作业远程控制操作系统 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005082349A (ja) * | 2003-09-09 | 2005-03-31 | Sumitomo Heavy Ind Ltd | コンテナクレーン作業管理システム、コンテナクレーン作業管理方法、及びコンテナクレーン |
| CN103324198B (zh) * | 2013-07-08 | 2015-11-25 | 宁波江东晟创工业产品设计有限公司 | 一种基于计算机视觉技术的集卡定位自动引导系统及其使用方法 |
| JP6492324B2 (ja) * | 2015-11-12 | 2019-04-03 | 株式会社三井Ｅ＆Ｓマシナリー | コンテナターミナル |
| CN205537507U (zh) * | 2016-03-02 | 2016-08-31 | 宁波大榭招商国际码头有限公司 | 一种基于机器视觉技术的集卡车拖板定位装置 |
| CN107150953B (zh) * | 2016-03-02 | 2019-01-25 | 宁波大榭招商国际码头有限公司 | 一种基于机器视觉的起重机大车方向精确定位系统及方法 |
| CN109828577B (zh) * | 2019-02-25 | 2022-02-18 | 北京主线科技有限公司 | 无人驾驶集装箱卡车相对自动化场桥高精度定位停车方法 |
| CN110598987A (zh) * | 2019-08-13 | 2019-12-20 | 武汉中海庭数据技术有限公司 | 一种基于无人驾驶的港口调度系统及方法 |
| CN110902570B (zh) * | 2019-11-25 | 2024-09-17 | 上海驭矩信息科技有限公司 | 一种用于集装箱装卸作业的动态测量方法及系统 |
-
2020
- 2020-09-03 CN CN202010916237.XA patent/CN112184800B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109368503A (zh) * | 2018-12-14 | 2019-02-22 | 天津港太平洋国际集装箱码头有限公司 | 场桥装卸作业远程控制操作系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112184800A (zh) | 2021-01-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107089599B (zh) | 基于集装箱箱区轮廓三维识别的吊具安全防撞系统及方法 | |
| US20210053407A1 (en) | Systems and methods for automated operation and handling of autonomous trucks and trailers hauled thereby | |
| US20240152139A1 (en) | Systems and methods for automated operation and handling of autonomous trucks and trailers hauled thereby | |
| CN109095059B (zh) | 无人装车系统及其装车方法 | |
| KR101699672B1 (ko) | 컨테이너 크레인을 사용하여 랜딩 타깃 상에 컨테이너들을 자동적으로 랜딩하기 위한 방법 및 시스템 | |
| CN202924613U (zh) | 集装箱起重机高效装卸作业自动控制系统 | |
| CN104085794B (zh) | 一种用于集装箱分布轮廓和位置智能化检测系统及方法 | |
| CN203439940U (zh) | 集装箱码头rtg/rmg双激光吊具防碰箱自动控制系统 | |
| CN102923578A (zh) | 集装箱起重机高效装卸作业自动控制系统 | |
| CN107522114B (zh) | 自动化正面吊 | |
| CN110902570A (zh) | 一种用于集装箱装卸作业的动态测量方法及系统 | |
| US20220371199A1 (en) | System and method for connection of service lines to trailer fronts by automated trucks | |
| CN109071114B (zh) | 一种自动装卸货的方法、设备及具有存储功能的装置 | |
| CN112184800B (zh) | 一种集装箱卡车吊具检测方法 | |
| CN116583382A (zh) | 用于自主卡车及其牵引的挂车的自动操作和操纵的系统和方法 | |
| CN112037283A (zh) | 一种基于机器视觉的集卡定位及对箱检测方法 | |
| CN104843583A (zh) | 基于岸桥的轮廓信息扫描方法和系统 | |
| CN109579698B (zh) | 一种智能货物检测系统及其检测方法 | |
| CN113359706B (zh) | 一种多体辅助运输系统协同转弯轨迹自规划方法 | |
| CN113359735A (zh) | 一种无人搬运车车载控制系统 | |
| CN107235418B (zh) | 一种大型舰船上起重车辆用自动挂钩系统 | |
| CN212639213U (zh) | 一种水泥散装卸料头自动对接控制系统 | |
| CN118025996B (zh) | 基于毫米波通讯的全自动轮式龙门吊的控制方法及系统 | |
| CN215854702U (zh) | 一种用于集装箱装卸作业的动态测量系统 | |
| CN213011631U (zh) | 一种集装箱防碰撞系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |