CN113379684A - 一种基于视频的集装箱箱角线定位及自动着箱方法 - Google Patents

一种基于视频的集装箱箱角线定位及自动着箱方法 Download PDF

Info

Publication number
CN113379684A
CN113379684A CN202110567527.2A CN202110567527A CN113379684A CN 113379684 A CN113379684 A CN 113379684A CN 202110567527 A CN202110567527 A CN 202110567527A CN 113379684 A CN113379684 A CN 113379684A
Authority
CN
China
Prior art keywords
image
corner line
coordinate system
container
box
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110567527.2A
Other languages
English (en)
Inventor
李恒
石先城
曹志俊
张涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Guide Intelligent Technology Co ltd
Original Assignee
Wuhan Guide Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Guide Intelligent Technology Co ltd filed Critical Wuhan Guide Intelligent Technology Co ltd
Priority to CN202110567527.2A priority Critical patent/CN113379684A/zh
Publication of CN113379684A publication Critical patent/CN113379684A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Control And Safety Of Cranes (AREA)

Abstract

本发明提出了一种基于视频的集装箱箱角线定位及自动着箱方法，是在吊具上的端点位置分别设置相机，各相机分别获取吊具下方已抓取的集装箱以及地面上预设的各箱角线标识的图像；对相机采集的图像进行预处理，提高对比度并得到二值化后的箱角线标识图像；根据地面上预设的各箱角线标识的特征，对二值化后的箱角线标识图像进行连通域分析，进行边缘提取，获得箱角线标识的位置，进一步提取箱角线标识的边缘位置的角点；根据各相机获取的箱角线标识的边缘位置的角点的像素坐标，通过坐标转换获得其在吊具坐标系下的坐标，得到吊具相对于各地面箱角线的位姿，并驱动门机移动或者吊具旋转到位后，控制吊具进一步下降。

Description

一种基于视频的集装箱箱角线定位及自动着箱方法
技术领域
本发明涉及门座式起重机自动化监控技术领域，尤其涉及一种基于视频的集装箱箱角线定位及自动着箱方法。
背景技术
门座式起重机，简称门机，是电力驱动的有轨式臂架起重机，广泛应用于港口、码头或者矿山等场合。通常门机包括大车、小车以及吊具等组件，其吊具或者料斗进行不同货物的运输作业。集装箱的着箱作业，尤其是首层集装箱在地面的堆放是通过人工观察地面上箱角线的位置，然后控制吊具对准箱角线完成着箱的流程。人工操作门机时，需要人工观察地面箱角线，控制吊具精准的将集装箱放置在箱角线对应的区域内，对司机的经验要求非常高，司机注意力必须保持高度集中，很容易疲劳并影响着箱效率和精度。
为提高着箱自动化程度，提高集装箱放箱的效率，有必要提供一种箱角线自动检测定位的方法，实现对集装箱的自动着箱，以代替人工作业。
发明内容
有鉴于此，本发明提出了一种能对首层集装箱进行精确定位及放置的基于视频的集装箱箱角线定位及自动着箱方法。
本发明的技术方案是这样实现的：本发明提供了一种基于视频的集装箱箱角线定位及自动着箱方法，包括如下步骤：
S1：在吊具上设置若干相机，各相机分别获取吊具下方已抓取的集装箱以及地面上预设的各箱角线标识的图像，并将图像输出至图形处理设备；
S2：图像处理设备对接收到的图像进行预处理，提高对比度并得到二值化后的箱角线标识图像；
S3：根据地面上预设的各箱角线标识的特征，对二值化后的箱角线标识图像进行连通域分析，进行边缘提取，并进一步提取箱角线标识的边缘位置的角点；
S4：构建吊具坐标系，以吊具的中心为原点，吊具坐标系的X轴的方向与吊具的短边延伸方向平行，吊具坐标系的Y轴方向与吊具的长边的延伸方向平行，吊具坐标系的Z轴垂直于地面向上；根据各相机获取的箱角线标识的边缘位置的角点的像素坐标，通过坐标转换获得其在吊具坐标系下的坐标，得到吊具相对于各地面箱角线标识的位姿；
S5：根据已获得的吊具相对于地面箱角线的位姿，进一步调整门机大车或者小车的平移量以及吊具的旋转角度，并驱动门机移动或者吊具旋转到位后，控制吊具进一步下降，使吊具上已抓取的集装箱放置在地面各箱角线限定的区域范围内，实现首层集装箱自动着箱。
在以上技术方案的基础上，优选的，所述地面上预设的各箱角线标识，是在集装箱待放置位置对应的集装箱顶点处的地面设置的图形标识，相邻的各集装箱顶点处的图形标识对称设置，各箱角线标识的颜色与地面不同。
进一步优选的，所述图像处理设备对接收到的图像进行预处理，是将各相机获取的RGB图像进行裁剪，裁剪出包含集装箱箱角线标识对应区域的固定尺寸的RGB图像；对裁剪后的固定尺寸的RGB图像进行滤波降噪处理，随后将滤波降噪的固定尺寸的RGB图像转换成灰度图像；对该灰度图像进行形态学滤波和二值化处理。
更进一步优选的，所述对裁剪后的固定尺寸的RGB图像进行滤波降噪处理，是将相机获取的彩色RGB图像裁剪后包含集装箱箱角线标识对应区域的400像素×600像素的RGB图像后滤波，滤波处理公式如下：
Figure BDA0003081308830000021
其中，Iq为输入图像，即裁剪后包含集装箱箱角线标识对应区域的400像素×600像素的RGB图像；Ip为滤波后的输出图像；
Figure BDA0003081308830000022
和
Figure BDA0003081308830000023
分别为空间距离权重和像素距离权重：Wp为滤波的窗口内每个像素值的权重和，
Figure BDA0003081308830000024
Figure BDA0003081308830000031
q为滤波的窗口的中心点；p为滤波的窗口内的任一点；
Figure BDA0003081308830000032
(xi,yi)为输入图像上当前点的位置，Gray(xi,yi)为输入图像的当前点的灰度值；(xc,yc)为输入图像的中心点位置，Gray(xc,yc)为输入图像中心点的灰度值；σs、σr为空间域标准差和像素域标准差。
再进一步优选的，所述将滤波降噪的固定尺寸的RGB图像提高对比度并得到二值化后的箱角线标识图像，是将滤波降噪处理后的固定尺寸的RGB图像，按以下公式进行转换为三通道图像：
Figure BDA0003081308830000033
C1、C2和C3为三通道图像的三个通道，R、G和B为滤波降噪的固定尺寸的RGB图像的红、绿和蓝三通道值；由C1、C2和C3三个通道构建新的灰度图像，该灰度图像的像素值Gray(i0,j0)计算公式为：
Figure BDA0003081308830000034
(i0,j0)为灰度图像中的像素点；对灰度图像进行形态学滤波，然后进行二值化处理，得到二值化图像，令二值化图像中箱角线标识区域轮廓范围内的所有像素值为255，二值化图像中除箱角线标识区域的部分像素值为0。
更进一步的优选的，所述对灰度图像进行形态学滤波，是采用Open CV函数库中的黑帽运算对灰度图像进行形态学滤波，获得箱角线标识区域的轮廓的灰度图案。
进一步优选的，所述步骤S3中对二值化后的箱角线标识图像进行边缘提取，是采用基于OpenCV函数库的连通域分析算法或者基于深度学习的目标检测YOLO V3算法或者U—Net算法，进行图像分割提取箱角线标识位置的边缘位置的像素坐标。
进一步优选的，所述步骤S4中通过坐标转换获得其在吊具坐标系下的坐标，得到吊具相对于各地面箱角线标识的位姿，是建立相机坐标系，以相机的光心作为相机坐标系的原点，是令相机的图像平面中心作为图像坐标系的原点，相机的图像平面两条垂直的边作为图像坐标系的X轴和Y轴；再以平行于图像坐标系的X轴方向作为相机坐标系的X轴方向，以平行于图像坐标系的Y轴方向作为相机坐标系的Y轴方向，以相机的光轴方向为Z轴方向，构建相机坐标系；令箱角线标识位置的边缘位置在吊具坐标系下的坐标为(X,Y,Z)，经吊具上的相机拍摄后，这些边缘位置的点在图像上的坐标为(u,v)，对应在图像坐标系下的坐标为(x,y)，转换到相机坐标系下的坐标为(XC,YC,ZC)；有如下转换关系：
Figure BDA0003081308830000041
(u0，v0)是图像坐标系的原点在像素坐标系中的坐标；dx和dy是每个像素在图像平面的长度和宽度方向的物理尺寸；图像坐标系与相机坐标系的关系为：
Figure BDA0003081308830000042
f为焦距；相机坐标系与吊具坐标系的关系为：
Figure BDA0003081308830000043
R3×3为3×3的旋转矩阵，T3×1为三维平移向量；基于上述关系式，将箱角线标识边缘位置的坐标图像转换为相机坐标系下的坐标值，换算得到吊具相对于各箱角线标识的位姿。
再进一步优选的，所述步骤S5中驱动门机移动或者吊具旋转到位，是令吊具相对于箱角线的偏转角度为θ，令吊具相对于箱角线的偏转角度阈值为θT，当θ≤θT时，吊具旋转角度不变，仅进行吊具相对于各箱角线标识进行平移操作；当θ＞θT时，根据吊具需要执行的偏转角度进行旋转调节，向着Δθ＝θ-θT减小的方向旋转，直至当前θ≤θT且吊具上已抓取的集装箱在地面的投影完全落在由各箱角线标识的轮廓合围形成的封闭矩形区域内。
本发明提供的一种基于视频的集装箱箱角线定位及自动着箱方法，相对于现有技术具有以下有益效果：
(1)本方案基于机器视觉，对集装箱下方地面的箱角线进行实时检测，计算吊具与箱角线的相对偏差，进而控制大小车或者吊具进行姿态调整，将集装箱放置在箱角线标识对应的区域内实现首层自动着箱；
(2)本方案通过对地面预设的特殊形态的箱角线标识的图像进行双边滤波方法进行图像增强、提高图像的对比度，提高箱角线标识的识别效果，以便在转换为灰度图像时尽可能多的保留箱角线标识的图像内容；
(3)利用二值化图像提取箱角线标识的边缘部分，便于后续通过机器视觉或者深度学习的方法获取箱角线标识的轮廓和角点位置；
(4)通过相机坐标系、吊具坐标系或者图像坐标系的标定，实现相机图像坐标到吊具坐标的变换，获取吊具相对于地面上的箱角线标识的位置和角度信息；(5)吊具姿态调整采用闭环检测方式实时调整，提高着箱的精度和可靠性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种基于视频的集装箱箱角线定位及自动着箱方法的流程图；
图2为本发明一种基于视频的集装箱箱角线定位及自动着箱方法的相机在吊具上的布置示意及箱角线标识的示意图；
图3为本发明一种基于视频的集装箱箱角线定位及自动着箱方法的吊具左锁头位置的相机获取的图像；
图4为本发明一种基于视频的集装箱箱角线定位及自动着箱方法对相机获取的图像进行裁剪后的图像；
图5为本发明一种基于视频的集装箱箱角线定位及自动着箱方法对滤波降噪的固定尺寸的RGB图像转换为灰度图像的结果；
图6为本发明一种基于视频的集装箱箱角线定位及自动着箱方法灰度图像转换二值化图像的输出结果；
图7为本发明一种基于视频的集装箱箱角线定位及自动着箱方法的箱角线标识的边缘位置的角点的提取结果；
图8为本发明一种基于视频的集装箱箱角线定位及自动着箱方法的相机坐标系、吊具坐标系和图像坐标系的示意图。
具体实施方式
下面将结合本发明实施方式，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
如图1结合图2—8所示，本发明提供了一种基于视频的集装箱箱角线定位及自动着箱方法，包括如下步骤：
S1：在吊具上设置若干相机，各相机分别获取吊具下方已抓取的集装箱以及地面上预设的各箱角线标识的图像，并将图像输出至图形处理设备；本方法是实现吊具上对应的抓取的集装箱放置在地面指定位置以实现集装箱首层着箱的方案，可为后续集装箱叠箱或者转运提供便利；如图2所示，图示展示了在吊具上布置各相机的示意图，各相机分别固定的设置在集装箱箱门上方的吊具边缘、集装箱箱位上方的吊具边缘、吊具的左锁头位置以及吊具的右锁头位置，各相机相对于吊具中心的位置保持不变。各相机分别倾斜的朝向地面预设的箱角线标识，以便获取该处的箱角线标识的图像。
其中，在地面上预设的各箱角线标识，是在集装箱待放置位置对应的集装箱各顶点处的地面设置的图形标识，相邻的各集装箱顶点处的图形标识对称设置，各箱角线标识的颜色与地面不同。箱角线标识为了便于识别和提取，采用了与地面或者集装箱明显不同的颜色，如白色、黄色或者红色等。图中的箱角线标识近似为字母F形。其开口方向指向集装箱内部，四个中心对称设置的箱角线标识构成一个集装箱在地面的放置区域。
S2：图像处理设备对接收到的图像进行预处理，提高对比度并得到二值化后的箱角线标识图像；
由于相机在吊具上拍摄的范围较大，图像处理的内容多，处理比较费时，导致吊具及集装箱姿态调节的时效性变差，因此需要针对图像进行预处理，提高对图像中的箱角线标识的分析和处理的效率。
本步骤首先将各相机获取的RGB图像进行裁剪，裁剪出包含集装箱箱角线标识对应区域的固定尺寸的RGB图像；如图3结合图4所示，图3为某一相机获取的图像，为减少工作量，仅保留吊具上抓取的集装箱的边缘对应的箱角线标识区域的图像，对图像进行了选择性的裁剪。如原始图像，即图3的尺寸为1280像素×720像素，裁剪后的图像，即图4的尺寸为400像素×600像素，当然该裁剪边界的尺寸可以根据需要调节，如600像素×800像素、640像素×480像素等等，保留关键部分的箱角线标识区域的图像即可，这样可以实现后续步骤的检测效率和时效性，缩短图像处理的延时。
随后，对裁剪后的固定尺寸的RGB图像进行滤波降噪处理；本发明采用的是双边滤波方法进行裁剪后的固定尺寸的RGB图像的滤波降噪。具体过程为：将相机获取的彩色RGB图像裁剪后包含集装箱箱角线标识对应区域的RGB图像后滤波，滤波处理公式如下：
Figure BDA0003081308830000071
其中，Iq为输入图像，即裁剪后包含集装箱箱角线标识对应区域的400像素×600像素的RGB图像；Ip为滤波后的输出图像；
Figure BDA0003081308830000072
和
Figure BDA0003081308830000073
分别为空间距离权重和像素距离权重：Wp为滤波的窗口内每个像素值的权重和，
Figure BDA0003081308830000081
q为滤波的窗口的中心点；p为滤波的窗口内的任一点；
Figure BDA0003081308830000082
(xi,yi)为输入图像上当前点的位置，Gray(xi,yi)为输入图像的当前点的灰度值；(xc,yc)为输入图像的中心点位置，Gray(xc,yc)为输入图像中心点的灰度值；σs、σr为空间域标准差和像素域标准差。上述方法是在裁剪后的固定尺寸的RGB图像内以q为滤波窗口的中心进行滤波窗口内的图像降噪，由于同时考虑到了空间距离权重和像素距离权重，改善并保护像素跃变的滤波窗口的边缘区域的像素的信息，滤除噪声并提高图像的质量，防止图片变得模糊，影响后续对箱角线标识边缘提取的效果。
随后将滤波降噪的固定尺寸的RGB图像转换成灰度图像，对该灰度图像进行形态学滤波和二值化处理；如图6和图7所示，具体过程是将滤波降噪处理后的固定尺寸的RGB图像，按以下公式进行转换为三通道图像：
Figure BDA0003081308830000083
C1、C2和C3为三通道图像的三个通道，R、G和B为滤波降噪的固定尺寸的RGB图像的红、绿和蓝三通道值；由C1、C2和C3三个通道构建新的灰度图像，该灰度图像的像素值Gray(i0,j0)计算公式为：
Figure BDA0003081308830000084
(i0,j0)为灰度图像中的像素点；对灰度图像进行形态学滤波，此处的形态学滤波可以采用Open CV函数库中的黑帽运算对灰度图像进行形态学滤波，获得箱角线标识区域的轮廓的灰度图案。随后对箱角线标识区域的轮廓的灰度图案进行二值化处理，得到二值化图像，令二值化图像中箱角线标识区域轮廓范围内的所有像素值为255，二值化图像中除箱角线标识区域的部分像素值为0。图中，被识别的箱角线标识区域轮廓范围内均赋予白色，其余部分均为黑色。利用二值化图像提取箱角线标识的边缘部分，由于具有明显反差，箱角线标识区域轮廓范围的边界及角点清晰，容易被识别。
S3：根据地面上预设的各箱角线标识的特征，对二值化后的箱角线标识图像进行连通域分析，进行边缘提取，并进一步提取箱角线标识的边缘位置的角点；
此处的连通域分析，是采用基于OpenCV函数库的连通域分析算法或者基于深度学习的目标检测YOLO V3算法或者U—Net算法，进行图像分割提取箱角线标识位置的边缘位置的像素坐标。上述算法是本领域技术人员容易获取的算法，且代码已经开源，在此不再赘述。
S4：构建吊具坐标系，以吊具的中心为原点，吊具坐标系的X轴的方向与吊具的短边延伸方向平行，吊具坐标系的Y轴方向与吊具的长边的延伸方向平行，吊具坐标系的Z轴垂直于地面向上；根据各相机获取的箱角线标识的边缘位置的角点的像素坐标，通过坐标转换获得其在吊具坐标系下的坐标，得到吊具相对于各地面箱角线标识的位姿；
各构建的坐标系如图8所示，相机坐标系，以相机的光心作为相机坐标系的原点，是令相机的图像平面中心作为图像坐标系的原点，相机的图像平面两条垂直的边作为图像坐标系的X轴和Y轴；再以平行于图像坐标系的X轴方向作为相机坐标系的X轴方向，以平行于图像坐标系的Y轴方向作为相机坐标系的Y轴方向，以相机的光轴方向为Z轴方向，构建相机坐标系；令箱角线标识位置的边缘位置在吊具坐标系下的坐标为(X,Y,Z)，经吊具上的相机拍摄后，这些边缘位置的点在图像上的坐标为(u,v)，对应在图像坐标系下的坐标为(x,y)，转换到相机坐标系下的坐标为(XC,YC,ZC)；有如下转换关系：
Figure BDA0003081308830000101
(u0，v0)是图像坐标系的原点在像素坐标系中的坐标；dx和dy是每个像素在图像平面的长度和宽度方向的物理尺寸；图像坐标系与相机坐标系的关系为：
Figure BDA0003081308830000102
f为焦距；相机坐标系与吊具坐标系的关系为：
Figure BDA0003081308830000103
R3×3为3×3的旋转矩阵，T3×1为三维平移向量；基于上述变换矩阵，将箱角线标识边缘位置的坐标图像转换为相机坐标系下的坐标值，换算得到吊具相对于各箱角线标识的位姿。
S5：根据已获得的吊具相对于地面箱角线的位姿，进一步调整门机大车或者小车的平移量以及吊具的旋转角度，并驱动门机移动或者吊具旋转到位后，控制吊具进一步下降，使吊具上已抓取的集装箱放置在地面各箱角线限定的区域范围内，实现首层集装箱自动着箱。
本步骤是令吊具相对于箱角线的偏转角度为θ，令吊具相对于箱角线的偏转角度阈值为θT，当θ≤θT时，吊具旋转角度不变，仅进行吊具相对于各箱角线标识进行平移操作；当θ＞θT时，根据吊具需要执行的偏转角度进行旋转调节，向着Δθ＝θ-θT减小的方向旋转，直至当前θ≤θT且吊具上已抓取的集装箱在地面的投影完全落在由各箱角线标识的轮廓合围形成的封闭矩形区域内。
相比现有的人工着箱方法，本发明可以实现对于首层集装箱放置在堆场指定位置，具有很好的实时定位效果和精确性。
以上所述仅为本发明的较佳实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于视频的集装箱箱角线定位及自动着箱方法，其特征在于：包括如下步骤：
S1：在吊具上设置若干相机，各相机分别获取吊具下方已抓取的集装箱以及地面上预设的各箱角线标识的图像，并将图像输出至图形处理设备；
S2：图像处理设备对接收到的图像进行预处理，提高对比度并得到二值化后的箱角线标识图像；
S3：根据地面上预设的各箱角线标识的特征，对二值化后的箱角线标识图像进行连通域分析，进行边缘提取，并进一步提取箱角线标识的边缘位置的角点；
S4：构建吊具坐标系，以吊具的中心为原点，吊具坐标系的X轴的方向与吊具的短边延伸方向平行，吊具坐标系的Y轴方向与吊具的长边的延伸方向平行，吊具坐标系的Z轴垂直于地面向上；根据各相机获取的箱角线标识的边缘位置的角点的像素坐标，通过坐标转换获得其在吊具坐标系下的坐标，得到吊具相对于各地面箱角线标识的位姿；
S5：根据已获得的吊具相对于地面箱角线的位姿，进一步调整门机大车或者小车的平移量以及吊具的旋转角度，并驱动门机移动或者吊具旋转到位后，控制吊具进一步下降，使吊具上已抓取的集装箱放置在地面各箱角线限定的区域范围内，实现首层集装箱自动着箱。
2.根据权利要求1所述的一种基于视频的集装箱箱角线定位及自动着箱方法，其特征在于：所述地面上预设的各箱角线标识，是在集装箱待放置位置对应的集装箱顶点处的地面设置的图形标识，相邻的各集装箱顶点处的图形标识对称设置，各箱角线标识的颜色与地面不同。
3.根据权利要求2所述的一种基于视频的集装箱箱角线定位及自动着箱方法，其特征在于：所述图像处理设备对接收到的图像进行预处理，是将各相机获取的RGB图像进行裁剪，裁剪出包含集装箱箱角线标识对应区域的固定尺寸的RGB图像；对裁剪后的固定尺寸的RGB图像进行滤波降噪处理，随后将滤波降噪的固定尺寸的RGB图像转换成灰度图像；对该灰度图像进行形态学滤波和二值化处理。
4.根据权利要求3所述的一种基于视频的集装箱箱角线定位及自动着箱方法，其特征在于：所述对裁剪后的固定尺寸的RGB图像进行滤波降噪处理，是将相机获取的彩色RGB图像裁剪后包含集装箱箱角线标识对应区域的400像素×600像素的RGB图像后滤波，滤波处理公式如下：
Figure FDA0003081308820000021
其中，Iq为输入图像，即裁剪后包含集装箱箱角线标识对应区域的400像素×600像素的RGB图像；Ip为滤波后的输出图像；
Figure FDA0003081308820000022
和
Figure FDA0003081308820000023
分别为空间距离权重和像素距离权重：Wp为滤波窗口内每个像素值的权重和，
Figure FDA0003081308820000024
Figure FDA0003081308820000025
q为滤波窗口的中心点；p为滤波窗口内的任一点；
Figure FDA0003081308820000026
(xi,yi)为输入图像上当前点的位置，Gray(xi,yi)为输入图像的当前点的灰度值；(xc,yc)为输入图像的中心点位置，Gray(xc,yc)为输入图像中心点的灰度值；σs、σr为空间域标准差和像素域标准差。
5.根据权利要求4所述的一种基于视频的集装箱箱角线定位及自动着箱方法，其特征在于：所述将滤波降噪的固定尺寸的RGB图像提高对比度并得到二值化后的箱角线标识图像，是将滤波降噪处理后的固定尺寸的RGB图像，按以下公式进行转换为三通道图像：
Figure FDA0003081308820000027
C1、C2和C3为三通道图像的三个通道，R、G和B为滤波降噪的固定尺寸的RGB图像的红、绿和蓝三通道值；由C1、C2和C3三个通道构建新的灰度图像，该灰度图像的像素值Gray(i0,j0)计算公式为：
Figure FDA0003081308820000031
(i0,j0)为灰度图像中的像素点；对灰度图像进行形态学滤波，然后进行二值化处理，得到二值化图像，令二值化图像中箱角线标识区域轮廓范围内的所有像素值为255，二值化图像中除箱角线标识区域的部分像素值为0。
6.根据权利要求5所述的一种基于视频的集装箱箱角线定位及自动着箱方法，其特征在于：所述对灰度图像进行形态学滤波，是采用Open CV函数库中的黑帽运算对灰度图像进行形态学滤波，获得箱角线标识区域的轮廓的灰度图案。
7.根据权利要求2所述的一种基于视频的集装箱箱角线定位及自动着箱方法，其特征在于：所述步骤S3中对二值化后的箱角线标识图像进行边缘提取，是采用基于OpenCV函数库的连通域分析算法或者基于深度学习的目标检测YOLO V3算法或者U—Net算法，进行图像分割提取箱角线标识位置的边缘位置的像素坐标。
8.根据权利要求2所述的一种基于视频的集装箱箱角线定位及自动着箱方法，其特征在于：所述步骤S4中通过坐标转换获得其在吊具坐标系下的坐标，得到吊具相对于各地面箱角线标识的位姿，是建立相机坐标系，以相机的光心作为相机坐标系的原点，是令相机的图像平面中心作为图像坐标系的原点，相机的图像平面两条垂直的边作为图像坐标系的X轴和Y轴；再以平行于图像坐标系的X轴方向作为相机坐标系的X轴方向，以平行于图像坐标系的Y轴方向作为相机坐标系的Y轴方向，以相机的光轴方向为Z轴方向，构建相机坐标系；令箱角线标识位置的边缘位置在吊具坐标系下的坐标为(X,Y,Z)，经吊具上的相机拍摄后，这些边缘位置的点在图像上的坐标为(u,v)，对应在图像坐标系下的坐标为(x,y)，转换到相机坐标系下的坐标为(XC,YC,ZC)；有如下转换关系：
Figure FDA0003081308820000041
(u0，v0)是图像坐标系的原点在像素坐标系中的坐标；dx和dy是每个像素在图像平面的长度和宽度方向的物理尺寸；图像坐标系与相机坐标系的关系为：
Figure FDA0003081308820000042
f为焦距；相机坐标系与吊具坐标系的关系为：
Figure FDA0003081308820000043
R3×3为3×3的旋转矩阵，T3×1为三维平移向量；基于上述关系式，将箱角线标识边缘位置的坐标图像转换为相机坐标系下的坐标值，换算得到吊具相对于各箱角线标识的位姿。
9.根据权利要求8所述的一种基于视频的集装箱箱角线定位及自动着箱方法，其特征在于：所述步骤S5中驱动门机移动或者吊具旋转到位，是令吊具相对于箱角线的偏转角度为θ，令吊具相对于箱角线的偏转角度阈值为θT，当θ≤θT时，吊具旋转角度不变，仅进行吊具相对于各箱角线标识进行平移操作；当θ＞θT时，根据吊具需要执行的偏转角度进行旋转调节，向着Δθ＝θ-θT减小的方向旋转，直至当前θ≤θT且吊具上已抓取的集装箱在地面的投影完全落在由各箱角线标识的轮廓合围形成的封闭矩形区域内。
CN202110567527.2A 2021-05-24 2021-05-24 一种基于视频的集装箱箱角线定位及自动着箱方法 Pending CN113379684A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110567527.2A CN113379684A (zh) 2021-05-24 2021-05-24 一种基于视频的集装箱箱角线定位及自动着箱方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110567527.2A CN113379684A (zh) 2021-05-24 2021-05-24 一种基于视频的集装箱箱角线定位及自动着箱方法

Publications (1)

Publication Number Publication Date
CN113379684A true CN113379684A (zh) 2021-09-10

Family

ID=77571798

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110567527.2A Pending CN113379684A (zh) 2021-05-24 2021-05-24 一种基于视频的集装箱箱角线定位及自动着箱方法

Country Status (1)

Country Link
CN (1) CN113379684A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114120149A (zh) * 2021-11-09 2022-03-01 肇庆市城市规划设计院 一种倾斜摄影测量建筑物特征点提取方法、装置、电子设备及介质
CN117446520A (zh) * 2023-12-25 2024-01-26 聚时科技(深圳)有限公司 集装箱叠箱方法、装置、电子设备以及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201509785A (zh) * 2013-09-02 2015-03-16 Inst Nuclear Energy Res Atomic Energy Council 降低運算負荷的影像追蹤方法
CN105480864A (zh) * 2016-01-20 2016-04-13 上海振华重工电气有限公司 一种集装箱起重机自动化检测标定系统及方法
CN105565167A (zh) * 2016-03-09 2016-05-11 任贤定 一种起重机小车方向定位用视觉检测系统及实现方法
CN106643661A (zh) * 2015-10-28 2017-05-10 上海振华重工电气有限公司 基于机器视觉的轨道式起重机吊具位姿检测系统及方法
CN106934813A (zh) * 2015-12-31 2017-07-07 沈阳高精数控智能技术股份有限公司 一种基于视觉定位的工业机器人工件抓取实现方法
CN108263950A (zh) * 2018-02-05 2018-07-10 上海振华重工(集团)股份有限公司 基于机器视觉的码头岸桥吊具自动着箱系统及方法
CN108897246A (zh) * 2018-08-17 2018-11-27 西门子工厂自动化工程有限公司 堆箱控制的方法、装置、系统及介质
CN109052180A (zh) * 2018-08-28 2018-12-21 北京航天自动控制研究所 一种基于机器视觉的集装箱自动对位方法及系统
CN111891927A (zh) * 2020-07-16 2020-11-06 上海振华重工(集团)股份有限公司 第一层集装箱放置方法及计算机可读存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201509785A (zh) * 2013-09-02 2015-03-16 Inst Nuclear Energy Res Atomic Energy Council 降低運算負荷的影像追蹤方法
CN106643661A (zh) * 2015-10-28 2017-05-10 上海振华重工电气有限公司 基于机器视觉的轨道式起重机吊具位姿检测系统及方法
CN106934813A (zh) * 2015-12-31 2017-07-07 沈阳高精数控智能技术股份有限公司 一种基于视觉定位的工业机器人工件抓取实现方法
CN105480864A (zh) * 2016-01-20 2016-04-13 上海振华重工电气有限公司 一种集装箱起重机自动化检测标定系统及方法
CN105565167A (zh) * 2016-03-09 2016-05-11 任贤定 一种起重机小车方向定位用视觉检测系统及实现方法
CN108263950A (zh) * 2018-02-05 2018-07-10 上海振华重工(集团)股份有限公司 基于机器视觉的码头岸桥吊具自动着箱系统及方法
CN108897246A (zh) * 2018-08-17 2018-11-27 西门子工厂自动化工程有限公司 堆箱控制的方法、装置、系统及介质
CN109052180A (zh) * 2018-08-28 2018-12-21 北京航天自动控制研究所 一种基于机器视觉的集装箱自动对位方法及系统
CN111891927A (zh) * 2020-07-16 2020-11-06 上海振华重工(集团)股份有限公司 第一层集装箱放置方法及计算机可读存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
张志远: "基于图像识别的集装箱定位系统研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *
曹乐: "摄像头监控系统在自动化轨道式起重机上的应用", 《机电信息》 *
肖洋: "基于单目视觉的集装箱箱位自动检测与定位技术试验研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114120149A (zh) * 2021-11-09 2022-03-01 肇庆市城市规划设计院 一种倾斜摄影测量建筑物特征点提取方法、装置、电子设备及介质
CN114120149B (zh) * 2021-11-09 2022-07-12 肇庆市城市规划设计院 一种倾斜摄影测量建筑物特征点提取方法、装置、电子设备及介质
CN117446520A (zh) * 2023-12-25 2024-01-26 聚时科技(深圳)有限公司 集装箱叠箱方法、装置、电子设备以及存储介质
CN117446520B (zh) * 2023-12-25 2024-03-26 聚时科技(深圳)有限公司 集装箱叠箱方法、装置、电子设备以及存储介质

Similar Documents

Publication Publication Date Title
CN106067023B (zh) 基于图像处理的集装箱箱号及集卡车号识别系统及方法
CN109785317B (zh) 自动码垛桁架机器人的视觉系统
CN110807355B (zh) 一种基于移动机器人的指针仪表检测与读数识别方法
CN105260693B (zh) 一种激光二维码定位方法
Shen et al. A positioning lockholes of container corner castings method based on image recognition
CN112819094A (zh) 一种基于结构相似度度量的目标检测与识别方法
CN113379684A (zh) 一种基于视频的集装箱箱角线定位及自动着箱方法
CN114219842B (zh) 港口集装箱自动装卸作业中的视觉识别、测距与定位方法
CN111754466B (zh) 传输机皮带损伤状况的智能检测方法
CN105426825B (zh) 一种基于航拍图像识别的电网地理接线图绘制方法
CN112883881B (zh) 一种条状农产品无序分拣方法及装置
CN112861654A (zh) 一种基于机器视觉的名优茶采摘点位置信息获取方法
CN110852323A (zh) 一种基于角点的空中目标探测方法
Changhui et al. Overlapped fruit recognition for citrus harvesting robot in natural scenes
CN112560704A (zh) 一种多特征融合的视觉识别方法及系统
CN114241438B (zh) 一种基于先验信息的交通信号灯快速精确的识别方法
Tribak et al. Remote solar panels identification based on patterns localization
CN109165659B (zh) 一种基于超像素分割的车辆颜色识别方法
CN115984806A (zh) 道路标线破损动态检测系统
CN113554672B (zh) 一种基于机器视觉的气密性检测中相机位姿检测方法及系统
CN116188763A (zh) 一种基于YOLOv5的纸箱识别定位及放置角度的测量方法
CN106097331B (zh) 一种基于锁孔识别的集装箱定位方法
CN113255455B (zh) 基于矢量去光照影响算法的单目相机物体识别与定位方法
CN115482207A (zh) 一种螺栓松动检测方法及系统
CN107895353B (zh) 一种交互式的深度图纹理拷贝瑕疵去除方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination