CN109052180A - 一种基于机器视觉的集装箱自动对位方法及系统 - Google Patents

一种基于机器视觉的集装箱自动对位方法及系统 Download PDF

Info

Publication number
CN109052180A
CN109052180A CN201810988040.XA CN201810988040A CN109052180A CN 109052180 A CN109052180 A CN 109052180A CN 201810988040 A CN201810988040 A CN 201810988040A CN 109052180 A CN109052180 A CN 109052180A
Authority
CN
China
Prior art keywords
case
real
suspender
container
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810988040.XA
Other languages
English (en)
Other versions
CN109052180B (zh
Inventor
张聪
高仕博
刘燕欣
唐波
郑智辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Academy of Launch Vehicle Technology CALT
Beijing Aerospace Automatic Control Research Institute
Original Assignee
China Academy of Launch Vehicle Technology CALT
Beijing Aerospace Automatic Control Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Academy of Launch Vehicle Technology CALT, Beijing Aerospace Automatic Control Research Institute filed Critical China Academy of Launch Vehicle Technology CALT
Priority to CN201810988040.XA priority Critical patent/CN109052180B/zh
Publication of CN109052180A publication Critical patent/CN109052180A/zh
Application granted granted Critical
Publication of CN109052180B publication Critical patent/CN109052180B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66CCRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00Other constructional features or details
    • B66C13/18Control systems or devices
    • B66C13/46Position indicators for suspended loads or for crane elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Control And Safety Of Cranes (AREA)
  • Image Processing (AREA)

Abstract

一种基于机器视觉的集装箱自动对位方法及系统,包括(1)在吊具上安装工业相机拍摄集装箱;(2)对工业相机进行标定,分别得到四个箱角在对应图像中的标定位置;(3)吊具提升至最高位置时,对工业相机采集的实时视频进行处理,采用模板匹配算法实现箱角的自动检测,得到四个箱角的实时检测坐标位置;(4)根据四个箱角的实时检测坐标位置与标定得到的对应标定位置,计算吊具与集装箱的相对位置偏差;(5)将所述相对位置偏差接入吊具控制系统实现吊具提升至最高位置时的自动对位;(6)分别将吊具移动到中间位置以及下部位置,循环执行以实现集装箱在中间位置以及下部位置的自动对位抓取。

Description

一种基于机器视觉的集装箱自动对位方法及系统
技术领域
本发明涉及一种集装箱自动对位方法,尤其是一种基于机器视觉的集装箱自动对位方法及系统。
背景技术
集装箱是港口运输、装卸的重要物流工具。现阶段港口进行集装箱装卸作业时,龙门吊司机使用操作手柄手动控制吊具,进行集装箱的对位和抓取。操作过程中,司机需注意力高度集中,长时间作业会导致司机疲劳,进而降低对位作业效率和精确性。
发明内容
本发明的目的在于:提出了一种基于机器视觉的集装箱自动对位方法,能够自动对集装箱四个箱角进行识别、定位,通过四个箱角的位置控制吊具移动,实现集装箱自动对位抓箱。
本发明的技术解决方案是:
一种基于机器视觉的集装箱自动对位方法,步骤如下:
(1)在吊具上安装工业相机拍摄集装箱;具体为:在吊具四个角上安装工业相机垂直向下拍摄集装箱,每个相机只拍摄集装箱的一个箱角,根据箱角在图像中的位置调整相机位置和角度,确保集装箱起吊过程中均能够拍摄到箱角。
(2)对工业相机进行标定,分别得到四个箱角在对应图像中的标定位置;具体为:
(2.1)将吊具与集装箱调整至正对位置,吊具提升至最高位置相机成像,框选图像中的箱角区域,得到该高度下的箱角模板Ti1,i=1,2,3,4和箱角坐标;以左上角箱角为起点按顺时针方向,分别记录4个箱角在4幅图像中的标定位置(xi1,yi1),i=1,2,3,4,其中图像左下角点为坐标原点,水平方向为x轴方向;
(2.2)将吊具调整至最高位置的一半,相机成像,框选图像中的箱角区域,得到该高度下的箱角模板Ti2,i=1,2,3,4和箱角坐标;以左上角箱角为起点顺时针方向,分别记录4个箱角在4幅图像中的标定位置(xi2,yi2),i=1,2,3,4;
(2.3)将吊具降至集装箱上方10cm处,相机成像,框选图像中的箱角区域,得到该高度下的箱角模板Ti3,i=1,2,3,4和箱角坐标;以左上角箱角为起点顺时针方向,分别记录4个箱角在4幅图像中的标定位置(xi3,yi3),i=1,2,3,4。
(3)吊具提升至最高位置时,对工业相机采集的实时视频进行处理,采用模板匹配算法实现箱角的自动检测,得到四个箱角的实时检测坐标位置;
对工业相机采集的实时视频进行处理是指将四个相机拍摄的视频当前帧转为灰度图像。采用模板匹配算法实现箱角的自动检测,具体为:
(3.1)吊具在最高位置时,从Ti1中选择对应相机的箱角模板图T,大小为Mx×My,其中Mx<Nx,My<Ny,Nx×Ny为实时图S的大小;
(3.2)模板图叠放在实时图上平移,模板覆盖的实时图为Si,j,Si,j(m,n)和T(m,n)分别表示实时图和模板图(m,n)处的图像灰度值,匹配的相似程度计算公式为:
当D(i,j)大于预设阈值时,则认为模板覆盖的实时图区域为箱角区域,即成功检测出箱角;该箱角区域的中心点坐标即为该箱角的实时检测坐标位置;
(3.3)分别在4个相机拍摄的图像中检测箱角,即可得到4个箱角的实时检测坐标位置(si1,ti1),i=1,2,3,4。
(4)根据四个箱角的实时检测坐标位置与步骤(2)标定得到的对应标定位置,计算吊具与集装箱的相对位置偏差;
具体为:通过(xi1,yi1)和(si1,ti1),计算吊具在最高位置时与集装箱的位置偏差的平均值:
其中,(xi1,yi1)为吊具在最高位置时,四个箱角的标定位置,Δx>0表示吊具位置偏右,Δy>0表示吊具位置偏上。
(5)将所述相对位置偏差接入吊具控制系统实现吊具提升至最高位置时的自动对位;
(6)分别将吊具移动到中间位置以及下部位置,重复步骤(3)~(5),实现集装箱在中间位置以及下部位置的自动对位抓取。
当吊具移动到中间位置,即最高位置一半时,箱角的实时检测坐标位置通过如下方式得到:
(a.1)从Ti2中选择对应相机的箱角模板图T,大小为Mx×My,其中Mx<Nx,My<Ny,Nx×Ny为实时图S的大小;
(a.2)模板图叠放在实时图上平移,模板覆盖的实时图为Si,j,Si,j(m,n)和T(m,n)分别表示实时图和模板图(m,n)处的图像灰度值,匹配的相似程度计算公式为:
当D(i,j)大于预设阈值时,则认为模板覆盖的实时图区域为箱角区域,即成功检测出箱角;该箱角区域的中心点坐标即为该箱角的实时检测坐标位置;
(a.3)分别在4个相机拍摄的图像中检测箱角,即可得到4个箱角的实时检测坐标位置(si2,ti2),i=1,2,3,4。
吊具与集装箱的位置偏差的平均值:
其中,(xi2,yi2)为当吊具在中间位置时,四个箱角的标定位置,Δx>0表示吊具位置偏右,Δy>0表示吊具位置偏上。
当吊具移动到下部位置,即集装箱上方10cm时,箱角的实时检测坐标位置通过如下方式得到:
(b.1)从Ti3中选择对应相机的箱角模板图T,大小为Mx×My,其中Mx<Nx,My<Ny,Nx×Ny为实时图S的大小;
(b.2)模板图叠放在实时图上平移,模板覆盖的实时图为Si,j,Si,j(m,n)和T(m,n)分别表示实时图和模板图(m,n)处的图像灰度值,匹配的相似程度计算公式为:
当D(i,j)大于预设阈值时,则认为模板覆盖的实时图区域为箱角区域,即成功检测出箱角;该箱角区域的中心点坐标即为该箱角的实时检测坐标位置;
(b.3)分别在4个相机拍摄的图像中检测箱角,即可得到4个箱角的实时检测坐标位置(si3,ti3),i=1,2,3,4。
吊具与集装箱的位置偏差的平均值:
其中,(xi3,yi3)为当吊具在下部位置时,四个箱角的标定位置,Δx>0表示吊具位置偏右,Δy>0表示吊具位置偏上。
一种基于机器视觉的集装箱自动对位系统,包括:
相机模块:安装在吊具上,用于拍摄集装箱;
标定模块:用于对工业相机进行标定,分别得到四个箱角在对应图像中的标定位置;
箱角检测模块:用于当吊具提升至最高位置时、移动到中间位置以及下部位置时,分别对工业相机采集的实时视频进行处理,采用模板匹配算法实现箱角的自动检测,得到四个箱角的实时检测坐标位置;
偏差计算模块:用于根据四个箱角的实时检测坐标位置与标定得到的对应标定位置,计算吊具与集装箱的相对位置偏差;
自动对位模块:将相对位置偏差接入吊具控制系统实现吊具的自动对位。
本发明与现有技术相比的有益效果是:
(1)本发明利用机器视觉技术,通过图像处理技术实现吊具与集装箱的自动对位,与现有的利用激光传感器的对位系统相比,本发明在实现同样功能前提下硬件成本更低。
(2)吊具下降的三个不同高度对箱角进行标定,计算得到三次吊具与集装箱的位置偏差,保证整个抓箱过程的对位精度。
(3)箱角检测结果可通过显示器进行显示,辅助龙门吊司机进行作业,也可以将位置偏差结果直接输入吊具控制系统,实现集装箱的自动装卸。
附图说明
图1为本发明流程图;
具体实施方式
下面结合附图对本发明的具体实施方式进行进一步的详细描述。
本发明提出的基于机器视觉的集装箱自动对位方法,通过在龙门吊吊具四个角上安装工业相机,在实时获取的视频图像上检测集装箱箱角并进行跟踪,获得箱角在图像中实时坐标位置,进而计算吊具与集装箱的相对位置偏差,并反馈给龙门吊司机或者自动控制系统。
如图1所示,本发明提出的一种基于机器视觉的集装箱自动对位方法,步骤如下:
(1)在吊具上安装工业相机拍摄集装箱;具体为:在吊具四个角上安装工业相机垂直向下拍摄位于堆场或卡车上的集装箱,每个相机只拍摄集装箱的一个箱角,根据箱角在图像中的位置调整相机位置和角度,确保集装箱起吊过程中均能够拍摄到箱角。
(2)对工业相机进行标定,分别得到四个箱角在对应图像中的标定位置;具体为:
(2.1)将吊具与集装箱调整至正对位置,吊具提升至最高位置时4个相机均进行成像,每幅图像中仅包含一个箱角。以能够包含箱角的最小矩形框选图像中的箱角区域,得到的矩形图像即为该高度下的箱角模板图Ti1,i=1,2,3,4,矩形的长宽Mx1×My1即为模板图的长宽。每个矩形的中心点坐标即为箱角在图像中的标定位置坐标;以左上角箱角为起点按顺时针方向,分别记录4个箱角在4幅图像中的标定位置(xi1,yi1),i=1,2,3,4,i=1,2,3,4代表四个箱角,其中图像左下角点为坐标原点,水平方向为x轴方向;
(2.2)将吊具调整至最高位置的一半,相机成像,每幅图像中仅包含一个箱角。以能够包含箱角的最小矩形框选图像中的箱角区域,得到的矩形图像即为该高度下的箱角模板图Ti2,i=1,2,3,4,矩形的长宽Mx2×My2即为模板图的长宽。每个矩形的中心点坐标即为箱角在图像中的标定位置坐标;以左上角箱角为起点顺时针方向,分别记录4个箱角在4幅图像中的标定位置(xi2,yi2),i=1,2,3,4;
(2.3)将吊具降至集装箱上方10cm处,相机成像,每幅图像中仅包含一个箱角。以能够包含箱角的最小矩形框选图像中的箱角区域,得到的矩形图像即为该高度下的箱角模板图Ti3,i=1,2,3,4,矩形的长宽Mx3×My3即为模板图的长宽。每个矩形的中心点坐标即为箱角在图像中的标定位置坐标;以左上角箱角为起点顺时针方向,分别记录4个箱角在4幅图像中的标定位置(xi3,yi3),i=1,2,3,4。
经过上面步骤之后,在吊具处于的三个高度处,均得到了箱角模板以及箱角坐标。标定结束,下面开始正常工作时的自动对位步骤。
(3)读取龙门吊电控信息,吊具提升至最高位置时,对工业相机采集的实时视频进行处理,即将四个相机拍摄的视频当前帧转为灰度图像。
采用模板匹配算法实现箱角的自动检测,得到四个箱角在实时图像中的坐标位置,具体为:
(3.1)吊具在最高位置时,从Ti1中选择对应相机(每个相机拍摄一个箱角,得到一个箱角模板,分别为T11,T21,T31,T41)的箱角模板图T,大小为Mx×My,其中Mx<Nx,My<Ny,Nx×Ny为相机实时拍摄图像S即实时图的大小,实例中为1024*720;
(3.2)将模板图叠放在实时图上逐像素进行平移,模板覆盖的实时图为Si,j,Si,j(m,n)和T(m,n)分别表示实时图和模板图(m,n)处的图像灰度值,(m,n)为坐标值。每个位置模板图和覆盖的实时图可计算匹配相似程度:
逐像素遍历整幅实时图后,当D(i,j)大于预设阈值时,则认为模板覆盖的实时图区域为箱角区域,即成功检测出箱角。根据工程经验,匹配相似阈值取0.8。箱角区域中心点在实时图中的坐标(si1,ti1)即为该箱角的实时检测坐标位置,图像左下角点为坐标原点,水平方向为x轴方向;
(3.3)分别在4个相机拍摄的图像中检测箱角,即可得到4个箱角的实时检测坐标位置(si1,ti1),i=1,2,3,4。
(4)根据四个箱角的实时检测坐标位置与步骤(2)标定得到的对应标定位置,计算吊具与集装箱的相对位置偏差;
具体为:通过(xi1,yi1)和(si1,ti1),计算吊具在最高位置时与集装箱的位置偏差的平均值:
其中,(xi1,yi1)为吊具在最高位置时四个箱角的标定位置,Δx>0表示吊具位置偏右,Δy>0表示吊具位置偏上。
(5)将箱角检测结果实时显示到视频图像,辅助司机作业;将相对位置偏差接入吊具控制系统,实现吊具最高位置时的自动对位。
(6)分别将吊具移动到中间位置以及下部位置,重复步骤(3)~(5),通过在三个位置计算出的箱角偏差可以实现集装箱在整个下降过程的自动对位抓取。
当吊具移动到中间位置,即最高位置一半时,箱角的实时检测坐标位置通过如下方式得到:
(a.1)从Ti2中选择对应相机的箱角模板图T,大小为Mx×My,其中Mx<Nx,My<Ny,Nx×Ny为实时图S的大小;
(a.2)将模板图叠放在实时图上逐像素进行平移,模板覆盖的实时图为Si,j,Si,j(m,n)和T(m,n)分别表示实时图和模板图(m,n)处的图像灰度值,匹配的相似程度计算公式为:
逐像素遍历整幅实时图后,当D(i,j)大于预设阈值时,则认为模板覆盖的实时图区域为箱角区域,即成功检测出箱角;该箱角区域的中心点坐标(si2,ti2)即为该箱角的实时检测坐标位置,图像左下角点为坐标原点,水平方向为x轴方向;
(a.3)分别在4个相机拍摄的图像中检测箱角,即可得到4个箱角的实时检测坐标位置(si2,ti2),i=1,2,3,4。
吊具与集装箱的位置偏差的平均值:
其中,(xi2,yi2)为当吊具在中间位置时四个箱角的标定位置,Δx>0表示吊具位置偏右,Δy>0表示吊具位置偏上。
当吊具移动到下部位置,即集装箱上方10cm时,箱角的实时检测坐标位置通过如下方式得到:
(b.1)从Ti3中选择对应相机的箱角模板图T,大小为Mx×My,其中Mx<Nx,My<Ny,Nx×Ny为实时图S的大小;
(b.2)将模板图叠放在实时图上逐像素进行平移,模板覆盖的实时图为Si,j,Si,j(m,n)和T(m,n)分别表示实时图和模板图(m,n)处的图像灰度值,匹配的相似程度计算公式为:
逐像素遍历整幅实时图后,当D(i,j)大于预设阈值时,则认为模板覆盖的实时图区域为箱角区域,即成功检测出箱角;该箱角区域的中心点坐标(si3,ti3)即为该箱角的实时检测坐标位置,图像左下角点为坐标原点,水平方向为x轴方向;
(b.3)分别在4个相机拍摄的图像中检测箱角,即可得到4个箱角的实时检测坐标位置(si3,ti3),i=1,2,3,4。
吊具与集装箱的位置偏差的平均值:
其中,(xi3,yi3)为当吊具在下部位置时四个箱角的标定位置,Δx>0表示吊具位置偏右,Δy>0表示吊具位置偏上。
在吊具抓箱下降过程中,将吊具不同高度与集装箱的位置偏差Δx和Δy反馈至电控系统,实现集装箱的自动对位。
基于上述自动对位方法,本发明还提出了一种基于机器视觉的集装箱自动对位系统,包括:
相机模块:采用网络摄像机,安装在吊具上,用于拍摄集装箱;
标定模块:用于对工业相机进行标定,分别得到四个箱角在对应图像中的模板图和标定坐标位置;
箱角检测模块:用于当吊具提升至最高位置时、移动到中间位置以及下部位置时,分别对工业相机采集的实时视频进行处理,采用模板匹配算法实现箱角的自动检测,得到四个箱角在实时图中的实时坐标位置;
偏差计算模块:用于根据四个箱角的实时检测坐标位置与标定得到的对应标定位置,计算吊具与集装箱的相对位置偏差;
自动对位模块:将相对位置偏差接入吊具控制系统实现吊具的自动对位。
优选方案为:本发明采用海康威视网络摄像机进行视频采集,通过工控机进行算法处理,处理结果输出至显示器或PLC电控系统。
试验数据统计,本发明自动对位方法实现的案例,对1024*720分辨率、25帧/秒的视频可实现即时处理,箱角检测率>98%,对位精度<5cm。
与现有的利用激光传感器的对位系统相比,本发明在实现同样功能前提下硬件成本更低。同时,本发明方法中吊具下降的三个不同高度对箱角进行标定,计算得到三次吊具与集装箱的位置偏差,保证整个抓箱过程的对位精度。
本发明说明书中未作详细描述的内容属于本领域专业技术人员的公知技术。

Claims (11)

1.一种基于机器视觉的集装箱自动对位方法,其特征在于步骤如下:
(1)在吊具上安装工业相机拍摄集装箱;
(2)对工业相机进行标定,分别得到四个箱角在对应图像中的标定位置;
(3)吊具提升至最高位置时,对工业相机采集的实时视频进行处理,采用模板匹配算法实现箱角的自动检测,得到四个箱角的实时检测坐标位置;
(4)根据四个箱角的实时检测坐标位置与步骤(2)标定得到的对应标定位置,计算吊具与集装箱的相对位置偏差;
(5)将所述相对位置偏差接入吊具控制系统实现吊具提升至最高位置时的自动对位;
(6)分别将吊具移动到中间位置以及下部位置,重复步骤(3)~(5),实现集装箱在中间位置以及下部位置的自动对位抓取。
2.根据权利要求1所述的一种基于机器视觉的集装箱自动对位方法,其特征在于:所述步骤(1)在吊具上安装工业相机拍摄集装箱具体为:在吊具四个角上安装工业相机垂直向下拍摄集装箱,每个相机只拍摄集装箱的一个箱角,根据箱角在图像中的位置调整相机位置和角度,确保集装箱起吊过程中均能够拍摄到箱角。
3.根据权利要求1所述的一种基于机器视觉的集装箱自动对位方法,其特征在于:所述步骤(2)对相机进行标定,具体为:
(2.1)将吊具与集装箱调整至正对位置,吊具提升至最高位置相机成像,框选图像中的箱角区域,得到该高度下的箱角模板Ti1,i=1,2,3,4和箱角坐标;以左上角箱角为起点按顺时针方向,分别记录4个箱角在4幅图像中的标定位置(xi1,yi1),i=1,2,3,4,其中图像左下角点为坐标原点,水平方向为x轴方向;
(2.2)将吊具调整至最高位置的一半,相机成像,框选图像中的箱角区域,得到该高度下的箱角模板Ti2,i=1,2,3,4和箱角坐标;以左上角箱角为起点顺时针方向,分别记录4个箱角在4幅图像中的标定位置(xi2,yi2),i=1,2,3,4;
(2.3)将吊具降至集装箱上方10cm处,相机成像,框选图像中的箱角区域,得到该高度下的箱角模板Ti3,i=1,2,3,4和箱角坐标;以左上角箱角为起点顺时针方向,分别记录4个箱角在4幅图像中的标定位置(xi3,yi3),i=1,2,3,4。
4.根据权利要求1所述的一种基于机器视觉的集装箱自动对位方法,其特征在于:对工业相机采集的实时视频进行处理是指将四个相机拍摄的视频当前帧转为灰度图像。
5.根据权利要求3所述的一种基于机器视觉的集装箱自动对位方法,其特征在于:采用模板匹配算法实现箱角的自动检测,具体为:
(3.1)吊具在最高位置时,从Ti1中选择对应相机的箱角模板图T,大小为Mx×My,其中Mx<Nx,My<Ny,Nx×Ny为实时图S的大小;
(3.2)模板图叠放在实时图上平移,模板覆盖的实时图为Si,j,Si,j(m,n)和T(m,n)分别表示实时图和模板图(m,n)处的图像灰度值,匹配的相似程度计算公式为:
当D(i,j)大于预设阈值时,则认为模板覆盖的实时图区域为箱角区域,即成功检测出箱角;该箱角区域的中心点坐标即为该箱角的实时检测坐标位置;
(3.3)分别在4个相机拍摄的图像中检测箱角,即可得到4个箱角的实时检测坐标位置(si1,ti1),i=1,2,3,4。
6.根据权利要求5所述的一种基于机器视觉的集装箱自动对位方法,其特征在于:所述步骤(4)计算吊具与集装箱的相对位置偏差,具体为:通过(xi1,yi1)和(si1,ti1),计算吊具在最高位置时与集装箱的位置偏差:
其中,(xi1,yi1)为吊具在最高位置时,四个箱角的标定位置,Δx>0表示吊具位置偏右,Δy>0表示吊具位置偏上。
7.根据权利要求3所述的一种基于机器视觉的集装箱自动对位方法,其特征在于:当吊具移动到中间位置,即最高位置一半时,箱角的实时检测坐标位置通过如下方式得到:
(a.1)从Ti2中选择对应相机的箱角模板图T,大小为Mx×My,其中Mx<Nx,My<Ny,Nx×Ny为实时图S的大小;
(a.2)模板图叠放在实时图上平移,模板覆盖的实时图为Si,j,Si,j(m,n)和T(m,n)分别表示实时图和模板图(m,n)处的图像灰度值,匹配的相似程度计算公式为:
当D(i,j)大于预设阈值时,则认为模板覆盖的实时图区域为箱角区域,即成功检测出箱角;该箱角区域的中心点坐标即为该箱角的实时检测坐标位置;
(a.3)分别在4个相机拍摄的图像中检测箱角,即可得到4个箱角的实时检测坐标位置(si2,ti2),i=1,2,3,4。
8.根据权利要求7所述的一种基于机器视觉的集装箱自动对位方法,其特征在于:当吊具移动到中间位置,即最高位置一半时,
吊具与集装箱的位置偏差:
其中,(xi2,yi2)为当吊具在中间位置时,四个箱角的标定位置,Δx>0表示吊具位置偏右,Δy>0表示吊具位置偏上。
9.根据权利要求3所述的一种基于机器视觉的集装箱自动对位方法,其特征在于:当吊具移动到下部位置,即集装箱上方10cm时,箱角的实时检测坐标位置通过如下方式得到:
(b.1)从Ti3中选择对应相机的箱角模板图T,大小为Mx×My,其中Mx<Nx,My<Ny,Nx×Ny为实时图S的大小;
(b.2)模板图叠放在实时图上平移,模板覆盖的实时图为Si,j,Si,j(m,n)和T(m,n)分别表示实时图和模板图(m,n)处的图像灰度值,匹配的相似程度计算公式为:
当D(i,j)大于预设阈值时,则认为模板覆盖的实时图区域为箱角区域,即成功检测出箱角;该箱角区域的中心点坐标即为该箱角的实时检测坐标位置;
(b.3)分别在4个相机拍摄的图像中检测箱角,即可得到4个箱角的实时检测坐标位置(si3,ti3),i=1,2,3,4。
10.根据权利要求9所述的一种基于机器视觉的集装箱自动对位方法,其特征在于:当吊具移动到下部位置,即集装箱上方10cm时,
吊具与集装箱的位置偏差:
其中,(xi3,yi3)为当吊具在下部位置时,四个箱角的标定位置,Δx>0表示吊具位置偏右,Δy>0表示吊具位置偏上。
11.一种基于机器视觉的集装箱自动对位系统,其特征在于包括:
相机模块:安装在吊具上,用于拍摄集装箱;
标定模块:用于对工业相机进行标定,分别得到四个箱角在对应图像中的标定位置;
箱角检测模块:用于当吊具提升至最高位置时、移动到中间位置以及下部位置时,分别对工业相机采集的实时视频进行处理,采用模板匹配算法实现箱角的自动检测,得到四个箱角的实时检测坐标位置;
偏差计算模块:用于根据四个箱角的实时检测坐标位置与标定得到的对应标定位置,计算吊具与集装箱的相对位置偏差;
自动对位模块:将相对位置偏差接入吊具控制系统实现吊具的自动对位。
CN201810988040.XA 2018-08-28 2018-08-28 一种基于机器视觉的集装箱自动对位方法及系统 Active CN109052180B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810988040.XA CN109052180B (zh) 2018-08-28 2018-08-28 一种基于机器视觉的集装箱自动对位方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810988040.XA CN109052180B (zh) 2018-08-28 2018-08-28 一种基于机器视觉的集装箱自动对位方法及系统

Publications (2)

Publication Number Publication Date
CN109052180A true CN109052180A (zh) 2018-12-21
CN109052180B CN109052180B (zh) 2020-03-24

Family

ID=64757306

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810988040.XA Active CN109052180B (zh) 2018-08-28 2018-08-28 一种基于机器视觉的集装箱自动对位方法及系统

Country Status (1)

Country Link
CN (1) CN109052180B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109883329A (zh) * 2019-04-12 2019-06-14 中民筑友智能装备科技有限公司 一种预制构件外形尺寸的检测系统和方法
CN111027538A (zh) * 2019-08-23 2020-04-17 上海撬动网络科技有限公司 一种基于实例分割模型的集装箱检测方法
CN112141894A (zh) * 2020-09-25 2020-12-29 苏州巨能图像检测技术有限公司 基于融合多个2d测量装置的抓箱对位方法
CN112465874A (zh) * 2021-01-28 2021-03-09 河南工学院 基于图像感知的起重机吊具引导定位方法及系统
CN113379684A (zh) * 2021-05-24 2021-09-10 武汉港迪智能技术有限公司 一种基于视频的集装箱箱角线定位及自动着箱方法
CN113970297A (zh) * 2021-11-19 2022-01-25 江苏智库智能科技有限公司 堆垛机货位列数据的标定测量方法
CN115849195A (zh) * 2022-11-16 2023-03-28 上海西井信息科技有限公司 运输设备的自适应对位校准方法、系统、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1394190A (zh) * 2000-10-27 2003-01-29 三菱重工业株式会社 装卸用起重机中的集装箱位置检测方法及装置、及集装箱着地、摞放控制方法
CN102115010A (zh) * 2010-09-27 2011-07-06 成都西部泰力起重机有限公司 一种带有机器视觉、定位系统的智能起重机
CN105480864A (zh) * 2016-01-20 2016-04-13 上海振华重工电气有限公司 一种集装箱起重机自动化检测标定系统及方法
CN107055331A (zh) * 2016-12-16 2017-08-18 上海电机学院 集装箱对箱引导系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1394190A (zh) * 2000-10-27 2003-01-29 三菱重工业株式会社 装卸用起重机中的集装箱位置检测方法及装置、及集装箱着地、摞放控制方法
CN102115010A (zh) * 2010-09-27 2011-07-06 成都西部泰力起重机有限公司 一种带有机器视觉、定位系统的智能起重机
CN105480864A (zh) * 2016-01-20 2016-04-13 上海振华重工电气有限公司 一种集装箱起重机自动化检测标定系统及方法
CN107055331A (zh) * 2016-12-16 2017-08-18 上海电机学院 集装箱对箱引导系统

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109883329A (zh) * 2019-04-12 2019-06-14 中民筑友智能装备科技有限公司 一种预制构件外形尺寸的检测系统和方法
CN111027538A (zh) * 2019-08-23 2020-04-17 上海撬动网络科技有限公司 一种基于实例分割模型的集装箱检测方法
CN112141894A (zh) * 2020-09-25 2020-12-29 苏州巨能图像检测技术有限公司 基于融合多个2d测量装置的抓箱对位方法
CN112141894B (zh) * 2020-09-25 2023-07-07 苏州巨能图像检测技术有限公司 基于融合多个2d测量装置的抓箱对位方法
CN112465874A (zh) * 2021-01-28 2021-03-09 河南工学院 基于图像感知的起重机吊具引导定位方法及系统
CN112465874B (zh) * 2021-01-28 2021-04-30 河南工学院 基于图像感知的起重机吊具引导定位方法及系统
CN113379684A (zh) * 2021-05-24 2021-09-10 武汉港迪智能技术有限公司 一种基于视频的集装箱箱角线定位及自动着箱方法
CN113970297A (zh) * 2021-11-19 2022-01-25 江苏智库智能科技有限公司 堆垛机货位列数据的标定测量方法
CN115849195A (zh) * 2022-11-16 2023-03-28 上海西井信息科技有限公司 运输设备的自适应对位校准方法、系统、设备及存储介质
CN115849195B (zh) * 2022-11-16 2023-12-19 上海西井科技股份有限公司 运输设备的自适应对位校准方法、系统、设备及存储介质

Also Published As

Publication number Publication date
CN109052180B (zh) 2020-03-24

Similar Documents

Publication Publication Date Title
CN109052180A (zh) 一种基于机器视觉的集装箱自动对位方法及系统
JP2002104771A (ja) コンテナ位置検出装置
CN111421425B (zh) 一种基于工业视觉的金属表面修磨系统
WO2021208273A1 (zh) 用于识别状态参数的系统、吊装定位系统及吊装设备
US11972589B2 (en) Image processing device, work robot, substrate inspection device, and specimen inspection device
CN106629399A (zh) 一种集装箱对箱引导系统
CN107055331A (zh) 集装箱对箱引导系统
CN111591716A (zh) 传输机皮带损伤状况的光电一体智能检测装置
CN112084964A (zh) 产品识别设备、方法及存储介质
CN114184616A (zh) 一种锂电池用蓝膜的检测装置及其控制方法
CN115384052A (zh) 一种智能化的覆膜机自动控制系统
CN107767399A (zh) 叉车监控方法及监控系统
JP7330864B2 (ja) スクラップ画像撮影システム、スクラップ画像撮影方法、撮影支援装置、及びプログラム
US20190358819A1 (en) Image processing apparatus, robot and robot system
KR102454058B1 (ko) 크레인 안전 관리 시스템
CN110533717A (zh) 一种基于双目视觉的目标抓取方法及装置
CN106097331B (zh) 一种基于锁孔识别的集装箱定位方法
CN214504438U (zh) 一种无色差立体字符图像采集系统
CN107316302A (zh) 基于双目视觉的行车自动定位装置及其对应的定位方法
CN112837285A (zh) 一种板面图像的边缘检测方法及装置
JP3417503B2 (ja) 物品位置判定方法と物品位置判定装置
JP2003346132A (ja) 座標変換装置、座標変換プログラム
JP3933284B2 (ja) 振れ検出装置
JPS61226217A (ja) 鋼板の剪断装置
JPH08269531A (ja) 転炉出鋼流の位置検出方法及び装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant