CN105719241A - 一种基于视觉扫描的船槽定位方法 - Google Patents
一种基于视觉扫描的船槽定位方法 Download PDFInfo
- Publication number
- CN105719241A CN105719241A CN201610056807.6A CN201610056807A CN105719241A CN 105719241 A CN105719241 A CN 105719241A CN 201610056807 A CN201610056807 A CN 201610056807A CN 105719241 A CN105719241 A CN 105719241A
- Authority
- CN
- China
- Prior art keywords
- headchute
- straight line
- image
- freight space
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 230000000007 visual effect Effects 0.000 title abstract 3
- 238000001514 detection method Methods 0.000 claims abstract description 29
- 238000003708 edge detection Methods 0.000 claims abstract description 4
- 230000000877 morphologic effect Effects 0.000 claims abstract description 4
- 238000012545 processing Methods 0.000 claims abstract description 4
- 230000008569 process Effects 0.000 claims description 20
- 230000004807 localization Effects 0.000 claims description 16
- 238000001914 filtration Methods 0.000 claims description 15
- 239000011159 matrix material Substances 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 12
- 230000011218 segmentation Effects 0.000 claims description 10
- 238000004064 recycling Methods 0.000 claims description 7
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000005530 etching Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 238000003707 image sharpening Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000000527 sonication Methods 0.000 claims description 3
- 238000011068 loading method Methods 0.000 abstract description 8
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000004519 manufacturing process Methods 0.000 abstract 1
- 238000007781 pre-processing Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 10
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
一种基于视觉扫描的船槽定位方法,属于计算机视觉技术和图像处理结合技术领域。该方法包括集装箱船槽舱位扫描、船槽舱位图像拼接、图像预处理与数学形态学船槽边缘检测、船槽舱位边缘直线检测、船槽舱位分段及船槽定位。本发明通过采用上述技术,得到的一种基于视觉扫描的船槽定位方法,用于船槽的定位,改善传统以人工引导为主的集装箱装卸工作模式,提升了船舶集装箱装卸数字化和智能化水平,极大方便了司机远程操控船舶的集装箱装卸作业,提高作业效率并提高集装箱装卸工作的安全性,是一项改善生产和工作环境的多赢工程,对提高作业效率、降低成本非常有利。
Description
技术领域
本发明属于计算机视觉技术和图像处理结合技术领域,具体涉及一种用于船舶集装箱装卸的基于视觉扫描的船槽定位方法。
背景技术
随着世界经济一体化和外贸经济的迅速发展,集装箱运输逐渐成为了当今航运的必然发展方向。集装箱码头、港口的运输主要包括集装箱堆放、集装箱运输、集装箱装卸作业,其中的集装箱的装卸效率直接影响到船公司和港口装卸的市场竞争力,随着集装箱运输量的不断增长和集装箱船的吨位增加,集装箱码头的装卸效率必须要得到提高,增强集装箱装卸的自动化是提高集装箱装卸效率的有效途径之一,其核心部分就是对船舶集装箱导轨定位(船槽)和箱体定位,进而引导起重机吊具的抓取、装卸等后续作业。
为了实现集装箱运输的自动化,提高码头集装箱装卸效率以及安全性,该领域的相关国内外研究者对此都有研究,其中与本发明最接近的技术方案包括:发明专利(申请号:201410400655.8,名称:一种集装箱装、卸船操作方法、装船操作系统)中提出一种结合第一终端和第二终端互相协作的集装箱装卸方法,集装箱装卸主要是通过助理人员所在的第一终端将船上的信息确认清楚后,把位置信息传送给图形化服务器,岸桥操作人员通过第二终端获取图形化服务器中的位置信息,再进行集装箱的装卸,该方法在整个集装箱的装卸过程中太过依赖于工作人员的经验;发明专利(申请号:DE10107048,名称:一种集装箱起重机装卸的方法)中提出一种方便起重机驾驶员进行集装箱装卸的方法,驾驶员可通过观察监视器操作触摸屏,使起重机达到预先设定的目标位置,该方法虽然便利了操作,但在装卸集装箱时依赖于工作人员操作熟练程度;
综上所述,在实现船舶集装箱的装卸时,现有的方法无法完全脱离集装箱本身进行操作,并且过多依赖于操作人员的经验,特别是在船舶为空船时,怎样精确地将集装箱放置在指定的船槽位置,这对于整个集装箱装卸是一个至关重要的工作,本发明针对这一不足提出了一种基于视觉扫描的船槽定位方法。
发明内容
针对现有技术中存在的上述问题,本发明的目的在于提供一种基于视觉扫描的船槽定位方法,该方法极大方便了司机远程操控船舶的集装箱装卸作业,提升了船舶集装箱装卸数字化和智能化水平,提高作业效率并提高集装箱装卸工作的安全性。
本发明的具体技术方案如下:
所述的一种基于视觉扫描的船槽定位方法,包括集装箱船槽舱位扫描、船槽舱位图像拼接、图像预处理与数学形态学船槽边缘检测、船槽舱位边缘直线检测、船槽舱位分段及船槽定位,
所述集装箱船槽舱位扫描:当需要进行集装箱装卸时,首先使用已标定完成的双目视觉系统,以集装箱船靠岸一侧为起点,逐渐移动吊具并不断拍摄船槽舱位图像,直到吊具到达船体另一侧为止,结果得到一组有序的船槽舱位图像f={fi|i=1,2,…n},其中n为图像数量,fi表示第i张图像;
所述船槽舱位图像拼接:实时在移动吊具拍摄船槽舱位图像的过程中,图像拼接算法实时地拼接相邻的两张图像,最后得到一组双目摄像头的完整的船槽舱位图F1;
所述图像预处理与数学形态学船槽边缘检测:对经过图像拼接得到的船槽舱位图像F1进行图像灰度化处理、图像去噪声处理、图像锐化处理以及图像高斯平滑处理,进一步利用数学形态学边缘检测方法对图像F1进行边缘检测,根据式子(1),得到边缘图像G:
其中0≤ρ≤1,ΔG=Gmax-Gmin,Gmax=max{G1,G2},Gmin=min{G1,G2},e1、e2和e3表示形态学检测用到的结构元素,“Θ”表示腐蚀操作,“⊕”表示膨胀操作,“ο”表示开运算操作,“·”表示闭运算操作;
所述船槽舱位边缘直线检测:利用霍夫变换直线检测方法对船槽舱位边缘图像G进行直线检测,得到直线集合L={Lj|j=1,2,…,m},m为检测的直线总数;进一步对直线集合L进行直线过滤,分别得到船槽舱位边缘水平线Lh和船槽舱位边缘垂直线Lv1和Lv2,再计算水平直线和垂直直线的交点,结果得到P={P1,P2},其中P1为直线Lh和直线Lv1的交点,P2为直线Lh和直线Lv2的交点,重复船槽舱位图像拼接、图像预处理与数学形态学船槽边缘检测及船槽舱位边缘直线检测步骤,得到另外一组双目摄像头的船槽舱位图像F2中的船槽舱位水平边缘直线和垂直边缘直线,进一步得图像F2中的直线交点P3和P4,其中点P3与点P1对应,点P4和点P2对应,这四个点构成了船槽舱位的整体边缘轮廓;
所述船槽舱位分段及船槽定位:根据船槽安装工艺的标准,量出船槽的实际宽度为length,根据式(2),利用船槽舱位的四个顶点P1、P2、P3、P4计算出船槽舱位的长度D:
其中|P1P2|为点P1到P2的距离,|P3P4|为点P3到点P4的距离,得到的四个顶点用于标识船槽的具体位置,即能定位船槽。
所述的一种基于视觉扫描的船槽定位方法,其特征在于所述船槽舱位图像拼接具体步骤如下:
步骤1.1:当船槽舱位图像序列f中有两张船槽舱位图像时,就启动图像拼接算法;
步骤1.2:从图像序列f中获取相邻的两张船槽舱位图像f1和f2,再分别利用SIFT算法提取图像的SIFT特征;
步骤1.3:利用K-DTree和BBN算法,对步骤1.2提取的两张船槽舱位图的SIFT特征匹配点进行查询;
步骤1.4:利用RANSAC算法筛选步骤1.3所查询的特征匹配点并计算变换矩阵H,该变换矩阵表示两张图像的重叠区域;
步骤1.5:利用步骤1.4得到的变换矩阵H、图像f1和f2进行图像拼接,得到拼接图F1,并将图像拼接过程分为三部分:(1)取图像f2经变换矩阵H变换生成一张新图像作为拼接图F1的初始图像;(2)取图像f1和图像f2重叠区域的加权平均作为拼接图像F1的中间部分;(3)取图像f1去掉重叠区域的剩余部分作为拼接图像F1的左边部分,其中加权平均的权重选择根据图像f1和f2重叠区域的宽度以及重叠区域中的点到重叠区域左边界和右边界的距离来计算重叠区域的像素值PixelF,具体见式(3):
其中d1为图像重叠区域中的点到左边界的距离,d2为图像重叠区域中的点到右边界的距离,为重叠区域中的点在图像f1中的像素值,为重叠区域中的点在图像f2中的像素值。
所述的一种基于视觉扫描的船槽定位方法,其特征在于所述船槽舱位边缘直线检测具体步骤如下:
步骤2.1:对船槽边缘的水平线进行检测,首先通过判断直线Lj的斜率,过滤直线斜率不满足|K|≤0.087的直线,得到直线候选集合Lsh={Lshk|k=1,2,…,Nh},Nh为过滤后直线的总数;其次把直线候选集合Lsh中斜率相同的且平行直线之间的距离d满足d≤4的直线聚为一类,得到直线聚合类Lch={Lchr|r=1,2,…,Qh},Lchr表示第r个直线聚合类,Qh为直线聚合类的数量;再利用最小二乘法分别对每个直线聚合类中的直线进行拟合,结果得到一个直线集合Lfh={Lfhr|r=1,2,…,Qh},Qh为直线拟合后的直线总数,Lfhr表示由直线聚合类Lchr拟合得到的直线;最后利用在图像F1区域内直线Lfhr所经过的像素点灰度值构成集合并计算该集合的方差,进一步得到直线集合Lfh对应的灰度值方差集合Var,获取Lfh中灰度值方差最小的直线即为船槽舱位水平边缘直线Lh;
步骤2.2:对船槽舱位边缘垂直线进行检测,首先通过判断直线Lj的斜率,保留直线斜率满足|K|≥11.43的直线,进一步得到直线候选集合Lsv={Lsvk|k=1,2,…,Nv},Nv为过滤后直线的总数;其次把直线候选集合Lsv中斜率相同的且平行直线之间的距离d满足d≤4的直线聚为一类,得到直线聚合类Lcv={Lcvr|r=1,2,…,Qv},Lcvr表示第r个直线聚合类,Qv为直线聚合类的总数,再利用最小二乘法分别对每个直线聚合类的直线进行拟合,结果为直线集合Lfv={Lfvr|r=1,2,…,Qv},Qv为直线拟合后的直线总数,Lfvr表示由直线聚合类Lcvr拟合得到的直线;进一步利用Lfvr在图像F1中的位置,过滤图像中间区域内的垂直线,结果得到直线集合Lbv={Lbvr|r=1,2,…,Tv},Tv为过滤垂直线后的直线总数;最后利用在图像F1区域内直线Lbvr所经过的像素点灰度值构成集合并计算该集合的方差,进一步得到直线集合Lbv对应的灰度值方差集合Var,获取Lbv中灰度值方差最小的两条直线即为船槽舱位垂直边缘直线Lv1和Lv2;
步骤2.3:利用步骤2.1和步骤2.2检测到的船槽舱位边缘水平直线Lh以及垂直直线Lv1和Lv2,分别计算水平直线和垂直直线的交点,结果得到P={P1,P2},其中P1为直线Lh和直线Lv1的交点,P2为直线Lh和直线Lv2的交点;
步骤2.4:重复步骤2.1-2.3,得到另外一组双目摄像头的船槽舱位图像F2中的船槽舱位水平边缘直线和垂直边缘直线,进一步得图像F2中的直线交点P3和P4,其中点P3与点P1对应,点P4和点P2对应,这四个点构成了船槽舱位的整体边缘轮廓。
所述的一种基于视觉扫描的船槽定位方法,其特征在于船槽舱位分段按照船槽宽度进行分段,具体步骤如下:
步骤3.1:首先将点P1和点P3的坐标保存到第一个船槽E1中,其次从坐标点P1开始,在对应的直线P1P2上找到第一个和点P1之间的距离等于船槽宽度length的点A,同理,从坐标点P3开始,在对应的直线P3P4上找到第一个和点P3之间的距离等于船槽宽度length的点B,同时保证直线AB和直线P1P3的斜率相同;
步骤3.2:将步骤3.1找到的点A和点B保存到第一个船槽E1中,则在船槽实体E1中包含点P1、P3、A、B,这四个点标识了第一个船槽的位置,再将E1保存到船槽队列E={Ei|i=1,2,…,K}中,其中K为船槽的总个数;进一步将点A和点B保存到第二个船槽E2中,再按照步骤3.1的方法,找到属于第二个船槽的另外两个顶点,循环整个过程,直到点P2和点P4为止,最后得到一个船槽队列E,船槽队列中的每个船槽包括四个顶点,这四个顶点标识船槽的具体位置,即可定位船槽。
本发明的有益效果为:通过采用本发明限定的方法,用于船槽的定位,改善传统以人工引导为主的集装箱装卸工作模式,提升了船舶集装箱装卸数字化和智能化水平,是一项改善生产和工作环境的多赢工程,对提高作业效率、降低成本非常有利。
附图说明
图1为船槽定位方法流程图;
图2为实施例中船槽舱位扫描示意图;
图3为实施例中船槽舱位图像拼接示意图;
图4为实施例中船槽舱位轮廓检测示意图;
图5为实施例中船槽定位示意图。
图中:1-吊具,2-重叠区域,3-点。
具体实施方式
下面结合说明书附图对本发明进行进一步的说明。应当理解,此处所描述的具体实施例仅用于解释本发明,并不用于限定本发明。
图1是根据本发明的实施例的船槽定位方法整体流程图。
如图1所示,根据本发明实施例的流程图,船槽定位方法包括集装箱船槽舱位扫描、船槽舱位图像拼接、图像预处理与数学形态学船槽边缘检测、船槽舱位边缘霍夫直线检测、船槽舱位分段及船槽定位。
本发明的一种船槽定位方法具体实施如下:
码头进行集装箱装卸作业时,首先使用已标定完成的双目视觉系统,以集装箱船靠岸一侧为起点,逐渐移动吊具1并不断拍摄船槽舱位图像,直到吊具1到达船体另一侧为止,结果得到一组有序的船槽舱位图像f={fi|i=1,2,…n},其中n为图像数量,fi表示第i张图像,图2为本实施例中船槽舱位扫描示意图;
当捕获的图像超过2张时,在扫描的船槽舱位图像过程中对图像进行实时拼接,即在移动吊具1拍摄船槽舱位图像的过程中,图像拼接算法会实时地拼接相邻的两张图像,最后得到一组双目摄像头的完整的船槽舱位图F1,其具体步骤如下:
步骤1.1:当船槽舱位图像序列f中有两张船槽舱位图像时,就启动图像拼接算法;
步骤1.2:从图像序列f中获取相邻的两张船槽舱位图像f1和f2,再分别利用SIFT算法提取图像的SIFT特征;
步骤1.3:利用K-DTree和BBN算法,对步骤1.2提取的两张船槽舱位图的SIFT特征匹配点进行查询;
步骤1.4:利用RANSAC算法筛选步骤1.3所查询的特征匹配点并计算变换矩阵H,该变换矩阵表示两张图像的重叠区域;
步骤1.5:利用步骤1.4得到的变换矩阵H、图像f1和f2进行图像拼接,得到拼接图F1,并将图像拼接过程分为三部分:(1)取图像f2经变换矩阵H变换生成一张新图像作为拼接图F1的初始图像;(2)取图像f1和图像f2的重叠区域2的加权平均作为拼接图像F1的中间部分;(3)取图像f1去掉重叠区域2的剩余部分作为拼接图像F1的左边部分,其中加权平均的权重选择根据图像f1和f2重叠区域的宽度以及重叠区域2中的点到重叠区域2左边界和右边界的距离来计算重叠区域的像素值PixelF,具体见式(1):
其中d1为图像重叠区域2中的点3到左边界的距离,d2为图像重叠区域2中的点3到右边界的距离,为重叠区域2中的点在图像f1中的像素值,为重叠区域2中的点在图像f2中的像素值,图3(a)为本实施例中船槽舱位图像f1示意图,图3(b)为本实施例中船槽舱位图像f2示意图,图3(c)为本实施例中船槽舱位拼接图像F1示意图;
进一步对经过图像拼接得到的船槽舱位图像F1进行图像灰度化处理、图像去噪声处理、图像锐化处理以及图像高斯平滑处理,再利用数学形态学边缘检测方法对图像F1进行边缘检测,根据式子(2),得到边缘图像G:
其中0≤ρ≤1,ΔG=Gmax-Gmin,Gmax=max{G1,G2},Gmin=min{G1,G2},e1、e2和e3表示形态学检测用到的结构元素,“Θ”表示腐蚀操作,“⊕”表示膨胀操作,“ο”表示开运算操作,“·”表示闭运算操作;
进一步利用霍夫变换直线检测方法对船槽舱位边缘图像G进行直线检测,得到直线集合L={Lj|j=1,2,…,m},m为检测的直线总数;进一步对直线集合L进行直线过滤,分别得到船槽舱位边缘水平线Lh和船槽舱位边缘垂直线Lv={Lv1,Lv2},图4为本实施例中船槽舱位边缘检测示意图,具体步骤如下:
步骤2.1:对船槽边缘的水平线进行检测,首先通过判断直线Lj的斜率,过滤直线斜率不满足|K|≤0.087的直线,得到直线候选集合Lsh={Lshk|k=1,2,…,Nh},Nh为过滤后直线的总数;其次把直线候选集合Lsh中斜率相同的且平行直线之间的距离d满足d≤4的直线聚为一类,得到直线聚合类Lch={Lchr|r=1,2,…,Qh},Lchr表示第r个直线聚合类,Qh为直线聚合类的数量;再利用最小二乘法分别对每个直线聚合类中的直线进行拟合,结果得到一个直线集合Lfh={Lfhr|r=1,2,…,Qh},Qh为直线拟合后的直线总数,Lfhr表示由直线聚合类Lchr拟合得到的直线;最后利用在图像F1区域内直线Lfhr所经过的像素点灰度值构成集合并计算该集合的方差,进一步得到直线集合Lfh对应的灰度值方差集合Var,获取Lfh中灰度值方差最小的直线即为船槽舱位水平边缘直线Lh;
步骤2.2:对船槽舱位边缘垂直线进行检测,首先通过判断直线Lj的斜率,保留直线斜率满足|K|≥11.43的直线,进一步得到直线候选集合Lsv={Lsvk|k=1,2,…,Nv},Nv为过滤后直线的总数;其次把直线候选集合Lsv中斜率相同的且平行直线之间的距离d满足d≤4的直线聚为一类,得到直线聚合类Lfv={Lfvr|r=1,2,…,Qv},Lcvr表示第r个直线聚合类,Qv为直线聚合类的总数,再利用最小二乘法分别对每个直线聚合类的直线进行拟合,结果为直线集合Lfv={Lfvr|r=1,2,…,Qv},Qv为直线拟合后的直线总数,Lfvr表示由直线聚合类Lcvr拟合得到的直线;进一步利用Lfvr在图像F1中的位置,过滤图像中间部分的垂直线,结果为直线集合Lbv={Lbvr|r=1,2,…,Tv},Tv为过滤垂直线后的直线总数;最后利用在图像F1区域内直线Lbvr所经过的像素点灰度值构成集合并计算该集合的方差,进一步得到直线集合Lbv对应的灰度值方差集合Var,获取Lbv中灰度值方差最小的两条直线即为船槽舱位垂直边缘直线Lv1和Lv2;
步骤2.3:利用步骤2.1和步骤2.2检测到的船槽舱位边缘水平直线Lh以及垂直直线Lv1和Lv2,分别计算水平直线和垂直直线的交点,结果得到P={P1,P2},其中P1为直线Lh和直线Lv1的交点,P2为直线Lh和直线Lv2的交点;
步骤2.4:同理,可得到另外一组双目摄像头的船槽舱位图像F2中的船槽舱位水平边缘直线和垂直边缘直线,进一步可得图像F2中的直线交点P3和P4,其中点P3与点P1对应,点P4和点P2对应,这四个点构成了船槽舱位的整体边缘轮廓;
进一步根据集装箱船舶船槽安装工艺的标准可知船槽的实际宽度为length,根据式(3),利用船槽舱位的四个顶点P1、P2、P3、P4可计算出船槽舱位的长度D:
其中|P1P2|为点P1到P2的距离,|P3P4|为点P3到点P4的距离;
进一步按照船槽宽度对船槽舱位进行分段,具体步骤如下:
步骤3.1:首先将点P1和点P3的坐标保存到第一个船槽E1中,其次从坐标点P1开始,在对应的直线P1P2上找到第一个和点P1之间的距离为船槽宽度length的点A,同理,从坐标点P3开始,在对应的直线P3P4上找到第一个和点P3之间的距离为船槽宽度length的点B,同时保证直线AB和直线P1P3的斜率相同;
步骤3.2:将步骤3.1找到的点A和点B保存到第一个船槽E1中,则在船槽实体E1中包含点P1、P3、A、B,这四个点标识了第一个船槽的位置,再将E1保存到船槽队列E={Ei|i=1,2,…,K}中;进一步再将点A和点B保存到第二个船槽E2中,再按照步骤3.1的方法,找到属于第二个船槽的另外两个顶点;循环整个过程,直到点P2和点P4为止,最后得到一个船槽队列,船槽队列中的每个船槽包括四个顶点,这四个顶点标识船槽的具体位置,即可定位船槽,图5为本实施例中的船槽E1定位示意图。
实施本发明后,用于船槽的定位,可改善传统以人工引导为主的集装箱装卸工作模式,提升了船舶集装箱装卸数字化和智能化水平,是一项改善生产和工作环境的多赢工程,对提高作业效率、提高集装箱装卸安全性以及降低成本非常有利。
本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举,本发明的保护范围的不应当被视为仅限于实施例所陈述的具体形式,本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。
Claims (4)
1.一种基于视觉扫描的船槽定位方法,包括集装箱船槽舱位扫描、船槽舱位图像拼接、图像预处理与数学形态学船槽边缘检测、船槽舱位边缘直线检测、船槽舱位分段及船槽定位,
所述集装箱船槽舱位扫描:当需要进行集装箱装卸时,首先使用已标定完成的双目视觉系统,以集装箱船靠岸一侧为起点,逐渐移动吊具并不断拍摄船槽舱位图像,直到吊具到达船体另一侧为止,结果得到一组有序的船槽舱位图像f={fi|i=1,2,…n},其中n为图像数量,fi表示第i张图像;
所述船槽舱位图像拼接:实时在移动吊具拍摄船槽舱位图像的过程中,图像拼接算法实时地拼接相邻的两张图像,最后得到一组双目摄像头的完整的船槽舱位图F1;
所述图像预处理与数学形态学船槽边缘检测:对经过图像拼接得到的船槽舱位图像F1进行图像灰度化处理、图像去噪声处理、图像锐化处理以及图像高斯平滑处理,进一步利用数学形态学边缘检测方法对图像F1进行边缘检测,根据式子(1),得到边缘图像G:
其中0≤ρ≤1,ΔG=Gmax-Gmin,Gmax=max{G1,G2},Gmin=min{G1,G2},e1、e2和e3表示形态学检测用到的结构元素,“Θ”表示腐蚀操作,表示膨胀操作,“ο”表示开运算操作,“·”表示闭运算操作;
所述船槽舱位边缘直线检测:利用霍夫变换直线检测方法对船槽舱位边缘图像G进行直线检测,得到直线集合L={Lj|j=1,2,…,m},m为检测的直线总数;进一步对直线集合L进行直线过滤,分别得到船槽舱位边缘水平线Lh和船槽舱位边缘垂直线Lv1和Lv2,计算水平直线和垂直直线的交点,结果得到P={P1,P2},其中P1为直线Lh和直线Lv1的交点,P2为直线Lh和直线Lv2的交点,重复船槽舱位图像拼接、图像预处理与数学形态学船槽边缘检测及船槽舱位边缘直线检测步骤,得到另外一组双目摄像头的船槽舱位图像F2中的船槽舱位水平边缘直线和垂直边缘直线,进一步得图像F2中的直线交点P3和P4,其中点P3与点P1对应,点P4和点P2对应,这四个点构成了船槽舱位的整体边缘轮廓;
所述船槽舱位分段及船槽定位:根据船槽安装工艺的标准,量出船槽的实际宽度为length,根据式(2),利用船槽舱位的四个顶点P1、P2、P3、P4计算出船槽舱位的长度D:
其中|P1P2|为点P1到P2的距离,|P3P4|为点P3到点P4的距离,得到的四个顶点用于标识船槽的具体位置,即能定位船槽。
2.根据权利要求1所述的一种基于视觉扫描的船槽定位方法,其特征在于所述船槽舱位图像拼接具体步骤如下:
步骤1.1:当船槽舱位图像序列f中有两张船槽舱位图像时,就启动图像拼接算法;
步骤1.2:从图像序列f中获取相邻的两张船槽舱位图像f1和f2,再分别利用SIFT算法提取图像的SIFT特征;
步骤1.3:利用K-DTree和BBN算法,对步骤1.2提取的两张船槽舱位图的SIFT特征匹配点进行查询;
步骤1.4:利用RANSAC算法筛选步骤1.3所查询的特征匹配点并计算变换矩阵H,该变换矩阵表示两张图像的重叠区域;
步骤1.5:利用步骤1.4得到的变换矩阵H、图像f1和f2进行图像拼接,得到拼接图F1,并将图像拼接过程分为三部分:(1)取图像f2经变换矩阵H变换生成一张新图像作为拼接图F1的初始图像;(2)取图像f1和图像f2重叠区域的加权平均作为拼接图像F1的中间部分;(3)取图像f1去掉重叠区域的剩余部分作为拼接图像F1的左边部分,其中加权平均的权重选择根据图像f1和f2重叠区域的宽度以及重叠区域中的点到重叠区域左边界和右边界的距离来计算重叠区域的像素值PixelF,具体见式(3):
3.根据权利要求1所述的一种基于视觉扫描的船槽定位方法,其特征在于所述船槽舱位边缘直线检测具体步骤如下:
步骤2.1:对船槽边缘的水平线进行检测,首先通过判断直线Lj的斜率,过滤直线斜率不满足|K|≤0.087的直线,得到直线候选集合Lsh={Lshk|k=1,2,…,Nh},Nh为过滤后直线的总数;其次把直线候选集合Lsh中斜率相同的且平行直线之间的距离d满足d≤4的直线聚为一类,得到直线聚合类Lch={Lchr|r=1,2,…,Qh},Lchr表示第r个直线聚合类,Qh为直线聚合类的数量;再利用最小二乘法分别对每个直线聚合类中的直线进行拟合,结果得到一个直线集合Lfh={Lfhr|r=1,2,…,Qh},Qh为直线拟合后的直线总数,Lfhr表示由直线聚合类Lchr拟合得到的直线;最后利用在图像F1区域内直线Lfhr所经过的像素点灰度值构成集合并计算该集合的方差,进一步得到直线集合Lfh对应的灰度值方差集合Var,获取Lfh中灰度值方差最小的直线即为船槽舱位水平边缘直线Lh;
步骤2.2:对船槽舱位边缘垂直线进行检测,首先通过判断直线Lj的斜率,保留直线斜率满足|K|≥11.43的直线,进一步得到直线候选集合Lsv={Lsvk|k=1,2,…,Nv},Nv为过滤后直线的总数;其次把直线候选集合Lsv中斜率相同的且平行直线之间的距离d满足d≤4的直线聚为一类,得到直线聚合类Lcv={Lcvr|r=1,2,…,Qv},Lcvr表示第r个直线聚合类,Qv为直线聚合类的总数,再利用最小二乘法分别对每个直线聚合类的直线进行拟合,结果为直线集合Lfv={Lfvr|r=1,2,…,Qv},Qv为直线拟合后的直线总数,Lfvr表示由直线聚合类Lcvr拟合得到的直线;进一步利用Lfvr在图像F1中的位置,过滤图像中间区域内的垂直线,结果得到直线集合Lbv={Lbvr|r=1,2,…,Tv},Tv为过滤垂直线后的直线总数;最后利用在图像F1区域内直线Lbvr所经过的像素点灰度值构成集合并计算该集合的方差,进一步得到直线集合Lbv对应的灰度值方差集合Var,获取Lbv中灰度值方差最小的两条直线即为船槽舱位垂直边缘直线Lv1和Lv2;
步骤2.3:利用步骤2.1和步骤2.2检测到的船槽舱位边缘水平直线Lh以及垂直直线Lv1和Lv2,分别计算水平直线和垂直直线的交点,结果得到P={P1,P2},其中P1为直线Lh和直线Lv1的交点,P2为直线Lh和直线Lv2的交点;
步骤2.4:重复步骤2.1-2.3,得到另外一组双目摄像头的船槽舱位图像F2中的船槽舱位水平边缘直线和垂直边缘直线,进一步得图像F2中的直线交点P3和P4,其中点P3与点P1对应,点P4和点P2对应,这四个点构成了船槽舱位的整体边缘轮廓。
4.根据权利要求1所述的一种基于视觉扫描的船槽定位方法,其特征在于船槽舱位分段按照船槽宽度进行分段,具体步骤如下:
步骤3.1:首先将点P1和点P3的坐标保存到第一个船槽E1中,其次从坐标点P1开始,在对应的直线P1P2上找到第一个和点P1之间的距离等于船槽宽度length的点A,同理,从坐标点P3开始,在对应的直线P3P4上找到第一个和点P3之间的距离等于船槽宽度length的点B,同时保证直线AB和直线P1P3的斜率相同;
步骤3.2:将步骤3.1找到的点A和点B保存到第一个船槽E1中,则在船槽实体E1中包含点P1、P3、A、B,这四个点标识了第一个船槽的位置,再将E1保存到船槽队列E={Ei|i=1,2,…,K}中,其中K为船槽的总个数;进一步将点A和点B保存到第二个船槽E2中,再按照步骤3.1的方法,找到属于第二个船槽的另外两个顶点,循环整个过程,直到点P2和点P4为止,最后得到一个船槽队列E,船槽队列中的每个船槽包括四个顶点,这四个顶点标识船槽的具体位置,即可定位船槽。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610056807.6A CN105719241B (zh) | 2016-01-27 | 2016-01-27 | 一种基于视觉扫描的船槽定位方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610056807.6A CN105719241B (zh) | 2016-01-27 | 2016-01-27 | 一种基于视觉扫描的船槽定位方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105719241A true CN105719241A (zh) | 2016-06-29 |
CN105719241B CN105719241B (zh) | 2019-02-05 |
Family
ID=56154981
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610056807.6A Active CN105719241B (zh) | 2016-01-27 | 2016-01-27 | 一种基于视觉扫描的船槽定位方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105719241B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107514994A (zh) * | 2017-07-12 | 2017-12-26 | 浙江工业大学 | 一种基于误差补偿的船槽定位方法 |
CN108764171A (zh) * | 2018-05-31 | 2018-11-06 | 四川斐讯信息技术有限公司 | 一种拼接图像的识别方法及系统 |
CN109455622A (zh) * | 2017-12-15 | 2019-03-12 | 天津埃特维科技有限公司 | 集装箱吊具的视觉识别系统以及集装箱的吊箱方法 |
CN109978879A (zh) * | 2019-04-04 | 2019-07-05 | 辽宁鼎汉奇辉电子系统工程有限公司 | 基于铁路货车装载视频监视的箱角入槽状态检测方法 |
CN110136059A (zh) * | 2019-04-04 | 2019-08-16 | 哈尔滨理工大学 | 直线特征的风电叶片图像拼接方法 |
CN111899567A (zh) * | 2019-05-06 | 2020-11-06 | 江苏金海星导航科技有限公司 | 一种基于定位的船舶防碰撞优化方法及系统 |
CN117876713A (zh) * | 2024-01-16 | 2024-04-12 | 长安大学 | 一种塔式起重机吊钩的测距方法、装置、设备及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020024598A1 (en) * | 2000-07-25 | 2002-02-28 | Satoshi Kunimitsu | Detecting system for container's location |
DE10107048A1 (de) * | 2001-02-13 | 2002-08-29 | Siemens Ag | Betriebsverfahren und Bedienungseinrichtung für automatisierte Containerkaikrane |
CN101251381A (zh) * | 2007-12-29 | 2008-08-27 | 武汉理工大学 | 基于机器视觉的双集装箱定位系统 |
CN102184398A (zh) * | 2011-06-17 | 2011-09-14 | 电子科技大学 | 一种基于边缘检测的集装箱号码定位方法 |
CN104376322A (zh) * | 2014-12-01 | 2015-02-25 | 上海海事大学 | 一种集装箱箱号预处理质量的智能评测方法 |
CN104574008A (zh) * | 2014-08-13 | 2015-04-29 | 安迅捷集装箱码头(深圳)有限公司 | 一种集装箱装、卸船操作方法、装船操作系统 |
-
2016
- 2016-01-27 CN CN201610056807.6A patent/CN105719241B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020024598A1 (en) * | 2000-07-25 | 2002-02-28 | Satoshi Kunimitsu | Detecting system for container's location |
DE10107048A1 (de) * | 2001-02-13 | 2002-08-29 | Siemens Ag | Betriebsverfahren und Bedienungseinrichtung für automatisierte Containerkaikrane |
CN101251381A (zh) * | 2007-12-29 | 2008-08-27 | 武汉理工大学 | 基于机器视觉的双集装箱定位系统 |
CN102184398A (zh) * | 2011-06-17 | 2011-09-14 | 电子科技大学 | 一种基于边缘检测的集装箱号码定位方法 |
CN104574008A (zh) * | 2014-08-13 | 2015-04-29 | 安迅捷集装箱码头(深圳)有限公司 | 一种集装箱装、卸船操作方法、装船操作系统 |
CN104376322A (zh) * | 2014-12-01 | 2015-02-25 | 上海海事大学 | 一种集装箱箱号预处理质量的智能评测方法 |
Non-Patent Citations (2)
Title |
---|
HEE-JOO YOON: "Real-time container position estimation method using stereo vision for container auto-landing system", 《INTERNATIONAL CONFERENCE ON CONTROL, AUTOMATION AND SYSTEMS》 * |
谢丁龙: "基于计算机视觉的集装箱定位系统的研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107514994A (zh) * | 2017-07-12 | 2017-12-26 | 浙江工业大学 | 一种基于误差补偿的船槽定位方法 |
CN107514994B (zh) * | 2017-07-12 | 2019-11-29 | 浙江工业大学 | 一种基于误差补偿的船槽定位方法 |
CN109455622A (zh) * | 2017-12-15 | 2019-03-12 | 天津埃特维科技有限公司 | 集装箱吊具的视觉识别系统以及集装箱的吊箱方法 |
CN108764171A (zh) * | 2018-05-31 | 2018-11-06 | 四川斐讯信息技术有限公司 | 一种拼接图像的识别方法及系统 |
CN109978879A (zh) * | 2019-04-04 | 2019-07-05 | 辽宁鼎汉奇辉电子系统工程有限公司 | 基于铁路货车装载视频监视的箱角入槽状态检测方法 |
CN110136059A (zh) * | 2019-04-04 | 2019-08-16 | 哈尔滨理工大学 | 直线特征的风电叶片图像拼接方法 |
CN109978879B (zh) * | 2019-04-04 | 2023-04-14 | 辽宁鼎汉奇辉电子系统工程有限公司 | 基于铁路货车装载视频监视的箱角入槽状态检测方法 |
CN111899567A (zh) * | 2019-05-06 | 2020-11-06 | 江苏金海星导航科技有限公司 | 一种基于定位的船舶防碰撞优化方法及系统 |
CN117876713A (zh) * | 2024-01-16 | 2024-04-12 | 长安大学 | 一种塔式起重机吊钩的测距方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN105719241B (zh) | 2019-02-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105719241A (zh) | 一种基于视觉扫描的船槽定位方法 | |
Mi et al. | A fast automated vision system for container corner casting recognition | |
CN106097329B (zh) | 一种基于边缘检测的集装箱轮廓定位方法 | |
CN110852173B (zh) | 一种针对模糊焊缝的视觉定位方法及系统 | |
CN109785317A (zh) | 自动码垛桁架机器人的视觉系统 | |
CN109978869A (zh) | 一种基于灰度共生矩阵和Hough变换的海天线检测方法与系统 | |
CN109636815A (zh) | 一种基于计算机视觉的金属板带产品标签信息识别方法 | |
CN110852313B (zh) | 一种车位检测方法 | |
US9818198B2 (en) | Method for near-realtime workspace mapping | |
CN103679138A (zh) | 舰船与港口先验知识支持的大型舰船检测方法 | |
CN103902985A (zh) | 一种基于roi的强鲁棒性实时车道侦测算法 | |
CN105741276A (zh) | 一种船舶水线提取方法 | |
CN105469401B (zh) | 一种基于计算机视觉的船槽定位方法 | |
CN105117726A (zh) | 基于多特征区域累积的车牌定位方法 | |
CN105844337A (zh) | 一种智能垃圾分类装置 | |
CN117237616B (zh) | 一种钢板堆场的物料调运扫描识别系统及方法 | |
CN107514994B (zh) | 一种基于误差补偿的船槽定位方法 | |
Huang et al. | Robotic arm grasping and placing using edge visual detection system | |
CN105740768A (zh) | 一种局部和全局特征相结合的无人驾驶叉运装置 | |
Jung et al. | Advanced sensing system of crane spreader motion (for mobile harbor) | |
CN107220943A (zh) | 融合区域纹理梯度的船舶阴影去除方法 | |
CN108090895B (zh) | 一种基于图像处理的集装箱锁孔轮廓提取方法 | |
CN115984806A (zh) | 道路标线破损动态检测系统 | |
CN105512607B (zh) | 一种集卡锁头位置识别方法 | |
CN116543327A (zh) | 作业人员工种识别的方法、装置、计算机设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |