CN105719241A - 一种基于视觉扫描的船槽定位方法 - Google Patents

一种基于视觉扫描的船槽定位方法 Download PDF

Info

Publication number
CN105719241A
CN105719241A CN201610056807.6A CN201610056807A CN105719241A CN 105719241 A CN105719241 A CN 105719241A CN 201610056807 A CN201610056807 A CN 201610056807A CN 105719241 A CN105719241 A CN 105719241A
Authority
CN
China
Prior art keywords
headchute
straight line
image
freight space
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610056807.6A
Other languages
English (en)
Other versions
CN105719241B (zh
Inventor
高飞
令狐乾锦
李定谢尔
童伟圆
卢书芳
毛家发
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN201610056807.6A priority Critical patent/CN105719241B/zh
Publication of CN105719241A publication Critical patent/CN105719241A/zh
Application granted granted Critical
Publication of CN105719241B publication Critical patent/CN105719241B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

一种基于视觉扫描的船槽定位方法,属于计算机视觉技术和图像处理结合技术领域。该方法包括集装箱船槽舱位扫描、船槽舱位图像拼接、图像预处理与数学形态学船槽边缘检测、船槽舱位边缘直线检测、船槽舱位分段及船槽定位。本发明通过采用上述技术,得到的一种基于视觉扫描的船槽定位方法,用于船槽的定位,改善传统以人工引导为主的集装箱装卸工作模式,提升了船舶集装箱装卸数字化和智能化水平,极大方便了司机远程操控船舶的集装箱装卸作业,提高作业效率并提高集装箱装卸工作的安全性,是一项改善生产和工作环境的多赢工程,对提高作业效率、降低成本非常有利。

Description

一种基于视觉扫描的船槽定位方法
技术领域
本发明属于计算机视觉技术和图像处理结合技术领域,具体涉及一种用于船舶集装箱装卸的基于视觉扫描的船槽定位方法。
背景技术
随着世界经济一体化和外贸经济的迅速发展,集装箱运输逐渐成为了当今航运的必然发展方向。集装箱码头、港口的运输主要包括集装箱堆放、集装箱运输、集装箱装卸作业,其中的集装箱的装卸效率直接影响到船公司和港口装卸的市场竞争力,随着集装箱运输量的不断增长和集装箱船的吨位增加,集装箱码头的装卸效率必须要得到提高,增强集装箱装卸的自动化是提高集装箱装卸效率的有效途径之一,其核心部分就是对船舶集装箱导轨定位(船槽)和箱体定位,进而引导起重机吊具的抓取、装卸等后续作业。
为了实现集装箱运输的自动化,提高码头集装箱装卸效率以及安全性,该领域的相关国内外研究者对此都有研究,其中与本发明最接近的技术方案包括:发明专利(申请号:201410400655.8,名称:一种集装箱装、卸船操作方法、装船操作系统)中提出一种结合第一终端和第二终端互相协作的集装箱装卸方法,集装箱装卸主要是通过助理人员所在的第一终端将船上的信息确认清楚后,把位置信息传送给图形化服务器,岸桥操作人员通过第二终端获取图形化服务器中的位置信息,再进行集装箱的装卸,该方法在整个集装箱的装卸过程中太过依赖于工作人员的经验;发明专利(申请号:DE10107048,名称:一种集装箱起重机装卸的方法)中提出一种方便起重机驾驶员进行集装箱装卸的方法,驾驶员可通过观察监视器操作触摸屏,使起重机达到预先设定的目标位置,该方法虽然便利了操作,但在装卸集装箱时依赖于工作人员操作熟练程度;
综上所述,在实现船舶集装箱的装卸时,现有的方法无法完全脱离集装箱本身进行操作,并且过多依赖于操作人员的经验,特别是在船舶为空船时,怎样精确地将集装箱放置在指定的船槽位置,这对于整个集装箱装卸是一个至关重要的工作,本发明针对这一不足提出了一种基于视觉扫描的船槽定位方法。
发明内容
针对现有技术中存在的上述问题,本发明的目的在于提供一种基于视觉扫描的船槽定位方法,该方法极大方便了司机远程操控船舶的集装箱装卸作业,提升了船舶集装箱装卸数字化和智能化水平,提高作业效率并提高集装箱装卸工作的安全性。
本发明的具体技术方案如下:
所述的一种基于视觉扫描的船槽定位方法,包括集装箱船槽舱位扫描、船槽舱位图像拼接、图像预处理与数学形态学船槽边缘检测、船槽舱位边缘直线检测、船槽舱位分段及船槽定位,
所述集装箱船槽舱位扫描:当需要进行集装箱装卸时,首先使用已标定完成的双目视觉系统,以集装箱船靠岸一侧为起点,逐渐移动吊具并不断拍摄船槽舱位图像,直到吊具到达船体另一侧为止,结果得到一组有序的船槽舱位图像f={fi|i=1,2,…n},其中n为图像数量,fi表示第i张图像;
所述船槽舱位图像拼接:实时在移动吊具拍摄船槽舱位图像的过程中,图像拼接算法实时地拼接相邻的两张图像,最后得到一组双目摄像头的完整的船槽舱位图F1
所述图像预处理与数学形态学船槽边缘检测:对经过图像拼接得到的船槽舱位图像F1进行图像灰度化处理、图像去噪声处理、图像锐化处理以及图像高斯平滑处理,进一步利用数学形态学边缘检测方法对图像F1进行边缘检测,根据式子(1),得到边缘图像G:
D = | P 1 P 2 | + | P 3 P 4 | 2 - - - ( 3 )
其中0≤ρ≤1,ΔG=Gmax-Gmin,Gmax=max{G1,G2},Gmin=min{G1,G2},e1、e2和e3表示形态学检测用到的结构元素,“Θ”表示腐蚀操作,“⊕”表示膨胀操作,“ο”表示开运算操作,“·”表示闭运算操作;
所述船槽舱位边缘直线检测:利用霍夫变换直线检测方法对船槽舱位边缘图像G进行直线检测,得到直线集合L={Lj|j=1,2,…,m},m为检测的直线总数;进一步对直线集合L进行直线过滤,分别得到船槽舱位边缘水平线Lh和船槽舱位边缘垂直线Lv1和Lv2,再计算水平直线和垂直直线的交点,结果得到P={P1,P2},其中P1为直线Lh和直线Lv1的交点,P2为直线Lh和直线Lv2的交点,重复船槽舱位图像拼接、图像预处理与数学形态学船槽边缘检测及船槽舱位边缘直线检测步骤,得到另外一组双目摄像头的船槽舱位图像F2中的船槽舱位水平边缘直线和垂直边缘直线,进一步得图像F2中的直线交点P3和P4,其中点P3与点P1对应,点P4和点P2对应,这四个点构成了船槽舱位的整体边缘轮廓;
所述船槽舱位分段及船槽定位:根据船槽安装工艺的标准,量出船槽的实际宽度为length,根据式(2),利用船槽舱位的四个顶点P1、P2、P3、P4计算出船槽舱位的长度D:
D = | P 1 P 2 | + | P 3 P 4 | 2 - - - ( 2 )
其中|P1P2|为点P1到P2的距离,|P3P4|为点P3到点P4的距离,得到的四个顶点用于标识船槽的具体位置,即能定位船槽。
所述的一种基于视觉扫描的船槽定位方法,其特征在于所述船槽舱位图像拼接具体步骤如下:
步骤1.1:当船槽舱位图像序列f中有两张船槽舱位图像时,就启动图像拼接算法;
步骤1.2:从图像序列f中获取相邻的两张船槽舱位图像f1和f2,再分别利用SIFT算法提取图像的SIFT特征;
步骤1.3:利用K-DTree和BBN算法,对步骤1.2提取的两张船槽舱位图的SIFT特征匹配点进行查询;
步骤1.4:利用RANSAC算法筛选步骤1.3所查询的特征匹配点并计算变换矩阵H,该变换矩阵表示两张图像的重叠区域;
步骤1.5:利用步骤1.4得到的变换矩阵H、图像f1和f2进行图像拼接,得到拼接图F1,并将图像拼接过程分为三部分:(1)取图像f2经变换矩阵H变换生成一张新图像作为拼接图F1的初始图像;(2)取图像f1和图像f2重叠区域的加权平均作为拼接图像F1的中间部分;(3)取图像f1去掉重叠区域的剩余部分作为拼接图像F1的左边部分,其中加权平均的权重选择根据图像f1和f2重叠区域的宽度以及重叠区域中的点到重叠区域左边界和右边界的距离来计算重叠区域的像素值PixelF,具体见式(3):
Pixel F = d 1 d 1 + d 2 * Pixel f 1 + d 2 d 1 + d 2 * Pixel f 2 - - - ( 3 )
其中d1为图像重叠区域中的点到左边界的距离,d2为图像重叠区域中的点到右边界的距离,为重叠区域中的点在图像f1中的像素值,为重叠区域中的点在图像f2中的像素值。
所述的一种基于视觉扫描的船槽定位方法,其特征在于所述船槽舱位边缘直线检测具体步骤如下:
步骤2.1:对船槽边缘的水平线进行检测,首先通过判断直线Lj的斜率,过滤直线斜率不满足|K|≤0.087的直线,得到直线候选集合Lsh={Lshk|k=1,2,…,Nh},Nh为过滤后直线的总数;其次把直线候选集合Lsh中斜率相同的且平行直线之间的距离d满足d≤4的直线聚为一类,得到直线聚合类Lch={Lchr|r=1,2,…,Qh},Lchr表示第r个直线聚合类,Qh为直线聚合类的数量;再利用最小二乘法分别对每个直线聚合类中的直线进行拟合,结果得到一个直线集合Lfh={Lfhr|r=1,2,…,Qh},Qh为直线拟合后的直线总数,Lfhr表示由直线聚合类Lchr拟合得到的直线;最后利用在图像F1区域内直线Lfhr所经过的像素点灰度值构成集合并计算该集合的方差,进一步得到直线集合Lfh对应的灰度值方差集合Var,获取Lfh中灰度值方差最小的直线即为船槽舱位水平边缘直线Lh;
步骤2.2:对船槽舱位边缘垂直线进行检测,首先通过判断直线Lj的斜率,保留直线斜率满足|K|≥11.43的直线,进一步得到直线候选集合Lsv={Lsvk|k=1,2,…,Nv},Nv为过滤后直线的总数;其次把直线候选集合Lsv中斜率相同的且平行直线之间的距离d满足d≤4的直线聚为一类,得到直线聚合类Lcv={Lcvr|r=1,2,…,Qv},Lcvr表示第r个直线聚合类,Qv为直线聚合类的总数,再利用最小二乘法分别对每个直线聚合类的直线进行拟合,结果为直线集合Lfv={Lfvr|r=1,2,…,Qv},Qv为直线拟合后的直线总数,Lfvr表示由直线聚合类Lcvr拟合得到的直线;进一步利用Lfvr在图像F1中的位置,过滤图像中间区域内的垂直线,结果得到直线集合Lbv={Lbvr|r=1,2,…,Tv},Tv为过滤垂直线后的直线总数;最后利用在图像F1区域内直线Lbvr所经过的像素点灰度值构成集合并计算该集合的方差,进一步得到直线集合Lbv对应的灰度值方差集合Var,获取Lbv中灰度值方差最小的两条直线即为船槽舱位垂直边缘直线Lv1和Lv2
步骤2.3:利用步骤2.1和步骤2.2检测到的船槽舱位边缘水平直线Lh以及垂直直线Lv1和Lv2,分别计算水平直线和垂直直线的交点,结果得到P={P1,P2},其中P1为直线Lh和直线Lv1的交点,P2为直线Lh和直线Lv2的交点;
步骤2.4:重复步骤2.1-2.3,得到另外一组双目摄像头的船槽舱位图像F2中的船槽舱位水平边缘直线和垂直边缘直线,进一步得图像F2中的直线交点P3和P4,其中点P3与点P1对应,点P4和点P2对应,这四个点构成了船槽舱位的整体边缘轮廓。
所述的一种基于视觉扫描的船槽定位方法,其特征在于船槽舱位分段按照船槽宽度进行分段,具体步骤如下:
步骤3.1:首先将点P1和点P3的坐标保存到第一个船槽E1中,其次从坐标点P1开始,在对应的直线P1P2上找到第一个和点P1之间的距离等于船槽宽度length的点A,同理,从坐标点P3开始,在对应的直线P3P4上找到第一个和点P3之间的距离等于船槽宽度length的点B,同时保证直线AB和直线P1P3的斜率相同;
步骤3.2:将步骤3.1找到的点A和点B保存到第一个船槽E1中,则在船槽实体E1中包含点P1、P3、A、B,这四个点标识了第一个船槽的位置,再将E1保存到船槽队列E={Ei|i=1,2,…,K}中,其中K为船槽的总个数;进一步将点A和点B保存到第二个船槽E2中,再按照步骤3.1的方法,找到属于第二个船槽的另外两个顶点,循环整个过程,直到点P2和点P4为止,最后得到一个船槽队列E,船槽队列中的每个船槽包括四个顶点,这四个顶点标识船槽的具体位置,即可定位船槽。
本发明的有益效果为:通过采用本发明限定的方法,用于船槽的定位,改善传统以人工引导为主的集装箱装卸工作模式,提升了船舶集装箱装卸数字化和智能化水平,是一项改善生产和工作环境的多赢工程,对提高作业效率、降低成本非常有利。
附图说明
图1为船槽定位方法流程图;
图2为实施例中船槽舱位扫描示意图;
图3为实施例中船槽舱位图像拼接示意图;
图4为实施例中船槽舱位轮廓检测示意图;
图5为实施例中船槽定位示意图。
图中:1-吊具,2-重叠区域,3-点。
具体实施方式
下面结合说明书附图对本发明进行进一步的说明。应当理解,此处所描述的具体实施例仅用于解释本发明,并不用于限定本发明。
图1是根据本发明的实施例的船槽定位方法整体流程图。
如图1所示,根据本发明实施例的流程图,船槽定位方法包括集装箱船槽舱位扫描、船槽舱位图像拼接、图像预处理与数学形态学船槽边缘检测、船槽舱位边缘霍夫直线检测、船槽舱位分段及船槽定位。
本发明的一种船槽定位方法具体实施如下:
码头进行集装箱装卸作业时,首先使用已标定完成的双目视觉系统,以集装箱船靠岸一侧为起点,逐渐移动吊具1并不断拍摄船槽舱位图像,直到吊具1到达船体另一侧为止,结果得到一组有序的船槽舱位图像f={fi|i=1,2,…n},其中n为图像数量,fi表示第i张图像,图2为本实施例中船槽舱位扫描示意图;
当捕获的图像超过2张时,在扫描的船槽舱位图像过程中对图像进行实时拼接,即在移动吊具1拍摄船槽舱位图像的过程中,图像拼接算法会实时地拼接相邻的两张图像,最后得到一组双目摄像头的完整的船槽舱位图F1,其具体步骤如下:
步骤1.1:当船槽舱位图像序列f中有两张船槽舱位图像时,就启动图像拼接算法;
步骤1.2:从图像序列f中获取相邻的两张船槽舱位图像f1和f2,再分别利用SIFT算法提取图像的SIFT特征;
步骤1.3:利用K-DTree和BBN算法,对步骤1.2提取的两张船槽舱位图的SIFT特征匹配点进行查询;
步骤1.4:利用RANSAC算法筛选步骤1.3所查询的特征匹配点并计算变换矩阵H,该变换矩阵表示两张图像的重叠区域;
步骤1.5:利用步骤1.4得到的变换矩阵H、图像f1和f2进行图像拼接,得到拼接图F1,并将图像拼接过程分为三部分:(1)取图像f2经变换矩阵H变换生成一张新图像作为拼接图F1的初始图像;(2)取图像f1和图像f2的重叠区域2的加权平均作为拼接图像F1的中间部分;(3)取图像f1去掉重叠区域2的剩余部分作为拼接图像F1的左边部分,其中加权平均的权重选择根据图像f1和f2重叠区域的宽度以及重叠区域2中的点到重叠区域2左边界和右边界的距离来计算重叠区域的像素值PixelF,具体见式(1):
Pixel F = d 1 d 1 + d 2 * Pixel f 1 + d 2 d 1 + d 2 * Pixel f 2 - - - ( 1 )
其中d1为图像重叠区域2中的点3到左边界的距离,d2为图像重叠区域2中的点3到右边界的距离,为重叠区域2中的点在图像f1中的像素值,为重叠区域2中的点在图像f2中的像素值,图3(a)为本实施例中船槽舱位图像f1示意图,图3(b)为本实施例中船槽舱位图像f2示意图,图3(c)为本实施例中船槽舱位拼接图像F1示意图;
进一步对经过图像拼接得到的船槽舱位图像F1进行图像灰度化处理、图像去噪声处理、图像锐化处理以及图像高斯平滑处理,再利用数学形态学边缘检测方法对图像F1进行边缘检测,根据式子(2),得到边缘图像G:
其中0≤ρ≤1,ΔG=Gmax-Gmin,Gmax=max{G1,G2},Gmin=min{G1,G2},e1、e2和e3表示形态学检测用到的结构元素,“Θ”表示腐蚀操作,“⊕”表示膨胀操作,“ο”表示开运算操作,“·”表示闭运算操作;
进一步利用霍夫变换直线检测方法对船槽舱位边缘图像G进行直线检测,得到直线集合L={Lj|j=1,2,…,m},m为检测的直线总数;进一步对直线集合L进行直线过滤,分别得到船槽舱位边缘水平线Lh和船槽舱位边缘垂直线Lv={Lv1,Lv2},图4为本实施例中船槽舱位边缘检测示意图,具体步骤如下:
步骤2.1:对船槽边缘的水平线进行检测,首先通过判断直线Lj的斜率,过滤直线斜率不满足|K|≤0.087的直线,得到直线候选集合Lsh={Lshk|k=1,2,…,Nh},Nh为过滤后直线的总数;其次把直线候选集合Lsh中斜率相同的且平行直线之间的距离d满足d≤4的直线聚为一类,得到直线聚合类Lch={Lchr|r=1,2,…,Qh},Lchr表示第r个直线聚合类,Qh为直线聚合类的数量;再利用最小二乘法分别对每个直线聚合类中的直线进行拟合,结果得到一个直线集合Lfh={Lfhr|r=1,2,…,Qh},Qh为直线拟合后的直线总数,Lfhr表示由直线聚合类Lchr拟合得到的直线;最后利用在图像F1区域内直线Lfhr所经过的像素点灰度值构成集合并计算该集合的方差,进一步得到直线集合Lfh对应的灰度值方差集合Var,获取Lfh中灰度值方差最小的直线即为船槽舱位水平边缘直线Lh;
步骤2.2:对船槽舱位边缘垂直线进行检测,首先通过判断直线Lj的斜率,保留直线斜率满足|K|≥11.43的直线,进一步得到直线候选集合Lsv={Lsvk|k=1,2,…,Nv},Nv为过滤后直线的总数;其次把直线候选集合Lsv中斜率相同的且平行直线之间的距离d满足d≤4的直线聚为一类,得到直线聚合类Lfv={Lfvr|r=1,2,…,Qv},Lcvr表示第r个直线聚合类,Qv为直线聚合类的总数,再利用最小二乘法分别对每个直线聚合类的直线进行拟合,结果为直线集合Lfv={Lfvr|r=1,2,…,Qv},Qv为直线拟合后的直线总数,Lfvr表示由直线聚合类Lcvr拟合得到的直线;进一步利用Lfvr在图像F1中的位置,过滤图像中间部分的垂直线,结果为直线集合Lbv={Lbvr|r=1,2,…,Tv},Tv为过滤垂直线后的直线总数;最后利用在图像F1区域内直线Lbvr所经过的像素点灰度值构成集合并计算该集合的方差,进一步得到直线集合Lbv对应的灰度值方差集合Var,获取Lbv中灰度值方差最小的两条直线即为船槽舱位垂直边缘直线Lv1和Lv2
步骤2.3:利用步骤2.1和步骤2.2检测到的船槽舱位边缘水平直线Lh以及垂直直线Lv1和Lv2,分别计算水平直线和垂直直线的交点,结果得到P={P1,P2},其中P1为直线Lh和直线Lv1的交点,P2为直线Lh和直线Lv2的交点;
步骤2.4:同理,可得到另外一组双目摄像头的船槽舱位图像F2中的船槽舱位水平边缘直线和垂直边缘直线,进一步可得图像F2中的直线交点P3和P4,其中点P3与点P1对应,点P4和点P2对应,这四个点构成了船槽舱位的整体边缘轮廓;
进一步根据集装箱船舶船槽安装工艺的标准可知船槽的实际宽度为length,根据式(3),利用船槽舱位的四个顶点P1、P2、P3、P4可计算出船槽舱位的长度D:
D = | P 1 P 2 | + | P 3 P 4 | 2 - - - ( 3 )
其中|P1P2|为点P1到P2的距离,|P3P4|为点P3到点P4的距离;
进一步按照船槽宽度对船槽舱位进行分段,具体步骤如下:
步骤3.1:首先将点P1和点P3的坐标保存到第一个船槽E1中,其次从坐标点P1开始,在对应的直线P1P2上找到第一个和点P1之间的距离为船槽宽度length的点A,同理,从坐标点P3开始,在对应的直线P3P4上找到第一个和点P3之间的距离为船槽宽度length的点B,同时保证直线AB和直线P1P3的斜率相同;
步骤3.2:将步骤3.1找到的点A和点B保存到第一个船槽E1中,则在船槽实体E1中包含点P1、P3、A、B,这四个点标识了第一个船槽的位置,再将E1保存到船槽队列E={Ei|i=1,2,…,K}中;进一步再将点A和点B保存到第二个船槽E2中,再按照步骤3.1的方法,找到属于第二个船槽的另外两个顶点;循环整个过程,直到点P2和点P4为止,最后得到一个船槽队列,船槽队列中的每个船槽包括四个顶点,这四个顶点标识船槽的具体位置,即可定位船槽,图5为本实施例中的船槽E1定位示意图。
实施本发明后,用于船槽的定位,可改善传统以人工引导为主的集装箱装卸工作模式,提升了船舶集装箱装卸数字化和智能化水平,是一项改善生产和工作环境的多赢工程,对提高作业效率、提高集装箱装卸安全性以及降低成本非常有利。
本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举,本发明的保护范围的不应当被视为仅限于实施例所陈述的具体形式,本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (4)

1.一种基于视觉扫描的船槽定位方法,包括集装箱船槽舱位扫描、船槽舱位图像拼接、图像预处理与数学形态学船槽边缘检测、船槽舱位边缘直线检测、船槽舱位分段及船槽定位,
所述集装箱船槽舱位扫描:当需要进行集装箱装卸时,首先使用已标定完成的双目视觉系统,以集装箱船靠岸一侧为起点,逐渐移动吊具并不断拍摄船槽舱位图像,直到吊具到达船体另一侧为止,结果得到一组有序的船槽舱位图像f={fi|i=1,2,…n},其中n为图像数量,fi表示第i张图像;
所述船槽舱位图像拼接:实时在移动吊具拍摄船槽舱位图像的过程中,图像拼接算法实时地拼接相邻的两张图像,最后得到一组双目摄像头的完整的船槽舱位图F1
所述图像预处理与数学形态学船槽边缘检测:对经过图像拼接得到的船槽舱位图像F1进行图像灰度化处理、图像去噪声处理、图像锐化处理以及图像高斯平滑处理,进一步利用数学形态学边缘检测方法对图像F1进行边缘检测,根据式子(1),得到边缘图像G:
其中0≤ρ≤1,ΔG=Gmax-Gmin,Gmax=max{G1,G2},Gmin=min{G1,G2},e1、e2和e3表示形态学检测用到的结构元素,“Θ”表示腐蚀操作,表示膨胀操作,“ο”表示开运算操作,“·”表示闭运算操作;
所述船槽舱位边缘直线检测:利用霍夫变换直线检测方法对船槽舱位边缘图像G进行直线检测,得到直线集合L={Lj|j=1,2,…,m},m为检测的直线总数;进一步对直线集合L进行直线过滤,分别得到船槽舱位边缘水平线Lh和船槽舱位边缘垂直线Lv1和Lv2,计算水平直线和垂直直线的交点,结果得到P={P1,P2},其中P1为直线Lh和直线Lv1的交点,P2为直线Lh和直线Lv2的交点,重复船槽舱位图像拼接、图像预处理与数学形态学船槽边缘检测及船槽舱位边缘直线检测步骤,得到另外一组双目摄像头的船槽舱位图像F2中的船槽舱位水平边缘直线和垂直边缘直线,进一步得图像F2中的直线交点P3和P4,其中点P3与点P1对应,点P4和点P2对应,这四个点构成了船槽舱位的整体边缘轮廓;
所述船槽舱位分段及船槽定位:根据船槽安装工艺的标准,量出船槽的实际宽度为length,根据式(2),利用船槽舱位的四个顶点P1、P2、P3、P4计算出船槽舱位的长度D:
D = | P 1 P 2 | + | P 3 P 4 | 2 - - - ( 2 )
其中|P1P2|为点P1到P2的距离,|P3P4|为点P3到点P4的距离,得到的四个顶点用于标识船槽的具体位置,即能定位船槽。
2.根据权利要求1所述的一种基于视觉扫描的船槽定位方法,其特征在于所述船槽舱位图像拼接具体步骤如下:
步骤1.1:当船槽舱位图像序列f中有两张船槽舱位图像时,就启动图像拼接算法;
步骤1.2:从图像序列f中获取相邻的两张船槽舱位图像f1和f2,再分别利用SIFT算法提取图像的SIFT特征;
步骤1.3:利用K-DTree和BBN算法,对步骤1.2提取的两张船槽舱位图的SIFT特征匹配点进行查询;
步骤1.4:利用RANSAC算法筛选步骤1.3所查询的特征匹配点并计算变换矩阵H,该变换矩阵表示两张图像的重叠区域;
步骤1.5:利用步骤1.4得到的变换矩阵H、图像f1和f2进行图像拼接,得到拼接图F1,并将图像拼接过程分为三部分:(1)取图像f2经变换矩阵H变换生成一张新图像作为拼接图F1的初始图像;(2)取图像f1和图像f2重叠区域的加权平均作为拼接图像F1的中间部分;(3)取图像f1去掉重叠区域的剩余部分作为拼接图像F1的左边部分,其中加权平均的权重选择根据图像f1和f2重叠区域的宽度以及重叠区域中的点到重叠区域左边界和右边界的距离来计算重叠区域的像素值PixelF,具体见式(3):
Pixel F = d 1 d 1 + d 2 * Pixel f 1 + d 2 d 1 + d 2 * Pixel f 2 - - - ( 3 ) 其中d1为图像重叠区域中的点到左边界的距离,d2为图像重叠区域中的点到右边界的距离,为重叠区域中的点在图像f1中的像素值,为重叠区域中的点在图像f2中的像素值。
3.根据权利要求1所述的一种基于视觉扫描的船槽定位方法,其特征在于所述船槽舱位边缘直线检测具体步骤如下:
步骤2.1:对船槽边缘的水平线进行检测,首先通过判断直线Lj的斜率,过滤直线斜率不满足|K|≤0.087的直线,得到直线候选集合Lsh={Lshk|k=1,2,…,Nh},Nh为过滤后直线的总数;其次把直线候选集合Lsh中斜率相同的且平行直线之间的距离d满足d≤4的直线聚为一类,得到直线聚合类Lch={Lchr|r=1,2,…,Qh},Lchr表示第r个直线聚合类,Qh为直线聚合类的数量;再利用最小二乘法分别对每个直线聚合类中的直线进行拟合,结果得到一个直线集合Lfh={Lfhr|r=1,2,…,Qh},Qh为直线拟合后的直线总数,Lfhr表示由直线聚合类Lchr拟合得到的直线;最后利用在图像F1区域内直线Lfhr所经过的像素点灰度值构成集合并计算该集合的方差,进一步得到直线集合Lfh对应的灰度值方差集合Var,获取Lfh中灰度值方差最小的直线即为船槽舱位水平边缘直线Lh;
步骤2.2:对船槽舱位边缘垂直线进行检测,首先通过判断直线Lj的斜率,保留直线斜率满足|K|≥11.43的直线,进一步得到直线候选集合Lsv={Lsvk|k=1,2,…,Nv},Nv为过滤后直线的总数;其次把直线候选集合Lsv中斜率相同的且平行直线之间的距离d满足d≤4的直线聚为一类,得到直线聚合类Lcv={Lcvr|r=1,2,…,Qv},Lcvr表示第r个直线聚合类,Qv为直线聚合类的总数,再利用最小二乘法分别对每个直线聚合类的直线进行拟合,结果为直线集合Lfv={Lfvr|r=1,2,…,Qv},Qv为直线拟合后的直线总数,Lfvr表示由直线聚合类Lcvr拟合得到的直线;进一步利用Lfvr在图像F1中的位置,过滤图像中间区域内的垂直线,结果得到直线集合Lbv={Lbvr|r=1,2,…,Tv},Tv为过滤垂直线后的直线总数;最后利用在图像F1区域内直线Lbvr所经过的像素点灰度值构成集合并计算该集合的方差,进一步得到直线集合Lbv对应的灰度值方差集合Var,获取Lbv中灰度值方差最小的两条直线即为船槽舱位垂直边缘直线Lv1和Lv2
步骤2.3:利用步骤2.1和步骤2.2检测到的船槽舱位边缘水平直线Lh以及垂直直线Lv1和Lv2,分别计算水平直线和垂直直线的交点,结果得到P={P1,P2},其中P1为直线Lh和直线Lv1的交点,P2为直线Lh和直线Lv2的交点;
步骤2.4:重复步骤2.1-2.3,得到另外一组双目摄像头的船槽舱位图像F2中的船槽舱位水平边缘直线和垂直边缘直线,进一步得图像F2中的直线交点P3和P4,其中点P3与点P1对应,点P4和点P2对应,这四个点构成了船槽舱位的整体边缘轮廓。
4.根据权利要求1所述的一种基于视觉扫描的船槽定位方法,其特征在于船槽舱位分段按照船槽宽度进行分段,具体步骤如下:
步骤3.1:首先将点P1和点P3的坐标保存到第一个船槽E1中,其次从坐标点P1开始,在对应的直线P1P2上找到第一个和点P1之间的距离等于船槽宽度length的点A,同理,从坐标点P3开始,在对应的直线P3P4上找到第一个和点P3之间的距离等于船槽宽度length的点B,同时保证直线AB和直线P1P3的斜率相同;
步骤3.2:将步骤3.1找到的点A和点B保存到第一个船槽E1中,则在船槽实体E1中包含点P1、P3、A、B,这四个点标识了第一个船槽的位置,再将E1保存到船槽队列E={Ei|i=1,2,…,K}中,其中K为船槽的总个数;进一步将点A和点B保存到第二个船槽E2中,再按照步骤3.1的方法,找到属于第二个船槽的另外两个顶点,循环整个过程,直到点P2和点P4为止,最后得到一个船槽队列E,船槽队列中的每个船槽包括四个顶点,这四个顶点标识船槽的具体位置,即可定位船槽。
CN201610056807.6A 2016-01-27 2016-01-27 一种基于视觉扫描的船槽定位方法 Active CN105719241B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610056807.6A CN105719241B (zh) 2016-01-27 2016-01-27 一种基于视觉扫描的船槽定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610056807.6A CN105719241B (zh) 2016-01-27 2016-01-27 一种基于视觉扫描的船槽定位方法

Publications (2)

Publication Number Publication Date
CN105719241A true CN105719241A (zh) 2016-06-29
CN105719241B CN105719241B (zh) 2019-02-05

Family

ID=56154981

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610056807.6A Active CN105719241B (zh) 2016-01-27 2016-01-27 一种基于视觉扫描的船槽定位方法

Country Status (1)

Country Link
CN (1) CN105719241B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107514994A (zh) * 2017-07-12 2017-12-26 浙江工业大学 一种基于误差补偿的船槽定位方法
CN108764171A (zh) * 2018-05-31 2018-11-06 四川斐讯信息技术有限公司 一种拼接图像的识别方法及系统
CN109455622A (zh) * 2017-12-15 2019-03-12 天津埃特维科技有限公司 集装箱吊具的视觉识别系统以及集装箱的吊箱方法
CN109978879A (zh) * 2019-04-04 2019-07-05 辽宁鼎汉奇辉电子系统工程有限公司 基于铁路货车装载视频监视的箱角入槽状态检测方法
CN110136059A (zh) * 2019-04-04 2019-08-16 哈尔滨理工大学 直线特征的风电叶片图像拼接方法
CN111899567A (zh) * 2019-05-06 2020-11-06 江苏金海星导航科技有限公司 一种基于定位的船舶防碰撞优化方法及系统
CN117876713A (zh) * 2024-01-16 2024-04-12 长安大学 一种塔式起重机吊钩的测距方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020024598A1 (en) * 2000-07-25 2002-02-28 Satoshi Kunimitsu Detecting system for container's location
DE10107048A1 (de) * 2001-02-13 2002-08-29 Siemens Ag Betriebsverfahren und Bedienungseinrichtung für automatisierte Containerkaikrane
CN101251381A (zh) * 2007-12-29 2008-08-27 武汉理工大学 基于机器视觉的双集装箱定位系统
CN102184398A (zh) * 2011-06-17 2011-09-14 电子科技大学 一种基于边缘检测的集装箱号码定位方法
CN104376322A (zh) * 2014-12-01 2015-02-25 上海海事大学 一种集装箱箱号预处理质量的智能评测方法
CN104574008A (zh) * 2014-08-13 2015-04-29 安迅捷集装箱码头(深圳)有限公司 一种集装箱装、卸船操作方法、装船操作系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020024598A1 (en) * 2000-07-25 2002-02-28 Satoshi Kunimitsu Detecting system for container's location
DE10107048A1 (de) * 2001-02-13 2002-08-29 Siemens Ag Betriebsverfahren und Bedienungseinrichtung für automatisierte Containerkaikrane
CN101251381A (zh) * 2007-12-29 2008-08-27 武汉理工大学 基于机器视觉的双集装箱定位系统
CN102184398A (zh) * 2011-06-17 2011-09-14 电子科技大学 一种基于边缘检测的集装箱号码定位方法
CN104574008A (zh) * 2014-08-13 2015-04-29 安迅捷集装箱码头(深圳)有限公司 一种集装箱装、卸船操作方法、装船操作系统
CN104376322A (zh) * 2014-12-01 2015-02-25 上海海事大学 一种集装箱箱号预处理质量的智能评测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HEE-JOO YOON: "Real-time container position estimation method using stereo vision for container auto-landing system", 《INTERNATIONAL CONFERENCE ON CONTROL, AUTOMATION AND SYSTEMS》 *
谢丁龙: "基于计算机视觉的集装箱定位系统的研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107514994A (zh) * 2017-07-12 2017-12-26 浙江工业大学 一种基于误差补偿的船槽定位方法
CN107514994B (zh) * 2017-07-12 2019-11-29 浙江工业大学 一种基于误差补偿的船槽定位方法
CN109455622A (zh) * 2017-12-15 2019-03-12 天津埃特维科技有限公司 集装箱吊具的视觉识别系统以及集装箱的吊箱方法
CN108764171A (zh) * 2018-05-31 2018-11-06 四川斐讯信息技术有限公司 一种拼接图像的识别方法及系统
CN109978879A (zh) * 2019-04-04 2019-07-05 辽宁鼎汉奇辉电子系统工程有限公司 基于铁路货车装载视频监视的箱角入槽状态检测方法
CN110136059A (zh) * 2019-04-04 2019-08-16 哈尔滨理工大学 直线特征的风电叶片图像拼接方法
CN109978879B (zh) * 2019-04-04 2023-04-14 辽宁鼎汉奇辉电子系统工程有限公司 基于铁路货车装载视频监视的箱角入槽状态检测方法
CN111899567A (zh) * 2019-05-06 2020-11-06 江苏金海星导航科技有限公司 一种基于定位的船舶防碰撞优化方法及系统
CN117876713A (zh) * 2024-01-16 2024-04-12 长安大学 一种塔式起重机吊钩的测距方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN105719241B (zh) 2019-02-05

Similar Documents

Publication Publication Date Title
CN105719241A (zh) 一种基于视觉扫描的船槽定位方法
Mi et al. A fast automated vision system for container corner casting recognition
CN106097329B (zh) 一种基于边缘检测的集装箱轮廓定位方法
CN110852173B (zh) 一种针对模糊焊缝的视觉定位方法及系统
CN109785317A (zh) 自动码垛桁架机器人的视觉系统
CN109978869A (zh) 一种基于灰度共生矩阵和Hough变换的海天线检测方法与系统
CN109636815A (zh) 一种基于计算机视觉的金属板带产品标签信息识别方法
CN110852313B (zh) 一种车位检测方法
US9818198B2 (en) Method for near-realtime workspace mapping
CN103679138A (zh) 舰船与港口先验知识支持的大型舰船检测方法
CN103902985A (zh) 一种基于roi的强鲁棒性实时车道侦测算法
CN105741276A (zh) 一种船舶水线提取方法
CN105469401B (zh) 一种基于计算机视觉的船槽定位方法
CN105117726A (zh) 基于多特征区域累积的车牌定位方法
CN105844337A (zh) 一种智能垃圾分类装置
CN117237616B (zh) 一种钢板堆场的物料调运扫描识别系统及方法
CN107514994B (zh) 一种基于误差补偿的船槽定位方法
Huang et al. Robotic arm grasping and placing using edge visual detection system
CN105740768A (zh) 一种局部和全局特征相结合的无人驾驶叉运装置
Jung et al. Advanced sensing system of crane spreader motion (for mobile harbor)
CN107220943A (zh) 融合区域纹理梯度的船舶阴影去除方法
CN108090895B (zh) 一种基于图像处理的集装箱锁孔轮廓提取方法
CN115984806A (zh) 道路标线破损动态检测系统
CN105512607B (zh) 一种集卡锁头位置识别方法
CN116543327A (zh) 作业人员工种识别的方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant