CN106096606B - 一种基于直线拟合的集装箱轮廓定位方法 - Google Patents
一种基于直线拟合的集装箱轮廓定位方法 Download PDFInfo
- Publication number
- CN106096606B CN106096606B CN201610403840.1A CN201610403840A CN106096606B CN 106096606 B CN106096606 B CN 106096606B CN 201610403840 A CN201610403840 A CN 201610403840A CN 106096606 B CN106096606 B CN 106096606B
- Authority
- CN
- China
- Prior art keywords
- point
- container
- lockhole
- point set
- straight line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于直线拟合的集装箱轮廓识别方法,它用安装在吊具上的摄像头采集下方集装箱相对两侧的图像,利用集装箱锁孔粗定位和跟踪方法获得集装箱图像上下锁孔的粗定位区域,并采用图割算法分离前景与背景,得到上下锁孔的二值化轮廓图像,二值化轮廓图像设置两个矩形区域等步骤,最后利用基于双目视觉技术将C1,C2,C3,C4点的像素坐标转换为以吊具为参照物建立的坐标系下的世界坐标,然后将这四个世界坐标点按逆时针或顺时针排序,四个点构成一个四边形即为集装箱轮廓,由此实现集装箱轮廓的定位。本发明通过采用上述技术,有效地解决锁孔图像在边缘提取存在干扰点、Hough直线效果不佳等不足。
Description
技术领域
本发明属于计算机视觉技术和图像处理技术领域,具体涉及一种基于直线拟合的集装箱轮廓定位方法。
背景技术
随着集装箱运输的发展,使得集装箱船舶越来越大,货物集装箱化的比例不断提高,集装箱运量不断上升。从航次经济核算分析,通过缩短集装箱船舶的停泊时间可以降低停泊成本,提高集装箱运输船舶的航行效率并充分发挥船舶单位运输成本的优势,提高经济效益。传统的手动控制抓取集装箱已经极大地影响了生产效率和装卸速度。一台桥吊把集装箱从货轮装到拖车上,过程要求操作精度高,劳动强度大,是比较耗时的一个环节,其中,在桥吊司机将抓具对准集装箱锁孔这一环节花费的时间占主要部分。提高装卸自动化的程度是提高集装箱效率的有效途径,其关键内容就是减少桥吊司机对集装箱锁孔的定位时间并且提升定位的准确性。
为了解决集装箱锁孔定位的问题,国内外学术界、工业界提出了很多方案,其中与本发明较为接近的技术方案包括:梁晓波,程文明(基于双目视觉的集装箱自动识别定位系统的设计[J].西南交通大学,2015)使用安装在集装箱吊具上的高清相机采集下方集装箱锁孔的图像,然后识别图像中吊孔的位置。这种方法存在的问题是相机需要调整到相对理想的位置才能拍摄到清晰的锁孔图像,比较耗时,同时由于吊具锁头的制造偏差以及磨损,近似椭圆形的吊孔坐标并不能很好地和锁头坐标重合。陈丹(集装箱图像识别与定位系统研究与实现[D].西南交通大学,2013)将集装箱锁孔当作角点,采用基于SVM的方法提取出集装箱的顶点集合,并且通过条件判断识别出属于集装箱顶部的顶点,以此定位集装箱轮廓。文中将识别到的顶点作为集装箱锁孔的外侧角点,然而锁孔实际上是有一定尺寸的,无法判断提取到的顶点就是锁孔的外侧角点,通过这种方法得到的集装箱顶部轮廓降低了识别的准确性。发明专利(申请号:201410078600.X,名称:集装箱起重机吊具对箱引导系统)中利用集装箱边缘直线上的点空间坐标等约束锁孔的位置,同时用闭运算和边缘提取方法获得锁孔目标框。但是由于长时间的装卸作业以及雨水等液体的腐蚀和污染,集装箱锁孔表面通常都会非常旧,闭运算和边缘提取对于这类集装箱并不能取得很好的效果。
综上所述,既要实现集装箱锁孔的准确定位,又要能很好地适应新旧集装箱是集装箱锁孔定位的难点,当前方法存在如下不足:(1)近似椭圆形的吊孔中心坐标不能准确代表集装箱顶点的位置(2)识别出的顶点坐标不能很好代表锁孔外侧角点(3)对磨损的锁孔效果不好、光线不足条件下识别率低等等。本发明针对这些问题提出了一种基于直线拟合的集装箱轮廓定位方法。
发明内容
为解决上述问题,本发明的目的在于提供了一种基于直线拟合的集装箱轮廓识别方法。
所述的一种基于直线拟合的集装箱轮廓识别方法,其特征在于包括如下步骤:
步骤1:首先用安装在吊具上的摄像头采集下方集装箱某一侧的图像;
步骤2:然后利用集装箱锁孔粗定位和跟踪方法获得集装箱图像上下锁孔的粗定位区域,该粗定位区域图像的高度为height,宽度为width,单位为像素;
步骤3:对粗定位的上下锁孔区域图像采用图割算法分离前景与背景,分别得到上下锁孔的二值化轮廓图像I1,I2;
步骤4:对I1,I2分别设置两个矩形区域,其中I1设置上侧矩形区域r1和左侧矩形区域r2,I2设置下侧矩形区域r3和左侧矩形区域r4,r1和r3的高度和宽度分别为h和d,r2和r4高度和宽度分别为d和h,单位为像素;
步骤5:对于I1,I2,只对矩形区域内的部分进行操作,分别得到4个点集p1,p2,p3及p4;将得到的4组点集合并为3组,其中点集p1为一组g1,点集p3为一组g2,点集p2、p4合并为一组g3;
步骤6:使用最小二乘法对步骤5中获得的点集gk,k=1,2,3分别进行直线拟合,得到3条直线lk:Akx+Bky+Ck=0,k=1,2,3,根据式(1)、(2)、(3)计算距离方差
式中,(xik,yik)表示点集gk中的第i个点的坐标,Ak、Bk和Ck表示直线lk的参数,Nk表示点集gk中点的个数,dik表示点(xik,yik)到直线lk的垂直距离,表示点集gk中所有dik的平均值;
步骤7:找到每个点集gk内到对应直线lk距离最大的点Pk,将该点从点集gk中排除,再按照步骤6重新计算每个点集gk的距离方差最后计算方差值的变化率:
式中,表示排除点Pk之前的距离方差,Δ表示方差变化率;
步骤8:若Δ≥T,重复步骤6、7,T表示方差变化率的阈值;否则,经过步骤7之后得到最终的3条直线lk,k=1,2,3,求得l1和l3的的交点记为C1,l2和l3的交点记为C2;
步骤9:用安装在吊具上的摄像头采集下方集装箱另一侧的图像,然后重复步骤2~8,获得另一侧的交点C3和C4;
步骤10:利用基于双目视觉技术将C1,C2,C3,C4点的像素坐标转换为以吊具为参照物建立的坐标系下的世界坐标,然后将这四个世界坐标点按逆时针或顺时针排序,四个点构成一个四边形即为集装箱轮廓,由此实现集装箱轮廓的定位。
所述的一种基于直线拟合的集装箱轮廓识别方法,其特征在于步骤4中h、d的范围为:0<h<height且0<h<width,0<d<height且0<d<width保证选取的4个矩形区域rk内的图像都包含一条锁孔的边,k=1,2,3,4。
所述的一种基于直线拟合的集装箱轮廓识别方法,其特征在于步骤5中的4个点集取得方法如下:首先对r1内的图像,从左到右按列扫描,取每列最靠上的非零像素点得到一个点集p1,其次对r2内的图像,从上到下按行扫描,取每行最靠左的非零像素点得到点集p2;然后对r3内的图像,从左到右按列扫描,取每列最靠下的非零像素点得到点集p3,最后对r4内的图像,从上到下按行扫描,取每行最靠左的非零像素点得到点集p4。
本发明的优点是:本发明能有效地解决锁孔图像在边缘提取存在干扰点、Hough直线效果不佳等不足。
附图说明
图1为本发明实施例步骤1采集的集装箱图像;
图2a为本发明实施例步骤2得到的上锁孔粗定位区域图像;
图2b为本发明实施例步骤2得到的下锁孔粗定位区域图像;
图3a为本发明实施例经过步骤3处理的上锁孔粗定位区域图像;
图3b为本发明实施例经过步骤3处理的下锁孔粗定位区域图像;
图4a为本发明实施例图3a经过步骤4设置的矩形区域;
图4b为本发明实施例图3b经过步骤4设置的矩形区域;
图5a为本发明实施例步骤8得到的锁孔拐点图像;
图5b为本发明实施例步骤8得到的锁孔拐点图像;
图中:1-上侧矩形区域r1,2-左侧矩形区域r2,3-下侧矩形区域r3,4-左侧矩形区域r4,5-交点C1,6-交点C2。
具体实施方式
下面结合实施例来详细阐述本发明集装箱轮廓定位方法的具体实施方式。
步骤1:首先用安装在吊具上的摄像头采集下方集装箱某一侧的图像;在本实施例中,如图1;
步骤2:然后利用集装箱锁孔粗定位和跟踪方法获得集装箱图像上下锁孔的粗定位区域,该粗定位区域图像的高度为height,宽度为width,单位为像素;在本实施例中,上锁孔图像如附图2a、下锁孔如图2b,height=140,width=135;所述的集装箱锁孔粗定位和跟踪方法在申请号为201610273182.9的文件中已公开,在此不再详述;
步骤3:对粗定位的上下锁孔区域图像采用图割算法分离前景与背景,得到上下锁孔的二值化轮廓图像I1,I2;在本实施例中,如附图3a、图3b;
步骤4:对I1,I2分别设置两个矩形区域,其中I1设置上侧矩形区域r1 1和左侧矩形区域r2 2,I2设置下侧矩形区域r3 3和左侧矩形区域r4 4,r1和r3高度和宽度分别为h和d,r2和r4高度和宽度分别为d和h,单位为像素;要求满足:0<h<height且0<h<width,0<d<height且0<d<width,保证选取的4个矩形区域rk内的图像都包含一条锁孔的边,k=1,2,3,4;本实施例中,如附图4a和图4b,h=80,d=60;
步骤5:对于I1,I2,只对矩形区域内的部分进行操作;首先对r1内的图像,从左到右按列扫描,取每列最靠上的非零像素点得到一个点集p1,其次对r2内的图像,从上到下按行扫描,取每行最靠左的非零像素点得到点集p2;然后对r3内的图像,从左到右按列扫描,取每列最靠下的非零像素点得到点集p3,最后对r4内的图像,从上到下按行扫描,取每行最靠左的非零像素点得到点集p4;将得到的4组点集合并为3组,其中点集p1为一组g1,点集p3为一组g2,点集p2、p4合并为一组g3;
步骤6:使用最小二乘法对步骤5中获得的点集gk,k=1,2,3分别进行直线拟合,得到3条直线lk:Akx+Bky+Ck=0,k=1,2,3,根据式(1)、(2)、(3)计算距离方差
式中,(xik,yik)表示点集gk中的第i个点的坐标,(Ak,Bk,Ck)表示直线lk的参数,Nk表示点集gk中点的个数,dik表示点(xik,yik)到直线lk的垂直距离,表示点集gk中所有dik的平均值;在本实施例中,l1:0.1031x+0.9947y-683.1388=0、l2:0.0596x-0.9982y+1758.4850=0、l3:0.9999x-0.0144y-1520.1214=0;
步骤7:找到每个点集gk内到对应直线lk距离最大的点Pk,将该点从点集gk中排除,再按照步骤6重新计算每个点集gk的距离方差最后计算方差值的变化率:
式中,表示排除点Pk之前的距离方差,Δ表示方差的变化率;
步骤8:若Δ≥T,重复步骤6、7,T表示方差变化率的阈值;否
则,经过
步骤7之后得到最终的3条直线lk,k=1,2,3,求得l1和l3的交点C1 5,l2和l3的交点C2 6;在本实施例中,如附图5a,图5b,T=10%;
步骤9:用安装在吊具上的摄像头采集下方集装箱另一侧的图像,然后重复步骤2~8,获得另一侧的交点C3和C4;
步骤10:利用基于双目视觉技术将C1,C2,C3,C4点的像素坐标转换为以吊具为参照物建立的坐标系下的世界坐标,然后将这四个世界坐标点按逆时针或顺时针排序,四个点构成一个四边形即为集装箱轮廓,由此实现集装箱轮廓的定位。
本发明的优点是:本发明能有效地解决锁孔图像在边缘提取存在干扰点、Hough直线效果不佳等不足。
Claims (1)
1.一种基于直线拟合的集装箱轮廓识别方法,其特征在于包括如下步骤:
步骤1:首先用安装在吊具上的摄像头采集下方集装箱某一侧的图像;
步骤2:然后利用集装箱锁孔粗定位和跟踪方法获得集装箱图像上下锁孔的粗定位区域,上下锁孔的粗定位区域图像的高度均为height,宽度均为width,单位均为像素;
步骤3:对粗定位的上下锁孔区域图像采用图割算法分离前景与背景,分别得到上下锁孔的二值化轮廓图像I1,I2;
步骤4:对I1,I2分别设置两个矩形区域,其中I1设置上侧矩形区域r1和左侧矩形区域r2,I2设置下侧矩形区域r3和左侧矩形区域r4,r1和r3的高度和宽度分别为h和d,r2和r4高度和宽度分别为d和h,单位为像素,h、d的范围为:0<h<height且0<h<width,0<d<height且0<d<width保证选取的4个矩形区域rn内的图像都包含一条锁孔的边,n=1,2,3,4;
步骤5:对于I1,I2,只对矩形区域内的部分进行操作,分别得到4个点集p1,p2,p3及p4;将得到的4组点集合并为3组,其中点集p1为一组g1,点集p3为一组g2,点集p2、p4合并为一组g3,4个点集取得方法如下:首先对r1内的图像,从左到右按列扫描,取每列最靠上的非零像素点得到一个点集p1,其次对r2内的图像,从上到下按行扫描,取每行最靠左的非零像素点得到点集p2;然后对r3内的图像,从左到右按列扫描,取每列最靠下的非零像素点得到点集p3,最后对r4内的图像,从上到下按行扫描,取每行最靠左的非零像素点得到点集p4;
步骤6:使用最小二乘法对步骤5中获得的点集gk,k=1,2,3分别进行直线拟合,得到3条直线lk:Akx+Bky+Ck=0,k=1,2,3,根据式(1)、(2)、(3)计算距离方差
式中,(xik,yik)表示点集gk中的第i个点的坐标,Ak、Bk和Ck表示直线lk的参数,Nk表示点集gk中点的个数,dik表示点(xik,yik)到直线lk的垂直距离,表示点集gk中所有dik的平均值;
步骤7:找到每个点集gk内到对应直线lk距离最大的点Pk,将该点从点集gk中排除,再按照步骤6重新计算每个点集gk的距离方差最后计算方差值的变化率:
式中,表示排除点Pk之前的距离方差,Δ表示方差变化率;
步骤8:若Δ≥T,重复步骤6、7,T表示方差变化率的阈值;否则,经过步骤7之后得到最终的3条直线lk,k=1,2,3,求得l1和l3的的交点记为C1,l2和l3的交点记为C2;
步骤9:用安装在吊具上的摄像头采集下方集装箱另一侧的图像,然后重复步骤2~8,获得另一侧的交点C3和C4;
步骤10:利用基于双目视觉技术将C1,C2,C3,C4点的像素坐标转换为以吊具为参照物建立的坐标系下的世界坐标,然后将这四个世界坐标点按逆时针或顺时针排序,四个点构成一个四边形即为集装箱轮廓,由此实现集装箱轮廓的定位。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610403840.1A CN106096606B (zh) | 2016-06-07 | 2016-06-07 | 一种基于直线拟合的集装箱轮廓定位方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610403840.1A CN106096606B (zh) | 2016-06-07 | 2016-06-07 | 一种基于直线拟合的集装箱轮廓定位方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106096606A CN106096606A (zh) | 2016-11-09 |
CN106096606B true CN106096606B (zh) | 2019-11-05 |
Family
ID=57229024
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610403840.1A Active CN106096606B (zh) | 2016-06-07 | 2016-06-07 | 一种基于直线拟合的集装箱轮廓定位方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106096606B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108394814A (zh) * | 2018-02-05 | 2018-08-14 | 上海振华重工(集团)股份有限公司 | 基于图像识别的岸桥大车引导系统及方法 |
CN108921858A (zh) * | 2018-06-26 | 2018-11-30 | 中北大学 | 一种自动检测吊耳位置的识别方法 |
CN111704035B (zh) * | 2020-07-02 | 2022-06-14 | 上海驭矩信息科技有限公司 | 一种基于机器视觉的集装箱装卸集卡自动定位装置及方法 |
CN111704036B (zh) * | 2020-07-03 | 2022-03-01 | 上海驭矩信息科技有限公司 | 一种吊装设备对位系统及方法 |
CN112686921B (zh) * | 2021-01-08 | 2023-12-01 | 西安羚控电子科技有限公司 | 一种基于轨迹特征的多干扰无人机检测跟踪方法 |
CN112465823B (zh) * | 2021-01-27 | 2021-06-04 | 聚时科技(上海)有限公司 | 一种基于视觉的集装箱门锁杆变形检测方法 |
CN114219842B (zh) * | 2021-12-14 | 2022-08-12 | 东南大学 | 港口集装箱自动装卸作业中的视觉识别、测距与定位方法 |
CN117152672B (zh) * | 2023-09-06 | 2024-08-06 | 理工雷科智途(北京)科技有限公司 | 一种基于点云多边形拟合的船舱行驶区域划分方法及系统 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105469401A (zh) * | 2015-11-25 | 2016-04-06 | 浙江工业大学 | 一种基于计算机视觉的船槽定位方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5671281B2 (ja) * | 2010-08-20 | 2015-02-18 | キヤノン株式会社 | 位置姿勢計測装置、位置姿勢計測装置の制御方法及びプログラム |
US9330339B2 (en) * | 2012-06-11 | 2016-05-03 | Hi-Tech Solutions Ltd. | System and method for detecting cargo container seals |
CN103818828B (zh) * | 2014-03-05 | 2015-12-09 | 上海振华重工电气有限公司 | 集装箱起重机吊具对箱引导系统 |
US10145968B2 (en) * | 2014-05-12 | 2018-12-04 | Purdue Research Foundation | Linear fitting of multi-threshold counting data |
CN105069420A (zh) * | 2015-07-27 | 2015-11-18 | 上海振华重工(集团)股份有限公司 | 集装箱锁孔自动辨识定位方法和系统 |
CN105303555B (zh) * | 2015-09-18 | 2017-12-05 | 浙江工业大学 | 一种基于双目视觉的集卡定位与引导的方法及其系统 |
CN105512607B (zh) * | 2015-11-25 | 2019-01-15 | 浙江工业大学 | 一种集卡锁头位置识别方法 |
-
2016
- 2016-06-07 CN CN201610403840.1A patent/CN106096606B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105469401A (zh) * | 2015-11-25 | 2016-04-06 | 浙江工业大学 | 一种基于计算机视觉的船槽定位方法 |
Also Published As
Publication number | Publication date |
---|---|
CN106096606A (zh) | 2016-11-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106096606B (zh) | 一种基于直线拟合的集装箱轮廓定位方法 | |
CN106097329B (zh) | 一种基于边缘检测的集装箱轮廓定位方法 | |
CN102043950B (zh) | 基于canny算子和边缘点统计的车辆轮廓识别方法 | |
CN105893949B (zh) | 一种复杂路况场景下的车道线检测方法 | |
CN111563412B (zh) | 一种基于参数空间投票和贝塞尔拟合的快速车道线检测方法 | |
CN102999753B (zh) | 车牌定位方法 | |
CN106097332B (zh) | 一种基于角点检测的集装箱轮廓定位方法 | |
CN105740782B (zh) | 一种基于单目视觉的驾驶员换道过程量化方法 | |
Chen et al. | An improved license plate location method based on edge detection | |
CN102663760B (zh) | 一种对图像中的车辆挡风镜区域进行定位分割的方法 | |
CN109190483B (zh) | 一种基于视觉的车道线检测方法 | |
CN104156731A (zh) | 基于人工神经网络的车牌识别系统与方法 | |
CN109086687A (zh) | 基于pca降维的hog-mblbp融合特征的交通标志识别方法 | |
CN103927526A (zh) | 一种基于高斯差分多尺度边缘融合的车辆检测方法 | |
CN103198315A (zh) | 基于字符轮廓和模板匹配的车牌字符分割算法 | |
CN104050684B (zh) | 一种基于在线训练的视频运动目标分类方法与系统 | |
CN109886175B (zh) | 一种直线与圆弧相结合的车道线检测方法 | |
CN104598907B (zh) | 一种基于笔画宽度图的图像中文字数据提取方法 | |
CN103093200A (zh) | 快速精准定位图像中车牌的算法 | |
CN103984949A (zh) | 基于高低帽变换和连通域的车牌定位方法及其系统 | |
CN105469046A (zh) | 基于pca和surf特征级联的车辆车型识别方法 | |
CN103996031A (zh) | 一种自适应阈值分割的车道线检测系统及其方法 | |
CN103279755A (zh) | 基于汽车底部阴影特征的快速车牌定位方法 | |
CN108154114B (zh) | 一种车道线检测的方法 | |
CN104182728A (zh) | 一种基于模式识别的车标自动定位与识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |