CN105512607B - 一种集卡锁头位置识别方法 - Google Patents

一种集卡锁头位置识别方法 Download PDF

Info

Publication number
CN105512607B
CN105512607B CN201510829186.6A CN201510829186A CN105512607B CN 105512607 B CN105512607 B CN 105512607B CN 201510829186 A CN201510829186 A CN 201510829186A CN 105512607 B CN105512607 B CN 105512607B
Authority
CN
China
Prior art keywords
image
max
representing
theta
lock head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510829186.6A
Other languages
English (en)
Other versions
CN105512607A (zh
Inventor
高飞
汪韬
童伟圆
倪逸扬
卢书芳
陆佳炜
肖刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN201510829186.6A priority Critical patent/CN105512607B/zh
Publication of CN105512607A publication Critical patent/CN105512607A/zh
Application granted granted Critical
Publication of CN105512607B publication Critical patent/CN105512607B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种集卡锁头位置识别方法，尤其是一种基于图像边缘检测技术来识别集装箱卡车用于放置集装箱的锁头位置的方法。它通过拍摄照片，经一系列处理及计算后，得到对应集卡左右锁头中心位置，完成集卡锁头位置的识别。与传统的人员指挥相比，本发明实现了自动识别集装箱放置的锁头位置，进一步实现了码头装卸集装箱自动化，节省了大量的人力成本。

Description

一种集卡锁头位置识别方法
技术领域
本发明涉及一种集卡锁头位置识别方法，尤其是一种基于图像边缘检测技术来识别集装箱卡车用于放置集装箱的锁头位置的方法。
背景技术
在码头，集装箱卡车(下文简称集卡)是集装箱运输重要的物流工具。通常情况下，在将集装箱从货轮运往各地之前，集卡进入码头贝位后，工作人员会利用起重机从货轮上把集装箱吊起，移动到集卡上方，由工人根据经验或视频将集装箱放置在集卡上，其中的关键就是要求将集装箱的锁孔对准集卡上的锁头位置，而这项工作常常由工人手工完成，当有大量集卡同时作业时，由于人员不足或者指挥不熟练将会大大降低集装箱放置效率。
为提高放置效率，目前有大量的研究人员提出了各种自动化方案来进行集卡的识别：论文(基于双目立体视觉的集装箱卡车定位方法研究。计算机应用与软件，2010)提到一种集卡定位引导方法，该方法通过跟踪算法得到卡车运动的实时位置，从而进行集卡定位；论文(机器视觉技术在岸边集装箱起重机下集卡对位系统中的应用。集装箱化，2009)也提到了类似的方法，但该方法并未直接识别得到集卡锁头的准确位置，只是标记了集卡的大致轮廓，后续的搬运集装箱操作还是需要相关专业人员精确指挥，并不能完全满足集装箱取放自动化的需求；发明专利(申请号：CN201410851613，名称：集装箱码头桥吊下集卡的对位及安全控制系统的方法)中提出了利用激光扫描仪对指定车道进行扫描测距，建立以车道中心线为切面的点集，从此点集中分别识别出集装箱、拖架、集卡车首，从而计算对位偏离值，判断是否准确对位，但是此方法需要较多的设备配合，对于设备位置的精度有较高要求，系统容易受干扰；发明专利(申请号：CN104528531A，名称：集装箱码头RTG、RGM下集卡的对位引导系统的方法)中提出了将激光扫描仪安置在RTG/RMG动力房或电气房上部平台栏杆上，将LED显示屏和扩音器等部件安装在RTG/RMG支腿上，解决了之前专利的设备精度问题，但是仍不可避免的需要较多设备一起配合，并且无法作用于多车道。
发明内容
为了克服现有集装箱与集卡锁头对位操作效率低下的不足，本发明提供了一种集卡锁头位置识别方法。
所述的一种集卡锁头位置识别方法，其特征在于包括具体步骤如下：
步骤1：用工业相机拍摄集卡的图像，并转成灰度图像f；
步骤2：根据式(1)-(7)采用混合的形态学算法提取图像f的边缘信息：
Gmin＝min{G1,G2} (4)
Gmax＝max{G1,G2} (5)
ΔG＝Gmax-Gmin (6)
G＝G3+θΔG,0≤θ≤1 (7)
其中，b1、b2、b3都属于灰度级形态学中的结构元，b1表示一种不平坦结构元，b2、b3分别表示一种平坦结构元，G1表示了一种经由多结构元降低负噪声的边缘图像，G2表示了一种经由多结构元降低正噪声的边缘图像，G3表示了一种经由多结构元降低噪声的边缘图像，Gmin表示G1、G2叠加后的较暗边界，Gmax表示G1、G2叠加后的较亮边，θ表示一种阈值，用于控制最终结果图像G的轮廓，表示膨胀操作，Θ是腐蚀操作，是开操作，●是闭操作；
步骤3：根据图像G生成直方图
H＝{pi|pi＝ni/n，i＝0，1，…，255}，其中ni表示灰度值为i的像素个数，n表示图像G的像素总数，pi表示灰度值为i的像素个数占图像G中的像素总素的比例；
步骤4：确定阈值threshold使其满足式(8)：
其中的μ为事先选定，μ∈[0.9,1]；
步骤5：根据式(9)对图像G进行二值化得到图像Gf：
步骤6：使用标准霍夫变换提取得到二值图Gf上的直线段集L＝{li|i＝1,2,...,m}；过滤掉L集合中与水平方向夹角不大于45°的线段，得到集合Ltheta＝{li|theta(li)∈([45°,135°]∪[-135°,-45°])且i＝1,2,…,m}，theta(li)表示直线段li与水平方向的夹角；在Ltheta中找到最长的一条直线段并延伸至图像G的边界，将该直线段记为lmax；
步骤7：在图像G中，在lmax的中点处上下各截取大小为bound*bound的子图像，分别记为和其中bound表示子图像的宽度和高度，根据式(10)计算：
确定的集卡锁头位置；
步骤8：在步骤7中确定的集卡锁头位置方位选取最近的与lmax平行的直线段作为集卡锁头所在平板的另一条边缘线并延伸至图像G的边界，记该直线段为lneares；
步骤9：在图像G中截取lmax和lneares之间的区域子图，记为Gbw，使用OTSU方法确定阈值并对Gbw进行二值化，得到图像Gbwb；
步骤10：根据式(11)的开闭运算增强Gbwb中的连通区域，得到图Gbwc：
其中，
步骤11：找出Gbwc中最大的连通区域，记为Gbwd；
步骤12：使用与lmax方向垂直的线型结构对Gbwd做开运算，并剔除开运算结果后过于小的连通区域，得到目标区域二值图；
步骤13：对目标区域二值图取外接矩形，并显示在原图f上；
步骤14：通过计算外接矩形区域的中心点，得到对应集卡左右锁头中心位置，完成集卡锁头位置的识别。
所述的一种集卡锁头位置识别方法，其特征在于步骤2中θ趋向1则有更多噪声，更少的细节，更清晰的边界，反之亦反。
所述的一种集卡锁头位置识别方法，其特征在于步骤4中确定threshold的μ为事先选定，μ∈[0.9，1]，μ趋向0.9则有更多噪声，更多的细节，更连续的边界，反之亦反。
所述的一种集卡锁头位置识别方法，其特征在于步骤7中若sumup>sumdown，则说明集卡锁头位置在图像G中的上方；否则，集卡锁孔位置在图像G中的下方。
所述的一种集卡锁头位置识别方法，其特征在于步骤7中bound赋值为20-50。
所述的一种集卡锁头位置识别方法，其特征在于步骤7中bound赋值为20。
所述的一种集卡锁头位置识别方法，其特征在于步骤12中并剔除开运算结果像素数量小于1000的连通区域。
本发明的有益效果为：与传统的人员指挥相比，本发明实现了自动识别集装箱放置的锁头位置，进一步实现了码头装卸集装箱自动化，节省了大量的人力成本，另外，和使用激光扫描仪的方案相比，本发明对设备要求较低，可移植性较强。
附图说明
图1为具体实施例示例用图；
图2为使用数学形态学混合操作得到的边缘信息图像；
图3为图2经自适应阈值处理过的边缘图像；
图4为图3经自标准霍夫变换过并标记直线的图像；
图5为图4经掩膜切分后的图像；
图6为图5感兴趣区域的直方图并标记了OTSU算出的阈值；
图7为图6使用OTSU阈值处理后的二值图；
图8为图7使用开闭运算平滑后的二值图；
图9为图10去掉相对小型连通区域的二值图；
图10为图9使用线形结构开运算后的二值图；
图11为取图10连通区域轮廓所得的处理结果图像。
具体实施例
下面结合实施例来详细阐述一种集卡锁头位置识别方法的具体实施方式。
参照图1～图11，一种集卡锁头位置识别方法，本实施例中，按如下步骤进行：
步骤1：工业相机拍摄集卡的图像，参照图1，转成灰度图像f；
步骤2：根据式(1)-(7)采用混合的形态学算法提取图像f的边缘信息。
Gmin＝min{G1，G2} (4)
Gmax＝max{G1，G2} (5)
ΔG＝Gmax-Gmin (6)
G＝G3+θΔG，0≤θ≤1 (7)
其中，θ＝1；b1、b2、b3选择了不同的结构元是因为采用的结构元决定了输出图像的几何信息，不同结构元将会提取图像不同的结构信息，b1结构元从8邻接元素到4邻接元素依次增大，其目的在于增强图像边缘，b2、b3结构元的选择是为了检测不同方向上的边缘。θ选择值1是为了保留更完整的边界以便后续操作，处理后效果参照图2；
步骤3：根据图像G生成直方图
H＝{pi|pi＝ni/n，i＝0，1，…，255}，其中ni表示灰度值为i的像素个数，n表示图像G的像素总数，pi表示灰度值为i的像素个数占图像G中的像素总素的比例；
步骤4：确定阈值threshold使其满足式(8)：
其中的μ为事先选定，μ∈[0.9，1]，μ趋向0.9则有更多噪声，更多的细节，更连续的边界，反之亦反；μ的选择依据是要尽量使步骤5中的图像Gf存在较少的噪声、细节及模糊的边界,在本实施例中，选择μ为0.96；
步骤5：根据式(9)对图像G进行二值化得到图像Gf：
处理后效果参照图3。
步骤6：使用标准霍夫变换提取得到二值图Gf上的直线段集L＝{li|i＝1,2,...,m}；过滤掉L集合中与水平方向夹角不大于45°的线段，得到集合Ltheta＝{li|theta(li)∈([45°,135°]∪[-135°,-45°])且i＝1,2,…,m}，theta(li)表示直线段li与水平方向的夹角；在Ltheta中找到最长的一条直线段并延伸至图像G的边界，将该直线段记为lmax；处理结果参照图4，其中红色线段为lmax；
步骤7：在图像G中，在lmax的中点处上下各截取大小为bound*bound的子图像，分别记为和其中bound表示子图像的宽度和高度，bound赋值为20-50，在本实施例中bound赋值为20，在具体使用中务必需要选取相对较小的范围,根据式(10)计算：
计算结果sumup>sumdown，说明集卡锁孔位置在图像G中的上方；
步骤8：在步骤7中确定的集卡锁孔位置方位选取最近的与lmax平行的直线段作为集卡锁头所在平板的另一条边缘线并延伸至图像G的边界，记该直线段为lneares；
步骤9：在图像G中截取lmax和lneares之间的区域子图，记为Gbw，参考图5。之后使用OTSU方法确定阈值并对Gbw进行二值化，得到图像Gbwb，处理结果参考图6、7；
步骤10：根据式(11)的开闭运算增强Gbwb中的连通区域，得到图Gbwc：
其中，二值图像闭运算用来填补小洞与图像中狭窄和凹陷的区域，轮廓的缺口，开运算与闭运算相反，消弱狭窄的部分，去除细的突出。SE1结构元的选择相对较大是为了填补主要对象内的间隙，防止分割主要对象，处理结果参考图8；
步骤11：找出Gbwc中的连通区域，并找出最大的连通域，记为Gbwd，并去除其余连通域，处理结果参考图9；
步骤12：使用与lmax方向垂直的线形结构对Gbwd做开运算，并剔除开运算结果后小于一定值的连通区域，本发明中剔除开运算结果像素数量小于1000的连通区域，本发明将像素数量小于1000的连通区域剔除，得到目标区域二值图，处理结果参考图10；
步骤13：对目标区域二值图取外接矩形，并显示在原图f上，处理结果参考图11；
步骤14：通过计算外接矩形区域的中心点，得到对应集卡左右锁头中心位置，完成集卡锁头位置的识别。
本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围的不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (7)

1.一种集卡锁头位置识别方法，其特征在于包括具体步骤如下：
步骤1：用工业相机拍摄集卡的图像，并转成灰度图像f；
步骤2：根据式(1)-(7)采用混合的形态学算法提取图像f的边缘信息：
Gmin＝min{G1,G2} (4)
Gmax＝max{G1,G2} (5)
ΔG＝Gmax-Gmin (6)
G＝G3+θΔG,0≤θ≤1 (7)
其中，b1、b2、b3都属于灰度级形态学中的结构元，b1表示一种不平坦结构元，b2、b3分别表示一种平坦结构元，G1表示了一种经由多结构元降低负噪声的边缘图像，G2表示了一种经由多结构元降低正噪声的边缘图像，G3表示了一种经由多结构元降低噪声的边缘图像，Gmin表示G1、G2叠加后的较暗边界，Gmax表示G1、G2叠加后的较亮边，θ表示一种阈值，用于控制最终结果图像G的轮廓，表示膨胀操作，Θ是腐蚀操作，是开操作，·是闭操作；
步骤3：根据图像G生成直方图
H＝{pi|pi＝ni/n，i＝0，1，…，255}，其中ni表示灰度值为i的像素个数，n表示图像G的像素总数，pi表示灰度值为i的像素个数占图像G中的像素总素的比例；
步骤4：确定阈值threshold使其满足式(8)：
其中的μ为事先选定，μ∈[0.9,1]；
步骤5：根据式(9)对图像G进行二值化得到图像Gf：
步骤6：使用标准霍夫变换提取得到二值图Gf上的直线段集L＝{li|i＝1,2,...,m}；过滤掉L集合中与水平方向夹角不大于45°的线段，得到集合Ltheta＝{li|theta(li)∈([45°,135°]∪[-135°,-45°])且i＝1,2,…,m}，theta(li)表示直线段li与水平方向的夹角；在Ltheta中找到最长的一条直线段并延伸至图像G的边界，将该直线段记为lmax；
步骤7：在图像G中，在lmax的中点处上下各截取大小为bound*bound的子图像，分别记为和其中bound表示子图像的宽度和高度，根据式(10)计算：
确定的集卡锁头位置；
步骤8：在步骤7中确定的集卡锁头位置方位选取最近的与lmax平行的直线段作为集卡锁头所在平板的另一条边缘线并延伸至图像G的边界，记该直线段为lneares；
步骤9：在图像G中截取lmax和lneares之间的区域子图，记为Gbw，使用OTSU方法确定阈值并对Gbw进行二值化，得到图像Gbwb；
步骤10：根据式(11)的开闭运算增强Gbwb中的连通区域，得到图Gbwc：
其中，
步骤11：找出Gbwc中最大的连通区域，记为Gbwd；
步骤12：使用与lmax方向垂直的线型结构对Gbwd做开运算，并剔除开运算结果后过于小的连通区域，得到目标区域二值图；
步骤13：对目标区域二值图取外接矩形，并显示在原图f上；
步骤14：通过计算外接矩形区域的中心点，得到对应集卡左右锁头中心位置，完成集卡锁头位置的识别。
2.根据权利要求1所述的一种集卡锁头位置识别方法，其特征在于步骤2中θ趋向1则有更多噪声，更少的细节，更清晰的边界，反之亦反。
3.根据权利要求1所述的一种集卡锁头位置识别方法，其特征在于步骤4中确定threshold的μ为事先选定，μ∈[0.9，1]，μ趋向0.9则有更多噪声，更多的细节，更连续的边界，反之亦反。
4.根据权利要求1所述的一种集卡锁头位置识别方法，其特征在于步骤7中若sumup>sumdown，则说明集卡锁头位置在图像G中的上方；否则，集卡锁孔位置在图像G中的下方。
5.根据权利要求1所述的一种集卡锁头位置识别方法，其特征在于步骤7中bound赋值为20-50。
6.根据权利要求1所述的一种集卡锁头位置识别方法，其特征在于步骤7中bound赋值为20。
7.根据权利要求1所述的一种集卡锁头位置识别方法，其特征在于步骤12中并剔除开运算结果像素数量小于1000的连通区域。
CN201510829186.6A 2015-11-25 2015-11-25 一种集卡锁头位置识别方法 Active CN105512607B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510829186.6A CN105512607B (zh) 2015-11-25 2015-11-25 一种集卡锁头位置识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510829186.6A CN105512607B (zh) 2015-11-25 2015-11-25 一种集卡锁头位置识别方法

Publications (2)

Publication Number Publication Date
CN105512607A CN105512607A (zh) 2016-04-20
CN105512607B true CN105512607B (zh) 2019-01-15

Family

ID=55720574

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510829186.6A Active CN105512607B (zh) 2015-11-25 2015-11-25 一种集卡锁头位置识别方法

Country Status (1)

Country Link
CN (1) CN105512607B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106096606B (zh) * 2016-06-07 2019-11-05 浙江工业大学 一种基于直线拟合的集装箱轮廓定位方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5812395A (en) * 1994-11-16 1998-09-22 Masciangelo; Stefano Vision based forklift control system for autonomous pallet loading
CN102024144A (zh) * 2010-11-23 2011-04-20 上海海事大学 集装箱箱号自动识别方法
CN103030063A (zh) * 2011-09-30 2013-04-10 西门子公司 用于确定集装箱吊架用的目标位置的方法和集装箱吊架
CN203229326U (zh) * 2013-02-06 2013-10-09 上海理工大学 集装箱龙门吊智能装卸控制系统
CN104477779A (zh) * 2014-12-31 2015-04-01 曹敏 集装箱码头桥吊下集卡的对位及安全控制系统和方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5812395A (en) * 1994-11-16 1998-09-22 Masciangelo; Stefano Vision based forklift control system for autonomous pallet loading
CN102024144A (zh) * 2010-11-23 2011-04-20 上海海事大学 集装箱箱号自动识别方法
CN103030063A (zh) * 2011-09-30 2013-04-10 西门子公司 用于确定集装箱吊架用的目标位置的方法和集装箱吊架
CN203229326U (zh) * 2013-02-06 2013-10-09 上海理工大学 集装箱龙门吊智能装卸控制系统
CN104477779A (zh) * 2014-12-31 2015-04-01 曹敏 集装箱码头桥吊下集卡的对位及安全控制系统和方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于双目立体视觉的集装箱识别与定位技术研究;马蕾;《中国优秀硕士学位论文全文数据库 信息科技辑》;20131115(第11期);I138-769 *
基于图像的集装箱锁孔定位技术;张洪波等;《起重运输机械》;20151031(第10期);第67-69页 *

Also Published As

Publication number Publication date
CN105512607A (zh) 2016-04-20

Similar Documents

Publication Publication Date Title
CN107729899B (zh) 一种车牌号码识别方法及装置
CN109145915B (zh) 一种复杂场景下车牌快速畸变矫正方法
CN110348451B (zh) 铁路集装箱装卸过程中的箱号自动采集及识别方法
CN106203239B (zh) 用于集装箱理货的信息处理方法、装置和系统
CN102779267B (zh) 检测图像中特定对象区域的方法和设备
CN110765992B (zh) 印章鉴别方法、介质、设备及装置
CN107220976B (zh) 一种航拍公路图像的公路定位方法
CN109409355A (zh) 一种新型变压器铭牌识别的方法及装置
CN107945194A (zh) 基于OpenCV技术的票据分割方法
CN104794421A (zh) 一种qr码定位及识别方法
CN108961276B (zh) 基于视觉伺服的配电线路巡检数据自动采集方法及系统
CN105719241B (zh) 一种基于视觉扫描的船槽定位方法
WO2021000948A1 (zh) 配重重量的检测方法与系统、获取方法与系统及起重机
CN110674812B (zh) 一种面向复杂背景的民用车牌定位与字符分割方法
Chang et al. An efficient method for lane-mark extraction in complex conditions
CN105447489B (zh) 一种图片ocr识别系统的字符与背景粘连噪声消除方法
WO2020010620A1 (zh) 波浪识别方法、装置、计算机可读存储介质和无人飞行器
CN105469401B (zh) 一种基于计算机视觉的船槽定位方法
CN112033419A (zh) 用于港口自动驾驶车道线检测的方法、电子设备及介质
CN113379684A (zh) 一种基于视频的集装箱箱角线定位及自动着箱方法
Lin et al. License plate recognition based on mathematical morphology and template matching
CN112784639A (zh) 路口检测、神经网络训练及智能行驶方法、装置和设备
CN108133170A (zh) 一种多方向车辆的车窗定位方法
CN105512607B (zh) 一种集卡锁头位置识别方法
CN109635679B (zh) 一种实时的靶纸定位及环线识别方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant