CN112116584A - 一种起重机作业过程中箱孔定位方法 - Google Patents
一种起重机作业过程中箱孔定位方法 Download PDFInfo
- Publication number
- CN112116584A CN112116584A CN202011040375.2A CN202011040375A CN112116584A CN 112116584 A CN112116584 A CN 112116584A CN 202011040375 A CN202011040375 A CN 202011040375A CN 112116584 A CN112116584 A CN 112116584A
- Authority
- CN
- China
- Prior art keywords
- data
- container
- sample data
- hole
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000008569 process Effects 0.000 title claims abstract description 12
- 238000012549 training Methods 0.000 claims abstract description 32
- 238000012360 testing method Methods 0.000 claims description 15
- 238000012795 verification Methods 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 4
- 230000006872 improvement Effects 0.000 claims description 2
- 238000005070 sampling Methods 0.000 abstract description 3
- 230000001360 synchronised effect Effects 0.000 abstract description 3
- 238000002372 labelling Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000032258 transport Effects 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种起重机作业过程中箱孔定位方法,包括:(1)拍摄装置在工作现场拍摄带有集装箱的照片或者视频;(2)从拍摄的图片或者视频中对集装箱的箱孔进行标注;(3)将标注样本数据根据其数量进行分类保存;(4)将标注样本数据转换成用于RefineDet模型训练的数据格式。通过上述方式,工业相机等拍摄装置在作业现场拍摄带有集装箱的图片或者视频,将标注样品图片保存为模型训练用的数据分类与格式,使用两个同步串联模块对采样图片进行训练,大大提高了集装箱箱孔的精度,在码头半自动化作业中,精确定位箱孔位置进而精确定位集装箱的实际位置,来辅助实现集卡引导、从卡车与堆场精确取箱、放箱等作业。
Description
技术领域
本发明涉及视觉检测箱孔定位方法技术领域,特别是涉及一种起重机作业过程中箱孔定位方法。
背景技术
在集装箱码头堆场时,通常起重机类机械装置将集装箱叠放方式进行存放,有时叠放层数可达几层楼的高度,码头作业时装卸设备在叠放集装箱时需要将上层集装箱与下层集装箱对齐,堆放集装箱的精度较低时,可能会造成集装箱倒塌而引发重大事故,所以要保证叠放集装箱时对齐叠放,叠放要求在误差范围内;另外,用于带箱集卡的引导,即集装箱卡车开到固定位置后停车,从集卡或者箱区抓取箱子也需要实时提供集装箱的实际位置。
发明内容
本发明主要解决的技术问题是提供一种起重机作业过程中箱孔定位方法。
为解决上述技术问题,本发明采用的一个技术方案是:
提供一种起重机作业过程中箱孔定位方法,包括以下步骤:
(1)拍摄装置在工作现场拍摄带有集装箱的照片或者视频,拍摄装置安装在起重机的吊具上,在设定高度拍摄带有集装箱的照片或者视频;
(2)从拍摄的图片或者视频中对集装箱的箱孔进行标注,将标注样本数据保存为xml格式文件;
(3)将标注样本数据根据其数量进行分类保存,当数据量小于1000时,分类为训练数据和测试数据,当数据量大于或者等于1000时,分类为训练数据、验证数据和测试数据;
(4)将标注样本数据与非标注样本数据保存为用于RefineDet模型训练的数据格式,包括三个文本文件和两个目录文件:
train.txt:训练数据,
test.txt:测试数据,
class.names:标注样本数据的类型名称,
Labels:每个标注样本数据的位置信息及分类信息,
JPEGImages:全部标注样本数据的图片,
RefineDet模型为:
其中,是箱孔的坐标,为前景或者背景的二分类损失,为定位回归损失,为
前景多分类的损失,是ARM中正样本的锚点的数目,是ODM中正样本的锚点的数
目,是训练批次中锚点的序号,是第个锚点的真实类别标记,第个锚点的真实位置
和尺寸,是第个锚点预测为目标的置信度,是ARM细化后预测的第个锚点的坐标,
是ODM中预测的边界框的物体类别,是ODM中预测的边界框的坐标,表示第个锚
点为正样本时输出1、为负样本时输出0;
(5)通过训练好的箱孔定位模型,对集装箱箱孔进行实时定位,集装箱卡车装载集装箱停车在设定位置,起重机的吊具根据实时定位的箱孔引导吊具抓取集装箱的箱孔,将集装箱搬运至指定位置叠加放置。
在本发明一个较佳实施例中,所述拍摄装置包括工业相机。
在本发明一个较佳实施例中,所述拍摄装置位于集装箱的上方拍摄集装箱的俯视图。
在本发明一个较佳实施例中,所述训练数据占样本总数的80%~90%。
在本发明一个较佳实施例中,所述训练数据占样本总数的2/3~4/5。
在本发明一个较佳实施例中,所述训练数据、验证数据与测试数据的比例为6:2:2。
在本发明一个较佳实施例中,所述训练数据、验证数据与测试数据的比例为98:1:1。
在本发明一个较佳实施例中,所述标注样本数据为箱孔在图片中的坐标、及箱孔的宽度与高度。
在本发明一个较佳实施例中,所述ARM是锚点改进模块。
在本发明一个较佳实施例中,所述ODM是目标检测模块。
本发明的有益效果是:提供一种起重机作业过程中箱孔定位方法,通过工业相机等拍摄装置在作业现场拍摄带有集装箱的图片或者视频,将采集到的图片进行标注,生成标注样本保存为RefineDet网络模型训练用的数据分类与格式,使用两个同步串联模块对采样图片进行训练,优化了训练的数据结果,大大提高了集装箱箱孔的精度,在码头半自动化作业中,精确定位箱孔位置进而精确定位集装箱的实际位置,来辅助实现集卡引导、从卡车与堆场精确取箱、放箱等作业。
具体实施方式
下面将对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
本发明实施例包括:
一种起重机作业过程中箱孔定位方法,拍摄装置根据实时拍摄的图片或者视频进行箱孔定位,从而给机械手、吊具等搬运设备提供准确的抓取位置。
包括以下步骤:
(1)拍摄装置在工作现场拍摄带有集装箱的照片或者视频,拍摄装置安装在起重机的吊具上,在设定高度拍摄带有集装箱的照片或者视频,所述拍摄装置包括工业相机,集装箱卡车将集装箱运至设定位置后停车,所述吊具下降至设定高度,使得拍摄装置位于集装箱的上方,能够清晰地拍摄多张集装箱的俯视图片,工业相机的图片采集和处理帧率为25帧,即25张图/秒。
(2)从拍摄的图片或者视频中对集装箱的箱孔进行标注,使用DLIB的imglab标注工具,并且将标注样本数据保存为xml格式文件,所述标注样本数据为箱孔在图片中的坐标、及箱孔的宽度与高度四种数据,箱孔在图片中的坐标为箱孔的左上点在图片中的坐标,通过标定示教,即标定确定图片像素尺寸与实际物理尺寸之间的转换关系,示教确定目标位置,即需要移动到哪里去,可以将箱孔在图片中的位置转换为实际物理位置,实际坐标系原点为拍摄工具所在位置,所述箱孔的宽度与高度分别为图中沿水平方向、竖直方向的距离。
(3)将标注样本数据根据其数量进行分类保存,当数据量小于300时,将标注样本数据分为训练数据和测试数据,训练数据占样本总数的80%~90%,当数据量大于300并且小于1000时,将标注样本数据的总数的2/3~4/5作为训练数据,其余的标注样本数据作为测试数据;当现场场景更为复杂时,比如下雨等,则需要更多样本,当数据量大于或者等于1000时,将标注样本数据分为训练数据、验证数据和测试数据,训练数据、验证数据与测试数据的比例为6:2:2或者98:1:1。
(4)将标注样本数据保存为用于RefineDet模型训练的数据格式,包括三个文本文件和两个目录文件,并且同时保存非标注样本数据:
train.txt:训练数据;
test.txt:测试数据;
class.names:标注样本数据的类型名称,在本申请中,类型名称为箱孔;
Labels:每个标注样本数据的位置信息及分类信息,位置信息为箱孔在图片中的坐标,分类信息是针对类型名称设置的,在本申请中,针对箱孔的分类信息为编号“1”。
JPEGImages:全部标注样本数据的图片。
RefineDet模型为:
其中,是箱孔的坐标,为前景或者背景的二分类损失,为定位回归损失,为
前景多分类的损失,是ARM中正样本的锚点的数目,是ODM中正样本的锚点的数
目,是训练批次中锚点的序号,是第个锚点的真实类别标记,第个锚点的真实位置
和尺寸,是第个锚点预测为目标的置信度,是ARM细化后预测的第个锚点的坐标,
是ODM中预测的边界框的物体类别,是ODM中预测的边界框的坐标,表示第个锚
点为正样本时输出1、为负样本时输出0,标注样本数据为正样本,非标注样本数据为负样
本;
RefineDet网络模型结合了SSD、RPN、FPN的思路,该框架由两个模块组成,它的两个同步串联模块为ARM(anchor refinement module 锚点改进模块)和ODM(object detectionmodule 目标检测模块),RefineDet中的TCB(transfer connection block 转换连接模块)用于转换ARM中的特征并蒋其传递给ODM,具有特征融合的功能,也就是将ARM部分的输出特征图转换为ODM的输入,用于进一步地分类和回归。
ARM中输出的特征图经过两个卷积层,得到了低层特征图,TCB通过反卷积操作实现上述采样,将前一个TCB输出的较高层的特征图的尺寸扩大,使其与较低层的特征图一致,随后将两个特征图相加,实现特征融合;融合之后的特征图经过一个卷积层完成最终的转换,并被送入ODM进行检测。
(5)通过训练好的箱孔定位模型,对集装箱箱孔进行实时定位:集装箱卡车装载集装箱停车在设定位置,通过RefineDet网络模型训练得到的箱孔位置,起重机的吊具根据实时定位的箱孔引导吊具抓取集装箱的箱孔,将集装箱搬运至指定位置叠加放置。
以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书内容所作的等效结构或等效流程变换,或直接或间接运用在其它相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种起重机作业过程中箱孔定位方法,其特征在于,包括以下步骤:
(1)拍摄装置在工作现场拍摄带有集装箱的照片或者视频,拍摄装置安装在起重机的吊具上,在设定高度拍摄带有集装箱的照片或者视频;
(2)从拍摄的图片或者视频中对集装箱的箱孔进行标注,将标注样本数据保存为xml格式文件;
(3)将标注样本数据根据其数量进行分类保存,当数据量小于1000时,分类为训练数据和测试数据,当数据量大于或者等于1000时,分类为训练数据、验证数据和测试数据;
(4)将标注样本数据与非标注样本数据保存为用于RefineDet模型训练的数据格式,包括三个文本文件和两个目录文件:
train.txt:训练数据,
test.txt:测试数据,
class.names:标注样本数据的类型名称,
Labels:每个标注样本数据的位置信息及分类信息,
JPEGImages:全部标注样本数据的图片,
RefineDet模型为:
其中,是箱孔的坐标,为前景或者背景的二分类损失,为定位回归损失,为
前景多分类的损失,是ARM中正样本的锚点的数目,是ODM中正样本的锚点的数
目,是训练批次中锚点的序号,是第个锚点的真实类别标记,第个锚点的真实位置
和尺寸,是第个锚点预测为目标的置信度,是ARM细化后预测的第个锚点的坐标,
是ODM中预测的边界框的物体类别,是ODM中预测的边界框的坐标,表示第个锚
点为正样本时输出1、为负样本时输出0;
(5)通过训练好的箱孔定位模型,对集装箱箱孔进行实时定位,集装箱卡车装载集装箱停车在设定位置,起重机的吊具根据实时定位的箱孔引导吊具抓取集装箱的箱孔,将集装箱搬运至指定位置叠加放置。
2.根据权利要求1所述的一种起重机作业过程中箱孔定位方法,其特征在于,所述拍摄装置包括工业相机。
3.根据权利要求1所述的一种起重机作业过程中箱孔定位方法,其特征在于,所述拍摄装置位于集装箱的上方拍摄集装箱的俯视图。
4.根据权利要求1所述的一种起重机作业过程中箱孔定位方法,其特征在于,所述训练数据占样本总数的80%~90%。
5.根据权利要求1所述的一种起重机作业过程中箱孔定位方法,其特征在于,所述训练数据占样本总数的2/3~4/5。
6.根据权利要求1所述的一种起重机作业过程中箱孔定位方法,其特征在于,所述训练数据、验证数据与测试数据的比例为6:2:2。
7.根据权利要求1所述的一种起重机作业过程中箱孔定位方法,其特征在于,所述训练数据、验证数据与测试数据的比例为98:1:1。
8.根据权利要求1所述的一种起重机作业过程中箱孔定位方法,其特征在于,所述标注样本数据为箱孔在图片中的坐标、及箱孔的宽度与高度。
9.根据权利要求1所述的一种起重机作业过程中箱孔定位方法,其特征在于,所述ARM是锚点改进模块。
10.根据权利要求1所述的一种起重机作业过程中箱孔定位方法,其特征在于,所述ODM是目标检测模块。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011040375.2A CN112116584B (zh) | 2020-09-28 | 2020-09-28 | 一种起重机作业过程中箱孔定位方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011040375.2A CN112116584B (zh) | 2020-09-28 | 2020-09-28 | 一种起重机作业过程中箱孔定位方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112116584A true CN112116584A (zh) | 2020-12-22 |
CN112116584B CN112116584B (zh) | 2023-10-31 |
Family
ID=73798254
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011040375.2A Active CN112116584B (zh) | 2020-09-28 | 2020-09-28 | 一种起重机作业过程中箱孔定位方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112116584B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN201665479U (zh) * | 2009-08-06 | 2010-12-08 | 大连港集团有限公司 | 集装箱起重机吊具选择的自动识别系统 |
CN107150953A (zh) * | 2016-03-02 | 2017-09-12 | 宁波大榭招商国际码头有限公司 | 一种基于机器视觉的起重机大车方向精确定位系统及方法 |
CN207890906U (zh) * | 2018-01-23 | 2018-09-21 | 蛇口集装箱码头有限公司 | 一种集装箱吊具旋锁工作状态监测装置 |
CN108647665A (zh) * | 2018-05-18 | 2018-10-12 | 西安电子科技大学 | 基于深度学习的航拍车辆实时检测方法 |
CN109332978A (zh) * | 2018-11-27 | 2019-02-15 | 山东丰汇设备技术有限公司 | 一种桥机端梁定位工装 |
CN209157506U (zh) * | 2018-11-27 | 2019-07-26 | 山东丰汇设备技术有限公司 | 一种桥机端梁定位工装 |
-
2020
- 2020-09-28 CN CN202011040375.2A patent/CN112116584B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN201665479U (zh) * | 2009-08-06 | 2010-12-08 | 大连港集团有限公司 | 集装箱起重机吊具选择的自动识别系统 |
CN107150953A (zh) * | 2016-03-02 | 2017-09-12 | 宁波大榭招商国际码头有限公司 | 一种基于机器视觉的起重机大车方向精确定位系统及方法 |
CN207890906U (zh) * | 2018-01-23 | 2018-09-21 | 蛇口集装箱码头有限公司 | 一种集装箱吊具旋锁工作状态监测装置 |
CN108647665A (zh) * | 2018-05-18 | 2018-10-12 | 西安电子科技大学 | 基于深度学习的航拍车辆实时检测方法 |
CN109332978A (zh) * | 2018-11-27 | 2019-02-15 | 山东丰汇设备技术有限公司 | 一种桥机端梁定位工装 |
CN209157506U (zh) * | 2018-11-27 | 2019-07-26 | 山东丰汇设备技术有限公司 | 一种桥机端梁定位工装 |
Non-Patent Citations (2)
Title |
---|
卢宜勇;: "门座起重机回转吊具自动调平系统改造", 港口装卸, no. 06 * |
康光: "QTZ63 塔式起重机上支座工艺设计", 建筑机械, no. 10 * |
Also Published As
Publication number | Publication date |
---|---|
CN112116584B (zh) | 2023-10-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10491778B2 (en) | Applying features of low-resolution data to corresponding high-resolution data | |
CN107506406B (zh) | 一种输电线路杆塔照片归档方法及系统 | |
CN108009515A (zh) | 一种基于fcn的无人机航拍图像的输电线定位识别方法 | |
CN109522963A (zh) | 一种单机运行的特征建筑目标检测方法和系统 | |
CN109472778B (zh) | 一种基于无人机的高耸结构外观检测方法 | |
CN110349216A (zh) | 货箱位置检测方法及装置 | |
CN113362279A (zh) | 一种免疫层析试纸浓度智能检测方法 | |
CN103426153A (zh) | 一种无人机遥感影像快速拼接方法 | |
CN112116584A (zh) | 一种起重机作业过程中箱孔定位方法 | |
CN113984037A (zh) | 一种基于任意方向目标候选框的语义地图构建方法 | |
CN117496426A (zh) | 基于互学习的预制梁工序识别方法及装置 | |
CN112966558A (zh) | 基于优化ssd目标检测模型的港口自动识别方法及系统 | |
CN115359392A (zh) | 一种基于改进YOLOv5模型的路边施工行为检测方法 | |
CN113343977A (zh) | 一种集装箱码头集卡车牌的多路自动识别方法 | |
CN207150723U (zh) | 智能化的通信勘察终端 | |
CN110956174A (zh) | 一种器件编号的识别方法 | |
CN112560902A (zh) | 基于书脊视觉信息的图书识别方法及系统 | |
CN112257514A (zh) | 一种用于设备故障巡检的红外视觉智检的拍摄方法 | |
EP3460752A1 (en) | Applying features of low-resolution data to corresponding high-resolution data | |
CN113329210B (zh) | 一种智能土地举证系统及方法 | |
CN109598293A (zh) | 基于类别平衡采样的无人机巡检航拍图片数据样本批处理训练方法 | |
CN113570720B (zh) | 一种基于gis技术的无人机视频石油管线实时显示方法及系统 | |
CN216669780U (zh) | 一种基于无人机图像识别的钢渡槽缺陷检测与预警系统 | |
CN117876799B (zh) | 一种物流供应链品控缺陷检测方法及系统 | |
CN114910076B (zh) | 一种基于gps和imu信息的户外摄像机定位方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |