CN107200274A - 一种基于机器视觉的防集装箱卡车被吊起方法 - Google Patents

一种基于机器视觉的防集装箱卡车被吊起方法 Download PDF

Info

Publication number
CN107200274A
CN107200274A CN201710282505.5A CN201710282505A CN107200274A CN 107200274 A CN107200274 A CN 107200274A CN 201710282505 A CN201710282505 A CN 201710282505A CN 107200274 A CN107200274 A CN 107200274A
Authority
CN
China
Prior art keywords
vehicle body
lifted
displacement
image
container truck
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710282505.5A
Other languages
English (en)
Inventor
赵德安
刘晓洋
陈玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changzhou GT Electric co., Ltd.
Original Assignee
Jiangsu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu University filed Critical Jiangsu University
Priority to CN201710282505.5A priority Critical patent/CN107200274A/zh
Publication of CN107200274A publication Critical patent/CN107200274A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00—Other constructional features or details
    • B66C13/18—Control systems or devices
    • B66C13/48—Automatic control of crane drives for producing a single or repeated working cycle; Programme control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00—Other constructional features or details
    • B66C13/16—Applications of indicating, registering, or weighing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C15/00—Safety gear
    • B66C15/06—Arrangements or use of warning devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Abstract

本发明公开了一种基于机器视觉的防集装箱卡车被吊起方法，该方法通过在吊车一侧安装两个摄像头获取集装箱卡车车身图像；等待起吊信号，接收到起吊信号后采集起吊前第一帧图像作为基准图像进行预处理并检测图像特征点；再次采集一帧图像进行同样的预处理，检测其特征点并与第一帧图像的特征点进行匹配；根据匹配结果计算车身在水平和竖直方向的位移并判断车身运动情况，若两个摄像头的检测结果都显示车身在竖直方向和水平方向的位移均在阈值范围内，则重复上一步骤，否则采取相应的处理措施。相较于埋设区域传感器，采用基于机器视觉的防集装箱卡车吊起方法具有机动灵活，安装方便，经济适用等优点。

Description

一种基于机器视觉的防集装箱卡车被吊起方法
技术领域
本发明涉及机器视觉和图像识别领域，特别是一种基于机器视觉的运动检测方法。
背景技术
吊车在港口堆场对集装箱进行装卸作业时，由于司机作业位置处于吊车顶部，很难准确迅速地判断集装箱卡车的状态。若集装箱卡车锁扣未完全打开，会发生在吊起集装箱时集装箱锁扣将卡车一起吊起或半边吊起的事故，导致集装箱或卡车损坏，甚至造成卡车司机伤亡。因此，在集装箱堆场作业中，如何防止集装箱卡车被吊车吊起，是集装箱装卸中的一大安全问题。
本发明采用基于机器视觉的运动检测技术来判断集装箱卡车车身的运动方向。一旦发现卡车被吊起，便立刻终止起吊发出警报。所有检测装置挂载在吊车侧面的梁架上，能够随着吊车移动转场，机动灵活维护方便。专利《一种防止集装箱卡车被吊起的自动检测保护系统及其应用》(申请号：201410060922.1)中采用的安装在卡车车道边地梁平台下方的区域传感器检测卡车是否被吊起，该装置的安装需要对地面进行施工，并且不能随吊车移动，灵活性差，需要大面积铺设则成本较高。
发明内容
本发明的目的是提供一种基于机器视觉的防集装箱卡车被吊起方法，具体检测过程包含以下步骤：
(a)在吊车一侧安装两个摄像头用于获取集装箱卡车车身图像；
(b)等待起吊信号，接收到起吊信号后采集起吊前第一帧图像作为基准图像进行预处理并检测图像特征点；
(c)再次采集一帧图像进行同样的预处理，检测其特征点并与第一帧图像的特征点进行匹配；
(d)根据特征点匹配结果计算车身在水平和竖直方向的位移，判断车身运动情况，若两个摄像头的检测结果都显示车身在竖直方向和水平方向的位移均在阈值范围内，则重复步骤
c，否则采取相应的处理措施。
进一步，所述步骤(a)中所述的两个摄像头在轮胎吊一侧梁架的中部间隔2m安装，距离地面1.45米水平向前与地面平行，所拍摄图像不能有歪斜；
进一步，所述步骤(b)中所述的图像预处理，截取图像下半部分并将其灰度化，再进行滤波去噪；
进一步，所述步骤(b)中所述图像特征点的检测，采用实时性较好的ORB(OrientedBrief)算法检测图像特征点；
进一步，所述步骤(c)中所述特征点的匹配，采用快速最近邻匹配算法(FLANN,Fast Approximate Nearest Neighbor)进行特征点匹配。
进一步，所述步骤(d)中所述车身运动状况的判断和相应的处理措施，若两个摄像头的检测结果都显示车身有向下的位移，则判断车身被对侧的锁扣吊起，立刻停止起吊并输出报警信号；若有一个摄像头检测结果显示车身在竖直向上的位移超过一定阈值，则判断车身被吊起，立刻停止起吊并输出报警信号；若有一个摄像头检测结果显示车身在水平方向位移超过一定阈值且两个摄像头的检测结果都显示车身竖直方向位移在阈值范围内，则判断集装箱起吊过程正常，车辆驶离，停止本次检测，等待新的起吊信号；若两个摄像头的检测结果都显示车身在水平和竖直方向的位移均在阈值范围内，则重复步骤c。
本发明的有益效果是：
相较于埋设区域传感器，采用基于机器视觉的防集装箱卡车吊起方法具有机动灵活，安装方便，经济适用等优点。所有检测设备都挂载在吊车侧面横梁上安装方便，能够随吊车移动，转场机动灵活，不需要在堆场大面积铺设，成本较低。配合人工光源可以全天候工作，并不受雨雪等恶劣天气影响。同时采用双摄像头的检测方案能够扩大检测视野并减少因为集装箱卡车车身停放歪斜导致的误检测。将相机水平安装并将安装高度定在1.45m，能够在车身和相机距离不定的情况下，使图像下半部分全部都是车身而不包含集装箱，确保检测的准确性减少误检测。采用ORB特征点检测算法和FLANN特征点匹配算法是由于这两种算法执行效率高，能够提高图像检测的实时性。相应的处理措施能够在危害产生前及时停止起吊，减少损失。
附图说明
图1硬件连接图；
图2软件流程图。
具体实施方式
下面结合附图对本发明的具体实施方案做进一步描述。
具体实施部分主要分为硬件设计和软件设计两个部分。硬件部分主要描述硬件的组成和连接，以及每个硬件部分的作用。软件设计主要描述检测算法的设计和运行流程。
1、硬件设计
如图1所示，图像检测设备主要包括摄像头、工控机和数据输入/输出模块三个部分，图中所示PLC为吊车控制部件。由于卡车与摄像头位置较近，因此此处采用两个摄像头以此增大检测范围。两个摄像头在吊车一侧的中部间隔2米安装，距离地面1.45米水平向前与地面平行，所拍摄图像不能有歪斜，以确保集装箱不出现在拍摄图像的下半幅，而卡车拖车主体部分则主要位于拍摄图像的下半幅。工控机主要为程序的运行提供稳定的工作环境。数据输入输出模块用于工控机与吊车控制部件PLC的通信，有8路光电隔离输入和8路继电器输出，这里具体用于接收PLC传来的起吊信号和向PLC输出起吊异常的报警信号。
2、软件设计
如图2所示，软件运行流程包含以下步骤：
(a)等待起吊信号，获得起吊信号后采集第一帧图像进行预处理作为基准图像并检测图像特征点；
(b)再次采集一帧图像进行同样的预处理，检测其特征点并与第一帧图像的特征点进行匹配；
(c)根据特征点匹配结果计算车身在水平和竖直方向的位移，判断车身运动情况，若两个摄像头的检测结果都显示车身在竖直方向和水平方向的位移均在阈值范围内，则重复步骤b，否则采取相应的处理措施。
所述步骤(a)中所述的图像预处理，截取图像下半部分并将其灰度化，再进行滤波去噪。其中，因为实时使用中需要保存起吊时集装起吊录像以方便调阅，因此截取图像下半部分不能通过设置摄像头ROI的方式，需要在采集完整图像帧后截取图像下半部分。再者需要强调的是，由于夜间光线条件较差图像会产生较多的噪点，因此采用中值滤波对图像去噪以防止噪声对特征点的检测造成影响。预处理后图像的像素为640*320。
所述步骤(a)中所述图像特征点的检测，采用实时性较好的ORB(Oriented Brief)算法检测图像特征点。通过调用OpenCV中的相关函数实现。ORB特征具有局部不变性，是Fast特征点检测算法和Brief特征描述子的结合，同时较Sift算法和Surf算法运行效率更好并且免费开源。
所述步骤(b)中所述特征点的匹配，采用快速最近邻匹配算法(FLANN,FastApproximate Nearest Neighbor)进行特征点匹配。同样通过调用OpenCV中的相关函数实现，该算法基于K均值树和KD-Tree搜索操作实现，可以实现高效的特征点匹配。
所述步骤(c)中所述车身运动状况的判断和相应的处理措施，若两个摄像头的检测结果都显示车身有向下的位移，则判断车身被对侧的锁扣吊起，立刻停止起吊并输出报警信号；若有一个摄像头检测结果显示车身在竖直向上的位移超过一定阈值(竖直向上位移阈值设置为100个像素距离)，则判断车身被吊起，立刻停止起吊并输出报警信号；若有一个摄像头检测结果显示车身在水平方向位移超过一定阈值(水平位移阈值设置为60个像素距离)且两个摄像头的检测结果都显示车身竖直方向位移在阈值范围内，则判断集装箱起吊过程正常，车辆驶离，停止本次检测，等待新的起吊信号；若两个摄像头的检测结果都显示车身在水平和竖直方向的位移均在阈值范围内，则重复步骤c。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (6)

1.一种基于机器视觉的防集装箱卡车被吊起方法，其特征在于，包括以下步骤：
(a)在吊车一侧安装两个摄像头用于获取集装箱卡车车身图像；
(b)等待起吊信号，接收到起吊信号后采集起吊前第一帧图像作为基准图像进行预处理并检测图像特征点；
(c)再次采集一帧图像进行同样的预处理，检测其特征点并与第一帧图像的特征点进行匹配；
(d)根据特征点匹配结果计算车身在水平和竖直方向的位移，判断车身运动情况，若两个摄像头的检测结果都显示车身在竖直方向和水平方向的位移均在阈值范围内，则重复步骤c，否则采取相应的处理措施。
2.根据权利要求1所述的一种基于机器视觉的防集装箱卡车被吊起方法，其特征在于，所述摄像头的安装，两个摄像头在轮胎吊一侧梁架的中部间隔2m安装，距离地面1.45米水平向前与地面平行，所拍摄图像不能有歪斜。
3.根据权利要求1所述的一种基于机器视觉的防集装箱卡车被吊起方法，其特征在于，图像的预处理，截取图像下半部分并将其灰度化，再进行滤波去噪。
4.根据权利要求1所述的一种基于机器视觉的防集装箱卡车被吊起方法，其特征在于，图像特征点的检测，采用实时性较好的ORB算法检测图像特征点。
5.根据权利要求1所述的一种基于机器视觉的防集装箱卡车被吊起方法，其特征在于，特征点的匹配，采用快速最近邻匹配算法进行特征点匹配。
6.根据权利要求1所述的一种基于机器视觉的防集装箱卡车被吊起方法，其特征在于，步骤(d)判断车身运动情况的具体过程为：车身运动状况的判断和相应的处理措施，若两个摄像头的检测结果都显示车身有向下的位移，则判断车身被对侧的锁扣吊起，立刻停止起吊并输出报警信号；若有一个摄像头检测结果显示车身在竖直向上的位移超过一定阈值，则判断车身被吊起，立刻停止起吊并输出报警信号；若有一个摄像头检测结果显示车身在水平方向位移超过一定阈值且两个摄像头的检测结果都显示车身竖直方向位移在阈值范围内，则判断集装箱起吊过程正常，车辆驶离，停止本次检测，等待新的起吊信号；若两个摄像头的检测结果都显示车身在水平和竖直方向的位移均在阈值范围内，则重复步骤c。
CN201710282505.5A 2017-04-26 2017-04-26 一种基于机器视觉的防集装箱卡车被吊起方法 Pending CN107200274A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710282505.5A CN107200274A (zh) 2017-04-26 2017-04-26 一种基于机器视觉的防集装箱卡车被吊起方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710282505.5A CN107200274A (zh) 2017-04-26 2017-04-26 一种基于机器视觉的防集装箱卡车被吊起方法

Publications (1)

Publication Number Publication Date
CN107200274A true CN107200274A (zh) 2017-09-26

Family

ID=59905097

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710282505.5A Pending CN107200274A (zh) 2017-04-26 2017-04-26 一种基于机器视觉的防集装箱卡车被吊起方法

Country Status (1)

Country Link
CN (1) CN107200274A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107527347A (zh) * 2017-10-11 2017-12-29 南京大学 基于计算机视觉图像处理的港口集装箱起吊安全监测方法
CN109335964A (zh) * 2018-09-21 2019-02-15 北京航天自动控制研究所 一种集装箱旋锁检测系统及检测方法
CN110415221A (zh) * 2019-07-12 2019-11-05 中南大学 一种基于图像特征点匹配的集装箱卡车防吊起自动检测方法
CN111680585A (zh) * 2020-05-26 2020-09-18 湖南澄科科技有限公司 基于轮胎识别的集卡车装卸安全监测方法
CN112379605A (zh) * 2020-11-24 2021-02-19 中国人民解放军火箭军工程大学 基于视觉伺服的桥式起重机半实物仿真控制实验系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08119574A (ja) * 1994-10-25 1996-05-14 Mitsubishi Heavy Ind Ltd 吊荷の振れ検出装置
CN102456129A (zh) * 2010-10-26 2012-05-16 同方威视技术股份有限公司 一种安检图像纠偏方法和系统
CN104386582A (zh) * 2014-03-04 2015-03-04 上海大学 一种用于轨道吊机的集装箱卡车防误吊起系统及方法
CN106254839A (zh) * 2016-09-30 2016-12-21 湖南中铁五新重工有限公司 集装箱卡车防吊起方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08119574A (ja) * 1994-10-25 1996-05-14 Mitsubishi Heavy Ind Ltd 吊荷の振れ検出装置
CN102456129A (zh) * 2010-10-26 2012-05-16 同方威视技术股份有限公司 一种安检图像纠偏方法和系统
CN104386582A (zh) * 2014-03-04 2015-03-04 上海大学 一种用于轨道吊机的集装箱卡车防误吊起系统及方法
CN106254839A (zh) * 2016-09-30 2016-12-21 湖南中铁五新重工有限公司 集装箱卡车防吊起方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
邹建成: "《数学及其在图像处理中的应用》", 31 July 2015 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107527347A (zh) * 2017-10-11 2017-12-29 南京大学 基于计算机视觉图像处理的港口集装箱起吊安全监测方法
CN107527347B (zh) * 2017-10-11 2020-01-14 南京大学 基于计算机视觉图像处理的港口集装箱起吊安全监测方法
CN109335964A (zh) * 2018-09-21 2019-02-15 北京航天自动控制研究所 一种集装箱旋锁检测系统及检测方法
CN110415221A (zh) * 2019-07-12 2019-11-05 中南大学 一种基于图像特征点匹配的集装箱卡车防吊起自动检测方法
CN110415221B (zh) * 2019-07-12 2022-02-08 中南大学 一种基于图像特征点匹配的集装箱卡车防吊起自动检测方法
CN111680585A (zh) * 2020-05-26 2020-09-18 湖南澄科科技有限公司 基于轮胎识别的集卡车装卸安全监测方法
CN111680585B (zh) * 2020-05-26 2024-02-06 湖南澄科科技有限公司 基于轮胎识别的集卡车装卸安全监测方法
CN112379605A (zh) * 2020-11-24 2021-02-19 中国人民解放军火箭军工程大学 基于视觉伺服的桥式起重机半实物仿真控制实验系统及方法
CN112379605B (zh) * 2020-11-24 2023-03-28 中国人民解放军火箭军工程大学 基于视觉伺服的桥式起重机半实物仿真控制实验系统及方法

Similar Documents

Publication Publication Date Title
CN107200274A (zh) 一种基于机器视觉的防集装箱卡车被吊起方法
CN109688388B (zh) 一种使用隧道巡检机器人全方位实时监控的方法
CN111832415B (zh) 一种用于集装箱吊装作业的卡车安全智能保护系统
CN107176432A (zh) 一种基于机器视觉的锚杆异物及皮带撕裂检测系统
CN109271872A (zh) 一种高压隔离开关分合状态判断与故障诊断装置及方法
CN104794720A (zh) 一种在接触网图像中定位出定位线夹的方法及系统
CN201890600U (zh) 机器视觉皮带撕裂检测装置
CN111898563A (zh) 一种保护区安全综合监护装备与监护方法
CN107578012A (zh) 一种基于聚类算法选择敏感区域的驾驶辅助系统
CN105321289B (zh) 一种全天候监控图像智能分析与报警系统与方法
CN112661013B (zh) 一种自动化码头桥吊遗留锁垫检测方法及系统
CN108198417A (zh) 一种基于无人机的道路巡检系统
CN104159080B (zh) 一种基于Hough变换的架空索道脱索检测系统及方法
CN105241679A (zh) 一种动车组隐蔽故障检测方法
CN110164142A (zh) 一种道路限高系统及方法
CN110728212B (zh) 一种基于计算机视觉的道路井盖监控装置及监控方法
CN111539344A (zh) 基于视频流及人工智能的集卡防吊起控制系统及方法
CN111879308A (zh) 一种基于位姿感知技术的智能塔机安全监控系统及实现方法
CN206321297U (zh) 一种结合路面特征的道路积水数据采集系统
EP3416129B1 (en) External interference removal device
CN112489125A (zh) 一种堆场行人自动检测方法及装置
CN110777874A (zh) 一种装载机防撞击控制系统
CN115743195A (zh) 一种矿用智能平板车
CN111918032B (zh) 基于无人艇的水上监管方法、系统、装置及智能设备
CN109104571A (zh) 一种集装箱表面图像采集方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Gu Wenyi

Inventor after: Zhao Dean

Inventor after: Liu Xiaoyang

Inventor after: Chen Yu

Inventor after: Yao Maoping

Inventor before: Zhao Dean

Inventor before: Liu Xiaoyang

Inventor before: Chen Yu

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20180214

Address after: 213012 Feilong West Road, Bell Tower District, Changzhou, Jiangsu Province, No. 76

Applicant after: Changzhou GT Electric co., Ltd.

Address before: Zhenjiang City, Jiangsu Province, 212013 Jingkou District Road No. 301

Applicant before: Jiangsu University

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170926