CN107680092A - 一种基于深度学习的集装箱锁扣检测及预警方法 - Google Patents
一种基于深度学习的集装箱锁扣检测及预警方法 Download PDFInfo
- Publication number
- CN107680092A CN107680092A CN201710947766.4A CN201710947766A CN107680092A CN 107680092 A CN107680092 A CN 107680092A CN 201710947766 A CN201710947766 A CN 201710947766A CN 107680092 A CN107680092 A CN 107680092A
- Authority
- CN
- China
- Prior art keywords
- angle
- container
- case
- case angle
- remote
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000001514 detection method Methods 0.000 title claims abstract description 44
- 238000013135 deep learning Methods 0.000 title claims abstract description 24
- 238000000605 extraction Methods 0.000 claims abstract description 14
- 238000012360 testing method Methods 0.000 claims abstract description 8
- 238000013528 artificial neural network Methods 0.000 claims description 19
- 238000010606 normalization Methods 0.000 claims description 11
- 210000000988 bone and bone Anatomy 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 10
- 239000011248 coating agent Substances 0.000 claims description 9
- 238000000576 coating method Methods 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 6
- 239000000203 mixture Substances 0.000 claims description 6
- 206010061274 Malocclusion Diseases 0.000 claims description 4
- 210000004027 cell Anatomy 0.000 claims description 3
- 230000003247 decreasing effect Effects 0.000 claims description 3
- 238000012217 deletion Methods 0.000 claims description 3
- 230000037430 deletion Effects 0.000 claims description 3
- 230000010339 dilation Effects 0.000 claims description 3
- 230000003628 erosive effect Effects 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 238000005286 illumination Methods 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 3
- 210000002569 neuron Anatomy 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000002441 reversible effect Effects 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 230000000717 retained effect Effects 0.000 claims description 2
- 230000004044 response Effects 0.000 claims 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 abstract description 2
- 230000032258 transport Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 2
- 210000004218 nerve net Anatomy 0.000 description 2
- 238000004806 packaging method and process Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30236—Traffic on road, railway or crossing
Abstract
本发明公开了一种基于深度学习的集装箱锁扣检测及预警方法，首先通过深度学习方法对集装箱箱角进行检测，然后对远角箱角进行检测校准，最终通过HOG特征提取以及分类器分类判断锁扣是否存在；若存在锁扣，则通过警示灯警示或警示音提醒进行报警，立即停止移动集装箱，并人为拆卸锁扣。本发明具有集装箱锁扣自动检测效率高、预警准确的优点，可大幅度降低操作人员的工作强度，避免因人为疏漏造成的安全事故，可广泛应用于铁路、公路、水路和航空等领域的集装箱运输行业。
Description
技术领域
本发明涉及一种方法，尤其涉及一种基于深度学习的集装箱锁扣检测及预警方法。
背景技术
随着中国经济全球化步伐的加快，港口日益成为全球综合运输网络的神经枢纽。近年来，随着港口集装箱业务迅猛发展，集装箱运输已经广泛应用于全球各地的船舶运输。为了保证船舶运输中集装箱货物运送的安全稳定，船上的所有集装箱都必须利用某些类型的锁定设备进行运输锁定。集装箱锁扣是一种常规设置于集装箱每个角/底处的锁定设备，每个锁扣都要锁定在下方的集装箱或者船舶甲板(如果该集装箱处于堆叠的最下部)上。
现今在货运市场上存在多种不同类型的集装箱锁扣，大部分的锁扣都需要人工进行解锁和拆卸，即在船舶到达码头之后，由人工解锁，然后使用吊机将集装箱吊起，再通过人工将锁扣拆卸，才可以进行转移装车。这种操作方式存在以下问题：1)集装箱锁扣在拆卸过程容易出现疏漏，未正确拆卸的锁扣不能正确装车，会增加事故出现的隐患；2)需要进一步人为判断集装箱四个角的锁扣是否正确拆卸，极大地加重了操作人员的工作负担，具有费时费力的缺陷。因此，开发通用集装箱锁扣的检测及预警方法已成为集装箱运输技术领域的研究重点。
发明内容
为了解决上述技术所存在的不足之处，本发明提供了一种基于深度学习的集装箱锁扣检测及预警方法。
为了解决以上技术问题，本发明采用的技术方案是：一种基于深度学习的集装箱箱角检测方法，其整体步骤如下：
步骤一、从摄像头实时获取待检测集装箱图像并将其采用线性插值法进行尺寸变换至设定大小；
步骤二、通过骨架网络和多核卷积网络的级联以及分类器与回归器网络建立一种基于深度学习的深度神经网络，即箱角检测模型；然后对箱角检测模型进行训练，其训练方法为：
a、采集大量现实场景中的集装箱图像进行人工标注，框出存在箱角的位置，给出箱角区域的起点坐标和终点坐标，标注箱角的类别，进而得到数据样本；
b、将数据样本输入至建立的深度神经网络中进行特征提取与分类回归，得到箱角位置和箱角种类的置信度；
c、通过损失函数将获得的箱角位置和箱角类别的置信度与人工标注的结果进行对比，得到量化的结果，再通过深度神经网络中的梯度反向传导机制，自动调整深度神经网络中的各个神经元的权值，完成深度神经网络的训练；
步骤三、将尺寸变化后的图像输入预先训练好的箱角检测模型中进行箱角检测，得到图像中箱角存在的位置，并给出该位置为箱角的置信度。
步骤二中的骨架网络包括4个依次级联的卷积网络基本单元，每个单元由依次连接的卷积层、局部响应归一化层、最大池化层、修正线性激活层以及卷积层之间的残差连接组成；
卷积层利用卷积核在图像上滑动，对图像进行卷积操作，提取输入图像特征，得到较为粗略的特征图；
局部响应归一化层采用3像素*3像素的卷积核在特征图上滑动，并对每个卷积核覆盖位置的像素值进行均值和方差的归一化，得到不受光照变化影响的粗略特征图；
最大池化层采用2像素*2像素的区域在特征图上按照步长为2滑动，保留每个区域里像素值的最大值，得到具有平移不变性的较为准确的特征图，同时也减小特征图的大小到原图的1/4；
修正线性激活层采用1像素*1像素的区域在特征图上滑动，大于0的特征值不变，小于0的特征值变为0；
卷积层之间的残差连接，就是在标准的前馈神经网络结构上，加一个跳跃绕过一些层的连接，和前馈神经网络的结果进行加和或者连接操作。
步骤二中的多核卷积网络是在骨架结构后，添加额外的卷积层，这些卷积层是由局部响应归一化层、修正线性激活层以及卷积层之间的残差连接组成，和骨架网络不同的是，这些卷积层的大小是逐层递减的，实现在多尺度下进行预测。
一种基于深度学习的集装箱远角箱角的检测校准方法，其整体步骤如下：
步骤一、利用拍摄视频的连续性信息，进行背景建模，提取集装箱的运动前景；
步骤二、在提取的运动前景中进行Hough线检测，快速检测出集装箱上存在的线段，并记录每一条线段的起点和终点；
步骤三、利用深度学习方法检测到的近角位置以及步骤二中检测到的直线，推算出远角的位置。
步骤一中背景建模的方法是帧差法，即将视频中相邻的两帧图像进行灰度化之后对应像素相减，在得到帧差后的灰度图像后，采用膨胀腐蚀方法，去除噪点，保留运动前景。
步骤三中推算远角位置的具体方法为：由于Hough线检测会检测出大量的线段，首先将无关线段删除，然后对剩余的线段进行连通域分析，将相近的线段连成一个连通域，取连通域距离近角箱角最远的位置，以此位置作为远角箱角的右下角，按远角箱角和近角箱角的大小比例，得到远角箱角的长和宽，即得到远角箱角的位置；远角箱角和近角箱角的大小比例通常取2:3。
无关线段的删除原则为：首先要保证线段具有一定长度，长度按照集装箱占图像的比例设置；再者要保留与集装箱近角外接矩形距离较近的部分；最后考虑到集装箱在移动过程中是保持正常形态的，不会出现倾斜或者翻转的情况，因此只保留倾斜角处于-25°～25°之内的线段；综合上述原则，将不符合规定的线段删除。
一种集装箱锁扣的识别及预警方法，其整体步骤为：
步骤一、利用箱角检测方法以及远角箱角的校准方法，获得集装箱近角箱角和远角箱角的准确位置；由于锁扣和箱角的关系是锁扣在箱角正下方，于是利用此几何关系来确定锁扣可能存在的位置；
步骤二、提取步骤一中获得的锁扣可能存在部位的图像，进行尺度变化到特定尺度；
步骤三、提取HOG特征得到特定维度的特征向量，再使用SVM分类器进行分类，判断锁扣是否存在；
步骤四、若存在锁扣，通过警示灯警示或警示音提醒进行报警，立即停止移动集装箱，并人为拆卸锁扣。
本发明具有集装箱锁扣自动检测效率高、预警准确的优点，可大幅度降低操作人员的工作强度，避免因人为疏漏造成的安全事故，可广泛应用于铁路、公路、水路和航空等领域的集装箱运输行业。
附图说明
图1为本发明的整体流程示意图。
图2为集装箱箱角检测方法的流程图。
图3为骨架网络的结构图。
图4为多核卷积层与分类器和回归器网络的结构图。
图5为远角箱角的检测校准方法的流程图。
图6为集装箱锁扣识别模型训练过程示意图。
图7为集装箱锁扣的识别及预警方法的流程图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1～4所示的一种基于深度学习的集装箱箱角检测方法，可实现对集装箱箱角位置的快速精准定位，检测对象包括近角箱角和远角箱角，近角箱角为距离摄像头较近的箱角，远角箱角为距离摄像头较远的箱角。其整体步骤如下：
步骤一、从摄像头实时获取待检测集装箱图像并将其采用线性插值法进行尺寸变换至设定大小；
步骤二、通过骨架网络和多核卷积网络的级联以及分类器与回归器网络建立一种基于深度学习的深度神经网络，即箱角检测模型；然后对箱角检测模型进行训练，其训练方法为：
a、采集大量现实场景中的集装箱图像进行人工标注，框出存在箱角的位置，给出箱角区域的起点坐标和终点坐标，标注箱角的类别，进而得到数据样本；
b、将数据样本输入至建立的深度神经网络中进行特征提取与分类回归，得到箱角位置和箱角种类的置信度；
c、通过损失函数将获得的箱角位置和箱角类别的置信度与人工标注的结果进行对比，得到量化的结果，再通过深度神经网络中的梯度反向传导机制，自动调整深度神经网络中的各个神经元的权值，完成深度神经网络的训练；
步骤三、将尺寸变化后的图像输入预先训练好的箱角检测模型中进行箱角检测，得到图像中箱角存在的位置，并给出该位置为箱角的置信度。箱角检测模型是一种端到端的神经网络，只需要将图像输入模型，模型将自动进行特征提取、分类器分类和回归器回归，从而直接得到分类的箱角类别和回归的箱角起点坐标、终点坐标以及箱角的宽和高。
步骤二中的骨架网络包括4个依次级联的卷积网络基本单元，每个单元由依次连接的卷积层、局部响应归一化层、最大池化层、修正线性激活层以及卷积层之间的残差连接组成；
卷积层利用卷积核在图像上滑动，对图像进行卷积操作，提取输入图像特征，得到较为粗略的特征图；
局部响应归一化层采用3像素*3像素的卷积核在特征图上滑动，并对每个卷积核覆盖位置的像素值进行均值和方差的归一化，得到不受光照变化影响的粗略特征图；
最大池化层采用2像素*2像素的区域在特征图上按照步长为2滑动，保留每个区域里像素值的最大值，得到具有平移不变性的较为准确的特征图，同时也减小特征图的大小到原图的1/4；
修正线性激活层采用1像素*1像素的区域在特征图上滑动，大于0的特征值不变，小于0的特征值变为0；
卷积层之间的残差连接，就是在标准的前馈神经网络结构上，加一个跳跃绕过一些层的连接，和前馈神经网络的结果进行加和或者连接操作。
步骤二中的多核卷积网络是在骨架结构后，添加额外的卷积层，这些卷积层是由局部响应归一化层、修正线性激活层以及卷积层之间的残差连接组成，和骨架网络不同的是，这些卷积层的大小是逐层递减的，实现在多尺度下进行预测。
本发明中考虑到箱角部位面积占集装箱图片总面积的比例较小，避免多级缩小后特征变弱甚至消失，于是采用了两级的多核卷积网络。这两级卷积的结果分别进行分类和回归，然后将二者的结果连接起来作为最终分类和回归的结果。
由于实际应用场景中，使用上述的深度学习方法可以精准的检测到集装箱近角的位置，但是集装箱远角相对近角距离相机的位置较远，显得目标较小，而且较为模糊，有时不能检测出远角箱角的位置，针对这种情况，本发明提供了如图5所示的一种基于深度学习的集装箱远角箱角的检测校准方法，其整体步骤如下：
步骤一、利用拍摄视频的连续性信息，进行背景建模，提取集装箱的运动前景；
步骤二、在提取的运动前景中进行Hough线检测，快速检测出集装箱上存在的线段，并记录每一条线段的起点和终点；
步骤三、利用深度学习方法检测到的近角位置以及步骤二中检测到的直线，推算出远角的位置。
步骤一中背景建模的方法是帧差法，由于集装箱重量沉，体积大，在视频图像中占整张图的大部分，在移动的时候，移动较慢，采用帧差法可以高效的减除大量的背景信息。帧差法是将视频中相邻的两帧图像进行灰度化之后对应像素相减，在得到帧差后的灰度图像后，采用膨胀腐蚀方法，去除噪点，保留运动前景。
步骤三中推算远角位置的具体方法为：由于Hough线检测会检测出大量的线段，首先将无关线段删除，然后对剩余的线段进行连通域分析，将相近的线段连成一个连通域，取连通域距离近角箱角最远的位置，以此位置作为远角箱角的右下角，按远角箱角和近角箱角的大小比例，得到远角箱角的长和宽，即得到远角箱角的位置；远角箱角和近角箱角的大小比例通常取2:3。
无关线段的删除原则为：首先要保证线段具有一定长度，长度按照集装箱占图像的比例设置；再者要保留与集装箱近角外接矩形距离较近的部分；最后考虑到集装箱在移动过程中是保持正常形态的(箱角在下，箱体保持直立)，不会出现倾斜或者翻转的情况，因此只保留倾斜角处于-25°～25°之内的线段；综合上述原则，将不符合规定的线段删除。
一种集装箱锁扣的识别及预警方法，能自动进行锁扣识别和报警，减轻操作人员负担，避免因人为疏漏造成的事故，其整体步骤为：
步骤一、利用箱角检测方法以及远角箱角的校准方法，获得集装箱近角箱角和远角箱角的准确位置；由于锁扣和箱角的关系是锁扣在箱角正下方，于是利用此几何关系来确定锁扣可能存在的位置；
步骤二、提取步骤一中获得的锁扣可能存在部位的图像，进行尺度变化到特定尺度；
步骤三、提取特征并使用分类器进行分类，判断锁扣是否存在；
步骤四、若存在锁扣，通过警示灯警示或警示音提醒进行报警，立即停止移动集装箱，并人为拆卸锁扣。
锁扣可能存在位置的图像首先分为近角位置和远角位置，每种位置又有存在锁扣和不存在锁扣两种情况，这些数据使用HOG特征进行特征提取，得到特定维度的特征向量，再使用SVM进行分类，判断是否存在锁扣。
本发明的有益效果为：
(1)本发明提供的集装箱箱角的检测方法速度快，精度高，易于操作，可以支持现实场景中的应用，而且也可以为集装箱相关的其他任务提供帮助。
(2)本发明提供的基于视频的集装箱远角的校准方法，可以进一步提升对模糊远角的检测准确度。
(3)本发明提供的锁扣识别及预警方法，可以有效减少操作人员负担，降低人为疏漏造成事故的可能性。
(4)箱角检测方法、远角箱角的校准方法以及锁扣识别及预警方法相结合后，能对集装箱锁扣进行自动识别，从而避免因人为疏漏造成的安全事故，并大幅度降低操作人员的工作强度，提高工作效率。
上述实施方式并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的技术方案范围内所做出的变化、改型、添加或替换，也均属于本发明的保护范围。
Claims (8)
1.一种基于深度学习的集装箱箱角检测方法，其特征在于：所述检测方法的整体步骤如下：
步骤一、从摄像头实时获取待检测集装箱图像并将其采用线性插值法进行尺寸变换至设定大小；
步骤二、通过骨架网络和多核卷积网络的级联以及分类器与回归器网络建立一种基于深度学习的深度神经网络，即箱角检测模型；然后对箱角检测模型进行训练，其训练方法为：
a、采集大量现实场景中的集装箱图像进行人工标注，框出存在箱角的位置，给出箱角区域的起点坐标和终点坐标，标注箱角的类别，进而得到数据样本；
b、将数据样本输入至建立的深度神经网络中进行特征提取与分类回归，得到箱角位置和箱角种类的置信度；
c、通过损失函数将获得的箱角位置和箱角类别的置信度与人工标注的结果进行对比，得到量化的结果，再通过深度神经网络中的梯度反向传导机制，自动调整深度神经网络中的各个神经元的权值，完成深度神经网络的训练；
步骤三、将尺寸变化后的图像输入预先训练好的箱角检测模型中进行箱角检测，得到图像中箱角存在的位置，并给出该位置为箱角的置信度。
2.根据权利要求1所述的基于深度学习的集装箱箱角检测方法，其特征在于：所述步骤二中的骨架网络包括4个依次级联的卷积网络基本单元，每个单元由依次连接的卷积层、局部响应归一化层、最大池化层、修正线性激活层以及卷积层之间的残差连接组成；
所述卷积层利用卷积核在图像上滑动，对图像进行卷积操作，提取输入图像特征，得到较为粗略的特征图；
所述局部响应归一化层采用3像素*3像素的卷积核在特征图上滑动，并对每个卷积核覆盖位置的像素值进行均值和方差的归一化，得到不受光照变化影响的粗略特征图；
所述最大池化层采用2像素*2像素的区域在特征图上按照步长为2滑动，保留每个区域里像素值的最大值，得到具有平移不变性的较为准确的特征图，同时也减小特征图的大小到原图的1/4；
所述修正线性激活层采用1像素*1像素的区域在特征图上滑动，大于0的特征值不变，小于0的特征值变为0；
所述卷积层之间的残差连接，就是在标准的前馈神经网络结构上，加一个跳跃绕过一些层的连接，和前馈神经网络的结果进行加和或者连接操作。
3.根据权利要求1所述的基于深度学习的集装箱锁扣检测及预警方法，其特征在于：所述步骤二中的多核卷积网络是在骨架结构后，添加额外的卷积层，这些卷积层是由局部响应归一化层、修正线性激活层以及卷积层之间的残差连接组成，和骨架网络不同的是，这些卷积层的大小是逐层递减的，实现在多尺度下进行预测。
4.一种基于深度学习的集装箱远角箱角的检测校准方法，其特征在于：所述校准方法的整体步骤如下：
步骤一、利用拍摄视频的连续性信息，进行背景建模，提取集装箱的运动前景；
步骤二、在提取的运动前景中进行Hough线检测，快速检测出集装箱上存在的线段，并记录每一条线段的起点和终点；
步骤三、利用深度学习方法检测到的近角位置以及步骤二中检测到的直线，推算出远角的位置。
5.根据权利要求1所述的基于深度学习的集装箱远角箱角的检测校准方法，其特征在于：所述步骤一中背景建模的方法是帧差法，即将视频中相邻的两帧图像进行灰度化之后对应像素相减，在得到帧差后的灰度图像后，采用膨胀腐蚀方法，去除噪点，保留运动前景。
6.根据权利要求1所述的基于深度学习的集装箱远角箱角的检测校准方法，其特征在于：所述步骤三中推算远角位置的具体方法为：由于Hough线检测会检测出大量的线段，首先将无关线段删除，然后对剩余的线段进行连通域分析，将相近的线段连成一个连通域，取连通域距离近角箱角最远的位置，以此位置作为远角箱角的右下角，按远角箱角和近角箱角的大小比例，得到远角箱角的长和宽，即得到远角箱角的位置；所述远角箱角和近角箱角的大小比例通常取2:3。
7.根据权利要求6所述的基于深度学习的集装箱远角箱角的检测校准方法，其特征在于：所述无关线段的删除原则为：首先要保证线段具有一定长度，长度按照集装箱占图像的比例设置；再者要保留与集装箱近角外接矩形距离较近的部分；最后考虑到集装箱在移动过程中是保持正常形态的，不会出现倾斜或者翻转的情况，因此只保留倾斜角处于-25°～25°之内的线段；综合上述原则，将不符合规定的线段删除。
8.一种集装箱锁扣的识别及预警方法，其特征在于：所述识别及预警方法的整体步骤为：
步骤一、利用箱角检测方法以及远角箱角的校准方法，获得集装箱近角箱角和远角箱角的准确位置；由于锁扣和箱角的关系是锁扣在箱角正下方，于是利用此几何关系来确定锁扣可能存在的位置；
步骤二、提取步骤一中获得的锁扣可能存在部位的图像，进行尺度变化到特定尺度；
步骤三、提取HOG特征得到特定维度的特征向量，再使用SVM分类器进行分类，判断锁扣是否存在；
步骤四、若存在锁扣，通过警示灯警示或警示音提醒进行报警，立即停止移动集装箱，并人为拆卸锁扣。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710947766.4A CN107680092B (zh) | 2017-10-12 | 2017-10-12 | 一种基于深度学习的集装箱锁扣检测及预警方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710947766.4A CN107680092B (zh) | 2017-10-12 | 2017-10-12 | 一种基于深度学习的集装箱锁扣检测及预警方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107680092A true CN107680092A (zh) | 2018-02-09 |
| CN107680092B CN107680092B (zh) | 2020-10-27 |
Family
ID=61139934
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710947766.4A Active CN107680092B (zh) | 2017-10-12 | 2017-10-12 | 一种基于深度学习的集装箱锁扣检测及预警方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107680092B (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109165734A (zh) * | 2018-07-11 | 2019-01-08 | 中国人民解放军国防科技大学 | 一种矩阵局部响应归一化的向量化实现方法 |
| CN109358628A (zh) * | 2018-11-06 | 2019-02-19 | 江苏木盟智能科技有限公司 | 一种货箱对位方法及机器人 |
| CN109858573A (zh) * | 2019-03-14 | 2019-06-07 | 上海西井信息科技有限公司 | 基于神经网络的集卡防吊起方法 |
| CN110197499A (zh) * | 2019-05-27 | 2019-09-03 | 江苏警官学院 | 一种基于计算机视觉的集装箱安全起吊监测方法 |
| CN110276371A (zh) * | 2019-05-05 | 2019-09-24 | 杭州电子科技大学 | 一种基于深度学习的集装箱角件识别方法 |
| CN111027538A (zh) * | 2019-08-23 | 2020-04-17 | 上海撬动网络科技有限公司 | 一种基于实例分割模型的集装箱检测方法 |
| CN111292261A (zh) * | 2020-01-17 | 2020-06-16 | 杭州电子科技大学 | 一种基于多传感器融合的集装箱检测及锁定方法 |
| CN112661013A (zh) * | 2020-12-17 | 2021-04-16 | 北京航天自动控制研究所 | 一种自动化码头桥吊遗留锁垫检测方法及系统 |
| CN113076889A (zh) * | 2021-04-09 | 2021-07-06 | 上海西井信息科技有限公司 | 集装箱铅封识别方法、装置、电子设备和存储介质 |
| CN113420646A (zh) * | 2021-06-22 | 2021-09-21 | 天津港第二集装箱码头有限公司 | 一种基于深度学习的锁站连接锁检测系统及方法 |
| CN113923417A (zh) * | 2021-10-28 | 2022-01-11 | 北京国基科技股份有限公司 | 基于视频分析的分布式集装箱锁头检测报警系统及方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101609504A (zh) * | 2009-07-21 | 2009-12-23 | 华中科技大学 | 一种红外图像海面目标检测识别定位方法 |
| CN103729655A (zh) * | 2014-01-22 | 2014-04-16 | 哈尔滨工业大学 | 一种用于片式元件视觉定位的检测方法 |
| CN103745226A (zh) * | 2013-12-31 | 2014-04-23 | 国家电网公司 | 一种电力设施作业现场人员着装安全检测方法 |
| CN103942809A (zh) * | 2014-05-12 | 2014-07-23 | 福州大学 | 检测岩石图像中节理裂隙的方法 |
| CN104282011A (zh) * | 2013-07-04 | 2015-01-14 | 浙江大华技术股份有限公司 | 一种检测视频图像中干扰条纹的方法及装置 |
| CN105956619A (zh) * | 2016-04-27 | 2016-09-21 | 浙江工业大学 | 一种集装箱锁孔粗定位和跟踪方法 |
| CN106935035A (zh) * | 2017-04-07 | 2017-07-07 | 西安电子科技大学 | 基于ssd神经网络的违章停车车辆实时检测方法 |
-
2017
- 2017-10-12 CN CN201710947766.4A patent/CN107680092B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101609504A (zh) * | 2009-07-21 | 2009-12-23 | 华中科技大学 | 一种红外图像海面目标检测识别定位方法 |
| CN104282011A (zh) * | 2013-07-04 | 2015-01-14 | 浙江大华技术股份有限公司 | 一种检测视频图像中干扰条纹的方法及装置 |
| CN103745226A (zh) * | 2013-12-31 | 2014-04-23 | 国家电网公司 | 一种电力设施作业现场人员着装安全检测方法 |
| CN103729655A (zh) * | 2014-01-22 | 2014-04-16 | 哈尔滨工业大学 | 一种用于片式元件视觉定位的检测方法 |
| CN103942809A (zh) * | 2014-05-12 | 2014-07-23 | 福州大学 | 检测岩石图像中节理裂隙的方法 |
| CN105956619A (zh) * | 2016-04-27 | 2016-09-21 | 浙江工业大学 | 一种集装箱锁孔粗定位和跟踪方法 |
| CN106935035A (zh) * | 2017-04-07 | 2017-07-07 | 西安电子科技大学 | 基于ssd神经网络的违章停车车辆实时检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 郭斯羽: "一种基于Hough变换的直角角点检测算法", 《电子测量与仪器学报》 * |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109165734B (zh) * | 2018-07-11 | 2021-04-02 | 中国人民解放军国防科技大学 | 一种矩阵局部响应归一化的向量化实现方法 |
| CN109165734A (zh) * | 2018-07-11 | 2019-01-08 | 中国人民解放军国防科技大学 | 一种矩阵局部响应归一化的向量化实现方法 |
| CN109358628A (zh) * | 2018-11-06 | 2019-02-19 | 江苏木盟智能科技有限公司 | 一种货箱对位方法及机器人 |
| CN109858573B (zh) * | 2019-03-14 | 2021-03-12 | 上海西井信息科技有限公司 | 基于神经网络的集卡防吊起方法 |
| CN109858573A (zh) * | 2019-03-14 | 2019-06-07 | 上海西井信息科技有限公司 | 基于神经网络的集卡防吊起方法 |
| CN110276371A (zh) * | 2019-05-05 | 2019-09-24 | 杭州电子科技大学 | 一种基于深度学习的集装箱角件识别方法 |
| CN110276371B (zh) * | 2019-05-05 | 2021-05-07 | 杭州电子科技大学 | 一种基于深度学习的集装箱角件识别方法 |
| CN110197499A (zh) * | 2019-05-27 | 2019-09-03 | 江苏警官学院 | 一种基于计算机视觉的集装箱安全起吊监测方法 |
| CN111027538A (zh) * | 2019-08-23 | 2020-04-17 | 上海撬动网络科技有限公司 | 一种基于实例分割模型的集装箱检测方法 |
| CN111292261A (zh) * | 2020-01-17 | 2020-06-16 | 杭州电子科技大学 | 一种基于多传感器融合的集装箱检测及锁定方法 |
| CN112661013A (zh) * | 2020-12-17 | 2021-04-16 | 北京航天自动控制研究所 | 一种自动化码头桥吊遗留锁垫检测方法及系统 |
| WO2022127311A1 (zh) * | 2020-12-17 | 2022-06-23 | 北京航天自动控制研究所 | 一种自动化码头桥吊遗留锁垫检测方法及系统 |
| CN113076889A (zh) * | 2021-04-09 | 2021-07-06 | 上海西井信息科技有限公司 | 集装箱铅封识别方法、装置、电子设备和存储介质 |
| CN113420646A (zh) * | 2021-06-22 | 2021-09-21 | 天津港第二集装箱码头有限公司 | 一种基于深度学习的锁站连接锁检测系统及方法 |
| CN113420646B (zh) * | 2021-06-22 | 2023-04-07 | 天津港第二集装箱码头有限公司 | 一种基于深度学习的锁站连接锁检测系统及方法 |
| CN113923417A (zh) * | 2021-10-28 | 2022-01-11 | 北京国基科技股份有限公司 | 基于视频分析的分布式集装箱锁头检测报警系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107680092B (zh) | 2020-10-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107680092A (zh) | 一种基于深度学习的集装箱锁扣检测及预警方法 | |
| Yang et al. | Real-time face detection based on YOLO | |
| CN106127204B (zh) | 一种全卷积神经网络的多方向水表读数区域检测算法 | |
| CN109816024A (zh) | 一种基于多尺度特征融合与dcnn的实时车标检测方法 | |
| CN111091072A (zh) | 一种基于YOLOv3的火焰及浓烟检测方法 | |
| Shen et al. | A positioning lockholes of container corner castings method based on image recognition | |
| CN108898078A (zh) | 一种多尺度反卷积神经网络的交通标志实时检测识别方法 | |
| CN105574550A (zh) | 一种车辆识别方法及装置 | |
| CN106599885A (zh) | 一种集装箱Bay位监测系统及方法 | |
| CN112560675B (zh) | Yolo与旋转-融合策略相结合的鸟类视觉目标检测方法 | |
| CN109145872A (zh) | 一种基于CFAR与Fast-RCNN融合的SAR图像舰船目标检测方法 | |
| CN106446150A (zh) | 一种车辆精确检索的方法及装置 | |
| CN113850242B (zh) | 一种基于深度学习算法的仓储异常目标检测方法及系统 | |
| CN108830224B (zh) | 一种基于深度学习的高分辨率遥感影像舰船目标检测方法 | |
| Yan et al. | Towards automated detection and quantification of concrete cracks using integrated images and lidar data from unmanned aerial vehicles | |
| CN108871409A (zh) | 一种故障检测方法和系统 | |
| CN110110578A (zh) | 一种室内场景语义标注方法 | |
| CN103077537B (zh) | 基于l1正则化的实时运动目标跟踪的新方法 | |
| CN108681711A (zh) | 一种面向移动机器人的自然路标提取方法 | |
| CN113313107B (zh) | 一种斜拉桥缆索表面多类型病害智能检测和识别方法 | |
| CN111524113A (zh) | 提升链异常识别方法、系统、设备及介质 | |
| CN116645586A (zh) | 一种基于改进YOLOv5的港口集装箱损伤检测方法及系统 | |
| CN116824335A (zh) | 一种基于YOLOv5改进算法的火灾预警方法及系统 | |
| Shi et al. | Obstacle type recognition in visual images via dilated convolutional neural network for unmanned surface vehicles | |
| Wang et al. | Research on traffic sign detection based on convolutional neural network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20210111 Address after: Room 935, Yingying building, No.99 Tuanjie Road, Nanjing area, China (Jiangsu) pilot Free Trade Zone, Nanjing 211500, Jiangsu Province Patentee after: CSTT (Nanjing) Technology Co.,Ltd. Address before: 100086 room 550, scientific research complex building, Institute of computing, Chinese Academy of Sciences, no.6, South Road, Academy of Sciences, Haidian District, Beijing Patentee before: SEETATECH (BEIJING) TECHNOLOGY Co.,Ltd. |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20231102 Address after: Room 902, 9th Floor, Building C, Tengfei Building, No. 88 Jiangmiao Road, Yanchuangyuan, Nanjing Area, China (Jiangsu) Pilot Free Trade Zone, Nanjing, Jiangsu Province, 211500 Patentee after: Shituoyun (Nanjing) Technology Co.,Ltd. Address before: Room 935, Yingying building, No.99 Tuanjie Road, Nanjing area, China (Jiangsu) pilot Free Trade Zone, Nanjing 211500, Jiangsu Province Patentee before: CSTT (Nanjing) Technology Co.,Ltd. |