CN113240641B - 一种基于深度学习的集装箱破损实时检测方法 - Google Patents

Abstract

本发明提供一种基于深度学习的集装箱破损实时检测方法，包括以下步骤：步骤1：从监控设备中获取集装箱图像；步骤2：采用生成对抗网络模型对获取的集装箱图像进行图像增强；步骤3：对集装箱图像进行人工标注图像中破损位置及对应的集装箱破损类型，构建集装箱破损图像数据集；步骤4：搭建集装箱破损检测深度网络模型；步骤5：将训练集或数据集中的图像通过目标检测算法，以图像中每个像素为中心生成多个大小和宽高比不同的锚框作为采样的候选区域；步骤6：训练并测试深度网络模型；步骤7：进行集装箱破损实时检测。本发明能够适用于无人港口复杂环境、可识别多种破损类型、处理速度快并且能够满足实时检测需求。

Description

一种基于深度学习的集装箱破损实时检测方法

技术领域

本发明涉及图像处理技术领域，具体而言，尤其涉及一种基于深度学习的集装箱破损实时检测方法。

背景技术

集装箱作为一种运输货物的保护屏障，是现代物流运输不可或缺的一部分。集装箱破损情况进行检测十分必要，因为集装箱的破损会对集装箱及其内部货物、物流运输及服务、港口及利益相关者带来相应损失。

出于人力资源和作业效率等因素的考虑，港口通常仅在进出闸门时对集装箱进行破损检测。一方面，港口往往依赖安检人员对集装箱进行破损检测，但是基于人工的破损检测存在安检人员主观因素差异、破损状态的评级差异大、常规检查不够频繁等问题。另一方面，随着集装箱运输、装卸和理货的自动化程度不断加深，传统港口向智慧港口、自动化港口及无人港口转型，导致港口的现场人员呈减小的趋势，导致缺少安检人员对集装箱进行破损检测。因而，仅在进出闸门的对集装箱进行破损检测，往往不能及时发现集装箱在运输和操作过程中出现的破损。目前，在集装箱破损自动检测方法中仍为对多类型破损进行检测，加之受检测准确率和效率的影响，集装箱破损检测仍或多或少的需要人工干预。

综上所述，港口需要新技术支持多类型实时的集装箱破损检测，从而降低集装箱破损造成的潜在风险级联效应。

发明内容

针对现有集装箱破损检测技术存在的问题，而提供一种适用于无人港口复杂环境的、可识别多种破损类型、处理速度快以及满足实时检测需求的集装箱破损检测方法。本发明采用计算机视觉领域常使用的深度神经网络模型，结合集装箱破损的特点和迁移学习等方法并应用集装箱破损检测，满足无人化港口集装箱破损实时检测需求。

本发明采用的技术手段如下：

一种基于深度学习的集装箱破损实时检测方法，包括以下步骤：

步骤1：从监控设备中获取集装箱图像；

通过港口设置的监控设备在港口正常运行的过程中拍摄包含集装箱状态信息的视频流，通过对监控设备中包含集装箱状态信息的选择、截取与提取关键帧，获得集装箱图像；

步骤2：采用生成对抗网络模型对获取的集装箱图像进行图像增强，使集装箱破损特征显著化；

步骤3：对集装箱图像进行人工标注图像中破损位置及对应的集装箱破损类型，构建集装箱破损图像数据集，集装箱破损类型包括破损、孔洞、变形、凹痕、锈腐、箱门未掩闭、倒塌与正常集装箱八类特征；

步骤4：搭建集装箱破损检测深度网络模型；

步骤5：将步骤3得到的集装箱破损图像数据集分为训练集与测试集，通过深度网络模型提取已确定的集装箱破损类型特征，将训练集或测试集中的图像通过目标检测算法，基于输入图像像素为中心生成多个大小和宽高比不同的锚框作为采样候选区域，然后根据人工标注图像中破损位置判断候采样选区域中是否包含集装箱破损类型特征，并调整锚框的大小和高宽比；

步骤6：训练深度网络模型时，对训练集图像的采样候选区域进行变形操作，先从图像中裁剪出随机大小和高宽比的随机区域，然后将随机区域缩放为227×227像素作为输入，得到多个候选区域，根据交并比调整区域边缘，预测目标的真实边界框，反复迭代训练模型，得到可识别八类集装箱破损类型特征的训练完的的深度网络模型；

测试深度网络模型时，将测试集图像的高和宽均缩放为256像素，并从中裁剪出高和宽均为227像素的中心区域作为输入，得到多个候选区域，通过深度网络模型预测测试集图像的集装箱破损类型，若识别精度达不到95％以上则重新训练，增加迭代次数，直至识别精度达到95％以上，最终输出预测边界框及其集装箱破损类型并给出预测概率；

步骤7：进行集装箱破损实时检测时，采用步骤1和步骤2的方式采集集装箱图像后，输入训练好的深度网络模型，即可输出预测边界框及其集装箱破损类型并给出预测概率。

进一步地，步骤1具体包括：

步骤101：对视频流进行图像的选择与截取；

步骤102：采用差分法对选择与截取后的帧图像中的两帧图像做差分运算；

步骤103：根据运算结果，选择具有平均帧间差分强度局部最大值的帧作为集装箱图像。

进一步地，步骤2采用的生成对抗网络模型，由生成网络和判别网络组成，步骤2具体包括以下步骤：

步骤201：通过生成网络输入目标图像，经过一个卷积层预处理后，通过残差块进一步处理后，再经过卷积层得到增强后的图像；

步骤202：通过判别网络，用于判断优化后的目标图像效果，最终输出增强后的目标图像。

进一步地，步骤3具体包括：对集装箱图像用矩形边界框进行人工标注图像中破损位置及对应的集装箱破损类型，得到每张集装箱图像对应的xml文件，其中包括每个边界框的坐标及对应的集装箱破损类型。

进一步地，步骤4中的检测模型网络结构包括输入层、卷积层、池化层、全连接层、ReLU层、局部归一化层、随机失活层和输出层，并引入含并行连接网络的Inception块；输入层用于接收输入图像；卷积层每个神经元的输入与前一层的局部感受区域相连，可提取该局部的特征；池化层是特征映射层，网络的每个计算层由多个特征映射组成，每个特征映射为平面，所有神经元的权值相等，并采用ReLU层作为隐藏层激活函数，避免梯度消失或梯度爆炸；全连接层用于获取高维空间数据的表达；局部归一化层用于对局部神经元的活动创建竞争机制，增强模型的泛化能力和收敛速度；随机失活层用于避免出现单个节点的权重过大，避免网络模型的过拟合；输出层采用Softmax作为输出函数给出所有集装箱破损类型概率分布，输出最终的识别结果；Inception块包含四条并行的线路，将具有不同尺寸卷积核的卷积层并联；通过不同窗口形状的卷积层和最大池化层来并行抽取信息，并使用1×1卷积层减少通道数从而降低模型复杂度，最后通过深度汇聚层，将每条线路的输出在通道维上连结，使几个分支在深度方向进行组合并输出，确保网络能够同时对多种不同大小的集装箱破损类型进行提取。

进一步地，步骤5具体包括以下步骤：

步骤501：假设输入图像高为h，宽为w，分别以图像的每个像素为中心生成不同形状的锚框，设锚框大小为s∈(0，1]且宽高比为r＞0，即锚框的宽和高将分别为

和/>

因此，当中心像素位置给定时，已知宽和高的锚框是确定的；

步骤502：指定图像中每一个像素位置，并采样以每个像素为中心的所有采样候选区域。

进一步地，步骤6训练深度网络模型和测试深度网络模型均具体包括以下步骤：

步骤601：将候选区域和步骤3标注的边界框内的像素区域视为两个像素集合；

步骤602：通过交并比衡量步骤601中两个像素集合的相似度，即候选区域与边界框相交面积与相并面积之比，其中交并比的取值范围为0到1，若交并比为0则表示两个像素集合无重合像素，若交并比为1则表示两个像素集合相等，当交并比大于预先设定的阈值时，为候选区域分配对应边界框标注的集装箱破损类型标签作为真实边界框。

进一步地，步骤6还包括以下步骤：

(1)训练深度网络模型时：

步骤611：将集装箱图像中每个锚框视为一个训练样本；

步骤612：为每个锚框标注两类标签：锚框所含集装箱破损的类型以及与其同一像素位置对应的真实边界框的偏移量；

步骤613：根据偏移量，调整锚框的大小和高宽比，从而得到预测边界框；

步骤614：在已分配真实边界框的锚框中，筛选出交并比最大的真实边界框作为最终预测边界框，输出预测边界框及其集装箱破损类型；

(2)测试深度网络模型时：

步骤621：首先为输入图像生成多个锚框；

步骤622：为每个锚框标注两类标签：锚框所含集装箱破损的类型以及与其同一像素位置对应的真实边界框的偏移量；

步骤623：根据偏移量，调整锚框的大小和高宽比，从而得到预测边界框；

步骤624：采用非极大值抑制移除相似的预测边界框并给出预测边界框的集装箱破损类型及预测概率。

较现有技术相比，本发明具有以下优点：

本发明提供的基于深度学习的集装箱破损实时检测方法，将深度神经网络模型引入到集装箱破损检测中；同时通过对集装箱破损的分类与整理，建立基于港口真实数据的多类型集装箱破损图像数据集；设计实现了基于深度学习的多类型集装箱破损检测模型，通过破损检测模型对集装箱图像中的破损进行准确的识别与分类，实现全流程的多类型集装箱破损检测与分类；此方法可减少人工干预，提高港口作业效率，用于缺少现场安检人员的智慧港口及无人港口。

基于上述理由本发明可在港口集装箱检测等领域广泛推广。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明所述基于深度学习的集装箱破损实时检测方法流程图。

图2为示例用的八类集装箱破损类型的集装箱图像。

图3a为本发明采用的图像增强方法网络结构图。

图3b为本发明采用的图像增强方法处理图像前后效果示意图。

图4a为本发明所述的深度网络模型中Inception结构图。

图4b为本发明所述的深度网络模型结构图。

图5为本发明所述基于深度学习的集装箱破损实时检测结果示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例1

如图1所示，本发明提供了一种基于深度学习的集装箱破损实时检测方法，包括以下步骤：

步骤1：从监控设备中获取集装箱图像；

通过港口设置的监控设备在港口正常运行的过程中拍摄包含集装箱状态信息的视频流，通过对监控设备中包含集装箱状态信息的选择、截取与提取关键帧，获得集装箱图像；

进一步地，步骤1具体包括：

步骤101：对视频流进行图像的选择与截取；

步骤102：采用差分法对选择与截取后的帧图像中的两帧图像做差分运算；

步骤103：根据运算结果，选择具有平均帧间差分强度局部最大值的帧作为集装箱图像；

在具体实施中，由于智慧港口、无人港口好自动化港口中，全港监控无死角，因此本发明通过监控设备采集数据，并按照1秒5帧对监控视频流进行选择与截取，并且选择具有平均帧间差分强度局部最大值的帧作为集装箱图像；

步骤2：采用生成对抗网络模型对获取的集装箱图像进行图像增强，使集装箱破损特征显著化；

进一步地，步骤2采用的生成对抗网络模型，由生成网络和判别网络组成，步骤2具体包括以下步骤：

步骤201：通过生成网络输入目标图像，经过一个卷积层预处理后，通过残差块进一步处理后，再经过卷积层得到增强后的图像；本实施例使用了4个残差块，再经过3个卷积层后得到增强后的图像；图3a为本实施例采用的型结构图；

步骤202：通过判别网络，用于判断优化后的目标图像效果，最终输出增强后的目标图像；

图3b为图像增强处理前后效果对比图；

步骤3：对集装箱图像进行人工标注图像中破损位置及对应的集装箱破损类型，构建集装箱破损图像数据集，集装箱破损类型包括破损(Damage)、孔洞(Hole)、变形(Dent)、凹痕(Bent)、锈腐(Rusty)、箱门未掩闭(Open)、倒塌(Collapse)与正常集装箱(Norm)八类特征；

如图2所示，依次为本发明将集装箱按照类型特征划分为8类破损类型，由于采集到的集装箱破损图像涉及多种不同的破损类型，其中分类及其描述如下：

1)Damage：集装箱表面出现破损、开裂、割伤、裂痕等特征；

2)Hole：集装箱表面凿孔、破洞等特征

3)Dent：集装箱箱体结构出现凹损、拱起等严重变形特征；

4)Bent：集装箱表面出现凹痕、弯曲、凿痕和压痕等特征；

5)Rusty：集装箱表面出现腐蚀、锈腐等特征；

6)Open：集装箱箱门未掩闭；

7)Collapse：倒塌的集装箱堆栈及集装箱；

8)Norm：正常集装箱堆栈及集装箱；

进一步地，步骤3具体包括：对集装箱图像使用软件LabelImg用矩形边界框进行人工标注图像中破损位置及对应的集装箱破损类型，得到每张集装箱图像对应的xml文件，其中包括每个边界框的坐标及对应的集装箱破损类型；

步骤4：搭建集装箱破损检测深度网络模型；

进一步地，图4b为本发明所述深度网络模型网络结构图，步骤4中的检测模型网络结构包括输入层、卷积层、池化层、全连接层、ReLU层、局部归一化层、随机失活层和输出层，并引入含并行连接网络的Inception块；

输入层用于接收输入图像；卷积层每个神经元的输入与前一层的局部感受区域相连，可提取该局部的特征；池化层是特征映射层，网络的每个计算层由多个特征映射组成，每个特征映射为平面，所有神经元的权值相等，并采用ReLU层作为隐藏层激活函数，避免梯度消失或梯度爆炸；全连接层用于获取高维空间数据的表达；局部归一化层用于对局部神经元的活动创建竞争机制，增强模型的泛化能力和收敛速度；随机失活层用于避免出现单个节点的权重过大，避免网络模型的过拟合；输出层采用Softmax作为输出函数给出所有集装箱破损类型概率分布，输出最终的识别结果；Inception块包含四条并行的线路，将具有不同尺寸卷积核的卷积层并联；通过不同窗口形状的卷积层和最大池化层来并行抽取信息，并使用1×1卷积层减少通道数从而降低模型复杂度，最后通过深度汇聚层，将每条线路的输出在通道维上连结，使几个分支在深度方向进行组合并输出，确保网络能够同时对多种不同大小的集装箱破损类型进行提取；

图4a为深度网络模型中Inception结构图，包含四条并行的线路，将具有不同尺寸卷积核的卷积层并联；前三条线路使用窗口大小分别是1×1、3×3和5×5的卷积层来抽取不同空间尺寸下的信息，中间两条线路会对输入先做1×1卷积来减少输入通道数，以降低模型复杂度，第四条线路则使用3×3最大池化层，后采用1×1卷积层来改变通道数，四条线路都使用了合适的填充来使输入与输出的高和宽一致，最后将每条线路的输出在通道维上连结，使几个分支在深度方向进行组合并输出，确保网络能够同时对多种不同大小的集装箱破损类型进行提取；

在本实施例中，所述深度网络模型超参数配置如下表所示：

输入层：输入图像尺寸为227×227；

批量归一化层：归一化区域尺寸n＝5；公式系数：α＝0.0001，β＝0.75；

随机失活层：随机失活率为0.5；

卷积层、池化层、全连接层的超参数如表1所列：

表1卷积层、池化层、全连接层超参数表

具体的，首先输入集装箱图像到输入层；然后卷积层及池化层作为特征提取层，处理输入的集装箱图像中常见且重复的模式，其中，卷积层每个神经元的输入与前一层的局部感受区域相连，提取该局部的特征；池化层是特征映射层，将每个特征映射为平面，使所有神经元的权值相等；采用修正线性单元(ReLU)作为隐藏层激活函数，避免出现梯度消失或梯度爆炸的情况；之后通过局部归一化层，对局部神经元的活动创建竞争机制，使得其中响应比较大的值改变为相对更大，并抑制其他反馈较小的神经元，增强模型的泛化能力和高收敛速度；然后采用随机失活层来避免出现过拟合的现象；采用全连接层用来获取高维空间数据的表达；最后输出层采用Softmax给出所有类别上的概率分布，输出最终的识别结果；

步骤5：将步骤3得到的集装箱破损图像数据集分为训练集与测试集，通过深度网络模型提取已确定的集装箱破损类型特征，将训练集或测试集中的图像通过目标检测算法，基于输入图像像素为中心生成多个大小和宽高比不同的锚框作为采样候选区域，然后根据人工标注图像中破损位置判断候采样选区域中是否包含集装箱破损类型特征，并调整锚框的大小和高宽比；

进一步地，步骤5具体包括以下步骤：

步骤501：假设输入图像高为h，宽为w，分别以图像的每个像素为中心生成不同形状的锚框，设锚框大小为s∈(0，1]且宽高比为r＞0，即锚框的宽和高将分别为

和/>

因此，当中心像素位置给定时，已知宽和高的锚框是确定的；

具体地，分别设定一组大小(s₁，s₂，s₃...s_n)和一组宽高比(r₁，r₂，r₃...r_m)，其中选取包含s₁和r₁的大小与高宽比的组合作为候选比例，即

(s₁，r₁)，(s₁，r₂)…(s₁，r_m)，(s₂，r₁)，(s₃，r₁)…(s_n，r_m)

然后指定像素位置采样所有以该像素为中心的候选区域；最后将锚框的左上角与右下角的x与y轴坐标分别除以图像的宽与高，使值域在0到1之间；

步骤502：指定图像中每一个像素位置，并采样以每个像素为中心的所有采样候选区域；

步骤6：训练深度网络模型时，对训练集图像的采样候选区域进行变形操作，先从图像中裁剪出随机大小和高宽比的随机区域，然后将随机区域缩放为227×227像素作为输入，得到多个候选区域，根据交并比调整区域边缘，预测目标的真实边界框，反复迭代训练模型，得到可识别八类集装箱破损类型特征的训练完的的深度网络模型；

测试深度网络模型时，将测试集图像的高和宽均缩放为256像素，并从中裁剪出高和宽均为227像素的中心区域作为输入，得到多个候选区域，通过深度网络模型预测测试集图像的集装箱破损类型，若识别精度达不到95％以上则重新训练，增加迭代次数，直至识别精度达到95％以上，最终输出预测边界框及其集装箱破损类型并给出预测概率；

进一步地，步骤6训练深度网络模型和测试深度网络模型均具体包括以下步骤：

步骤601：将候选区域和步骤3标注的边界框内的像素区域视为两个像素集合；

步骤602：通过交并比衡量步骤601中两个像素集合的相似度，即候选区域与边界框相交面积与相并面积之比，其中交并比的取值范围为0到1，若交并比为0则表示两个像素集合无重合像素，若交并比为1则表示两个像素集合相等，当交并比大于预先设定的阈值时，为候选区域分配对应边界框标注的集装箱破损类型标签作为真实边界框；

进一步地，步骤6还包括以下步骤：

(1)训练深度网络模型时：

步骤611：将集装箱图像中每个锚框视为一个训练样本；

步骤612：为每个锚框标注两类标签：锚框所含集装箱破损的类型以及与其同一像素位置对应的真实边界框的偏移量；

步骤613：根据偏移量，调整锚框的大小和高宽比，从而得到预测边界框；

步骤614：在已分配真实边界框的锚框中，筛选出交并比最大的真实边界框作为最终预测边界框，输出预测边界框及其集装箱破损类型；

具体阐述标注锚框的类别即偏移量的计算过程及原理如下：

假设图像中锚框分别为

真实边界框分别为/>

且n_a＞n_b，其中，为图像中锚框的个数，n_a为图像中真实边界框的个数，n_b定义矩阵/>

其中第i行第j列的元素x_ij为锚框A_i与真实边界框B_j的交并比；

找出矩阵X中最大元素，并将该元素的行索引与列索引分别记为i₁，j₁；

为锚框

分配真实边界框/>

显然锚框/>

和真实边界框/>

在所有的“锚框-真实边界框”的配对中相似度最高；

将矩阵X中第i₁行和第j₁列上的所有元素丢弃；

找出矩阵X中剩余的最大元素，并将该元素的行索引与列索引分别记为i₂，j₂；

为锚框

分配真实边界框/>

将矩阵X中第i₂行和第j₂列上的所有元素丢弃；

此时矩阵X中已有2行2列的元素被丢弃，依此类推，直到所有n列元素全部被丢弃，此时，n_b个锚框已各自分配到真实边界框；

遍历剩余的n_a-n_b个锚框：给定其中的锚框A_i，根据矩阵X的第i行找到与A_i交并比最大的真实边界框B_j，当该交并比大于预设的阈值时，为锚框A_i分配真实边界框B_j作为最终的预测边界框；

(2)测试深度网络模型时：

步骤621：首先为输入图像生成多个锚框；

步骤622：为每个锚框标注两类标签：锚框所含集装箱破损的类型以及与其同一像素位置对应的真实边界框的偏移量；

步骤623：根据偏移量，调整锚框的大小和高宽比，从而得到预测边界框；

步骤624：采用非极大值抑制(non-maximum suppression，NMS)移除相似的预测边界框并给出预测边界框的集装箱破损类型及预测概率；

具体阐述非极大值抑制的计算过程及原理如下：

对于预测边界框B，深度网络模型会计算各个集装箱破损类型的预测概率，设其中最大的预测概率为P，该概率所对应的集装箱破损类型即B的集装箱破损类型；

依据P从高到低排序得到列表L；

从列表L中选取预测概率最高值P₁的预测边界框B₁作为基准，将所有与B₁的交并比大于某阈值的非基准预测边界框从列表L中移除，其中阈值为预设的超参数；

从列表L中选取预测概率次高P₂的预测边界框B₂作为基准，将所有与B₂的交并比大于某阈值的非基准预测边界框从列表L中移除；

重复这一过程，直到列表L中所有的预测边界框都曾作为基准；此时L中任意一对预测边界框的交并比都小于阈值；

输出列表L中的所有预测边界框；

步骤7：进行集装箱破损实时检测时，采用步骤1和步骤2的方式采集集装箱图像后，输入训练好的深度网络模型，即可输出预测边界框及其集装箱破损类型并给出预测概率。

图5为本发明实施的基于深度学习的集装箱破损实时检测方法效果图。本发明通过深度神经网络提取有效的文本特征，可以对集装箱图像中的破损进行准确的识别与分类。

本发明作为一种基于深度学习的实时集装箱破损检测方法可广泛应用于集装箱在港全流程，解决了智慧港口、自动化港口及自动化港口中缺少安检人员、仅在集装箱运输部分环境进行破损检测等问题。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的范围。

Claims (7)

1.一种基于深度学习的集装箱破损实时检测方法，其特征在于，包括以下步骤：

步骤1：从监控设备中获取集装箱图像；

通过港口设置的监控设备在港口正常运行的过程中拍摄包含集装箱状态信息的视频流，通过对监控设备中包含集装箱状态信息的选择、截取与提取关键帧，获得集装箱图像；

步骤2：采用生成对抗网络模型对获取的集装箱图像进行图像增强，使集装箱破损特征显著化；

步骤3：对集装箱图像进行人工标注图像中破损位置及对应的集装箱破损类型，构建集装箱破损图像数据集，集装箱破损类型包括破损、孔洞、变形、凹痕、锈腐、箱门未掩闭、倒塌与正常集装箱八类特征；

步骤4：搭建集装箱破损检测深度网络模型；

步骤4中的检测模型网络结构包括输入层、卷积层、池化层、全连接层、ReLU层、局部归一化层、随机失活层和输出层，并引入含并行连接网络的Inception块；输入层用于接收输入图像；卷积层每个神经元的输入与前一层的局部感受区域相连，可提取该局部的特征；池化层是特征映射层，网络的每个计算层由多个特征映射组成，每个特征映射为平面，所有神经元的权值相等，并采用ReLU层作为隐藏层激活函数，避免梯度消失或梯度爆炸；全连接层用于获取高维空间数据的表达；局部归一化层用于对局部神经元的活动创建竞争机制，增强模型的泛化能力和收敛速度；随机失活层用于避免出现单个节点的权重过大，避免网络模型的过拟合；输出层采用Softmax作为输出函数给出所有集装箱破损类型概率分布，输出最终的识别结果；Inception块包含四条并行的线路，将具有不同尺寸卷积核的卷积层并联；通过不同窗口形状的卷积层和最大池化层来并行抽取信息，并使用1×1卷积层减少通道数从而降低模型复杂度，最后通过深度汇聚层，将每条线路的输出在通道维上连结，使几个分支在深度方向进行组合并输出，确保网络能够同时对多种不同大小的集装箱破损类型进行提取；

步骤5：将步骤3得到的集装箱破损图像数据集分为训练集与测试集，通过深度网络模型提取已确定的集装箱破损类型特征，将训练集或测试集中的图像通过目标检测算法，基于输入图像像素为中心生成多个大小和宽高比不同的锚框作为采样候选区域，然后根据人工标注图像中破损位置判断候采样选区域中是否包含集装箱破损类型特征，并调整锚框的大小和高宽比；

步骤6：训练深度网络模型时，对训练集图像的采样候选区域进行变形操作，先从图像中裁剪出随机大小和高宽比的随机区域，然后将随机区域缩放为227×227像素作为输入，得到多个候选区域，根据交并比调整区域边缘，预测目标的真实边界框，反复迭代训练模型，得到可识别八类集装箱破损类型特征的训练完的的深度网络模型；

测试深度网络模型时，将测试集图像的高和宽均缩放为256像素，并从中裁剪出高和宽均为227像素的中心区域作为输入，得到多个候选区域，通过深度网络模型预测测试集图像的集装箱破损类型，若识别精度达不到95％以上则重新训练，增加迭代次数，直至识别精度达到95％以上，最终输出预测边界框及其集装箱破损类型并给出预测概率；

步骤7：进行集装箱破损实时检测时，采用步骤1和步骤2的方式采集集装箱图像后，输入训练好的深度网络模型，即可输出预测边界框及其集装箱破损类型并给出预测概率。

2.根据权利要求1所述的基于深度学习的集装箱破损实时检测方法，其特征在于，步骤1具体包括：

步骤101：对视频流进行图像的选择与截取；

步骤102：采用差分法对选择与截取后的帧图像中的两帧图像做差分运算；

步骤103：根据运算结果，选择具有平均帧间差分强度局部最大值的帧作为集装箱图像。

3.根据权利要求1所述的基于深度学习的集装箱破损实时检测方法，其特征在于，步骤2采用的生成对抗网络模型，由生成网络和判别网络组成，步骤2具体包括以下步骤：

步骤201：通过生成网络输入目标图像，经过一个卷积层预处理后，通过残差块进一步处理后，再经过卷积层得到增强后的图像；

步骤202：通过判别网络，用于判断优化后的目标图像效果，最终输出增强后的目标图像。

4.根据权利要求1所述的基于深度学习的集装箱破损实时检测方法，其特征在于，步骤3具体包括：对集装箱图像用矩形边界框进行人工标注图像中破损位置及对应的集装箱破损类型，得到每张集装箱图像对应的xml文件，其中包括每个边界框的坐标及对应的集装箱破损类型。

5.根据权利要求1所述的基于深度学习的集装箱破损实时检测方法，其特征在于，步骤5具体包括以下步骤：

步骤501：假设输入图像高为h，宽为w，分别以图像的每个像素为中心生成不同形状的锚框，设锚框大小为s∈(0，1]且宽高比为r＞0，即锚框的宽和高将分别为

和/>

因此，当中心像素位置给定时，已知宽和高的锚框是确定的；

步骤502：指定图像中每一个像素位置，并采样以每个像素为中心的所有采样候选区域。

6.根据权利要求4所述的基于深度学习的集装箱破损实时检测方法，其特征在于，步骤6训练深度网络模型和测试深度网络模型均具体包括以下步骤：

步骤601：将候选区域和步骤3标注的边界框内的像素区域视为两个像素集合；

步骤602：通过交并比衡量步骤601中两个像素集合的相似度，即候选区域与边界框相交面积与相并面积之比，其中交并比的取值范围为0到1，若交并比为0则表示两个像素集合无重合像素，若交并比为1则表示两个像素集合相等，当交并比大于预先设定的阈值时，为候选区域分配对应边界框标注的集装箱破损类型标签作为真实边界框。

7.根据权利要求6所述的基于深度学习的集装箱破损实时检测方法，其特征在于，步骤6还包括以下步骤：

(1)训练深度网络模型时：

步骤611：将集装箱图像中每个锚框视为一个训练样本；

步骤612：为每个锚框标注两类标签：锚框所含集装箱破损的类型以及与其同一像素位置对应的真实边界框的偏移量；

步骤613：根据偏移量，调整锚框的大小和高宽比，从而得到预测边界框；

步骤614：在已分配真实边界框的锚框中，筛选出交并比最大的真实边界框作为最终预测边界框，输出预测边界框及其集装箱破损类型；

(2)测试深度网络模型时：

步骤621：首先为输入图像生成多个锚框；

步骤622：为每个锚框标注两类标签：锚框所含集装箱破损的类型以及与其同一像素位置对应的真实边界框的偏移量；

步骤623：根据偏移量，调整锚框的大小和高宽比，从而得到预测边界框；

步骤624：采用非极大值抑制移除相似的预测边界框并给出预测边界框的集装箱破损类型及预测概率。

Images