CN113486843A - 一种基于改进YOLOv3的多场景船员不安全行为检测方法 - Google Patents

Abstract

本发明提出了一种基于改进YOLOv3的多场景船员不安全行为检测方法。人为因素直接或间接引起的水运交通事故约占水运交通事故总数的80％。本发明利用改进YOLOv3网络来检测不同场景下船员的脱离岗、抽烟、玩手机、漫谈、睡觉、瞭望疏忽六类不安全行为，并对检测到的不安全行为进行标定并提醒。首先在数据增强部分加入了CLAHE算法；其次将原有的三尺度检测改为四尺度检测并在特征融合网络部分引入了负反馈机制，更好的融合了各尺度特征；最后改进了非极大值抑制算法对候选框进行高斯加权得到更精确的结果。本发明可以准确的检测到船员的不安全行为并对船员进行提醒，降低人为因素导致的海上事故发生率，提升船舶的安全航行能力。

Description

一种基于改进YOLOv3的多场景船员不安全行为检测方法

技术领域

本发明涉及计算机视觉和航运安全领域，具体涉及一种基于改进YOLOv3的多场景船员不安全行为检测方法。

技术背景

船员职业特殊，船员的心理素质、航行的恶劣环境、船员培训的疏忽、船员的素质不高、经验不足等都会造成航行时的不安全行为。在海上，船员的不安全行为可能会引起人员伤亡、财产损失、环境污染等。统计数据表明，在水运交通事故中，人为因素直接或间接导致的事故约占80％。

船员不安全行为是指船员在自己意识的支配下，违反法律法规或安全操作规则或规章制度，使事故有可能或有机会发生，以致危及船舶安全的过错行为。不安全行为具有盲目性以及破坏性，直接威胁船员和船舶的安全，因此提出对船员不安全行为进行有效检测识别的方法具有重要意义。

目前在航运领域内关于船员行为的研究集中于结合船员工作环境进行综合评判或可靠性分析，且主要是理论分析和安全行为的划分。将计算机视觉相关方法应用到检测识别船员不安全行为的研究目前较少，原因主要在于基于船舶驾驶环境的船员行为数据集较难获取与构建，导致后续研究无法跟进。如今YOLO系列在行为识别领域发展相对成熟，行为识别能力突出，因此构建有效的船员不安全行为数据集并利用YOLOv3的检测优势对于提升航运安全具有重要意义。

发明内容

本发明的目的在于有效检测识别船舶驾驶台上人员脱离岗、抽烟、玩手机、漫谈、睡觉、瞭望疏忽六类船员不安全行为并及时进行报警，解决航行过程中船员不安全行为的检测识别问题，提高船舶整体的安全航行能力。

本发明提供的一种基于改进YOLOv3的多场景船员不安全行为的检测识别方法是这样实现的，主要包括以下步骤：

步骤一：构建船员不安全行为数据集。

首先确定研究的船员不安全行为类型即脱离岗、抽烟、玩手机、漫谈、睡觉、瞭望疏忽六类不安全行为；

收集船舶事故案例，收集的船舶历史数据主要是事故发生时的船舶监控录像，并将事故发生时的录像进行逐帧分解，截取其中人员进行了不安全行为的图像作为船员不安全行为数据集的第一部分；

用船舶驾驶模拟器模拟洋山港水域，场景包括：离泊、靠泊、能见度不良、船舶会遇、船舶追越五种场景进行模拟驾驶航行实验，选取实验视频中人员进行了不安全行为的图像作为船员不安全行为数据集的第二部分。

步骤二：对所构建的船员不安全行为数据集进行数据标注。

按照确定的不安全行为类型，每个类别的船员不安全行为至少采集2000张真实有效的图片并对获得的数据使用深度学习图片标注工具labelImg逐个进行不安全行为的人工标注；

标定完成后的数据标签主要包括数据的类别信息、每个目标标定框的左上角坐标、每个目标标定框的右下角坐标，将制得数据集按照8:2的比例划分为训练集和测试集。

步骤三：在特征提取层之前增加数据增强层。

对数据以双线性插值为方法、中心点为轴、顺时针为方向、90度为角度的旋转和左右翻转两种方式进行增强；

在此基础上加入CLAHE算法，设置裁剪值为0.02，裁剪次数为5次，对数据中直方图数值高于0.02的部分进行裁剪，最后把裁剪掉的部分均匀分布在整个直方图上，在图像的整个强度尺度上产生均匀分布的强度水平，让整个网络在提取相关夜间数据特征时效率更高。

步骤四：搭建改进YOLOv3特征提取网络。使用四尺度提取代替三尺度提取，增加的尺度为104×104，通过融合四个尺度在特征融合网络内部上采样和引入的负反馈机制采集到的特征，增强特征金字塔的表征能力。

步骤五：构建改进YOLOv3的特征融合网络。

首先是自底向上的特征融合部分：

将原有的运算增添卷积模块并定义为卷积块，一个卷积块具体为：1×1卷积+1×1卷积+3×3卷积+1×1卷积+3×3卷积+1×1卷积；

在YOLOv3特征提取网络中得到四个特征图F1，F2，F3，F4。F4在经过一次卷积块运算后，得到特征图P4并进行上采样模块采集特征，采集到的特征与F3连接；

F3在连接并经过一次卷积块运算后，得到特征图P3并进行上采样模块采集特征，采集到的特征与F2连接；

F2在连接并经过一次卷积块运算后，得到特征图P2并进行上采样模块采集特征，采集到的特征与F1连接；

其次是引入负反馈机制的自顶向下特征融合部分：

特征图D1经过一次卷积块运算后将特征通过与特征图P2相连接进行特征负反馈，再经过卷积块运算后得特征图D2；

特征图D2经过一次卷积块运算后将特征通过与特征图P3相连接进行特征负反馈，再经过卷积块运算后得特征图D3；

特征图D3经过一次卷积块运算后将特征通过与特征图P4相连接进行特征负反馈，再经过卷积块运算后得特征图D4；

步骤六：使用改进的非极大值抑制算法(NMS)，具体为通过高斯加权得到新候选框的方式，迭代标记完所有要保留下来的矩形框，去除冗余候选框，预测最优的目标对象，实现公式如下：

其中M为当前置信度最高的检测框，b_i为待处理框。

步骤七：将训练集数据送入到改进后的模型中进行训练。

训练中设置的迭代次数为10000次，学习率为0.01，批尺寸设置为64，衰减率为0.0005，动量大小设置为0.9，根据训练中损失函数的变化趋势适当调整学习率和批尺寸，直至达到设定的迭代次数时结束训练，保存模型。

步骤八：将测试集中待检测的图像送入到训练好的模型中，模型将检测出来的船员不安全行为目标用矩形框显示出来。

在步骤一中所描述的真实船舶事故案例具体是：2012年2月22日“珍河”轮在广东沿海担杆列岛东南约15海里的海域与“MOL MANEUVER”轮发生的碰撞事故、2013年3月5日“峰云河轮”在上海吴淞口水域发生碰撞、2014年1月29日“飞河”轮新加坡进港发生碰撞事故。

与现有技术相比，本发明提供的基于改进YOLOv3的多场景船员不安全行为检测方法具有以下有益效果：

构建了船员不安全行为的有效数据集，真实有效的数据集对于实现深度学习技术具有关键性作用；针对夜间航行数据特征难以提取的特点在数据增强部分引入了CLAHE算法，能够更加有效的提取到夜间数据特征；在特征融合网络部分引入了负反馈机制并增加了新的卷积层，更好的融合了各尺度特征；在候选框选定上改进了非极大值抑制算法(NMS)对候选框进行高斯加权得到更精确的结果。

附图说明

为了更清楚地说明本发明实例或背景技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例,对于本领域的人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种基于改进YOLOv3的多场景船员不安全行为检测方法的整体流程图；

图2为本发明一种基于改进YOLOv3的多场景船员不安全行为检测方法在数据增强部分引入CLAHE算法的图片直方图变化示意图，图2a为原始图像直方图，图2b为引入CLAHE算法后的图像直方图；

图3为本发明一种基于改进YOLOv3的多场景船员不安全行为检测方法构建的改进特征提取网络；

图4为本发明一种基于改进YOLOv3的多场景船员不安全行为检测方法改进的引入负反馈机制的特征融合网络结构示意图；

图5为本发明一种基于改进YOLOv3的多场景船员不安全行为检测方法的改进卷积块示意图；

具体实施方式

下面将结合附图对本发明的具体实施方式作进一步说明。

本发明一种基于改进YOLOv3的多场景船员不安全行为检测方法整体流程图如图1所示，本发明是基于改进YOLOv3，利用所构造的多场景船员不安全行为数据集来检测识别航行时船员的不安全行为，提高船舶安全航行能力，

步骤一：构造多场景船员不安全行为数据集：

1-1、收集海上发生水运交通安全事故的船舶信息数据，将其中较有代表性的三个事故：2012年2月22日“珍河”轮在广东沿海担杆列岛东南约15海里的海域与“MOLMANEUVER”轮发生的碰撞事故、2013年3月5日“峰云河轮”在上海吴淞口水域发生碰撞、2014年1月29日“飞河”轮新加坡进港发生碰撞事故作为真实船舶事故数据；

1-2、在职船员培训时，以船舶驾驶模拟室、吴淞轮为平台进行模拟驾驶的数据采集，其中所有参与培训的人员均为不同职称的在职船员，模拟的水域为洋山港水域，设置的场景包括：离岗、靠泊、能见度不良、船舶会遇、船舶追越五种场景；

选取1-1中人员进行了不安全行为的图像作为船员不安全行为数据集的第一部分，选取1-2中人员进行了不安全行为的图像作为船员不安全行为数据集的第二部分；

步骤二：利用深度学习图片标注工具labelImg对所构建的船员不安全行为数据集中的数据进行不安全行为的人工标注；

标定完成后的数据标签主要包括数据的类别信息、每个目标标定框的左上角坐标、每个目标标定框的右下角坐标；

将所标定完成的数据标签以xml文件格式进行保存，把标注后的数据集按照8:2的比例划分为训练集和测试集；

步骤三：在特征提取层之前增加数据增强层，对数据以双线性插值为方法、中心点为轴、顺时针为方向、90度为角度的旋转和左右翻转两种方式进行增强；

因为船员不安全行为数据集有夜间航行部分，在此基础上加入CLAHE算法，设置裁剪值为0.02，裁剪次数为5次，对数据中直方图数值高于0.02的部分进行裁剪，最后把裁剪掉的部分均匀分布在整个直方图上，在图像的整个强度尺度上产生均匀分布的强度水平，让整个网络在提取相关夜间数据特征时效率更高，使用CLAHE算法前后的图像直方图对比如图2a，图2b所示；

步骤四：如图3所示为构建的改进特征提取网络，输入图像在其中进行特征提取，图中卷积运算的卷积核为3×3，步长为1，得到四个不同尺度的特征图层，其中F1、F2、F3、F4为四个不同尺度的特征图层，构建的特征提取网络降低了特征提取的计算复杂度，提高了推理速度，在网络中采样全卷积的形式并在特征提取时多次使用残差块，避免了梯度爆炸的现象；

步骤五：如图4所示为构建改进的YOLOv3特征融合网络，如图5所示改进的卷积块，内部参数分别是卷积核大小、步长、输入通道数、输出通道数；

5-1、首先是自底向上的特征融合部分：

F4在经过一次卷积块运算后，得到特征图P4并进行上采样模块采集特征，采集到的特征与F3连接；

F3在连接并经过一次卷积块运算后，得到特征图P3并进行上采样模块采集特征，采集到的特征与F2连接；

F2在连接并经过一次卷积块运算后，得到特征图P2并进行上采样模块采集特征，采集到的特征与F1连接；

5-2、其次是引入负反馈机制的自顶向下特征融合部分：

特征图D1经过一次卷积块运算后将特征通过与特征图P2相连接进行特征负反馈，再经过卷积块运算后得特征图D2；

特征图D2经过一次卷积块运算后将特征通过与特征图P3相连接进行特征负反馈，再经过卷积块运算后得特征图D3；

特征图D3经过一次卷积块运算后将特征通过与特征图P4相连接进行特征负反馈，再经过卷积块运算后得特征图D4；

步骤六：使用改进的非极大值抑制算法(NMS)来优化，非极大值抑制算法(NMS)只根据最高置信度挑选候选框，改进后通过高斯加权得到新候选框的方式，通过迭代标记完所有要保留下来的矩形框，去除冗余候选框，预测最优的目标对象，实现公式如下：

其中M为当前置信度最高的检测框，b_i为待处理框。

步骤七：将训练集数据送入到改进后的模型中进行训练，本发明设置的迭代次数为10000次，学习率为0.01，批尺寸设置为64，衰减率为0.0005，动量大小设置为0.9，根据训练中损失函数的变化趋势适当调整学习率和批尺寸；

计算每次训练完的边界框损失、置信度损失和类别损失；

三个损失函数对应如下：

其中x_i代表边界框中心点的横坐标,y_i代表边界框中心点的纵坐标,w_i代表边界框的宽,h_i代表代表边界框的高，

代表同一张图片对应边界框的预测值，S代表图像被划分成的网格数，B代表每个网格所预测的框的个数，

表示如果在(i,j)处的预测框有目标，其值为1，否则为0，

为参数置信度；

计算三个损失函数之后再进行反向传播，训练迭代至设定的迭代次数时结束训练，保存模型；

步骤八：将测试集中待检测的图像送入到训练好的模型中，模型将检测出来的船员不安全行为目标用矩形框显示出来。

Claims (1)

1.一种基于改进YOLOv3的多场景船员不安全行为检测方法，其特征在于包括以下步骤：

步骤一：构建船员不安全行为数据集：

(1)收集真实发生水运交通事故的船舶监控录像，并将事故发生时的录像进行逐帧分解，截取其中人员进行了不安全行为的图像作为船员不安全行为数据集的第一部分；

(2)用船舶驾驶模拟器模拟洋山港水域，场景包括：离岗、靠泊、能见度不良、船舶会遇、船舶追越五种场景进行模拟驾驶航行实验，选取实验视频中人员进行了不安全行为的图像作为船员不安全行为数据集的第二部分；

步骤二：遍历图像集，使用深度学习图像标注软件labelImg对数据集中每张图像中的船员不安全行为进行人工标注，将待检测目标的位置和类别信息保存起来，将标注后的数据集按照8:2的比例划分为训练集和测试集；

步骤三：在特征提取层之前增加数据增强层，首先对数据以双线性插值为方法、中心点为轴、顺时针为方向、90度为角度的旋转和左右翻转两种方式进行数据增强，其次以在数据直方图中设置裁剪值为0.02，裁剪次数为5次，对数据中直方图数值高于0.02的部分进行裁剪，最后把裁剪掉的部分均匀分布在整个直方图上为方式进行数据增强；

步骤四：构建改进YOLOv3的特征提取网络，将YOLOv3的三尺度检测更改为四尺度检测，增加的尺度为104×104，通过融合四个尺度在特征融合网络内部上采样和引入的负反馈机制采集到的特征，增强特征金字塔的表征能力；

步骤五：构建改进YOLOv3的特征融合网络，具体为在YOLOv3的特征金字塔网络的基础上引入了负反馈机制，增加了新的卷积层，更好的融合了各尺度特征；

步骤1：首先是自底向上的特征融合部分：

(1)将原有的运算增添卷积模块并定义为卷积块，一个卷积块具体为：1×1卷积+1×1卷积+3×3卷积+1×1卷积+3×3卷积+1×1卷积；

(2)在YOLOv3特征提取网络中得到四个特征图F1，F2，F3，F4；F4在经过一次卷积块运算后，得到特征图P4并进行上采样模块采集特征，采集到的特征与F3连接；

(3)F3在连接并经过一次卷积块运算后，得到特征图P3并进行上采样模块采集特征，采集到的特征与F2连接；

(4)F2在连接并经过一次卷积块运算后，得到特征图P2并进行上采样模块采集特征，采集到的特征与F1连接；

步骤2：其次是引入负反馈机制的自顶向下特征融合部分：

(1)特征图D1经过一次卷积块运算后将特征通过与特征图P2相连接进行特征负反馈，再经过卷积块运算后得特征图D2；

(2)特征图D2经过一次卷积块运算后将特征通过与特征图P3相连接进行特征负反馈，再经过卷积块运算后得特征图D3；

(3)特征图D3经过一次卷积块运算后将特征通过与特征图P4相连接进行特征负反馈，再经过卷积块运算后得特征图D4；

步骤六：改进了非极大值抑制算法通过对候选框进行高斯加权得到更精确的结果，具体为将原有的只根据最高置信度挑选候选框改为通过高斯加权得到新候选框的方式，通过迭代标记完所有要保留下来的矩形框，去除冗余候选框，预测最优的目标对象，实现公式如下：

其中M为当前置信度最高的检测框，b_i为待处理框；

步骤七：将训练集数据送入到改进后的模型中进行训练，得到最终模型，设置的迭代次数为10000次，学习率为0.01，批尺寸设置为64，衰减率为0.0005，动量大小设置为0.9，根据训练中损失函数的变化趋势适当调整学习率和批尺寸，直至达到设定的迭代次数时结束训练，保存模型；

步骤八：将测试集中待检测的图像送入到训练好的模型中，模型将检测出来的船员不安全行为目标用矩形框显示出来。

Images