CN115966009A - 一种船舶智能检测系统及方法 - Google Patents

Abstract

本发明涉及船舶技术领域，具体涉及一种船舶智能检测系统及方法，包括对数据集进行归一化处理，得到归一数据集；通过图像注释工具对归一数据集进行标注分类，得到标注分类数据集；将标注分类数据集输入YOLOv4网络利用梯度下降算法进行训练学习，得到网络预训练模型；调用网络预训练模型进行图片数据集检测，得到mAP值，基于mAP值对网络预训练模型进行评估，若符合要求，则得到目标检测模型，若不符合，则回到数据集的归一化处理；使用目标检测模型对实时照片进行检测，得到检测结果，本发明运用了人脸识别算法能够实现在船人员人脸数据的比对，整体达到了快速、高效的目的，从而解决了现有的检测方法效率较低的问题。

Description

一种船舶智能检测系统及方法

技术领域

本发明涉及船舶技术领域，尤其涉及一种船舶智能检测系统及方法。

背景技术

目前，全国渔业以及海运业正在不断发展，“智慧船舶”、“智慧渔业”等相关理念的不断提出，使得船舶业展现出了蓬勃的生机。

由于水上航行危险无法预测、人员对于危险的抵御能力较差以及救援的滞后性，在船人员的生命安全以及规范作业等问题，利用YOLO目标检测技术在深度学习领域的应用以及相应硬件设备的加持，提出了一种基于AI的船舶智能终端软件。

发明内容

本发明的目的在于提供一种船舶智能检测系统及方法，旨在解决现有的检测方法效率较低的问题。

为实现上述目的，第一方面本发明提供了一种船舶智能检测方法，包括以下步骤：

S1对算法预设参数进行初始化；

S2软件系统判断是否正在处于训练状态，若处于训练状态，则进入S3步骤，若不处于训练状态，则进入S7；

S3对数据集进行归一化处理，得到归一数据集；

S4通过图像注释工具对所述归一数据集进行标注分类，得到标注分类数据集；

S5将所述标注分类数据集输入YOLO v4网络利用梯度下降算法进行训练学习，得到网络预训练模型；

S6调用所述网络预训练模型进行图片数据集检测，得到mAP值，基于所述mAP值对网络预训练模型进行评估，若符合要求，则得到目标检测模型，若不符合，则回到S1步骤；

S7使用所述目标检测模型对实时照片进行检测，得到检测结果。

其中，所述预设参数包括IoU交并比、score值、归一化后的图像大小和YOLO v4网络的学习速率。

其中，所述将所述标注分类数据集输入YOLO v4网络利用梯度下降算法进行训练学习，得到网络预训练模型，包括：

使用损失函数进行迭代处理并记录损失函数数值；

利用梯度下降算法对所述损失函数数值进行前向传播与反向传播，不断更新网络权重值；所述损失函数数值小于阈值，则结束网络训练，得到网络预训练模型。

其中，所述使用所述目标检测模型对实时照片进行检测，得到检测结果，包括：

使用摄像头采集在船实时图片数据；

通过所述目标检测模型对实时数据图片数据进行检测，得到检测结果。

其中，所述检测结果包括人员检测结果、救生衣检测结果、人脸核对结果、位置信息和置信度。

第二方面，一种船舶智能检测系统，采用第一方面所述的一种船舶智能检测方法，包括人员检测算法子模块、救生衣检测算法子模块和人脸核对算法子模块，所述人员检测算法子模块、所述救生衣检测算法子模块和所述人脸核对算法子模块依次连接；

所述人员检测算法子模块，用于对实时图片数据进行检测，得到人员检测结果；

所述救生衣检测算法子模块，用于对实时图片数据进行检测，得到救生衣检测结果；

所述人脸核对算法子模块，用于对实时图片数据进行检测，得到人脸核对结果。

本发明的一种船舶智能检测系统及方法，S1对算法预设参数进行初始化；S2软件系统判断是否正在处于训练状态，若处于训练状态，则进入S3步骤，若不处于训练状态，则进入S7；S3对数据集进行归一化处理，得到归一数据集；S4通过图像注释工具对所述归一数据集进行标注分类，得到标注分类数据集；S5将所述标注分类数据集输入YOLO v4网络利用梯度下降算法进行训练学习，得到网络预训练模型；S6调用所述网络预训练模型进行图片数据集检测，得到mAP值，基于所述mAP值对网络预训练模型进行评估，若符合要求，则得到目标检测模型，若不符合，则回到S1步骤；S7使用所述目标检测模型对实时照片进行检测，得到检测结果，本发明运用了人脸识别算法能够实现在船人员人脸数据的比对，整体达到了快速、高效的目的，更能起到提醒在船作业规范作业以及有关部门智能化监督的作用，从而解决了现有的检测方法效率较低的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是原理流程图。

图2是算法原理图。

图3是YOLO v4网络的模型结构图。

图4是目标边界框预测图。

图5是CSP-Darknet53结构图。

图6是危险区域目标检测算法流程图。

图7是图像归一化模块设计图。

图8是模型识别模块设计流程图。

图9是本发明提供的一种船舶智能检测方法的流程图。

图10是本发明提供的一种船舶智能检测系统的结构示意图。

1-人员检测算法子模块、2-救生衣检测算法子模块、3-人脸核对算法子模块。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

请参阅图1至图9，第一方面，本发明提供一种船舶智能检测方法，包括以下步骤：

S1对算法预设参数进行初始化；

所述预设参数包括IoU交并比、score值、归一化后的图像大小和YOLO v4网络的学习速率。

具体的，对于算法所设定的参数(IoU交并比、score值、归一化后的图像大小、YOLOv4网络的学习速率等)进行初始化操作。

S2软件系统判断是否正在处于训练状态，若处于训练状态，则进入S3步骤，若不处于训练状态，则进入S7；

具体的，软件系统判断是否正在处于训练状态；如果是则调用模型训练流程，进入第三步；如果已经完成了模型训练则开始通过摄像头获取外部实时视频数据，对视频进行相应的检测操作。

S3对数据集进行归一化处理，得到归一数据集；

具体的，通过归一化操作清洗数据集，方便后续的模型训练流程的顺利进行；如图7所示，对于图片数据集文件类型、命名方式等的不统一，在数据集的处理上提出了运用归一化原理来清洗数据集，归一数据集，最终得到图像格式相同、命名有序的数据集来方便后续的训练相关操作。经过归一化操作后的图像不会改变其原先图像中所存储的内容，同时能够使得网络训练更快地达到饱和，提高网络学习速度。

S4通过图像注释工具对所述归一数据集进行标注分类，得到标注分类数据集；

具体的，制作相应的人员、救生衣和人脸的数据集，通过LabelImg完成图像标注以及分类。

S5将所述标注分类数据集输入YOLO v4网络利用梯度下降算法进行训练学习，得到网络预训练模型；

S51使用损失函数进行迭代处理并记录损失函数数值；

具体的，损失函数是预测值与真实情况之间的差值，YOLO网络的损失函数分为三个部分：目标置信度损失，目标分类损失和目标定位损失。

LOSS＝t₁L_confidence+t₂L_{classification}+t₃L_location (1)

式中，L_confidence为目标置信度损失，是指预测框内存在目标的概率，采用二值交叉熵损失(Binary Cross Entropy)计算；L_{classification}为目标分类损失，也采用了二值交叉熵损失；L_location为目标定位损失,采用的是真实偏差值与预测偏差值差的平方和；t₁,t₂,t₃是各类损失的比例系数。

损失函数还需要通过反向传播算法来更新网络中的各种参数以此使损失函数能不断迭代收敛，以此使输出模型更加理想。

公式完成对神经元连接权重和偏置的更新：

式中，w表示网络的权重，w^l表示第l层神经元的权重，b表示网络的权重，b^l表示神经元第l层的偏置，α为学习率，C为代价函数。

代价函数用来计算整个网络的输出和标签的差值的平方和，计算输出值与实际值的误差：

式中，t表示输入的样本，u表示实际的分类，a^L表示预测的输出，L表示神经网络的最大层数。

S52利用梯度下降算法对所述损失函数数值进行前向传播与反向传播，不断更新网络权重值；所述损失函数数值小于阈值，则结束网络训练，得到网络预训练模型；

具体的，梯度下降法是一种一阶最优化算法，其主要功能是为了找到一个函数的局部最小值，在YOLO v4中的主要功能是找到其模型训练的收敛点，其主要计算原理如下：

如果一个函数为一元函数，那么它的梯度就是该函数的导数可以将其表示为：

如果一个函数为二元函数，那么它的梯度可以定义为：

梯度下降算法的求解步骤：

首先，确定当前训练所处位置的损失函数的梯度，记为θ_i,对于θ_i其梯度的表达式为:

然后，我们需要求解在该位置下梯度下降的距离，将学习步长记为:α,，当前位置下降的距离记为h_i,那么当前位置的下降距离可以表示为：

之后，设定好梯度下降法的阈值:β,确定是否所有的θ_i梯度下降的距离都小于β,如果得到的距离小于β那么算法就终止,当前所有的θ_i即为最终的结果。

否则，进入下一步，不断迭代更新所有的θ_i，更新表达式如下：

θ_i+1＝θ_i-h_i (9)

更新完成θ_i后，返回第一步。直至损失值小于阈值，则结束网络训练。

S6调用所述网络预训练模型进行图片数据集检测，得到mAP值，基于所述mAP值对网络预训练模型进行评估，若符合要求，则得到目标检测模型，若不符合，则回到S1步骤；

具体的，调用所述网络预训练模型，进行相应的图片数据集检测，并输出相应的mAP值，用于评估模型的好坏。

S7使用所述目标检测模型对实时照片进行检测，得到检测结果。

S71使用摄像头采集在船实时图片数据；

具体的，使用所述摄像头采集在船实时图片数据

S72通过所述目标检测模型对实时数据图片数据进行检测，得到检测结果。

所述检测结果包括人员检测结果、救生衣检测结果、人脸核对结果、位置信息和置信度。

具体的，调用目标检测模型，对摄像头获取的实时图片数据进行检测，输出图片中人员、救生衣和人脸核对的结果；对人员、救生衣、人脸进行检测并输出结果；对在船环境图像进行归一化处理；输出人员和救生衣检测结果的位置、人员比对结果、置信度等信息。

请参阅图10，第二方面，一种船舶智能检测系统，采用第一方面所述的一种船舶智能检测方法，包括人员检测算法子模块1、救生衣检测算法子模块2和人脸核对算法子模块3，所述人员检测算法子模块1、所述救生衣检测算法子模块2和所述人脸核对算法子模块3依次连接；

所述人员检测算法子模块1，用于对实时图片数据进行检测，得到人员检测结果；

所述救生衣检测算法子模块2，用于对实时图片数据进行检测，得到救生衣检测结果；

所述人脸核对算法子模块3，用于对实时图片数据进行检测，得到人脸核对结果。

在本实施方式中，通过所述人员检测算法子模块1、所述救生衣检测算法子模块2和所述人脸核对算法子模块3对实时图片数据进行检测，得到人员检测结果、救生衣检测结果和人脸核对结果。

目的：

本软件采用人工智能、深度学习、目标检测等技术，考虑在船作业时危险的不确定性要求在船人员规范作业，研究和实现算法：人员和救生衣目标检测算法，通过摄像头实时检测人员活动状态以及救生衣穿戴情况获取目标信息，实时提醒在船作业人员穿戴救生衣、驾驶舱需要有人员值守等工作。本项目利用摄像头采集在船人员、救生衣目标图像，实时监测船上(驾驶舱、前甲板、后甲板、设备间)的人员活动情况，起到提醒在船作业规范作业以及有关部门智能化监督的作用。

利用YOLO目标检测技术在深度学习领域的应用以及相应硬件设备的加持，提出了一种基于AI的船舶智能终端软件。该设备所运用的算法主要是YOLO v4目标检测算法并建立大量的活动人员和救生衣的数据集。采用YOLO v4网络对于大量的图片数据集进行训练，从而获得人员部位(包括头部、身体和人脸)和救生衣的模型并结合该模型对船上特定区域内(包括驾驶舱、前甲板、后甲板、设备间)的活动人员以及救生衣的穿戴情况进行识别，获取目标在图像中准确的位置并进行相应的统计，通过硬件设备定时返回临水作业人员的救生衣穿着情况以及驾驶舱有无人员值守情况。如果一定时间内发现没有穿着救生衣则会开启喇叭实现语音提醒在船人员穿上救生衣；如果发现驾驶舱无人值守也会有相应的语音提醒，并将相关数据返回给平台。同时，该智能终端设备还运用了人脸识别算法能够实现在船人员人脸数据的比对。整体达到了快速、高效的目的，更能起到提醒在船作业规范作业以及有关部门智能化监督的作用。

如图2所示为算法原理图，本设计研究内容主要是围绕人员和救生衣的检测以及人脸核对来展开的，设计一种基于AI的船舶智能终端软件。本软件利用YOLO v4框架来进行设计，主要过程涉及到：通过简单的网络爬虫技术完成数据集的获取(数据集主要来自于网络上的一些在船图片)、训练模型、卷积、全链接、池化等过程，完成对于图像和视频中人员和救生衣的检测和识别以及对于在船人员人脸的核对，最终通过CJson整理返回数据并通过DBus将数据返回。

1、运用人工智能技术实现了对在船人员和救生衣佩戴情况的识别，用以判定人员在船作业时是否安全。

2、通过人人脸识别与人脸核对来获取当前环境中人员的身份信息。

3、通过CJson整理输出数据，并通过DBus来讲识别结果返回，用于应用层软件统计，有利于有关部门监督。

目标边界框预测

以潮水为例，YOLO v4网络输入图像大小为416×416，采用了大小为13×13、26×26、52×52的特征图，然后经过4×t+1×t+f×t个1×1的卷积核输出经过卷积后的预测结果，其中预测目标的类别数为f，bounding box prior(预设边界框)的数量为t个，4×t是预测目标边界框的偏移量，1×t是预测目标边界框内包含目标的概率，f×t是预测这t个预设边界框对应f个目标类别的概率。

如图4所示，预先设定的边界框用橙色虚线矩形框表示，经过网络预测的偏移量计算出来的预测后的边界框用蓝色实线矩形框表示。

以上所揭露的仅为本发明一种船舶智能检测系统及方法较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (6)

1.一种船舶智能检测方法，其特征在于，包括以下步骤：

S1对算法预设参数进行初始化；

S2软件系统判断是否正在处于训练状态，若处于训练状态，则进入S3步骤，若不处于训练状态，则进入S7；

S3对数据集进行归一化处理，得到归一数据集；

S4通过图像注释工具对所述归一数据集进行标注分类，得到标注分类数据集；

S5将所述标注分类数据集输入YOLOv4网络利用梯度下降算法进行训练学习，得到网络预训练模型；

S6调用所述网络预训练模型进行图片数据集检测，得到mAP值，基于所述mAP值对网络预训练模型进行评估，若符合要求，则得到目标检测模型，若不符合，则回到S1步骤；

S7使用所述目标检测模型对实时照片进行检测，得到检测结果。

2.如权利要求1所述的一种船舶智能检测方法，其特征在于，

所述预设参数包括IoU交并比、score值、归一化后的图像大小和YOLOv4网络的学习速率。

3.如权利要求2所述的一种船舶智能检测方法，其特征在于，

所述将所述标注分类数据集输入YOLOv4网络利用梯度下降算法进行训练学习，得到网络预训练模型，包括：

使用损失函数进行迭代处理并记录损失函数数值；

利用梯度下降算法对所述损失函数数值进行前向传播与反向传播，不断更新网络权重值；若所述损失函数数值小于阈值，则结束网络训练，得到网络预训练模型。

4.如权利要求3所述的一种船舶智能检测系统及方法，其特征在于，

所述使用所述目标检测模型对实时照片进行检测，得到检测结果，包括：

使用摄像头采集在船实时图片数据；

通过所述目标检测模型对实时数据图片数据进行检测，得到检测结果。

5.如权利要求4所述的一种船舶智能检测系统及方法，其特征在于，

所述检测结果包括人员检测结果、救生衣检测结果、人脸核对结果、位置信息和置信度。

6.一种船舶智能检测系统，采用权利要求1-5所述的一种船舶智能检测方法，其特征在于，

包括人员检测算法子模块、救生衣检测算法子模块和人脸核对算法子模块，所述人员检测算法子模块、所述救生衣检测算法子模块和所述人脸核对算法子模块依次连接；

所述人员检测算法子模块，用于对实时图片数据进行检测，得到人员检测结果；

所述救生衣检测算法子模块，用于对实时图片数据进行检测，得到救生衣检测结果；

所述人脸核对算法子模块，用于对实时图片数据进行检测，得到人脸核对结果。

Images