CN110321775A - 一种基于多旋翼无人机的水上落水人员自主识别方法 - Google Patents

Abstract

本发明公开了一种基于多旋翼无人机的水上落水人员自主识别方法，包括：1)制作落水人员数据集；2)落水人员自主检测3)多旋翼无人机所采集的视频图像信息运用已得到的训练参数进行落水人员的实时自主识别检测。本发明提供了一种基于YOLOv3的多旋翼无人机的水上落水人员自主识别方法，识别准确度高。

Description

一种基于多旋翼无人机的水上落水人员自主识别方法

技术领域

本发明涉及图像目标识别检测领域，尤其涉及一种基于多旋翼无人机的水上落水人员自主识别方法。

背景技术

对于频发的水上人员落水事故，由于搜救目标易受到风、浪、流等因素的综合影响而不断漂移，其位置确定存在很大困难。目前国内水上搜救组织主要依靠简单的搜救设备来辅助搜救工作的完成和用人眼视觉来进行观察搜救，易受疲劳和环境因素的影响，搜索结果不确定性较大。而多旋翼无人机具有自身灵活性高、成本低、可控性强的优点，且具备自主导航能力，可通过搭载成像设备自主进行水上巡航和监管。因此，构建高效准确多旋翼无人机自主识别落水人员系统，避免人眼识别主管不确定性，更加有效迅速地找到搜救目标并实施救助，对于减少生命和财产损失具有重要意义。

发明内容

本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种基于多旋翼无人机的水上落水人员自主识别系统。

本发明解决其技术问题所采用的技术方案是：一种基于多旋翼无人机的水上落水人员自主识别方法，包括：

1)制作落水人员数据集；

模拟落水人员行为，使用多旋翼无人机进行拍摄，获得大量训练数据，制作落水人员训练数据集；

2)落水人员自主检测

2.1)数据预处理，对落水人员训练数据集进行帧截取、图像筛选和标签标定处理；

所述帧截取为将视频数据进行转换和截取图像；

所述图像筛选为根据对遇险人员行为特征的定义，剔除初始图像数据集中遇险人员行为特征不明显或图像模糊等影响识别准确率的图像；

所述标签标定根据发明所需的对落水人员的定义，对图像中的落水人员进行标定，标签定义为Person；

2.2)将训练数据输入到YOLOv3网络中进行训练，从而训练出可以对输入图像或视频数据进行识别落水人员的网络模型；

2.2.1)将处理过的图像进行resize处理，调整图像尺寸为448×448作为整个YOLOv3神经网络的输入；

2.2.2)通过运行神经网络得到若干bbox(bounding box)坐标、bbox中包含的人体目标(Object)的置信度、类别和概率3种信息：

将输入的图像分成S×S个网格，例如将图像分成7×7个网格，当某人体目标(Object)的中心落在这个网格中，那么这个网格就负责预测这个人体目标(Object)；

每个网格都要预测一个类别信息，那么对于S×S个网格，每个网格既要预测3个bbox，同时还要预测C个类别，所以输出就是S×S×(5×B+C)的一个张量，对应中输出的张量就是7×7×(5×2+2)。

每个网格要预测3个bbox，而每个bbox又要预测x，y，w，h和confidence共5个值。其中x，y是bbox中心位置的坐标，并且其值被归一化到[0，1]；w，h是bbox的宽度和高度，同样归一化到[0，1]；每个bbox除了要回归自身的位置之外，还要附带预测一个confidence值。这个confidence代表了所预测的bbox中含有Object的置信度和这个bbox预测的有多准两种信息，计算方式如下：

其中，Pr(Object)表示Object是否落在该网格中，若有Object落在一个网格里，等式右边第一项取1，否则取0，第二项是预测的bbox和实际的标签框之间的IOU值；

2.2.3)在测试的时候，将每个网格预测的类别信息和bbox预测的confidence信息相乘，就得到每个bbox的具体类别置信分数：

最后通过设置阈值，滤掉得分低的bbox，对保留的bbox进行非极大值抑制处理，就得到最终的识别结果；

2.3)对得到的网络模型的训练参数，使用真实落水图像进行实时自主识别检测，针对识别到的落水人员进行标注警示，根据检测结果计算准确率，准确率低于设定值时，返回步骤2.2)继续优化网络模型；

3)多旋翼无人机所采集的视频图像信息运用已得到的训练参数进行落水人员的实时自主识别检测。

本发明产生的有益效果是：本发明提供了一种基于YOLOv3的多旋翼无人机的水上落水人员自主识别方法，识别准确度高。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明实施例的方法流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1所示，一种基于YOLOv3的多旋翼无人机自主识别落水人员，具体如下：

(1)模拟落水人员进行视频图像数据采集

对于落水人员数据集的制作，首先要获得人员落水多旋翼无人机所摄视频图像。在实验中我们采用模拟落水人员行为，使用多旋翼无人机进行拍摄，获得大量训练数据，制作落水人员训练数据集。

(2)数据集视频图像训练预处理

对所述落水人员训练数据集通过帧截取、图像筛选、标签标定。其中图像的标签标定根据发明所需的对落水人员的定义，将落水人员标签定义为Person；一共标定3000张用作训练数据，30张作为测试数据。

用标注工具标注完图片后，先将数据集准备成类似VOC的格式，用两个文件夹JPEGImages：用于存放所有的图片，格式为.jpg；Annotations:用于存放与图片对应的XML文件。

用YOLOv3训练时候需要一些txt文件，本发明中落水人员训练，需用到tarin.txt,val.txt,person_train.txt,person_val.txt以及一个labels文件夹，文件夹存放每张图片对应的txt文件，名字与图片命名相同。

每个txt文件的生成方式以及里面的内容如下：

train.txt:存放用于训练的图片的名字，每行一个名字(不带后缀.jpg)。

val.txt:存放用于验证的图片的名字，每行一个名字(不带后缀.jpg)。

person_train.txt:存放用于训练的图片的绝对路径，每行一个路径。

person_val.txt:存放用于验证的图片的绝对路径，每行一个路径。

labels文件夹的txt：每个文件存放的是对应图片的标注信息，每行一个目标，若有多行则表示读应图片上有多个目标。

完成txt文件后，我们需要将JPEGImages(存放样本图片)与labels(与每张图片对应的txt文件)，放在同一个目录下，以便在同一个目录下搜索这两个文件夹。

参考YOLOv3的网络结构，将训练数据输入到YOLOv3网络中进行训练，从而直接训练出可以对输入图像或视频数据进行识别落水人员的网络模型。

(3)基于YOLOv3网络结构训练数据

对多旋翼无人机所摄落水人员数据集进行一系列处理，用person标签将落水人员直接标定后，参考YOLOv3的网络结构，将训练数据输入到YOLOv3网络中进行训练，从而直接训练出可以对输入图像或视频数据进行识别落水人员的网络模型。

在目标识别领域，YOLO采用了更为直接的思路：将整张图作为网络的输入，直接在输出层回归bounding box(识别框，记作bbox)的位置和bounding box所属的类别，从而实现把目标识别当作回归问题来解决。相比早期版本，YOLOv3调整了网络结构；利用多尺度特征进行对象检测，因而在保持速度优势的前提下，提升了预测精度，尤其是加强了对小物体的识别能力。满足了本发明所公开的多旋翼无人机自主识别落水人员需求。本发明将落水人员的识别与跟踪也作为回归问题，将整张图或整个视频作为输入，检测出标定有落水人员的bbox的图像或视频作为输出。

在网络结构训练中，YOLO仅使用卷积层，这就使其成为全卷积神经网络(FCN)。它拥有75个卷积层，还有跳过连接和上采样层。YOLO通过被步幅对图像进行上采样。例如，如果网络的步幅是32，则大小为416×416的输入图像将产生13×13的输出。通常，网络层中的任意步幅都指层的输入除以输入。典型地，卷积层所学习的特征会被传递到分类器/回归器，从而进行预测(边界框的坐标、类别标签等)。

网络训练中的具体流程如下：

1)将处理过的图像进行resize处理，调整图像尺寸为448×448作为整个神经网络的输入。

2)通过运行神经网络得到一些bbox坐标、bbox中包含的人体目标(Object)的置信度和类别概率3种信息：

将输入的一幅图像分成S×S个网格，例如将图像分成7×7个网格，当某Object的中心落在这个网格中，那么这个网格就负责预测这个Object。

每个网格都要预测一个类别信息记为C类，那么对于S×S个网格，每个网格既要预测3个bbox，同时还要预测C个类别，所以输出就是S×S×(5×B+C)的一个张量，对应中输出的张量就是7×7×(5×3+2)。

每个网格要预测3个bbox，而每个bbox又要预测x，y，w，h和confidence共5个值。其中x，y是bbox中心位置的坐标，并且其值被归一化到[0，1]；w，h是bbox的宽度和高度，同样归一化到[0，1]；每个bbox除了要回归自身的位置之外，还要附带预测一个confidence值。这个confidence代表了所预测的bbox中含有Object的置信度和这个bbox预测的有多准两种信息，计算方式如下：

其中如果有Object落在一个网格里，等式右边第一项取1，否则取0。第二项是预测的bbox和实际的标签框之间的IOU值。

3)在测试的时候，将每个网格预测的类别信息和bbox预测的confidence信息相乘，就得到每个bbox的具体类别置信分数：

最后通过设置阈值，滤掉得分低的bbox，对保留的bbox进行非极大值抑制处理，就得到最终的识别结果。

区别于传统目标检测方法先进行目标识别然后进行分类，进而对落水人员进行检测，本发明直接将两个步骤都交给YOLO网络去做，从而实现了输入一张图像直接输出一张经过网络预测有检测结果的图像，即端到端的检测过程。而通过GPU的加速，对于输入的视频流可以实时的显示落水人员的检测框。

(4)落水人员自主识别检测

本发明将多旋翼无人机对落水人员的识别与跟踪也作为回归问题，将整张图或整个视频作为输入，检测出标定有落水人员的bbox的图像或视频作为输出。即对于YOLOv3网络模型的训练结果，发明将多旋翼无人机实际拍摄落水人员视频图像信息运用已获得的训练参数进行落水人员的实时自主识别检测，针对识别到的落水人员进行标注警示。根据检测结果计算准确率，准确率低于95％时继续优化网络模型，提高落水人员识别准确率。

YOLOv3使用均方和误差作为loss(损失)函数来优化模型参数，即网络输出的S×S×(5×B+C)维向量与真实图像的对应S×S×(5×B+C)维向量的均方和误差。实验中随着batches(训练批次)的增加，average loss(平均损失)在不断减小，逐渐趋于0，即整个网络结果趋于收敛。这是一个不断学习的过程，在训练学习的过程中，它的准确率会不断提高，直到达到要求。

本发明通过对多旋翼无人机对模拟人员落水所摄视频及图像制作落水人员数据集，基于YOLOv3网络模型进行训练学习，运用已得到的训练参数对多旋翼无人机所采集的视频图像信息进行落水人员目标识别与检测，达到本发明的目的。

最终实验结果表明这种方法可以很好地识别出多旋翼无人机视频图像中的落水人员，并能够达到较高的检测精度。故本发明所述的一种针对多旋翼无人机自主识别落水人员系统可以广泛应用于落水人员救援，海事管理等领域针，对于特定场景、特定需求下多旋翼无人机所摄视频图像，可以达到高效准确对落水人员识别结果，提高落水人员位置确定准确率，对于生命救援、交通安全等方面具有重要意义。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (2)

1.一种基于多旋翼无人机的水上落水人员自主识别方法，其特征在于，包括：

1)制作落水人员数据集；

模拟落水人员行为，使用多旋翼无人机进行拍摄，获得大量训练数据，制作落水人员训练数据集；

2)落水人员自主检测

2.1)数据预处理，对落水人员训练数据集进行帧截取、图像筛选和标签标定处理；

所述帧截取为将视频数据进行转换和截取图像；

所述图像筛选为根据对遇险人员行为特征的定义，剔除初始图像数据集中遇险人员行为特征不明显或图像模糊的图像；

所述标签标定根据对落水人员的定义，对图像中的落水人员进行标定，标签定义为Person；

2.2)将训练数据输入到YOLOv3网络中进行训练，从而训练出用于对输入图像或视频数据进行识别落水人员的网络模型；

2.3)对得到的网络模型的训练参数，使用真实落水图像进行实时自主识别检测，针对识别到的落水人员进行标注警示，根据检测结果计算准确率，准确率低于设定值时，返回步骤2.2)继续优化网络模型；

3)多旋翼无人机所采集的视频图像信息运用已得到的训练参数进行落水人员的实时自主识别检测。

2.根据权利要求1所述的基于多旋翼无人机的水上落水人员自主识别方法，其特征在于，所述步骤2.2)将训练数据输入到YOLOv3网络中进行训练包括以下步骤：

2.2.1)将处理过的图像进行resize处理，调整图像尺寸为448×448作为整个YOLOv3神经网络的输入；

2.2.2)通过运行神经网络得到若干bbox坐标、bbox中包含的人体目标的置信度、类别和概率3种信息：

将输入的图像分成S×S个网格，当某人体目标的中心落在这个网格中，那么这个网格就负责预测这个人体目标Object；

每个网格都要预测一个类别信息，对于S×S个网格，每个网格既要预测3个bbox，同时还要预测C个类别，输出为S×S×(5×B+C)的一个张量；其中，B为每个网格预测boundingbix的数量；

每个网格要预测3个bbox，而每个bbox又要预测x，y，w，h和confidence共5个值，其中x，y是bbox中心位置的坐标；w，h是bbox的宽度和高度；每个bbox除了要回归自身的位置之外，还要附带预测一个confidence值，confidence为所预测的bbox中含有Object的置信度和这个bbox预测的有多准两种信息的乘积，计算方式如下：

其中，Pr(Object)表示Object是否落在该网格中，若有Object落在一个网格里，其值取1，否则取0，是预测的bbox和实际的标签框之间的IOU值；

2.2.3)在测试的时候，将每个网格预测的类别信息和bbox预测的confidence信息相乘，就得到每个bbox的具体类别置信分数：

最后通过设置阈值，滤掉得分低的bbox，对保留的bbox进行非极大值抑制处理，就得到最终的识别结果。