CN117372931A - 一种户外水域人员游泳行为的检测方法及设备 - Google Patents

Abstract

本发明公开了一种户外水域人员游泳行为的检测方法及设备，属于图像处理与计算技术领域，用于解决现有的户外水域人员游泳行为的识别效率不高的技术问题。方法包括：获取安装于户外水域预设位置的摄像头采集的视频流数据，并对所述视频流数据进行抽帧处理得到待检测图像；将所述待检测图像输入至预先训练好的图像处理模型中，得到所述待检测图像对应的水面掩膜矩阵、人员掩膜矩阵、人员头部掩膜矩阵以及救生装备掩膜矩阵；对所述人员掩膜矩阵和所述水面掩膜矩阵进行逻辑与运算，根据运算结果确定人员与户外水域的位置关系；根据人员与户外水域的位置关系，通过对所述人员头部掩膜矩阵以及救生装备掩膜矩阵进行计算，检测出人员游泳行为。

Description

一种户外水域人员游泳行为的检测方法及设备

技术领域

本申请涉及图像处理与计算技术领域，尤其涉及一种户外水域人员游泳行为的检测方法及设备。

背景技术

因户外水域游泳每年失去生命的人不胜枚举，但是仍有人在不被允许游泳的户外水域下水游泳，这些户外水域通常不配备救生设备，发生溺水时被救生的可能性极低，即使有些配备救生设备的户外水域，由于人员游泳时的不穿戴行为等因素，也导致户外水域的溺水案件频发。

目前通常采用人工在户外水域进行巡检，或在户外水域安装摄像头后通过人工进行监控的方式识别户外水域是否有人进行游泳的行为，这种识别方式不仅浪费大量的人力，且识别的效率不高。

发明内容

本申请实施例提供了一种户外水域人员游泳行为的检测方法及设备，用于解决如下技术问题：现有的户外水域人员游泳行为的识别效率不高。

本申请实施例采用下述技术方案：

一方面，本申请实施例提供了一种户外水域人员游泳行为的检测方法，所述方法包括：获取安装于户外水域预设位置的摄像头采集的视频流数据，并对所述视频流数据进行抽帧处理得到待检测图像；将所述待检测图像输入至预先训练好的图像处理模型中，得到所述待检测图像对应的水面掩膜矩阵、人员掩膜矩阵、人员头部掩膜矩阵以及救生装备掩膜矩阵；对所述人员掩膜矩阵和所述水面掩膜矩阵进行逻辑与运算，根据运算结果确定人员与户外水域的位置关系；根据人员与户外水域的位置关系，通过对所述人员头部掩膜矩阵以及救生装备掩膜矩阵进行计算，检测出人员游泳行为。

在本申请说明书的一种可能实现方式中，所述摄像头安装的户外水域预设位置为，安装于距离户外水域水面高度6至10米内。

在本申请说明书的一种可能实现方式中，将所述待检测图像输入至预先训练好的图像处理模型中之前，所述方法还包括：获取户外水域游泳行为图像；使用labelme工具对所述游泳行为图像中的水面、人员、人员头部以及救生装备进行标注；基于标注后的所述游泳行为图像对Yolov8x-seg网络进行训练；训练直至输出收敛得到所述图像处理模型。

在本申请说明书的一种可能实现方式中，基于标注后的所述游泳行为图像对Yolov8x-seg网络进行训练之前，所述方法还包括：将所述Yolov8x-seg网络Backbone中的第3、4个C2f结构替换为添加了卷积注意力模块CAM-Attention的Att-C2f结构。

在本申请说明书的一种可能实现方式中，获取户外水域游泳行为图像之后，所述方法还包括：利用生成对抗网络对所述游泳行为图像进行扩充。

在本申请说明书的一种可能实现方式中，根据运算结果确定人员与户外水域的位置关系，包括：若所述运算结果为全零矩阵，则确定人员与户外水域不存在位置关系；若所述运算结果不为全零矩阵，则根据所述运算结果与所述人员掩膜矩阵之间的一致性，判断人员与户外水域的位置关系，所述位置关系至少包括人员处于户外水域内和人员处于户外水域边界。

在本申请说明书的一种可能实现方式中，根据所述运算结果与所述人员掩膜矩阵之间的一致性，判断人员与户外水域的位置关系，包括：若所述运算结果与所述人员掩膜矩阵一致，则判定所述位置关系为人员处于户外水域内；若所述运算结果与所述人员掩膜矩阵不一致，则判定所述位置关系为人员处于户外水域边界。

在本申请说明书的一种可能实现方式中，在所述位置关系为人员处于户外水域内时，所述方法还包括：对所述人员头部掩膜矩阵与所述救生装备掩膜矩阵进行逻辑与运算；若运算结果为全零矩阵，则判定人员发生不配备救生装备的游泳行为。

在本申请说明书的一种可能实现方式中，对所述人员头部掩膜矩阵与所述救生装备掩膜矩阵进行逻辑与运算之前，所述方法还包括：在所述待检测图像中提取人员头部所占像素个数；将所述人员头部掩膜矩阵膨胀为所述人员头部所占像素个数的三倍；对膨胀完成的所述人员头部掩膜矩阵与所述救生装备掩膜矩阵进行逻辑与运算。

另一方面，本申请实施例还提供了一种户外水域人员游泳行为的检测设备，所述设备包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有能够被所述至少一个处理器执行的指令，以使所述至少一个处理器能够执行如上述的一种户外水域人员游泳行为的检测方法。

本申请实施例提供的一种户外水域人员游泳行为的检测方法及设备，具有以下有益效果：

通过利用改进后的Yolov8x-seg网络训练得到图像处理模型，利用该模型对户外水域旁的摄像头采集的待检测图像进行识别处理，输出待检测图像对应的四种掩膜矩阵，之后通过四种掩膜矩阵之间的逻辑计算结果，判断出人员与户外水域的位置关系，实现了户外水域人员游泳行为的高效识别，能够有效检测出人员游泳行为，并且，还能够识别出游泳人员附近是否有救生装备，为决策者提供判断依据，对减少户外水域溺水人员数量具有重大意义。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1为本申请实施例提供的一种户外水域人员游泳行为的检测方法流程图；

图2为本申请实施例提供的一种GAN网络模型结构图；

图3为本申请实施例提供的一种Att-C2F结构图；

图4为本申请实施例提供的一种改进后的Yolov8x-seg网络结构图；

图5为本申请实施例提供的一种应用场景下，人员在水域边界示意图；

图6为本申请实施例提供的一种应用场景下，不配备救生装备的游泳行为示意图；

图7为本申请实施例提供的一种应用场景下，配备救生装备的游泳行为示意图；

图8为本申请实施例提供的一种户外水域人员游泳行为的检测设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本说明书实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

下面通过附图对本申请实施例中的方法进行详细说明。

图1为本申请实施例提供的户外水域人员游泳行为的检测方法流程图，如图1所示，本申请实施例中的户外水域人员游泳行为的检测方法至少包括以下执行步骤：

步骤101、获取安装于户外水域预设位置的摄像头采集的视频流数据，并对视频流数据进行抽帧处理得到待检测图像。

本申请实施例提供的户外水域人员游泳行为检测方法，首先是获取安装在户外水域附近的摄像头采集的视频流数据，之后，对该视频流数据进行抽帧处理，将抽取出来的视频帧确定为待检测图像。需要说明的是，此处抽帧处理中的抽帧间隔可以根据检测精度的要求进行调整，精度要求较高时，抽帧间隔设置的较小，对抽取出来的多幅图像进行检测，而在精度要求一般时，抽帧间隔则可以设置的大一些，抽取出相对较少的图像进行检测。

在本申请实施例的一种或多种可能实现方式中，采集视频流数据的摄像头可以为一组摄像头，组内的各个摄像头的型号统一，安装在户外水域的不同位置，方便采集户外水域不同角度的视频流数据，并且，摄像头组内各摄像头的安装高度距水面在6米到10米之内。同时，采集视频流数据的摄像头也可以用一个摄像头实现，并将该摄像头安装在距离户外水域水面的高度6米到10米之内。

步骤102、将待检测图像输入至预先训练好的图像处理模型中，得到待检测图像对应的四个掩膜矩阵。

得到待检测图像之后，将该待检测图像输入至图像处理模型中，利用该模型对待检测图像进行分割、识别、分类等处理，最终输出待检测图像对应的四种掩膜矩阵：水面掩膜矩阵、人员掩膜矩阵、人员头部掩膜矩阵以及救生装备掩膜矩阵。

在本申请实施例的一种或多种可能实现方式中，在利用图像处理模型对待检测图像进行处理之前，需要对图像处理模型进行训练，具体的训练过程如下：

首先，构建训练数据集，在网站上获取户外水域的游泳图像，也可以利用前述待检测图像作为该步骤中的游泳图像，之后，利用生成对抗网络(Generative AdversarialNetwork，GAN)进行游泳图像的数据扩充。图2为本申请实施例提供的一种GAN网络模型结构图，如图2所示，GAN网络分为生成器与判别器，两者都是一种神经网络模型，生成器网络G(x)的任务是根据一组随机噪声数据也即图2中的随机向量z来生成分布而形成新的数据；而判别器网络D(x)任务是评估新生成的数据是否真实，即是否来自真实的游泳图像数据。GAN网络可以大量的扩充数据，并且图像清晰度也可以增强。GAN可操作性强、能够无监督地学习到各种数据特征。

进一步地，对游泳图像扩充完毕后，使用labelme工具对图像进行标注，标注过程中，标注线尽量贴合积水区域边界，不可露出过多背景，并保持标注的一致性。标注的内容包括，设置四个标签进行标注，分别为water(水面区域)、person(人员)、head(人员头部)、float(救生装备)。标注完成后将标签转为txt格式，并完成训练集的构建。

其次，本申请实施例中的图像处理模型采用Yolov8x-seg网络进行训练，但在训练开始之前，会对Yolov8x-seg网络进行改进，这是因为，在获取户外游泳图片时，有些人员以及人员头部所占像素比例较小，且图片背景信息卷积迭代会积累大量的冗余信息，从而导致图像识别的准确率较低。为了解决这一问题，本申请实施例中将卷积注意力模块CAM-Attention引入到Yolov8x-seg网络中以提高最终训练得到的图像处理模型的性能，其具体的加入位置为C2f结构的尾端，如图3所示，也即加入到Conv模块之前，最后，利用修改后的C2f结构也即图3所示的Att-C2f结构，将原Yolov8x-seg网络中Backbone中的第3、4个C2f结构替换掉，具体替换位置如图4所示。

最后，利用构建的训练数据集对改进后的Yolov8-seg网络进行训练。本申请实施例中，利用A10显卡进行模型训练并调试，得到训练完成的模型。需要说明的是，Yolov8-seg网络是Yolo系列最新的研究模型，其中实例分割网络是基于YOLACT的实例分割模型。它提供了N/S/M/L/X尺度的不同大小模型，用于满足不同场景需求。由于通常情况下对视频流的检测为每秒的检测，运行显卡为A10显卡，资源充足，且对检测速度要求不高，所以本申请实施例中所使用的模型为Yolov8x-seg，即最大的模型。并且，在训练时可以使用迁移训练的方式。

步骤103、对人员掩膜矩阵和水面掩膜矩阵进行逻辑与运算，根据运算结果确定人员与户外水域的位置关系。

本申请实施例中，将摄像头实时数据流接入训练好的图像处理模型或者将待检测图像输入至图像处理模型中，可以得到分离输出的水面掩膜矩阵、人员掩膜矩阵、人员头部掩膜矩阵以及救生装备掩膜矩阵。

之后，利用人员掩膜矩阵与水面掩膜矩阵进行逻辑与运算，当运算结果为全零矩阵时，认为人员不在水中，也即人员与户外水域不存在位置关系；当运算结果不为全零矩阵时，则认为人员与户外水域存在位置关系，此处的位置关系至少包括人员处于户外水域内和人员处于户外水域边界，具体还需要通过人员头部掩膜矩阵以及救生装备掩膜矩阵进行计算确定。

在本申请实施例的一种或多种可能实现方式中，将水面区域对应的水面掩膜矩阵进行闭运算，以将水域中间未能正确识别的水面进行拟合，得到连续的水面区域，从而保证位置关系判别的准确度。

步骤104、根据人员与户外水域的位置关系，通过对人员头部掩膜矩阵以及救生装备掩膜矩阵进行计算，检测出人员游泳行为。

在认为人员与户外水域存在位置关系时，通过运算结果与人员掩膜矩阵的一致性判断二者之间的具体位置关系，若运算结果与人员掩膜矩阵一致，则判定位置关系为人员处于户外水域内，若运算结果与人员掩膜矩阵不一致，则判定位置关系为人员处于户外水域边界，具体场景表现如图5所示。

在本申请实施例的一种或多种可能实现方式中，若人员存在户外水域内，则说明此时人员可能正在户外水域内进行游泳行为，此时，需要通过人员头部掩膜矩阵以及救生装备掩膜矩阵进行进一步的逻辑计算，以判断人员的游泳行为是否为未佩戴救生装备的危险游泳行为。具体地，将判定为在户外水域中的人员对应的人员头部掩膜矩阵进行膨胀运算，膨胀算子大小根据不同的具体场景采用不同的大小，一般为人员头部所占的像素大小的三倍(此处可以通过人员头部在待检测图像中所占像素个数确定)。之后将膨胀完成的人员头部掩膜矩阵与救生装备掩膜矩阵进行逻辑与运算，如果运算结果为全零矩阵，则认为此时户外水域中有人员进行无防护措施的游泳行为，其具体场景表现如图6所示，也即未佩戴救生装备的游泳行为。而如果运算结果不为全零矩阵，则认为此时户外水域中有人员进行正常的游泳行为，其具体场景表现如图7所示，也即佩戴了救生装备的游泳行为。

也即，本申请实施例中先通过人员掩膜矩阵和水面掩膜矩阵之间的逻辑与计算结果，判断出人员是否在户外水域内，若是，则继续通过人员头部掩膜矩阵与救生装备掩膜矩阵之间的逻辑与计算结果判断该人员是否发生未佩戴救生装备的危险游泳行为。

进一步地，为了避免溺水情况的发生，本申请实施例中在检测出人员存在未佩戴救生装备的危险游泳行为后，会将该行为推送到前端并且进行报警处理。

基于同样的发明构思，本申请实施例还提供了一种户外水域人员游泳行为的检测设备，其结构如图8所示。

图8为本申请实施例提供的一种户外水域人员游泳行为的检测设备的结构示意图。如图8所示，本申请实施例中的户外水域人员游泳行为的检测设备800具体包括：至少一个处理器801；以及，与至少一个处理器801通信连接(通过总线802连接)的存储器803；其中，存储器803存储有能够被至少一个处理器801执行的指令，以使至少一个处理器801能够执行如上述实施例所描述的一种户外水域人员游泳行为的检测方法。

在本申请实施例的一种或多种可能实现方式中，前述处理器用于执行，获取安装于户外水域预设位置的摄像头采集的视频流数据，并对所述视频流数据进行抽帧处理得到待检测图像；将所述待检测图像输入至预先训练好的图像处理模型中，得到所述待检测图像对应的水面掩膜矩阵、人员掩膜矩阵、人员头部掩膜矩阵以及救生装备掩膜矩阵；对所述人员掩膜矩阵和所述水面掩膜矩阵进行逻辑与运算，根据运算结果确定人员与户外水域的位置关系；根据人员与户外水域的位置关系，通过对所述人员头部掩膜矩阵以及救生装备掩膜矩阵进行计算，检测出人员游泳行为。

本领域内的技术人员应明白，本说明书实施例可提供为方法、系统、或计算机程序产品。因此，本说明书实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、设备、非易失性计算机存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

以上所述仅为本说明书的一个或多个实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书的一个或多个实施例可以有各种更改和变化。凡在本说明书的一个或多个实施例的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。

Claims (10)

1.一种户外水域人员游泳行为的检测方法，其特征在于，所述方法包括：

获取安装于户外水域预设位置的摄像头采集的视频流数据，并对所述视频流数据进行抽帧处理得到待检测图像；

将所述待检测图像输入至预先训练好的图像处理模型中，得到所述待检测图像对应的水面掩膜矩阵、人员掩膜矩阵、人员头部掩膜矩阵以及救生装备掩膜矩阵；

对所述人员掩膜矩阵和所述水面掩膜矩阵进行逻辑与运算，根据运算结果确定人员与户外水域的位置关系；

根据人员与户外水域的位置关系，通过对所述人员头部掩膜矩阵以及救生装备掩膜矩阵进行计算，检测出人员游泳行为。

2.根据权利要求1所述的一种户外水域人员游泳行为的检测方法，其特征在于，所述摄像头安装的户外水域预设位置为，安装于距离户外水域水面高度6至10米内。

3.根据权利要求1所述的一种户外水域人员游泳行为的检测方法，其特征在于，将所述待检测图像输入至预先训练好的图像处理模型中之前，所述方法还包括：

获取户外水域游泳行为图像；

使用labelme工具对所述游泳行为图像中的水面、人员、人员头部以及救生装备进行标注；

基于标注后的所述游泳行为图像对Yolov8x-seg网络进行训练；

训练直至输出收敛得到所述图像处理模型。

4.根据权利要求3所述的一种户外水域人员游泳行为的检测方法，其特征在于，基于标注后的所述游泳行为图像对Yolov8x-seg网络进行训练之前，所述方法还包括：

将所述Yolov8x-seg网络Backbone中的第3、4个C2f结构替换为添加了卷积注意力模块CAM-Attention的Att-C2f结构。

5.根据权利要求3所述的一种户外水域人员游泳行为的检测方法，其特征在于，获取户外水域游泳行为图像之后，所述方法还包括：

利用生成对抗网络对所述游泳行为图像进行扩充。

6.根据权利要求1所述的一种户外水域人员游泳行为的检测方法，其特征在于，根据运算结果确定人员与户外水域的位置关系，包括：

若所述运算结果为全零矩阵，则确定人员与户外水域不存在位置关系；

若所述运算结果不为全零矩阵，则根据所述运算结果与所述人员掩膜矩阵之间的一致性，判断人员与户外水域的位置关系，所述位置关系至少包括人员处于户外水域内和人员处于户外水域边界。

7.根据权利要求6所述的一种户外水域人员游泳行为的检测方法，其特征在于，根据所述运算结果与所述人员掩膜矩阵之间的一致性，判断人员与户外水域的位置关系，包括：

若所述运算结果与所述人员掩膜矩阵一致，则判定所述位置关系为人员处于户外水域内；

若所述运算结果与所述人员掩膜矩阵不一致，则判定所述位置关系为人员处于户外水域边界。

8.根据权利要求7所述的一种户外水域人员游泳行为的检测方法，其特征在于，在所述位置关系为人员处于户外水域内时，所述方法还包括：

对所述人员头部掩膜矩阵与所述救生装备掩膜矩阵进行逻辑与运算；

若运算结果为全零矩阵，则判定人员发生不配备救生装备的游泳行为。

9.根据权利要求8所述的一种户外水域人员游泳行为的检测方法，其特征在于，对所述人员头部掩膜矩阵与所述救生装备掩膜矩阵进行逻辑与运算之前，所述方法还包括：

在所述待检测图像中提取人员头部所占像素个数；

将所述人员头部掩膜矩阵膨胀为所述人员头部所占像素个数的三倍；

对膨胀完成的所述人员头部掩膜矩阵与所述救生装备掩膜矩阵进行逻辑与运算。

10.一种户外水域人员游泳行为的检测设备，其特征在于，所述设备包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有能够被所述至少一个处理器执行的指令，以使所述至少一个处理器能够执行根据权利要求1-9任一项所述的一种户外水域人员游泳行为的检测方法。