CN114359373A - 泳池防溺水目标行为识别方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本发明实施例公开了泳池防溺水目标行为识别方法、装置、计算机设备及存储介质。方法包括：获取多个相机所拍摄的图像；将图像输入至联合检测模型中进行人体和人头的检测，以得到边界框序列；将边界序列进行多相机融合，以得到对齐后的边界序列；将对齐后的边界序列输入至相对位置判别模型内进行边界框序列中的人体和人头与水面的相对位置关系的确定，以得到相对位置关系序列；将边界框序列以及相对位置关系序列计算当前时间的边界框序列与前一时刻的边界框序列之间的关联，以得到人体跟踪轨迹。通过实施本发明实施例的方法可实现联合人头和人体的检测，从检测和跟踪的结果确定溺水情况，提高防溺水监管的准确率。

Description

泳池防溺水目标行为识别方法、装置、计算机设备及存储介质

技术领域

本发明涉及防溺水监管方法，更具体地说是指泳池防溺水目标行为识别方法、装置、计算机设备及存储介质。

背景技术

随着体育事业的发展，人们参加体育活动的热情也越来越高涨，而作为热门运动项目之一的游泳却成为安全事故最高发的运动。根据卫生部公布的不完全统计数据，我国大约每年有5.7万人死于溺水事故，其中青少年占比达到56.04％，成为了青少年死亡的第一致因，且中国的溺水死亡率为全球最高。

目前大部分游泳场馆运营的运营方式是基于传统人工模式运营，包括在进行防溺水监管时，也是由救生员位于高位俯瞰监管整个泳池的形式，但是由于泳池内目标检测问题的主要背景是水，游泳者运动时泳池内的水就会产生波动日光与灯光照射在水面上会产生反光，这种反光难以通过预处理技术去除，此外反光的位置随着水面波动也会不断变化；游泳者的年龄跨度很广，泳池岸边以及泳池内的人会出现各种各样的动作行为，并且游泳者在水面以下的部分受到水的折射、浑浊程度以及波动的影响，难以观测；泳池岸边会出现多种设施与杂物比如看台、救生设备、训练设以及游泳者个人物品等，泳池内也会出现多种漂浮物比如泳道线与训练设备等多种影响因素，导致人工监管的方式存在准确率不高的问题。

现有的技术通过在泳池四周和底部安装水下摄像头，通过算法判断泳客的动作是否正常游泳或是在处于溺水挣扎的状态，而且只能针对人体进行检测和防溺水识别，但是这种方式的准确率不高，无法提高防溺水监管的准确率。

因此，有必要设计一种新的方法，实现联合人头和人体的检测，从检测和跟踪的结果确定溺水情况，提高防溺水监管的准确率。

发明内容

本发明的目的在于克服现有技术的缺陷，提供泳池防溺水目标行为识别方法、装置、计算机设备及存储介质。

为实现上述目的，本发明采用以下技术方案：泳池防溺水目标行为识别方法，包括：

获取多个相机所拍摄的图像；

将所述图像输入至联合检测模型中进行人体和人头的检测，以得到边界框序列；

将所述边界序列进行多相机融合，以将所述边界序列内的人头框和人体框进行对齐处理，以得到对齐后的边界序列；

将对齐后的边界序列输入至相对位置判别模型内进行边界框序列中的人体和人头与水面的相对位置关系的确定，以得到相对位置关系序列；

将对齐后的边界框序列以及所述相对位置关系序列计算当前时间的边界框序列与前一时刻的边界框序列之间的关联，以得到人体跟踪轨迹。

其进一步技术方案为：所述将对齐后的边界框序列以及所述相对位置关系序列计算当前时间的边界框序列与前一时刻的边界框序列之间的关联，以得到人体跟踪轨迹之后，还包括：

根据所述边界框序列更新状态数据库。

其进一步技术方案为：所述将所述图像输入至联合检测模型中进行人体和人头的检测，以得到边界框序列，包括：

利用ResNet50卷积网络提取所述图像的特征图；

将特征图铺平，以得到向量；

将所述向量与正余弦位置编码向量相加后输入至Transformer编码器进行编码，以得到特征向量；

将所述特征向量输入到一个Transformer解码器，结合接收的目标查询序列进行解码计算，以得到关键特征向量；

将所述关键特征向量输入至一个共享参数的预测头，以得到检测结果，其中，预测头包含一个人头框回归器、一个人体框回归器和一个前景/背景分类器；

利用非极大抑制技术去掉所述检测结果中重叠的检测内容，以得到人头人体联合检测结果；

采用匈牙利算法计算人头人体联合检测结果中的人头和人体的对应关系，将人头人体联合检测结果、人头和人体的对应关系组合，以得到边界框序列。

其进一步技术方案为：所述将所述边界序列进行多相机融合，以将所述边界序列内的人头框和人体框进行对齐处理，以得到对齐后的边界序列，包括：

采用张正友标定法计算多个相机的内参和外参；

构建一个统一的三维世界坐标系；

将所述边界序列映射到所述三维世界坐标系中，且依据所述边界序列的中心点位置、边界框的大小计算不同图像中两个框的匹配度；

筛选出匹配度超过设定阈值的人体框和人头框，以得到对齐后的边界序列。

其进一步技术方案为：所述相对位置判别模型是通过若干个带有相对位置关系标签的人头图像作为样本集训练卷积网络所得的。

其进一步技术方案为：所述将对齐后的边界框序列以及所述相对位置关系序列计算当前时间的边界框序列与前一时刻的边界框序列之间的关联，以得到人体跟踪轨迹，包括：

根据相邻两帧的对齐后的所述边界框序列以及所述相对位置关系序列计算相邻两帧之间每两个人体之间的距离，以得到距离矩阵；

将所述距离矩阵采用匈牙利匹配算法计算相邻两帧的人体框的匹配关系，以得到人体跟踪轨迹。

其进一步技术方案为：所述根据所述边界框序列更新状态数据库，包括：

计算当前帧所述边界框序列中每一个人头框与状态数据库中已有人头的匹配关系，以得到匹配关系；

根据所述匹配关系更新所述状态数据库。

本发明还提供了泳池防溺水目标行为识别装置，包括：

图像获取单元，用于获取多个相机所拍摄的图像；

联合检测单元，用于将所述图像输入至联合检测模型中进行人体和人头的检测，以得到边界框序列；

融合单元，用于将所述边界序列进行多相机融合，以将所述边界序列内的人头框和人体框进行对齐处理，以得到对齐后的边界序列；

位置序列获取单元，用于将对齐后的边界序列输入至相对位置判别模型内进行边界框序列中的人体和人头与水面的相对位置关系的确定，以得到相对位置关系序列；

关联单元，用于将对齐后的边界框序列以及所述相对位置关系序列计算当前时间的边界框序列与前一时刻的边界框序列之间的关联，以得到人体跟踪轨迹。

本发明还提供了一种计算机设备，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法。

本发明还提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法。

本发明与现有技术相比的有益效果是：本发明通过多个相机拍摄的图像进行人体和人头的检测，并采用多相机融合进行人头框和人体框的对齐，结合相对位置判别模型确定人头和人体相对于水面的位置关系，并以联合检测的结果与相对于水面的位置关系作为输入，进行人体跟踪，实现联合人头和人体的检测，从检测和跟踪的结果确定溺水情况，提高防溺水监管的准确率。

下面结合附图和具体实施例对本发明作进一步描述。

附图说明

为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的泳池防溺水目标行为识别方法的应用场景示意图；

图2为本发明实施例提供的泳池防溺水目标行为识别方法的流程示意图；

图3为本发明实施例提供的泳池防溺水目标行为识别方法的子流程示意图；

图4为本发明实施例提供的泳池防溺水目标行为识别方法的子流程示意图；

图5为本发明实施例提供的泳池防溺水目标行为识别方法的子流程示意图；

图6为本发明实施例提供的相机布局的示意图；

图7为本发明实施例提供的联合检测模型的示意图；

图8为本发明实施例提供的数据标注的示意图；

图9为本发明实施例提供的相对位置判别模型的示意图；

图10为本发明实施例提供的人体跟踪轨迹计算的示意图；

图11为本发明另一实施例提供的泳池防溺水目标行为识别方法的流程示意图；

图12为本发明另一实施例提供的泳池防溺水目标行为识别方法的子流程示意图；

图13为本发明实施例提供的泳池防溺水目标行为识别装置的示意性框图；

图14为本发明另一实施例提供的泳池防溺水目标行为识别装置的示意性框图；

图15为本发明实施例提供的计算机设备的示意性框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

请参阅图1和图2，图1为本发明实施例提供的泳池防溺水目标行为识别方法的应用场景示意图。图2为本发明实施例提供的泳池防溺水目标行为识别方法的示意性流程图。该泳池防溺水目标行为识别方法应用于服务器中。该服务器分别与多个相机以及终端进行数据交互，通过获取多个相机所拍摄的图像，进行人体和人头的联合检测后，并自动计算人头和人体的对应关系，使得人体边界框以及与其对应的人头边界框属于同一个人；其次，将人头和人体边界框序列进行多相机融合，对不同图像中检测出来的边界框进行对齐，使得对齐后的人头边界框序列和人体边界框序列属于同一个人；再确定人体和人头与水面的相对位置关系，识别出场景中每一个人的头部和身体与水面的相对位置关系，取“水上”、“水中”或“水下”这三种位置中的一种；并将边界框序列以及位置关系作为输入进行人体自动跟踪，将跟踪所得的结果发送至终端，并更新状态数据库。

本方法基于六架围绕泳池四周部署的CCTV相机构建流媒体服务器，进行拉流并实时获取当前时刻的视频帧序列，该序列共包含6张尺寸为1920×1080的图像，每张图像来自一架相机，另一方面，构建一个人头与人体状态数据库，其中存储当前泳池中的所有人在1分钟之内的人头与人体状态。该数据库与一个实时监听模块连接，该模块实时查询数据库中的人头和人体状态，并基于此对泳情进行分析，必要时发出泳情警报。

图2是本发明实施例提供的泳池防溺水目标行为识别方法的流程示意图。如图2所示，该方法包括以下步骤S110至S150。

S110、获取多个相机所拍摄的图像。

在本实施例中，图像是指通过架设在泳池上的多个相机拍摄所得的内容。

如图6所示，将多个相机间隔布置在泳池上方，以便于拍摄整个泳池的具体情况。

S120、将所述图像输入至联合检测模型中进行人体和人头的检测，以得到边界框序列。

在本实施例中，边界框序列是指人头的边界框、人体的边界框以及人头与人体的对应关系。

具体地，如图6所示，所述联合检测模型是通过若干个带有人头框标签以及人体框标签作为样本集训练卷积神经网络，且结合匈牙利算法计算人头和人体的对应关系所得的。

联合检测模型对每张图像中的人头和人体边界框进行检测，并自动计算人头和人体的对应关系，使得人体边界框以及与其对应的人头边界框属于同一个人。

为获得图7所示的联合检测模型的训练数据，从实际泳池视频监控场景拍摄5000张图像，然后对这些图像进行数据标注，数据标注内容是每张图像中每个人的人头边界框、人体边界框、人头或人体与水面的三种相对位置关系，包括“水上”、“水中”和“水下”，如图6所示。

在一实施例中，请参阅图3，上述的步骤S120可包括步骤S121～S127。

S121、利用ResNet50卷积网络提取所述图像的特征图。

在本实施例中，模型的输入是大小为1300×800的游泳馆RGB彩色图像，也就是上述的图像，首先利用ResNet50卷积网络提取输入图像的特征图，大小为325×200。

S122、将特征图铺平，以得到向量。

在本实施例中，将特征图铺平变为一个长度为65000的向量。

S123、将所述向量与正余弦位置编码向量相加后输入至Transformer编码器进行编码，以得到特征向量。

在本实施例中，特征向量是指向量与正余弦位置编码向量相加后输入至Transformer编码器进行编码所得的编码结果。

具体地，再将该向量与本领域常用的正余弦位置编码向量相加，结果输入至Transformer编码器；接下来编码器对输入进行编码，之后输出一个长度同样为65000、并且携带语义信息的特征向量。

S124、将所述特征向量输入到一个Transformer解码器，结合接收的目标查询序列进行解码计算，以得到关键特征向量。

在本实施例中，关键特征向量是指特征向量结合接收的目标查询序列进行解码计算所得的结果。

将上一步得到的特征向量输入到一个Transformer解码器中，该解码器同时接收一个目标查询序列作为输入，该序列共包含100个从训练数据中学到的查询向量，最多支持检测100名泳客；解码器对输入的特征向量和查询序列进行经典的Transformer解码计算，输出100个长度为65000的关键特征向量，每个特征向量中均包含人头、人体检测所需的关键信息。

S125、将所述关键特征向量输入至一个共享参数的预测头，以得到检测结果，其中，预测头包含一个人头框回归器、一个人体框回归器和一个前景/背景分类器。

在本实施例中，检测结果是指人头边界框以及人体边界框。

将这些关键特征向量输入至一个共享参数的预测头，该预测头包含一个人头框回归器、一个人体框回归器和一个前景/背景分类器，回归器负责计算人头和人体边界框的中心点坐标及宽高，分类器负责判别该查询器的检测结果是人的可能性，称之为前景置信度。由于游泳馆中实际人数可能小于100，获得人头、人体联合检测模型输出结果后，还需要根据每个检测输出对应的前景置信度进行过滤，提升检测结果的精度。

S126、利用非极大抑制技术去掉所述检测结果中重叠的检测内容，以得到人头人体联合检测结果。

在本实施例中，人头人体联合检测结果是指不重复的人头边界框以及人体边界框。

利用经典的非极大抑制去掉重叠的检测内容，并输出最终人头、人体联合检测结果。

S127、采用匈牙利算法计算人头人体联合检测结果中的人头和人体的对应关系，将人头人体联合检测结果、人头和人体的对应关系组合，以得到边界框序列。

为训练如图7所示的联合检测模型，需要人头、人体框标注以及人头和人体的对应关系标注。为减少标注工作量，降低数据采集成本，本专利仅需标注人头和人体编辑框，人头和人体的对应关系采用匈牙利算法计算人头与人体的最大匹配获得，其核心是计算任意一个(“人头”，“人体”)对之间的匹配代价。本专利定义该代价为人头与人体之间的“交”的面积除以人头的面积。

为实现模型的有效训练，首先在MS-COCO 2017对模型中的ResNet50、Transformer编码器以及解码器进行预训练，然后对所有网络模型参数进行微调，微调时采用AdamW优化器，初始学习率设为10^-4，Weight Decay参数设为10^-4，Batch Size设为24，Epoch设为300。

S130、将所述边界序列进行多相机融合，以将所述边界序列内的人头框和人体框进行对齐处理，以得到对齐后的边界序列。

在本实施例中，对齐后的边界序列是指将边界序列进行多相机融合，以进行人头框和人体框进行对齐处理。

将人头和人体边界框序列进行多相机融合，对不同图像中检测出来的边界框进行对齐，使得对齐后的人头边界框序列和人体边界框序列属于同一个人。

在一实施例中，请参阅图4，上述的步骤S130可包括步骤S131～S134。

S131、采用张正友标定法计算多个相机的内参和外参；

S132、构建一个统一的三维世界坐标系；

S133、将所述边界序列映射到所述三维世界坐标系中，且依据所述边界序列的中心点位置、边界框的大小计算不同图像中两个框的匹配度。

在本实施例中，匹配度是指不同图像中人体框和人头框的匹配程度，以确保匹配程度高的属于同一个人。

S134、筛选出匹配度超过设定阈值的人体框和人头框，以得到对齐后的边界序列。

在本实施例中，采用“张正友标定法”计算六架相机的内参和外参，对场景进行三维重建，构建一个统一的三维世界坐标系，并将检测到的所有人头框映射到该坐标系中，再依据中心点位置、边界框的大小等信息计算不同图像中两个框的匹配度，设置一个阈值β，当匹配度大于β时，则对应的两个边界框属于同一个人，因此，对于一个人，最多可以获得六个来自不同相机的边界框。

S140、将对齐后的边界序列输入至相对位置判别模型内进行边界框序列中的人体和人头与水面的相对位置关系的确定，以得到相对位置关系序列。

在本实施例中，相对位置关系序列是指人体和人头与水面的相对位置关系。

所述相对位置判别模型是通过若干个带有相对位置关系标签的人头图像作为样本集训练卷积网络所得的。

请参阅图9，识别人头或人体与水面相对位置关系的卷积网络模型即相对位置判别模型架构如图9所示。该网络输入为一张100×100×3的人头或人体图像，此处100为图像的宽和高，3表示彩色图像的三个通道。为获得大小统一为100×100的图像，针对人头，首先将原始人头框转换为一个正方形框，转换后的正方形框的中心和原边界框相同，边长等于原始边界框的最大边长。然后基于转换后的边界框从视频帧裁出人头图像，最后利用“数字图像处理”中的经典“双线性插值”方法将该图像缩放为100×100大小；针对人体，直接基于人体框裁处人体图像，然后将其缩放为大小为100×100的正方形图像。

上述卷积网络即相对位置判别模型的前向传播计算流程包含八个步骤：步骤一、采用尺寸为11×11的卷积核，步长为4，填充参数为2的卷积操作处理输入图像。然后对该特征图执行池化核大小为3×3，池化步长为2的最大池化操作，再用ReLU函数对池化结果进行非线性映射，输出尺寸为11×11×64的特征图，这里11为特征图的宽和高，64为特征图的通道个数；步骤二、采用尺寸为5×5的卷积核，步长为1，填充参数为2的卷积操作处理步骤一输出的特征图。然后对该特征图执行池化核大小为3×3，池化步长为2的最大池化操作，再用ReLU函数对池化结果进行非线性映射，输出尺寸为5×5×192的特征图，这里5为特征图的宽和高，192为特征图的通道个数；步骤三、采用尺寸为3×3的卷积核，步长为1，填充参数为1的卷积操作处理步骤二输出的特征图，再利用ReLU函数对卷积操作的输出进行非线性映射，输出尺寸为5×5×384的特征图，这里5为特征图的宽和高，384为特征图的通道个数；步骤四、采用尺寸为3×3的卷积核，步长为1，填充参数为1的卷积操作处理步骤三输出的特征图，再利用ReLU函数对卷积操作的输出进行非线性映射，输出尺寸为5×5×256的特征图，这里5为特征图的宽和高，256为特征图的通道个数；步骤五、采用尺寸为3×3的卷积核，步长为1，填充参数为1的卷积操作处理步骤四输出的特征图，然后对卷积操作所输出的特征图执行池化核大小为3×3，池化步长为2的最大池化操作，再利用ReLU函数对卷积操作的输出进行非线性映射，输出尺寸为2×2×256的特征图，这里2为特征图的宽和高，256为特征图的通道个数；步骤六、利用线性函数将步骤五输出的特征图映射为长度为512的特征向量，再利用ReLU函数对该向量进行非线性映射；步骤七、利用线性函数将步骤六输出的特征向量映射为相同长度的特征向量，再利用ReLU函数对该向量进行非线性映射；步骤八、利用线性函数将步骤七输出的特征向量映射为长度为3的分数向量，记为s。系统利用r＝argmax_i＝1,2,3(S_i)，获得目标与水面的相对位置关系r∈{1,2,3}；这里，S_i表示向量s的第i个分量。这里r＝1表示“水上”，r＝2表示“水中”，r＝3表示水下。

卷积网络模型的参数训练基于“分批随机梯度下降算法”进行，批大小为64。为提升模型泛化性能，对随机取出的每一批训练数据进行常规增广处理，增广方法包括将图像随机旋转0～±10°、随机水平翻转、随机缩放裁剪、随机颜色改变等。训练前对卷积网络模型的参数进行随机初始化，设置初始学习率为10^-4，并设置学习率按照每100代衰减为原来的0.1倍，训练的总代数设置为400，损失函数设置为经典交叉熵损失。

S150、将对齐后的边界框序列以及所述相对位置关系序列计算当前时间的边界框序列与前一时刻的边界框序列之间的关联，以得到人体跟踪轨迹。

在本实施例中，人体跟踪轨迹是指人体移动的轨迹。

在一实施例中，请参阅图5，上述的步骤S150可包括步骤S151～S152。

S151、根据相邻两帧的对齐后的所述边界框序列以及所述相对位置关系序列计算相邻两帧之间每两个人体之间的距离，以得到距离矩阵。

在本实施例中，距离矩阵是指每两个人体之间的距离构成的矩阵。

具体地，如图10所示，对相邻两帧的人体进行跟踪，为获得准确跟踪结果，对于每个人体提取其深度检测特征，之后对于第t帧中的人体a和第t+1帧中的人体b，计算他们的距离r_a，b为：

φ表示利用联合检测模型提取的某个人体的特征，d_a，b表示a、b对应的两个人体在三维坐标系中的欧氏距表示利用联合检测模型提取的某个人体的特征，L表示人体特征向量的长度，D表示泳池对角线的长度，λ是一个可以调节的常数。

S152、将所述距离矩阵采用匈牙利匹配算法计算相邻两帧的人体框的匹配关系，以得到人体跟踪轨迹。

基于

算出相邻两帧之间每两个人体之间的距离，获得一个距离矩阵，再将该矩阵输入至经典的匈牙利匹配算法，获得第t+1帧和第t帧人体框的匹配关系，也就获得了第t+1帧中人体和人头的ID，从而实现了对人体和人头目标的跟踪。

通过摄像头的流完成对画面中人的检测，跟踪，人体姿态估计和行为识别。算法识别软件可以确定游泳者何种情况下为溺水状态，这会触发预警倒计时状态。在短暂的倒计时之后，溺水警报会直接发送给泳池救生员，与没有这项技术的游泳池相比，如果发生潜在的溺水事件，可以更早地警告救生员。

在游泳池特定位置安装防水、防雾摄像机，采集相关图像和数据等信息，通过服务器行为分析、模式识别、人工智能、自动控制、报警等技术，为游泳馆提供智能化报警和溺水事故录像，保证游泳者的生命安全，避免溺水死亡事故的发生，避免巨大的经济赔偿，把人的安全、人的生命、人的健康环境放在重要的位置，体现了“关爱生命，救助他人”的人文思想和设计理念。

结合硬件设备，自动发现、识别、判断溺水者、潜在溺水者和疑似溺水者，并自动报警。通过现场显示器，自动进行报警。显示溺水者的方位。智能化监控系统由服务器、防水球形摄像机、现场监视屏、报警装置、录像和储存系统、各类传感器、声光报警器、线缆、管材以及现场救生员等组成。系统硬件构成采用高可靠性高性能的计算机系统，完全防水式设计并在危险发生的瞬间给出具体方位指引。

一是有效预防溺水事故。该方法的防溺水智能系统的核心技术，是基于人(和人头)的检测跟踪算法，基于图像(多人)目标检测和视频动作识别、深度学习和视频分析，多方综合决策，处于全国甚至世界领先水平，可靠性高，成果复制推广简便。可在全省并向国家体育总局推广，将有力保障游泳场馆中的人身安全，让泳池再无一起溺水事故。

二是提升对安全指导员的监管和治理，基于安全指导员、救生员的实时状态监控，捕捉人员的在岗情况。保证安全指导员的实际工作状态，是对泳池运动用户的安全负责，也能够根据反馈情况在系统中灵活调配安全指导员的工作任务。以这种数字化识别判断的方式去处理安全指导员在离岗问题，加强游泳馆对内部人员的规范及监管能力。

三是优化运动场馆管理。该系统主要应用于游泳场馆，场景具有一定的特殊性，但其智慧化管理模型可推广至其他密闭场馆，研究构建智慧化安全管理系统。同时，动态数据识别、采集、跟踪、分析等原理可运用到亚运会等国际国内大型综合性运动会管理上，通过人工智能进行辅助决策、方案优化和资源调配，提高赛事及场馆运行的科学性、经济性。

四是实现体育管理的数据化。在粗放式场馆经营管理的模式中，职能部门无法有效获取到场馆相关的服务人群数据、安全数据。无法有效进行管理指导，规范制定，通过项目的完成，将从以上多个缺口突破，形成全方面实时的数据，并形成场馆安全库。

上述的泳池防溺水目标行为识别方法，通过多个相机拍摄的图像进行人体和人头的检测，并采用多相机融合进行人头框和人体框的对齐，结合相对位置判别模型确定人头和人体相对于水面的位置关系，并以联合检测的结果与相对于水面的位置关系作为输入，进行人体跟踪，实现联合人头和人体的检测，从检测和跟踪的结果确定溺水情况，提高防溺水监管的准确率。

图11是本发明另一实施例提供的一种泳池防溺水目标行为识别方法的流程示意图。如图11所示，本实施例的泳池防溺水目标行为识别方法包括步骤S210-S260。其中步骤S210-S250与上述实施例中的步骤S110-S150类似，在此不再赘述。下面详细说明本实施例中所增加的步骤S260。

S260、根据所述边界框序列更新状态数据库。

在一实施例中，请参阅图12，上述的步骤S260可包括步骤S261～S262。

S261、计算当前帧所述边界框序列中每一个人头框与状态数据库中已有人头的匹配关系，以得到匹配关系。

在本实施例中匹配关系包括与状态数据库内的已有人头匹配成功或者匹配失败两种关系。

S262、根据所述匹配关系更新所述状态数据库。

为分析泳情，实现对可能发生的溺水行为的动态跟踪与实时监听，在本实施例中，构建一个记录游泳馆中所有人的头部与水面位置关系的数据库，称之为状态数据库。为状态数据库中的每个人头维护一个四元组(ID,Trj,Pos,Time)，其中ID表示人头编号，Trj表示当前时刻之前100帧内的人头边界框的中心点坐标轨迹，Pos表示当前时刻之前100帧内人头与水面的位置关系记录，Time表示当前时刻之前100帧对应的具体时间。Trj、Pos、Time均为最大长度为100的“先进先出”队列，从队首算起，队列中的第i个元素表示当前时刻之前第i帧的人头信息。

设置人头跟踪环节负责对该数据库进行更新。该环节每次接收到人头位置识别模块的识别结果时，也就是当前帧中所有的人头边界框及其位置，便启动跟踪算法计算当前帧的每一个人头与状态数据库中已有人头的匹配关系，后续处理分为三种情况：一是匹配成功，则更新对应人头的四元组数据；二是匹配失败，则添加新的人头记录；三是找出数据库中缺失匹配关系的人头，然后删除其对应的队列。

另外，还可以设置个实时监听模块，基于状态数据库中的人头状态实现溺水情况实时判断，在识别出有人溺水时发出泳情警报。该模块每0.5秒对人头状态数据库进行查询，并依据以下规则进行报警：

人头在水下的时间≥5秒，即判断为溺水，发出警示。

人头与水面的相对位置关系保持时间≥10秒，即判断为溺水，发出警示。

当某个人头的“水上”、“水下”状态的切换频率≥3次/秒，且移动距离＜30厘米，系统发出警示。

图13是本发明实施例提供的一种泳池防溺水目标行为识别装置300的示意性框图。如图13所示，对应于以上泳池防溺水目标行为识别方法，本发明还提供一种泳池防溺水目标行为识别装置300。该泳池防溺水目标行为识别装置300包括用于执行上述泳池防溺水目标行为识别方法的单元，该装置可以被配置于服务器中。具体地，请参阅图13，该泳池防溺水目标行为识别装置300包括图像获取单元301、联合检测单元302、融合单元303、位置序列获取单元304以及关联单元305。

图像获取单元301，用于获取多个相机所拍摄的图像；联合检测单元302，用于将所述图像输入至联合检测模型中进行人体和人头的检测，以得到边界框序列；融合单元303，用于将所述边界序列进行多相机融合，以将所述边界序列内的人头框和人体框进行对齐处理，以得到对齐后的边界序列；位置序列获取单元304，用于将对齐后的边界序列输入至相对位置判别模型内进行边界框序列中的人体和人头与水面的相对位置关系的确定，以得到相对位置关系序列；关联单元305，用于将对齐后的边界框序列以及所述相对位置关系序列计算当前时间的边界框序列与前一时刻的边界框序列之间的关联，以得到人体跟踪轨迹。

在一实施例中，所述联合检测单元302包括特征图提取子单元、铺平子单元、编码子单元、解码子单元、输入子单元、过滤子单元以及关系计算子单元。

特征图提取子单元，用于利用ResNet50卷积网络提取所述图像的特征图；铺平子单元，用于将特征图铺平，以得到向量；编码子单元，用于将所述向量与正余弦位置编码向量相加后输入至Transformer编码器进行编码，以得到特征向量；解码子单元，用于将所述特征向量输入到一个Transformer解码器，结合接收的目标查询序列进行解码计算，以得到关键特征向量；输入子单元，用于将所述关键特征向量输入至一个共享参数的预测头，以得到检测结果，其中，预测头包含一个人头框回归器、一个人体框回归器和一个前景/背景分类器；过滤子单元，用于利用非极大抑制技术去掉所述检测结果中重叠的检测内容，以得到人头人体联合检测结果；关系计算子单元，用于采用匈牙利算法计算人头人体联合检测结果中的人头和人体的对应关系，将人头人体联合检测结果、人头和人体的对应关系组合，以得到边界框序列。

在一实施例中，所述位置序列获取单元304包括参数计算子单元、坐标系构建子单元、匹配度计算子单元以及筛选子单元。

参数计算子单元，用于采用张正友标定法计算多个相机的内参和外参；坐标系构建子单元，用于构建一个统一的三维世界坐标系；匹配度计算子单元，用于将所述边界序列映射到所述三维世界坐标系中，且依据所述边界序列的中心点位置、边界框的大小计算不同图像中两个框的匹配度；筛选子单元，用于筛选出匹配度超过设定阈值的人体框和人头框，以得到对齐后的边界序列。

在一实施例中，所述关联单元305包括矩阵生成子单元以及匹配关系计算子单元。

矩阵生成子单元，用于根据相邻两帧的对齐后的所述边界框序列以及所述相对位置关系序列计算相邻两帧之间每两个人体之间的距离，以得到距离矩阵；匹配关系计算子单元，用于将所述距离矩阵采用匈牙利匹配算法计算相邻两帧的人体框的匹配关系，以得到人体跟踪轨迹。

图14是本发明另一实施例提供的一种泳池防溺水目标行为识别装置300的示意性框图。如图14所示，本实施例的泳池防溺水目标行为识别装置300是上述实施例的基础上增加了更新单元306。

更新单元306，用于根据所述边界框序列更新状态数据库。

在一实施例中，所述更新单元306包括人头匹配子单元以及数据库更新子单元。

人头匹配子单元，用于计算当前帧所述边界框序列中每一个人头框与状态数据库中已有人头的匹配关系，以得到匹配关系；数据库更新子单元，用于根据所述匹配关系更新所述状态数据库。

需要说明的是，所属领域的技术人员可以清楚地了解到，上述泳池防溺水目标行为识别装置300和各单元的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。

上述泳池防溺水目标行为识别装置300可以实现为一种计算机程序的形式，该计算机程序可以在如图15所示的计算机设备上运行。

请参阅图15，图15是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备500可以是服务器，其中，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。

参阅图15，该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。

该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032包括程序指令，该程序指令被执行时，可使得处理器502执行一种泳池防溺水目标行为识别方法。

该处理器502用于提供计算和控制能力，以支撑整个计算机设备500的运行。

该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行一种泳池防溺水目标行为识别方法。

该网络接口505用于与其它设备进行网络通信。本领域技术人员可以理解，图15中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现如下步骤：

获取多个相机所拍摄的图像；将所述图像输入至联合检测模型中进行人体和人头的检测，以得到边界框序列；将所述边界序列进行多相机融合，以将所述边界序列内的人头框和人体框进行对齐处理，以得到对齐后的边界序列；将对齐后的边界序列输入至相对位置判别模型内进行边界框序列中的人体和人头与水面的相对位置关系的确定，以得到相对位置关系序列；将对齐后的边界框序列以及所述相对位置关系序列计算当前时间的边界框序列与前一时刻的边界框序列之间的关联，以得到人体跟踪轨迹。

其中，所述相对位置判别模型是通过若干个带有相对位置关系标签的人头图像作为样本集训练卷积网络所得的。

在一实施例中，处理器502在实现所述将对齐后的边界框序列以及所述相对位置关系序列计算当前时间的边界框序列与前一时刻的边界框序列之间的关联，以得到人体跟踪轨迹步骤之后，还实现如下步骤：

根据所述边界框序列更新状态数据库。

在一实施例中，处理器502在实现所述将所述图像输入至联合检测模型中进行人体和人头的检测，以得到边界框序列步骤时，具体实现如下步骤：

利用ResNet50卷积网络提取所述图像的特征图；将特征图铺平，以得到向量；将所述向量与正余弦位置编码向量相加后输入至Transformer编码器进行编码，以得到特征向量；将所述特征向量输入到一个Transformer解码器，结合接收的目标查询序列进行解码计算，以得到关键特征向量；将所述关键特征向量输入至一个共享参数的预测头，以得到检测结果，其中，预测头包含一个人头框回归器、一个人体框回归器和一个前景/背景分类器；利用非极大抑制技术去掉所述检测结果中重叠的检测内容，以得到人头人体联合检测结果；采用匈牙利算法计算人头人体联合检测结果中的人头和人体的对应关系，将人头人体联合检测结果、人头和人体的对应关系组合，以得到边界框序列。

在一实施例中，处理器502在实现所述将所述边界序列进行多相机融合，以将所述边界序列内的人头框和人体框进行对齐处理，以得到对齐后的边界序列步骤时，具体实现如下步骤：

采用张正友标定法计算多个相机的内参和外参；构建一个统一的三维世界坐标系；将所述边界序列映射到所述三维世界坐标系中，且依据所述边界序列的中心点位置、边界框的大小计算不同图像中两个框的匹配度；筛选出匹配度超过设定阈值的人体框和人头框，以得到对齐后的边界序列。

在一实施例中，处理器502在实现所述将对齐后的边界框序列以及所述相对位置关系序列计算当前时间的边界框序列与前一时刻的边界框序列之间的关联，以得到人体跟踪轨迹步骤时，具体实现如下步骤：

根据相邻两帧的对齐后的所述边界框序列以及所述相对位置关系序列计算相邻两帧之间每两个人体之间的距离，以得到距离矩阵；将所述距离矩阵采用匈牙利匹配算法计算相邻两帧的人体框的匹配关系，以得到人体跟踪轨迹。

在一实施例中，处理器502在实现所述根据所述边界框序列更新状态数据库步骤时，具体实现如下步骤：

计算当前帧所述边界框序列中每一个人头框与状态数据库中已有人头的匹配关系，以得到匹配关系；根据所述匹配关系更新所述状态数据库。

应当理解，在本申请实施例中，处理器502可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。

因此，本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序，其中该计算机程序被处理器执行时使处理器执行如下步骤：

获取多个相机所拍摄的图像；将所述图像输入至联合检测模型中进行人体和人头的检测，以得到边界框序列；将所述边界序列进行多相机融合，以将所述边界序列内的人头框和人体框进行对齐处理，以得到对齐后的边界序列；将对齐后的边界序列输入至相对位置判别模型内进行边界框序列中的人体和人头与水面的相对位置关系的确定，以得到相对位置关系序列；将对齐后的边界框序列以及所述相对位置关系序列计算当前时间的边界框序列与前一时刻的边界框序列之间的关联，以得到人体跟踪轨迹。

其中，所述相对位置判别模型是通过若干个带有相对位置关系标签的人头图像作为样本集训练卷积网络所得的。

在一实施例中，所述处理器在执行所述计算机程序而实现所述将对齐后的边界框序列以及所述相对位置关系序列计算当前时间的边界框序列与前一时刻的边界框序列之间的关联，以得到人体跟踪轨迹步骤之后，还实现如下步骤：

根据所述边界框序列更新状态数据库。

在一实施例中，所述处理器在执行所述计算机程序而实现所述将所述图像输入至联合检测模型中进行人体和人头的检测，以得到边界框序列步骤时，具体实现如下步骤：

利用ResNet50卷积网络提取所述图像的特征图；将特征图铺平，以得到向量；将所述向量与正余弦位置编码向量相加后输入至Transformer编码器进行编码，以得到特征向量；将所述特征向量输入到一个Transformer解码器，结合接收的目标查询序列进行解码计算，以得到关键特征向量；将所述关键特征向量输入至一个共享参数的预测头，以得到检测结果，其中，预测头包含一个人头框回归器、一个人体框回归器和一个前景/背景分类器；利用非极大抑制技术去掉所述检测结果中重叠的检测内容，以得到人头人体联合检测结果；采用匈牙利算法计算人头人体联合检测结果中的人头和人体的对应关系，将人头人体联合检测结果、人头和人体的对应关系组合，以得到边界框序列。

在一实施例中，所述处理器在执行所述计算机程序而实现所述将所述边界序列进行多相机融合，以将所述边界序列内的人头框和人体框进行对齐处理，以得到对齐后的边界序列步骤时，具体实现如下步骤：

采用张正友标定法计算多个相机的内参和外参；构建一个统一的三维世界坐标系；将所述边界序列映射到所述三维世界坐标系中，且依据所述边界序列的中心点位置、边界框的大小计算不同图像中两个框的匹配度；筛选出匹配度超过设定阈值的人体框和人头框，以得到对齐后的边界序列。

在一实施例中，所述处理器在执行所述计算机程序而实现所述将对齐后的边界框序列以及所述相对位置关系序列计算当前时间的边界框序列与前一时刻的边界框序列之间的关联，以得到人体跟踪轨迹步骤时，具体实现如下步骤：

根据相邻两帧的对齐后的所述边界框序列以及所述相对位置关系序列计算相邻两帧之间每两个人体之间的距离，以得到距离矩阵；将所述距离矩阵采用匈牙利匹配算法计算相邻两帧的人体框的匹配关系，以得到人体跟踪轨迹。

在一实施例中，所述处理器在执行所述计算机程序而实现所述根据所述边界框序列更新状态数据库步骤时，具体实现如下步骤：

计算当前帧所述边界框序列中每一个人头框与状态数据库中已有人头的匹配关系，以得到匹配关系；根据所述匹配关系更新所述状态数据库。

所述存储介质可以是U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。

该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.泳池防溺水目标行为识别方法，其特征在于，包括：

获取多个相机所拍摄的图像；

将所述图像输入至联合检测模型中进行人体和人头的检测，以得到边界框序列；

将所述边界序列进行多相机融合，以将所述边界序列内的人头框和人体框进行对齐处理，以得到对齐后的边界序列；

将对齐后的边界序列输入至相对位置判别模型内进行边界框序列中的人体和人头与水面的相对位置关系的确定，以得到相对位置关系序列；

将对齐后的边界框序列以及所述相对位置关系序列计算当前时间的边界框序列与前一时刻的边界框序列之间的关联，以得到人体跟踪轨迹。

2.根据权利要求1所述的泳池防溺水目标行为识别方法，其特征在于，所述将对齐后的边界框序列以及所述相对位置关系序列计算当前时间的边界框序列与前一时刻的边界框序列之间的关联，以得到人体跟踪轨迹之后，还包括：

根据所述边界框序列更新状态数据库。

3.根据权利要求1所述的泳池防溺水目标行为识别方法，其特征在于，所述将所述图像输入至联合检测模型中进行人体和人头的检测，以得到边界框序列，包括：

利用ResNet50卷积网络提取所述图像的特征图；

将特征图铺平，以得到向量；

将所述向量与正余弦位置编码向量相加后输入至Transformer编码器进行编码，以得到特征向量；

将所述特征向量输入到一个Transformer解码器，结合接收的目标查询序列进行解码计算，以得到关键特征向量；

将所述关键特征向量输入至一个共享参数的预测头，以得到检测结果，其中，预测头包含一个人头框回归器、一个人体框回归器和一个前景/背景分类器；

利用非极大抑制技术去掉所述检测结果中重叠的检测内容，以得到人头人体联合检测结果；

采用匈牙利算法计算人头人体联合检测结果中的人头和人体的对应关系，将人头人体联合检测结果、人头和人体的对应关系组合，以得到边界框序列。

4.根据权利要求1所述的泳池防溺水目标行为识别方法，其特征在于，所述将所述边界序列进行多相机融合，以将所述边界序列内的人头框和人体框进行对齐处理，以得到对齐后的边界序列，包括：

采用张正友标定法计算多个相机的内参和外参；

构建一个统一的三维世界坐标系；

将所述边界序列映射到所述三维世界坐标系中，且依据所述边界序列的中心点位置、边界框的大小计算不同图像中两个框的匹配度；

筛选出匹配度超过设定阈值的人体框和人头框，以得到对齐后的边界序列。

5.根据权利要求1所述的泳池防溺水目标行为识别方法，其特征在于，所述相对位置判别模型是通过若干个带有相对位置关系标签的人头图像作为样本集训练卷积网络所得的。

6.根据权利要求1所述的泳池防溺水目标行为识别方法，其特征在于，所述将对齐后的边界框序列以及所述相对位置关系序列计算当前时间的边界框序列与前一时刻的边界框序列之间的关联，以得到人体跟踪轨迹，包括：

根据相邻两帧的对齐后的所述边界框序列以及所述相对位置关系序列计算相邻两帧之间每两个人体之间的距离，以得到距离矩阵；

将所述距离矩阵采用匈牙利匹配算法计算相邻两帧的人体框的匹配关系，以得到人体跟踪轨迹。

7.根据权利要求2所述的泳池防溺水目标行为识别方法，其特征在于，所述根据所述边界框序列更新状态数据库，包括：

计算当前帧所述边界框序列中每一个人头框与状态数据库中已有人头的匹配关系，以得到匹配关系；

根据所述匹配关系更新所述状态数据库。

8.泳池防溺水目标行为识别装置，其特征在于，包括：

图像获取单元，用于获取多个相机所拍摄的图像；

联合检测单元，用于将所述图像输入至联合检测模型中进行人体和人头的检测，以得到边界框序列；

融合单元，用于将所述边界序列进行多相机融合，以将所述边界序列内的人头框和人体框进行对齐处理，以得到对齐后的边界序列；

位置序列获取单元，用于将对齐后的边界序列输入至相对位置判别模型内进行边界框序列中的人体和人头与水面的相对位置关系的确定，以得到相对位置关系序列；

关联单元，用于将对齐后的边界框序列以及所述相对位置关系序列计算当前时间的边界框序列与前一时刻的边界框序列之间的关联，以得到人体跟踪轨迹。

9.一种计算机设备，其特征在于，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的方法。

10.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法。

Images