CN115171336A - 一种海滩监控溺水防护系统 - Google Patents

Abstract

本发明公开了一种海滩监控溺水防护系统，该系统包括：固定监控模块和无人机巡航监控模块，用于控制固定的第一摄像机和搭载在无人机上的第二摄像机进行监控；图像采集控制模块，用于响应于第一摄像机和/或第二摄像机的监控画面中的高危区域出现游客，控制第一摄像机和/或第二摄像机以高危区域为中心进行放大，并以预设时间间隔连续采集海滩图片；溺水识别模块，用于识别各张海滩图片中各个位置的环境信息、游客行为以及游客姿势；进而根据环境信息、游客姿势以及游客行为，判断游客是否溺水；告警模块，用于响应于游客溺水，向服务器终端发送告警信息。本发明可以有效提高溺水识别准确率，保障游客生命安全。

Description

一种海滩监控溺水防护系统

技术领域

本发明涉及海滩安全监控领域，特别是涉及一种海滩监控溺水防护系统。

背景技术

随着滨海旅游业热度逐年上升，海滩游客的人身安全问题也不断凸显出来。现阶段的海滩安全系统，主要依靠人工时刻把守在监控摄像画面前，通过人眼不断扫描画面来预防事故发生。由于安全事故的低概率性以及画面覆盖广泛且复杂的特点，人工很容易出现视觉疲劳，使得监控往往成为事故发生之后的复查手段，起不到预防事故发生的作用。

随着人工智能技术取得飞速发展，智能监控被广泛运用在城市安防建设、企业生产管理等场所。基于图像识别的智能监控运用在海滩安全防护上可以有效减少人工疲劳，相较于人员，在一定程度上提高溺水识别准确率。但是现有的海滩监控识别系统，多依赖于游客姿势识别，识别游客姿势是否与溺水姿势相似，进而判断游客是否溺水。这样单方面依赖于姿势识别的溺水判断方法具有片面性，很容易带来误判，例如游客在沙滩上做出了溺水相似行为会被误判为溺水，而在海水中溺水可能由于被海水遮挡过多无法识别姿势无法被正确识别。现有技术因为其对溺水的识别准确率较为低下，带来了防护效果差的问题，给游客的生命安全带来了隐患。

发明内容

有鉴于现有技术的上述的一部分缺陷，本发明所要解决的技术问题是提供一种海滩监控溺水防护系统，旨在提高溺水识别的准确率，增加溺水防护效果，保障游客的人身安全。

为实现上述目的，本发明提供了一种海滩监控溺水防护系统，所述系统包括：固定监控模块、无人机巡航监控模块、图像采集控制模块、溺水识别模块以及告警模块；

所述固定监控模块，用于控制固定设置在海滩预设位置的第一摄像机对海滩进行监控；

所述无人机巡航监控模块，用于控制搭载有第二摄像机的无人机在所述海滩上空的预设高度对所述海滩进行巡航监控；

所述图像采集控制模块，用于响应于所述第一摄像机和/或所述第二摄像机的监控画面中的高危区域出现游客，控制所述第一摄像机和/或所述第二摄像机以所述高危区域为中心进行放大，并以预设时间间隔连续采集海滩图片；其中，所述高危区域为根据不同时间段的涨落潮情况进行划分的；

所述溺水识别模块，用于识别各张所述海滩图片中各个位置的环境信息、游客运动信息以及游客姿势；再根据各张所述海滩图片的环境信息获得所述潮汐情况，根据潮汐情况和所述游客运动信息，获得所述游客行为；进而根据所述环境信息、所述游客姿势以及所述游客行为，判断所述游客是否溺水；其中，所述游客运动信息包括所述游客的运动轨迹和运动速度，所述潮汐情况包括潮汐方向和潮汐速度；

所述告警模块，用于响应于所述游客溺水，向服务器终端发送告警信息。

可选的，所述溺水识别模块包括：环境识别子模块、运动轨迹识别子模块、行为判断子模块、姿势识别子模块以及溺水判断子模块；

所述环境识别子模块，用于对各张所述海滩图片中各个位置的环境进行识别，将各个位置按照是否有水划分为海水区和沙滩区；并根据各张所述海滩图片的环境信息获得所述潮汐情况；

所述运动轨迹识别子模块，用于识别多张连续的所述海滩图片中各个所述游客的位置，确定各个所述游客的所述运动轨迹和所述运动速度；

所述行为判断子模块，用于根据所述运动轨迹、所述运动速度和所述潮汐情况，获得所述游客行为；

所述姿势识别子模块，用于识别所述海滩图片中所述游客的关节点，并根据所述游客的关节点获得所述游客姿势；

所述溺水判断子模块，用于根据所述游客身处的所述环境信息、所述游客行为以及所述游客姿势，判断所述游客是否溺水。

可选的，所述运动轨迹识别子模块包括：追踪单元、轨迹确定单元以及速度确定单元；

所述追踪单元，用于追踪同一所述游客在多张连续的所述海滩图片中的位置；

所述轨迹确定单元，用于根据同一所述游客在多张连续的所述海滩图片中的位置以及所述海滩图片中参照物的位置，确定所述游客的所述运动轨迹；

所述速度确定单元，用于根据所述海滩图片采集的所述预设时间间隔以及所述运动轨迹获得，获得所述游客的所述运动速度。

可选的，所述行为判断子模块具体用于：

判断所述游客的所述运动轨迹是否与所述潮汐方向相同，若不相同，则判断所述游客行为为非溺水行为；

若相同，则对比所述游客的所述运动速度与所述潮汐速度，若所述运动速度与所述涨落速度的差值大于预设差值，则判定所述游客行为为非溺水行为；若所述运动速度与所述涨落速度的差值小于或等于预设差值，则判定所述游客行为为溺水行为。

可选的，所述姿势识别子模块包括：关节点识别单元、关节距离计算单元以及姿势获得单元；

所述关节点识别单元，用于追踪并识别所述海滩图片中所述游客的各个关节点位置；

所述关节距离计算单元，用于根据各个所述关节点位置，获得所述关节点间距离；

所述姿势获得单元，用于根据所述关节点位置和所述关节点间距离，获得所述游客姿势。

可选的，溺水判断子模块包括：权重施加单元、程度赋值单元、加权求和单元以及溺水等级确定单元；

所述权重施加单元，用于对所述游客身处的所述环境信息施加权重A、对所述游客行为施加权重B以及对所述游客姿势施加权重C；其中，A、B以及C为正数，且C＞A＞B；

所述程度赋值单元，用于根据水深对所述游客身处的所述环境信息赋值a；根据所述运动轨迹、所述运动速度与所述潮汐速度的相近度对所述游客行为赋值b；根据所述游客姿势与预设溺水姿势的相似度对所述游客姿势赋值c；

所述加权求和单元，用于根据S＝A×a+B×b+C×c，获得危险等级S的值；其中，所述危险等级S的值越大说明所述游客越危险；

所述溺水等级确定单元，用于响应于危险等级S的值落在不同阈值范围内，对溺水等级进行确定。

可选的，所述告警模块具体用于：

向所述服务器终端发送包括所述溺水等级的告警信息，以使所述服务器终端根据溺水等级制定救援方案。

可选的，所述图像采集控制模块包括：小目标检测子模块以及采集控制子模块；

所述小目标检测子模块，用于对所述第一摄像机和/或所述第二摄像机画面中的所述游客是否出现所述高危区域进行识别；

所述采集控制子模块，用于响应于所述游客出现在所述高危区域，将所述第一摄像机和/或所述第二摄像机的监控资源分配给所述高危区域，并以所述高危区域为中心对监控画面进行放大，以预设时间间隔连续采集所述海滩图片。

本发明的有益效果：1、本发明的溺水识别模块识别各张海滩图片中各个位置的环境信息、游客运动信息以及游客姿势；再根据各张海滩图片的环境信息获得潮汐情况，根据潮汐情况和游客运动信息，获得游客行为；进而根据环境信息、游客姿势以及游客行为，判断游客是否溺水。告警模块响应于游客溺水，向服务器终端发送告警信息。本发明通过游客身处的环境信息、游客姿势以及游客行为这三个方面对溺水进行综合判断，以保证溺水判断的全面性，不会因为单方面信息的误差出现溺水误判。这样提高判断溺水判断准确性，一来可以有效保障游客生命安全，及时救援；二来可以避免因为出现误判，导致救援力量的浪费。2、本发明包括固定监控模块控制固定设置在海滩预设位置的第一摄像机对海滩进行监控，和无人机巡航监控模块，控制搭载有第二摄像机的无人机在海滩上空的预设高度对海滩进行巡航监控。通过两个监控模块的设置，保证海滩信息采集的全面和完整，避免因为海滩图片拍摄的不完全或者拍摄画面中游客过小导致溺水漏识别的出现，进而保证游客的生命安全。尤其是无人机巡航监控模块的设置，可以有效解决固定监控模块的摄像机由于海风侵蚀、沙滩松软、潮汐规律等环境限制，无法架设在距离海滩较近的位置，导致在监控画面中获取到的单个游客目标占整个画面的比重很小，出现漏判的情况。3、本发明图像采集控制模块响应于第一摄像机和/或第二摄像机的监控画面中的高危区域出现游客，控制第一摄像机和/或第二摄像机以高危区域为中心进行放大，并以预设时间间隔连续采集海滩图片。本发明通过对游客出现的高危区域进行放大，以使监控资源落到高危区域，保证可以清晰拍摄出图片，提高溺水识别的成功率。4、本发明的溺水判断子模块包括：权重施加单元、程度赋值单元、加权求和单元以及溺水等级确定单元。通过对环境信息、游客行为和游客姿势进行加权求和的方式，计算出溺水识别的可信度，当计算结果大于预设值时，则说明判断为溺水，并且这个值越大说明溺水情况越严重。这样对三个方面加权可以使得溺水识别的结果更加可信，并且说明了溺水的严重程度，可以使救援人员根据溺水程度进行施救。综上，本发明通过多方面对海滩图片进行识别，对游客是否溺水进气全方位的判断，减少了误判的可能，提高了溺水识别准确率，有效保障了游客的生命安全。

附图说明

图1是本发明一具体实施例提供的一种海滩监控溺水防护系统的结构示意图；

图2是本发明一具体实施例提供的一种海滩监控溺水防护系统的溺水识别模块结构示意图；

图3是本发明一具体实施例中溺水识别模块采用的网络整体结构示意图；

图4是本发明一具体实施例中采用的GAM的结构示意图；

图5是CBAM通道注意力操作的流程示意图；

图6是本发明一具体实施例中采用的GAM通道注意力操作的流程示意图；

图7是SElayer空间注意力操作的流程示意图；

图8是本发明一具体实施例中采用的GAM空间注意力操作的流程示意图；

图9是本发明一具体实施例中PANet结构与BIFPN结构对比示意图；

图10是本发明一具体实施例中CIOU_Loss示意图；

图11是本发明一具体实施例中部分标注过程及海滩监控场景图；

图12是本发明一具体实施例中不同方法Precision、Recall、mAP训练过程变化曲线示意图；

图13是本发明一具体实施例中不同方法FPS测试结果示意图；

图14是本发明一具体实施例中不同网络检测效果图。

具体实施方式

本发明公开了一种海滩监控溺水防护系统，本领域技术人员可以借鉴本文内容，适当改进技术细节实现。特别需要指出的是，所有类似的替换和改动对本领域技术人员来说是显而易见的，它们都被视为包括在本发明。本发明的方法及应用已经通过较佳实施例进行了描述，相关人员明显能在不脱离本发明内容、精神和范围内对本文所述的方法和应用进行改动或适当变更与组合，来实现和应用本发明技术。

经申请人研究发现：现有的海滩监控识别系统多依赖于游客姿势识别，识别游客姿势是否与溺水姿势相似，进而判断游客是否溺水。这样单方面依赖于姿势识别的溺水判断方法具有片面性，很容易带来误判，例如游客在沙滩上做出了溺水相似行为会被误判为溺水，而在海水中溺水可能由于被海水遮挡过多无法识别姿势无法被正确识别。现有技术因为其对溺水的识别准确率较为低下，带来了防护效果差的问题，给游客的生命安全带来了隐患。

因此，本发明实施例提供了一种海滩监控溺水防护系统，如图1所示，该系统包括：固定监控模块101、无人机巡航监控模块102、图像采集控制模块103、溺水识别模块104以及告警模块105；

固定监控模块101，用于控制固定设置在海滩预设位置的第一摄像机对海滩进行监控。

需要说明的是，第一摄像机可以为多部，其拍摄范围覆盖整个海滩区域。且第一摄像机假设在稳定牢固的位置，避免受到外界环境侵袭，导致第一摄像机损坏。固定监控模块101将监控画面信息传输至图像采集控制模块103。

无人机巡航监控模块102，用于控制搭载有第二摄像机的无人机在海滩上空的预设高度对海滩进行巡航监控。

需要说明的是，无人机可以有多架，每架无人机在按照预先设置好的巡航高度和巡航轨迹进行巡航，以使搭载在无人机上的第二摄像机对海滩的监控拍摄更加全面。无人机的采用解决了固定监控系统由于海风侵蚀、沙滩松软、潮汐规律等环境限制，摄像机无法架设在距离海滩较近的位置，导致在监控画面中获取到的单个游客目标占整个画面的比重很小的问题。

图像采集控制模块103，用于响应于第一摄像机和/或第二摄像机的监控画面中的高危区域出现游客，控制第一摄像机和/或第二摄像机以高危区域为中心进行放大，并以预设时间间隔连续采集海滩图片。

其中，高危区域为根据不同时间段的涨落潮情况进行划分的。高危区域主要是接近海水处和海水处，而这些地方不会固定会根据涨潮情况或者落潮情况出现改变。在本发明实施例中，高危区域可以根据该海滩潮落潮历史记录进行事先设置。也可以由图像采集控制模块103进行初步的环境识别，将监控画面中海水处和接近海水处的区域设置为高危区域。

需要说明的是，当高危区域不出现游客时，需要对海滩全局进行监控，保证其它地方不会出现事故。当高危区域出现游客时，需要保证监控拍摄画面的清晰度，因此需要对高危区域进行放大。

溺水识别模块104，用于识别各张海滩图片中各个位置的环境信息、游客运动信息以及游客姿势；再根据各张海滩图片的环境信息获得潮汐情况，根据潮汐情况和游客运动信息，获得游客行为；进而根据环境信息、游客姿势以及游客行为，判断游客是否溺水。

其中，游客运动信息包括游客的运动轨迹和运动速度，潮汐情况包括潮汐方向和潮汐速度。

需要说明的是，在具体应用中，溺水识别模块104采用YOLOv5X为检测网络框架，采用更加全面、更加有效的Global Attention Mechanism(GAM)注意力机制来增加跨纬度的感受区、减少信息丢失。引入BIFPN结构进入YOLOv5的颈部融合端中代替PANet结构，解决单层传递的方式会缺失部分跨层的语义特征与定位特征。对预测框的回归使用更加精确的损失函数Alpha-CIOU_Loss。

此外，姿势识别采用自上而下的AlphaPose方法，将AlphaPose中的目标检测网络由原先的YOLOv3更换成YOLOv5，姿势估计网络可以改成以Transfromer为主体的结构。针对半身游客目标收集数据集进行网络的训练，保证游客目标只有上半身时可以更好的被检测出来(一般都是通过全身的信息来训练网络分辨行人信息)，同时由于AlphaPose是先检测目标再进行骨架信息的提取，因此可以对目标提取信息的同时进行跟踪，既保证了可以使用同一游客的运动信息，还可以避免不同游客之间(以防万一)的关节点信息混合使用。

告警模块105，用于响应于游客溺水，向服务器终端发送告警信息。

需要说明的是，服务器终端根据告警信息，制定相对应的救援方案对溺水游客进行救护。

可选的，如图2所示，溺水识别模块104包括：环境识别子模块201、运动轨迹识别子模块202、行为判断子模块203、姿势识别子模块204以及溺水判断子模块205。

环境识别子模块201，用于对各张海滩图片中各个位置的环境进行识别，将各个位置按照是否有水划分为海水区和沙滩区；并根据各张海滩图片的环境信息获得潮汐情况。

需要说明的是，一般来说只有在海水区才有可能出现溺水的情况。通过环境的识别，可以减少甚至排除将发生在沙滩区做出类似溺水的姿势识别为真正溺水的情况。

运动轨迹识别子模块202，用于识别多张连续的海滩图片中各个游客的位置，确定各个游客的运动轨迹和运动速度。

行为判断子模块203，用于根据运动轨迹、运动速度和潮汐情况，获得游客行为。

需要说明的是，游客行为可以分为溺水行为和非溺水行为，非溺水行为包括游泳、潜水、玩耍等。通过游客的运动轨迹和运动速度是否正常，判断游客行为，避免溺水的误判。

姿势识别子模块204，用于识别海滩图片中游客的关节点，并根据游客的关节点获得游客姿势。

溺水判断子模块205，用于根据游客身处的环境信息、游客行为以及游客姿势，判断游客是否溺水。

在一具体实施例中，运动轨迹识别子模块202包括：追踪单元、轨迹确定单元以及速度确定单元；

追踪单元，用于追踪同一游客在多张连续的海滩图片中的位置。

轨迹确定单元，用于根据同一游客在多张连续的海滩图片中的位置以及海滩图片中参照物的位置，确定游客的运动轨迹。

需要说明的是，参照物一般是固定不动的物体，如建筑物、山石一类不容易产生移动的物体。也可以是已知移动速度和移动方向的物体。参照物的确定可以有效保证运动轨迹识别的精确度，避免监控画面因为发生微微移动导致前后两张海滩图片拍摄范围出现微小变化带来的识别误差。

速度确定单元，用于根据海滩图片采集的预设时间间隔以及运动轨迹获得，获得游客的运动速度。

需要说明的是，通过运动轨迹可以得知运动距离，通过预设时间间隔可以得知运动时间，进而可以获得运动速度。

在一具体实施例中，行为判断子模块203具体用于：

判断游客的运动轨迹是否与潮汐方向相同，若不相同，则判断游客行为为非溺水行为；

若相同，则对比游客的运动速度与潮汐速度，若运动速度与涨落速度的差值大于预设差值，则判定游客行为为非溺水行为；若运动速度与涨落速度的差值小于或等于预设差值，则判定游客行为为溺水行为。

需要说明的是，如果游客运动轨迹与潮汐方向相同则说明游客很有可能是因为溺水不能运动被潮汐带走，需要进一步判断。如果游客运动轨迹与潮汐方向不同则说明游客可以逆着海水方向进行运动，有独立运动能力，一般不会是溺水。如果游客运动轨迹与潮汐方向相同，且运动速度与涨落速度的差值小于或等于预设差值，则说明游客可能无法动弹，被海水卷走，极有可能是溺水；如果游客运动轨迹与潮汐方向相同，且运动速度与涨落速度的差值大于预设差值，说明游客是顺着潮汐方向进行运动，是溺水的可能性下降。

在一具体实施例中，姿势识别子模块204包括：关节点识别单元、关节距离计算单元以及姿势获得单元；

关节点识别单元，用于追踪并识别海滩图片中游客的各个关节点位置；

关节距离计算单元，用于根据各个关节点位置，获得关节点间距离；

姿势获得单元，用于根据关节点位置和关节点间距离，获得游客姿势。

需要说明的是，通过已知关节点位置和关节点间距离可以勾勒出游客大概的姿势。姿势获得单元中有训练模型，可以通过输入已知关节点位置和关节点间距离，获得游客姿势。

值得一提的是，本发明实施例姿势识别通常通过上半身关节点进行识别，训练模型也通常用上半身关节点进行训练。因为溺水时，一般人只有上半身部分会出现在海水外，其它地方可能会被遮挡。因此，全部采用全身关节点进行训练，很有可能出现误判问题。

在一具体实施例中，溺水判断子模块205包括：权重施加单元、程度赋值单元、加权求和单元以及溺水等级确定单元；

权重施加单元，用于对游客身处的环境信息施加权重A、对游客行为施加权重B以及对游客姿势施加权重C；其中，A、B以及C为正数，且C＞A＞B。

进一步的，环境信息施加的权重A在有水时为1，无水时为0。因为小概率可能出现识别错误，所以要全面的对各个识别信息进行综合，再通过各个方面的置信度给予该方面权重。其中，游客姿势置信度大于环境信息大于游客行为。

程度赋值单元，用于根据水深对游客身处的环境信息赋值a；根据运动轨迹、运动速度与潮汐速度的相近度对游客行为赋值b；根据游客姿势与预设溺水姿势的相似度对游客姿势赋值c。

需要说明的是，在有水的情况下，水深越大说明危险越大，则a越大。运动速度与潮汐速度越相近，说明游客被潮汐卷走的可能性越大，则b越大。游客姿势与预设溺水姿势的相似度越相近，则说明游客出现溺水的可能性越大，则c越大

加权求和单元，用于根据S＝A×a+B×b+C×c，获得危险等级S的值；其中，危险等级S的值越大说明游客越危险。通过这样的计算，可以很容易获得游客的出现溺水的危险等级，当S小于预设的危险值时，则说明游客没有溺水，安全。当S大于预设的危险值时，说明游客溺水且S越大，这说明游客越危险。

溺水等级确定单元，用于响应于危险等级S的值落在不同阈值范围内，对溺水等级进行确定。通过溺水等级划分，来制定溺水救援方案，可以提高救援效率，减少救援力量浪费。

需要说明的是，本发明实施例通过对环境信息、游客行为以及游客姿势这三个方面采用不同的权重进行求和计算，获得溺水的危险等级S保证了结果的全面性和可靠性，提高了溺水识别的精确度。

进一步的，告警模块105具体用于：

向服务器终端发送包括溺水等级的告警信息，以使服务器终端根据溺水等级制定救援方案。

例如，有些在较为深的海域溺水需要派出救援船只，有些较为浅的海域溺水只需要救援人员依靠现有救援设备就可以救护，溺水比较严重的还要安排医护人员等。不同的危险等级制定对应的救援方案，可以避免资源浪费，同时提高救援效率。

在一具体实施例中，图像采集控制模块103包括：小目标检测子模块以及采集控制子模块；

小目标检测子模块，用于对第一摄像机和/或第二摄像机画面中的游客是否出现高危区域进行识别。

需要说明的是，小目标检测子模块可以精确精准的识别游客，降低错误识别概率。

采集控制子模块，用于响应于游客出现在高危区域，将第一摄像机和/或第二摄像机的监控资源分配给高危区域，并以高危区域为中心对监控画面进行放大，以预设时间间隔连续采集海滩图片。

需要说明的是，监控资源在高危区域出现游客后，分配至高危区域，可以有效保证溺水识别的准确率。

在具体应用过程中，本发明的溺水识别模块104主要在YOLOv5网络的基础上进行调整，首先通过GAM注意力机制更好的聚焦在需要关注的小目标上，之后使用BIFPN结构代替原网络PANet结构进一步融合多尺度特征上下文信息，最后采用Alpha-CIOU_Loss替换原网络中的CIOU_Loss使得检测框定位回归更加准确。改进后的YOLOv5网络结构可以更好的适应海滩场景下小目标游客检测，网络整体结构如图3所示。

YOLOv5作为当前检测领域检测性能卓越、工程部署率高的目标检测模型之一，能够同时完成图像中目标的分类和检测工作，规避了以Faster-RCNN为代表的二阶段检测模型精度高但实时性较差的不足。YOLOv5经过一系列的演化，网络结构主要由4部分组成：输入端、主干网络端、颈部融合端以及预测输出端。输入端使用Mosaic数据增强方式，通过随机缩放、裁剪、拼接等操作在丰富数据集的同时增加小目标样本数量，使得网络鲁棒性更优，使用自适应图片缩放约束图像尺寸以减少冗余信息，加快网络推理速度。主干网络端是整个检测网络的核心部分，采用Cross Stage Paritial(CSP)模块增强卷积神经网络的特征学习能力同时有效降低计算瓶颈以及内存成本。颈部融合端采用PANet结构，由FPN对特征图进行上采样后与主干网络端中各个部分相同大小的特征图进行上下文信息的融合，再使用PAN对FPN获得的上采样特征图进行下采样操作并融合FPN各部分特征图作为最后预测输出端的多尺度特征图，有效地将多尺度特征图语义信息表达及增强网络对目标的定位能力。预测输出端采用CIOU_Loss作为损失函数结合加权的非极大值抑制处理因遮挡而导致的检测准确率不足的问题。

其中，

GAM注意力机制：

注意力机制的本质是模仿人类选择性视觉所提出的概念，通过对特征图的关键部分施加标识权重，让模型能更加细致地学习需要被关注区域的特征，抑制非关键区域。为了更加精确地捕获图像中海滩小目标游客，本文采用更加全面、更加有效的GlobalAttention Mechanism(GAM)注意力机制来增加跨纬度的感受区、减少信息丢失。GAM模块沿用先通道后空间的注意力机制顺序进行设计，相比于如今主流的小目标检测注意力机制模块SElayer、CBAM更好地从通道、空间宽度和空间高度三个维度整合所有的重要特征，增强跨维度的信息。对于一个给定的特征图

通过通道注意力模块及空间注意力模块分别生成的特征图

Mc与Ms分别表示通道注意力操作及空间注意力操作，

表示矩阵元素按点乘操作，GAM模块网络结构如图4所示。

相比于CBAM方法，GAM在通道注意力操作上直接采用3维排列的方式保留三个维度上的特征信息，通过两层多层感知机放大跨维通道-空间的依赖性，GAM与CBAM的通道注意力操作对比如图5和图6所示。

相比于SElayer方法，GAM在空间注意力操作上通过删除压缩挤压池化操作来保留空间特性映射获得更多的空间信息，再通过两个卷积层进行空间信息融合，GAM与SElayer空间注意力操作对比如图7和图8所示。

最后本文将GAM模块插入YOLOv5的主干网络端中高维度的特征提取操作后面以及颈部融合端中特征图融合之后，一方面使得特征图更加关注到需要被检测的小目标，另一方面在有效忽略特征融合后在特征图中不需要被重点关注的区域，便于后续预测输出层进行预测。

BIFPN特征融合：

现阶段的研究已经证明多尺度特征融合可以很好的增强网络的特征表达能力，YOLOv5同样采用多尺度特征的方式在颈部融合端中沿用PANet结构。PANet结构由FPN+PAN架构组成，通过FPN自顶向下传达强语义特征，再通过PAN自底向上传达强定位特征，从而达到不同主干层对不同检测层进行参数聚合的目的。尽管PANet结构作为当前较为优秀的多尺度特征融合方法，但同其他现阶段常用的多尺度融合方法一样是单层单向信息传递，由于特征图在缩放的过程中必定存在信息的丢失，因此单层传递的方式会缺失部分跨层的语义特征与定位特征，对此本文引入BIFPN结构进入YOLOv5的颈部融合端中代替PANet结构。PANet结构与BIFPN结构对比如图9所示。

可以看出，BIFPN结构采用跨尺度连接的方式，进一步促进了不同层之间的特征融合，在保留单层特征信息传递的同时有效的补全了跨层之间的信息交流壁垒。使得最后送给预测输出端的特征图包含了更多的上下文信息，可以更好的帮助小目标传递语义及定位信息。

Alpha-CIOU_Loss函数：

边界框的定位回归关乎到最终结果能不能精确给出目标检测结果，现阶段目标检测中都采用交并比(Intersection Over Union，IOU)的方式代替传统n范数方法描述网络目标预测边界框和真实边界框的位置关系，该方法相比于n范数方法具有尺寸不变性，鲁棒性更佳。IOU表达式为IOU＝(A∩B)/(A∪B)，

A表示网络预测所产生的候选框，B表示预先通过人工标记的真实框。使用IOU_Loss作为定位损失反应真实框与预测框的关系即：

IOU_Loss＝1-IOU 1)

由于IOU_Loss无法描述重叠样本上的梯度消失、预测框在真实框内部、预测中心点相同但横纵比不同等问题所导致定位关系无法准确表述。YOLOv5采用CIOU_Loss的方式将重叠面积、中心点距离以及横纵比作为约束项作为损失函数的一部分，图10为CIOU_Loss示意图，其表达式为：

其中b、bgt表示预测框与真实框的中心点坐标。ρ(.)表示计算两个框之间中心点的欧氏距离。c表示将预测框与真实框完全封闭最小外接矩形的对接线距离，用于防止损失函数值过大，提升收敛速度。v用于描述预测框与真实框横纵比的一致性，β为权重系数用于平衡v防止其失衡，v与β的表达式为：

其中wgt、hgt和w、h表示真实框与预测框的长宽。

为了更进一步的提升预测框的回归精度，本文在CIOU_Loss的基础上通过幂变换的方式得到Alpha-CIOU_Loss，其表达式为：

其中α表示幂变换约束项，在幂变换不会改变CIOU_Loss关键性质的前提下，引入幂变换使得其他约束项随IOU一同进行单调变化，因此改变α的大小可以帮助模型关注更多高IOU数值的候选框，从而提高网络定位和检测的性能。在α>1时引入一段绝对损失量，可以很好地优化所有检测层的候选目标，同时由于α对高IOU数值候选框的绝对梯度变化，可以加快网络对这些候选框的学习。因此本文通过Alpha-CIOU_Loss实现提升对不同检测层预测框的回归精度提升。

实验数据集及实验环境：

在自建海滩监控场景下小目标游客数据集上验证本文算法的有效性。数据集通过网页SkylineWebcams所开放的海滩实时摄像头画面，使用录屏软件对画面进行录屏操作采集到监控视频数据分辨率为1920×1080，帧率为25fps。在游客数量最为集中的时间段内通过每40秒抽取一帧的方式形成海滩小目标游客监控数据集，得到共计1227张图像。从中选取1110张图像作为原始训练集，117张图像作为测试数据集用于进行网络模型性能指标的评价。为了提高模型的泛化能力，对原始数据集进行YOLOv5输入端数据增强操作，进一步扩充小目标数据。通过图像标注工具LabelImg进行人工标注，得到对应文件名的xml文件，“.xml”文件中记录对应标注框的坐标信息以及目标类型等信息。部分标注过程及海滩监控场景如图11所示。

本文实验配置环境如下：Ubantu18.04操作系统、CPU为Intel Core i9-8950、GPU为NVIDIA GeForce GTX 1080(8GB显存)，内存32GB。基于Pytorch架构使用Python3.8环境和通过GPU加速平台CUDA 10.1实现本文方法。模型训练过程中考虑到硬件性能图像尺寸统一为640，迭代批量大小(Batch-Size)设置为4，总迭代(Epoch)次数200，初始学习率设为0.01，采用随机梯度下降(Stochastic Gradient Descent，SGD)优化方式，Momentum动量设为0.937，权重衰减系数Weight-Decay设置为0.0005。

实验评价指标

本文针对海滩场景下小目标游客的检测任务采用精确率(Precision)、召回率(Recall)、平均精度均值(mean Average Precision，mAP)以及每秒传输帧数(Frames PerSecond，FPS)等指标对本文实验网络模型进行全面评价。我们将海滩小目标游客归类为正样本(Positive Sample)，将其他背景信息归为负样本(Negative Sample)进行实验并计算相应的实验指标。

精确率(Precision)是指针对模型预测结果中预测为正样本的正确的比例，在预测结果中正样本包含预测正确的正样本(True Positive，TP)以及错将负样本预测为正样本(False Positive，FP)的误报，精确率越接近1说明模型预测结果中将背景信息错分为小目标游客的次数越少，模型的预测效果越好，其表达式为

召回率(Recall)表示训练样本中正确预测的正样本占所有正样本的比例，根据预测结果正样本被分为预测正确的正样本(True Positive，TP)以及错将正样本预测为负样本(False Negative，FN)的漏报，召回率越接近1说明模型将小目标游客错分为背景信息出现的次数越少，模型的学习效果越好，其表达式为

平均精度均值(mean Average Precision，mAP)是用来衡量模型整体检测精度的重要指标，通过Precision与Recall绘制出的曲线所围成面积来表示，平均精度均值越接近1说明模型整体检测效果越好，其表达式为

其中N表示需要检测的所有类别数，本文中N＝1，IOU阈值设置为模型评估通用的0.5。

每秒传输帧数(Frames Per Second，FPS)用于衡量模型处理图像的速度，该指标受限于模型的计算量与实验过程中使用的硬件性能。一般地，检测速度不小于实时监控传输帧率(25fps)即可认为该算法模型满足实时性要求。

消融实验

为了分析本文方法不同改进策略在整个网络中所起到的作用，本文以YOLOv5中检测效果最佳的YOLOv5X作为本文的基准网络(Baseline)，使用不同改进策略对网络进行训练，通过测试集收集相应网络结构下目标检测的性能指标，不同改进策略网络模型测试结果如表1所示。

表1不同改进策略及其组合使用网络模型测试结果

表1不同改进策略及其组合使用网络模型测试结果

根据表中实验数据可以看出：本文所提出的三部分改进策略在单独使用对网络性能都有部分的提升，组合使用时更加优秀。当单独使用Alpha-CIOU_Loss时相比于Baseline结构Recall提升1.39％，Precision下降2.64％，mAP提升0.63％，说明Alpha-CIOU_Loss尽管可以有效降低将小目标游客错分为背景信息的情况，提升小目标的漏检率，但由于未加入注意力机制前的网络特征提取信息能力不够集中、细致，因此导致精确率出现下降，但从mAP提升来看Alpha-CIOU_Loss对整体网络效果是正向的，FPS提升进一步说明改进的损失函数计算方法可以加快网络对这些候选框的学习。

仅使用BIFPN从客观评价指标来看除Recall略微提升之外其余指标均出现了下降，但当BIFPN结构与其他模块组合使用时均比单独使用某一方法有进一步的提升。例如，Alpha-CIOU_Loss结合BIFPN时Recall进一步提升0.05％，有效改善Precision下降，进一步提升整体模型检测效果，GAM结合BIFPN模型检测效果同样进一步提升检测效果。BIFPN通过补全跨层之间的信息交流壁垒来提升网络性能，由于YOLOv5X作为当前十分优秀的检测模型已经充分提取特征信息导致跨层之间信息差异化不明显，使得BIFPN不但没有起到信息融合反而引入多余的计算量导致网络性能下降。

GAM模块很大程度提升原始YOLOv5X的模型检测效果，Precision提升1.40％，Recall提升2.20％，mAP提升2.68％，充分说明本文使用GAM注意力机制可以更进一步聚焦到海滩小目标游客信息提取上，使得网络可以更加精确的关注和学习到小目标的特征，提高模型的检测效果，但也因此使得计算量大幅提升，导致FPS下降明显。尽管FPS相比Baseline下降13.40fps但依旧满足实时检测要求。

将GAM模块结合Alpha-CIOU_Loss和BIFPN所实现的本文方法进一步提升了在单独使用GAM情况下的模型检测性能，Precision提升2.00％，Recall提升5.33％，mAP提升4.36％。充分说明GAM模块的引入所带来的小目标特征图信息相比原始YOLOv5X更加细致从而使得BIFPN可以弥补跨层采样所损失的特征信息，而更细致的特征图信息包含更精确的定位信息促进Alpha-CIOU_Loss进行预测框的回归。

为进一步验证本文所提改进的YOLOv5海滩小目标游客检测算法的有效性，采用当前主流的小目标检测改进方法如：SElayer方法、CBAM方法以及原始YOLOv5与本文方法进行客观指标比较，Precision、Recall、mAP训练过程数据进行曲线化结果如图12所示，FPS经过实验测试结果如图13所示。

可以看出当训练模型趋于稳定后：在精确率方面，本文算法与原始YOLOv5X相比平均提升2.00％，与SElayer方法相比平均提升4.21％，与CBAM方法相比平均提升2.31％，说明本文方法在海滩小目标游客检测上可以取得更低的误检率。在召回率方面，本文算法与原始YOLOv5X相比平均提升5.33％，与SElayer方法相比平均提升10.12％，与CBAM方法相比平均提升6.44％，说明本文方法在海滩小目标游客检测上可以取得更低的漏检率。在平均精度均值方面，本文算法与原始YOLOv5X相比平均提升4.36％，与SElayer方法相比平均提升7.54％，与CBAM方法相比平均提升5.22％，说明本文方法整体网络模型检测性能优秀。尽管本文方法的检测速度最差，但考虑到海滩游客的检测目的是保障游客的生命安全，在满足实时监测的前提下通过牺牲检测速度提升检测率是有必要的。选取三幅海滩场景作为测试图片，通过视觉效果进行主观评价，不同网络检测效果如图14所示。

从实验结果图可以看出，第一幅实验图像中危险礁石区域实际共有7名游客信息，本文方法可以很好地检测到危险礁石区域的5名游客目标，CBAM仅能检测到4名游客目标，SElayer与原始YOLOv5方法则没有很好的检测到该区域的游客信息，仅检测到水中的3名游客目标而忽略了礁石上的2名游客目标，因为原始YOLOv5本身并没有注重学习小目标的特征，而SElayer方法与CBAM方法尽管有对小目标特征的学习但都采取忽略图像中某些细节的方式减轻网络对目标关注的计算负担，由于画面中游客目标信息量过少同时与周围环境差异性较小因此很难有效对其进行正确的预测。

第二幅实验图像中游客目标小且与背景信息相似的部分实际共有11名游客，除本文方法检测出10名游客信息外，其他方法都出现漏检情况，例如原始YOLOv5在图像靠左与中间区域的游客信息都没有检出；SElayer方法仅对靠左区域的3人有效的检出，中间部分的3名游客信息出现漏检；CBAM方法仅比原始YOLOv5在靠左区域有检测优势，右下角部分的游客信息漏检严重，4名游客信息只检测出3名。这是由于目标与背景信息相似型的目标在估计时产生许多交叠的预测框使得在网络训练时没办法很好的对预测框的定位进行有效的收敛，进一步证明本文采用的损失函数可以更好的提升预测框的回归精度。

第三幅实验图像中水中的游客目标实际共有10名，相较于海滩游客特征信息获取难度随着海水对身体的遮挡提高，本文方法相比与其他方法取得了5名游客信息检出的最好效果。在图像中间的密集游客区域共有11名游客信息，同样本文方法取得8名游客信息检测的最好结果，原始YOLOv5与SElayer方法都出现大面积的漏检情况，前者只检出3名游客信息而后者只检出4名。本文方法可以较大程度的检测出绝大多水中的小目标游客以及密集区域小目标游客，进一步说明了本文方法相对于其他方法可以更加细致地通过部分特征进行预测，同时由于采用了跨层信息交流的BIFPN结构，最后送给预测输出端的特征图包含了更多的上下文信息，因此得到更好的检测率。与其他方法相比，本文所提的一种改进的YOLOv5海滩小目标游客检测方法在保证实时性的前提下可以取得更精确的小目标游客检测结果，在密集、遮挡、目标尺寸更小的情况下都具有更好的鲁棒性。

综上，溺水识别模块采用了一种多层特征图信息融合的检测方法用于海滩环境下小目标游客监控，有效解决了当前智能监控检测方案无法满足此类复杂场景下小目标游客的检测及其后续的需求，本文方法可实时检测海滩游客目标，保障危险区域游客的人身安全。通过引入GAM注意力机制强化主干网络端提取小目标特征的能力，所得到的特征图更加聚焦小目标。将原有的PANet结构替换为BIFPN结构进行跨层间的特征图信息交流，使得最后送入预测输出端的特征图包含更多的上下文信息，提高在遮挡条件下的检出率。使用更加精确的预测框回归损失函数Alpha-CIOU_Loss，通过幂变换的特性提升对不同检测层预测框，有效改善因目标密集而产生的漏检现象。最后通过实际的海滩环境进行改进检测网络的有效性实验，相比于原始的YOLOv5X模型在实时性满足要求的前提下精确率提升2.00％，召回率提升5.33％，平均精度均值提升4.36％。与其他方法相比获得更好的主观视觉评判。

本发明实施例的溺水识别模块104识别各张海滩图片中各个位置的环境信息、游客运动信息以及游客姿势；再根据各张海滩图片的环境信息获得潮汐情况，根据潮汐情况和游客运动信息，获得游客行为；进而根据环境信息、游客姿势以及游客行为，判断游客是否溺水。告警模块105响应于游客溺水，向服务器终端发送告警信息。本发明实施例通过游客身处的环境信息、游客姿势以及游客行为这三个方面对溺水进行综合判断，以保证溺水判断的全面性，不会因为单方面信息的误差出现溺水误判。这样提高判断溺水判断准确性，一来可以有效保障游客生命安全，及时救援；二来可以避免因为出现误判，导致救援力量的浪费。本发明实施例包括固定监控模块101控制固定设置在海滩预设位置的第一摄像机对海滩进行监控，和无人机巡航监控模块102，控制搭载有第二摄像机的无人机在海滩上空的预设高度对海滩进行巡航监控。通过两个监控模块的设置，保证海滩信息采集的全面和完整，避免因为海滩图片拍摄的不完全或者拍摄画面中游客过小导致溺水漏识别的出现，进而保证游客的生命安全。尤其是无人机巡航监控模块102的设置，可以有效解决固定监控模块101的摄像机由于海风侵蚀、沙滩松软、潮汐规律等环境限制，无法架设在距离海滩较近的位置，导致在监控画面中获取到的单个游客目标占整个画面的比重很小，出现漏判的情况。本发明实施例图像采集控制模块103响应于第一摄像机和/或第二摄像机的监控画面中的高危区域出现游客，控制第一摄像机和/或第二摄像机以高危区域为中心进行放大，并以预设时间间隔连续采集海滩图片。本发明实施例通过对游客出现的高危区域进行放大，以使监控资源落到高危区域，保证可以清晰拍摄出图片，提高溺水识别的成功率。本发明实施例的溺水判断子模块205包括：权重施加单元、程度赋值单元、加权求和单元以及溺水等级确定单元。通过对环境信息、游客行为和游客姿势进行加权求和的方式，计算出溺水识别的可信度，当计算结果大于预设值时，则说明判断为溺水，并且这个值越大说明溺水情况越严重。这样对三个方面加权可以使得溺水识别的结果更加可信，并且说明了溺水的严重程度，可以使救援人员根据溺水程度进行施救。综上，本发明实施例通过多方面对海滩图片进行识别，对游客是否溺水进气全方位的判断，减少了误判的可能，提高了溺水识别准确率，有效保障了游客的生命安全。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (8)

1.一种海滩监控溺水防护系统，其特征在于，所述系统包括：固定监控模块、无人机巡航监控模块、图像采集控制模块、溺水识别模块以及告警模块；

所述固定监控模块，用于控制固定设置在海滩预设位置的第一摄像机对海滩进行监控；

所述无人机巡航监控模块，用于控制搭载有第二摄像机的无人机在所述海滩上空的预设高度对所述海滩进行巡航监控；

所述图像采集控制模块，用于响应于所述第一摄像机和/或所述第二摄像机的监控画面中的高危区域出现游客，控制所述第一摄像机和/或所述第二摄像机以所述高危区域为中心进行放大，并以预设时间间隔连续采集海滩图片；其中，所述高危区域为根据不同时间段的涨落潮情况进行划分的；

所述溺水识别模块，用于识别各张所述海滩图片中各个位置的环境信息、游客运动信息以及游客姿势；再根据各张所述海滩图片的环境信息获得所述潮汐情况，根据潮汐情况和所述游客运动信息，获得所述游客行为；进而根据所述环境信息、所述游客姿势以及所述游客行为，判断所述游客是否溺水；其中，所述游客运动信息包括所述游客的运动轨迹和运动速度，所述潮汐情况包括潮汐方向和潮汐速度；

所述告警模块，用于响应于所述游客溺水，向服务器终端发送告警信息。

2.根据权利要求1所述的海滩监控溺水防护系统，其特征在于，所述溺水识别模块包括：环境识别子模块、运动轨迹识别子模块、行为判断子模块、姿势识别子模块以及溺水判断子模块；

所述环境识别子模块，用于对各张所述海滩图片中各个位置的环境进行识别，将各个位置按照是否有水划分为海水区和沙滩区；并根据各张所述海滩图片的环境信息获得所述潮汐情况；

所述运动轨迹识别子模块，用于识别多张连续的所述海滩图片中各个所述游客的位置，确定各个所述游客的所述运动轨迹和所述运动速度；

所述行为判断子模块，用于根据所述运动轨迹、所述运动速度和所述潮汐情况，获得所述游客行为；

所述姿势识别子模块，用于识别所述海滩图片中所述游客的关节点，并根据所述游客的关节点获得所述游客姿势；

所述溺水判断子模块，用于根据所述游客身处的所述环境信息、所述游客行为以及所述游客姿势，判断所述游客是否溺水。

3.根据权利要求2所述的海滩监控溺水防护系统，其特征在于，所述运动轨迹识别子模块包括：追踪单元、轨迹确定单元以及速度确定单元；

所述追踪单元，用于追踪同一所述游客在多张连续的所述海滩图片中的位置；

所述轨迹确定单元，用于根据同一所述游客在多张连续的所述海滩图片中的位置以及所述海滩图片中参照物的位置，确定所述游客的所述运动轨迹；

所述速度确定单元，用于根据所述海滩图片采集的所述预设时间间隔以及所述运动轨迹获得，获得所述游客的所述运动速度。

4.根据权利要求2所述的海滩监控溺水防护系统，其特征在于，所述行为判断子模块具体用于：

判断所述游客的所述运动轨迹是否与所述潮汐方向相同，若不相同，则判断所述游客行为为非溺水行为；

若相同，则对比所述游客的所述运动速度与所述潮汐速度，若所述运动速度与所述涨落速度的差值大于预设差值，则判定所述游客行为为非溺水行为；若所述运动速度与所述涨落速度的差值小于或等于预设差值，则判定所述游客行为为溺水行为。

5.根据权利要求2所述的海滩监控溺水防护系统，其特征在于，所述姿势识别子模块包括：关节点识别单元、关节距离计算单元以及姿势获得单元；

所述关节点识别单元，用于追踪并识别所述海滩图片中所述游客的各个关节点位置；

所述关节距离计算单元，用于根据各个所述关节点位置，获得所述关节点间距离；

所述姿势获得单元，用于根据所述关节点位置和所述关节点间距离，获得所述游客姿势。

6.根据权利要求2所述的海滩监控溺水防护系统，其特征在于，溺水判断子模块包括：权重施加单元、程度赋值单元、加权求和单元以及溺水等级确定单元；

所述权重施加单元，用于对所述游客身处的所述环境信息施加权重A、对所述游客行为施加权重B以及对所述游客姿势施加权重C；其中，A、B以及C为正数，且C＞A＞B；

所述程度赋值单元，用于根据水深对所述游客身处的所述环境信息赋值a；根据所述运动轨迹、所述运动速度与所述潮汐速度的相近度对所述游客行为赋值b；根据所述游客姿势与预设溺水姿势的相似度对所述游客姿势赋值c；

所述加权求和单元，用于根据S＝A×a+B×b+C×c，获得危险等级S的值；其中，所述危险等级S的值越大说明所述游客越危险；

所述溺水等级确定单元，用于响应于危险等级S的值落在不同阈值范围内，对溺水等级进行确定。

7.根据权利要求6所述的海滩监控溺水防护系统，其特征在于，所述告警模块具体用于：

向所述服务器终端发送包括所述溺水等级的告警信息，以使所述服务器终端根据溺水等级制定救援方案。

8.根据权利要求1所述的海滩监控溺水防护系统，其特征在于，所述图像采集控制模块包括：小目标检测子模块以及采集控制子模块；

所述小目标检测子模块，用于对所述第一摄像机和/或所述第二摄像机画面中的所述游客是否出现所述高危区域进行识别；

所述采集控制子模块，用于响应于所述游客出现在所述高危区域，将所述第一摄像机和/或所述第二摄像机的监控资源分配给所述高危区域，并以所述高危区域为中心对监控画面进行放大，以预设时间间隔连续采集所述海滩图片。

Images