CN110210323A - 一种基于机器视觉的溺水行为在线识别方法 - Google Patents

Abstract

本发明公开了一种基于机器视觉的溺水行为在线识别方法。包括：采集图像；预处理；图像传输：将预处理后的图像将通过无线网络传输至云服务器；离线训练OpenPose：云服务器基于轻量级加速OpenPose，离线训练适用于提取水中人体关键点的模型；离线训练分类器：提取的人体关键点后，再训练基于神经网络的二分类器，用于判断人员是否溺水；服务器在线监测：云服务器在线运行改进的轻量级加速OpenPose用于提取图像中人体关键点，并对关键点进行溺水判断、计算危险程度、输出报警信息。本发明能够被使用在水上小型机器人、水上固定摄像机或者水下固定摄像机上，用于识别游泳者的实时姿态，对溺水可疑姿态进行甄别和预警，在泳池和海边等处辅助救生员识别溺水的作用。

Description

一种基于机器视觉的溺水行为在线识别方法

技术领域

本发明涉及计算机视觉领域，尤其涉及一种基于机器视觉的溺水行为在线识别方法。

背景技术

随着信息化、网络化的快速发展，视频监控系统已经逐渐在泳池使用起来，能够通过视频来监控到泳池现场，并且能够得到实时连续的视频画面，这为管理人员提供了很大的帮助。但遗憾的是，这种视频监控系统的模式还是只停留在传统的模式上，没有对泳池画面进行必要的智能分析，完全是凭“人眼”或“个人经验”，这样不但会大大降低监控效果，而且也增加了管理人员的监控工作强度。在智能视频分析技术日趋成熟，但在泳池的监控系统上，亟需对监控视域内的溺水事件进行识别、判断、报警，为泳池内人员的安全提供有力的监控管理支持。

发明内容

本发明提供了一种基于机器视觉的溺水行为在线识别方法，可利用现有监控系统或安装在水上机器人的相机，结合云服务器计算，利用加速的轻量级OpenPose识别图像中人体的姿态，通过卷积神经网络分类器来判断是否发生了溺水行为，从而发出警报以便救援人员及时感知所发生的溺水事件，及时拯救生命。

一种基于机器视觉的溺水行为在线识别方法，包含以下步骤：

1.1采集图像：使用高精度广角防水摄像头在水面上采集溺水事件高发水域的实时图像；

1.2预处理：使用摄像头搭载的信息处理单元对获取的图像数据进行图像预处理操作，使得图像对比度增强，并实现简单去噪、减少占用空间，从而易于图像数据传输和服务器端后续处理；

1.3图像传输：将预处理后的图像将通过无线网络传输至云服务器；

1.4离线训练OpenPose：云服务器基于轻量级加速OpenPose，离线训练适用于提取水中人体关键点的模型；

1.5离线训练分类器：提取的人体关键点后，再训练基于神经网络的二分类器，用于判断人员是否溺水；

1.6服务器在线监测：云服务器在线运行改进的轻量级加速OpenPose用于提取图像中人体关键点，并对关键点进行溺水判断、计算危险程度、输出报警信息。

所述步骤（4）中的离线训练适用于提取水中人体关键点的轻量级加速OpenPose，包括以下步骤：

2.1采集多个环境下的游泳人员的图像数据，形成训练数据集；

2.2.训练加速卷积神经网络，输入为数据集中的图像信息，输出为关键点坐标，采用反向传播方法更新权值，损失函数采用训练结果和真实结果的二范数；

2.3重复步骤2.2直至误差小于或等于一定阈值，或达到最大训练次数停止训练，最终保存权重文件。

所述步骤2.2训练加速卷积神经网络方法为：使用深度可分离卷积神经网络来消除输出通道数量和内核大小之间的相互作用，深度可分离卷积神经网络由深度卷积和逐点卷积组成，深度卷积为每个输入通道应用单个滤波器；逐点卷积用来创建深度层输出的线性组合，此外，两个卷积过程均采用ReLU非线性激活函数且均进行批量规范化。

所述步骤（5）中的离线训练基于神经网络的二分类器，包括以下步骤：

4.1利用轻量级加速OpenPose对图像中溺水与非溺水人体关键点进行标注，构造数据集；

4.2将数据集分为训练集和测试集，输入为人体关键点矩阵，输出为是否溺水，采用反向传播方法更新权值，损失函数采用训练结果和真实结果的二范数；

4.3重复步骤4.2，当训练误差小于等于设定的阈值，或训练次数大于设定值时停止训练，保存模型权重文件。

所述基于神经网络的二分类器的结构为三层卷积神经网络和三层全连接层，其中，三层卷积神经网络卷积核大小为3*3，卷积层大小分别为3，12，48，步长均为1，输出矩阵大小恒为100*150，池化层卷积核大小为2*2，步长为2；对卷积神经网络输出矩阵进行向量化后作为全连接输入层节点，经过三层全连接层神经网络后获得溺水概率值，三层全连接层中每个节点采用sigmoid激活函数，利用梯度下降法更新权重。

所述步骤4.2中人体关键点矩阵的生成方式为，首先利用YOLO-v3目标检测算法处理图像并输出目标人员边界框，然后归一化边界框大小为100*150，并将其划分成100*150矩阵。其中，人体关键点共17个，分别为左耳、左眼、右眼、右耳、鼻、脖、左肩、右肩、左肘、右肘、左手腕、右手腕、腰部、左膝、右膝、左脚踝、右脚踝，上述部位在人体关键点矩阵中的值分别设定为1~17，其余部位的值设定为0，之后对数据去中心化、填充缺失值，构成人体关键点矩阵。

所述步骤1.6，包含以下步骤：

7.1在线运行改进的轻量级加速OpenPose，提取图像中人体关键点，形成关键点矩阵；

7.2将关键点矩阵输入至基于神经网络的二分类器，得到当前溺水情况P；

7.3计算P连续属于溺水情况下的高概率溺水时间t；

7.4将P和t输入至危险程度神经网络，得到危险程度概率f(P,t)；

7.5若危险程度概率大于阈值T，则报警，报警信息包括：溺水者的危险程度概率，已溺水时间。

所述步骤7.4中的危险程度神经网络，包括以下步骤：

8.1危险程度计算函数为f(P,t)，是通过全连接神经网络完成的，其中输入层节点数为2，输出层节点数为1，隐藏层为1层，隐藏层节点数为5，人工构造数据集，输入为溺水情况P和溺水持续时间，输出为危险程度；

8.2采用反向传播方法更新权值，误差计算方法为训练结果和真实结果的二范数，设定误差最低阈值和最大训练次数；

8.3重复步骤8.2，当训练误差小于等于设定的误差最低阈值或训练次数大于最大训练次数时，停止训练，保存神经网络的权重文件。

本发明的有益效果：

1.采用轻量级姿态识别算法，可有效降低硬件要求；

2.通过对高危水域进行动态监测，可降低溺水预警的人工成本；

3.采用人体姿态关键点识别算法监测溺水事件，可有效提高系统检出率和成果率。

附图说明

图1是一种基于机器视觉的溺水行为在线识别方法的流程图；

图2是原始的OpenPose卷积神经网络示意图；

图3 卷积神经网络改进方案示意图；

图4是改进后的加速卷积神经网络示意图；

图5是卷积神经网络和全连接神经网络分类器示意图；

图6是计算危险程度的神经网络示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步详细描述，需要指出的是，以下所述实施例旨在便于对本发明的理解，而对其不起任何限定作用。

本发明提供了一种基于机器视觉的溺水行为在线识别方法，该系统可利用现有监控系统或安装在水上机器人的相机，结合云服务器计算，利用加速的轻量级OpenPose识别图像中人体的姿态，通过卷积神经网络分类器来判断是否发生了溺水行为，从而发出警报以便救援人员及时感知所发生的溺水事件，及时拯救生命。

如图1所示，一种基于机器视觉的溺水行为在线识别方法，包括：图像采集模块、图像传输模块、关键点识别模块、权重训练模块、结果显示模块、报警模块。

采集模块利用高精度广角防水摄像头采集实时图像；传输模块将实时图像传输至云服务器；识别模块是云服务器端OpenPose处理实时图像获取关键点等信息；训练模块是训练溺水识别分类器；显示模块会标注图像骨架信息，显示溺水概率，框出高概率溺水人员；在报警模块中计算危险程度，若危险程度大于阈值则报警。该过程由图像采集模块、图像传输模块、关键点识别模块、权重训练模块、结果显示模块、报警模块分步完成，具体过程如下：

图像采集模块：使用高精度广角防水摄像头在水面上采集溺水事件高发的水域的实时图像，摄像头能根据环境光线的明暗程度自动调整光圈大小、自动对焦，获取亮度、清晰度较为合适的图像。对采集的数据进行简单的数据预处理：使用摄像头搭载的小型计算设备或服务器端设备对获取的图像数据进行图像预处理操作，包括灰度等级直方图处理、图像锐化、中值滤波、干扰抑制、图像压缩等；灰度等级直方图处理有利于增强图像的对比度，图像锐化有利于突出图像中的边界和线条，中值滤波和干扰抑制有利于去除图像中的噪声并减少干扰，图像压缩有利于减少占用空间从而易于传输和服务器端后续处理。

图像传输模块：实时预处理后的图像在4G/WiFi网络下经中继站传输至云服务器。4G/WiFi网络的选择取决于WiFi网络的状况，在WiFi网络状况良好的情况下首选WiFi网络，4G网络为备用网络，以节省系统运行成本。

关键点识别模块：云服务器端运行改进的轻量级OpenPose算法。将预处理的视频数据或图像数据输入至轻量级OpenPose算法中，对于每一张大小为w*h的图像，首先经过前馈网络提取特征并保留人体关键点的2D置信度图（用于识别人体关键点）和2D关键点亲和向量域（用于识别关键点之间的亲和程度）。之后通过贪婪算法解析置信度图和关键点亲和度，以输出图像中所有人的2D关键点，并连接。贪婪算法为一种在每一步选择中都采取在当前状态下最好或最优（即最有利）的选择，从而利用的结果是最好或最优的算法。OpenPose算法使用的是基于TensorFlow的改进轻量级神经网络，可以处理简单肢体特征，处理速度快，对硬件资源占用少，可用成本较低的CPU实现即时的识别效果，也方便数据集的制作。具体改进方法如图3所示，我们使用MobileNets思想，首先，使用深度可分离卷积神经网络来打破图2中输出通道数量和内核大小之间的相互作用。深度可分离卷积神经网络由两层组成：深度卷积和逐点卷积。 我们使用深度卷积为每个输入通道（输入深度）应用单个滤波器。 然后使用简单的1×1卷积的逐点卷积来创建深度层的输出的线性组合。另外，我们对两个卷积过程都使用批量规范化和ReLU非线性激活函数。改进后神经网络结果如图4所示。

权重训练模块：对关键点所对应的图像信息进行标注，制作数据集，通过关键点坐标和标注标签（溺水/非溺水）训练溺水识别的神经网络分类器。选取数据集，分为训练集和测试集，输入至训练网络，设定训练次数上限，设定卷积神经网络结构和全连接网络结构，调整优化参数，当训练Loss小于设定的预定值或训练次数大于设定值时，停止训练，保存神经网络的权重文件，以便之后导入使用。神经网络分类器的基本原理是：根据图像中某人的关键点与此人所占的二维坐标的矩形框中所在坐标的相对位置（坐标）信息，形成关键点矩阵，经过数据的去中心化、归一化、填充缺失值的预处理步骤后矩阵大小统一，作为有监督学习的训练集和测试集，输出为相应标签，从而进行卷积神经网络分类器的训练。训练主要依据为手臂关键点连接方向、手臂关键点数量。如图5所示，神经网络分类器的输入为关键点矩阵，数据结构类型为多维数组，经过三层卷积神经网络，后经过全连接层输出分类。其中，卷积神经网络卷积核大小为3*3，卷积层大小分别为3，12，48，步长均为1，设定输出矩阵大小不变，池化层卷积核大小为2*2，步长为2；全连接神经网络的输入为卷积神经网络的输出，对卷积神经网络输出矩阵进行向量化后作为输入层节点，经过三层全连接层神经网络（一层隐藏层）后获得溺水概率值。全连接神经网络是假设一个损失函数，并且在隐藏和输出层中的每个节点上使用sigmoid激活函数。权重更新方法使用梯度下降的增量规则。

结果显示模块：将从相机获取的图像进行预处理并输入自行搭建的轻量级OpenPose算法，获得关键点信息。将输出的关键点信息输入到溺水识别算法中，用训练的神经网络分类器作为模型，当神经网络分类器输出溺水概率较大且输出分类属于溺水范畴时，计算大概率下的溺水持续时间，并且启动双目相机对溺水者进行深度定位并保存溺水可疑人员三维坐标。双目相机水上定位是基于立体视觉中对两幅图像视差的计算，获取深度信息。

报警模块：计算危险程度，计算某人持续高概率(p)溺水时间(t)，计算危险程度f (p,t)。如图6所示，危险程度计算f(p, t)是通过简易的小型全连接神经网络，输入层节点数为2，输出层节点数为1，隐藏层为1层，隐藏层节点数为5，人工制作数据集，并经过简单训练，即可获得较好的输入输出对应关系，从而使得危险程度指标具有实际指导意义。报警信息输出，若危险程度大于阈值Th，则报警，报警信息包括：溺水者相对摄像头三维坐标，溺水者的危险程度，已溺水时间。报警信息将连续输出并修正报警信息。

以上所述的实施例对本发明进行了详细说明，应理解的是以上所述仅为本发明的具体实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于机器视觉的溺水行为在线识别方法，其特征在于，包含以下步骤：

1.1采集图像：使用高精度广角防水摄像头在水面上采集溺水事件高发水域的实时图像；

1.2预处理：使用摄像头搭载的信息处理单元对获取的图像数据进行图像预处理操作，使得图像对比度增强，并实现简单去噪、减少占用空间，从而易于图像数据传输和服务器端后续处理；

1.3图像传输：将预处理后的图像将通过无线网络传输至云服务器；

1.4离线训练OpenPose：云服务器基于轻量级加速OpenPose，离线训练适用于提取水中人体关键点的模型；

1.5离线训练分类器：提取的人体关键点后，再训练基于神经网络的二分类器，用于判断人员是否溺水；

1.6服务器在线监测：云服务器在线运行改进的轻量级加速OpenPose用于提取图像中人体关键点，并对关键点进行溺水判断、计算危险程度、输出报警信息。

2.根据权利要求1所述的一种基于机器视觉的溺水行为在线识别方法，其特征在于，所述步骤（4）中的离线训练适用于提取水中人体关键点的轻量级加速OpenPose，包括以下步骤：

2.1采集多个环境下的游泳人员的图像数据，形成训练数据集；

2.2.训练加速卷积神经网络，输入为数据集中的图像信息，输出为关键点坐标，采用反向传播方法更新权值，损失函数采用训练结果和真实结果的二范数；

2.3重复步骤2.2直至误差小于或等于一定阈值，或达到最大训练次数停止训练，最终保存权重文件。

3.根据权利要求2所述的一种基于机器视觉的溺水行为在线识别方法，其特征在于，

所述步骤2.2训练加速卷积神经网络方法为：使用深度可分离卷积神经网络来消除输出通道数量和内核大小之间的相互作用，深度可分离卷积神经网络由深度卷积和逐点卷积组成，深度卷积为每个输入通道应用单个滤波器；逐点卷积用来创建深度层输出的线性组合，此外，两个卷积过程均采用ReLU非线性激活函数且均进行批量规范化。

4.根据权利要求1所述的一种基于机器视觉的溺水行为在线识别方法，其特征在于，所述步骤（5）中的离线训练基于神经网络的二分类器，包括以下步骤：

4.1利用轻量级加速OpenPose对图像中溺水与非溺水人体关键点进行标注，构造数据集；

4.2将数据集分为训练集和测试集，输入为人体关键点矩阵，输出为是否溺水，采用反向传播方法更新权值，损失函数采用训练结果和真实结果的二范数；

4.3重复步骤4.2，当训练误差小于等于设定的阈值，或训练次数大于设定值时停止训练，保存模型权重文件。

5.根据权利要求4所述的一种基于机器视觉的溺水行为在线识别方法，其特征在于，所述基于神经网络的二分类器的结构为三层卷积神经网络和三层全连接层，其中，三层卷积神经网络卷积核大小为3*3，卷积层大小分别为3，12，48，步长均为1，输出矩阵大小恒为100*150，池化层卷积核大小为2*2，步长为2；对卷积神经网络输出矩阵进行向量化后作为全连接输入层节点，经过三层全连接层神经网络后获得溺水概率值，三层全连接层中每个节点采用sigmoid激活函数，利用梯度下降法更新权重。

6.根据权利要求4所述的一种基于机器视觉的溺水行为在线识别方法，其特征在于，所述步骤4.2中人体关键点矩阵的生成方式为，首先利用YOLO-v3目标检测算法处理图像并输出目标人员边界框，然后归一化边界框大小为100*150，并将其划分成100*150矩阵；

其中，人体关键点共17个，分别为左耳、左眼、右眼、右耳、鼻、脖、左肩、右肩、左肘、右肘、左手腕、右手腕、腰部、左膝、右膝、左脚踝、右脚踝，上述部位在人体关键点矩阵中的值分别设定为1~17，其余部位的值设定为0，之后对数据去中心化、填充缺失值，构成人体关键点矩阵。

7.根据权利要求1所述的一种基于机器视觉的溺水行为在线识别方法，其特征在于，所述步骤1.6，包含以下步骤：

7.1在线运行改进的轻量级加速OpenPose，提取图像中人体关键点，形成关键点矩阵；

7.2将关键点矩阵输入至基于神经网络的二分类器，得到当前溺水情况P；

7.3计算P连续属于溺水情况下的高概率溺水时间t；

7.4将P和t输入至危险程度神经网络，得到危险程度概率f(P,t)；

7.5若危险程度概率大于阈值T，则报警，报警信息包括：溺水者的危险程度概率，已溺水时间。

8.根据权利要求7所述的一种基于机器视觉的溺水行为在线识别方法，其特征在于，所述步骤7.4中的危险程度神经网络，包括以下步骤：

8.1危险程度计算函数为f(P,t)，是通过全连接神经网络完成的，其中输入层节点数为2，输出层节点数为1，隐藏层为1层，隐藏层节点数为5，人工构造数据集，输入为溺水情况P和溺水持续时间，输出为危险程度；

8.2采用反向传播方法更新权值，误差计算方法为训练结果和真实结果的二范数，设定误差最低阈值和最大训练次数；

8.3重复步骤8.2，当训练误差小于等于设定的误差最低阈值或训练次数大于最大训练次数时，停止训练，保存神经网络的权重文件。