CN106022230A - 一种基于视频的游泳池溺水事件检测方法 - Google Patents

Abstract

本发明公开了一种基于视频的游泳池溺水事件检测方法，利用安装在水面上方的摄像头实时采集游泳池的视频图像序列，主要包括游泳者检测、游泳者跟踪及溺水行为分析三个步骤。在游泳者检测方面，提出了一种改进的Vibe泳池游泳者检测算法，并利用该算法确定游泳者的位置；在游泳者跟踪方面，采用基于颜色分布模型的粒子滤波器结合最近邻数据关联算法来实现对多个游泳者的跟踪；在溺水行为分析方面，提出了三种溺水行为特征来判断游泳者是否溺水。本发明能够在现实公共游泳场所通过安装在水面上方的摄像头对游泳池进行实时监控，自动检测发现溺水者，具有很大的工程应用价值。

Description

一种基于视频的游泳池溺水事件检测方法

技术领域

本发明涉及视频监控及计算机视觉技术领域，尤其涉及一种基于视频的游泳池溺水事件检测方法。

背景技术

游泳是非常受欢迎的一种体育运动，它具有健美瘦身、增强抵抗力以及心肌功能等好处。但随之而来的溺水问题也不可忽视。在我国，随着游泳场馆逐渐增多，但是现有的救生人员的数量与实际需求相差很远。同时人的精力和注意力有限，在高强度工作情况下，很难实时保持警惕，从而对异常情况及时做出反应。此外，泳池环境的噪声、水面反光都会影响救生员的工作。很多溺水事件都发生在有专业的救生员监控的公共游泳场所，由于没有及时的发现溺水者，造成溺水死亡的发生。对于没有或缺乏救生员的游泳池，其危险性更是不言而喻的。因此，研究一套能够检测泳池溺水事件的系统是势在必行的。

国外早在二十世纪七十年代就开始进行溺水事件检测方面的研究。国外游泳池溺水事件检测系统主要以三种方式来实现：

1.游泳者随身配带的监测装置

此系统让游泳者配带类似于手表或头箍一类的监控装置，通过计算游泳者在水面下停留的时间以及游泳者的心跳频率等生理信息，来判断游泳者是否处于溺水。若发生溺水，报警系统就会发生警报，但这种系统的使用和维护所产生的费用高而且准确率低，同时也会给游泳者造成诸多不便，因此并没有得到广泛的应用。

2.采用声纳等监测实现

此系统在泳池底安装声纳发送接收装置，根据探测器检测障碍物是否存在，进而判断是否有溺水事件发生(一定时间内身体不动)。为了将声纳装置和其它设备连接，需要在游泳池底部安装同轴电缆，但是据相关安全规定，在接近泳池水的应用电压严禁超过12V或24V，但是声纳装置需要几百伏的电压，所以，这套装置的使用率不高。

3.基于视频的泳池溺水事件检测系统

目前，具有代表性的基于视频的泳池溺水事件检测系统是法国Vision IQ公司研发的Poseidon和南洋科技大学溺水报警系统小组研究出的DEWS(溺水报警系统)。Poseidon利用位于游泳池上方的摄像头和位于水底的网络系统同时实时对游泳者的活动进行监视，此装置的人工智能处理软件通过图像处理来判断游泳者的轨迹。如果游泳者在游泳池里开始下沉就会被加入软件的预警名单里。如果其在游泳池底部不动超过5秒，则被软件确认为溺水者，Poseidon一旦发现溺水者，就会向救生员发出警报信号，而且会在泳池边的屏幕上显示溺水者的位置，南洋科技大学溺水报警系统小组研究出的DEWS(溺水报警系统)，通过对每个游泳者提取其特征并且进行处理，判断游泳者是否处于溺水状态，如果为溺水，则触发警报。

我国对泳池救生系统的研究仍处于初步研究状态，现在投入使用的只是在游泳者身上安装便于监视的设备，所以在这方面的研究还具有很大的发展空间。

发明内容

本发明的目的是提供一种基于视频的游泳池溺水事件检测方法。

本发明采用如下技术方案：

一种基于视频的游泳池溺水事件检测方法，包括以下步骤：

(1)游泳者检测：对采样的游泳池视频帧逐个像素进行中值滤波得到一张含有少量前景的背景图像，并用此图像初始化Vibe的背景模型；在游泳者检测方面，根据游泳者目标的特点，对Vibe算法得到的二值图像进行特定处理，从而确定游泳者的位置；具体如下：

a.将一定时间间隔Δt的视频帧序列集合采用中值滤波的方法，获得一张含有较少前景的背景图像B：

B＝{z_i,j|i＝1,...N₁,j＝1,...,N₂}，所采集视频帧图像的大小为N₁×N₂；

式中

$X_{i,j}^{\mathrm{\τ}}=\left\{x_{i,j}^t\right|t=1,1+\mathrm{\Δ}t,...,1+(\mathrm{\τ}-1)\mathrm{\Δ}t\}$

其中为第t帧图像位于(i,j)的RGB颜色向量；

b.将背景图像B由RGB颜色空间转换到HSV颜色空间，采用Vibe背景建模的方法，利用背景图像B对其背景模型快速初始化；

c.将当前帧由RGB颜色空间转换到HSV颜色空间，对当前帧根据其背景模型对逐一像素进行分类，判断其属于前景还是背景，得到二值图像；如果为背景像素点，则更新该点的背景模型；

d.由于检测到的前景中仍含有非游泳者像素点，为了更好的对游泳者进行定位，将Vibe检测算法得到的二值图像，进行连通域分析和形态学后处理，得到新的二值图像；对新得到的二值图像，采用 Canny算子进行边缘检测，提取边缘信息，同时找到前景像素块即游泳者的外接矩形；分别计算每个外接矩形的面积R及其内包含的前景像素点的个数C；如果一个外接矩形的面积R大于设定的阈值Q且前景像素点个数C占该外接矩形面积的比值大于设定的阈值P，则确定为游泳者，保留该外接矩形的大小与位置信息，否则，舍弃；

(2)在游泳者跟踪方面，采用基于颜色分布模型的粒子滤波器结合最近邻数据关联算法来实现对多个游泳者的跟踪；

a.开始跟踪，根据前景检测的结果确定游泳者的位置，为每个游泳者建立其跟踪目标模型，并对其粒子进行初始化，将其加入跟踪记录；

b.在下一帧，对跟踪记录中的每一个游泳者利用其粒子滤波器对其进行估计，预测出该游泳者的位置；

c.对粒子滤波器的估计位置与当前帧检测到的观测位置建立关联矩阵，判断其是否相匹配；若估计位置没有匹配成功，则判断该目标暂时消失；若目标位于摄像头的边界区域，连续出现暂时消失帧数D＞T_d则判断该目标处于离开状态，将目标从跟踪记录中移除；若目标不位于摄像头的边界区域，连续出现暂时消失帧数D＞T_d，则判断该目标处于丢失状态，则保存游泳者在跟踪记录中最后一次记录的位置；若观测位置没有匹配成功，则判断为新出现的目标，为该游泳者建立跟踪目标模型，并对其粒子进行初始化，将其加入跟踪记录；若观测位置匹配成功，更新跟踪记录并更新该跟踪目标模型；

(3)在溺水行为分析方面，假设了三种溺水行为特征来判断游 泳者是否溺水，具体如下：

a.游泳者的速度；游泳者的速度可以用其外接矩形的中心在一定间隔n帧的位移来表示；其速度计算公式如下：

$v_c^t=\sqrt{{(x_c^t-x_c^{t-n})}^2+{(y_c^t-y_c^{t-n})}^2}$

其中，是游泳者c在第t帧的运动速度，是某t帧游泳者c的中心坐标，是t-n帧游泳者c轮廓的中心坐标；当游泳者c运动缓慢，T_v为设定的阈值，且超过一定的时间T_t，则判断该游泳者可能处于溺水状态；

b.饱和度S分量值；由于人体的肤色相对于游泳池背景S分量值较小，当人处于溺水状态，沉入水中即离水面的距离越来越远时，原人体肤色因受到池水的影响，S分量值也变大；因此，可以提取游泳者c区域饱和度的分量将其与该游泳者运动过程中饱和度的最小值 做比较，如果大于某一阈值T_s，则判断该游泳者可能处于溺水状态；

c.丢失；假设游泳者不处于摄像头的边界区域，如果该游泳者深入水底，针对本方法所采用的视频，本方法可能无法检测到该游泳者，若目标不位于摄像头的边界区域，连续出现暂时消失帧数D＞T_d，则判断该目标处于丢失状态，该游泳者可能处于溺水状态；

三种溺水特征的关系如下：

(i)如果某游泳者同时满足溺水特征一二，则判断该游泳者处于溺水状态；

(ii)如果某游泳者符合溺水特征三，则判断该游泳者处于溺水状 态。

本发明的有益效果为：

本发明通过安装在游泳池上方的摄像头对游泳池进行实时监控，实施成本低，而且具有极大的工程应用价值。

本发明能够通过摄像头实时检测溺水事件发生与否，能够及时拯救生命，减少溺水事件的发生。

附图说明

图1a为用于传统Vibe背景建模的初始帧；

图1b为某一视频帧；

图1c为利用传统的Vibe算法检测到的含有鬼影的前景目标；

图2为采用中值滤波获得的背景图像；

图3a为某一视频帧；

图3b为使用改进的Vibe算法检测到的二值化图像；

图3c为确定的游泳者的位置及大小；

图4为确定的游泳者的位置(白色)；

图5为游泳者在水面及水底的S分量图；

图6a为本申请所述的游泳者检测算法存在的缺陷之一；

图6b为本申请所述的游泳者检测算法存在的缺陷之二；

图6c为本申请所述的游泳者检测算法存在的缺陷之三；

图7为算法流程图。

具体实施方式

下面结合附图对本发明作进一步说明。

本发明通过安装在游泳池上方的摄像头对游泳池进行监控，视频的帧频50f/s(帧/秒)，视频图像大小为350×676。

本发明的目的是提供一种基于视频的游泳池溺水事件检测方法。

本发明采用如下技术方案：

一种基于视频的游泳池溺水事件检测方法，包括以下步骤：

(1)游泳者检测：对传统的Vibe算法在背景模型初始化和游泳者检测两方面进行改进，提出了一种基于改进Vibe的泳池游泳者检测算法。在背景模型初始化方面，针对Vibe算法使用第一帧进行背景建模易出现“鬼影”现象的不足，提出了一种结合中值滤波的改进Vibe背景模型初始化算法，对采样的视频帧逐个像素进行中值滤波得到一张含有少量前景的背景图像，并用此图像初始化Vibe的背景模型。如图1a为用于传统Vibe背景建模的初始帧，图1b为某一视频帧，图1c为利用传统的Vibe算法检测到的含有“鬼影”的前景目标。在游泳者检测方面，根据游泳者目标的特点，对Vibe算法得到的二值图像进行特定处理，从而确定游泳者的位置。具体如下：

a.将一定时间间隔Δt的视频帧序列集合采用中值滤波的方法，获得一张含有较少前景的背景图像B。

B＝{z_i,j|i＝1,...N₁,j＝1,...,N₂}，所采集视频帧图像的大小为N₁×N₂；

式中

$X_{i,j}^{\mathrm{\τ}}=\left\{x_{i,j}^t\right|t=1,1+\mathrm{\Δ}t,...,1+(\mathrm{\τ}-1)\mathrm{\Δ}t\}$

其中为第t帧图像位于(i,j)的RGB颜色向量；

实验采用间隔50帧的1000帧图像来进行中值滤波，得到的背景 图像B如图2所示。

b.将背景图像B由RGB颜色空间转换到HSV颜色空间，采用Vibe背景建模的方法，利用背景图像B对其背景模型快速初始化，即采用随机邻域填充的方式对每一个位置的像素点建立一个背景样本集，每一个位置的像素点其邻域设置为5×5，样本集中样本的个数采用经验值20，也就是每一个位置的像素点建立一个包含有20个样本的背景样本集。

c.将当前帧由RGB颜色空间转换到HSV颜色空间，计算当前帧的每个像素点的像素值与其对应的每个背景样本的欧氏距离，如果满足大于阈值N的样本个数大于#_min，则判断当前帧中该像素点是背景，同时根据Vibe更新策略即该像素点的像素值存在1/T的概率分别对该点的背景模型及其邻域点的背景模型进行更新，否则为前景。其中本实验中N取经验值20，#_min取1，更新周期T＝16。最后得到二值图像。

d.由于检测到的前景中仍含有非游泳者像素点，为了更好的对游泳者进行定位，将Vibe检测算法得到的二值图像，进行连通域分析和形态学后处理，得到的新的二值图像。对新得到的二值图像，采用Canny算子进行边缘检测，提取边缘信息，同时找到前景像素块的外接矩形。计算所有外接矩形的面积R及其内包含的前景像素点的个数C；如果外接矩形的面积R大于设定的阈值Q且前景像素点个数C占该轮廓面积R的比值大于设定的阈值P，则确定为游泳者，保留该矩形框的大小与位置信息，否则，舍弃。本实验中设置Q值为800，P 值为1/2即前景像素区域外接矩形面积需大于800且外接矩形内包含的前景像素点的个数需大于该矩形面积的一半。如图3a为某一视频帧，图3b为使用改进的Vibe算法检测到的二值化图像，图3c为确定的游泳者的位置及大小。

(2)在游泳者跟踪方面，采用基于颜色分布模型的粒子滤波器结合最近邻数据关联算法来实现对多个游泳者的跟踪。

a.开始跟踪，根据前景检测的结果确定游泳者的位置，为每个游泳者建立其跟踪目标模型，并对其粒子进行初始化，将其加入跟踪记录。本实验采用颜色分布概率密度函数来描述跟踪目标即对选中的目标区域分别进行离散统计，将每个颜色通道由8个分量表示，则颜色特征空间中特征值的数目为m＝8³，从而得到目标对应的HSV颜色直方图。本实验中每一个目标设置粒子数目为30，粒子初始权重均为1/30；

b.在下一帧，通过对每一个粒子滤波器进行重采样、传播、观测、估计，得到该游泳者的估计位置；

c.对粒子滤波器的估计位置与当前帧检测到的观测位置建立关联矩阵，判断其是否相匹配即将当前帧中检测到目标与已跟踪到的目标进行对应。关联矩阵记为Dis；以粒子滤波器估计位置和检测到游泳者的观测位置的距离为元素，行表示估计位置为{T₁,T₂,...,T_n}，n为已有的轨迹数量；列表示观测位置为{O₁,O₂,...,O_m}，m为检测到的游泳者的数量。

$Dis(i,j)=d(T_i,O_j)=\sqrt{{(T_{ix}-O_{jx})}^2\×{(T_{iy}-O_{jy})}^2}$

基于Dis矩阵建立判断矩阵A，A的大小为i×j，对其所有元素初始为0。对每一个观测目标O_j，寻找其距离最近的估计目标

$i^{*}=\underset{i}{\mathrm{argmin}}\left(Dis\right(i,j\left)\right),j=1,...,n$

若Dis(i^*,j)＜T_D，则A(i^*,j)＝1。本实验中T_D设置为20。

当目标数量发生变化(n≠m)，表明出现新目标或目标暂时消失，通过A矩阵进行判断，具体方法如下：

Step1：计算A阵每一列O_j的和

$c_j=\underset{i=1}{\overset{n}{\Σ}}A(i,j)$

(i)若c_j＝0,说明O_j没有与它相关联的轨迹，说明为新增目标，则令轨迹数量n＝n+1，同时将O_j对应的新轨迹T_n加入跟踪列表。

(ii)若c_j＝1，且对应A(i^*,j)＝1，则O_j和轨迹相关联，则计算两者的均值作为该目标在当前帧的位置，更新跟踪目标模型。

Step2：计算A阵每一行T_i的和

$r_i=\underset{j=1}{\overset{m}{\Σ}}A(i,j)$

若r_i＝0，说明轨迹T_i中断，则其对应的跟踪目标暂时消失。若目标位于摄像头的边界区域，连续出现暂时消失帧数D＞T_d，则判断该目标处于离开状态，将目标从跟踪记录中移除。若目标不位于摄像头的边界区域，连续出现暂时消失帧数D＞T_d，则判断该目标处于丢失状态，则保存该游泳者在跟踪记录中最后一次记录的位置；说明书附图4中将观测位置与估计位置的均值作为最终目标的位置用白色矩形框表示，白色矩形框连着的白色曲线是游泳者的运动轨迹。

(3)在溺水行为分析方面，假设了三种溺水行为特征来判断游泳者是否溺水。具体如下：

a.游泳者的速度。游泳者的速度可以用其外接矩形的中心在一定间隔n帧的位移来表示。其速度计算公式如下：

$v_c^t=\sqrt{{(x_c^t-x_c^{t-n})}^2+{(y_c^t-y_c^{t-n})}^2}$

其中，是游泳者c在第t帧的运动速度，是某t帧游泳者矩形框的中心坐标，是t-n帧游泳者轮廓的中心坐标。当某游泳者运动缓慢，T_v为设定的阈值，且超过一定的时间T_t，则判断该游泳者可能处于溺水状态。

b.饱和度S分量值。说明书附图5为游泳者在水面及沉入水底S分量图。从右图可以看出人体的肤色相对于游泳池背景S分量值较小，当人处于溺水状态，沉入水中即离水面的距离越来越远时，原人体肤色因受到池水的影响，饱和度也变大。因此，可以提取游泳者c区域饱和度的分量将其与该游泳者运动过程中饱和度的最小值做比较，如果大于某一阈值T_s，则判断该游泳者可能处于溺水状态。

c.丢失。假设游泳者不处于摄像头的边界区域，如果该游泳者深入水底，针对本方法所采用的视频，本方法的检测算法可能无法检测到该游泳者如图6a、6b、6c所示。若目标不位于摄像头的边界区域，连续出现暂时消失帧数D＞T_d，则判断该目标处于丢失状态，该游泳者可能处于溺水状态。

三种溺水特征的关系如下：

(i)如果某游泳者同时满足溺水特征一二则判断该游泳者处于溺 水状态。

(ii)如果某游泳者符合溺水特征三，则判断该游泳者处于溺水状态。

Claims (1)

1.一种基于视频的游泳池溺水事件检测方法，其特征是：包括以下步骤：

(1)游泳者检测：对采样的游泳池视频帧逐个像素进行中值滤波得到一张含有少量前景的背景图像，并用此图像初始化Vibe的背景模型；在游泳者检测方面，根据游泳者目标的特点，对Vibe算法得到的二值图像进行特定处理，从而确定游泳者的位置；具体如下：

a.将一定时间间隔Δt的视频帧序列集合采用中值滤波的方法，获得一张含有较少前景的背景图像B：

B＝{z_i,j|i＝1,...N₁,j＝1,...,N₂}，所采集视频帧图像的大小为N₁×N₂；

式中

$X_{i,j}^{\mathrm{\τ}}=\left\{x_{i,j}^t\right|t=1,1+\mathrm{\Δ}t,...,1+(\mathrm{\τ}-1)\mathrm{\Δ}t\}$

其中为第t帧图像位于(i,j)的RGB颜色向量；

b.将背景图像B由RGB颜色空间转换到HSV颜色空间，采用Vibe背景建模的方法，利用背景图像B对其背景模型快速初始化；

c.将当前帧由RGB颜色空间转换到HSV颜色空间，对当前帧根据其背景模型对逐一像素进行分类，判断其属于前景还是背景，得到二值图像；如果为背景像素点，则更新该点的背景模型；

d.由于检测到的前景中仍含有非游泳者像素点，为了更好的对游泳者进行定位，将Vibe检测算法得到的二值图像，进行连通域分析和形态学后处理，得到新的二值图像；对新得到的二值图像，采用Canny算子进行边缘检测，提取边缘信息，同时找到前景像素块即游泳者的外接矩形；分别计算每个外接矩形的面积R及其内包含的前景像素点的个数C；如果一个外接矩形的面积R大于设定的阈值Q且前景像素点个数C占该外接矩形面积的比值大于设定的阈值P，则确定为游泳者，保留该外接矩形的大小与位置信息，否则，舍弃；

(2)在游泳者跟踪方面，采用基于颜色分布模型的粒子滤波器结合最近邻数据关联算法来实现对多个游泳者的跟踪；

a.开始跟踪，根据前景检测的结果确定游泳者的位置，为每个游泳者建立其跟踪目标模型，并对其粒子进行初始化，将其加入跟踪记录；

b.在下一帧，对跟踪记录中的每一个游泳者利用其粒子滤波器对其进行估计，预测出该游泳者的位置；

c.对粒子滤波器的估计位置与当前帧检测到的观测位置建立关联矩阵，判断其是否相匹配；若估计位置没有匹配成功，则判断该目标暂时消失；若目标位于摄像头的边界区域，连续出现暂时消失帧数D＞T_d则判断该目标处于离开状态，将目标从跟踪记录中移除；若目标不位于摄像头的边界区域，连续出现暂时消失帧数D＞T_d，则判断该目标处于丢失状态，则保存游泳者在跟踪记录中最后一次记录的位置；若观测位置没有匹配成功，则判断为新出现的目标，为该游泳者建立跟踪目标模型，并对其粒子进行初始化，将其加入跟踪记录；若观测位置匹配成功，更新跟踪记录并更新该跟踪目标模型；

(3)在溺水行为分析方面，假设了三种溺水行为特征来判断游泳者是否溺水，具体如下：

a.游泳者的速度；游泳者的速度可以用其外接矩形的中心在一定间隔n帧的位移来表示；其速度计算公式如下：

$v_c^t=\sqrt{{(x_c^t-x_c^{t-n})}^2+{(y_c^t-y_c^{t-n})}^2}$

其中，是游泳者c在第t帧的运动速度，是某t帧游泳者c的中心坐标，是t-n帧游泳者c轮廓的中心坐标；当游泳者c运动缓慢，T_v为设定的阈值，且超过一定的时间T_t，则判断该游泳者可能处于溺水状态；

b.饱和度S分量值；由于人体的肤色相对于游泳池背景S分量值较小，当人处于溺水状态，沉入水中即离水面的距离越来越远时，原人体肤色因受到池水的影响，S分量值也变大；因此，可以提取游泳者c区域饱和度的分量将其与该游泳者运动过程中饱和度的最小值做比较，如果大于某一阈值T_s，则判断该游泳者可能处于溺水状态；

c.丢失；假设游泳者不处于摄像头的边界区域，如果该游泳者深入水底，针对本方法所采用的视频，本方法可能无法检测到该游泳者，若目标不位于摄像头的边界区域，连续出现暂时消失帧数D＞T_d，则判断该目标处于丢失状态，该游泳者可能处于溺水状态；

三种溺水特征的关系如下：

(i)如果某游泳者同时满足溺水特征一二，则判断该游泳者处于溺水状态；

(ii)如果某游泳者符合溺水特征三，则判断该游泳者处于溺水状态。