CN114219833B - 一种水上水下计算机视觉综合溺水判断系统 - Google Patents

一种水上水下计算机视觉综合溺水判断系统 Download PDF

Info

Publication number
CN114219833B
CN114219833B CN202111478987.4A CN202111478987A CN114219833B CN 114219833 B CN114219833 B CN 114219833B CN 202111478987 A CN202111478987 A CN 202111478987A CN 114219833 B CN114219833 B CN 114219833B
Authority
CN
China
Prior art keywords
image
water
abnormal
drowning
underwater
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111478987.4A
Other languages
English (en)
Other versions
CN114219833A (zh
Inventor
唐秋艳
孙刚
任宇
唐子人
孙华飞
刘晓然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hanlang Technology Beijing Co ltd
Capital University of Physical Education and Sports
Original Assignee
Hanlang Technology Beijing Co ltd
Capital University of Physical Education and Sports
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hanlang Technology Beijing Co ltd, Capital University of Physical Education and Sports filed Critical Hanlang Technology Beijing Co ltd
Priority to CN202111478987.4A priority Critical patent/CN114219833B/zh
Publication of CN114219833A publication Critical patent/CN114219833A/zh
Application granted granted Critical
Publication of CN114219833B publication Critical patent/CN114219833B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种水上水下计算机视觉综合溺水判断系统，所述判断系统包括分布在泳池周围用于拍摄泳池水上图像的多个水上摄像机、分布在泳池内用于拍摄泳池水下图像的多个水下摄像机，以及采用视觉算法对泳池水下图像和泳池水下图像进行综合处理以识别溺水目标的溺水判别装置；所述溺水判别装置包括预处理单元、位置计算单元、图像分割单元、序列化单元、异常筛选单元、图像再处理单元和溺水识别单元。本发明能够结合游泳者的动作序列和移动轨迹筛选出所有的游泳异常状态，再综合水波纹特征和动作特征，实现更高精度的溺水判断，有效减轻工作人员的监察负担。

Description

一种水上水下计算机视觉综合溺水判断系统
技术领域
本发明涉及计算机视觉技术领域，具体而言涉及一种水上水下计算机视觉综合溺水判断系统。
背景技术
随着信息化、网络化的快速发展，视频监控系统逐渐应用在泳池领域，辅助工作人员对泳池内的游泳者的安全进行实时监控。专利号为CN112489371A的发明中公开了一种基于计算机视觉的泳池防溺水预警系统，采用在游泳池周围放置摄像头，通过计算机视觉分析人的位置和关节点判断是否溺水。但是游泳池在水面静止状态下水下清晰度较好，摄像头可以拍摄到水下和水上的画面，但当有人开始游泳，水面存在较多波浪时，只依靠水上的摄像头将无法提供完整清晰的人体图像提供溺水检测。
因此，有部分技术人员提出了同时在水上和水下安装摄像头。例如，专利号为CN102693606A的发明中公开了一种基于摄像网络的泳池防溺水预警方法及系统，在泳池水面上方安装固定水上摄像头，在泳池水面下安装可旋转的水下摄像头，多角度对泳池进行预警覆盖。专利号为CN110210323A的发明中公开了一种基于机器视觉的溺水行为在线识别方法，基于轻量级加速OpenPose，离线训练适用于提取水中人体关键点的模型；离线训练分类器：提取的人体关键点后，再训练基于神经网络的二分类器，用于判断人员是否溺水。专利号为CN113158962A的发明中公开了一种基于YOLOv4的泳池溺水检测方法，通过对YOLOv4检测模型加入泳池判定线进一步约束检测目标类别，提高检测精度。也有部分专利考虑到游泳动作的连续性，提出了对视频图像序列进行处理的策略，例如专利号为CN111547209A的发明中公开了一种防溺水安全保障方法、装置和系统，所述方法包括：实时采集人体生命参数数据、现场视频图像序列；实时处理生命参数数据和现场视频图像序列；判断人体是否处于溺水紧急情况。
然而，目前的技术方案都是集中在对人体关节点或者关节点序列进行处理，通过判断人体是否超出某警戒线或者人体动作序列是否明显对应溺水动作，比如持续一段时间的异常动作等等，识别得到溺水信息。对于前者，在人体没有超出警戒线时很难识别到溺水动作，甚至会出现漏判；对于后者，异常动作未必是由溺水带来，只是针对人体动作进行判断，很容易造成误判。这都导致目前的溺水判断方法只能起到简单的辅助作用，难以普及。因此，目前需要提出一种新的溺水判断系统，能够实现更高精度的溺水判断。
发明内容
本发明针对现有技术中的不足，提供一种水上水下计算机视觉综合溺水判断系统，首先结合游泳者的动作序列和移动轨迹筛选出所有的游泳异常状态，再综合水波纹特征和动作特征，实现更高精度的溺水判断，有效减轻工作人员的监察负担。
为实现上述目的，本发明采用以下技术方案：
一种水上水下计算机视觉综合溺水判断系统，所述判断系统包括分布在泳池周围用于拍摄泳池水上图像的多个水上摄像机、分布在泳池内用于拍摄泳池水下图像的多个水下摄像机，以及采用视觉算法对泳池水下图像和泳池水下图像进行综合处理以识别溺水目标的溺水判别装置；
所述溺水判别装置包括预处理单元、位置计算单元、图像分割单元、序列化单元、异常筛选单元、图像再处理单元和溺水识别单元；
所述预处理单元用于对一段时间内拍摄的泳池水上图像U(T)和泳池水下图像D(T)进行增强处理，并通过目标检测算法输出每个游泳者的目标人员边界框；所述位置计算单元用于结合各个水上摄像机和水下摄像机的位置信息，计算得到泳池水上图像和泳池水下图像中每个目标人员边界框的中心位置坐标(xi(t)，yi(t)，zi(t))，xi(t)，yi(t)，zi(t)分别是直角坐标系下第i个游泳者在x轴、y轴和z轴上的坐标值；所述图像分割单元用于按照人员对泳池水上图像U(T)和泳池水下图像D(T)进行分割，得到每个游泳者的人员水上图像Ui(T)和人员水下图像Di(T)；其中，游泳者集合Θ＝{1，2，...，i，...，I}，I是游泳者数量，i是游泳者编号；
所述序列化单元接收分割后的图像，将每个游泳者对应的人员水上图像和人员水下图像按照拍摄时间顺序排列，并构成对应关系，生成待处理图像序列{(Ui(t1)，Di(t1))，(Ui(t2)，Di(t2))，...，(Ui(tk)，Di(tk))，...，(Ui(tK)，Di(tK))}，k＝1，2，...，K，K是图像序列数量；
所述异常筛选单元包括关节点检测模块、动作序列生成模块、轨迹生成模块和异常识别模块；所述关节点检测模块用于对导入的每个游泳者的水上序列图像和水下序列图像进行处理，获取得到每个游泳者的人头和身体各关节点的序列信息{Xi(tk)}；所述动作序列生成模块用于根据获取到的每个游泳者的人头和身体各关节点的序列信息{Xi(tk)}生成相应的动作序列{Ai(tk)}；所述轨迹生成模块用于根据每个游泳者的位置坐标序列，生成相应的运动轨迹{Gi(tk)}；所述异常识别模块用于结合每个游泳者的动作序列和运动轨迹，筛选出异常人员集合Y，Y∈I；
所述图像再处理单元用于对异常人员j所在区域的泳池水上图像集合{Uj(tk)}进行处理，提取以异常人员j为中心的水波纹图像序列集合{Wj(tk)}；
所述溺水识别单元同时对异常人员j的人头和身体各关节点的序列信息{Xi(tk)}以及波纹图像序列集合{Wj(tk)}进行特征提取，得到异常人员j的动作特征值序列φj(T)和由异常人员j的动作造成的异常水波纹特征值序列ξj(T)，融合动作特征值序列φj(T)和异常水波纹特征值序列ξj(T)，根据融合结果对溺水动作进行识别。
为优化上述技术方案，采取的具体措施还包括：
进一步地，所述图像分割单元包括水上坐标获取模块、水下坐标获取模块、坐标匹配模块和分割模块；
所述水上坐标获取模块调用位置计算单元对泳池水上图像进行处理，计算得到泳池水上图像中每个游泳者的水上位置坐标(xαu(t)，yαu(t))；
所述水下坐标获取模块调用位置计算单元对泳池水下图像进行处理，计算得到泳池水下图像中每个游泳者的水下位置坐标(xβu(t)，yβu(t)，zβu(t))；
所述坐标匹配模块将重合度小于预设重合度阈值的水上位置坐标(xαu(t)，yαu(t))和水下位置坐标(xβu(t)，yβu(t))视为同一个坐标位置，得到该位置的游泳者的坐标信息(xiu(t)，yiu(t)，ziu(t))；其中，(xiu(t)，yiu(t))＝f1[(xαu(t)，yαu(t))，(xβu(t)，yβu(t))]，ziu(t)＝zβu(t)；
所述分割模块根据游泳者的坐标信息对泳池水上图像和泳池水下图像进行分割，得到每个人员的人员水上图像Ui(T)和人员水下图像Di(T)。
进一步地，所述预设重合度阈值为0.5m。
进一步地，所述溺水判别装置还包括推送单元和警报单元；
所述推送单元将识别到的溺水动作对应的人员坐标信息标注在相应的泳池水上图像U(tK)和泳池水下图像D(tK)上，将标注后的泳池水上图像U*(tK)和泳池水下图像D*(tK)推送至指定客户端进行显示；所述警报单元根据溺水识别单元的识别结果生成警报信号。
进一步地，所述关节点检测模块基于YOLO V5网络构建，采用一定量标注有人头和关节点信息的人员水上图像和人员水下图像构成的训练集训练得到；
所述动作序列生成模块采用openpose算法对识别到的每个人员的人头和身体各关节点的序列信息{Xi(tk)}进行处理，生成相应的动作序列{Ai(tk)}。
进一步地，所述异常识别模块将动作序列{Ai(tk)}与运动轨迹{Gi(tk)}进行匹配，根据匹配结果对游泳者的姿态类型进行识别，将姿态类型属于正常泳姿的人员从游泳人员中剔除，获得异常人员集合Y。
进一步地，所述溺水识别单元包括水波纹特征提取模块、动作特征提取模块和溺水识别模块；所述水波纹特征提取模块将水波纹图像{Wj(tk)}划分成外圈图像{WjF(tk)}和内圈图像{WjN(tk)}，再结合外圈图像{WjF(tk)}和内圈图像{WjN(tk))获取得到由异常人员j的动作造成的异常水波纹特征值ξj(T)，j∈Y；所述动作特征提取模块用于根据关节点序列信息{Xj(tk)}和异常水波纹特征值ξj(T)，获取异常人员j的动作特征值φj(T)，所述溺水识别模块用于结合异常水波纹特征值ξj(T)对异常人员j的动作特征值φj(T)进行分类，对溺水动作进行识别。
进一步地，所述水波纹图像{Wj(tk)}是指以异常人员j为中心，半径为Rj的范围内的水面波纹图像；所述内圈图像{WjN(tk)}是指以异常人员j为中心，半径为rj的范围内的水面波纹图像；WjN(tk)＝Wj(tk)-WjF(tk)；其中：
Figure GDA0004064269090000041
Figure GDA0004064269090000042
式中，dj，min是异常人员j与最近的其他游泳者之间的距离，d0是最大允许距离，d1是最小允许距离；rmax是最大内圈半径，rmin是最小内圈半径；Γ(·)是内圈半径计算函数，与dj，min相关；Rmax是最大波纹半径。
进一步地，当rj＞rmin时，水波纹特征提取模块分别提取出外圈图像{WjF(tk)}和内圈图像{WjN(tk)}的水波纹特征值ξjF(T)和ξjN(T)，根据下述公式计算得到由异常人员j的动作造成的水波纹特征值ξj(T)＝ξjN(T)-ξjF(T)；
当rj＝rmin时，水波纹特征提取模块选取与异常人员j最接近且其内圈半径rm大于rmin的游泳者m的外圈图像{WmF(tk)}的水波纹特征值ξmF(T)，根据下述公式计算得到由异常人员j的动作造成的水波纹特征值ξj(T)＝ξjN(T)-ξmF(T)。
进一步地，所述溺水识别单元包括图像融合模块和异常动作识别模块；
所述图像融合模块将异常人员的水下图像和包含水面波纹的水上图像拼接成新的待识别图像；
所述异常动作识别模块基于yolo v5网络构建，采用一定量的标注有异常类型的拼接图像样本训练得到；拼接图像样本针对室内泳池设置，同时包含异常人员身体动作的水下图像和包含异常人员动作导致的水面波纹的水上图像；
所述异常动作识别模块包括依次连接的5个卷积层、第一融合层、第二融合层和分类器；所述5个卷积层依次对待识别图像进行特征提取；第一融合层的两个输入端分别与第三个卷积层和第四个卷积层的输出端连接，从第3个卷积层和第4个卷积层提取得到异常人员动作特征信息进行融合，得到异常动作特征信息；第二融合层的两个输入端分别与第5个卷积层的输出端和第一融合层的输出端连接，将从第5个卷积层中提取得到待识别图像中包含的水波纹特征信息与异常动作特征信息进行融合；分类器的输入端与第二融合层的输出端连接，根据第二融合层输出的融合结果对异常动作进行分类，识别其中包含的溺水动作。
本发明的有益效果是：
第一，结合游泳者的动作序列和移动轨迹筛选出所有异常状态的游泳者，一方面，减少后续溺水判断工作量，另一方面，可以同步对其他异常状态游泳者进行重点监控。
第二，对于所有异常状态的游泳者，综合水波纹特征和动作特征，实现更高精度的溺水判断，有效减轻工作人员的监察负担。
第三，针对不同泳池，提出了两种综合水波纹特征和动作特征的溺水判断方法，适用性更广。
附图说明
图1是本发明的水上水下计算机视觉综合溺水判断系统的结构示意图。
图2是本发明的异常筛选单元的优选例示意图。
图3是本发明的溺水识别单元的优选例示意图。
具体实施方式
现在结合附图对本发明作进一步详细的说明。
需要注意的是，发明中所引用的如“上”、“下”、“左”、“右”、“前”、“后”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。
图1是本发明实施例的水上水下计算机视觉综合溺水判断系统的结构示意图。参见图1，该判断系统包括分布在泳池周围用于拍摄泳池水上图像的多个水上摄像机、分布在泳池内用于拍摄泳池水下图像的多个水下摄像机，以及采用视觉算法对泳池水下图像和泳池水下图像进行综合处理以识别溺水目标的溺水判别装置。
溺水判别装置包括预处理单元、位置计算单元、图像分割单元、序列化单元、异常筛选单元、图像再处理单元和溺水识别单元。
下面结合附图对本实施例的溺水判别装置的各个模块的优选例进行说明。
(一)预处理单元
预处理单元用于对一段时间内拍摄的泳池水上图像U(T)和泳池水下图像D(T)进行增强处理，并通过目标检测算法输出每个游泳者的目标人员边界框。T是拍摄时序集合，T＝{t1，t2，...，tk，...，tK}。
示例性地，预处理单元可以内置yolo v3等轻量级目标检测网络，目的只是检测出图像中是否存在游泳者，若存在，框选出游泳者，无需对图像做进一步的处理。
(二)位置计算单元
位置计算单元用于结合各个水上摄像机和水下摄像机的位置信息，通过坐标转换的方式，计算得到泳池水上图像或者泳池水下图像中每个目标人员边界框的中心位置坐标(xi(t)，yi(t)，zi(t))，xi(t)，yi(t)，zi(t)分别是直角坐标系下第i个游泳者在x轴、y轴和z轴上的坐标值。
(二)图像分割单元
图像分割单元用于按照人员对泳池水上图像U(T)和泳池水下图像D(T)进行分割，得到每个游泳者的人员水上图像Ui(T)和人员水下图像Di(T)；其中，游泳者集合Θ＝{1，2，...，i，...，I}，I是游泳者数量，i是游泳者编号。
具体的，图像分割单元包括水上坐标获取模块、水下坐标获取模块、坐标匹配模块和分割模块。
水上坐标获取模块调用位置计算单元对泳池水上图像进行处理，计算得到泳池水上图像中每个游泳者的水上位置坐标(xαu(t)，yαu(t))。水下坐标获取模块调用位置计算单元对泳池水下图像进行处理，计算得到泳池水下图像中每个游泳者的水下位置坐标(xβu(t)，yβu(t)，zβu(t))。坐标匹配模块将重合度小于预设重合度阈值(如0.5m等)的水上位置坐标(xαu(t)，yαu(t))和水下位置坐标(xβu(t)，yβu(t))视为同一个坐标位置，得到该位置的游泳者的坐标信息(xiu(t)，yiu(t)，ziu(t))；其中，(xiu(t)，yiu(t))＝f1[(xαu(t)，yαu(t))，(xβu(t)，yβu(t))]，ziu(t)＝zβu(t)。
在建立泳池水上图像和泳池水下图像中每个人员对应关系的基础上，分割模块根据游泳者的坐标信息对泳池水上图像和泳池水下图像进行分割，得到每个人员的人员水上图像Ui(T)和人员水下图像Di(T)。
(四)序列化单元
序列化单元接收分割后的图像，将每个游泳者对应的人员水上图像和人员水下图像按照拍摄时间顺序排列，并构成对应关系，生成待处理图像序列{(Ui(t1)，Di(t1))，(Ui(t2)，Di(t2))，...，(Ui(tk)，Di(tk))，...，(Ui(tK)，Di(tK))}，k＝1，2，...，K，K是图像序列数量。
(五)异常筛选单元
异常筛选单元包括关节点检测模块、动作序列生成模块、轨迹生成模块和异常识别模块；所述关节点检测模块用于对导入的每个游泳者的水上序列图像和水下序列图像进行处理，获取得到每个游泳者的人头和身体各关节点的序列信息{Xi(tk)}；所述动作序列生成模块用于根据获取到的每个游泳者的人头和身体各关节点的序列信息{Xi(tk)}生成相应的动作序列{Ai(tk)}；所述轨迹生成模块用于根据每个游泳者的位置坐标序列{xiu(tk)，yiu(ktk)，ziu(tk)}，生成相应的运动轨迹{Gi(tk)}；所述异常识别模块用于结合每个游泳者的动作序列和运动轨迹，筛选出异常人员集合Y，Y∈I。
示例性地，关节点检测模块基于YOLO V5网络构建，采用一定量标注有人头和关节点信息的人员水上图像和人员水下图像构成的训练集训练得到。动作序列生成模块采用openpose算法对识别到的每个人员的人头和身体各关节点的序列信息{Xi(tk)}进行处理，生成相应的动作序列{Ai(tk)}。在本实施例中，由于采用了分别从水上和水下两个角度对游泳者进行同步拍摄，因此可以综合同一时刻水上和水下两部分关节点的信息，对游泳者的游泳动作进行识别。
异常识别模块将动作序列{Ai(tk)}与运动轨迹{Gi(tk)}进行匹配，根据匹配结果对游泳者的姿态类型进行识别，将姿态类型属于正常泳姿的人员从游泳人员中剔除，获得异常人员集合Y。异常识别模块可以剔除泳池中大部分正常游泳的游泳者，减小溺水判断步骤的工作量，同时还能有效提高溺水判断准确度。正常泳姿包括蛙泳、蝶泳、仰泳、自由泳和踩水等，可以根据泳池的实际情况做调整。异常识别模块的工作原理是基于动作序列决定运动轨迹这一客观规律，例如，当游泳者连续几个时序都是有规律的蛙泳姿势，且朝向固定，那么其运动轨迹必然是一条有明显长度的直线；当该游泳者泳姿不变，但是身体呈现转向趋势时，运动轨迹就会变成弧线。对于容易和溺水混淆的原地踩水或者小范围踩水的游泳者，其动作序列所对应的踩水动作应当是有规律的，即使中间出现部分不规律的情况，甚至出现了潜水或者半潜水动作，只要能与其运动轨迹相适配，仍然可以判定该游泳者具有掌控自己身体的能力。也就是说，异常识别模块最终是通过游泳者的行为序列和运动轨迹是否属于常见泳姿，剔除掉那些明显具备掌控自己身体能力的游泳者，筛选出包括溺水人员在内的对自己身体掌控能力不足的异常人员(例如容易发生溺水意外的新手游泳者等)。
在一些特殊情况下，有部分溺水人员会因为气管呛水等原因，虽然维持在原地，但实际上已经陷入险地，对于这类人员，异常识别模块也会因为其动作与常见踩水动作不相匹配而判定其动作序列与行为轨迹不符，将该游泳者定义为异常人员。
(六)图像再处理单元
图像再处理单元用于对异常人员j所在区域的泳池水上图像集合{Uj(tk)}进行处理，提取以异常人员j为中心的水波纹图像序列集合{Wj(tk)}。
示例性地，水波纹图像{Wj(tk)}是指以异常人员j为中心，半径为Rj的范围内的水面波纹图像；所述内圈图像{WjN(tk)}是指以异常人员j为中心，半径为rj的范围内的水面波纹图像；WjN(tk)＝Wj(tk)-WjF(tk)；其中：
Figure GDA0004064269090000071
Figure GDA0004064269090000072
式中，dj，min是异常人员j与最近的其他游泳者之间的距离，d0是最大允许距离，d1是最小允许距离；rmax是最大内圈半径，rmin是最小内圈半径；Γ(·)是内圈半径计算函数，与dj，min相关；Rmax是最大波纹半径。
具体的，当rj＞rmin时，水波纹特征提取模块分别提取出外圈图像{WjF(tk)}和内圈图像{WjN(tk)}的水波纹特征值ξjF(T)和ξjN(T)，根据下述公式计算得到由异常人员j的动作造成的水波纹特征值ξj(T)＝ξjN(T)-ξjF(T)；当rj＝rmin时，水波纹特征提取模块选取与异常人员j最接近且其内圈半径rm大于rmin的游泳者m的外圈图像{WmF(tk)}的水波纹特征值ξmF(T)，根据下述公式计算得到由异常人员j的动作造成的异常水波纹特征值ξj(T)＝ξjN(T)-ξmF(T)。
对于室内泳池，由于有多个游泳者在其中游动，即使当前待分析的异常人员维持不动，也会在其周围形成水波纹，而异常人员的挣扎会使得水波纹发生变化，因此，可以通过对比异常人员周围的水波纹和稍远处干扰相对较少处的水波纹，得到因异常人员的挣扎动作或者非常规的游泳动作导致的水波纹差值特征。
(七)溺水识别单元
溺水识别单元同时对异常人员j的人头和身体各关节点的序列信息{Xi(tk)}以及波纹图像序列集合{Wj(tk)}进行特征提取，得到异常人员j的动作特征值序列φj(T)和由异常人员j的动作造成的异常水波纹特征值序列ξj(T)，融合动作特征值序列φj(T)和异常水波纹特征值序列ξj(T)，根据融合结果对溺水动作进行识别。
溺水识别单元包括水波纹特征提取模块、动作特征提取模块和溺水识别模块；所述水波纹特征提取模块将水波纹图像{Wj(tk)}划分成外圈图像{WjF(tk)}和内圈图像{WjN(tk)}，再结合外圈图像{WjF(tk)}和内圈图像{WjN(tk)}获取得到由异常人员j的动作造成的异常水波纹特征值ξj(T)，j∈Y；所述动作特征提取模块用于根据关节点序列信息{Xj(tk)}和异常水波纹特征值ξj(T)，获取异常人员j的动作特征值φj(T)，所述溺水识别模块用于结合异常水波纹特征值ξj(T)对异常人员j的动作特征值φj(T)进行分类，对溺水动作进行识别。
溺水识别模块基于神经网络构建得到，通过对大量溺水人员和有溺水风险的异常人员的图像序列进行处理，以生成一定量的包含关节点序列信息{Xj(tk)}和水波纹特征值ξj(T)的样本图像，利用生成的样本图像对神经网络进行训练得到。
由于已经剔除掉所有的正常泳姿，因此，溺水识别单元可以根据动作特征值序列φj(T)和水波纹特征值序列ξj(T)，根据融合结果对多种类型的溺水动作进行识别。例如，对于带有挣扎动作的异常人员，动作序列和水波纹均呈现不规律的特性，对于已溺水人员和对自己身体失去部分控制的新手游泳者，其头部还有可能在水面上下频繁浮动。对于挣扎动作不明显的异常人员，一旦发现其对应的水波纹特征值可忽略，则立刻将关节点序列信息{Xj(tk)}与相关的溺水动作进行匹配，从而实现对该类溺水动作的识别。
而如果当前泳池为室外泳池，水波纹的影响因素既包括游泳者也包括户外环境，如风向风力等，但是仍然可以通过前述方法得到只与游泳者动作相关的水波纹特征值。
作为其中的一种优选例，对于水波纹较为规律的泳池，本实施例还提出了一种新的溺水识别方法。
具体的，溺水识别单元包括图像融合模块和异常动作识别模块；所述图像融合模块将异常人员的水下图像和包含水面波纹的水上图像拼接成新的待识别图像；所述异常动作识别模块基于yolo v5网络构建，采用一定量的标注有异常类型的拼接图像样本训练得到；拼接图像样本针对室内泳池设置，同时包含异常人员身体动作的水下图像和包含异常人员动作导致的水面波纹的水上图像；所述异常动作识别模块包括依次连接的5个卷积层、第一融合层、第二融合层和分类器；所述5个卷积层依次对待识别图像进行特征提取；第一融合层的两个输入端分别与第三个卷积层和第四个卷积层的输出端连接，从第3个卷积层和第4个卷积层提取得到异常人员动作特征信息进行融合，得到异常动作特征信息；第二融合层的两个输入端分别与第5个卷积层的输出端和第一融合层的输出端连接，将从第5个卷积层中提取得到待识别图像中包含的水波纹特征信息与异常动作特征信息进行融合；分类器的输入端与第二融合层的输出端连接，根据第二融合层输出的融合结果对异常动作进行分类，识别其中包含的溺水动作。
对于水波纹较为规律的泳池，可以通过拼接水上图像和水下图像，生成大量拼接图像样本集，对基于yolo v5网络构建的异常动作识别模块进行训练，从整体上对新导入的异常人员的拼接图像进行识别判断。随着卷积层的深入，深层特征的细节信息越多，而浅层特征的轮廓信息越多，因此，我们提出，从第3个卷积层和第4个卷积层提取得到异常人员动作特征信息进行融合，得到异常动作特征信息，再从第5个卷积层中提取得到待识别图像中包含的水波纹特征信息，通过两次融合过程实现对有效信息的强化处理，从而使最终融合形成的多维特征更有利于对溺水动作进行识别。
(八)推送单元和警报单元
所述溺水判别装置还包括推送单元和警报单元；
所述推送单元将识别到的溺水动作对应的人员坐标信息标注在相应的泳池水上图像U(tK)和泳池水下图像D(tK)上，将标注后的泳池水上图像U*(tK)和泳池水下图像D*(tK)推送至指定客户端进行显示；所述警报单元根据溺水识别单元的识别结果生成警报信号。
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (10)

1.一种水上水下计算机视觉综合溺水判断系统，其特征在于，所述判断系统包括分布在泳池周围用于拍摄泳池水上图像的多个水上摄像机、分布在泳池内用于拍摄泳池水下图像的多个水下摄像机，以及采用视觉算法对泳池水下图像和泳池水下图像进行综合处理以识别溺水目标的溺水判别装置；
所述溺水判别装置包括预处理单元、位置计算单元、图像分割单元、序列化单元、异常筛选单元、图像再处理单元和溺水识别单元；
所述预处理单元用于对一段时间内拍摄的泳池水上图像U(T)和泳池水下图像D(T)进行增强处理，并通过目标检测算法输出每个游泳者的目标人员边界框；所述位置计算单元用于结合各个水上摄像机和水下摄像机的位置信息，计算得到泳池水上图像和泳池水下图像中每个目标人员边界框的中心位置坐标(xi(t)，yi(t)，zi(t))，xi(t)，yi(t)，zi(t)分别是直角坐标系下第i个游泳者在x轴、y轴和z轴上的坐标值；所述图像分割单元用于按照人员对泳池水上图像U(T)和泳池水下图像D(T)进行分割，得到每个游泳者的人员水上图像Ui(T)和人员水下图像Di(T)；其中，游泳者集合Θ＝{1，2，...，i，...，I}，I是游泳者数量，i是游泳者编号；
所述序列化单元接收分割后的图像，将每个游泳者对应的人员水上图像和人员水下图像按照拍摄时间顺序排列，并构成对应关系，生成待处理图像序列{(Ui(t1)，Di(t1))，(Ui(t2)，Di(t2))，...，(Ui(tk)，Di(tk))，...，(Ui(tK)，Di(tK))}，k＝1，2，...，K，K是图像序列数量；
所述异常筛选单元包括关节点检测模块、动作序列生成模块、轨迹生成模块和异常识别模块；所述关节点检测模块用于对导入的每个游泳者的水上序列图像和水下序列图像进行处理，获取得到每个游泳者的人头和身体各关节点的序列信息{Xi(tk)}；所述动作序列生成模块用于根据获取到的每个游泳者的人头和身体各关节点的序列信息{Xi(tk)}生成相应的动作序列{Ai(tk)}；所述轨迹生成模块用于根据每个游泳者的位置坐标序列，生成相应的运动轨迹{Gi(tk)}；所述异常识别模块用于结合每个游泳者的动作序列和运动轨迹，筛选出异常人员集合Y，Y∈I；
所述图像再处理单元用于对异常人员j所在区域的泳池水上图像集合{Uj(tk)}进行处理，提取以异常人员j为中心的水波纹图像序列集合{Wj(tk)}；
所述溺水识别单元同时对异常人员j的人头和身体各关节点的序列信息{Xi(tk)}以及波纹图像序列集合{Wj(tk)}进行特征提取，得到异常人员j的动作特征值序列φj(T)和由异常人员j的动作造成的异常水波纹特征值序列ξj(T)，融合动作特征值序列φj(T)和异常水波纹特征值序列ξj(T)，根据融合结果对溺水动作进行识别。
2.根据权利要求1所述的水上水下计算机视觉综合溺水判断系统，其特征在于，所述图像分割单元包括水上坐标获取模块、水下坐标获取模块、坐标匹配模块和分割模块；
所述水上坐标获取模块调用位置计算单元对泳池水上图像进行处理，计算得到泳池水上图像中每个游泳者的水上位置坐标(xαu(t)，yαu(t))；
所述水下坐标获取模块调用位置计算单元对泳池水下图像进行处理，计算得到泳池水下图像中每个游泳者的水下位置坐标(xβu(t)，yβu(t)，zβu(t))；
所述坐标匹配模块将重合度小于预设重合度阈值的水上位置坐标(xαu(t)，yαu(t))和水下位置坐标(xβu(t)，yβu(t))视为同一个坐标位置，得到该位置的游泳者的坐标信息(xiu(t)，yiu(t)，ziu(t))；其中，(xiu(t)，yiu(t))＝f1[(xαu(t)，yαu(t))，(xβu(t)，yβu(t))]，ziu(t)＝zβu(t)；
所述分割模块根据游泳者的坐标信息对泳池水上图像和泳池水下图像进行分割，得到每个人员的人员水上图像Ui(T)和人员水下图像Di(T)。
3.根据权利要求2所述的水上水下计算机视觉综合溺水判断系统，其特征在于，所述预设重合度阈值为0.5m。
4.根据权利要求1所述的水上水下计算机视觉综合溺水判断系统，其特征在于，所述溺水判别装置还包括推送单元和警报单元；
所述推送单元将识别到的溺水动作对应的人员坐标信息标注在相应的泳池水上图像U(tK)和泳池水下图像D(tK)上，将标注后的泳池水上图像U*(tK)和泳池水下图像D*(tK)推送至指定客户端进行显示；所述警报单元根据溺水识别单元的识别结果生成警报信号。
5.根据权利要求1所述的水上水下计算机视觉综合溺水判断系统，其特征在于，所述关节点检测模块基于YOLO V5网络构建，采用一定量标注有人头和关节点信息的人员水上图像和人员水下图像构成的训练集训练得到；
所述动作序列生成模块采用openpose算法对识别到的每个人员的人头和身体各关节点的序列信息{Xi(tk)}进行处理，生成相应的动作序列{Ai(tk)}。
6.根据权利要求1所述的水上水下计算机视觉综合溺水判断系统，其特征在于，所述异常识别模块将动作序列{Ai(tk)}与运动轨迹{Gi(tk)}进行匹配，根据匹配结果对游泳者的姿态类型进行识别，将姿态类型属于正常泳姿的人员从游泳人员中剔除，获得异常人员集合Y。
7.根据权利要求1所述的水上水下计算机视觉综合溺水判断系统，其特征在于，所述溺水识别单元包括水波纹特征提取模块、动作特征提取模块和溺水识别模块；所述水波纹特征提取模块将水波纹图像{Wj(tk)}划分成外圈图像{WjF(tk)}和内圈图像{WjN(tk)}，再结合外圈图像{WjF(tk)}和内圈图像{WjN(tk)}获取得到由异常人员j的动作造成的异常水波纹特征值ξj(T)，j∈Y；所述动作特征提取模块用于根据关节点序列信息{Xj(tk)}和异常水波纹特征值ξj(T)，获取异常人员j的动作特征值φj(T)，所述溺水识别模块用于结合异常水波纹特征值ξj(T)对异常人员j的动作特征值φj(T)进行分类，对溺水动作进行识别。
8.根据权利要求7所述的水上水下计算机视觉综合溺水判断系统，其特征在于，所述水波纹图像{Wj(tk)}是指以异常人员j为中心，半径为Rj的范围内的水面波纹图像；所述内圈图像{WjN(tk)}是指以异常人员j为中心，半径为rj的范围内的水面波纹图像；WjN(tk)＝Wj(tk)-WjF(tk)；其中：
Figure FDA0004064269070000031
Figure FDA0004064269070000032
式中，dj，min是异常人员j与最近的其他游泳者之间的距离，d0是最大允许距离，d1是最小允许距离；rmax是最大内圈半径，rmin是最小内圈半径；Γ(·)是内圈半径计算函数，与dj，min相关；Rmax是最大波纹半径。
9.根据权利要求8所述的水上水下计算机视觉综合溺水判断系统，其特征在于，当rj＞rmin时，水波纹特征提取模块分别提取出外圈图像{WjF(tk)}和内圈图像{WjN(tk)}的水波纹特征值ξjF(T)和ξjN(T)，根据下述公式计算得到由异常人员j的动作造成的水波纹特征值ξj(T)＝ξjN(T)-ξjF(T)；
当rj＝rmin时，水波纹特征提取模块选取与异常人员j最接近且其内圈半径rm大于rmin的游泳者m的外圈图像{WmF(tk)}的水波纹特征值ξmF(T)，根据下述公式计算得到由异常人员j的动作造成的水波纹特征值ξj(T)＝ξjN(T)-ξmF(T)。
10.根据权利要求1所述的水上水下计算机视觉综合溺水判断系统，其特征在于，所述溺水识别单元包括图像融合模块和异常动作识别模块；
所述图像融合模块将异常人员的水下图像和包含水面波纹的水上图像拼接成新的待识别图像；
所述异常动作识别模块基于yolo v5网络构建，采用一定量的标注有异常类型的拼接图像样本训练得到；拼接图像样本针对室内泳池设置，同时包含异常人员身体动作的水下图像和包含异常人员动作导致的水面波纹的水上图像；
所述异常动作识别模块包括依次连接的5个卷积层、第一融合层、第二融合层和分类器；所述5个卷积层依次对待识别图像进行特征提取；第一融合层的两个输入端分别与第三个卷积层和第四个卷积层的输出端连接，从第3个卷积层和第4个卷积层提取得到异常人员动作特征信息进行融合，得到异常动作特征信息；第二融合层的两个输入端分别与第5个卷积层的输出端和第一融合层的输出端连接，将从第5个卷积层中提取得到待识别图像中包含的水波纹特征信息与异常动作特征信息进行融合；分类器的输入端与第二融合层的输出端连接，根据第二融合层输出的融合结果对异常动作进行分类，识别其中包含的溺水动作。
CN202111478987.4A 2021-12-06 2021-12-06 一种水上水下计算机视觉综合溺水判断系统 Active CN114219833B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111478987.4A CN114219833B (zh) 2021-12-06 2021-12-06 一种水上水下计算机视觉综合溺水判断系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111478987.4A CN114219833B (zh) 2021-12-06 2021-12-06 一种水上水下计算机视觉综合溺水判断系统

Publications (2)

Publication Number Publication Date
CN114219833A CN114219833A (zh) 2022-03-22
CN114219833B true CN114219833B (zh) 2023-04-07

Family

ID=80699876

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111478987.4A Active CN114219833B (zh) 2021-12-06 2021-12-06 一种水上水下计算机视觉综合溺水判断系统

Country Status (1)

Country Link
CN (1) CN114219833B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102023111688A1 (de) 2023-05-04 2024-11-07 Forsit Invest GmbH Überwachungsverfahren und Überwachungssystem für Schwimmbecken zur Erkennung ertrinkender Personen

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116132638B (zh) * 2023-04-04 2023-08-18 南昌云守护科技有限公司 防溺水系统及方法
CN117319612B (zh) * 2023-11-30 2024-02-02 成都智敏实业有限公司 水下影像采集识别系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102693606B (zh) * 2011-03-24 2016-07-06 中国人民解放军国防科学技术大学 一种基于摄像网络的泳池防溺水预警方法及系统
CN102831442A (zh) * 2011-06-13 2012-12-19 索尼公司 异常行为检测设备和方法及生成该检测设备的设备和方法
US11216654B2 (en) * 2016-01-26 2022-01-04 Coral Detection Systems Ltd. Methods and systems for drowning detection
CN107622505B (zh) * 2017-09-07 2020-02-18 青岛联合创智科技有限公司 一种泳池溺水监控检测方法
CN110569772B (zh) * 2019-08-30 2022-03-08 北京科技大学 一种泳池内人员状态检测方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102023111688A1 (de) 2023-05-04 2024-11-07 Forsit Invest GmbH Überwachungsverfahren und Überwachungssystem für Schwimmbecken zur Erkennung ertrinkender Personen

Also Published As

Publication number Publication date
CN114219833A (zh) 2022-03-22

Similar Documents

Publication Publication Date Title
CN114219833B (zh) 一种水上水下计算机视觉综合溺水判断系统
CN110543867B (zh) 一种多摄像头条件下的人群密度估测系统及方法
CN109522793B (zh) 基于机器视觉的多人异常行为检测与识别方法
CN111191486B (zh) 一种溺水行为识别方法、监控相机及监控系统
CN102693606B (zh) 一种基于摄像网络的泳池防溺水预警方法及系统
CN114022910B (zh) 泳池防溺水监管方法、装置、计算机设备及存储介质
CN114842397B (zh) 一种基于异常检测的实时老人跌倒检测方法
CN109298785A (zh) 一种监测设备的人机联控系统及方法
CN109887040A (zh) 面向视频监控的运动目标主动感知方法及系统
Salehi et al. An automatic video-based drowning detection system for swimming pools using active contours
CN114359373B (zh) 泳池防溺水目标行为识别方法、装置、计算机设备及存储介质
CN110555975A (zh) 一种防溺水的监控方法及系统
CN109255336A (zh) 基于巡检机器人的避雷器识别方法
CN115797832A (zh) 一种游泳场景下的异常行为识别方法、系统及存储介质
CN112069988A (zh) 一种基于枪球联动的驾驶员安全驾驶行为检测方法
CN111709365A (zh) 一种基于卷积神经网络的人体运动姿态自动检测方法
CN116152928A (zh) 基于轻量级人体姿态估计模型的防溺水预警方法和系统
Li et al. Vision-based target detection and positioning approach for underwater robots
CN115171336A (zh) 一种海滩监控溺水防护系统
CN114724177A (zh) 结合Alphapose和YOLOv5s模型的人体溺水检测方法
CN110852362A (zh) 溺水事件检测方法及装置、计算机可读存储介质
Ruiz et al. A comparison of inter-frame feature measures for robust object classification in sector scan sonar image sequences
EP1398060B1 (en) Stroke information measuring apparatus and stroke information measuring method
Fei et al. Drowning detection based on background subtraction
CN111428696A (zh) 一种智能异常检测紧急救援方法、装置和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant