CN112165600A - 一种溺水的识别方法、装置、摄像头及计算机系统 - Google Patents

一种溺水的识别方法、装置、摄像头及计算机系统 Download PDF

Info

Publication number
CN112165600A
CN112165600A CN202010867797.0A CN202010867797A CN112165600A CN 112165600 A CN112165600 A CN 112165600A CN 202010867797 A CN202010867797 A CN 202010867797A CN 112165600 A CN112165600 A CN 112165600A
Authority
CN
China
Prior art keywords
swimmer
image
real
preset
posture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010867797.0A
Other languages
English (en)
Other versions
CN112165600B (zh
Inventor
荆伟
贺稳定
孙皓
代利坚
许立群
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Yunwangwandian Technology Co ltd
Original Assignee
Suning Cloud Computing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suning Cloud Computing Co Ltd filed Critical Suning Cloud Computing Co Ltd
Priority to CN202010867797.0A priority Critical patent/CN112165600B/zh
Publication of CN112165600A publication Critical patent/CN112165600A/zh
Application granted granted Critical
Publication of CN112165600B publication Critical patent/CN112165600B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/08Alarms for ensuring the safety of persons responsive to the presence of persons in a body of water, e.g. a swimming pool; responsive to an abnormal condition of a body of water

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种溺水的识别方法、装置、摄像头及计算机系统,所述方法包括获取摄像头拍摄的实时图像,所述实时图像至少包括第一图像帧及所述第一图像帧的预设个数的相邻帧;识别所述实时图像中包含的游泳者及所述游泳者的姿态,所述姿态包括直立姿态及非直立姿态;当识别出所述游泳者为直立姿态时,确定所述第一图像帧中所述游泳者的图像相对于所述相邻帧中所述游泳者的图像的形状变化程度;当所述形状变化程度超过第一预设阈值时,确定所述游泳者溺水并发出警告,节省了多摄像头信息叠加所需的运算及部署多摄像头所需的硬件成本,且实现了根据直立姿态时人体的形状变化程度判断人体是否发生溺水,保证了识别的准确性。

Description

一种溺水的识别方法、装置、摄像头及计算机系统
技术领域
本发明涉及视频监控及计算机视觉领域,尤其涉及一种溺水的识别方法、装置、摄像头及计算机系统。
背景技术
为了保证游泳者的安全,可以对游泳者进行监控以避免发生溺水事件。现有技术中,主要存在三种对溺水事件的监测报警系统:
系统一:游泳者佩戴检测设备。该系统主要通过游泳者佩戴的手环或头箍等装置监控及计算游泳者在水面下的心跳频率及停留时间等信息,以判断游泳者是否处于溺水状态。然而,由于设备容易损坏,此系统在使用的过程中产生的损耗较大,且准确率不高,带给游泳者自身很多不便,因此使用率不高。
系统二:通过声呐检测游泳者是否发生溺水。该方法将声呐收发装置安装于游泳池底部,使用探测器根据声呐的信号判断障碍物是否存在,当测量目标在预设时间内不发生运动,则判断发生了溺水行为。但是该方法在实际应用时所需的支撑电压远超过泳池用电安全界限,而且很容易发生溺水行为的误检,因此没有得到广泛的使用。
系统三:基于视频监控检测游泳者是否溺水。如以色列某公司研发的CORAL系统,由太阳能供电的视频监测系统、水下摄像机等传感报警器和手机应用程序组成。视频检测系统不断分析从水下摄像机捕获的实时视频,当检测到溺水风险时即发出警报,并通过智能手机警报和通知,该系统主要用于私人游泳池溺水检测。以及法国Vision IQ公司研发的Poseidon系统,将架空和水下摄像头技术相结合,在泳池周围设置多个摄像头,并保持所有摄像机同时运行,以准确区分泳池内部的情况。如果有人在泳池底部静止不动10秒钟,则系统会发出警报,在泳池边的显示屏上向游泳救生员提供游泳者的位置。意大利公司研发的AngelEye系统,主要针对大容量的公共、市政、水上公园和住宅游泳池。当该系统在检测到游泳者没有运动或“无目的”运动(游泳者无法到达水面呼吸或向救生员发出求救信号的动作)且持续时间超过时间阈值(通常7-12秒)时会发出警报。
基于上述可知,现有技术中基于视觉的泳池溺水检测方法及系统存在以下缺陷:
一、判断人体溺水的方式多通过检测人体处于池底时一段时间内是否发生运动,当超过预设的时间阈值即判定为溺水。这种溺水行为的判定方式过于单一,不能全面捕捉到泳池中的溺水行为;
二、图像处理单元大都安装于后端服务器,由摄像头获取图像之后通过无线模块传输至后端服务器统一处理,这种处理方式由于多了一步图像远程传输的中间环节,无形中为总体系统引入了不稳定因素,且容易造成时延;
三、摄像头大都安置于水下,需要多个摄像头协同工作才能获取泳池的全景信息,提高了系统的复杂性及硬件成本,进而影响了设备的维护成本。
发明内容
为了解决现有技术的不足,本发明的主要目的在于提供一种溺水的识别方法、装置、摄像头及计算机系统。
为了达到上述目的,第一方面本发明提供了一种溺水的识别方法,所述方法包括:
获取摄像头拍摄的实时图像,所述实时图像至少包括第一图像帧及所述第一图像帧的预设个数的相邻帧;
识别所述实时图像中包含的游泳者及所述游泳者的姿态,所述姿态包括直立姿态及非直立姿态;
当识别出所述游泳者为直立姿态时,确定所述第一图像帧中所述游泳者的图像相对于所述相邻帧中所述游泳者的图像的形状变化程度;
当所述形状变化程度超过第一预设阈值时,确定所述游泳者溺水并发出警告。
在一些实施例中,所述方法包括:
当识别出所述游泳者为非直立姿态时,根据所述实时图像确定所述游泳者游泳的实时速度;
当所述实时速度低于第二预设阈值的持续时间超过第三预设阈值时,确定所述游泳者溺水并发出警告。
在一些实施例中,所述识别所述实时图像中包含的游泳者及所述游泳者的姿态包括:
使用所述摄像头的预设框架,识别所述实时图像中包含的游泳者及所述游泳者的姿态,所述预设框架由经训练的预设模型转换获得;
所述当识别出所述游泳者为直立姿态时,确定所述第一图像帧中所述游泳者的图像相对于所述相邻帧中所述游泳者的图像的形状变化程度包括:
当识别出所述游泳者为直立姿态时,所述摄像头采用预设算法确定所述第一图像帧中所述游泳者的图像相对于所述相邻帧中所述游泳者的图像的形状变化程度。
在一些实施例中,所述预设框架包括NCNN推理框架。
在一些实施例中,所述预设算法包括粒子滤波器。
在一些实施例中,所述当识别出所述游泳者为直立姿态时,确定所述第一图像帧中所述游泳者的图像相对于所述相邻帧中所述游泳者的图像的形状变化程度包括:
根据所述实时图像,确定所述游泳者所处的预设水域,所述预设水域包括预设深水区及预设浅水区;
当所述游泳者处于预设浅水区时,确定所述游泳者未溺水;
所述当所述形状变化程度超过第一预设阈值时,确定所述游泳者溺水并发出警告包括:
当所述游泳者处于预设深水区及所述形状变化程度超过第一预设阈值时,确定所述游泳者溺水并发出警告。
第二方面,本申请公开了一种溺水的识别装置,所述装置包括:
获取模块,用于获取摄像头拍摄的实时图像,所述实时图像至少包括第一图像帧及所述第一图像帧的预设个数的相邻帧;
识别模块,用于识别所述实时图像中包含的游泳者及所述游泳者的姿态,所述姿态包括直立姿态及非直立姿态;
处理模块,用于当识别出所述游泳者为直立姿态时,确定所述第一图像帧中所述游泳者的图像相对于所述相邻帧中所述游泳者的图像的形状变化程度;
告警模块,用于当所述形状变化程度超过第一预设阈值时,确定所述游泳者溺水并发出警告。
在一些实施例中,,所述处理模块还可用于当识别出所述游泳者为非直立姿态时,根据所述实时图像确定所述游泳者游泳的实时速度;所述告警模块还可用于当所述实时速度低于第二预设阈值的持续时间超过第三预设阈值时,确定所述游泳者溺水并发出警告。
第三方面,本申请公开了一种摄像头,所述摄像头包括:
摄像装置,用于拍摄实时图像;
处理装置,所述处理装置用于获取摄像头拍摄的实时图像,所述实时图像至少包括第一图像帧及所述第一图像帧的预设个数的相邻帧;识别所述实时图像中包含的游泳者及所述游泳者的姿态,所述姿态包括直立姿态及非直立姿态;当识别出所述游泳者为直立姿态时,确定所述第一图像帧中所述游泳者的图像相对于所述相邻帧中所述游泳者的图像的形状变化程度;当所述形状变化程度超过第一预设阈值时,确定所述游泳者溺水并发出警告。
第四方面,本申请公开了一种计算机系统,所述系统包括:
一个或多个处理器;
以及与所述一个或多个处理器关联的存储器,所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时,执行如下操作:
获取摄像头拍摄的实时图像,所述实时图像至少包括第一图像帧及所述第一图像帧的预设个数的相邻帧;
识别所述实时图像中包含的游泳者及所述游泳者的姿态,所述姿态包括直立姿态及非直立姿态;
当识别出所述游泳者为直立姿态时,确定所述第一图像帧中所述游泳者的图像相对于所述相邻帧中所述游泳者的图像的形状变化程度;
当所述形状变化程度超过第一预设阈值时,确定所述游泳者溺水并发出警告。
本发明实现的有益效果为:
本申请提供了一种溺水的识别方法,包括获取摄像头拍摄的实时图像,所述实时图像至少包括第一图像帧及所述第一图像帧的预设个数的相邻帧;识别所述实时图像中包含的游泳者及所述游泳者的姿态,所述姿态包括直立姿态及非直立姿态;当识别出所述游泳者为直立姿态时,确定所述第一图像帧中所述游泳者的图像相对于所述相邻帧中所述游泳者的图像的形状变化程度;当所述形状变化程度超过第一预设阈值时,确定所述游泳者溺水并发出警告,省了多摄像头信息叠加所需的运算及部署多摄像头所需的硬件成本,且提出了根据直立姿态时人体的形状变化程度判断人体是否发生溺水,保证了识别的准确性;
进一步地,当识别出所述游泳者为非直立姿态时,根据所述实时图像确定所述游泳者游泳的实时速度;当所述实时速度低于第二预设阈值的持续时间超过第三预设阈值时,确定所述游泳者溺水并发出警告,实现了对非直立姿态的游泳者是否溺水进行识别,结合对直立姿态的游泳者的溺水识别,本申请提供的技术方案可对所有游泳姿态的游泳者是否溺水进行识别,进一步保证了对溺水行为的识别准确率;
本申请还提出了使用所述摄像头的预设框架,识别所述实时图像中包含的游泳者及所述游泳者的姿态,所述预设框架由经训练的预设模型转换获得;当识别出所述游泳者为直立姿态时,所述摄像头采用预设算法确定所述第一图像帧中所述游泳者的图像相对于所述相邻帧中所述游泳者的图像的形状变化程度,可在摄像头内的嵌入式设备内直接部署整个识别方法,避免了现有技术中需将摄像头获取的图像传输至服务器端由服务器端进行检测导致的时间损耗以及网络波动导致无法正常传输图像带来的风险。
本发明所有产品并不需要具备上述所有效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的人体形状变化曲线示意图;
图2是本申请实施例提供的方法流程图;
图3是本申请实施例提供的装置结构图;
图4是本申请实施例提供的计算机系统结构图;
图5是本申请实施例提供的嵌入式设备预训练及工作流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如背景技术所述,为解决上述技术问题,本申请提供了一种溺水的识别方法,通过预先设置在泳池等水域上方的单一摄像头,可以监控水域内发生的溺水事件,以进行告警帮助溺水者获救。摄像头可选择高精度广角防水摄像头。
摄像头中可预设嵌入式设备,该设备可直接对摄像头传回的图像进行分析,避免了摄像头将图像传回后端服务器带来的时延及网络波动造成的风险。
实施例一
为了使用嵌入式设备进行溺水的识别,需要预先进行模型训练及推理框架的搭建,所述过程包括:
S1、获取训练数据集;
可预先采集在各种水域环境的游泳者的游泳图像数据,并根据图像数据生成训练数据集。
S2、使用训练数据集对预设模型进行训练,获得经训练的预设模型;
预设模型可包括tiny-yolov3、centernet、mobilenetv2-ssd、inceptionv2-ssd、Efficientdet-D2等检测模型。优选的,训练时可采用反向传播方法更新模型的权值,损失函数可采用根据模型的识别结果和图像的真实结果得到的二范数。训练过程中模型的输入为训练数据集中的图像,所述识别结果包括模型识别的图像中游泳者的位置及该游泳者的姿态,所述姿态包括直立姿态及非直立姿态。所述真实结果为预先标注的每一图像对应的游泳者的位置及该游泳者的姿态。
生成的经训练的预设模型可得到两种输出结果,即预测图像内的人体为直立姿态或非直立姿态。
S3、对经训练的预设模型按照预设的模型剪枝方法进行剪枝;
优选的,可按照预设算法,对模型进行稀疏化、剪枝及微调操作,所述过程包括:
对经训练的预设模型的原始权重文件进行稀疏化训练;
根据预设的剪枝比例,对已稀疏化后的预设模型进行剪枝操作。如表1所示,模型的压缩率与剪枝后模型的准确率成反比,可根据需求的压缩率及准确率确定剪枝比例;对剪枝后的预设模型,还可进行微调以满足对模型的需求。
Figure BDA0002650239080000071
Figure BDA0002650239080000081
表一
S4、将剪枝后的预设模型转换为预设推理框架。
可选用的推理框架包括NCNN、RKNN、MNN及TensorRT。例如,当所述预设模型是在Pytorch框架下训练得到的,且需转换为NCNN推理框架时,所述转换过程包括:将所述预设模型的权重文件转换为ONNX格式;使用NCNN框架的自带工具,将ONXX格式的权重文件转换为NCNN框架;使用NCNN框架的自带工具,对生成的NCNN框架进行量化操作。
生成的NCNN框架可预设在摄像头内的嵌入式设备中。
优选的,预设了该推理框架及其他预设算法的嵌入式设备可以进行溺水的识别,如图5所示,所述过程包括:
步骤一、获取摄像头拍摄的实时图像帧;
步骤二、使用预设推理框架,识别实时图像中游泳者的位置及游泳者的姿态;
步骤三、当判断游泳者处于非直立姿态时,追踪游泳者的位置及游泳速度;
根据粒子滤波器算法,为每个游泳者建立对应的跟踪目标模型,并初始化对应的粒子,将每一游泳者及识别的该游泳者的位置加入跟踪记录。
根据摄像头在所述实时图像帧之后传回的帧,对跟踪记录中每个游泳者根据对应的粒子滤波器进行评估,预测游泳者的位置。同时使用预设框架识别所述之后传回的帧中游泳者的位置及游泳者的姿态。
根据粒子滤波器估计的位置与预设框架识别的位置建立关联矩阵,根据关联矩阵判断粒子滤波器估计的位置与预设框架识别的位置是否匹配。当某一帧估计的位置与关联矩阵匹配不成功时,判断该帧中该游泳者暂时消失;当该游泳者位于水域的边界且判断该游泳者暂时消失的帧数大于预设值时,判断该游泳者已离开水域并从跟踪记录中删去该游泳者;当游泳者没有位于水域的边界且判断该游泳者暂时消失的帧数大于预设值时,判断该游泳者处于丢失状态,保存该游泳者在跟踪记录中最后一次记录的位置。当识别的位置与关联矩阵匹配失败时,判断对应的游泳者为新增的目标,建立对应的跟踪目标模型,初始化对应的粒子,将该游泳者及识别的该游泳者的位置加入跟踪记录。
步骤四、当追踪的游泳速度低于对应的预设阈值时,判断游泳者溺水并告警;
例如,游泳者c的速度可用图像帧中游泳者轮廓的外接矩阵的中心(xc ^t,yc ^t)在一定间隔n帧的位移来表示,其速度的计算公式为:
Figure BDA0002650239080000091
Figure BDA0002650239080000092
其中
Figure BDA0002650239080000093
为游泳者c在t帧的运动速度,
Figure BDA0002650239080000094
是t帧时该游泳者c的中心坐标,
Figure BDA0002650239080000095
是t-n帧时游泳者c轮廓的中心坐标。当
Figure BDA0002650239080000096
其中Tv=0.1m/s为设定的速度阈值时,判断游泳者c游泳速度骤减,确定游泳者c发生溺水,并发出警告。
所述警告可以包括调用预先连接的扩音设备发出警告声、向水域周边的安保人员的移动终端推送警告信息等,本申请对此不加限定。
步骤五、当游泳者为直立姿态时,确定游泳者所在的水域的深度;
可预先将水域划分为深水区域和浅水区域。其中浅水区域的高度远低于成年人的身高,例如泳池的浅水区的水深按规定不超过1.2米,因此当游泳者在浅水区域处于直立姿态时可判断其处于安全的状态。当游泳者处于深水区域中时,则可能在踩水或发生溺水。
步骤六、当游泳者位于深水区域时,追踪该游泳者,确定实时图像帧中游泳者的图像相对于实时图像帧的相邻帧中所述游泳者的图像的形状变化程度是否超过对应的预设阈值;
如图1所示,在第1至第13帧中,游泳者处在正常游泳状态,游泳者的图像的形状大小变化不大;从第13帧至35帧时,由于游泳者发生了溺水,游泳者的四肢发生不规则运动,导致预设推理框架识别出的游泳者的图像的形状大小发生剧烈的变化。通过提取人体形状变化率特征可定量表示人体的不规则运动,所述形状变化率公式为
Figure BDA0002650239080000097
其中Si表示第i帧图像中游泳者人体的形状大小,Si+1表示第i+1帧图像中游泳者人体的形状大小,Si+1-Si是连续的两帧中游泳者人体形状大小的变化差值,
Figure BDA0002650239080000101
是连续M帧中游泳者人体形状大小的变化差值,其乘以
Figure BDA0002650239080000102
得到的即是连续M帧中游泳者的形状大小的变化均值。当所述变化均值超过对应的预设阈值时即可确定该游泳者溺水,并发出警告。
实施例二
对应上述实施例,本申请提出了一种溺水的识别方法,如图2所示,所述方法包括:
210、获取摄像头拍摄的实时图像,所述实时图像至少包括第一图像帧及所述第一图像帧的预设个数的相邻帧;
220、识别所述实时图像中包含的游泳者及所述游泳者的姿态,所述姿态包括直立姿态及非直立姿态;
230、当识别出所述游泳者为直立姿态时,确定所述第一图像帧中所述游泳者的图像相对于所述相邻帧中所述游泳者的图像的形状变化程度;
优选的,所述识别所述实时图像中包含的游泳者及所述游泳者的姿态包括:
231、使用所述摄像头的预设框架,识别所述实时图像中包含的游泳者及所述游泳者的姿态,所述预设框架由经训练的预设模型转换获得;
所述当识别出所述游泳者为直立姿态时,确定所述第一图像帧中所述游泳者的图像相对于所述相邻帧中所述游泳者的图像的形状变化程度包括:
232、当识别所述游泳者为直立姿态时,所述摄像头采用预设算法确定所述第一图像帧中所述游泳者的图像相对于所述相邻帧中所述游泳者的图像的形状变化程度。
240、当所述形状变化程度超过第一预设阈值时,确定所述游泳者溺水并发出警告。
优选的,所述当识别出所述游泳者为直立姿态时,确定所述第一图像帧中所述游泳者的图像相对于所述相邻帧中所述游泳者的图像的形状变化程度包括:
241、根据所述实时图像,确定所述游泳者所处的预设水域,所述预设水域包括预设深水区及预设浅水区;
242、当所述游泳者处于预设浅水区时,确定所述游泳者未溺水;
所述当所述形状变化程度超过第一预设阈值时,确定所述游泳者溺水并发出警告包括:
243、当所述游泳者处于预设深水区及所述形状变化程度超过第一预设阈值时,确定所述游泳者溺水并发出警告。
优选的,所述方法包括:
250、当识别出所述游泳者为非直立姿态时,根据所述实时图像确定所述游泳者游泳的实时速度;
251、当所述实时速度低于第二预设阈值的持续时间超过第三预设阈值时,确定所述游泳者溺水并发出警告。
优选的,所述预设框架包括NCNN推理框架。
优选的,所述预设算法包括粒子滤波器。
实施例三
对应上述方法,本申请提供了一种溺水的识别装置,如图3所示,所述装置包括:
获取模块310,用于获取摄像头拍摄的实时图像,所述实时图像至少包括第一图像帧及所述第一图像帧的预设个数的相邻帧;
识别模块320,用于识别所述实时图像中包含的游泳者及所述游泳者的姿态,所述姿态包括直立姿态及非直立姿态;
处理模块330,用于当识别出所述游泳者为直立姿态时,确定所述第一图像帧中所述游泳者的图像相对于所述相邻帧中所述游泳者的图像的形状变化程度;
告警模块340,用于当所述形状变化程度超过第一预设阈值时,确定所述游泳者溺水并发出警告。
所述处理模块330还可用于当识别出所述游泳者为非直立姿态时,根据所述实时图像确定所述游泳者游泳的实时速度;所述告警模块340还可用于当所述实时速度低于第二预设阈值的持续时间超过第三预设阈值时,确定所述游泳者溺水并发出警告。
优选的,所述识别模块320还可用于使用所述摄像头的预设框架,识别所述实时图像中包含的游泳者及所述游泳者的姿态,所述预设框架由经训练的预设模型转换获得;所述处理模块330还可用于当识别出所述游泳者为直立姿态时,所述摄像头采用预设算法确定所述第一图像帧中所述游泳者的图像相对于所述相邻帧中所述游泳者的图像的形状变化程度。
优选的,所述预设框架包括NCNN推理框架。
优选的,所述预设算法包括粒子滤波器。
优选的,所述处理模块330还可用于根据所述实时图像,确定所述游泳者所处的预设水域,所述预设水域包括预设深水区及预设浅水区;当所述游泳者处于预设浅水区时,确定所述游泳者未溺水;所述告警模块340还可用于当所述游泳者处于预设深水区及所述形状变化程度超过第一预设阈值时,确定所述游泳者溺水并发出警告。
实施例四
对应上述方法、设备及系统,本申请实施例四提供一种计算机系统,包括:一个或多个处理器;以及与所述一个或多个处理器关联的存储器,所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时,执行如下操作:
获取摄像头拍摄的实时图像,所述实时图像至少包括第一图像帧及所述第一图像帧的预设个数的相邻帧;
识别所述实时图像中包含的游泳者及所述游泳者的姿态,所述姿态包括直立姿态及非直立姿态;
当识别出所述游泳者为直立姿态时,确定所述第一图像帧中所述游泳者的图像相对于所述相邻帧中所述游泳者的图像的形状变化程度;
当所述形状变化程度超过第一预设阈值时,确定所述游泳者溺水并发出警告。
其中,图4示例性的展示出了计算机系统的架构,具体可以包括处理器1510,视频显示适配器1511,磁盘驱动器1512,输入/输出接口1513,网络接口1514,以及存储器1520。上述处理器1510、视频显示适配器1511、磁盘驱动器1512、输入/输出接口1513、网络接口1514,与存储器1520之间可以通过通信总线1530进行通信连接。
其中,处理器1510可以采用通用的CPU(Central Processing Unit,中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit,ASIC)、或者一个或多个集成电路等方式实现,用于执行相关程序,以实现本申请所提供的技术方案。
存储器1520可以采用ROM(Read Only Memory,只读存储器)、RAM(Random AccessMemory,随机存取存储器)、静态存储设备,动态存储设备等形式实现。存储器1520可以存储用于控制计算机系统1500运行的操作系统1521,用于控制计算机系统1500的低级别操作的基本输入输出系统(BIOS)。另外,还可以存储网页浏览器1523,数据存储管理系统1524,以及图标字体处理系统1525等等。上述图标字体处理系统1525就可以是本申请实施例中具体实现前述各步骤操作的应用程序。总之,在通过软件或者固件来实现本申请所提供的技术方案时,相关的程序代码保存在存储器1520中,并由处理器1510来调用执行。输入/输出接口1513用于连接输入/输出模块,以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出),也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等,输出设备可以包括显示器、扬声器、振动器、指示灯等。
网络接口1514用于连接通信模块(图中未示出),以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信,也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线1530包括一通路,在设备的各个组件(例如处理器1510、视频显示适配器1511、磁盘驱动器1512、输入/输出接口1513、网络接口1514,与存储器1520)之间传输信息。
另外,该计算机系统1500还可以从虚拟资源对象领取条件信息数据库1541中获得具体领取条件的信息,以用于进行条件判断,等等。
需要说明的是,尽管上述设备仅示出了处理器1510、视频显示适配器1511、磁盘驱动器1512、输入/输出接口1513、网络接口1514,存储器1520,总线1530等,但是在具体实施过程中,该设备还可以包括实现正常运行所必需的其他组件。此外,本领域的技术人员可以理解的是,上述设备中也可以仅包含实现本申请方案所必需的组件,而不必包含图中所示的全部组件。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,云服务器,或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统或系统实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种溺水的识别方法,其特征在于,所述方法包括:
获取摄像头拍摄的实时图像,所述实时图像至少包括第一图像帧及所述第一图像帧的预设个数的相邻帧;
识别所述实时图像中包含的游泳者及所述游泳者的姿态,所述姿态包括直立姿态及非直立姿态;
当识别出所述游泳者为直立姿态时,确定所述第一图像帧中所述游泳者的图像相对于所述相邻帧中所述游泳者的图像的形状变化程度;
当所述形状变化程度超过第一预设阈值时,确定所述游泳者溺水并发出警告。
2.根据权利要求1所述的方法,其特征在于,所述方法包括:
当识别出所述游泳者为非直立姿态时,根据所述实时图像确定所述游泳者游泳的实时速度;
当所述实时速度低于第二预设阈值的持续时间超过第三预设阈值时,确定所述游泳者溺水并发出警告。
3.根据权利要求1或2所述的方法,其特征在于,所述识别所述实时图像中包含的游泳者及所述游泳者的姿态包括:
使用所述摄像头的预设框架,识别所述实时图像中包含的游泳者及所述游泳者的姿态,所述预设框架由经训练的预设模型转换获得;
所述当识别出所述游泳者为直立姿态时,确定所述第一图像帧中所述游泳者的图像相对于所述相邻帧中所述游泳者的图像的形状变化程度包括:
当识别出所述游泳者为直立姿态时,所述摄像头采用预设算法确定所述第一图像帧中所述游泳者的图像相对于所述相邻帧中所述游泳者的图像的形状变化程度。
4.根据权利要求3所述的方法,其特征在于,所述预设框架包括NCNN推理框架。
5.根据权利要求3或4所述的方法,其特征在于,所述预设算法包括粒子滤波器。
6.根据权利要求1或2所述的方法,其特征在于,所述当识别出所述游泳者为直立姿态时,确定所述第一图像帧中所述游泳者的图像相对于所述相邻帧中所述游泳者的图像的形状变化程度包括:
根据所述实时图像,确定所述游泳者所处的预设水域,所述预设水域包括预设深水区及预设浅水区;
当所述游泳者处于预设浅水区时,确定所述游泳者未溺水;
所述当所述形状变化程度超过第一预设阈值时,确定所述游泳者溺水并发出警告包括:
当所述游泳者处于预设深水区及所述形状变化程度超过第一预设阈值时,确定所述游泳者溺水并发出警告。
7.一种溺水的识别装置,其特征在于,所述装置包括:
获取模块,用于获取摄像头拍摄的实时图像,所述实时图像至少包括第一图像帧及所述第一图像帧的预设个数的相邻帧;
识别模块,用于识别所述实时图像中包含的游泳者及所述游泳者的姿态,所述姿态包括直立姿态及非直立姿态;
处理模块,用于当识别出所述游泳者为直立姿态时,确定所述第一图像帧中所述游泳者的图像相对于所述相邻帧中所述游泳者的图像的形状变化程度;
告警模块,用于当所述形状变化程度超过第一预设阈值时,确定所述游泳者溺水并发出警告。
8.根据权利要求7所述的装置,其特征在于,所述处理模块还可用于当识别出所述游泳者为非直立姿态时,根据所述实时图像确定所述游泳者游泳的实时速度;所述告警模块还可用于当所述实时速度低于第二预设阈值的持续时间超过第三预设阈值时,确定所述游泳者溺水并发出警告。
9.一种摄像头,其特征在于,所述摄像头包括:
摄像装置,用于拍摄实时图像;
处理装置,所述处理装置用于获取摄像头拍摄的实时图像,所述实时图像至少包括第一图像帧及所述第一图像帧的预设个数的相邻帧;识别所述实时图像中包含的游泳者及所述游泳者的姿态,所述姿态包括直立姿态及非直立姿态;当识别出所述游泳者为直立姿态时,确定所述第一图像帧中所述游泳者的图像相对于所述相邻帧中所述游泳者的图像的形状变化程度;当所述形状变化程度超过第一预设阈值时,确定所述游泳者溺水并发出警告。
10.一种计算机系统,其特征在于,所述系统包括:
一个或多个处理器;
以及与所述一个或多个处理器关联的存储器,所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时,执行如下操作:
获取摄像头拍摄的实时图像,所述实时图像至少包括第一图像帧及所述第一图像帧的预设个数的相邻帧;
识别所述实时图像中包含的游泳者及所述游泳者的姿态,所述姿态包括直立姿态及非直立姿态;
当识别出所述游泳者为直立姿态时,确定所述第一图像帧中所述游泳者的图像相对于所述相邻帧中所述游泳者的图像的形状变化程度;
当所述形状变化程度超过第一预设阈值时,确定所述游泳者溺水并发出警告。
CN202010867797.0A 2020-08-26 2020-08-26 一种溺水的识别方法、装置、摄像头及计算机系统 Active CN112165600B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010867797.0A CN112165600B (zh) 2020-08-26 2020-08-26 一种溺水的识别方法、装置、摄像头及计算机系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010867797.0A CN112165600B (zh) 2020-08-26 2020-08-26 一种溺水的识别方法、装置、摄像头及计算机系统

Publications (2)

Publication Number Publication Date
CN112165600A true CN112165600A (zh) 2021-01-01
CN112165600B CN112165600B (zh) 2023-02-03

Family

ID=73860268

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010867797.0A Active CN112165600B (zh) 2020-08-26 2020-08-26 一种溺水的识别方法、装置、摄像头及计算机系统

Country Status (1)

Country Link
CN (1) CN112165600B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113192019A (zh) * 2021-04-25 2021-07-30 台州智必安科技有限责任公司 一种基于紫外摄像头的列车受电弓检测方法及系统
CN113361364A (zh) * 2021-05-31 2021-09-07 北京市商汤科技开发有限公司 目标行为检测方法、装置、设备及存储介质
CN113468945A (zh) * 2021-03-26 2021-10-01 厦门大学 游泳者溺水检测方法
CN113469937A (zh) * 2021-05-25 2021-10-01 长兴云尚科技有限公司 基于管廊视频和二维码检测的管廊异常位置定位方法及系统
CN113469938A (zh) * 2021-05-25 2021-10-01 长兴云尚科技有限公司 基于嵌入式前端处理服务器的管廊视频分析方法及系统
CN113887383A (zh) * 2021-09-29 2022-01-04 厦门大学 基于无监督异常检测的溺水检测方法及装置
CN114359411A (zh) * 2022-01-10 2022-04-15 杭州巨岩欣成科技有限公司 泳池防溺水目标检测方法、装置、计算机设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002097758A1 (en) * 2001-05-25 2002-12-05 Nanyang Technological University, Centre For Signal Processing Drowning early warning system
CN104484654A (zh) * 2014-12-19 2015-04-01 苏州大学 基于模式识别与指纹匹配定位算法的防溺水识别方法
CN109102678A (zh) * 2018-08-30 2018-12-28 青岛联合创智科技有限公司 一种融合uwb室内定位与视频目标检测与跟踪技术的溺水行为检测方法
CN109815805A (zh) * 2018-12-18 2019-05-28 深圳壹账通智能科技有限公司 自动识别溺水的方法、装置、存储介质及电子设备
CN110246306A (zh) * 2019-06-13 2019-09-17 西安电子科技大学 基于无线信号传输的水中运动安全监控系统设计方法
CN110555975A (zh) * 2019-08-28 2019-12-10 成都理工大学工程技术学院 一种防溺水的监控方法及系统
CN110569772A (zh) * 2019-08-30 2019-12-13 北京科技大学 一种泳池内人员状态检测方法
CN111368743A (zh) * 2020-03-05 2020-07-03 北京科技大学 一种基于监控视频的游泳馆深水区早期危险行为检测方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002097758A1 (en) * 2001-05-25 2002-12-05 Nanyang Technological University, Centre For Signal Processing Drowning early warning system
CN104484654A (zh) * 2014-12-19 2015-04-01 苏州大学 基于模式识别与指纹匹配定位算法的防溺水识别方法
CN109102678A (zh) * 2018-08-30 2018-12-28 青岛联合创智科技有限公司 一种融合uwb室内定位与视频目标检测与跟踪技术的溺水行为检测方法
CN109815805A (zh) * 2018-12-18 2019-05-28 深圳壹账通智能科技有限公司 自动识别溺水的方法、装置、存储介质及电子设备
CN110246306A (zh) * 2019-06-13 2019-09-17 西安电子科技大学 基于无线信号传输的水中运动安全监控系统设计方法
CN110555975A (zh) * 2019-08-28 2019-12-10 成都理工大学工程技术学院 一种防溺水的监控方法及系统
CN110569772A (zh) * 2019-08-30 2019-12-13 北京科技大学 一种泳池内人员状态检测方法
CN111368743A (zh) * 2020-03-05 2020-07-03 北京科技大学 一种基于监控视频的游泳馆深水区早期危险行为检测方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113468945A (zh) * 2021-03-26 2021-10-01 厦门大学 游泳者溺水检测方法
CN113192019A (zh) * 2021-04-25 2021-07-30 台州智必安科技有限责任公司 一种基于紫外摄像头的列车受电弓检测方法及系统
CN113469937A (zh) * 2021-05-25 2021-10-01 长兴云尚科技有限公司 基于管廊视频和二维码检测的管廊异常位置定位方法及系统
CN113469938A (zh) * 2021-05-25 2021-10-01 长兴云尚科技有限公司 基于嵌入式前端处理服务器的管廊视频分析方法及系统
CN113469938B (zh) * 2021-05-25 2024-02-02 长兴云尚科技有限公司 基于嵌入式前端处理服务器的管廊视频分析方法及系统
CN113361364A (zh) * 2021-05-31 2021-09-07 北京市商汤科技开发有限公司 目标行为检测方法、装置、设备及存储介质
CN113361364B (zh) * 2021-05-31 2022-11-01 北京市商汤科技开发有限公司 目标行为检测方法、装置、设备及存储介质
CN113887383A (zh) * 2021-09-29 2022-01-04 厦门大学 基于无监督异常检测的溺水检测方法及装置
CN114359411A (zh) * 2022-01-10 2022-04-15 杭州巨岩欣成科技有限公司 泳池防溺水目标检测方法、装置、计算机设备及存储介质
CN114359411B (zh) * 2022-01-10 2022-08-09 杭州巨岩欣成科技有限公司 泳池防溺水目标检测方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN112165600B (zh) 2023-02-03

Similar Documents

Publication Publication Date Title
CN112165600B (zh) 一种溺水的识别方法、装置、摄像头及计算机系统
CN107622505B (zh) 一种泳池溺水监控检测方法
CN101188745A (zh) 游泳池智能溺水视频监控系统及方法
US7330123B1 (en) Sonar based drowning monitor
CN111047827B (zh) 环境辅助生活的智能监控方法及系统
Alshbatat et al. Automated vision-based surveillance system to detect drowning incidents in swimming pools
CN112489371A (zh) 一种基于计算机视觉的泳池防溺水预警系统
CN112309077A (zh) 一种泳池溺水警报方法及装置
CN115984967A (zh) 基于深度学习的人体跌倒检测方法、装置及系统
CN108663686A (zh) 一种基于激光雷达的游泳池溺水监控装置及方法
KR20160074208A (ko) 비콘신호를 이용한 안전 서비스 제공 시스템 및 방법
CN110852362B (zh) 溺水事件检测方法及装置、计算机可读存储介质
Handalage et al. Computer vision enabled drowning detection system
CN211015841U (zh) 溺水事件检测系统
JP5701657B2 (ja) 異常検知装置
CN104392201A (zh) 一种基于全向视觉的人体跌倒识别方法
Hayat et al. Comprehensive and comparative study of drowning person detection and rescue systems
CN115049988A (zh) 一种用于配电网监测及预判的边缘计算方法及装置
CN115273401A (zh) 一种自动感知人员跌倒的方法及系统
CN211554957U (zh) 一种用于游泳池落水人员甄别定位装置及系统
CN112580560A (zh) 一种应用于泳池的智能监控方法及系统
JP5669648B2 (ja) 異常検知装置
CN113076799A (zh) 溺水识别报警方法、装置、平台、系统及存储介质
CN113134201A (zh) 一种压裂井场智能视觉火焰探测及精准消防灭火控制系统
CN111827740A (zh) 一种基于双目视觉的泳池监控系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20210508

Address after: 518002 unit 3510-130, Luohu business center, 2028 Shennan East Road, Chengdong community, Dongmen street, Luohu District, Shenzhen City, Guangdong Province

Applicant after: Shenzhen yunwangwandian Technology Co.,Ltd.

Address before: No.1-1 Suning Avenue, Xuzhuang Software Park, Xuanwu District, Nanjing, Jiangsu Province, 210000

Applicant before: Suning Cloud Computing Co.,Ltd.

TA01 Transfer of patent application right
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40043942

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant