CN115376210A - 泳池防溺水的溺水行为识别方法、装置、设备及介质 - Google Patents

泳池防溺水的溺水行为识别方法、装置、设备及介质 Download PDF

Info

Publication number
CN115376210A
CN115376210A CN202211301689.2A CN202211301689A CN115376210A CN 115376210 A CN115376210 A CN 115376210A CN 202211301689 A CN202211301689 A CN 202211301689A CN 115376210 A CN115376210 A CN 115376210A
Authority
CN
China
Prior art keywords
drowning
deep learning
training
learning network
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211301689.2A
Other languages
English (en)
Other versions
CN115376210B (zh
Inventor
任小枫
谢欣
郭羽
王振华
张剑华
郭东岩
应凯宁
张都思
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Juyan Xincheng Technology Co ltd
Original Assignee
Hangzhou Juyan Xincheng Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Juyan Xincheng Technology Co ltd filed Critical Hangzhou Juyan Xincheng Technology Co ltd
Priority to CN202211301689.2A priority Critical patent/CN115376210B/zh
Publication of CN115376210A publication Critical patent/CN115376210A/zh
Application granted granted Critical
Publication of CN115376210B publication Critical patent/CN115376210B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Psychiatry (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了泳池防溺水的溺水行为识别方法、装置、设备及介质。所述方法包括：获取待识别视频；将所述待识别视频输入至溺水行为识别模型内进行溺水行为识别，以得到识别结果；输出所述识别结果；其中，所述溺水行为识别模型是通过标注有溺水行为标签的溺水视频作为样本集对深度学习网络进行训练所得的。通过实施本发明实施例的方法可实现提高溺水行为识别的准确率。

Description

泳池防溺水的溺水行为识别方法、装置、设备及介质
技术领域
本发明涉及溺水识别方法，更具体地说是指泳池防溺水的溺水行为识别方法、装置、设备及介质。
背景技术
随着生活水平的提高，游泳运动这一全身性锻炼的体育运动越来越受到人们的欢迎。由于游泳运动在水中进行，在游泳过程中，存在一定的危险性。对于初学者，在游泳过程中，因游泳技术不足导致无法随意呼吸、换气、行动等导致呛水，容易造成溺水事件；对于有经验的游泳者，可能会出现抽筋、碰撞受伤、意识模糊等原因导致溺水事件发生。若无法及时发现溺水的游泳者，极易导致溺水时间过长造成伤亡。
现有技术是在泳池内部署多个救生员，由救生员人眼监控是否出现溺水行为，但是这种方式准确率不高。
因此，有必要设计一种新的方法，实现提高溺水行为识别的准确率。
发明内容
本发明的目的在于克服现有技术的缺陷，提供泳池防溺水的溺水行为识别方法、装置、设备及介质。
为实现上述目的，本发明采用以下技术方案：泳池防溺水的溺水行为识别方法，包括：
获取待识别视频；
将所述待识别视频输入至溺水行为识别模型内进行溺水行为识别，以得到识别结果；
输出所述识别结果；
其中，所述溺水行为识别模型是通过标注有溺水行为标签的溺水视频作为样本集对深度学习网络进行训练所得的。
其进一步技术方案为：所述溺水行为识别模型包括SlowFast网络、目标检测网络以及预测头；所述目标检测网络包括RoIAlign。
其进一步技术方案为：所述溺水行为识别模型是通过标注有溺水行为标签的溺水视频作为样本集对深度学习网络进行训练所得的，包括：
采集若干个具备溺水行为的溺水视频，且对所述溺水视频的每一帧中溺水行为进行标签标注，以得到样本集；
划分所述样本集，以得到训练集以及测试集；
构建深度学习网络以及损失函数；
利用所述训练集对所述深度学习网络进行训练，以得到训练结果；
利用损失函数计算训练结果与训练集的标签对应的内容的损失值；
判断所述损失值是否趋于平稳；
若所述损失值趋于平稳，则利用所述测试集对训练后的深度学习网络进行测试，以得到测试结果；
判断所述测试结果是否符合要求；
若所述测试结果符合要求，则确定所述深度学习网络为溺水行为识别模型；
若所述测试结果不符合要求，则修改所述深度学习网络的参数，并执行所述利用所述训练集对所述深度学习网络进行训练，以得到训练结果；
若所述损失值未趋于平稳，则执行所述修改所述深度学习网络的参数。
其进一步技术方案为：所述利用所述训练集对所述深度学习网络进行训练，以得到训练结果，包括：
将所述训练集输入至所述深度学习网络的SlowFast骨干网络内提取两个分支的图像时序特征；
将两个分支的图像时序特征进行合并，以得到合并结果；
采用所述深度学习网络中的RoIAlign提取所述合并结果的目标特征；
将所述目标特征输入至所述深度学习网络中的预测头进行动作分类，以得到训练结果。
其进一步技术方案为：所述将所述训练集输入至所述深度学习网络的SlowFast骨干网络内提取两个分支的图像时序特征，包括：
将训练集内的当前帧图像以及当前帧图像的前面若干帧图像作为输入图像，输入至所述深度学习网络的SlowFast骨干网络内提取两个分支的图像时序特征。
本发明还提供了泳池防溺水的溺水行为识别装置，包括：
视频获取单元，用于获取待识别视频；
识别单元，用于将所述待识别视频输入至溺水行为识别模型内进行溺水行为识别，以得到识别结果；
输出单元，用于输出所述识别结果。
其进一步技术方案为：还包括：
模型生成单元，用于通过标注有溺水行为标签的溺水视频作为样本集对深度学习网络进行训练，以得到溺水行为识别模型。
其进一步技术方案为：所述模型生成单元包括：
采集子单元，用于采集若干个具备溺水行为的溺水视频，且对所述溺水视频的每一帧中溺水行为进行标签标注，以得到样本集；
划分子单元，用于划分所述样本集，以得到训练集以及测试集；
构建子单元，用于构建深度学习网络以及损失函数；
训练子单元，用于利用所述训练集对所述深度学习网络进行训练，以得到训练结果；
损失值计算子单元，用于利用损失函数计算训练结果与训练集的标签对应的内容的损失值；
判断子单元，用于判断所述损失值是否趋于平稳；若所述损失值未趋于平稳，则执行修改所述深度学习网络的参数；
测试子单元，用于若所述损失值趋于平稳，则利用所述测试集对训练后的深度学习网络进行测试，以得到测试结果；
结果判断子单元，用于判断所述测试结果是否符合要求；
确定子单元，用于若所述测试结果符合要求，则确定所述深度学习网络为溺水行为识别模型；
修改子单元，用于若所述测试结果不符合要求，则修改所述深度学习网络的参数，并执行所述利用所述训练集对所述深度学习网络进行训练，以得到训练结果。
本发明还提供了一种计算机设备，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法。
本发明还提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法。
本发明与现有技术相比的有益效果是：本发明通过将待识别视频输入至溺水行为识别模型内进行溺水行为识别，其中，溺水行为识别模型是通过标注有溺水行为标签的溺水视频作为样本集对深度学习网络进行训练所得的，针对复杂泳池背景下溺水行为识别问题，溺水行为识别模型融合了时序上的动作信号以及空间信号的3D特征，实现提高溺水行为识别的准确率。
下面结合附图和具体实施例对本发明作进一步描述。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的泳池防溺水的溺水行为识别方法的应用场景示意图；
图2为本发明实施例提供的泳池防溺水的溺水行为识别方法的流程示意图；
图3为本发明实施例提供的泳池防溺水的溺水行为识别方法的子流程示意图；
图4为本发明实施例提供的泳池防溺水的溺水行为识别方法的子流程示意图；
图5为本发明实施例提供的溺水行为识别模型的工作流程示意图；
图6为本发明实施例提供的泳池防溺水的溺水行为识别装置的示意性框图；
图7为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/ 或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1和图2，图1为本发明实施例提供的泳池防溺水的溺水行为识别方法的应用场景示意图。图2为本发明实施例提供的泳池防溺水的溺水行为识别方法的示意性流程图。该泳池防溺水的溺水行为识别方法应用于服务器中。该服务器与相机和终端进行数据交互，针对复杂泳池背景下溺水行为识别问题，设计融合了时序上的动作信号以及空间信号的3D特征，实现常见溺水行为的准确分类，取得较好的鲁棒性，能够提高报警率，降低虚警率。
图2是本发明实施例提供的泳池防溺水的溺水行为识别方法的流程示意图。如图2所示，该方法包括以下步骤S110至S130。
S110、获取待识别视频。
在本实施例中，待识别视频是指由相机录像泳池内形成的视频。
S120、将所述待识别视频输入至溺水行为识别模型内进行溺水行为识别，以得到识别结果。
在本实施例中，识别结果包括两种，一种是未存在溺水行为，即表示未不存在溺水行为类别；另外一种是存在溺水行为，则表示为存在溺水行为且具体到溺水行为所在的目标框的具体位置。
其中，所述溺水行为识别模型是通过标注有溺水行为标签的溺水视频作为样本集对深度学习网络进行训练所得的。基于3D卷积网络的一种溺水行为分类器对泳客动作进行分类。首先采集了一系列的溺水视频并进行标注，溺水行为识别模型方面使用SlowFast网络对输入的视频片段提取特征，借助之前使用的目标检测网络输出的目标框提取目标特征候送入分类器即预测头内进行溺水行为分类，从而有效报警。
具体地，所述溺水行为识别模型包括SlowFast网络、目标检测网络以及预测头；所述目标检测网络包括RoIAlign。
在一实施例中，请参阅图3，上述的溺水行为识别模型是通过标注有溺水行为标签的溺水视频作为样本集对深度学习网络进行训练所得的，可包括步骤S121~ S124。
S121、采集若干个具备溺水行为的溺水视频，且对所述溺水视频的每一帧中溺水行为进行标签标注，以得到样本集。
在本实施例中，样本集是指带有溺水行为标签的溺水视频，当然，还可以包括不存在溺水行为的视频。
选取了几个比较具有代表性的溺水动作作为模板，然后让专业救生员进行模拟，采集仿真的视频片段后进行标注即可得到样本集。
S122、划分所述样本集，以得到训练集以及测试集。
在本实施例中，训练集是指用于深度学习网络训练的视频，测试集是指用于训练后的深度学习网络的视频。
S123、构建深度学习网络以及损失函数。
在本实施例中，深度学习网络的结构可参阅图5，损失函数是用于计算真实标签与训练结果的损失值的函数。
S124、利用所述训练集对所述深度学习网络进行训练，以得到训练结果。
在本实施例中，训练结果是指是否存在溺水行为类别的结果以及当存在溺水行为类别时溺水行为所在的检测框的坐标。
在一实施例中，请参阅图4，上述的步骤S124可包括步骤S1241~S1244。
S1241、将所述训练集输入至所述深度学习网络的SlowFast骨干网络内提取两个分支的图像时序特征。
在本实施例中，将训练集内的当前帧图像以及当前帧图像的前面若干帧图像作为输入图像，输入至所述深度学习网络的SlowFast骨干网络内提取两个分支的图像时序特征。
具体的，模型的输入为当前帧以及当前帧之前的7帧，一共组成8帧作为输入，视频首先对其高宽都缩放至256，表示为
Figure 770339DEST_PATH_IMAGE001
，随后将其输入至SlowFast骨干网络用于提取图像时序特征，其中网络的输出为
Figure 601898DEST_PATH_IMAGE002
以及
Figure 995970DEST_PATH_IMAGE003
。
S1242、将两个分支的图像时序特征进行合并，以得到合并结果。
在本实施例中，合并结果是指将两个不同分支的输出进行合并后形成的结果，即
Figure 485857DEST_PATH_IMAGE002
以及
Figure 16195DEST_PATH_IMAGE003
合并后形成的结果。
具体地，合并的方式为：
Figure 769388DEST_PATH_IMAGE004
；其中，
Figure 900024DEST_PATH_IMAGE005
操作表示张量（tensor）的拼接，
Figure 131285DEST_PATH_IMAGE006
表示对张量进行变形，其中括号内的内容为变形后的形状，最终将得到的合并结果
Figure 781709DEST_PATH_IMAGE007
。
S1243、采用所述深度学习网络中的RoIAlign提取所述合并结果的目标特征。
在本实施例中，通过RoIAlign提取当前帧所有的目标特征，也就是合并结果中的目标特征。
S1244、将所述目标特征输入至所述深度学习网络中的预测头进行动作分类，以得到训练结果。
在本实施例中，将目标特征输入至一个分类检测器中进行动作分类，预测头输出动作的概率分布，选取最大置信度的动作为当前泳客的状态，该过程如下：
Figure 440224DEST_PATH_IMAGE008
，其中
Figure 605626DEST_PATH_IMAGE009
为动作个数，
Figure 892775DEST_PATH_IMAGE010
为RoIAlign后得到的特征，
Figure 663285DEST_PATH_IMAGE011
用于得到归一化后的概率函数，
Figure 492701DEST_PATH_IMAGE012
为全连接层。
S125、利用损失函数计算训练结果与训练集的标签对应的内容的损失值；
S126、判断所述损失值是否趋于平稳。
在本实施例中，当损失值趋于平稳，则表明当前训练后的深度学习网络已经收敛，可作为溺水行为识别模型使用，当当损失值未趋于平稳，则表明当前训练后的深度学习网络未收敛，需要进一步修改深度学习网络的参数，继续训练。
S127、若所述损失值趋于平稳，则利用所述测试集对训练后的深度学习网络进行测试，以得到测试结果；
S128、判断所述测试结果是否符合要求；
S129、若所述测试结果符合要求，则确定所述深度学习网络为溺水行为识别模型；
S1210、若所述测试结果不符合要求，则修改所述深度学习网络的参数，并执行所述利用所述训练集对所述深度学习网络进行训练，以得到训练结果；
若所述损失值未趋于平稳，则执行所述步骤S1210。
S130、输出所述识别结果。
上述的泳池防溺水的溺水行为识别方法，通过将待识别视频输入至溺水行为识别模型内进行溺水行为识别，其中，溺水行为识别模型是通过标注有溺水行为标签的溺水视频作为样本集对深度学习网络进行训练所得的，针对复杂泳池背景下溺水行为识别问题，溺水行为识别模型融合了时序上的动作信号以及空间信号的3D特征，实现提高溺水行为识别的准确率。
图6是本发明实施例提供的一种泳池防溺水的溺水行为识别装置300的示意性框图。如图6所示，对应于以上泳池防溺水的溺水行为识别方法，本发明还提供一种泳池防溺水的溺水行为识别装置300。该泳池防溺水的溺水行为识别装置300包括用于执行上述泳池防溺水的溺水行为识别方法的单元，该装置可以被配置于服务器中。具体地，请参阅图6，该泳池防溺水的溺水行为识别装置300包括视频获取单元301、识别单元302以及输出单元303。
视频获取单元301，用于获取待识别视频；识别单元302，用于将所述待识别视频输入至溺水行为识别模型内进行溺水行为识别，以得到识别结果；输出单元303，用于输出所述识别结果。
在一实施例中，所述泳池防溺水的溺水行为识别装置300还包括：
模型生成单元，用于通过标注有溺水行为标签的溺水视频作为样本集对深度学习网络进行训练，以得到溺水行为识别模型。
在一实施例中，所述模型生成单元包括采集子单元、划分子单元、构建子单元、训练子单元、损失值计算子单元、判断子单元、测试子单元、结果判断子单元、确定子单元以及修改子单元。
采集子单元，用于采集若干个具备溺水行为的溺水视频，且对所述溺水视频的每一帧中溺水行为进行标签标注，以得到样本集；划分子单元，用于划分所述样本集，以得到训练集以及测试集；构建子单元，用于构建深度学习网络以及损失函数；训练子单元，用于利用所述训练集对所述深度学习网络进行训练，以得到训练结果；损失值计算子单元，用于利用损失函数计算训练结果与训练集的标签对应的内容的损失值；判断子单元，用于判断所述损失值是否趋于平稳；若所述损失值未趋于平稳，则执行修改所述深度学习网络的参数；测试子单元，用于若所述损失值趋于平稳，则利用所述测试集对训练后的深度学习网络进行测试，以得到测试结果；结果判断子单元，用于判断所述测试结果是否符合要求；确定子单元，用于若所述测试结果符合要求，则确定所述深度学习网络为溺水行为识别模型；修改子单元，用于若所述测试结果不符合要求，则修改所述深度学习网络的参数，并执行所述利用所述训练集对所述深度学习网络进行训练，以得到训练结果。
在一实施例中，所述训练子单元包括特征提取模块、合并模块、目标提取模块以及分类模块。
特征提取模块，用于将所述训练集输入至所述深度学习网络的SlowFast骨干网络内提取两个分支的图像时序特征；合并模块，用于将两个分支的图像时序特征进行合并，以得到合并结果；目标提取模块，用于采用所述深度学习网络中的RoIAlign提取所述合并结果的目标特征；分类模块，用于将所述目标特征输入至所述深度学习网络中的预测头进行动作分类，以得到训练结果。
在一实施例中，所述特征提取单元，用于将训练集内的当前帧图像以及当前帧图像的前面若干帧图像作为输入图像，输入至所述深度学习网络的SlowFast骨干网络内提取两个分支的图像时序特征。
需要说明的是，所属领域的技术人员可以清楚地了解到，上述泳池防溺水的溺水行为识别装置300和各单元的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。
上述泳池防溺水的溺水行为识别装置300可以实现为一种计算机程序的形式，该计算机程序可以在如图7所示的计算机设备上运行。
请参阅图7，图7是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备500可以是服务器，其中，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
参阅图7，该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。
该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032包括程序指令，该程序指令被执行时，可使得处理器502执行一种泳池防溺水的溺水行为识别方法。
该处理器502用于提供计算和控制能力，以支撑整个计算机设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行一种泳池防溺水的溺水行为识别方法。
该网络接口505用于与其它设备进行网络通信。本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现如下步骤：
获取待识别视频；将所述待识别视频输入至溺水行为识别模型内进行溺水行为识别，以得到识别结果；输出所述识别结果；
其中，所述溺水行为识别模型是通过标注有溺水行为标签的溺水视频作为样本集对深度学习网络进行训练所得的。
所述溺水行为识别模型包括SlowFast网络、目标检测网络以及预测头；所述目标检测网络包括RoIAlign。
在一实施例中，处理器502在实现所述溺水行为识别模型是通过标注有溺水行为标签的溺水视频作为样本集对深度学习网络进行训练所得的步骤时，具体实现如下步骤：
采集若干个具备溺水行为的溺水视频，且对所述溺水视频的每一帧中溺水行为进行标签标注，以得到样本集；划分所述样本集，以得到训练集以及测试集；构建深度学习网络以及损失函数；利用所述训练集对所述深度学习网络进行训练，以得到训练结果；利用损失函数计算训练结果与训练集的标签对应的内容的损失值；判断所述损失值是否趋于平稳；若所述损失值趋于平稳，则利用所述测试集对训练后的深度学习网络进行测试，以得到测试结果；判断所述测试结果是否符合要求；若所述测试结果符合要求，则确定所述深度学习网络为溺水行为识别模型；若所述测试结果不符合要求，则修改所述深度学习网络的参数，并执行所述利用所述训练集对所述深度学习网络进行训练，以得到训练结果；若所述损失值未趋于平稳，则执行所述修改所述深度学习网络的参数。
在一实施例中，处理器502在实现所述利用所述训练集对所述深度学习网络进行训练，以得到训练结果步骤时，具体实现如下步骤：
将所述训练集输入至所述深度学习网络的SlowFast骨干网络内提取两个分支的图像时序特征；将两个分支的图像时序特征进行合并，以得到合并结果；采用所述深度学习网络中的RoIAlign提取所述合并结果的目标特征；将所述目标特征输入至所述深度学习网络中的预测头进行动作分类，以得到训练结果。
在一实施例中，处理器502在实现所述将所述训练集输入至所述深度学习网络的SlowFast骨干网络内提取两个分支的图像时序特征步骤时，具体实现如下步骤：
将训练集内的当前帧图像以及当前帧图像的前面若干帧图像作为输入图像，输入至所述深度学习网络的SlowFast骨干网络内提取两个分支的图像时序特征。
应当理解，在本申请实施例中，处理器502可以是中央处理单元 (CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路 (Application Specific IntegratedCircuit，ASIC)、现成可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。
因此，本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序，其中该计算机程序被处理器执行时使处理器执行如下步骤：
获取待识别视频；将所述待识别视频输入至溺水行为识别模型内进行溺水行为识别，以得到识别结果；输出所述识别结果；
其中，所述溺水行为识别模型是通过标注有溺水行为标签的溺水视频作为样本集对深度学习网络进行训练所得的。
所述溺水行为识别模型包括SlowFast网络、目标检测网络以及预测头；所述目标检测网络包括RoIAlign。
在一实施例中，所述处理器在执行所述计算机程序而实现所述溺水行为识别模型是通过标注有溺水行为标签的溺水视频作为样本集对深度学习网络进行训练所得的步骤时，具体实现如下步骤：
采集若干个具备溺水行为的溺水视频，且对所述溺水视频的每一帧中溺水行为进行标签标注，以得到样本集；划分所述样本集，以得到训练集以及测试集；构建深度学习网络以及损失函数；利用所述训练集对所述深度学习网络进行训练，以得到训练结果；利用损失函数计算训练结果与训练集的标签对应的内容的损失值；判断所述损失值是否趋于平稳；若所述损失值趋于平稳，则利用所述测试集对训练后的深度学习网络进行测试，以得到测试结果；判断所述测试结果是否符合要求；若所述测试结果符合要求，则确定所述深度学习网络为溺水行为识别模型；若所述测试结果不符合要求，则修改所述深度学习网络的参数，并执行所述利用所述训练集对所述深度学习网络进行训练，以得到训练结果；若所述损失值未趋于平稳，则执行所述修改所述深度学习网络的参数。
在一实施例中，所述处理器在执行所述计算机程序而实现所述利用所述训练集对所述深度学习网络进行训练，以得到训练结果步骤时，具体实现如下步骤：
将所述训练集输入至所述深度学习网络的SlowFast骨干网络内提取两个分支的图像时序特征；将两个分支的图像时序特征进行合并，以得到合并结果；采用所述深度学习网络中的RoIAlign提取所述合并结果的目标特征；将所述目标特征输入至所述深度学习网络中的预测头进行动作分类，以得到训练结果。
在一实施例中，所述处理器在执行所述计算机程序而实现所述将所述训练集输入至所述深度学习网络的SlowFast骨干网络内提取两个分支的图像时序特征步骤时，具体实现如下步骤：
将训练集内的当前帧图像以及当前帧图像的前面若干帧图像作为输入图像，输入至所述深度学习网络的SlowFast骨干网络内提取两个分支的图像时序特征。
所述存储介质可以是U盘、移动硬盘、只读存储器（Read-Only Memory，ROM）、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，终端，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.泳池防溺水的溺水行为识别方法，其特征在于，包括：
获取待识别视频；
将所述待识别视频输入至溺水行为识别模型内进行溺水行为识别，以得到识别结果；
输出所述识别结果；
其中，所述溺水行为识别模型是通过标注有溺水行为标签的溺水视频作为样本集对深度学习网络进行训练所得的。
2.根据权利要求1所述的泳池防溺水的溺水行为识别方法，其特征在于，所述溺水行为识别模型包括SlowFast网络、目标检测网络以及预测头；所述目标检测网络包括RoIAlign。
3.根据权利要求2所述的泳池防溺水的溺水行为识别方法，其特征在于，所述溺水行为识别模型是通过标注有溺水行为标签的溺水视频作为样本集对深度学习网络进行训练所得的，包括：
采集若干个具备溺水行为的溺水视频，且对所述溺水视频的每一帧中溺水行为进行标签标注，以得到样本集；
划分所述样本集，以得到训练集以及测试集；
构建深度学习网络以及损失函数；
利用所述训练集对所述深度学习网络进行训练，以得到训练结果；
利用损失函数计算训练结果与训练集的标签对应的内容的损失值；
判断所述损失值是否趋于平稳；
若所述损失值趋于平稳，则利用所述测试集对训练后的深度学习网络进行测试，以得到测试结果；
判断所述测试结果是否符合要求；
若所述测试结果符合要求，则确定所述深度学习网络为溺水行为识别模型；
若所述测试结果不符合要求，则修改所述深度学习网络的参数，并执行所述利用所述训练集对所述深度学习网络进行训练，以得到训练结果；
若所述损失值未趋于平稳，则执行所述修改所述深度学习网络的参数。
4.根据权利要求3所述的泳池防溺水的溺水行为识别方法，其特征在于，所述利用所述训练集对所述深度学习网络进行训练，以得到训练结果，包括：
将所述训练集输入至所述深度学习网络的SlowFast骨干网络内提取两个分支的图像时序特征；
将两个分支的图像时序特征进行合并，以得到合并结果；
采用所述深度学习网络中的RoIAlign提取所述合并结果的目标特征；
将所述目标特征输入至所述深度学习网络中的预测头进行动作分类，以得到训练结果。
5.根据权利要求4所述的泳池防溺水的溺水行为识别方法，其特征在于，所述将所述训练集输入至所述深度学习网络的SlowFast骨干网络内提取两个分支的图像时序特征，包括：
将训练集内的当前帧图像以及当前帧图像的前面若干帧图像作为输入图像，输入至所述深度学习网络的SlowFast骨干网络内提取两个分支的图像时序特征。
6.泳池防溺水的溺水行为识别装置，其特征在于，包括：
视频获取单元，用于获取待识别视频；
识别单元，用于将所述待识别视频输入至溺水行为识别模型内进行溺水行为识别，以得到识别结果；
输出单元，用于输出所述识别结果。
7.根据权利要求6所述的泳池防溺水的溺水行为识别装置，其特征在于，还包括：
模型生成单元，用于通过标注有溺水行为标签的溺水视频作为样本集对深度学习网络进行训练，以得到溺水行为识别模型。
8.根据权利要求7所述的泳池防溺水的溺水行为识别装置，其特征在于，所述模型生成单元包括：
采集子单元，用于采集若干个具备溺水行为的溺水视频，且对所述溺水视频的每一帧中溺水行为进行标签标注，以得到样本集；
划分子单元，用于划分所述样本集，以得到训练集以及测试集；
构建子单元，用于构建深度学习网络以及损失函数；
训练子单元，用于利用所述训练集对所述深度学习网络进行训练，以得到训练结果；
损失值计算子单元，用于利用损失函数计算训练结果与训练集的标签对应的内容的损失值；
判断子单元，用于判断所述损失值是否趋于平稳；若所述损失值未趋于平稳，则执行修改所述深度学习网络的参数；
测试子单元，用于若所述损失值趋于平稳，则利用所述测试集对训练后的深度学习网络进行测试，以得到测试结果；
结果判断子单元，用于判断所述测试结果是否符合要求；
确定子单元，用于若所述测试结果符合要求，则确定所述深度学习网络为溺水行为识别模型；
修改子单元，用于若所述测试结果不符合要求，则修改所述深度学习网络的参数，并执行所述利用所述训练集对所述深度学习网络进行训练，以得到训练结果。
9.一种计算机设备，其特征在于，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至5中任一项所述的方法。
10.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的方法。
CN202211301689.2A 2022-10-24 2022-10-24 泳池防溺水的溺水行为识别方法、装置、设备及介质 Active CN115376210B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211301689.2A CN115376210B (zh) 2022-10-24 2022-10-24 泳池防溺水的溺水行为识别方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211301689.2A CN115376210B (zh) 2022-10-24 2022-10-24 泳池防溺水的溺水行为识别方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN115376210A true CN115376210A (zh) 2022-11-22
CN115376210B CN115376210B (zh) 2023-03-21

Family

ID=84073556

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211301689.2A Active CN115376210B (zh) 2022-10-24 2022-10-24 泳池防溺水的溺水行为识别方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN115376210B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117576785A (zh) * 2024-01-15 2024-02-20 杭州巨岩欣成科技有限公司 泳客行为检测方法、装置、计算机设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210004574A1 (en) * 2019-05-27 2021-01-07 Beijing Bytedance Network Technology Co., Ltd. Method and device for generating stickers
CN112651292A (zh) * 2020-10-01 2021-04-13 新加坡依图有限责任公司(私有) 基于视频的人体动作识别方法、装置、介质及电子设备
CN113723169A (zh) * 2021-04-26 2021-11-30 中国科学院自动化研究所 基于SlowFast的行为识别方法、系统及设备
CN114359967A (zh) * 2022-01-10 2022-04-15 杭州巨岩欣成科技有限公司 泳池防溺水人体目标检测方法、装置、计算机设备及存储介质
CN114511927A (zh) * 2022-01-20 2022-05-17 青岛联合创智科技有限公司 一种基于视频时序特征分析的泳池溺水行为判识方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210004574A1 (en) * 2019-05-27 2021-01-07 Beijing Bytedance Network Technology Co., Ltd. Method and device for generating stickers
CN112651292A (zh) * 2020-10-01 2021-04-13 新加坡依图有限责任公司(私有) 基于视频的人体动作识别方法、装置、介质及电子设备
CN113723169A (zh) * 2021-04-26 2021-11-30 中国科学院自动化研究所 基于SlowFast的行为识别方法、系统及设备
CN114359967A (zh) * 2022-01-10 2022-04-15 杭州巨岩欣成科技有限公司 泳池防溺水人体目标检测方法、装置、计算机设备及存储介质
CN114511927A (zh) * 2022-01-20 2022-05-17 青岛联合创智科技有限公司 一种基于视频时序特征分析的泳池溺水行为判识方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SHANMENG SHI，AND ETC: "Deep Metric Learning for Human Action Recognition with SlowFast Networks", 《2021 INTERNATIONAL CONFERENCE ON VISUAL COMMUNICATIONS AND IMAGE PROCESSING (VCIP)》 *
何志祥等: "基于深度学习的无人机目标识别算法研究", 《滨州学院学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117576785A (zh) * 2024-01-15 2024-02-20 杭州巨岩欣成科技有限公司 泳客行为检测方法、装置、计算机设备及存储介质
CN117576785B (zh) * 2024-01-15 2024-04-16 杭州巨岩欣成科技有限公司 泳客行为检测方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN115376210B (zh) 2023-03-21

Similar Documents

Publication Publication Date Title
CN108810620B (zh) 识别视频中的关键时间点的方法、装置、设备及存储介质
US11182592B2 (en) Target object recognition method and apparatus, storage medium, and electronic device
CN107423690B (zh) 一种人脸识别方法及装置
JP6664163B2 (ja) 画像識別方法、画像識別装置及びプログラム
US20150054824A1 (en) Object detection method, object detection device, and image pickup device
JP6032921B2 (ja) 物体検出装置及びその方法、プログラム
US8233704B2 (en) Exemplar-based heterogeneous compositional method for object classification
CN107958230B (zh) 人脸表情识别方法及装置
US9183431B2 (en) Apparatus and method for providing activity recognition based application service
CN106648078B (zh) 应用于智能机器人的多模态交互方法及系统
CN112052746A (zh) 目标检测方法、装置、电子设备和可读存储介质
CN115376210B (zh) 泳池防溺水的溺水行为识别方法、装置、设备及介质
CN109409294B (zh) 基于对象运动轨迹的停球事件的分类方法和系统
KR102185979B1 (ko) 동영상에 포함된 객체의 운동 유형을 결정하기 위한 방법 및 장치
CN115138059A (zh) 一种引体向上的规范计数方法、系统及其存储介质
CN110599463A (zh) 一种基于轻量级联神经网络的舌像检测及定位算法
CN110516572B (zh) 一种识别体育赛事视频片段的方法、电子设备及存储介质
CN113763331A (zh) 冠状动脉优势型判定方法、装置、存储介质及电子设备
US20160140395A1 (en) Adaptive sampling for efficient analysis of ego-centric videos
CN111612749B (zh) 基于肺部影像的病灶检测方法和装置
CN111539911B (zh) 一种口呼吸面容识别方法、设备和存储介质
JP7396076B2 (ja) 番号認識装置、方法及び電子機器
CN115862119B (zh) 基于注意力机制的人脸年龄估计方法及装置
Lee et al. Enhancement for automatic extraction of RoIs for bone age assessment based on deep neural networks
CN109254663B (zh) 一种儿童图书辅助阅读机器人的使用方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant