CN113822259A - 一种离岗检测方法、装置、计算机设备及存储介质 - Google Patents

一种离岗检测方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN113822259A
CN113822259A CN202111404473.4A CN202111404473A CN113822259A CN 113822259 A CN113822259 A CN 113822259A CN 202111404473 A CN202111404473 A CN 202111404473A CN 113822259 A CN113822259 A CN 113822259A
Authority
CN
China
Prior art keywords
prediction
rectangular frame
predicted
position information
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111404473.4A
Other languages
English (en)
Other versions
CN113822259B (zh
Inventor
周长源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Wanwuyun Technology Co ltd
Original Assignee
Shenzhen Wanwuyun Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Wanwuyun Technology Co ltd filed Critical Shenzhen Wanwuyun Technology Co ltd
Priority to CN202111404473.4A priority Critical patent/CN113822259B/zh
Publication of CN113822259A publication Critical patent/CN113822259A/zh
Application granted granted Critical
Publication of CN113822259B publication Critical patent/CN113822259B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明公开了一种离岗检测方法、装置、计算机设备及存储介质。该方法包括先通过获取的图像集合预先进行预测训练以及预测优化后，得到预测模型；然后将待预测图像输入预测模型进行标注处理，输出标注有高椅位置信息和安全员位置信息的预测图像；计算预测图像中高椅位置信息和安全员位置信息的交并比并得到交并比矩阵；根据交并比矩阵判断安全员是否在岗以及在岗的置信度。本发明提出了的预测模型为基于YOLOv5的泳池安全员离岗检测模型，可实现对多个游泳池的实时监控，快速检测到泳池安全员离岗现象并触发警告，从而排除泳池的安全隐患。

Description

一种离岗检测方法、装置、计算机设备及存储介质
技术领域
本发明涉及监控技术领域，尤其涉及一种离岗检测方法、装置、计算机设备及存储介质。
背景技术
游泳运动目前已经成为广受群众喜爱的运动项目，大多数新建小区均配备有不同规格的游泳池。但该运动项目也存在危险性较高的风险，游泳者准备活动不充分、突发疾病、救生员不到位等原因都可能引起游泳者溺水，而发生溺水后抢救不及时则可能导致溺亡事故的发生。
泳池安全员的到位对于维护游泳者的生命安全至关重要，游泳救生员在泳池营业期间应该在高椅或周边环视指定水域，若发生溺水应第一时间予以施救。泳池安全员的人数依据泳池面积大小有不同的标准。但是现实生活中，由于泳池安全员责任意识薄弱等问题，往往会出现安全员离岗的情况，这会造成极大的安全威胁。
发明内容
本发明的目的是提供一种离岗检测方法、装置、计算机设备及存储介质，旨在解决对泳池安全员离岗现象不易监控而导致存在安全隐患的问题。
为解决上述技术问题，本发明的目的是通过以下技术方案实现的：提供一种泳池安全员离岗检测方法，包括：
获取各个泳池场景的图像并构建对应每一泳池场景的图像集合；
对每一所述图像集合的所有图像中的高椅进行标注并得到高椅位置信息，以及对每一所述图像集合中预设比例的图像中的安全员进行标注并得到安全员位置信息；
对标注有高椅位置信息和安全员位置信息的图像进行分类和类别置信度训练，得到预测模型；
对每个图像集合中未标注的安全员的图像进行预测训练，优化预测模型；
将待预测图像输入所述预测模型进行预测处理，输出预测的高椅位置信息和安全员位置信息；
计算所述待预测图像中高椅位置信息和安全员位置信息的交并比并得到交并比矩阵；
根据所述交并比矩阵判断安全员是否在岗以及在岗的置信度。
另外，本发明要解决的技术问题是还在于提供一种泳池安全员离岗检测装置，其包括：
构建单元，用于获取各个泳池场景的图像并构建对应每一泳池场景的图像集合；
标注单元，用于对每一所述图像集合的所有图像中的高椅进行标注并得到高椅位置信息，以及对每一所述图像集合中预设比例的图像中的安全员进行标注并得到安全员位置信息；
训练单元，用于对标注有高椅位置信息和安全员位置信息的图像进行分类和类别置信度训练，得到预测模型；
优化单元，用于对每个图像集合中未标注的安全员的图像进行预测训练，优化预测模型；
预测单元，用于将待预测图像输入所述预测模型进行预测处理，输出预测的高椅位置信息和安全员位置信息；
计算单元，用于计算所述待预测图像中高椅位置信息和安全员位置信息的交并比并得到交并比矩阵；
判断单元，用于根据所述交并比矩阵判断安全员是否在岗以及在岗的置信度。
另外，本发明实施例又提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的泳池安全员离岗检测方法。
另外，本发明实施例还提供了一种计算机可读存储介质，其中所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的泳池安全员离岗检测方法。
本发明实施例公开了一种离岗检测方法、装置、计算机设备及存储介质。该方法包括先通过获取的图像集合预先进行预测训练以及预测优化后，得到预测模型；然后将待预测图像输入预测模型进行标注处理，输出标注有高椅位置信息和安全员位置信息的预测图像； 计算预测图像中高椅位置信息和安全员位置信息的交并比并得到交并比矩阵；根据交并比矩阵判断安全员是否在岗以及在岗的置信度。本发明实施例提出了的预测模型为基于YOLOv5的泳池安全员离岗检测模型，可实现对多个游泳池的实时监控，快速检测到泳池安全员离岗现象并触发警告，从而排除泳池的安全隐患。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的泳池安全员离岗检测方法的流程示意图；
图2为本发明实施例提供的泳池安全员离岗检测方法的子流程示意图；
图3为本发明实施例提供的泳池安全员离岗检测方法的又一子流程示意图；
图4为本发明实施例提供的泳池安全员离岗检测方法的又一子流程示意图；
图5为本发明实施例提供的泳池安全员离岗检测装置的示意性框图；
图6为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和 “包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/ 或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1，图1为本发明实施例提供的泳池安全员离岗检测方法的流程示意图；
如图1所示，该方法包括步骤S101~S105。
S101、获取各个泳池场景的图像并构建对应每一泳池场景的图像集合；
该步骤中，各个泳池场景由监控设备（如摄像头）进行监控，通过定期或不定期的抽帧方法采集各个泳池场景的图像，得到每个泳池场景的图像集合。
S102、对每一所述图像集合的所有图像中的高椅进行标注并得到高椅位置信息，以及对每一所述图像集合中预设比例的图像中的安全员进行标注并得到安全员位置信息；
S103、对标注有高椅位置信息和安全员位置信息的图像进行分类和类别置信度训练，得到预测模型；
S104、对每个图像集合中未标注的安全员的图像进行预测训练，优化预测模型；
步骤S102-S104为建立并优化预测模型的过程，具体为：先使用YOLOv5网络对标注了高椅和安全员的图像进分类和类别置信度训练，得到初始的预测模型，再通过对未标注的安全员的图像进行多轮迭代预测训练，使预测模型的识别准确率逐步上升，从而优化预测模型。
S105、将待预测图像输入所述预测模型进行预测处理，输出预测的高椅位置信息和安全员位置信息；
S106、计算所述待预测图像中高椅位置信息和安全员位置信息的交并比并得到交并比矩阵；
S107、根据所述交并比矩阵判断安全员是否在岗以及在岗的置信度。
步骤S105-S107为对待预测图像进行预测并判断安全员是否在岗以及在岗的置信度的过程，从而实现对游泳场景进行实时监控，通过快速检测到泳池安全员离岗现象并触发警报，从而排除泳池的安全隐患。
在一实施例中，如图2所示，所述步骤S102包括：
S201、从每一所述图像集合中选取一张图像，采用矩形框对选取的图像中的高椅进行框取并得到高椅矩形框，并将该高椅矩形框复制到与其同一图像集合的其余图像中；
S202、从每一所述图像集合中选取预设比例的图像，采用矩形框对选取的图像中的安全员进行框取并得到安全员矩形框；
S203、以图像左上角作为原点，得到高椅矩形框和安全员矩形框的位置信息
Figure DEST_PATH_IMAGE001
，其中x和y分别表示矩形框中心点在图像上的横坐标和纵坐标的归一化坐标，w和h分别表示矩形框长度和高度相对于图像大小的比例，c表示类别，c为0时表示高椅，c为1时表示安全员。
本实施例中，由于同一图像集合中的图像中的高椅的位置是固定不变的，因此只需从每一图像集合中选取一张图像进行高椅标注并得到高椅矩形框，再将高椅矩形框复制到与其同一图像集合的其余图像中即可完成该图像集合的所有高椅标注；另外对每一所述图像集合中20%的图像中的安全员进行标注并得到安全员矩形框。
对于得到的高椅矩形框和安全员矩形框，采用特征维数为5的xywhc格式进行表示，从而方便确认矩形框的准确位置。
在一实施例中，所述步骤S103包括：
采用非极大值抑制算法确认出对应高椅的预测矩形框和对应安全员的预测矩形框；
按如下公式进行训练并得到预测模型：
Figure 498690DEST_PATH_IMAGE002
；
Figure DEST_PATH_IMAGE003
；
Figure 232029DEST_PATH_IMAGE004
；
Figure DEST_PATH_IMAGE005
；
其中，k为预测矩形框内物体为高椅或安全员的置信度，
Figure 966767DEST_PATH_IMAGE006
表示预测矩形框内有高椅或安全员的概率，
Figure DEST_PATH_IMAGE007
表示真实矩形框与预测矩形框的交并比，
Figure 562221DEST_PATH_IMAGE008
表示真实矩形框与预测矩形框的广义交并比，C表示可以覆盖真实预测框和预测真实框的最小封闭凸面，“\”表示C中没覆盖到真实预测框和预测真实框的面积，
Figure DEST_PATH_IMAGE009
为损失函数。
本实施例介绍了训练的过程，具体为：基于目标检测算法，对每张图像中矩形框的位置区域进行检测，初始时会有多个预测矩形框，但目标是只保留一个，故采用非极大值抑制算法进行筛选并确认出最大分类置信度对应的预测矩形框；然后再通过上述公式对预测矩形框进行分类训练和类别置信度训练，分类训练的类别是指为高椅或者安全员，类别置信度训练的置信度是指为高椅的概率或者为安全员的概率，从而得到预测模型。
其中，介绍采用非极大值抑制算法进行筛选高椅的预测矩形框的过程：
步骤1、将图像内的多个候选矩形框进行重叠度排序，也就是属于高椅的概率排序，并选中概率最高的候选矩形框；
步骤2、遍历图像内的其他候选矩形框，若与概率最高的候选矩形框的重叠度大于预设重叠度阈值，则将概率最高的候选矩形框和重叠度大于预设重叠度阈值的候选矩形框一同删除；
步骤3、在剩余的候选矩形框中，多次迭代步骤1和步骤2，直到冗余的候选矩形框被去除，得到最后一个候选矩形框并作为对应高椅的预测矩形框。
下面针对得到的预测模型进一步进行优化，如图3所示，所述步骤S104包括：
S301、通过预测模型对每个图像集合中未标注的安全员的图像进行预测训练，得到预测矩形框的位置信息；
S302、对得到的预测矩形框的位置信息进行筛选，得到预测错误的图像，其中，预测正确的条件为：每个预测矩形框的分类结果正确，以及预测矩形框与对应的真实矩形框的IOU值达到预设阈值；
步骤S301-S302中介绍了通过预测模型进行预测并筛选出预测错误的图像的过程，筛选的方法可以采用专家(Expert)，筛选时，基于预测正确的条件将预测正确的图像排除即可，预测正确的条件有两条且需同时满足，一条为每个预测矩形框的分类结果正确，另一条为预测矩形框与对应的真实矩形框的IOU值达到预设阈值，其中预设阈值为0.8；基于此，确认出预测错误的图像并通过步骤S303重新进行预测训练；
S303、对预测错误的图像重新进行预测训练，经过多轮迭代后得到优化后的预测模型，其中优化预测模型的过程为：
Figure 578456DEST_PATH_IMAGE010
；
Figure DEST_PATH_IMAGE011
；
Figure 198924DEST_PATH_IMAGE012
；
Figure DEST_PATH_IMAGE013
；
其中，
Figure 543711DEST_PATH_IMAGE014
和
Figure DEST_PATH_IMAGE015
分别表示第
Figure DEST_PATH_IMAGE017
轮预测训练时从预测结果
Figure 843106DEST_PATH_IMAGE018
中筛选出的预测正确和错误的预测矩形框，
Figure DEST_PATH_IMAGE019
表示第j轮通过预测训练得到的预测模型，
Figure 663032DEST_PATH_IMAGE020
表示由
Figure 341269DEST_PATH_IMAGE019
预测正确矩形框后更新预测训练得到，
Figure DEST_PATH_IMAGE021
表示使用
Figure 716012DEST_PATH_IMAGE020
对上一轮预测错误的预测矩形框重新进行预测训练得到的预测结果，
Figure 220811DEST_PATH_IMAGE022
表示专家(Expert)对预测结果
Figure 532844DEST_PATH_IMAGE018
进行筛选和确认。
通过预设轮数的迭代训练或者预测训练的预测结果全部正确后，即可完成预测模型优化，从而提高了预测模型的识别准确率。
下面对步骤S105更进一步的进行介绍，具体为使用优化后的预测模型对各个泳池场景进行实时监控的过程：
从各个泳池场景的视频数据中抽取待预测图像，然后将待预测图像输入所述预测模型进行预测处理，输出预测的安全员位置信息
Figure DEST_PATH_IMAGE023
和高椅位置信息
Figure 393484DEST_PATH_IMAGE024
，其中，x和y分别表示矩形框中心点在图像上的横坐标和纵坐标的归一化坐标，w和h分别表示矩形框长度和高度相对于图像大小的比例，1（或其他字符）表示安全员，0（或其他字符）表示高椅，s表示该预测矩形框为安全员矩形框的置信度，g表示该预测矩形框为高椅矩形框的置信度。
下面进一步介绍步骤S106，包括：
计算待预测图像中高椅矩形框和安全员矩形框的交并比并得到交并比矩阵
Figure DEST_PATH_IMAGE025
，
Figure 826213DEST_PATH_IMAGE026
和
Figure DEST_PATH_IMAGE027
分别表示预测图像中预测出的安全员和高椅的数量；
根据所述交并比矩阵
Figure 772303DEST_PATH_IMAGE025
中的元素
Figure 137295DEST_PATH_IMAGE028
的值，判断安全员与高椅的位置关系，其中
Figure 39391DEST_PATH_IMAGE028
表示第i个安全员和对应的第i个高椅的位置关系，若元素
Figure 333101DEST_PATH_IMAGE028
为0则表示预测安全员没有在对应的高椅旁，若元素
Figure DEST_PATH_IMAGE029
为非0则表示预测安全员在对应的高椅旁。
具体的，以一待预测图像进行举例，假设待预测图像中有三张高椅，每一高椅配置一名安全员，即交并比矩阵
Figure 2373DEST_PATH_IMAGE025
为3×3的矩阵，若识别到第一张高椅旁边没有安全员，则说明第一张高椅对应的安全员离岗了，故交并比矩阵
Figure 921787DEST_PATH_IMAGE025
中的元素
Figure 429123DEST_PATH_IMAGE030
为0；反之若识别到第一张高椅旁边有安全员，则交并比矩阵
Figure 143001DEST_PATH_IMAGE025
中的元素
Figure 499902DEST_PATH_IMAGE030
为非0。
下面介绍步骤S107，具体为根据交并比矩阵
Figure 957428DEST_PATH_IMAGE025
的结果对在岗的安全员进行在岗置信度分析的过程，如图4所示，包括：
S401、计算所述交并比矩阵
Figure 319271DEST_PATH_IMAGE025
中的元素
Figure 469629DEST_PATH_IMAGE028
的非0元素个数；
S402、若非0元素个数小于高椅的数量，则将为0的元素对应的安全员判定为离岗，并将离岗信息发送至监控终端；
步骤S401-S402中初步确认了根据交并比矩阵
Figure 644652DEST_PATH_IMAGE025
得到是否有离岗安全员的过程，对于存在离岗情况的直接将离岗信息发送至监控终端并触发警告。
S403、若非0元素个数大于等于高椅的数量，则按如下公式计算每张高椅上安全员在岗的置信度Confk：
Figure DEST_PATH_IMAGE031
；
其中，
Figure 453339DEST_PATH_IMAGE032
表示安全员矩形框中心点高度，
Figure DEST_PATH_IMAGE033
表示高椅矩形框中心点高度；
S404、判断安全员矩形框与高椅矩形框是否有交集区域，以及判断Confk是否大于预设置信度，若有交集区域且大于预设置信度则判断在岗，若未满足任一判断条件，则判定有离岗现象，并对应的离岗信息发送至监控终端。
步骤S403-S404进一步对在岗的安全员进行在岗的置信度Confk计算，根据上述公式，将安全员矩形框和高椅矩形框的位置参数代入公式，即可计算出对应安全员的在岗置信度Confk，最后，再基于两个判断条件判断是否有离岗现象，即安全员矩形框与高椅矩形框是否有交集区域，以及Confk是否大于预设置信度，其中预设置信度为0.2，同时满足这两个条件即可判定位在岗。
本发明实施例还提供一种泳池安全员离岗检测装置，该泳池安全员离岗检测装置用于执行前述泳池安全员离岗检测方法的任一实施例。具体地，请参阅图5，图5是本发明实施例提供的泳池安全员离岗检测装置的示意性框图。
如图5所示，泳池安全员离岗检测装置500，包括：构建单元501、标注单元502、训练单元503、优化单元504、预测单元505、计算单元506以及判断单元507。
构建单元501，用于获取各个泳池场景的图像并构建对应每一泳池场景的图像集合；
标注单元502，用于对每一所述图像集合的所有图像中的高椅进行标注并得到高椅位置信息，以及对每一所述图像集合中预设比例的图像中的安全员进行标注并得到安全员位置信息；
训练单元503，用于对标注有高椅位置信息和安全员位置信息的图像进行分类和类别置信度训练，得到预测模型；
优化单元504，用于对每个图像集合中未标注的安全员的图像进行预测训练，优化预测模型；
预测单元505，用于将待预测图像输入所述预测模型进行预测处理，输出预测的高椅位置信息和安全员位置信息；
计算单元506，用于计算所述待预测图像中高椅位置信息和安全员位置信息的交并比并得到交并比矩阵；
判断单元507，用于根据所述交并比矩阵判断安全员是否在岗以及在岗的置信度。
该装置可实现对多个游泳场景的实时监控，快速检测到泳池安全员离岗现象并触发警告，从而排除泳池的安全隐患。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
上述泳池安全员离岗检测装置可以实现为计算机程序的形式，该计算机程序可以在如图6所示的计算机设备上运行。
请参阅图6，图6是本发明实施例提供的计算机设备的示意性框图。该计算机设备600是服务器，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
参阅图6，该计算机设备600包括通过系统总线601连接的处理器602、存储器和网络接口605，其中，存储器可以包括非易失性存储介质603和内存储器604。
该非易失性存储介质603可存储操作系统6031和计算机程序6032。该计算机程序6032被执行时，可使得处理器602执行泳池安全员离岗检测方法。
该处理器602用于提供计算和控制能力，支撑整个计算机设备600的运行。
该内存储器604为非易失性存储介质603中的计算机程序6032的运行提供环境，该计算机程序6032被处理器602执行时，可使得处理器602执行泳池安全员离岗检测方法。
该网络接口605用于进行网络通信，如提供数据信息的传输等。本领域技术人员可以理解，图6中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的计算机设备600的限定，具体的计算机设备600可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本领域技术人员可以理解，图6中示出的计算机设备的实施例并不构成对计算机设备具体构成的限定，在其他实施例中，计算机设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。例如，在一些实施例中，计算机设备可以仅包括存储器及处理器，在这样的实施例中，存储器及处理器的结构及功能与图6所示实施例一致，在此不再赘述。
应当理解，在本发明实施例中，处理器602可以是中央处理单元 (CentralProcessing Unit，CPU)，该处理器602还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路 (Application Specific IntegratedCircuit，ASIC)、现成可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
在本发明的另一实施例中提供计算机可读存储介质。该计算机可读存储介质可以为非易失性的计算机可读存储介质。该计算机可读存储介质存储有计算机程序，其中计算机程序被处理器执行时实现本发明实施例的泳池安全员离岗检测方法。
所述存储介质为实体的、非瞬时性的存储介质，例如可以是U盘、移动硬盘、只读存储器（Read-Only Memory，ROM）、磁碟或者光盘等各种可以存储程序代码的实体存储介质。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的设备、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种泳池安全员离岗检测方法，其特征在于，包括：
获取各个泳池场景的图像并构建对应每一泳池场景的图像集合；
对每一所述图像集合的所有图像中的高椅进行标注并得到高椅位置信息，以及对每一所述图像集合中预设比例的图像中的安全员进行标注并得到安全员位置信息；
对标注有高椅位置信息和安全员位置信息的图像进行分类和类别置信度训练，得到预测模型；
对每个图像集合中未标注的安全员的图像进行预测训练，优化预测模型；
将待预测图像输入所述预测模型进行预测处理，输出预测的高椅位置信息和安全员位置信息；
计算所述待预测图像中高椅位置信息和安全员位置信息的交并比并得到交并比矩阵；
根据所述交并比矩阵判断安全员是否在岗以及在岗的置信度。
2.根据权利要求1所述的泳池安全员离岗检测方法，其特征在于，所述对每一所述图像集合的所有图像中的高椅进行标注并得到高椅位置信息，以及对每一所述图像集合中预设比例的图像中的安全员进行标注并得到安全员位置信息，包括：
从每一所述图像集合中选取一张图像，采用矩形框对选取的图像中的高椅进行框取并得到高椅矩形框，并将该高椅矩形框复制到与其同一图像集合的其余图像中；
从每一所述图像集合中选取预设比例的图像，采用矩形框对选取的图像中的安全员进行框取并得到安全员矩形框；
以图像左上角作为原点，得到高椅矩形框和安全员矩形框的位置信息
Figure 151286DEST_PATH_IMAGE001
，其中x和y分别表示矩形框中心点在图像上的横坐标和纵坐标的归一化坐标，w和h分别表示矩形框长度和高度相对于图像大小的比例，c表示类别，c为0时表示高椅，c为1时表示安全员。
3.根据权利要求2所述的泳池安全员离岗检测方法，其特征在于，所述对标注有高椅位置信息和安全员位置信息的图像进行分类和类别置信度训练，得到预测模型，包括：
采用非极大值抑制算法确认出对应高椅的预测矩形框和对应安全员的预测矩形框；
按如下公式进行训练并得到预测模型：
Figure 223278DEST_PATH_IMAGE002
；
Figure 39924DEST_PATH_IMAGE003
；
Figure 88521DEST_PATH_IMAGE004
；
Figure 284010DEST_PATH_IMAGE005
；
其中，k为预测矩形框内物体为高椅或安全员的置信度，
Figure 510592DEST_PATH_IMAGE006
表示预测矩形框内有高椅或安全员的概率，
Figure 801152DEST_PATH_IMAGE007
表示真实矩形框与预测矩形框的交并比，
Figure 138593DEST_PATH_IMAGE008
表示真实矩形框与预测矩形框的广义交并比，C表示可以覆盖真实预测框和预测真实框的最小封闭凸面，“\”表示C中没覆盖到真实预测框和预测真实框的面积，
Figure 595113DEST_PATH_IMAGE009
为损失函数。
4.根据权利要求1所述的泳池安全员离岗检测方法，其特征在于，所述对每个图像集合中未标注的安全员的图像进行预测训练，优化预测模型，包括：
通过预测模型对每个图像集合中未标注的安全员的图像进行预测训练，得到预测矩形框的位置信息；
对得到的预测矩形框的位置信息进行筛选，得到预测错误的图像，其中，预测正确的条件为：每个预测矩形框的分类结果正确，以及预测矩形框与对应的真实矩形框的IOU值达到预设阈值；
对预测错误的图像重新进行预测训练，经过多轮迭代后得到优化后的预测模型，其中优化预测模型的过程为：
Figure 727017DEST_PATH_IMAGE010
；
Figure 767523DEST_PATH_IMAGE011
；
Figure 908654DEST_PATH_IMAGE012
；
Figure 219681DEST_PATH_IMAGE013
；
其中，
Figure 788066DEST_PATH_IMAGE014
和
Figure 189571DEST_PATH_IMAGE015
分别表示第
Figure 885126DEST_PATH_IMAGE016
轮预测训练时从预测结果
Figure 34347DEST_PATH_IMAGE017
中筛选出的预测正确和错误的预测矩形框，
Figure 288480DEST_PATH_IMAGE018
表示第j轮通过预测训练得到的预测模型，
Figure 523152DEST_PATH_IMAGE019
表示由
Figure 756819DEST_PATH_IMAGE018
预测正确矩形框后更新预测训练得到，
Figure 291705DEST_PATH_IMAGE020
表示使用
Figure 188510DEST_PATH_IMAGE019
对上一轮预测错误的预测矩形框重新进行预测训练得到的预测结果，
Figure 176058DEST_PATH_IMAGE021
表示对预测结果
Figure 213415DEST_PATH_IMAGE017
进行筛选和确认。
5.根据权利要求1所述的泳池安全员离岗检测方法，其特征在于，所述将待预测图像输入所述预测模型进行预测处理，输出预测的高椅位置信息和安全员位置信息，包括：
将待预测图像输入所述预测模型进行标注处理，输出安全员位置信息
Figure 602808DEST_PATH_IMAGE022
和高椅位置信息
Figure 57798DEST_PATH_IMAGE023
，其中，x和y分别表示矩形框中心点在图像上的横坐标和纵坐标的归一化坐标，w和h分别表示矩形框长度和高度相对于图像大小的比例，1表示安全员，0表示高椅，s表示该预测矩形框为安全员矩形框的置信度，g表示该预测矩形框为高椅矩形框的置信度。
6.根据权利要求1所述的泳池安全员离岗检测方法，其特征在于，所述计算所述待预测图像中高椅位置信息和安全员位置信息的交并比并得到交并比矩阵，包括：
计算待预测图像中高椅矩形框和安全员矩形框的交并比并得到交并比矩阵
Figure 17795DEST_PATH_IMAGE024
，
Figure 842531DEST_PATH_IMAGE025
和
Figure 807470DEST_PATH_IMAGE026
分别表示预测图像中预测出的安全员和高椅的数量；
根据所述交并比矩阵
Figure 325039DEST_PATH_IMAGE024
中的元素
Figure 37911DEST_PATH_IMAGE027
的值，判断安全员与高椅的位置关系，其中
Figure 666338DEST_PATH_IMAGE027
表示第i个安全员和对应的第i个高椅的位置关系，若元素
Figure 14012DEST_PATH_IMAGE027
为0则表示预测安全员没有在对应的高椅旁，若元素
Figure 312269DEST_PATH_IMAGE028
为非0则表示预测安全员在对应的高椅旁。
7.根据权利要求6所述的泳池安全员离岗检测方法，其特征在于，所述根据所述交并比矩阵判断安全员是否在岗以及在岗的置信度，包括：
计算所述交并比矩阵
Figure 761705DEST_PATH_IMAGE024
中的元素
Figure 180442DEST_PATH_IMAGE027
的非0元素个数；
若非0元素个数小于高椅的数量，则将为0的元素对应的安全员判定为离岗，并将离岗信息发送至监控终端；
若非0元素个数大于等于高椅的数量，则按如下公式计算每张高椅上安全员在岗的置信度Confk：
Figure 133354DEST_PATH_IMAGE029
；
其中，
Figure 743458DEST_PATH_IMAGE030
表示安全员矩形框中心点高度，
Figure 414611DEST_PATH_IMAGE031
表示高椅矩形框中心点高度；
判断安全员矩形框与高椅矩形框是否有交集区域，以及判断Confk是否大于预设置信度，若有交集区域且大于预设置信度则判断在岗，若未满足任一判断条件，则判定有离岗现象，并对应的离岗信息发送至监控终端。
8.一种泳池安全员离岗检测装置，其特征在于，包括：
构建单元，用于获取各个泳池场景的图像并构建对应每一泳池场景的图像集合；
标注单元，用于对每一所述图像集合的所有图像中的高椅进行标注并得到高椅位置信息，以及对每一所述图像集合中预设比例的图像中的安全员进行标注并得到安全员位置信息；
训练单元，用于对标注有高椅位置信息和安全员位置信息的图像进行分类和类别置信度训练，得到预测模型；
优化单元，用于对每个图像集合中未标注的安全员的图像进行预测训练，优化预测模型；
预测单元，用于将待预测图像输入所述预测模型进行预测处理，输出预测的高椅位置信息和安全员位置信息；
计算单元，用于计算所述待预测图像中高椅位置信息和安全员位置信息的交并比并得到交并比矩阵；
判断单元，用于根据所述交并比矩阵判断安全员是否在岗以及在岗的置信度。
9.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的泳池安全员离岗检测方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如权利要求1至7任一项所述的泳池安全员离岗检测方法。
CN202111404473.4A 2021-11-24 2021-11-24 一种离岗检测方法、装置、计算机设备及存储介质 Active CN113822259B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111404473.4A CN113822259B (zh) 2021-11-24 2021-11-24 一种离岗检测方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111404473.4A CN113822259B (zh) 2021-11-24 2021-11-24 一种离岗检测方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN113822259A true CN113822259A (zh) 2021-12-21
CN113822259B CN113822259B (zh) 2022-03-15

Family

ID=78918160

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111404473.4A Active CN113822259B (zh) 2021-11-24 2021-11-24 一种离岗检测方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN113822259B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114359967A (zh) * 2022-01-10 2022-04-15 杭州巨岩欣成科技有限公司 泳池防溺水人体目标检测方法、装置、计算机设备及存储介质
CN115049948A (zh) * 2022-08-15 2022-09-13 深圳市万物云科技有限公司 基于神经网络模型的无人机巡检方法、装置及相关设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109726755A (zh) * 2018-12-26 2019-05-07 北京云测信息技术有限公司 一种图片标注方法、装置及电子设备
CN110348312A (zh) * 2019-06-14 2019-10-18 武汉大学 一种区域视频人体动作行为实时识别方法
CN110826538A (zh) * 2019-12-06 2020-02-21 合肥科大智能机器人技术有限公司 一种用于电力营业厅的异常离岗识别系统
CN113052127A (zh) * 2021-04-09 2021-06-29 上海云从企业发展有限公司 一种行为检测方法、系统、计算机设备及机器可读介质
CN113052049A (zh) * 2021-03-18 2021-06-29 国网内蒙古东部电力有限公司 基于人工智能工装识别的离岗检测方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109726755A (zh) * 2018-12-26 2019-05-07 北京云测信息技术有限公司 一种图片标注方法、装置及电子设备
CN110348312A (zh) * 2019-06-14 2019-10-18 武汉大学 一种区域视频人体动作行为实时识别方法
CN110826538A (zh) * 2019-12-06 2020-02-21 合肥科大智能机器人技术有限公司 一种用于电力营业厅的异常离岗识别系统
CN113052049A (zh) * 2021-03-18 2021-06-29 国网内蒙古东部电力有限公司 基于人工智能工装识别的离岗检测方法和装置
CN113052127A (zh) * 2021-04-09 2021-06-29 上海云从企业发展有限公司 一种行为检测方法、系统、计算机设备及机器可读介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
姚巍巍等: "融合目标检测和人体关键点检测的铁路司机行为识别", 《计算机测量与控制》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114359967A (zh) * 2022-01-10 2022-04-15 杭州巨岩欣成科技有限公司 泳池防溺水人体目标检测方法、装置、计算机设备及存储介质
CN115049948A (zh) * 2022-08-15 2022-09-13 深圳市万物云科技有限公司 基于神经网络模型的无人机巡检方法、装置及相关设备
CN115049948B (zh) * 2022-08-15 2022-11-22 深圳市万物云科技有限公司 基于神经网络模型的无人机巡检方法、装置及相关设备

Also Published As

Publication number Publication date
CN113822259B (zh) 2022-03-15

Similar Documents

Publication Publication Date Title
CN113822259B (zh) 一种离岗检测方法、装置、计算机设备及存储介质
CN112085010B (zh) 一种基于图像识别的口罩检测和部署系统及方法
CN111191486B (zh) 一种溺水行为识别方法、监控相机及监控系统
US11482030B2 (en) System and method for automatic detection and recognition of people wearing personal protective equipment using deep learning
US11461997B2 (en) Matching method and apparatus, electronic device, computer-readable storage medium, and computer program
CN109637086A (zh) 报警方法及系统
CN111191507A (zh) 智慧社区的安全预警分析方法及系统
CN114117032A (zh) 一种基于实时应急数据生成预案的方法及装置、电子设备
CN110602446A (zh) 垃圾回收提醒方法、系统及存储介质
CN111401239B (zh) 一种视频分析方法、装置、系统、设备及存储介质
CN110807886A (zh) 社区安全预警方法及系统
CN116778673A (zh) 水域安全监控方法、系统、终端及存储介质
CN110796068A (zh) 社区泳池溺水检测方法及系统
WO2024001617A1 (zh) 玩手机行为识别方法及装置
CN111783561A (zh) 审图结果修正方法、电子设备及相关产品
CN114973589B (zh) 火情信息生成方法、装置、电子设备和计算机可读介质
CN114170677A (zh) 一种检测抽烟行为的网络模型训练方法及其设备
CN115147755A (zh) 人员救援疏散方法、系统、装置、电子设备及存储介质
CN110991375B (zh) 一种群体行为分析方法及装置
CN115171335A (zh) 一种融合图像和语音的独居老人室内安全保护方法及装置
CN114332695A (zh) 电梯开关门的识别方法、设备及存储介质
CN110852517B (zh) 非正常行为预警方法、装置、数据处理设备及存储介质
CN113689665A (zh) 基于ai视觉的游泳防溺水识别方法
CN112037360A (zh) 基于巡游机器人的灾害处理方法、装置及系统
CN115376275B (zh) 一种基于图像处理的施工安全告警方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant