CN115797832A - 一种游泳场景下的异常行为识别方法、系统及存储介质 - Google Patents

Abstract

本发明提供了一种游泳场景下的异常行为识别方法、系统及存储介质，异常行为识别方法包括步骤：获取广域视频数据流，对视频数据流的各帧图像中的人物执行第一运动轨迹追踪，获得重点人物识别目标及其第一运动轨迹追踪信息和第一人物特征信息；对重点人物识别目标所在区域进行聚焦处理获得局域视频数据流，获得重点人物识别目标的第二运动轨迹追踪信息和第二人物特征信息；以及根据第一运动轨迹追踪信息、第一人物特征信息、第二运动轨迹追踪信息和第二人物特征信息，判断重点人物识别目标是否存在异常行为。本发明将初步识别与重点目标识别相结合，实现了游泳场景下对泳客异常行为的准确识别，提高了游泳场景下溺水报警的准确率。

Description

一种游泳场景下的异常行为识别方法、系统及存储介质

技术领域

本发明涉及计算行为识别技术领域，尤其涉及一种游泳场景下的异常行为识别方法及系统。

背景技术

游泳是一项高危运动，即使是在室内游泳馆，每年都会发生溺水事故。为了预防这类事故的发生，常规的做法是配备专业救生员并加强管理，但人总会有疏忽大意的时候。为了确保万无一失，人们寻找各种技术手段来协助预防溺水事故。其中一个办法就是安装摄像头，运用人工智能算法，自动识别泳客的溺水异常行为，一旦检测到异常，系统会进行报警，提醒工作人员及时进行干预处理。

现有的游泳场景异常行为识别技术，通常是收集各种异常的溺水视频和各种正常的游泳视频，制作数据集，训练算法，让算法学习到什么是正常的游泳行为，什么是异常的溺水情况。从理论上说，只要数据集足够大，各种情况覆盖足够全面，就能保证算法有足够高的准确性，但是实际上，算法模型都不够强壮，应对游泳场景实际复杂环境，容易导致出现误报、漏报等问题，人物识别目标异常行为识别准确率低。

因此急需一种游泳场景下异常行为高效准确识别方法。

发明内容

本发明提出了一种游泳场景下的异常行为识别方法及系统，以克服游泳场景下高危游泳运动中的异常行为的识别准确率低的问题。

为了实现上述目的，本发明首先提供一种游泳场景下的异常行为识别方法，包括以下步骤：获取广域视频数据流，对所述视频数据流的各帧图像中的人物执行第一运动轨迹追踪，获得重点人物识别目标及其第一运动轨迹追踪信息和第一人物特征信息；对所述重点人物识别目标所在区域进行聚焦处理获得局域视频数据流，获得重点人物识别目标的第二运动轨迹追踪信息和第二人物特征信息；以及根据所述第一运动轨迹追踪信息、第一人物特征信息、第二运动轨迹追踪信息和第二人物特征信息，判断所述重点人物识别目标是否存在异常行为。

进一步，所述获取广域视频数据流，对所述视频数据流的各帧图像中的人物执行第一运动轨迹追踪，获得重点人物识别目标及其第一运动轨迹追踪信息和第一人物特征信息的步骤，包括：获取广域视频数据流，对所述视频数据流的各帧图像中的人物执行第一运动轨迹追踪，获得运动轨迹追踪后的人物识别目标的第一运动轨迹追踪信息和第一人物特征信息；根据所述第一人物特征信息，利用头部姿态识别算法识别所述人物识别目标的头部姿态，获得头部处于水面之上的第一头部姿态信息和头部处于水面之下的第二头部姿态信息；根据所述重点人物识别目标从首次出现的帧图像移动到当前帧图像中的第一运动轨迹追踪信息，计算当前帧图像中人物识别目标从首次出现的帧图像中的位置运动到当前帧图像中的位置的第一平均运动速度；根据所述人物识别目标的所述第一平均运动速度、所述第一头部姿态信息，以及所述第一运动轨迹追踪信息在帧图像上的连续性，确定具有异常特征的重点人物识别目标；以及获得重点人物识别目标及其第一运动轨迹追踪信息和第一人物特征信息。

进一步，所述对所述重点人物识别目标所在区域进行聚焦处理获得局域视频数据流，获得重点人物识别目标的第二运动轨迹追踪信息和第二人物特征信息的步骤，包括：对所述重点人物识别目标所在区域进行聚焦处理，然后对聚焦区域中的人物执行第二运动轨迹追踪，获得运动轨迹追踪后的人物识别目标的第二运动轨迹追踪信息和第二人物特征信息；以及利用头部姿态识别算法识别所述人物识别目标的头部姿态，获得头部处于水面之上的第一头部姿态信息和头部处于水面之下的第二头部姿态信息。

进一步，所述获取广域视频数据流的步骤，包括：调用安装在水面上方的普通摄像头，对游泳场景下的人物进行监测，产生广域视频数据流；所述对所述重点人物识别目标所在区域进行聚焦处理获得局域视频数据流的步骤，包括：调用多个安装在水面之上的相对的变焦摄像头，对所述重点人物识别目标所在区域进行聚焦处理获得局域视频数据流。

进一步，所述根据所述第一运动轨迹追踪信息、第一人物特征信息、第二运动轨迹追踪信息和第二人物特征信息，判断所述重点人物识别目标是否存在异常行为的步骤，包括：根据第一运动轨迹追踪信息获取所述重点人物识别目标的第一当前位置；根据所述第一平均运动速度和第一当前位置，获取所述重点人物识别目标的预测位置；根据所述第二运动轨迹追踪信息获取所述重点人物识别目标的第二平均运动速度和第二当前位置；以及在所述第二平均运动速度与所述第一平均运动速度的差值在预设范围内，并且所述第二当前位置不在所述预测位置内时，判定所述重点人物识别目标存在异常行为，否则判定不存在异常行为。

进一步，所述根据所述人物识别目标的所述第一平均运动速度、所述第一头部姿态信息，以及所述第一运动轨迹追踪信息在帧图像上的连续性，确定具有异常特征的重点人物识别目标的步骤，包括：根据当前帧图像的上一帧图像中的人物识别目标的第一运动轨迹追踪信息在上一帧图像到当前帧图像的连续性，确定所述上一帧图像中未出现在当前帧图像中的第一人物识别目标，将所述第一人物识别目标确定为一级异常重点人物识别目标；以及根据当前帧图像中人物识别目标的第一人体头部姿态信息，将头部低于水平面且相应的所述第一平均运动速度小于第一阈值的第二人物识别目标确定为二级异常重点人物识别目标，将头部高于水平面且相应的所述第一平均运动速度小于第一阈值的第三人物识别目标确定为三级异常重点人物识别目标。

进一步，所述判断所述重点人物识别目标是否存在异常行为的步骤包括：将所述重点人物识别目标划分为一级异常重点人物识别目标、二级异常重点人物识别目标和三级异常重点人物识别目标；对一级异常重点人物识别目标，选取上一帧图像之后，预设时间之内的第一相邻连续帧图像，根据所述一级异常重点人物识别目标的第一人物特征信息和所述第一相邻连续帧图像中所有人物识别目标的第二人物特征信息，计算所述第一人物识别目标与所述第一相邻连续帧图像中的每一帧图像的每一个人物识别目标的最小余弦距离，逐帧地累计出现最小余弦距离小于第二阈值的第一次数，当累计的所述第一次数的最大值小于第三阈值时，判定为存在异常行为；对二级异常重点人物识别目标，选取当前帧图像之后，预设时间之内的第二相邻连续帧图像，根据所述二级异常重点人物识别目标在所述第二相邻连续帧图像中的第二运动轨迹追踪信息，计算所述二级异常重点人物识别目标从当前帧图像中的位置运动到每个轨迹追踪对象的位置的第二平均运动速度；在所述的第二相邻连续帧图像中，逐帧对所述二级异常重点人物识别目标出现头部小于水平面之下的所述第二头部姿态识别结果的次数和存在所述第三平均运动速度小于第一阈值的次数进行累计求和，获得第三次数，当所述第三次数的最大值小于第三阈值时，判定为存在异常行为；以及对所述三级异常重点人物识别目标，选取当前帧图像之后，预设时间之内的第三相邻连续帧图像，根据所述三级异常重点人物识别目标在第三相邻连续帧图像中的第二运动轨迹追踪信息，计算所述三级异常重点人物识别目标从当前帧图像中的位置运动到每个轨迹追踪对象的位置的第三平均运动速度；在所述的第三相邻连续帧图像中，逐帧对所述三级异常重点人物识别目标出现头部小于水平面之下的所述第二头部姿态识别结果的次数和存在所述第三平均运动速度小于第一阈值的次数进行累计求和，获得第三次数，当所述第三次数的最大值小于第三阈值时，判定为存在异常行为。

进一步，所述计算所述二级异常重点人物识别目标从当前帧图像中的位置运动到每个轨迹追踪对象的位置的第二平均运动速度的步骤，包括：在所述第二相邻连续帧图像中，依次计算所述二级异常重点人物识别目标的轨迹追踪对象的位置之间的直线运动距离，获得所述二级异常重点人物识别目标从当前帧图像中的位置运动到每个轨迹追踪对象的位置的第一直线运动距离；根据相机的成像帧率，计算当前帧图像到每个轨迹追踪对象所在帧图像的第一运动时间；以及根据所述第一直线运动距离和所述第一运动时间，计算所述第一直线运动距离与所述第一运动时间的商，获得所述二级异常重点人物识别目标从当前帧图像中的位置运动到每个轨迹追踪对象的位置的第二平均运动速度。

进一步，所述计算所述三级异常重点人物识别目标从当前帧图像中的位置运动到每个轨迹追踪对象的位置的第三平均运动速度的步骤，包括：在所述第三相邻连续帧图像中，依次计算所述三级异常重点人物识别目标的轨迹追踪对象的位置之间的直线运动距离，获得所述三级异常重点人物识别目标从当前帧图像中的位置运动到每个轨迹追踪对象的位置的第二直线运动距离；根据相机的成像帧率，计算当前帧图像到每个轨迹追踪对象所在帧图像的第二运动时间；以及根据所述第二直线运动距离和所述第二运动时间，计算所述第二直线运动距离与所述第二运动时间的商，获得所述三级异常重点人物识别目标从当前帧图像中的位置运动到每个轨迹追踪对象的位置的第三平均运动速度。

进一步，所述游泳场景下的异常行为识别方法，还包括步骤：当判断所述重点人物识别目标为存在异常行为时，触发警报；否则，取消对所述重点人物识别目标的聚焦处理。

本发明另提供一种游泳场景下的异常行为识别系统，包括：初步识别模块，用于获取广域视频数据流，对所述视频数据流的各帧图像中的人物执行第一运动轨迹追踪，获得重点人物识别目标及其第一运动轨迹追踪信息和第一人物特征信息；重点目标追踪模块，用于对所述重点人物识别目标所在区域进行聚焦处理获得局域视频数据流，获得重点人物识别目标的第二运动轨迹追踪信息和第二人物特征信息；以及异常行为识别模块，用于根据所述第一运动轨迹追踪信息、第一人物特征信息、第二运动轨迹追踪信息和第二人物特征信息，判断所述重点人物识别目标是否存在异常行为。

本发明最后提供一种计算机可读存储介质，其上存储上计算机程序，所述计算机程序被处理器执行时实现上述任一种异常行为识别方法的步骤。

本发明将初步识别与重点目标识别相结合，将粗略判断和精准判断相结合，不仅实现了游泳场景下对泳客异常行为的准确识别，提高了游泳场景下溺水报警的准确率，而且将方案的成本控制在了合理的范围内。

附图说明

图1为依据本发明较佳实施例的一种游泳场景下的人物识别方法的示意图；

图2为图1的一个流程示意图；

图3为图1的其中一个步骤的详细流程示意图；

图4为图3的其中一个步骤的详细流程示意图；

图5为图1的其中一个步骤的详细流程示意图；

图6为图1的另一个步骤的详细流程示意图；

图7为依据本发明较佳实施例的游泳场景下的人物识别方法实施效果图；

图8为依据本发明较佳实施例的另一游泳场景下的人物识别方法实施效果图；

图9为依据本发明较佳实施例的再一游泳场景下的人物识别方法实施效果图；

图10为图1的其中一个步骤的另一详细流程示意图；

图11为图3的另一个步骤的详细流程示意图；

图12为图3的再一个步骤的详细流程示意图；

图13为依据本发明较佳实施例的一种游泳场景下的人物识别系统的方框示意图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。其中，在本发明实施例的描述中，以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本发明的限制。如在本发明的说明书和所附权利要求书中所使用的那样，单数表达形式“一种”、“该”、“上述”、“该”和“这一”旨在也包括例如“一个或多个”这种表达形式，除非其上下文中明确地有相反指示。还应当理解，在本发明以下各实施例中，“至少一个”、“一个或多个”是指一个或两个以上(包含两个)。术语“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系；例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A、B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。

在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本发明的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。术语“连接”包括直接连接和间接连接，除非另外说明。“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。

在本发明实施例中，“示例性地”或者“例如”等词用于表示作例子、例证或说明。本发明实施例中被描述为“示例性地”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性地”或者“例如”等词旨在以具体方式呈现相关概念。

另外，为了更好地说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。

可以参阅图1。本发明综合运用运动轨迹追踪技术、人体识别技术，主要是头部关键点识别、摄像头控制技术，首先根据预警条件识别出重点关注区域，然后控制摄像头聚焦该区域，进行异常行为确认。预警条件可以预先设定。如图1所示，本发明使用Yolo(YouOnly Look Once；只看一次)V5+DeepSORT(Deep Simple Online and Realtime Tracking；深度简单在线实时在线)+ReID(Re-identification；再识别)算法对泳客运动轨迹进行追踪；首先根据泳客历史运动轨迹，估算泳客位移速度的合理值，预测泳客未来的可能位置；接着根据泳客当前可见图像，抽取泳客头部关键点；接着在出现如下情况之一时，对该泳客所在区域进行重点关注：速度远低于泳客历史平均值或接近于0时、泳客未出现在预测位置且在附近找不到匹配的目标时、泳客头部在一定时间内频繁低于水面时；再接着针对重点关注区域，调用距离最近的两个相对摄像头，此时摄像头优选变焦摄像头，变焦对准该区域；最后分析重点区域泳客行为特征，确认异常行为持续一定时间后，使系统报警。

本发明较佳实施例首先提供一种游泳场景下的人物识别方法，参阅图2，包括步骤：

S20，获取广域视频数据流，对所述广域视频数据流的各帧图像中的人物执行第一运动轨迹追踪，获得重点人物识别目标及其第一运动轨迹追踪信息和第一人物特征信息；

在本实施例中，广域视频数据流通过调用安装在水面上方的普通摄像头，对游泳场景下的人物进行监测产生的，普通摄像头一般不是变焦摄像头；第一运动轨迹追踪信息包括但不限于：位置信息、身份识别号信息、图像序号信息；对所述广域视频数据流的各帧图像中的人物执行第一运动轨迹追踪时，如果在所述广域视频数据流的各帧图像中匹配到相同的人物识别目标，就对其分配一个相同的身份识别号，不同的身份识别号标识着不同的人物识别目标，同一身份识别号下的所有人物识别目标都是身份识别号对应人物识别目标的轨迹追踪对象，所有轨迹追踪对象的位置进行直线相连就是身份识别号对应人物识别目标的运动追踪轨迹，每个轨迹追踪对象的运动轨迹追踪信息，可以表示为轨迹追踪对象的位置信息+轨迹追踪对象身份识别号+轨迹追踪对象所在帧图像的图像序号，所有所述轨迹追踪对象的运动轨迹追踪信息组成一个人物识别目标的所述第一运动轨迹追踪信息；位置信息可表示为(x,y,w,h)，从可视化角度，可以根据(x,y,w,h)位置数据在图像像素坐标系上画出相应的矩形目标框，(x、y)代表所述矩形目标框左上角顶点位置坐标，w代表所述矩形目标框的宽，h代表所述矩形目标框的高，所述人物识别目标所在帧图像的图像序号，是在获取所述视频数据流时，根据所述视频数据流的图像的获取顺序，给图像分配的图像序号，例如，给获取的第一帧图像分配的图像序号为1，给获取的第2帧图像分别的图像序号为2，给获取的第3帧图像分配的图像序号为3，同理依次分配图像序号；

在本实施例中，人物特征包括但不限于肤色、长相、体型、服饰；人物特征信息指各帧图像中人物识别目标的人物特征经过特征提取算法运算处理后生成的数据信息；所述人物特征经过运算，变成一组数字组成的特征向量，一个人物的人物特征经过特征提取算法运算会生成一个特征向量；

本发明注意到，利用水上摄像头捕捉游泳者图像，根据识别出的人体姿态来判断是否溺水，虽然较易实现，但也易受环境影响，如水波、灯光等的干扰，同时，由于水对人体的遮挡、其他游泳者对目标人物的遮挡等，也使得在离摄像头距离越远的地方，能获得人体完整姿态的可能性越小，因此算法识别的错误率就会越高，因此本发明在游泳场景中进行人物识别时，进行下述步骤S40；

S40，对所述重点人物识别目标所在区域进行聚焦处理获得局域视频数据流，获得重点人物识别目标的第二运动轨迹追踪信息和第二人物特征信息；

在本实施例中，局域视频数据流可以通过安装在水面之上的多个摄像头获取，多个摄像头的位置优选为相对，摄像头可以采用变焦摄像头。摄像头安装在水平面之上，可见范围广、实现容易。多个摄像头同时使用，能避免摄像头受环境因素影响大、只能看到没被遮挡的部分人体，不能获得完整人体图像的缺陷，提高根据人体姿态识别溺水的准确率。结合摄像头控制技术，从相对位置两个摄像头获取重点关注区域的清晰图像，可以提高溺水报警准确率；摄像头采用变焦摄像头，聚焦效果好，对人体姿态识别的准确率高；

考虑到变焦摄像头的成本较高，变焦摄像头的安装数量可以较少，例如可以仅安装4个，均匀分布在泳池上方；这样不仅能节省摄像头安装成本，也能使需要处理的数据量减少，缩短数据处理需要的时间，加快异常行为识别的速度；

通过上述局域视频流，获得重点人物识别目标的第二运动轨迹追踪信息，第二运动轨迹追踪信息的含义与第一运动轨迹追踪信息相似，第二人物特征信息的含义与第一人物特征信息相似，均可以是泳客速度、可见性、头部位置等特征；

S60，根据所述第一运动轨迹追踪信息、第一人物特征信息、第二运动轨迹追踪信息和第二人物特征信息，判断所述重点人物识别目标是否存在异常行为。

本实施例步骤S60中，判断重点人物识别目标是否存在异常行为，与步骤S20中的获得重点人物识别目标，判断时依据的因素可以相同，例如可以都是泳客速度、泳客可见性，以及泳客头部位置等特征，本发明在识别人物目标时，优选为只抽取人物目标的头部关键点，即仅通过抽取人物目标的头部关键点来识别人物；

本实施例充分利用游泳场景人物识别目标的运动规律及人物特征，对人物识别目标进行运动轨迹追踪和异常行为识别，实现了高危游泳运动中对泳客异常行为的准确识别，提高了游泳场景下溺水报警的准确率，而且将方案的成本控制在了合理的范围内。

参阅图3。在本实施例中，所述获取广域视频数据流，对所述视频数据流的各帧图像中的人物执行第一运动轨迹追踪，获得重点人物识别目标及其第一运动轨迹追踪信息和第一人物特征信息的步骤，即步骤S20，可以包括步骤：

S21，获取广域视频数据流，对所述视频数据流的各帧图像中的人物执行第一运动轨迹追踪，获得运动轨迹追踪后的人物识别目标的第一运动轨迹追踪信息和第一人物特征信息；

S23，根据所述第一人物特征信息，利用头部姿态识别算法识别所述人物识别目标的头部姿态，获得头部处于水面之上的第一头部姿态信息和头部处于水面之下的第二头部姿态信息；

在本实施例中，第一头部姿态信息和第二头部姿态信息可以通过人物识别目标的当前可见图像，抽取其头部关键点通过头部姿态识别算法产生，所述头部姿态识别算法可以为经过预先训练之后的YoloV5算法，预先训练包括：首先收集游泳场景若干图像，利用图片标注工具对若干图像的人体头部进行标注，并指定头部在水面之上和头部在水面之下两种类别，获得若干头部识别素材，然后利用所述若干头部识别素材对初始的YoloV5算法进行训练，获得可以识别人物识别目标头部姿态的头部姿态识别算法；

S25，根据所述重点人物识别目标从首次出现的帧图像移动到当前帧图像中的第一运动轨迹追踪信息，计算当前帧图像中人物识别目标从首次出现的帧图像中的位置运动到当前帧图像中的位置的第一平均运动速度；

本发明利用运动轨迹追踪技术估算泳客速度和位置，在本实施例中，人物识别目标的第一平均运动速度是对若干个即时速度取平均值获得的，每个即时速度可以通过相邻的两帧图像获取，相邻两帧图像的产生时间是一定的，通过获取到相邻两帧图像上的人物的距离，即可产生一个即时速度；在其他一些实施例中，即时速度也可通过具有预定时间间隔的多个图像帧获取；

S27，根据所述人物识别目标的所述第一平均运动速度_、所述第一头部姿态信息，以及所述第一运动轨迹追踪信息在帧图像上的连续性，确定具有异常特征的重点人物识别目标；以及

S29，获得重点人物识别目标及其第一运动轨迹追踪信息和第一人物特征信息。

可以参阅图4。在本实施例中，所述根据所述人物识别目标的所述第一平均运动速度_、所述第一头部姿态信息，以及所述第一运动轨迹追踪信息在帧图像上的连续性，确定具有异常特征的重点人物识别目标的步骤，即步骤S27，包括步骤：

S272，根据当前帧图像的上一帧图像中的人物识别目标的第一运动轨迹追踪信息在上一帧图像到当前帧图像的连续性，确定所述上一帧图像中未出现在当前帧图像中的第一人物识别目标，将所述第一人物识别目标确定为一级异常重点人物识别目标；

在本实施例中，根据当前帧图像的上一帧图像中的人物识别目标的第一运动轨迹追踪信息，判定其在所述上一帧图像到当前帧图像中是否具有连续性，如当前帧图像的上一帧图像中的人物识别目标的第一运动轨迹追踪信息不含当前帧图像序号的运动轨迹追踪信息，可以判断上一帧图像中相应的人物识别目标是未出现在当前帧图像中；本发明只适用于有连续帧图像的游泳视频，包括上述的广域视频和局域视频；例如，可以参阅图7至图9，图7至图9显示具有相同时间间隔的3帧图像，图7显示第一帧图像、图8显示第二帧图像、图9显示第三帧图像；在图7至图9中，人物识别目标P4在第一帧图像至第二帧图像中出现，但在第三帧图像中未出现，可以将其确定为一级异常重点人物识别目标；

S274，根据当前帧图像中人物识别目标的第一人体头部姿态信息，将头部低于水平面且相应的所述第一平均运动速度小于第一阈值的第二人物识别目标确定为二级异常重点人物识别目标，将头部高于水平面且相应的所述第一平均运动速度小于第一阈值的第三人物识别目标确定为三级异常重点人物识别目标；

在本实施例中，若人物识别目标的头部姿态位于水面之下，且所述第一平均运动速度又小于第一阈值，说明人物识别目标存在较高的溺水风险，若人物识别目标的头部姿态位于水面之上，且所述第一平均运动速度又小于第一阈值，说明人物识别目标可能存在的溺水风险，通过是否具备溺水的异常特征，可以确定人物识别目标的危险等级，根据危险等级可以确定需要重点关注的重点人物识别目标；可以参阅图7至图9，若人物识别目标P2和P3的头部姿态均位于水面之下，图8和图9中的人物识别目标P2与图7相比，虽然不在预测位置，但根据图9和图8获得的第二平均运动速度与根据图8和图7获得的第一平均运动速度没有明显差别，第二平均运动速度与第一平均运动速度的差值在预设范围内，可以将人物识别目标P2确定为二级异常重点人物识别目标；相比而言，对人物识别目标P3，其第二平均运动速度与第一平均运动速度的差值，这里是绝对值差值，较大，不在预设范围内，因此，判定重点人物识别目标P3为三级异常重点人物识别目标。

可以参阅图5。在本实施例中，所述对所述重点人物识别目标所在区域进行聚焦处理获得局域视频数据流，获得重点人物识别目标的第二运动轨迹追踪信息和第二人物特征信息的步骤，即步骤S40，包括步骤：

S42，对所述重点人物识别目标所在区域进行聚焦处理，然后对聚焦区域中的人物执行第二运动轨迹追踪，获得运动轨迹追踪后的人物识别目标的第二运动轨迹追踪信息和第二人物特征信息；

在本实施例中，针对重点关注区域，可以调动重点关注区域周边的变焦摄像头，优选距离最近的两个位置相对的变焦摄像头，使其变焦对准该重点关注区域，进行后续的有针对性地跟踪，获取人物识别目标的图像，进而根据获得的图像获取人物识别目标的行为特征，该行为特征例如可以是人物识别目标的速度、可见性、头部位置等；

S44，利用头部姿态识别算法识别所述人物识别目标的头部姿态，获得头部处于水面之上的第一头部姿态信息和头部处于水面之下的第二头部姿态信息，第一头部姿态信息和第二头部姿态信息可以通过人物识别目标的当前可见图像，抽取其头部关键点产生。

可以参阅图6。在本实施例中，所述根据所述第一运动轨迹追踪信息、第一人物特征信息、第二运动轨迹追踪信息和第二人物特征信息，判断所述重点人物识别目标是否存在异常行为的步骤，即步骤S60，包括步骤：

S61，根据第一运动轨迹追踪信息获取所述重点人物识别目标的第一当前位置，第一运动轨迹追踪信息例如可以是重点人物识别目标的历史运动轨迹；

S63，根据所述第一平均运动速度和第一当前位置，获取所述重点人物识别目标的预测位置，第一平均运动速度可以根据历史运动轨迹获取，第一当前位置可以根据历史运动轨迹中的距离当前时间最近的一帧图像获取；

S65，根据所述第二运动轨迹追踪信息获取所述重点人物识别目标的第二平均运动速度和第二当前位置；

S67，在所述第二平均运动速度与所述第一平均运动速度的差值在预设范围内，并且所述第二当前位置不在所述预测位置内时，判定所述重点人物识别目标存在异常行为，否则判定不存在异常行为；

在本实施例中，根据每位泳客的历史运动轨迹和第一平均运动速度，可以估算泳客当前位移速度的合理值范围，预测泳客未来一定时间内可能出现的位置范围，若泳客当前位移速度值远低于其历史平均值或接近于0时、泳客未出现在预测位置且在附近不能被搜索到时，则判断该其存在异常行为；预测位置可以是以第一当前位置为中心、未来一定时间乘以第一平均运动速度为半径的圆周，为保留一定的裕值，该圆周的半径可以再扩大一定范围。

可以再次参阅图7至图9。在图7至图9中，人物识别目标P2和P4被认定为重点人物识别目标。如图7所示，泳池具有泳道L1、泳道L2和泳道L3，其中，泳道L1中具有人物识别目标P1和人物识别目标P2，泳道L2中具有人物识别目标P3，泳道L3中具有人物识别目标P4和P5。

同时参阅图7、图8和图9，重点人物识别目标P2在图7和图8中的位置变化可以记为第一运动距离，在图8和图9中的位置变化可以记为第二运动距离。根据第一运动距离，同时根据对游泳池进行监控的摄像机帧率(帧/秒)，计算人物识别目标P2首次出现的图7所示的帧图像到图8所示的帧图像中的第一运动时间，再计算第一运动距离与第一运动时间的商，可以获得当前帧图像中人物识别目标P2的第一平均运动速度。相似地，根据第二运动距离和产生第二运动距离的时间，可以获取到第二平均运动速度。根据第二平均运动速度和第一平均运动速度可知，在图8和图9中，重点人物识别目标P2与图7相比，虽然不在预测位置，但其第二平均运动速度与第一平均运动速度没有明显差别，第二平均运动速度与第一平均运动速度的差值在预设范围内，判定重点人物识别目标P2不存在异常行为。

相比而言，图8和图9中的重点人物识别目标P4，与图7中的重点人物识别目标P4相比，不仅位置不在预测位置，并且第二平均运动速度与第一平均运动速度具有明显差别，重点人物识别目标P4的第二平均运动速度为零，第二平均运动速度与第一平均运动速度的差值不在预设范围内，因此，判定重点人物识别目标P4存在异常行为。

可以参阅10。在一些实施例中，如图10所示，所述判断所述重点人物识别目标是否存在异常行为的步骤，即步骤S20，包括步骤：

S201，将所述重点人物识别目标划分为一级异常重点人物识别目标、二级异常重点人物识别目标和三级异常重点人物识别目标；

本实施例将重点人物识别目标按级别划分可以首先处理优先级最高的重点人物识别目标，进一步按优先级级别的高低，依次对重点人物识别目标是否存在异常行为进行确认，相似地，当某一重点人物识别目标所在的区域具有多个时，也可以对这些区域分配优先级，以便于首先处理优先级最高的重点关注区域，进一步按优先级高低确认该区域内的重点人物识别目标是否存在异常行为；

在本实施例中，重点人物识别目标具有三个优先级，在另外一些实施例中，重点人物识别目标可以被划分为具有更多或更少级别；

S203，对一级异常重点人物识别目标，选取上一帧图像之后，预设时间之内的第一相邻连续帧图像，根据所述一级异常重点人物识别目标的第一人物特征信息和所述第一相邻连续帧图像中所有人物识别目标的第二人物特征信息，计算所述第一人物识别目标与所述第一相邻连续帧图像中的每一帧图像的每一个人物识别目标的最小余弦距离，逐帧地累计出现最小余弦距离小于第二阈值的第一次数，当累计的所述第一次数的最大值小于第三阈值时，判定为存在异常行为；

例如，在本实施例中，可以参阅图7至图9，人物识别目标P4在图8所示的第二帧图像存在一个小于第二阈值的最小余弦距离0.1，第二阈值为0.4，在第三帧图像不存在小于第二阈值的最小余弦距离，故第一次数累计和为1次，小于第三阈值1.5，判定人物识别目标P4存在异常行为；

人物识别目标P2在第二帧图像存在一个小于第二阈值的最小余弦距离，即0.3，在第三帧图像存在1次小于第二阈值的最小余弦距离，即0.2，故第一次数累加和为2次，即为人物识别目标P2在第一相邻连续帧图像中的所述第一次数的最大值，大于第三阈值1.5，判定人物识别目标P2不存在异常行为；

S205，对二级异常重点人物识别目标，选取当前帧图像之后，预设时间之内的第二相邻连续帧图像，根据所述二级异常重点人物识别目标在所述第二相邻连续帧图像中的第二运动轨迹追踪信息，计算所述二级异常重点人物识别目标从当前帧图像中的位置运动到每个轨迹追踪对象的位置的第二平均运动速度；在所述的第二相邻连续帧图像中，逐帧对所述二级异常重点人物识别目标出现头部小于水平面之下的所述第二头部姿态识别结果的次数和存在所述第三平均运动速度小于第一阈值的次数进行累计求和，获得第三次数，当所述第三次数的最大值小于第三阈值时，判定为存在异常行为；例如，继续参阅图7至图9，在图7和图8所示的两帧图像中，存在1次第二平均速度小于第二阈值的情况，即为1.3，还存在1次人物识别目标a2的头部处于水面之下的头部姿态识别结果，对其两者求和获得第二帧图像的第三次数为2次；在第四帧图像中，存在1次第二平均速度小于第二阈值的，即为1.2，，再对第二帧图像的第三次数进行累计求和，获得第三帧图像的第三次数为3次，在第五帧图像中，不存在第二平均速度小于第二阈值的情况，也不存在头部处于水面之下的头部姿态识别结果，但对第四帧图像的第三次数进行累计求和，获得第五帧图像的第三次数为3次，即为人物识别目标a在所述第二相邻连续帧图像中的所述第三次数的最大值，且大于第三阈值，则人物识别目标a不存在异常行为。对于人物识别目标b，在第二帧图像中，不存在第二平均速度小于第二阈值的情况，也不存在头部处于水面之下的头部姿态识别结果，第二帧图像的第三次数为零，在第三帧图像中，存在1次人物识别目标a2的头部处于水面之下的头部姿态识别结果，在对第二帧图像的第三次数求和，获得第三帧图像的第三次数为1；在第五帧图像中，存在1次第二平均速度小于第二阈值的，即为1.1，再对第三帧图像的第三次数进行累计求和，获得第五帧图像的第三次数为2次，即为人物识别目标b在所述第二相邻连续帧图像中的所述第三次数的最大值，且小于第三阈值，则人物识别目标a存在异常行为；

S207，对所述三级异常重点人物识别目标，选取当前帧图像之后，预设时间之内的第三相邻连续帧图像，根据所述三级异常重点人物识别目标在第三相邻连续帧图像中的第二运动轨迹追踪信息，计算所述三级异常重点人物识别目标从当前帧图像中的位置运动到每个轨迹追踪对象的位置的第三平均运动速度；在所述的第三相邻连续帧图像中，逐帧对所述三级异常重点人物识别目标出现头部小于水平面之下的所述第二头部姿态识别结果的次数和存在所述第三平均运动速度小于第一阈值的次数进行累计求和，获得第三次数，当所述第三次数的最大值小于第三阈值时，判定为存在异常行为；

在本实施例中，可以参阅图11，所述计算所述二级异常重点人物识别目标从当前帧图像中的位置运动到每个轨迹追踪对象的位置的第二平均运动速度的步骤，即步骤S205，包括步骤：S252，在所述第二相邻连续帧图像中，依次计算所述二级异常重点人物识别目标的轨迹追踪对象的位置之间的直线运动距离，获得所述二级异常重点人物识别目标从当前帧图像中的位置运动到每个轨迹追踪对象的位置的第一直线运动距离；S254，根据相机的成像帧率，计算当前帧图像到每个轨迹追踪对象所在帧图像的第一运动时间；以及S256，根据所述第一直线运动距离和所述第一运动时间，计算所述第一直线运动距离与所述第一运动时间的商，获得所述二级异常重点人物识别目标从当前帧图像中的位置运动到每个轨迹追踪对象的位置的第二平均运动速度。

在本实施例中，可以参阅图12，所述计算所述三级异常重点人物识别目标从当前帧图像中的位置运动到每个轨迹追踪对象的位置的第三平均运动速度的步骤，即步骤S207，包括步骤：S272，在所述第三相邻连续帧图像中，依次计算所述三级异常重点人物识别目标的轨迹追踪对象的位置之间的直线运动距离，获得所述三级异常重点人物识别目标从当前帧图像中的位置运动到每个轨迹追踪对象的位置的第二直线运动距离；S274，根据相机的成像帧率，计算当前帧图像到每个轨迹追踪对象所在帧图像的第二运动时间；以及S276，根据所述第二直线运动距离和所述第二运动时间，计算所述第二直线运动距离与所述第二运动时间的商，获得所述三级异常重点人物识别目标从当前帧图像中的位置运动到每个轨迹追踪对象的位置的第三平均运动速度。

在一些实施例中，所述的游泳场景下的异常行为识别方法，还包括步骤S80：当判断所述重点人物识别目标为存在异常行为时，触发警报；否则，取消对所述重点人物识别目标的聚焦处理。例如，在分析每个摄像头获取到的同一重点关注区域泳客行为特征，如果综合确认异常行为持续一定时间，则将存在异常行为的所述重点人物识别目标的所在摄像头聚焦区域位置信息传输到大屏幕上进行闪烁标识，并向救生员发送报警信息，对未被判定为存在异常行为的重点人物识别目标，则取消摄像头对其所在区域的聚焦处理，摄像头继续对下一重点人物识别目标进行聚焦处理，继续对下一个重点关注区域进行聚焦处理。

依据上述的任一种方法，本发明还提供一种游泳场景下的异常行为识别系统。以图2所示的方法为例，在一些实施例中，本发明提供的游泳场景下的异常行为识别系统包括初步识别模块20、重点目标追踪模块40和异常行为识别模块60，可以参阅图13。具体的，初步识别模块20用于获取广域视频数据流，对所述视频数据流的各帧图像中的人物执行第一运动轨迹追踪，获得重点人物识别目标及其第一运动轨迹追踪信息和第一人物特征信息。重点目标追踪模块40用于对所述重点人物识别目标所在区域进行聚焦处理获得局域视频数据流，获得重点人物识别目标的第二运动轨迹追踪信息和第二人物特征信息。异常行为识别模块60用于根据所述第一运动轨迹追踪信息、第一人物特征信息、第二运动轨迹追踪信息和第二人物特征信息，判断所述重点人物识别目标是否存在异常行为。依据其他方法提供的系统与此相似，此处不再赘述。

本发明较佳实施例还提供一种计算机可读存储介质，其上存储上计算机程序，所述计算机程序被处理器执行时实现上述任一种异常行为识别方法的步骤。

本发明考虑到了实施成本和现实环境因素，不在水面之下安装摄像头，仅在水面之上安装较少数量的变焦摄像头，可见范围广、工程实施难度和成本较小。具体实施时，本发明采用方法：先用现有摄像头获取的图像粗略判断是否有危险人员，再采用危险人员近处的变焦摄像头拍摄的清晰图像进一步确认危险人员是否有危险行为。在数据集训练算法的基础上，本发明将初步识别与重点目标识别相结合，将粗略判断和精准判断相结合，综合运用各种软硬件技术，准确判断泳客的异常行为，克服不利因素，弥补了因算法模型不够强壮、实际复杂环境影响而导致的误报、漏报等问题，提高了溺水报警准确率，同时将方案的成本控制在了合理范围之内。

以上所述，仅为本发明实施例的具体实施方式，但本发明实施例的保护范围并不局限于此，任何在本发明实施例揭露的技术范围内的变化或替换，都应涵盖在本发明实施例的保护范围之内。因此，本发明实施例的保护范围应以所述的权利要求的保护范围为准。

Claims (12)

1.一种游泳场景下的异常行为识别方法，其特征在于，包括以下步骤：

获取广域视频数据流，对所述视频数据流的各帧图像中的人物执行第一运动轨迹追踪，获得重点人物识别目标及其第一运动轨迹追踪信息和第一人物特征信息；

对所述重点人物识别目标所在区域进行聚焦处理获得局域视频数据流，获得重点人物识别目标的第二运动轨迹追踪信息和第二人物特征信息；以及

根据所述第一运动轨迹追踪信息、第一人物特征信息、第二运动轨迹追踪信息和第二人物特征信息，判断所述重点人物识别目标是否存在异常行为。

2.根据权利要求1所述的游泳场景下的异常行为识别方法，其特征在于，所述获取广域视频数据流，对所述视频数据流的各帧图像中的人物执行第一运动轨迹追踪，获得重点人物识别目标及其第一运动轨迹追踪信息和第一人物特征信息的步骤，包括：

获取广域视频数据流，对所述视频数据流的各帧图像中的人物执行第一运动轨迹追踪，获得运动轨迹追踪后的人物识别目标的第一运动轨迹追踪信息和第一人物特征信息；

根据所述第一人物特征信息，利用头部姿态识别算法识别所述人物识别目标的头部姿态，获得头部处于水面之上的第一头部姿态信息和头部处于水面之下的第二头部姿态信息；

根据所述重点人物识别目标从首次出现的帧图像移动到当前帧图像中的第一运动轨迹追踪信息，计算当前帧图像中人物识别目标从首次出现的帧图像中的位置运动到当前帧图像中的位置的第一平均运动速度；

根据所述人物识别目标的所述第一平均运动速度、所述第一头部姿态信息，以及所述第一运动轨迹追踪信息在帧图像上的连续性，确定具有异常特征的重点人物识别目标；以及

获得重点人物识别目标及其第一运动轨迹追踪信息和第一人物特征信息。

3.根据权利要求1所述的游泳场景下的异常行为识别方法，其特征在于，所述对所述重点人物识别目标所在区域进行聚焦处理获得局域视频数据流，获得重点人物识别目标的第二运动轨迹追踪信息和第二人物特征信息的步骤，包括：

对所述重点人物识别目标所在区域进行聚焦处理，然后对聚焦区域中的人物执行第二运动轨迹追踪，获得运动轨迹追踪后的人物识别目标的第二运动轨迹追踪信息和第二人物特征信息；以及

利用头部姿态识别算法识别所述人物识别目标的头部姿态，获得头部处于水面之上的第一头部姿态信息和头部处于水面之下的第二头部姿态信息。

4.根据权利要求1所述的游泳场景下的异常行为识别方法，其特征在于：

所述获取广域视频数据流的步骤，包括：调用安装在水面上方的普通摄像头，对游泳场景下的人物进行监测，产生广域视频数据流；

所述对所述重点人物识别目标所在区域进行聚焦处理获得局域视频数据流的步骤，包括：调用多个安装在水面之上的相对的变焦摄像头，对所述重点人物识别目标所在区域进行聚焦处理获得局域视频数据流。

5.根据权利要求2所述的游泳场景下的异常行为识别方法，其特征在于，所述根据所述第一运动轨迹追踪信息、第一人物特征信息、第二运动轨迹追踪信息和第二人物特征信息，判断所述重点人物识别目标是否存在异常行为的步骤，包括：

根据第一运动轨迹追踪信息获取所述重点人物识别目标的第一当前位置；

根据所述第一平均运动速度和第一当前位置，获取所述重点人物识别目标的预测位置；

根据所述第二运动轨迹追踪信息获取所述重点人物识别目标的第二平均运动速度和第二当前位置；以及

在所述第二平均运动速度与所述第一平均运动速度的差值在预设范围内，并且所述第二当前位置不在所述预测位置内时，判定所述重点人物识别目标存在异常行为，否则判定不存在异常行为。

6.根据权利要求2所述的游泳场景下的异常行为识别方法，其特征在于，所述根据所述人物识别目标的所述第一平均运动速度、所述第一头部姿态信息，以及所述第一运动轨迹追踪信息在帧图像上的连续性，确定具有异常特征的重点人物识别目标的步骤，包括：

根据当前帧图像的上一帧图像中的人物识别目标的第一运动轨迹追踪信息在上一帧图像到当前帧图像的连续性，确定所述上一帧图像中未出现在当前帧图像中的第一人物识别目标，将所述第一人物识别目标确定为一级异常重点人物识别目标；以及

根据当前帧图像中人物识别目标的第一人体头部姿态信息，将头部低于水平面且相应的所述第一平均运动速度小于第一阈值的第二人物识别目标确定为二级异常重点人物识别目标，将头部高于水平面且相应的所述第一平均运动速度小于第一阈值的第三人物识别目标确定为三级异常重点人物识别目标。

7.根据权利要求1所述的游泳场景下的异常行为识别方法，其特征在于，所述判断所述重点人物识别目标是否存在异常行为的步骤包括：

将所述重点人物识别目标划分为一级异常重点人物识别目标、二级异常重点人物识别目标和三级异常重点人物识别目标；

对一级异常重点人物识别目标，选取上一帧图像之后，预设时间之内的第一相邻连续帧图像，根据所述一级异常重点人物识别目标的第一人物特征信息和所述第一相邻连续帧图像中所有人物识别目标的第二人物特征信息，计算所述第一人物识别目标与所述第一相邻连续帧图像中的每一帧图像的每一个人物识别目标的最小余弦距离，逐帧地累计出现最小余弦距离小于第二阈值的第一次数，当累计的所述第一次数的最大值小于第三阈值时，判定为存在异常行为；

对二级异常重点人物识别目标，选取当前帧图像之后，预设时间之内的第二相邻连续帧图像，根据所述二级异常重点人物识别目标在所述第二相邻连续帧图像中的第二运动轨迹追踪信息，计算所述二级异常重点人物识别目标从当前帧图像中的位置运动到每个轨迹追踪对象的位置的第二平均运动速度；在所述的第二相邻连续帧图像中，逐帧对所述二级异常重点人物识别目标出现头部小于水平面之下的所述第二头部姿态识别结果的次数和存在所述第三平均运动速度小于第一阈值的次数进行累计求和，获得第三次数，当所述第三次数的最大值小于第三阈值时，判定为存在异常行为；以及

对所述三级异常重点人物识别目标，选取当前帧图像之后，预设时间之内的第三相邻连续帧图像，根据所述三级异常重点人物识别目标在第三相邻连续帧图像中的第二运动轨迹追踪信息，计算所述三级异常重点人物识别目标从当前帧图像中的位置运动到每个轨迹追踪对象的位置的第三平均运动速度；在所述的第三相邻连续帧图像中，逐帧对所述三级异常重点人物识别目标出现头部小于水平面之下的所述第二头部姿态识别结果的次数和存在所述第三平均运动速度小于第一阈值的次数进行累计求和，获得第三次数，当所述第三次数的最大值小于第三阈值时，判定为存在异常行为。

8.根据权利要求7所述的游泳场景下的异常行为识别方法，其特征在于，所述计算所述二级异常重点人物识别目标从当前帧图像中的位置运动到每个轨迹追踪对象的位置的第二平均运动速度的步骤，包括：

在所述第二相邻连续帧图像中，依次计算所述二级异常重点人物识别目标的轨迹追踪对象的位置之间的直线运动距离，获得所述二级异常重点人物识别目标从当前帧图像中的位置运动到每个轨迹追踪对象的位置的第一直线运动距离；

根据相机的成像帧率，计算当前帧图像到每个轨迹追踪对象所在帧图像的第一运动时间；以及

根据所述第一直线运动距离和所述第一运动时间，计算所述第一直线运动距离与所述第一运动时间的商，获得所述二级异常重点人物识别目标从当前帧图像中的位置运动到每个轨迹追踪对象的位置的第二平均运动速度。

9.根据权利要求7所述的游泳场景下的异常行为识别方法，其特征在于，所述计算所述三级异常重点人物识别目标从当前帧图像中的位置运动到每个轨迹追踪对象的位置的第三平均运动速度的步骤，包括：

在所述第三相邻连续帧图像中，依次计算所述三级异常重点人物识别目标的轨迹追踪对象的位置之间的直线运动距离，获得所述三级异常重点人物识别目标从当前帧图像中的位置运动到每个轨迹追踪对象的位置的第二直线运动距离；

根据相机的成像帧率，计算当前帧图像到每个轨迹追踪对象所在帧图像的第二运动时间；以及

根据所述第二直线运动距离和所述第二运动时间，计算所述第二直线运动距离与所述第二运动时间的商，获得所述三级异常重点人物识别目标从当前帧图像中的位置运动到每个轨迹追踪对象的位置的第三平均运动速度。

10.根据权利要求1所述的游泳场景下的异常行为识别方法，其特征在于，还包括：当判断所述重点人物识别目标为存在异常行为时，触发警报；否则，取消对所述重点人物识别目标的聚焦处理。

11.一种游泳场景下的异常行为识别系统，其特征在于，包括：

初步识别模块，用于获取广域视频数据流，对所述视频数据流的各帧图像中的人物执行第一运动轨迹追踪，获得重点人物识别目标及其第一运动轨迹追踪信息和第一人物特征信息；

重点目标追踪模块，用于对所述重点人物识别目标所在区域进行聚焦处理获得局域视频数据流，获得重点人物识别目标的第二运动轨迹追踪信息和第二人物特征信息；以及

异常行为识别模块，用于根据所述第一运动轨迹追踪信息、第一人物特征信息、第二运动轨迹追踪信息和第二人物特征信息，判断所述重点人物识别目标是否存在异常行为。

12.一种计算机可读存储介质，其上存储上计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1至10中任一项所述的异常行为识别方法的步骤。

Images