CN117058767A - 训练场监测方法、设备、存储介质及装置 - Google Patents

Abstract

本发明属于图像处理技术领域，公开了一种训练场监测方法、设备、存储介质及装置，本发明根据预设目标检测模型对预设无人机采集的目标训练场的监控视频集合进行人物分割，根据预设目标检测模型对处于训练状态的目标运动员对应的视频集合进行姿态估计，获得姿态特征集合；根据预加权图卷积网络模型和姿态特征集合对预设数量的关节点对应的三维坐标进行估计，根据三维关节坐标确定三维人体姿态集合，所述预加权图卷积网络模型是基于多尺度动态图卷积网络构建的模型；基于三维人体姿态集合监测目标运动员是否存在违规行为，本发明实现了多种维度采集训练场画面，提升视角体验的同时还提供了更加精确的实时追踪的画面数据，为管理人员减少工作量。

Description

训练场监测方法、设备、存储介质及装置

技术领域

本发明涉及图像处理技术领域，尤其涉及一种训练场监测方法、设备、存储介质及装置。

背景技术

随着体育竞技的发展，越来越多的运动员会在正式比赛前会组织体育竞技训练，但是现有训练场监控都是通过训练场地设置的固定高速摄像机对训练场地的实时情况进行监控和转播，因此现有教练裁判人员会借助高速摄像机识别的画面对运动员进行违规行为的监测，但是由于现有的训练场监控摄像头都是设置于固定位置，或通过人工拍摄的方式实时采集画面并进行转播，因此采集画面的角度具有局限性的，导致对后期运动员姿态识别不够精确影响教练的判定，不能更加精准的确定每个运动员的运动习惯。

然而针对许多不能在训练场内进行的体育训练，无法通过人工拍摄的方式精确采集运动员的视频，因此会借助无人机进行拍摄，但是现有无人机采集的视频不能够精确识别到运动员的姿态，因此现有针对训练场监测的方案由于采集维度具有局限性从而无法满足多种场景下的体育监控，导致对训练场的监测数据不足以支撑用户需求。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供一种训练场监测方法、设备、存储介质及装置，旨在解决现有技术中针对训练场监测的方案由于采集维度具有局限性从而无法满足多种场景下的训练场监控，导致对训练场的监测数据不足以支撑用户需求的技术问题。

为实现上述目的，本发明提供一种训练场监测方法，所述训练场监测方法包括以下步骤：

获取预设无人机按照无人机视角和预设巡航路线实时采集的目标训练场的监控视频集合；

根据预设目标检测模型对所述监控视频集合进行人物分割，获得处于训练状态的目标运动员对应的视频集合；

根据所述预设目标检测模型对所述目标运动员对应的视频集合进行姿态估计，获得姿态特征集合；

根据预加权图卷积网络模型和所述姿态特征集合对预设数量的关节点对应的三维坐标进行估计，根据三维关节坐标确定三维人体姿态集合，所述预加权图卷积网络模型是基于多尺度动态图卷积网络构建的模型；

基于所述三维人体姿态集合监测所述目标运动员是否存在违规行为。

可选地，所述预设目标检测模型是预先训练获得的Yolov5模型；所述根据所述预设目标检测模型对所述目标运动员对应的视频集合进行姿态估计，获得姿态特征集合的步骤，包括：

根据所述Yolov5模型对所述目标运动员对应的视频集合进行图片切片处理，并对处理后的图片按照所述目标运动员头部为基点进行定位，获得定位信息；

根据预设OpenPose算法和所述定位信息对运动连续帧进行关节点特征提取，获得目标关节点集合；

根据所述目标关节点集合对所述目标运动员进行姿态估计，获得姿态特征集合。

可选地，所述根据所述目标关节点集合对所述目标运动员进行姿态估计，获得姿态特征集合的步骤，包括：

根据所述目标关节点集合和预设二维姿态关节点进行对比，获得第一对比结果；

根据所述第一对比结果确定所述目标关节点集合中错误关节点，并对所述错误关节点进行修复，获得修复后的关节点集合；

根据所述修复后的关节点集合确定所述目标运动员对应的俯瞰角度的姿态连线；

根据所述姿态连线对所述目标运动员进行姿态估计，获得姿态特征集合。

可选地，所述根据预加权图卷积网络模型和所述姿态特征集合对预设数量的关节点对应的三维坐标进行估计，根据三维关节坐标确定三维人体姿态集合的步骤，包括：

根据所述姿态特征集合中包含的姿态连线对预设数量的关节点对应的二维坐标进行确定，获得目标二维坐标；

将所述目标二维坐标转换为像素坐标，并根据转换后的像素坐标确定三维关节坐标；

根据所述三维关节坐标对应的坐标连线和所述预加权图卷积模型确定三维人体姿态集合。

可选地，所述基于所述三维人体姿态集合监测所述目标运动员是否存在违规行为的步骤，包括：

基于预设规范姿态集合对所述三维人体姿态集合进行姿态规范性校验，获得校验结果；

根据预设姿态幅度对所述校验结果中异常姿态对应的姿态幅度进行对比，并根据对比结果判定所述目标运动员是否存在违规行为。

可选地，所述基于所述三维人体姿态集合监测所述目标运动员是否存在违规行为的步骤之后，还包括：

根据所述预设目标检测模型对所述监控视频集合进行场地分割，获得场地特征集合；

根据预设立体视觉障碍物检测模型对所述场地特征集合中的障碍物进行识别，获得障碍物特征集合；

根据所述障碍物特征集合中的几何特征与预设障碍物特征进行对比，根据对比结果判定是否存在待处理的障碍物；

若存在，则从所述障碍物特征集合中将所述待处理的障碍物对应的障碍物区域反馈至管理人员。

可选地，所述根据预设立体视觉障碍物检测模型对所述场地特征集合中的障碍物进行识别，获得障碍物特征集合的步骤，包括：

根据所述场地特征集合中包含视频采集时间从所述预设无人机对应的飞行数据中提取飞行高度信息；

根据预设立体视觉障碍物检测模型对所述场地特征集合中的障碍物进行识别，获得障碍物几何特征；

根据所述障碍物几何特征中包含的障碍物高度特征、所述飞行高度信息以及所述预设无人机对应的相机参数对所述障碍物进行区域检测，获得障碍物区域特征；

根据所述障碍物几何特征和所述障碍物区域特征确定障碍物特征集合。

此外，为实现上述目的，本发明还提出一种训练场监测设备，所述训练场监测设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的训练场监测程序，所述训练场监测程序配置为实现如上文所述的训练场监测的步骤。

此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有训练场监测程序，所述训练场监测程序被处理器执行时实现如上文所述的训练场监测方法的步骤。

此外，为实现上述目的，本发明还提出一种训练场监测装置，所述训练场监测装置包括：

视频采集模块，用于获取预设无人机按照无人机视角和预设巡航路线实时采集的目标训练场的监控视频集合；

视频分割模块，用于根据预设目标检测模型对所述监控视频集合进行人物分割，获得处于训练状态的目标运动员对应的视频集合；

姿态估计模块，用于根据所述预设目标检测模型对所述目标运动员对应的视频集合进行姿态估计，获得姿态特征集合；

三维重建模块，用于根据预加权图卷积网络模型和所述姿态特征集合对预设数量的关节点对应的三维坐标进行估计，根据三维关节坐标确定三维人体姿态集合，所述预加权图卷积网络模型是基于多尺度动态图卷积网络构建的模型；

违规监测模块，用于基于所述三维人体姿态集合监测所述目标运动员是否存在违规行为。

本发明通过获取预设无人机按照无人机视角和预设巡航路线实时采集的目标训练场的监控视频集合；根据预设目标检测模型对所述监控视频集合进行人物分割，获得处于训练状态的目标运动员对应的视频集合；根据所述预设目标检测模型对所述目标运动员对应的视频集合进行姿态估计，获得姿态特征集合；根据预加权图卷积网络模型和所述姿态特征集合对预设数量的关节点对应的三维坐标进行估计，根据三维关节坐标确定三维人体姿态集合，所述预加权图卷积网络模型是基于多尺度动态图卷积网络构建的模型；基于所述三维人体姿态集合监测所述目标运动员是否存在违规行为，本发明通过预设目标检测模型和预加权图卷积网络模型对无人机采集的监控视频集合进行三维关节坐标定位，从而确定运动员对应的三维人体姿态集合，进而判定是否存在违规行为，相较于针对训练场监测的方案由于采集维度具有局限性从而无法满足多种场景下的训练场监控，导致对训练场的监测数据不足以支撑用户需求，本发明实现了多种维度采集训练场画面，提升视角体验的同时还提供了更加精确的实时追踪的画面数据，为管理人员减少工作量。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的训练场监测设备的结构示意图；

图2为本发明训练场监测方法第一实施例的流程示意图；

图3为本发明训练场监测方法第二实施例的流程示意图；

图4为本发明训练场监测方法第三实施例的流程示意图；

图5为本发明训练场监测装置第一实施例的结构框图。

本发明目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

参照图1，图1为本发明实施例方案涉及的硬件运行环境的训练场监测设备结构示意图。

如图1所示，该训练场监测设备可以包括：处理器1001，例如中央处理器（CentralProcessing Unit，CPU），通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（Display），可选用户接口1003还可以包括标准的有线接口、无线接口，对于用户接口1003的有线接口在本发明中可为USB接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如无线保真（Wireless-Fidelity，Wi-Fi）接口）。存储器1005可以是高速的随机存取存储器（Random Access Memory，RAM），也可以是稳定的存储器（Non-volatile Memory，NVM），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的结构并不构成对训练场监测设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，认定为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及训练场监测程序。

在图1所示的训练场监测设备中，网络接口1004主要用于连接后台服务器，与所述后台服务器进行数据通信；用户接口1003主要用于连接用户设备；所述训练场监测设备通过处理器1001调用存储器1005中存储的训练场监测程序，并执行本发明实施例提供的训练场监测方法。

基于上述硬件结构，提出本发明训练场监测方法的实施例。

参照图2，图2为本发明训练场监测方法第一实施例的流程示意图，提出本发明训练场监测方法第一实施例。

在本实施例中，所述训练场监测方法包括以下步骤：

步骤S10：获取预设无人机按照无人机视角和预设巡航路线实时采集的目标训练场的监控视频集合。

需说明的是，本实施例中的执行主体可以是具有训练场监测系统的设备，如：智能手机、笔记本、电脑以及平板等，还可为其它可实现相同或相似功能的训练场监测设备，本实施例对此不做限制。此处将以上述计算机为例对本实施例和下述各实施例进行说明。本方案中所提出的训练场监测系统具备一种自动化的训练场监测流程，可自动完成训练场监测。在本实施例以及下述各实施例中以计算机为例对本发明训练场监测方法进行说明。其中，所述训练场监测系统可以通过物联网的方式与视频采集器连接，通过从视频采集器中获取视频，其中所述视频可以通过无人机以及训练场预设固定区域设定的摄像机实时回传获得。目标训练场可以是多种场景下的训练场，本方案适用于场内或场外的视频采集以及对运动员的姿态分析，从而能够在运动员训练过程中精准确定运动员的运动习惯，能够辅助教练更加精准调整运动员的训练方式，因此所述训练场包括但不限于场馆内的场地，还可以是湖泊、雪地或海洋等特殊场馆外的场地。

可理解的是，预设无人机可以是预先设置的至少一个的用于采集俯视角度视频的无人机，每个无人机上设置了两个摄像头，从而能够让拍摄的范围更加广泛，所述预设巡航路线可以是提前规划的无人机巡航路线，所述无人机巡航路线可以根据天气、地貌以及飞行安全规划的航线。

应理解的是，通过视频采集器实时接收预设无人机按照无人机视角和预设巡航路线采集的目标场景下的训练场的监控视频集合，其中所述监控视频集合可以是指多个无人机采集的视频集合以及固定摄像头采集的视频集合，本方案中通过将两种角度采集的视频分开存储，以便于后期提取相应视频进行视频分析。

步骤S20：根据预设目标检测模型对所述监控视频集合进行人物分割，获得处于训练状态的目标运动员对应的视频集合。

需说明的是，预设目标检测模型可以是预先设置的用于动态追踪运动员以及场地影响因素检测的模型，从而完成对运动员定位以及场地影响因素的检测。所述场地影响因素的检测是指场地出现会影响到运动员的因素，例如：在场地出现的石头、水渍或其他障碍物等。因此在本方案中针对监控视频集合分割时，会按照运动员对应的视频集合以及训练场对应的视频集合进行分割，从而获得两种视频集合。

其中，所述预设目标检测模型可以是预先训练获得的Yolov5模型，所述Yolov5模型中包含卷积注意力模块，所述卷积注意力模块可以加强监测目标的关注，因此通过增加卷积注意力模块可以改善由于环境复杂导致的精度下降的问题。所述卷积注意力模块包括输入、输出、通道注意力、空间注意力等模块。

本实施例中可以先通过Yolov5模型中包含的注意力机制先对监控视频集合进行数据增强，并对增强后的视频图像通过多次卷积进行多尺度的特征提取，将提取后的特征进行融合，从而能够精确确定视频图像中小目标对象以及小目标对象类型。通过确定的小目标对象以及小目标对象类型完成对视频的分割，从而能够获得运动员对应的视频集合以及训练场对应的视频集合。

步骤S30：根据所述预设目标检测模型对所述目标运动员对应的视频集合进行姿态估计，获得姿态特征集合。

需说明的是，通过预设Yolov5模型对分割后的目标运动员对应的视频集合中运动员对应的图像特征进行定位，从而能够根据定位后的图像特征进行后期的姿态估计，从而获得姿态特征集合，其中所述图像特征可以是针对以运动员头部为基点，延伸至肩膀的预设半径内圆圈范围内肢体点对应的俯瞰角度对应的定位特征。

可理解的是，由于无人机在采集无人机视角的视频时，针对不同运动员是会存在视角差异的，因此获得的定位特征也会存在不同，因此，本方案中是通过对肢体关节点进行定位，可以减少由于无人机的视角差异导致无法对存在遮挡的画面进行错误判断，因此本方案中通过定位特征提取肢体关节点，以便于后期根据肢体关节点对目标运动员进行姿态估计，获得姿态特征集合。

进一步地，所述预设目标检测模型是预先训练获得的Yolov5模型，所述步骤S30还包括：根据所述Yolov5模型对所述目标运动员对应的视频集合进行图片切片处理，并对处理后的图片按照所述目标运动员头部为基点进行定位，获得定位信息；根据预设OpenPose算法和所述定位信息对运动连续帧进行关节点特征提取，获得目标关节点集合；根据所述目标关节点集合对所述目标运动员进行姿态估计，获得姿态特征集合。

需说明的是，由于视频集合是针对局部特征图像识别后提取后的连续视频帧图像集合，在对具体的人物定位分析时，需要对连续帧图像进行图片切片处理，将重复画面的图像进行筛除，减少模型处理数量，并将剩余的帧图像进行降噪、灰度、二值化等处理，将处理后的图片按照目标运动员头部为基点进行定位，获得定位信息，所述定位信息包含以肩膀为圆心的预设半径内圆圈范围内肢体点对应的俯瞰角度对应的定位特征确定信息，所述信息包含定位像素坐标信息。

可理解的是，预设OpenPose算法可以是预先设置的用于提取动态连续帧图像中关节点信息的算法，所述算法可以对关节点位置进行预测，因此避免由于视角遮挡导致的关节点定位信息缺失，从而弥补定位像素坐标信息中由于视角遮挡导致定位信息不全的问题，本方案中通过OpenPose算法和定位信息对运动连续帧进行关节点提取，获得目标关节点集合，所述目标关节点集合可以按照运动员编号进行存储，即一个运动员编号对应一个文件夹，所述文件夹中存储有该运动员对应的关节点信息。所述关节点信息包含各个角度的肢体关节点在像素坐标系下的成像，即是二维图像关节点，并用虚线进行连线，从而标识人体肢体关节点之间的关联。

具体实现中，通过目标关节点集合对所述目标运动员进行姿态估计，获得姿态特征集合。

进一步地，所述根据所述目标关节点集合对所述目标运动员进行姿态估计，获得姿态特征集合的步骤，包括：根据所述目标关节点集合和预设二维姿态关节点进行对比，获得第一对比结果；根据所述第一对比结果确定所述目标关节点集合中错误关节点，并对所述错误关节点进行修复，获得修复后的关节点集合；根据所述修复后的关节点集合确定所述目标运动员对应的俯瞰角度的姿态连线；根据所述姿态连线对所述目标运动员进行姿态估计，获得姿态特征集合。

需说明的是，预设二维姿态关节点可以是预先设置的二维图像下各种姿态下的关节点形态，通过将目标关节点集合和预设二维姿态关节点进行对比，获得第一对比结果，所述第一对比结果包含对比相似度超过预设相似度的目标关节点，并将超过预设相似度的目标关节点按照预设二维姿态关节点进行修复，从而获得修复后的关节点集合。

可理解的是，将关节点集合中的关节点进行连线，获得姿态连线，并通过姿态连线对目标运动员进行姿态估计，获得姿态特征集合。

步骤S40：根据预加权图卷积网络模型和所述姿态特征集合对预设数量的关节点对应的三维坐标进行估计，根据三维关节坐标确定三维人体姿态集合，所述预加权图卷积网络模型是基于多尺度动态图卷积网络构建的模型。

需说明的是，所述多尺度动态图卷积网络是在有向图卷积网络的基础上引入超参数对密级连接进行调制形成的一种改进后的人体姿态估计网络。其中，为了解决特征重用的问题，通过在有向图卷积网络的基础上引入超参数对密级连接进行调制形成的一种改进后的人体姿态估计网络，并且为了更好的确定人体关节点特征，通过预加权图卷积（(Pre-Weighted GConv）对自身节点和相邻节点使用两个不同的权重矩阵，从而提升节点精确性，所述预加权图卷积模型相较于现有模型在三维人体姿态估计中的性能更加优越。所述预加权图卷积模型是由密集连接网络MDC（Modulated Dense Connect）和预加权图卷积构成，通过隐去的超参数对密集连接中的重用特征进行调制，获得调制后的密集连接网络，并且在对被赋 予更高权重的关节点和其相邻关节点分别使用权重矩阵A1和A2 进行变换并融合，从而获得三维人体关节坐标。

可理解的是，预设数量可以是根据人体肢体关节点设定的数量，例如：15个，本实施例中关节点设定的数量可以根据人体实际关节点预知范围内进行设定，对数目不加以具体限定。

具体实现中，本方案中通过预设YOLOv5模型进行二维关节点的特征提取以及匹配，从而获取二维像素坐标系下的关节点姿态坐标信息。通过将YOLOV5模型输出的二维姿态坐标输入至预加权图卷积网络模型中，基于预加权图卷积对三维关节点坐标进行预测，获得三维关节坐标，并根据三维关节坐标确定三维人体姿态集合。

步骤S50：基于所述三维人体姿态集合监测所述目标运动员是否存在违规行为。

需说明的是，通过三维成像的人体姿态集合，可以初步判断目标运动员是否存在违规行为，若存在违规行为，则可以发送异常信号至监管平台，并调取相应时间段内的其他摄像头采集的视频数据，发送至管理人员进行相应处理。

本实施例通过获取预设无人机按照无人机视角和预设巡航路线实时采集的目标训练场的监控视频集合；根据预设目标检测模型对所述监控视频集合进行人物分割，获得处于训练状态的目标运动员对应的视频集合；根据所述预设目标检测模型对所述目标运动员对应的视频集合进行姿态估计，获得姿态特征集合；根据预加权图卷积网络模型和所述姿态特征集合对预设数量的关节点对应的三维坐标进行估计，根据三维关节坐标确定三维人体姿态集合，所述预加权图卷积网络模型是基于多尺度动态图卷积网络构建的模型；基于所述三维人体姿态集合监测所述目标运动员是否存在违规行为，本实施例通过预设目标检测模型和预加权图卷积网络模型对无人机采集的监控视频集合进行三维关节坐标定位，从而确定运动员对应的三维人体姿态集合，进而判定是否存在违规行为，相较于针对训练场监测的方案由于采集维度具有局限性从而无法满足多种场景下的训练场监控，导致对训练场的监测数据不足以支撑用户需求，本实施例实现了多种维度采集训练场画面，提升视角体验的同时还提供了更加精确的实时追踪的画面数据，为管理人员减少工作量。

参照图3，图3为本发明训练场监测方法第二实施例的流程示意图，基于上述图2所示的第一实施例，提出本发明训练场监测方法的第二实施例。

在本实施例中，所述步骤S40，还包括：

步骤S401：根据所述姿态特征集合中包含的姿态连线对预设数量的关节点对应的二维坐标进行确定，获得目标二维坐标。

需说明的是，由于针对二维图像中关节点的确定并不能精准确定预设数量的关节点，因此通过输出的二维关节点坐标完成的姿态连线对预设数量的关节点进行布局，从而确定预设数量对应的二维关节点坐标信息。

步骤S402：将所述目标二维坐标转换为像素坐标，并根据转换后的像素坐标确定三维关节坐标。

需说明的是，由于本方案中是先基于视频帧图像进行的关节点定位识别，因此获得的也是二维图像对应的坐标信息，但是为了将二维图像对应的关节点坐标转换为三维坐标系下的关节点坐标，需要借助无人机像素坐标系进行坐标转换，进而根据转换后的像素坐标确定三维关节坐标，其中所述三维关节坐标按照无人机相机参数对应的缩放比例进行转换的。

步骤S403：根据所述三维关节坐标对应的坐标连线和所述预加权图卷积模型确定三维人体姿态集合。

需说明的是，在获取到三维关节坐标信息后，通过将每个运动员对应的三维关节坐标对饮的节点进行连接，并将按照人体构造连线后的坐标输入至预加权图卷积中，根据预加权图卷积对相邻节点对应的权重进行调整，进而完成对三维坐标系下人体姿态的预测。

在本实施例中，所述步骤S50.还包括：

步骤S501：基于预设规范姿态集合对所述三维人体姿态集合进行姿态规范性校验，获得校验结果。

需说明的是，通过预设姿态集合与三维人体姿态集合进行对比，获得姿态对比结果；根据姿态对比结果判定目标运动员的姿态是否规范。

步骤S502：根据预设姿态幅度对所述校验结果中异常姿态对应的姿态幅度进行对比，并根据对比结果判定所述目标运动员是否存在违规行为。

可理解的是，根据预设姿态幅度对所述校验结果中异常姿态对应的姿态幅度进行对比，并根据对比结果判定所述目标运动员是否存在违规行为。

本实施例通过获取预设无人机按照无人机视角和预设巡航路线实时采集的目标训练场的监控视频集合；根据预设目标检测模型对所述监控视频集合进行人物分割，获得处于训练状态的目标运动员对应的视频集合；根据所述预设目标检测模型对所述目标运动员对应的视频集合进行姿态估计，获得姿态特征集合；根据预加权图卷积网络模型和所述姿态特征集合对预设数量的关节点对应的三维坐标进行估计，根据三维关节坐标确定三维人体姿态集合，所述预加权图卷积网络模型是基于多尺度动态图卷积网络构建的模型；基于所述三维人体姿态集合监测所述目标运动员是否存在违规行为，本实施例通过预设目标检测模型和预加权图卷积网络模型对无人机采集的监控视频集合进行三维关节坐标定位，从而确定运动员对应的三维人体姿态集合，进而判定是否存在违规行为，相较于针对训练场监测的方案由于采集维度具有局限性从而无法满足多种场景下的训练场监控，导致对训练场的监测数据不足以支撑用户需求，本实施例实现了多种维度采集训练场画面，提升视角体验的同时还提供了更加精确的实时追踪的画面数据，为管理人员减少工作量。

参照图4，图4为本发明训练场监测方法第二实施例的流程示意图，基于上述图2所示的第一实施例，提出本发明训练场监测方法的第三实施例。

在本实施例中，所述步骤S50之后，还包括：

步骤S60：根据所述预设目标检测模型对所述监控视频集合进行场地分割，获得场地特征集合。

需说明的是，预设目标检测模型可以是预先设置的用于动态追踪运动员以及场地影响因素检测的模型，从而完成对运动员定位以及场地影响因素的检测。所述场地影响因素的检测是指场地出现会影响到运动员的因素，例如：在场地出现的石头、水渍或其他障碍物等。因此在本方案中针对监控视频集合分割时，会按照运动员对应的视频集合以及训练场对应的视频集合进行分割，从而获得两种视频集合。

其中，所述预设目标检测模型可以是预先训练获得的Yolov5模型，所述Yolov5模型中包含卷积注意力模块，所述卷积注意力模块可以加强监测目标的关注，因此通过增加卷积注意力模块可以改善由于环境复杂导致的精度下降的问题。所述卷积注意力模块包括输入、输出、通道注意力、空间注意力等模块。

本实施例中可以先通过Yolov5模型中包含的注意力机制先对监控视频集合进行数据增强，并对增强后的视频图像通过多次卷积进行多尺度的特征提取，将提取后的特征进行融合，从而能够精确确定视频图像中小目标对象以及小目标对象类型。通过确定的小目标对象以及小目标对象类型完成对视频的分割，从而能够获得运动员对应的视频集合以及训练场场地对应的视频集合。

可理解的是，通过Yolov5模型对分割后的场地视频集合中场地对应的阴影图像特征进行定位，并对阴影特征进行标记，获得标记后的场地特征集合，从而能够便于后期根据定位后的阴影图像特征进行后期的障碍物识别，从而获得障碍物特征集合。

步骤S70：根据预设立体视觉障碍物检测模型对所述场地特征集合中的障碍物进行识别，获得障碍物特征集合。

需说明的是，本方案中的无人机是设置了两个摄像头，因此相较于单个摄像头，双目摄像头能够更加准确的确定障碍物所在区域，并通过预设立体视觉障碍物检测模型对所述场地特征集合中的障碍物进行识别，获得障碍物特征集合。

可理解的是，预设立体视觉障碍物检测模型可以是预先基于光影、阴影、立体视觉等因素对深度学习模型进行训练获得的模型，所述模型可以实现更加精准的立体障碍物的检测。

进一步地，所述步骤S70还包括：根据所述场地特征集合中包含视频采集时间从所述预设无人机对应的飞行数据中提取飞行高度信息；根据预设立体视觉障碍物检测模型对所述场地特征集合中的障碍物进行识别，获得障碍物几何特征；根据所述障碍物几何特征中包含的障碍物高度特征、所述飞行高度信息以及所述预设无人机对应的相机参数对所述障碍物进行区域检测，获得障碍物区域特征；根据所述障碍物几何特征和所述障碍物区域特征确定障碍物特征集合。

需说明的是，通过根据所述场地特征集合中包含视频采集时间从所述预设无人机对应的飞行数据中提取飞行高度信息；根据预设立体视觉障碍物检测模型对所述场地特征集合中的障碍物进行识别，获得障碍物几何特征；根据所述障碍物几何特征中包含的障碍物高度特征、所述飞行高度信息以及所述预设无人机对应的相机参数对所述障碍物进行区域检测，获得障碍物区域特征；根据所述障碍物几何特征和所述障碍物区域特征确定障碍物特征集合。

步骤S80：根据所述障碍物特征集合中的几何特征与预设障碍物特征进行对比，根据对比结果判定是否存在待处理的障碍物。

可理解的是，根据所述障碍物特征集合中的几何特征与预设障碍物特征进行对比，根据对比结果判定是否存在待处理的障碍物。

步骤S90：若存在，则从所述障碍物特征集合中将所述待处理的障碍物对应的障碍物区域反馈至管理人员。

具体实现中，若存在，则从所述障碍物特征集合中将所述待处理的障碍物对应的障碍物区域反馈至管理人员。从而能够从多个采集维度实现对训练场的监测，减少管理人员的负担。

本实施例通过获取预设无人机按照无人机视角和预设巡航路线实时采集的目标训练场的监控视频集合；根据预设目标检测模型对所述监控视频集合进行人物分割，获得处于训练状态的目标运动员对应的视频集合；根据所述预设目标检测模型对所述目标运动员对应的视频集合进行姿态估计，获得姿态特征集合；根据预加权图卷积网络模型和所述姿态特征集合对预设数量的关节点对应的三维坐标进行估计，根据三维关节坐标确定三维人体姿态集合，所述预加权图卷积网络模型是基于多尺度动态图卷积网络构建的模型；基于所述三维人体姿态集合监测所述目标运动员是否存在违规行为，本实施例通过预设目标检测模型和预加权图卷积网络模型对无人机采集的监控视频集合进行三维关节坐标定位，从而确定运动员对应的三维人体姿态集合，进而判定是否存在违规行为，相较于针对训练场监测的方案由于采集维度具有局限性从而无法满足多种场景下的训练场监控，导致对训练场的监测数据不足以支撑用户需求，本实施例实现了多种维度采集训练场画面，提升视角体验的同时还提供了更加精确的实时追踪的画面数据，为管理人员减少工作量。

此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有训练场监测程序，所述训练场监测程序被处理器执行时实现如上文所述的训练场监测方法的步骤。

参照图5，图5为本发明训练场监测装置第一实施例的结构框图。

如图5所示，本发明实施例提出的训练场监测装置包括：

视频采集模块10，用于获取预设无人机按照无人机视角和预设巡航路线实时采集的目标训练场的监控视频集合；

视频分割模块20，用于根据预设目标检测模型对所述监控视频集合进行人物分割，获得处于训练状态的目标运动员对应的视频集合；

姿态估计模块30，用于根据所述预设目标检测模型对所述目标运动员对应的视频集合进行姿态估计，获得姿态特征集合；

三维重建模块40，用于根据预加权图卷积网络模型和所述姿态特征集合对预设数量的关节点对应的三维坐标进行估计，根据三维关节坐标确定三维人体姿态集合，所述预加权图卷积网络模型是基于多尺度动态图卷积网络构建的模型；

违规监测模块50，用于基于所述三维人体姿态集合监测所述目标运动员是否存在违规行为。

本实施例通过获取预设无人机按照无人机视角和预设巡航路线实时采集的目标训练场的监控视频集合；根据预设目标检测模型对所述监控视频集合进行人物分割，获得处于训练状态的目标运动员对应的视频集合；根据所述预设目标检测模型对所述目标运动员对应的视频集合进行姿态估计，获得姿态特征集合；根据预加权图卷积网络模型和所述姿态特征集合对预设数量的关节点对应的三维坐标进行估计，根据三维关节坐标确定三维人体姿态集合，所述预加权图卷积网络模型是基于多尺度动态图卷积网络构建的模型；基于所述三维人体姿态集合监测所述目标运动员是否存在违规行为，本实施例通过预设目标检测模型和预加权图卷积网络模型对无人机采集的监控视频集合进行三维关节坐标定位，从而确定运动员对应的三维人体姿态集合，进而判定是否存在违规行为，相较于针对训练场监测的方案由于采集维度具有局限性从而无法满足多种场景下的训练场监控，导致对训练场的监测数据不足以支撑用户需求，本实施例实现了多种维度采集训练场画面，提升视角体验的同时还提供了更加精确的实时追踪的画面数据，为管理人员减少工作量。

进一步地，所述预设目标检测模型是预先训练获得的Yolov5模型；所述姿态估计模块30，还用于根据所述Yolov5模型对所述目标运动员对应的视频集合进行图片切片处理，并对处理后的图片按照所述目标运动员头部为基点进行定位，获得定位信息；根据预设OpenPose算法和所述定位信息对运动连续帧进行关节点特征提取，获得目标关节点集合；根据所述目标关节点集合对所述目标运动员进行姿态估计，获得姿态特征集合。

进一步地，所述姿态估计模块30，还用于根据所述目标关节点集合和预设二维姿态关节点进行对比，获得第一对比结果；根据所述第一对比结果确定所述目标关节点集合中错误关节点，并对所述错误关节点进行修复，获得修复后的关节点集合；根据所述修复后的关节点集合确定所述目标运动员对应的俯瞰角度的姿态连线；根据所述姿态连线对所述目标运动员进行姿态估计，获得姿态特征集合。

进一步地，所述三维重建模块40，还用于根据所述姿态特征集合中包含的姿态连线对预设数量的关节点对应的二维坐标进行确定，获得目标二维坐标；将所述目标二维坐标转换为像素坐标，并根据转换后的像素坐标确定三维关节坐标；根据所述三维关节坐标对应的坐标连线和所述预加权图卷积模型确定三维人体姿态集合。

进一步地，所述违规监测模块50，还用于基于预设规范姿态集合对所述三维人体姿态集合进行姿态规范性校验，获得校验结果；根据预设姿态幅度对所述校验结果中异常姿态对应的姿态幅度进行对比，并根据对比结果判定所述目标运动员是否存在违规行为。

进一步地，所述差违规监测模块50，还用于根据所述预设目标检测模型对所述监控视频集合进行场地分割，获得场地特征集合；根据预设立体视觉障碍物检测模型对所述场地特征集合中的障碍物进行识别，获得障碍物特征集合；根据所述障碍物特征集合中的几何特征与预设障碍物特征进行对比，根据对比结果判定是否存在待处理的障碍物；若存在，则从所述障碍物特征集合中将所述待处理的障碍物对应的障碍物区域反馈至管理人员。

进一步地，所述违规监测模块50，还用于根据所述场地特征集合中包含视频采集时间从所述预设无人机对应的飞行数据中提取飞行高度信息；根据预设立体视觉障碍物检测模型对所述场地特征集合中的障碍物进行识别，获得障碍物几何特征；根据所述障碍物几何特征中包含的障碍物高度特征、所述飞行高度信息以及所述预设无人机对应的相机参数对所述障碍物进行区域检测，获得障碍物区域特征；根据所述障碍物几何特征和所述障碍物区域特征确定障碍物特征集合。

本发明训练场监测装置的其他实施例或具体实现方式可参照上述各方法实施例，此处不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。词语第一、第二、以及第三等的使用不表示任何顺序，可将这些词语解释为名称。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述 实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通 过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体 现出来，该计算机软件产品存储在一个存储介质(如只读存储器镜像（Read Only Memory image，ROM）/随机存取存储器（Random AccessMemory，RAM）、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种训练场监测方法，其特征在于，所述训练场监测方法包括以下步骤：

获取预设无人机按照无人机视角和预设巡航路线实时采集的目标训练场的监控视频集合；

根据预设目标检测模型对所述监控视频集合进行人物分割，获得处于训练状态的目标运动员对应的视频集合；

根据所述预设目标检测模型对所述目标运动员对应的视频集合进行姿态估计，获得姿态特征集合；

根据预加权图卷积网络模型和所述姿态特征集合对预设数量的关节点对应的三维坐标进行估计，根据三维关节坐标确定三维人体姿态集合，所述预加权图卷积网络模型是基于多尺度动态图卷积网络构建的模型；

基于所述三维人体姿态集合监测所述目标运动员是否存在违规行为。

2.如权利要求1所述的训练场监测方法，其特征在于，所述预设目标检测模型是预先训练获得的Yolov5模型；所述根据所述预设目标检测模型对所述目标运动员对应的视频集合进行姿态估计，获得姿态特征集合的步骤，包括：

根据所述Yolov5模型对所述目标运动员对应的视频集合进行图片切片处理，并对处理后的图片按照所述目标运动员头部为基点进行定位，获得定位信息；

根据预设OpenPose算法和所述定位信息对运动连续帧进行关节点特征提取，获得目标关节点集合；

根据所述目标关节点集合对所述目标运动员进行姿态估计，获得姿态特征集合。

3.如权利要求2所述的训练场监测方法，其特征在于，所述根据所述目标关节点集合对所述目标运动员进行姿态估计，获得姿态特征集合的步骤，包括：

根据所述目标关节点集合和预设二维姿态关节点进行对比，获得第一对比结果；

根据所述第一对比结果确定所述目标关节点集合中错误关节点，并对所述错误关节点进行修复，获得修复后的关节点集合；

根据所述修复后的关节点集合确定所述目标运动员对应的俯瞰角度的姿态连线；

根据所述姿态连线对所述目标运动员进行姿态估计，获得姿态特征集合。

4.如权利要求3所述的训练场监测方法，其特征在于，所述根据预加权图卷积网络模型和所述姿态特征集合对预设数量的关节点对应的三维坐标进行估计，根据三维关节坐标确定三维人体姿态集合的步骤，包括：

根据所述姿态特征集合中包含的姿态连线对预设数量的关节点对应的二维坐标进行确定，获得目标二维坐标；

将所述目标二维坐标转换为像素坐标，并根据转换后的像素坐标确定三维关节坐标；

根据所述三维关节坐标对应的坐标连线和所述预加权图卷积模型确定三维人体姿态集合。

5.如权利要求1-4任一项所述的训练场监测方法，其特征在于，所述基于所述三维人体姿态集合监测所述目标运动员是否存在违规行为的步骤，包括：

基于预设规范姿态集合对所述三维人体姿态集合进行姿态规范性校验，获得校验结果；

根据预设姿态幅度对所述校验结果中异常姿态对应的姿态幅度进行对比，并根据对比结果判定所述目标运动员是否存在违规行为。

6.如权利要求1所述的训练场监测方法，其特征在于，所述基于所述三维人体姿态集合监测所述目标运动员是否存在违规行为的步骤之后，还包括：

根据所述预设目标检测模型对所述监控视频集合进行场地分割，获得场地特征集合；

根据预设立体视觉障碍物检测模型对所述场地特征集合中的障碍物进行识别，获得障碍物特征集合；

根据所述障碍物特征集合中的几何特征与预设障碍物特征进行对比，根据对比结果判定是否存在待处理的障碍物；

若存在，则从所述障碍物特征集合中将所述待处理的障碍物对应的障碍物区域反馈至管理人员。

7.如权利要求6所述的训练场监测方法，其特征在于，所述根据预设立体视觉障碍物检测模型对所述场地特征集合中的障碍物进行识别，获得障碍物特征集合的步骤，包括：

根据所述场地特征集合中包含视频采集时间从所述预设无人机对应的飞行数据中提取飞行高度信息；

根据预设立体视觉障碍物检测模型对所述场地特征集合中的障碍物进行识别，获得障碍物几何特征；

根据所述障碍物几何特征中包含的障碍物高度特征、所述飞行高度信息以及所述预设无人机对应的相机参数对所述障碍物进行区域检测，获得障碍物区域特征；

根据所述障碍物几何特征和所述障碍物区域特征确定障碍物特征集合。

8.一种训练场监测设备，其特征在于，所述训练场监测设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的训练场监测程序，所述训练场监测程序被所述处理器执行时实现如权利要求1至7中任一项所述的训练场监测方法。

9.一种存储介质，其特征在于，所述存储介质上存储有训练场监测程序，所述训练场监测程序被处理器执行时实现如权利要求1至7中任一项所述的训练场监测方法。

10.一种训练场监测装置，其特征在于，所述训练场监测装置包括：

视频采集模块，用于获取预设无人机按照无人机视角和预设巡航路线实时采集的目标训练场的监控视频集合；

视频分割模块，用于根据预设目标检测模型对所述监控视频集合进行人物分割，获得处于训练状态的目标运动员对应的视频集合；

姿态估计模块，用于根据所述预设目标检测模型对所述目标运动员对应的视频集合进行姿态估计，获得姿态特征集合；

三维重建模块，用于根据预加权图卷积网络模型和所述姿态特征集合对预设数量的关节点对应的三维坐标进行估计，根据三维关节坐标确定三维人体姿态集合，所述预加权图卷积网络模型是基于多尺度动态图卷积网络构建的模型；

违规监测模块，用于基于所述三维人体姿态集合监测所述目标运动员是否存在违规行为。