CN115909508B - 一种单人体育运动场景下的图像关键点增强检测方法 - Google Patents

Abstract

本发明公开了一种单人体育运动场景下的图像关键点增强检测方法。针对预先用相机采集的单人体育运动场景的视频，采用关键点检测模型结合不同亮度和对比度进行匹配处理获得最优的亮度和对比度作为最优匹配参数；对实时获得的单人体育运动场景下的图像按照最优匹配参数进行处理，且基于历史关键点信息进行人物检测框的动态更新生成，实现关键点增强检测。本发明通过自适应视频源场景变化，人物检测框生成生成，自动修正计数大幅度提升关键点检测准确率和稳定性，兼容已有的关键点检测模型，具有检测速度快、自适应不同输入视频源场景变化、可在已有关键点检测方法基础上继续提升检测准确率和稳定性的优点。

Description

一种单人体育运动场景下的图像关键点增强检测方法

技术领域

本发明涉及视觉关键点检测算法领域的一种关键点检测方法，尤其是涉及了一种单人体育运动场景下的图像关键点增强检测方法。

背景技术

基于视觉的人体关键点检测技术，一般是利用摄像头获取人物运动实时视频画面，然后利用深度学习人体关键点检测算法逐帧识别画面中的人体关键点信息（例如鼻子，左右眼，左右耳，左右肩，左右肘，左右腕，左右臀，左右膝，左右脚踝等），体育运动判断，检测，计数方面的核心技术。在体育考试，体质检测，运动检测，体能评估，运动健身等领域，通过对关键点相对位置关系的判断，能够反应运动人员不同的运动状态，从而进一步利用算法进行动作匹配度判断，运动计数等功能。

人体关键点检测算法目前基本上是采用基于深度学习的方法，一般可以分为自顶向下（top-down）和自底向上（bottom-up）两种方式，自顶向下的关键点检测算法先利用人物检测算法，把人物从整个画面中检测框出来，然后针对框内的人物做人体关键点检测，这种方式识别准确率高，但因为要使用两个算法模型，识别速度较慢；自底向上的关键点检测算法直接对整个画面进行检测，省去了人物检测步骤，算法速度快但检测准确率相对较低。从模型规模方面考虑，大模型参数量较多，虽然检测准确率有一定提升，但对部署设备的算力要求也成倍增加，实际应用中设备成本太高，无法普及应用；小模型参数量较少，识别准确率相对较差，但检测速度快，对部署设备算力要求相对较少，实际部署应用范围更广。

因此，传统关键点检测技术一般从模型结构优化或者增加训练数据提升算法性能，效果提升不显著，有的虽然准确率提升比较大，但算法模型参数也增加，计算量大，无法在性能低的设备上部署应用或者虽然能适用但检测速度慢无法应用，或者成本较高。

现有技术缺少了一种在体育运动场景下，模型参数小，检测速度快，检测准确率高的关键点检测方法和方式。

发明内容

本发明的目的在于针对现有技术的不足，本发明提供了一种在单人体育运行场景下的关键点检测增强技术，在现有模型基数上采用多项技术进一步提升关键点检测性能，能使得关键点检测检测准确和速度提升，尤其是准确率相对较低的轻量级模型，在基本上不牺牲运行速度的情况下进一步提升检测准确率和稳定性，适用范围更广，实用性更强，主要应用在基于人体关键点的运动计数，动作匹配判断，体能检测，健身标准性判断等需要人体关键点信息的领域。

在基础关键点检测算法的基础上，本发明通过改变输入视频源对比度和亮度属性，找到在该场景下最适应的亮度和对比度使得关键点检测模型检测效果最好。

本发明的目的是通过以下技术方案来实现的：

（1）针对单人体育运动场景的视频，采用关键点检测模型结合不同亮度和对比度进行匹配处理获得最优的亮度和对比度作为最优匹配参数；

（2）对实时获得的单人体育运动场景下的图像按照最优匹配参数进行处理，且基于历史关键点信息进行人物检测框的动态更新生成，实现关键点增强检测。

所述步骤（1）具体为：

提取视频的随机一帧图像，并获取图像的亮度和对比度信息，以图像的亮度和对比度为基准在各自上下0.5-1.5倍范围按等距切分并组合设置多个亮度和对比度的不同阶梯组合，且在调整达到每个阶梯组合下的图像进行处理获得对应的评估参数R，选取评估参数R最大的亮度和对比度的阶梯组合作为最优匹配参数。

所述的评估参数R具体按照以下方式获得：

采用关键点检测模型对图像进行关键点检测获得关键点集，循环进行n次得到关键点数组S=[K₁,K₂,K₃,...,K_n]，K_n表示第n次检测获得的关键点集，每个关键点集K包含了m个关键点的坐标及其置信度；

然后计算关键点数组S中每个关键点集的m个关键点的置信度c的平均值，再求取关键点数组S中所有关键点集的平均值的平均作为评估参数R。

所述步骤（2）具体为：

在单人体育运动场景下，对实时获得的每一帧图像的亮度和对比度调整到最优匹配参数下，然后进行以下处理：

（2.1）对当前帧图像采用关键点检测模型进行关键点检测获得关键点集K，将关键点集K添加时间戳信息后存放入长度为L的缓存队列Q中，缓存队列Q用于缓存L帧图像的关键点集K的数据；

（2.2）当缓存队列Q中的数据长度小于L时候不进行以下步骤，直到缓存队列Q中的数据长度为L，Q=[K_t-L, ..., K_t-2, K_t-2, K_t-1, K_t]，其中K_t表示第t帧图像的关键点集K，则进行以下步骤；

（2.3）在当前的缓存队列Q中，每相邻的两帧图像的关键点集K的关键点间计算移动距离，然后利用下面公式计算对应关键点的移动速度v进而判断筛选关键点：

V=((x^t-x^t-1)²+(y^t-y^t-1) ^1/2)/ (T^t-T^t-1)

其中，x^t、y^t表示关键点集K的一关键点在第t帧图像中的横纵坐标，T^t表示第t帧图像的计时时间，T^t-T^t-1表示t帧和前一帧之间的时间差；

再根据关键点的移动速度v判断是否在预设的速度区间[v_f, v_b]内过滤掉不满足速度区间内的关键点，其中v_f, v_b分别表示速度区间的下限和上限：

若在预设的速度区间[v_f, v_b]内，则保留该关键点；

若不在预设的速度区间[v_f, v_b]内，则舍弃该关键点，并以该关键点作为异常关键点；

（2.4）根据保留的每个关键点的置信度C和预设的置信度阈值g进行比较，过滤掉小于置信度阈值g的关键点，且以小于置信度阈值g的关键点作为异常关键点；

（2.5）根据人体关键相对位置和比例关系确定人体结构合理性条件集合P，利用人体结构合理性条件集合P对步骤（2.4）处理后获得的缓存队列Q中每个关键点集K内的所有关键点关系进行合理性条件判断，去除缓存队列Q中不满足人体结构合理性条件集合P要求的所有关键点得到新队列Q_f；

（2.6）再对新队列Q_f中每个关键点集K内包含的关键点数量进行判断，如果关键点集K内包含的关键点数量小于总关键点数量的一半，则去除该关键点集K，否则不去除；最后得到最优关键点队列Q_b，

（2.7）根据最优关键点队列Q_f中所有关键点在图像上的二维分布，建立一个最小外接矩形框，最小外接矩形框包含最优关键点队列Q_b中所有关键点集的所有关键点；

（2.8）根据上下左右方向分量的实时设置的检测速度V和检测平均周期T确定关键点在上下左右方向分量的扩展距离，再以扩展距离对最小外接矩形框分别进行上下左右方向上的扩展生成获得运动趋势分析之后的检测框R_e，实现图像中单人体育运动的定位；

（2.9）在下一帧图像中截取检测框R_e的区域，再采用关键点检测模型对检测框R_e的区域进行关键点检测获得关键点集K，添加时间戳信息后存放入缓存队列Q中；

（2.10）再不断重复步骤（2.3）～（2.9）迭代处理进行单人体育运动场景下的图像关键点实时增强检测。

所述的缓存队列Q采用先入先出方式存储，每存放入一帧图像的关键点集K则原有所有帧图像的关键点集K均往后向末尾移动一位，当新存放入一帧图像的关键点集K后使得缓存队列Q超出长度L时则舍去位于缓存队列Q末尾的一帧图像的关键点集K以进行实时更新缓存队列Q。

所述步骤（2.8）中，包括按照以下方式实时更新：

提取图像在外接矩形框中的部分在原图像上裁剪得到原图像的子图，具体实施框出人物的子图，更集中到人物上，图像尺寸更小。然后把子图输入到关键点检测模型中得到人体关键点，再根据当前关键点和前一帧的关键点及两帧之间的时间差T^t-T^t-1计算每个关键点的检测速度V，然后将检测速度V在上下左右方向上进行分解再乘以时间差得到所有关键点在上下左右方向上的运动分量，取每个方向上运动分量中的最大值作为外接矩形框在该方向上的扩展距离，从而由外接矩形框扩展获得最小外接矩形框。

最后再在原图像上裁剪得到原图像的子图，不断循环进行，使得能识别更准确地框出人物的子图，更集中到人物上，图像尺寸更小，所以相对原图输入到关键点检测模型效果更好，速度更快。

所述步骤（2）中，还基于异常关键点进行图像区域屏蔽。

基于异常关键点进行图像区域屏蔽，具体为根据历史过滤获得的异常关键点，找到并建立频繁出现异常关键点的区域作为异常区域，在异常区域采用固定像素填充、模糊处理或者近邻相似非异常区域填充等方法屏蔽。

异常区域一般是干扰人物背景图像或这与人体结构相似的物体画面，容易引起正常运动中的人体关键点检测。

屏蔽区域形状不固定，以覆盖异常关键点出现区域为准。异常区域满足以下条件：异常关键点出现频率高，出现区域固定区域范围不能超过一定面积。

本发明包括人物检测框自动生成方法，不需额外的人物检测模型，即可提取人物画面，缩小关键点检测模型输入画面区域，大幅提升算法运行速度和准确率。本发明包括了基于关键点运动速率、人体结构合理性的运动趋势分析方法，用于自适应动态修正检测框范围。本发明包括了基于异常关键点分析的图像区域屏蔽方法，把容易引起关键点异常的图像区域使用固定像素替换，模糊处理等方法屏蔽，进一步提升检测准确性。

本发明能够大幅度提升基础关键检测模型的速度和准确率，有益效果具体如下：

1、提出了一种关键点检测模型和输入视频亮度、对比度匹配方法。发明一种关键点检测准确率评估参数和自适应寻找模型和输入视频源的亮度和对比度最佳匹配方法。能够根据不同使用场景的视频源找到最合适的亮度和对比度设置，使得关键点检测检测模型在该参数下准确率最高。

2、提出了一种基于历史关键点信息的人物检测框自动生成方法：根据关键点检测置信度，合理运动速率区间，人体关键点相对位置和结构的合理性过滤掉异常关键点。然后依照关键点的位置分布的外接最小矩形框确定基础检测框，再根据上下左右的运动趋势范围得到最终检测框，从而缩小检测区域提高检测速度和准确率。

3、提出了一种基于异常关键点分析的图像区域屏蔽方法，把容易引起关键点异常的图像区域使用固定像素替换，模糊处理等方法屏蔽，进一步提升检测准确性。

本发明的有益效果是：

本发明是提出了一种关键点检测模型和输入视频亮度、对比度匹配方法，自适应匹配不同视频检测场景，提升算法检测准确率。提出了一种基于历史关键点信息的人物检测框自动生成方法，不需额外的人物检测模型，即可提取运动人物画面区域，大幅提升算法运行速度和准确率。

本发明还提出了一种基于异常关键点分析的图像区域屏蔽方法，进一步提升检测准确率。

本发明适用于不同的关键点检测方法，是一种二次增强关键点检测技术，能够使检测准确率相对较低的但运行速度快的小模型进一步提升检测准确率和稳定性且基本不牺牲性能。扩展关键点检测应用范围，降低部署使用关键点检测技术的门槛。

综合来说，本发明是在基础关键点检测模型基础上，采用多项优化技术，提升关键点检测准确率，鲁棒性，稳定性，并且适用范围广，运行速度快，实用性强，可以兼容不同的关键点检测算法。

附图说明

图1为实施例的关键点数组S的数据结构示意图；

图2为实施例最优亮度和对比度匹配流程图；

图3为实施例关键点信息K放入长度为L的缓存队列Q的示意图；

图4为实施例计算对应关键点移动速度的示意图；

图5为实施例根据人体关键相对位置和比例关系确定人体结构合理性条件集合P的示意图；

图6为实施例根据关键点二维分布确定最小外接矩形框R的示意图；

图7为实施例中最小外接矩形框和检测框等的示意图；

图8为实施例人物检测框生成总的流程图；

图9为实施例图像区域屏蔽的示意图。

具体实施方式

下面结合附图和具体实施对本发明作进一步说明。

按照本发明完整方法实施的实施例及其实施过程如下：

（1）流程如图2所示，针对预先用相机采集的单人体育运动场景的视频，采用关键点检测模型结合不同亮度和对比度进行匹配处理获得最优的亮度和对比度作为最优匹配参数；

在开始检测阶段，提取视频的随机一帧图像，并获取图像的亮度和对比度信息，以图像的亮度和对比度为基准在各自上下0.5-1.5倍范围按等距切分并组合设置多个亮度和对比度的不同阶梯组合，调整图像达到每个阶梯组合的亮度和对比度，且在调整达到每个阶梯组合下的图像进行处理获得对应的评估参数R，选取评估参数R最大的亮度和对比度的阶梯组合作为最优匹配参数。

评估参数R具体按照以下方式获得：

采用关键点检测模型对图像进行关键点检测获得关键点集，循环进行n次得到关键点数组S=[K₁,K₂,K₃,...,K_n]，K_n表示第n次检测获得的关键点集，每个关键点集K包含了m个关键点的横纵坐标及其置信度，m个关键点分布在不同的人体的部位，例如鼻子、左眼、右眼等；

关键点数组S和关键点集K的数据结构如图1所示，其中x,y为关键点在图像上的像素位置，c为检测置信度概率为0-1的值，越大代表检测的确信度越高，反应对该关键点的检测越准确。

然后计算关键点数组S中每个关键点集的m个关键点的置信度c的平均值，再求取关键点数组S中所有关键点集的平均值的平均作为评估参数R，评估参数R越大表示该亮度和对比度下检测的准确性越高。

在最优匹配参数的亮度和对比度下，能使得关键点检测模型的准确率最高，然后利用最优匹配参数的亮度和对比度对后续的视频进行处理。

本发明的亮度和对比度是按照不同的组合等距切分，具体可表示如下：

（2）如图8所示，对实时获得的单人体育运动场景下的图像按照最优匹配参数进行处理，且基于历史关键点信息进行人物检测框的动态更新生成，实现关键点增强检测。

在单人体育运动场景下，对实时获得的每一帧图像的亮度和对比度调整到最优匹配参数下，然后进行以下处理：

（2.1）如图3所示，对当前帧图像采用关键点检测模型进行关键点检测获得关键点集K，将关键点集K添加时间戳信息后存放入长度为L的缓存队列Q中，缓存队列Q用于缓存L帧图像的关键点集K的数据，L相当于帧数；

缓存队列Q采用先入先出方式存储，每存放入一帧图像的关键点集K则原有所有帧图像的关键点集K均往后向末尾移动一位，当新存放入一帧图像的关键点集K后使得缓存队列Q超出长度L时则舍去位于缓存队列Q末尾的一帧图像的关键点集K以进行实时更新缓存队列Q。

（2.2）当缓存队列Q中的数据长度小于L时候不进行以下步骤，直到缓存队列Q中的数据长度为L，Q=[K_t-L, ..., K_t-2, K_t-2, K_t-1, K_t]，其中K_t表示第t帧图像的关键点集K，则进行以下步骤；

（2.3）如图4所示，在当前的缓存队列Q中，每相邻的两帧图像的关键点集K的关键点间计算移动距离，然后利用下面公式计算对应关键点的移动速度v进而判断筛选关键点：

V=((x^t-x^t-1)²+(y^t-y^t-1) ^1/2)/ (T^t-T^t-1)

其中，x^t、y^t表示关键点集K的某一关键点在第t帧图像中的横纵坐标，T^t表示第t帧图像的计时时间；

再根据关键点的移动速度v判断是否在预设的速度区间[v_f, v_b]内过滤掉不满足速度区间内的关键点，其中v_f, v_b分别表示速度区间的下限和上限：

若在预设的速度区间[v_f, v_b]内，则保留该关键点；

若不在预设的速度区间[v_f, v_b]内，则舍弃该关键点，并以该关键点作为异常关键点；

（2.4）根据保留的每个关键点的置信度C和预设的置信度阈值g进行比较，过滤掉小于置信度阈值g的关键点，且以小于置信度阈值g的关键点作为异常关键点；

（2.5）如图5所示，根据预设的人体关键相对位置和比例关系确定人体结构合理性条件集合P，利用人体结构合理性条件集合P对步骤（2.4）处理后获得的缓存队列Q中每个关键点集K内的所有关键点关系进行合理性条件判断，去除缓存队列Q中不满足人体结构合理性条件集合P要求的所有关键点得到新队列Q_f；

新队列Q_f中每个关键点集K的关键点均满足人体结构合理性条件集合P，且置信度都大于或等于置信度阈值g，移动速度均处在合理区间[v_f, v_b]内。

（2.6）再对新队列Q_f中每个关键点集K内包含的关键点数量进行判断，如果关键点集K内包含的关键点数量小于总关键点数量的一半，则去除该关键点集K，否则不去除；最后得到最优关键点队列Q_b，

具体实施中，还设置最优关键点队列Q_b必须满足至少存在一个关键点集K包含所有的关键点的位置且最优关键点队列Q_b的关键点集数量大于L/2，否则不进行接下来的步骤。

（2.7）如图6所示，根据最优关键点队列Q_f中所有关键点在图像上的二维分布，建立一个最小外接矩形框，最小外接矩形框包含最优关键点队列Q_b中所有关键点集的所有关键点，最小外接矩形框如图7中的虚线框所示；

（2.8）根据上下左右方向分量的实时设置的检测速度V和检测平均周期T确定关键点在上下左右方向分量的扩展距离，再以扩展距离对最小外接矩形框分别进行上下左右方向上的扩展生成获得运动趋势分析之后的检测框R_e作为单人体育运动的定位框，检测框R_e如图7中的虚线框之外的实线框所示，实现图像中单人体育运动的定位；

检测平均周期T为两帧图像之间的时间差值。

所述步骤（2.8）中，包括按照以下方式实时更新：

提取图像在外接矩形框中的部分在原图像上裁剪得到原图像的子图，具体实施框出人物的子图，更集中到人物上，图像尺寸更小。然后把子图输入到关键点检测模型中得到人体关键点，再根据当前关键点和前一帧的关键点及两帧之间的时间差T^t-T^t-1计算每个关键点的检测速度V，然后将检测速度V在上下左右方向上进行分解再乘以时间差得到所有关键点在上下左右方向上的运动分量，取每个方向上运动分量中的最大值作为外接矩形框在该方向上的扩展距离，从而由外接矩形框扩展获得最小外接矩形框。

最后再在原图像上裁剪得到原图像的子图，不断循环进行，使得能识别更准确地框出人物的子图，更集中到人物上，图像尺寸更小，所以相对原图输入到关键点检测模型效果更好，速度更快。

这样使得检测速度V随着最优关键点队列Q_b对应的最小外接矩形框不断动态更新，也使得检测框随着每一帧图像实时获得关键点集K存入后的缓存队列Q进行不断动态更新，如图7所示。

（2.9）在下一帧图像中截取检测框R_e所在的区域，再采用关键点检测模型对检测框R_e的区域进行关键点检测获得关键点集K，添加时间戳信息后存放入缓存队列Q中；

（2.10）再不断重复步骤（2.3）～（2.9）迭代处理进行单人体育运动场景下的图像关键点实时增强检测。

这样在之前图像上截取新的检测框R_e用于接下来的关键点检测，循环进行动态更新检测框R_e，缩小关键点检测区域，能够提高关键点检测速度和准确率。

如图9所示，步骤（2）中，还基于异常关键点进行图像区域屏蔽，使得图像数据处理更快更准确，具体为根据历史过滤获得的异常关键点，找到并建立频繁出现异常关键点的区域作为异常区域，在异常区域采用固定像素填充、模糊处理或者近邻相似非异常区域填充等方法屏蔽。

通过异常关键点出现区域屏蔽，可以减少异常关键点出现概率，进一步提升算法准确率，在实际应用中效果显著。

找到并建立频繁出现异常关键点的区域作为异常区域，具体为：

从检测开始，记录每次检测过程中出现的异常关键点坐标，每间隔固定时间对所有异常关键点在画面中的密度分布情况进行统计，取密度大于一定阈值的区域作为异常区域。确定异常区域后用固定像素填充、模糊处理或者近邻相似非异常区域填充等方法屏蔽异常区域，同时把屏蔽区域内的关键点从记录中删除，不参与下一轮的异常区域判断，循环进行。

实施实例可以部署到手机设备上（android 和 ios 设备都可）处理器芯片CPU频率在2GHZ以上，带有GPU模块的性能更好。使用手机本身摄像头获取人物运动画面，使用movenet 关键点检测模型作为基础模型，使用本发明算法，实现跳绳，深蹲等运动技术功能，能显著提高关键点检测准确度，且检测速率损失非常小（检测速率由25FGS变成23FGS）。

也可以使用电脑或边缘计算设备部署本发明算法技术，外接RTSP源摄像头或USB摄像头获取人物运动画面进行关键点检测。

基础算法模型包括但不限于：OpenPose，HRnet，Movenet，AlphPose等。

具体实施中，方法适用于跳绳，深蹲，俯卧撑，平板支撑，开合跳，坐位体前屈，原地跑步，仰卧起坐等单人体育运动下的关键点增强检测需求。

由此实施可见，本发明是在基础的关键点检测模型上，通过自适应视频源场景变化，人物检测框生成生成，人物检测框自动修正计数大幅度提升关键点检测准确率和稳定性，可以兼容已有的关键点检测模型，在此基础上继续提升性能。具有检测速度快，自适应不同输入视频源场景变化，可以在已有关键点检测方法基础上继续提升检测准确率和稳定性的优点。

Claims (6)

1.一种单人体育运动场景下的图像关键点增强检测方法，其特征在于：方法包括如下步骤：

（1）针对单人体育运动场景的视频，采用关键点检测模型结合不同亮度和对比度进行匹配处理获得最优的亮度和对比度作为最优匹配参数；

（2）对实时获得的单人体育运动场景下的图像按照最优匹配参数进行处理，且基于历史关键点信息进行人物检测框的动态更新生成；

所述步骤（1）具体为：提取视频的随机一帧图像，并获取图像的亮度和对比度信息，以图像的亮度和对比度为基准在各自上下0.5-1.5倍范围按等距切分并组合设置多个亮度和对比度的不同阶梯组合，且在调整达到每个阶梯组合下的图像进行处理获得对应的评估参数R，选取评估参数R最大的亮度和对比度的阶梯组合作为最优匹配参数；

所述步骤（2）具体为：

在单人体育运动场景下，对实时获得的每一帧图像的亮度和对比度调整到最优匹配参数下，然后进行以下处理：

（2.1）对当前帧图像采用关键点检测模型进行关键点检测获得关键点集K，将关键点集K添加时间戳信息后存放入长度为L的缓存队列Q中，缓存队列Q用于缓存L帧图像的关键点集K的数据；

（2.2）当缓存队列Q中的数据长度小于L时候不进行以下步骤，直到缓存队列Q中的数据长度为L，Q=[K_t-L, ..., K_t-2, K_t-2, K_t-1, K_t]，其中K_t表示第t帧图像的关键点集K，则进行以下步骤；

（2.3）在当前的缓存队列Q中，每相邻的两帧图像的关键点集K的关键点间计算移动距离，然后利用下面公式计算对应关键点的移动速度v进而判断筛选关键点：

V=((x^t-x^t-1)²+(y^t-y^t-1)^1/2)/ (T^t-T^t-1)

其中，x^t、y^t表示关键点集K的一关键点在第t帧图像中的横纵坐标，T^t表示第t帧图像的计时时间，T^t-T^t-1表示t帧和前一帧之间的时间差；

再根据关键点的移动速度v判断是否在预设的速度区间[v_f, v_b]内过滤掉不满足速度区间内的关键点，其中v_f, v_b分别表示速度区间的下限和上限：

若在预设的速度区间[v_f, v_b]内，则保留该关键点；

若不在预设的速度区间[v_f, v_b]内，则舍弃该关键点，并以该关键点作为异常关键点；

（2.4）根据保留的每个关键点的置信度C和预设的置信度阈值g进行比较，过滤掉小于置信度阈值g的关键点，且以小于置信度阈值g的关键点作为异常关键点；

（2.5）根据人体关键相对位置和比例关系确定人体结构合理性条件集合P，利用人体结构合理性条件集合P对步骤（2.4）处理后获得的缓存队列Q中每个关键点集K内的所有关键点关系进行合理性条件判断，去除缓存队列Q中不满足人体结构合理性条件集合P要求的所有关键点得到新队列Q_f；

（2.6）再对新队列Q_f中每个关键点集K内包含的关键点数量进行判断，如果关键点集K内包含的关键点数量小于总关键点数量的一半，则去除该关键点集K，否则不去除；最后得到最优关键点队列Q_b，

（2.7）根据最优关键点队列Q_f中所有关键点在图像上的二维分布，建立一个最小外接矩形框，最小外接矩形框包含最优关键点队列Q_b中所有关键点集的所有关键点；

（2.8）根据上下左右方向分量的实时设置的检测速度V和检测平均周期T确定关键点在上下左右方向分量的扩展距离，再以扩展距离对最小外接矩形框分别进行上下左右方向上的扩展生成获得运动趋势分析之后的检测框R_e，实现图像中单人体育运动的定位；

（2.9）在下一帧图像中截取检测框R_e的区域，再采用关键点检测模型对检测框R_e的区域进行关键点检测获得关键点集K，添加时间戳信息后存放入缓存队列Q中；

（2.10）再不断重复步骤（2.3）～（2.9）迭代处理进行单人体育运动场景下的图像关键点实时增强检测。

2.根据权利要求1所述的一种单人体育运动场景下的图像关键点增强检测方法，其特征在于：所述的评估参数R具体按照以下方式获得：

采用关键点检测模型对图像进行关键点检测获得关键点集，循环进行n次得到关键点数组S=[K₁,K₂,K₃,...,K_n]，K_n表示第n次检测获得的关键点集，每个关键点集K包含了m个关键点的坐标及其置信度；

然后计算关键点数组S中每个关键点集的m个关键点的置信度c的平均值，再求取关键点数组S中所有关键点集的平均值的平均作为评估参数R。

3.根据权利要求1所述的一种单人体育运动场景下的图像关键点增强检测方法，其特征在于：所述的缓存队列Q采用先入先出方式存储，每存放入一帧图像的关键点集K则原有所有帧图像的关键点集K均往后向末尾移动一位，当新存放入一帧图像的关键点集K后使得缓存队列Q超出长度L时则舍去位于缓存队列Q末尾的一帧图像的关键点集K以进行实时更新缓存队列Q。

4.根据权利要求1所述的一种单人体育运动场景下的图像关键点增强检测方法，其特征在于：所述步骤（2.8）中，包括：

提取图像在外接矩形框中的部分在原图像上裁剪得到原图像的子图，然后把子图输入到关键点检测模型中得到人体关键点，再根据当前关键点和前一帧的关键点及两帧之间的时间差T^t-T^t-1计算每个关键点的检测速度V，然后将检测速度V在上下左右方向上进行分解再乘以时间差得到所有关键点在上下左右方向上的运动分量，取每个方向上运动分量中的最大值作为外接矩形框在方向上的扩展距离，从而由外接矩形框扩展获得最小外接矩形框。

5.根据权利要求1所述的一种单人体育运动场景下的图像关键点增强检测方法，其特征在于：所述步骤（2）中，还基于异常关键点进行图像区域屏蔽。

6.根据权利要求5所述的一种单人体育运动场景下的图像关键点增强检测方法，其特征在于：基于异常关键点进行图像区域屏蔽，具体为根据历史过滤获得的异常关键点，找到并建立频繁出现异常关键点的区域作为异常区域，在异常区域采用固定像素填充、模糊处理或者近邻相似非异常区域填充等方法屏蔽。

Images