CN114712769A - 基于计算机视觉的立定跳远智能测距方法及系统 - Google Patents

Abstract

本发明提出基于计算机视觉的立定跳远智能测距方法及系统，该方法通过计算机视觉与人体关键点识别技术相配合，通过计算机视觉技术对立定跳远时在跳毯上的落地点进行拍照，并通过人体关键识别最终确认落地点计算跳远成绩，测量精准同时避免了人员浪费且成本较低。本发明通过开源框架OpenPose与计算机视觉检测技术开发了本系统。对立定跳远落地动作进行判断，如手部撑地、滑倒、向后腿步等，以提高本技术方案的普适性与实用性。

Description

基于计算机视觉的立定跳远智能测距方法及系统

技术领域

本发明属于机器视觉与图像处理技术领域，涉及基于计算机视觉与人体关键点的立定跳远智能测距方法及系统。

背景技术

在现有的相关专利技术发明中，普遍采用的都是不同类型的传感器，如红外线传感器、嵌入式、光栅测距法、激光测距法等来进行测距。在对落地姿态进行评判时，都是统一以脚部计算立定跳远距离。但大部分测试标准是以离起跳线最近的落地点作为测量点到起跳线的距离。所以现有的测量方法无法真实反映最后的跳远成绩。

发明内容

为了克服现有技术中存在的问题，本发明考虑到立定跳远测试存在多种落地情况，基于计算机视觉与人工智能的深度结合，通过开源框架OpenPose与计算机视觉检测技术开发了一种计算机视觉与人体关键点的无人值守立定跳远距离测量方法及系统。对立定跳远落地动作进行判断，如手部撑地、滑倒、向后腿步等，以提高本技术方案的普适性与实用性。

本发明的技术方案：

基于计算机视觉的立定跳远智能测距方法，包括步骤如下：

步骤1，测试前标定；

将摄像头垂直于跳跃方向设置，标尺沿跳跃方向设置且位于测试区域一侧，摄像头面向标尺；

标定摄像头，求出相机内外参数；

标定测试场地，通过摄像头拍摄得到的场地照片，提取起跳线、参考线、标尺轮廓与刻度标识；所述起跳线垂直于标尺起点，参考线垂直于标尺位于标尺末端；计算出起跳线与参考线的直线方程，并识别标尺的刻度标识用于测距计算；

摄像头垂直于标尺的垂线两侧，结合标尺与起跳线和参考线分别围城两个区域，分别计算两个区域的透视变换矩阵；

步骤2，进行测试；

步骤2.1，受测者进入测试区域后，首先人脸识别受测者个人信息，确认个人信息后开始测试；

步骤2.2，完成测试后，收集完整测试视频，提取起跳与落地视频帧集合；

步骤2.3，获取起跳视频帧集合中脚部关键点位置，将脚部关键点与起跳线方程进行计算，判定是否违例；如果违例则本次测试成绩无效；

步骤2.4，当无违例情况时，获取落地视频帧集合中落地部位关键点位置，对落地点进行透视变换，获取落地点对应在标尺上的点；

步骤2.5，根据对应的标尺点，得到受测者的跳远距离。

进一步地，所述步骤2.2，起跳视频帧集合获得方法：将脚尖离地时刻的图像作为起跳时刻T2，将开始检测到第一个踝关节关键点的时刻记作T1，获得T1 至T2时刻的所有图像，即起跳视频帧集合。

进一步地，所述步骤2.2中落地视频帧集合获取方法为：当正常落地和落地不稳的情况时，踝关节关键点位置变化幅度突然变小的一帧的前一帧图像的时间点为落地时刻T3；T3时刻加2秒为T4时刻，获得T3至T4时刻的所有图像，即为落地视频帧集合。

进一步地，从所述步骤2.4中，取落地视频帧集合，分析落地状态，获得落地部位关键点位置，确定落地点，包括以下几种情况：

第一种情况，落地平稳正常；

落地后，脚踝关节点坐标无明显变化且髋膝踝角度开始变大；则判定此次立定跳远落地平稳正常，只需测量脚跟与起跳线之间的垂直距离作为本次成绩；

第二种情况，落地不平稳，直接臀部落地；

当受测者髋膝踝角度几乎无变化，髋关节纵坐标变小，踝关节坐标几乎无变化时，表明受测者出现滑倒，臀部直接着地情况；通过腕关节关键点横坐标与髋关节关键点横坐标进行对比，当手腕点关节关键点横坐标小于髋关节关键点时，识别出臀部区域落地点；手腕点关节关键点横坐标大于髋关节关键点时，识别出手部区域落地点；

第三种情况，落地后起身不稳，并向前倾；

立定跳远落地后存在起身不稳，当起身不稳向前迈步时，脚踝关节点坐标无明显变化和髋膝踝角度开始变大；面对这一情况，只测量起跳线与相对靠后脚的脚跟点为最终结果；

第四种情况，落地后起身不稳，并向后倾倒；就会出现臀部与手部着地与退后一步或者多步这类现象；

当受测者出现向后退一步或者多步的情况下，踝关节关键点横坐标必变小同时，髋膝踝关节角度变大与髋关节、踝关节关键点的横坐标变小，则受测者出现向后退步的情况，确定在落地时刻中踝关节横坐标最小的点，提取该点所对应图像的脚部区域；测量起跳线与相对靠后脚的脚跟点为最终结果；

当出现起身不稳，向后着地情况时，髋关节关键点纵坐标先变小再变大，肩关节关键点横坐标明显变小，髋膝踝角度先变大在变小，且手腕关节关键点纵坐标与踝关节关键点纵坐标相近；当手腕关节关键点纵坐标与踝关节关键点的纵坐标相近、手腕关节关键点横坐标小于髋关节关键点的横坐标时，表明倒地臀部触地；当手腕关节关键点横坐标踝关节关键点的纵坐标相近、大于髋关节关键点的横坐标是，表明倒地手部触地。

应用上述方法的的系统，包括摄像头、应用所述方法的处理器、标尺、起跳线、参考线。

与现有技术相比，本发明所具有的有益效果是：

1、本发明基于计算机视觉立定跳远智能测距方法，通过计算机视觉与人体关键点识别技术相配合，通过计算机视觉技术对立定跳远时在跳毯上的落地点进行拍照，并通过人体关键识别最终确认落地点计算跳远成绩，测量精准同时避免了人员浪费且成本较低。

2、通过设置云端数据库与人脸识别，通过人脸识别，受测者在测试之前通过人脸识别进入考试流程，在人脸识别时，对受测者信息进行检测，便于对测试者的身份进行识别同时便于对受测者跳远成绩进行上传。云端数据库可以实现成绩的上传，避免了现有技术中需要人工记录的弊端，使得整体测试流程可以实现无人化，大大提高了工作效率。

附图说明

图1为基于计算机视觉立定跳智能测距方法组成示意图。

图2为基于计算机视觉立定跳智能测距方法提取轮廓示意图。

图3为基于计算机视觉立定跳智能测距方法透视原理图。

图4为基于计算机视觉立定跳智能测距方法起跳时刻图像。

图5为基于计算机视觉立定跳智能测距方法起跳时刻图像。

图6为基于计算机视觉立定跳智能测距方法脚部关键点图像。

图7为基于计算机视觉立定跳智能测距方法流程图。

图中：1起跳线；2参考线。

具体实施方式

图1～7是本发明的最佳实施例，下面结合附图1～5对本实施例做进一步说明。

如图1所示，一种基于计算机视觉立定跳远智能测距系统，包括一个摄像头、一台笔记本、标尺、一台外置显卡坞和专用跳毯组成。标尺垂直于地面放置，摄像头沿标尺中点垂线，水平放置于距离标尺4.6m处并与笔记本电脑连接。选择该固定的放置位置是因为OpenPose技术和相机透视现象的影响，若放置在其他位置处容易出现人体关节点丢失或测距误差增大的现象，使得整体测试区域处于拍摄范围中。

其中外置显卡是为人体姿态识别框架提供算力支持。

本实施例的专用跳毯为矩形柔性毯，在跳毯的一端设置有起跳线，起跳线颜色为红色，长75cm，宽10cm。跳毯另一端设置有参考线，参考线尺寸与起跳线相同。设立参考线是为了在提高立定跳远测距时的精度。

如图2所示，本实施例所述的立定跳远标尺长3m，标尺由红色刻度(即图中的深色刻度)与白色刻度(即图中的浅色刻度)组成，每个刻度宽5cm，高10cm，红白刻度各15个依次排列。标尺0刻度起跳线右侧重合，终点刻度距离参考线 3cm处。参考线是为了更好的对计算透视矩阵设立的，不完全重合起跳线终点是由于颜色相近，在程序进行轮廓识别时容易出现误差。使用过程中标定标尺上各个色块贴近地面两角点位置，用于测量跳跃距离。

为了达成无人值守，本实施例采用了人脸识别与设立云端数据库，能够实行全部采集信息，测试、成绩上传过程无人化、智能化。

如图3所示，受摄像机摆放位置的影响，视频帧图像会产生透视现象。由于摄像头摆放于垂直标尺中点4.6m处，所以视频帧在中线左右两侧区域所产生左右对称的透视现象。测试场地有了起跳线、透视校正参考线和中线后，便可以在左右测试区域确立四个点，然后进行透视变换计算。透视变换是将图像从一个视平面投影到另外一个视平面的过程。其本质上是空间立体三维变换，需要一个完全不同的变换矩阵M，实现将三维坐标投影到另外一个视平面。利用透视变换，可将任意四边形转化为矩形。

图4-6中所示图片的坐标原点为左上角点，横坐标正向是沿纸面向右，纵坐标正向是沿纸面向下。

如图4所示，通过算法能够准确获得的脚尖离地时刻的图像。将脚尖离地时刻的图像作为起跳时刻T2，将开始检测到第一个踝关节关键点的时刻记作T1，获得T1至T2时刻的所有图像，即起跳视频帧集合，为违例识别做好准备。

如图5所示，通过同样的算法能够准确获得的脚跟落地时刻的图像。当正常落地和落地不稳的情况时，踝关节关键点位置变化幅度突然变小的一帧的前一帧图像的时间点为落地时刻T3；T3时刻加2秒为T4时刻，获得T3至T4时刻的所有图像，即为落地视频帧集合，为不同落地状况识别做好准备。

如图6所示，通过人体关键点检测框架识落地部位区域，根据不同落地部位阈值，确定相关关节点坐标后通过加减像素值确定落地区域(ROI)。通过多次试验证明，运用该方法能够准确识别出起跳与落地时刻的脚部区域，并且该方法具有稳定性与鲁棒性，符合本研究对立定跳远区域和关键点识别的要求。

如图7所示，一种基于计算机视觉立定跳远智能测距方法，包括如下步骤。

步骤1，在进行跳远之前，需要执行标定程序，标定程序分为两部分，一部分是摄像头的标定，求出相机内外参数。

步骤2，标定程序另一部分是场地标定程序，由程序控制摄像头对跳毯进行拍照，得到跳毯的原始图片；

步骤3，对原始图片进行处理，提取起跳线、参考线、标尺的轮廓与角点。计算出起跳线与参考线的直线方程，并将标尺轮廓的下端角点记录用于测距计算。

步骤4，提取起跳线与参考线的角点后，分别计算(中线左右两侧)两个区域的透视变换矩阵。

透视变换公式为：

透视变换过程是将中线两点与起跳线或参考线上两点与上述变换矩阵M相乘，得到新的四角坐标，其中M₁₁、M₁₂、M₂₁、M₂₂表示线性变换，比如缩放和剪切；M₃₁ M₃₂用于平移；[M₁₃M₂₃]^T用于透视变换；M₃₃为比例系，此值恒为1。透视变换公式如下式所示。

X′＝m₁₁x+m₁₂y+m₁₃-m₃₁xx-m₃₂xy

Y′＝m₁₁x+m₁₂y+m₁₃-m₃₁xy-m₃₂yy

在公式中，[X₁ Y₁ Z₁]表示变换之前的坐标。由于原坐标属于二维空间，故z为1。[XY Z]表示变换到三维空间后的坐标。通过除以Z轴数值，可得到其投影坐标X′,Y′。

步骤5，完成标定程序后，受测者进入常规测试流程。

步骤6，受测者进入测试区域后，首先人脸识别受测者个人信息，确认个人信息后开始测试。

步骤7，完成测试后，收集完整测试视频，提取起跳与落地关键视频帧集合。

步骤8，获取起跳视频帧集合中落地关键点位置，将落地部位关键点与起跳线方程进行计算，判定是否违例。如果违例则本次测试成绩无效。

步骤9，当无违例情况时，获取落地视频帧集合中落地部位关键点位置，对落地点进行透视变换，获取落地点对应在标尺上的点。

但是在实际测量情况中，落地状况并不相同，根据OpenPose检测出立定跳远相关的关键点位置信息并结合关节角度，对应的四种情况如下：

第一种情况，落地平稳正常；

落地后，脚踝关节点坐标无明显变化且髋膝踝角度开始变大；则判定此次立定跳远落地平稳正常，只需测量脚跟与起跳线之间的垂直距离作为本次成绩；

第二种情况，落地不平稳，直接臀部落地；

当受测者髋膝踝角度几乎无变化，髋关节纵坐标变大，踝关节坐标几乎无变化时，表明受测者出现滑倒，臀部直接着地情况；通过腕关节关键点横坐标与髋关节关键点横坐标进行对比，当手腕关节关键点横坐标小于髋关节关键点时，识别出手部区域落地点；手腕点关节关键点横坐标大于髋关节关键点时，识别出臀部区域落地点；

第三种情况，落地后起身不稳，并向前倾；

立定跳远落地后存在起身不稳，当起身不稳向前迈步时，脚踝关节点坐标无明显变化和髋膝踝角度开始变大；面对这一情况，只测量起跳线与相对靠后脚的脚跟点为最终结果；

第四种情况，落地后起身不稳，并向后倾倒；就会出现臀部与手部着地与退后一步或者多步这类现象；

当受测者出现向后退一步或者多步的情况下，踝关节关键点横坐标必变小同时，髋膝踝关节角度变大与髋关节、踝关节关键点的横坐标变小，则受测者出现向后退步的情况，确定在落地时刻中踝关节横坐标最小的点，提取该点所对应图像的脚部区域；测量起跳线与相对靠后脚的脚跟点为最终结果；

当出现起身不稳，向后着地情况时，髋关节关键点纵坐标先变小再变大，肩关节关键点横坐标明显变小，髋膝踝角度先变大在变小，且手腕关节关键点纵坐标与踝关节关键点纵坐标相近；当手腕关节关键点纵坐标与踝关节关键点的纵坐标相近、手腕关节关键点横坐标小于髋关节关键点的横坐标时，表明倒地臀部触地；当手腕关节关键点横坐标踝关节关键点的纵坐标相近、大于髋关节关键点的横坐标是，表明倒地手部触地。

步骤10，根据对应的标尺点，进一步的到受测者的跳远距离。

测距公式为：

通过透视变换矩阵确立落地点坐标后，对比所有标尺点查找刻度最相近的两个点，计算出这两点的直线方程，并求出投影点与近点的比值w1，与远点的比值w2。已知每个坐标之间间隔是5cm，查找到比近点小的坐标数k 个。

按照上述步骤5～步骤9，完成所有测试者的立定跳远测试。

以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (7)

1.基于计算机视觉的立定跳远智能测距方法，其特征在于，包括步骤如下：

步骤1，测试前标定；

将摄像头垂直于跳跃方向设置，标尺沿跳跃方向设置且位于测试区域一侧，摄像头面向标尺；

标定摄像头，求出相机内外参数；

标定测试场地，通过摄像头拍摄得到的场地照片，提取起跳线、参考线、标尺轮廓与刻度标识；所述起跳线垂直于标尺起点，参考线垂直于标尺位于标尺末端；计算出起跳线与参考线的直线方程，并识别标尺的刻度标识用于测距计算；

摄像头垂直于标尺的垂线两侧，结合标尺与起跳线和参考线分别围城两个区域，分别计算两个区域的透视变换矩阵；

步骤2，进行测试；

步骤2.1，受测者进入测试区域后，首先人脸识别受测者个人信息，确认个人信息后开始测试；

步骤2.2，完成测试后，收集完整测试视频，提取起跳与落地视频帧集合；

步骤2.3，获取起跳视频帧集合中脚部关键点位置，将脚部关键点与起跳线方程进行计算，判定是否违例；如果违例则本次测试成绩无效；

步骤2.4，当无违例情况时，获取落地视频帧集合中落地部位关键点位置，对落地点进行透视变换，获取落地点对应在标尺上的点；

步骤2.5，根据对应的标尺点，得到受测者的跳远距离。

2.根据权利要求1所述的基于计算机视觉的立定跳远智能测距方法，其特征在于，所述步骤2.2，起跳视频帧集合获得方法：将脚尖离地时刻的图像作为起跳时刻T2，将开始检测到第一个踝关节关键点的时刻记作T1，获得T1至T2时刻的所有图像，即起跳视频帧集合。

3.根据权利要求1所述的基于计算机视觉的立定跳远智能测距方法，其特征在于，所述步骤2.2中落地视频帧集合获取方法为：当正常落地和落地不稳的情况时，踝关节关键点位置变化幅度突然变小的一帧的前一帧图像的时间点为落地时刻T3；T3时刻加2秒为T4时刻，获得T3至T4时刻的所有图像，即为落地视频帧集合。

4.根据权利要求3所述的基于计算机视觉的立定跳远智能测距方法，其特征在于，从所述步骤2.4中，取落地视频帧集合，分析落地状态，获得落地部位关键点位置，确定落地点，包括以下几种情况：

第一种情况，落地平稳正常；

落地后，脚踝关节点坐标无明显变化且髋膝踝角度开始变大；则判定此次立定跳远落地平稳正常，只需测量脚跟与起跳线之间的垂直距离作为本次成绩；

第二种情况，落地不平稳，直接臀部落地；

当受测者髋膝踝角度几乎无变化，髋关节纵坐标变大，踝关节坐标几乎无变化时，表明受测者出现滑倒，臀部直接着地情况；通过腕关节关键点横坐标与髋关节关键点横坐标进行对比，当手腕关节关键点横坐标小于髋关节关键点时，识别出手部区域落地点；手腕点关节关键点横坐标大于髋关节关键点时，识别出臀部区域落地点；

第三种情况，落地后起身不稳，并向前倾；

立定跳远落地后存在起身不稳，当起身不稳向前迈步时，脚踝关节点坐标无明显变化和髋膝踝角度开始变大；面对这一情况，只测量起跳线与相对靠后脚的脚跟点为最终结果；

第四种情况，落地后起身不稳，并向后倾倒；

当受测者出现向后退一步或者多步的情况下，踝关节关键点横坐标必变小同时，髋膝踝关节角度变大与髋关节、踝关节关键点的横坐标变小，则受测者出现向后退步的情况，确定在落地时刻中踝关节横坐标最小的点，提取该点所对应图像的脚部区域；测量起跳线与相对靠后脚的脚跟点为最终结果；

当出现起身不稳，向后着地情况时，髋关节关键点纵坐标先变小再变大，肩关节关键点横坐标明显变小，髋膝踝角度先变大在变小，且手腕关节关键点纵坐标与踝关节关键点纵坐标相近；当手腕关节关键点纵坐标与踝关节关键点的纵坐标相近、手腕关节关键点横坐标小于髋关节关键点的横坐标时，表明倒地臀部触地；当手腕关节关键点横坐标踝关节关键点的纵坐标相近、大于髋关节关键点的横坐标是，表明倒地手部触地。

5.根据权利要求1所述的基于计算机视觉的立定跳远智能测距方法，其特征在于，所述步骤1中所述摄像头垂直于标尺的中点。

6.运用权利要求1-5任一所述的方法的系统，其特征在于，包括摄像头、应用所述方法的处理器、标尺、起跳线、参考线。

7.根据权利要求6所述的系统，其特征在于，所述标尺由尺寸相同颜色相间的色块顺次排列组成，标尺垂直于地面设置，使用过程中标定标尺上各个色块贴近地面两角点位置，用于测量跳跃距离。

Images