CN116343082A - 一种起跳踩线检测方法、装置、存储介质及计算机设备 - Google Patents
一种起跳踩线检测方法、装置、存储介质及计算机设备 Download PDFInfo
- Publication number
- CN116343082A CN116343082A CN202310152843.2A CN202310152843A CN116343082A CN 116343082 A CN116343082 A CN 116343082A CN 202310152843 A CN202310152843 A CN 202310152843A CN 116343082 A CN116343082 A CN 116343082A
- Authority
- CN
- China
- Prior art keywords
- target
- frame
- take
- person
- detection frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000003860 storage Methods 0.000 title claims abstract description 12
- 238000001514 detection method Methods 0.000 claims abstract description 252
- 230000001429 stepping effect Effects 0.000 claims abstract description 18
- 230000009471 action Effects 0.000 claims abstract description 12
- 230000009191 jumping Effects 0.000 claims description 24
- 238000013528 artificial neural network Methods 0.000 claims description 14
- 230000006399 behavior Effects 0.000 claims description 14
- 238000013135 deep learning Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 238000005520 cutting process Methods 0.000 claims description 4
- 230000036961 partial effect Effects 0.000 claims description 2
- 230000008859 change Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 9
- 238000013527 convolutional neural network Methods 0.000 description 7
- 238000013461 design Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例公开了一种起跳踩线检测方法、装置、存储介质及计算机设备，该方法包括：通过获取待测人员连续的视频帧，识别视频帧中待测人员的脚掌检测框，根据待测人员的脚掌检测框，确定起跳帧，并识别起跳帧中待测人员的脚掌检测框内的脚尖位置的坐标，得到目标坐标，根据目标坐标、预设的起跳线位置以及起跳方向，检测待测人员是否存在起跳踩线行为。通过结合目标坐标、预设的起跳线位置以及起跳方向多方面来检测待测人员是否存在起跳踩线行为，可以提高起跳踩线检测的准确性。
Description
技术领域
本发明涉及影像检测定位技术领域，尤其涉及一种起跳踩线检测方法、装置、存储介质及计算机设备。
背景技术
目前各中高校进行三级跳比赛时，基本采用人工查看考生是否有压线踩线，但人工查看工作量比较大,人工方式难以避免疲劳问题，当人出现疲劳后容易出现判断错误。而随着人工智能的发展，现今，在图像视频处理方面越来越显示出其重要程度，自动化在以后的时间里将成为主流，而在体育行业，这方面的应用也极为关键，一方面减少了人力成本，另一方面保证绝对了公平公正公开的理念，提高了压线踩线的判断的准确性。
发明内容
本发明的主要目的在于提供一种起跳踩线检测方法、装置、存储介质及计算机设备，可以解决现有技术中的跳踩线检测工作量大、容易误判的技术问题。
为实现上述目的，本发明第一方面提供一种起跳踩线检测方法，所述方法包括：
获取待测人员连续的视频帧，识别所述视频帧中待测人员的脚掌检测框，得到目标脚掌检测框，根据所述目标脚掌检测框，确定起跳帧，其中，所述脚掌检测框为脚掌或鞋子的外接多边形；所述起跳帧是待测人员起跳时的视频帧；
识别所述起跳帧中目标脚掌检测框内的脚尖位置的坐标，得到目标坐标；
根据所述目标坐标、预设的起跳线位置以及起跳方向，检测所述待测人员是否存在起跳踩线行为。
结合第一方面，在一种可能的实现方式中，上述根据所述目标坐标、预设的起跳线位置以及起跳方向，检测所述待测人员是否存在起跳踩线行为，包括：通过判断目标向量与所述起跳方向是否同向，检测所述待测人员是否存在起跳踩线行为；其中，所述目标向量为以目标坐标点为起点，目标坐标点垂直于起跳线位置的坐标点为终点构成的向量。
结合第一方面，在一种可能的实现方式中，上述通过判断目标向量与所述起跳方向是否同向，检测所述待测人员是否存在起跳踩线行为，包括：若所述目标向量与所述起跳方向同向，则所述待测人员不存在起跳踩线行为；若所述目标向量与所述起跳方向反向，则所述待测人员存在起跳踩线行为。
结合第一方面，在一种可能的实现方式中，上述判断目标向量与所述起跳方向是否同向，包括：根据所述目标向量与所述起跳方向之间构成的夹角是否小于90°，判断所述目标向量与所述起跳方向是否同向。
结合第一方面，在一种可能的实现方式中，上述根据所述目标向量与所述起跳方向之间构成的夹角是否小于90°，判断所述目标向量与所述起跳方向是否同向，包括：若所述目标向量与所述起跳方向之间构成的夹角小于90°，则所述目标向量与所述起跳方向同向；若所述目标向量与所述起跳方向之间构成的夹角不小于90°，则所述目标向量与所述起跳方向反向。
结合第一方面，在一种可能的实现方式中，上述根据所述目标脚掌检测框，确定起跳帧，包括：按照预设规则，根据目标视频帧对应的目标脚掌检测框底边位置、目标脚掌检测框高度以及目标脚掌检测框宽度，对所述目标脚掌检测框进行打分，得到所述目标脚掌检测框对应的总得分；其中，所述目标视频帧为目标时间段内的任一视频帧，目标时间段为从目标脚掌检测框的横向速度第一次小于速度阈值对应的视频帧开始，到目标脚掌检测框的横向速度第一次大于速度阈值对应的视频帧结束之间的时间段；将总得分最高的目标脚掌检测框对应的目标视频帧作为起跳帧。
结合第一方面，在一种可能的实现方式中，上述识别所述起跳帧中待测人员的脚掌检测框内的脚尖位置的坐标，得到目标坐标，包括：对所述起跳帧中的目标脚掌检测框进行放大处理，得到包含目标脚掌检测框的识别区域，对所述识别区域进行裁剪，得到局部图像，其中，所述局部图像包含目标脚掌检测框；基于深度学习的神经网络算法对所述局部图像进行识别，得到目标坐标。
为实现上述目的，本发明第二方面提供一种起跳踩线检测装置，所述装置包括：
获取识别模块：用于获取待测人员连续的视频帧，识别所述视频帧中待测人员的脚掌检测框，得到目标脚掌检测框，根据所述目标脚掌检测框，确定起跳帧，其中，所述脚掌检测框为脚掌或鞋子的外接多边形；所述起跳帧是待测人员起跳时的视频帧；
识别得到模块：用于识别所述起跳帧中目标脚掌检测框内的脚尖位置的坐标，得到目标坐标；
检测踩线模块：用于根据所述目标坐标、预设的起跳线位置以及起跳方向，检测所述待测人员是否存在起跳踩线行为。
为实现上述目的，本发明第三方面提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行以下步骤：
获取待测人员连续的视频帧，识别所述视频帧中待测人员的脚掌检测框，得到目标脚掌检测框，根据所述目标脚掌检测框，确定起跳帧，其中，所述脚掌检测框为脚掌或鞋子的外接多边形；所述起跳帧是待测人员起跳时的视频帧；
识别所述起跳帧中目标脚掌检测框内的脚尖位置的坐标，得到目标坐标；
根据所述目标坐标、预设的起跳线位置以及起跳方向，检测所述待测人员是否存在起跳踩线行为。
为实现上述目的，本发明第四方面提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行以下步骤：
获取待测人员连续的视频帧，识别所述视频帧中待测人员的脚掌检测框，得到目标脚掌检测框，根据所述目标脚掌检测框，确定起跳帧，其中，所述脚掌检测框为脚掌或鞋子的外接多边形；所述起跳帧是待测人员起跳时的视频帧；
识别所述起跳帧中目标脚掌检测框内的脚尖位置的坐标，得到目标坐标；
根据所述目标坐标、预设的起跳线位置以及起跳方向，检测所述待测人员是否存在起跳踩线行为。
采用本发明实施例，具有如下有益效果：
本发明提供一种起跳踩线检测方法，通过获取待测人员连续的视频帧，识别视频帧中待测人员的脚掌检测框，根据待测人员的脚掌检测框，确定起跳帧，并识别起跳帧中待测人员的脚掌检测框内的脚尖位置的坐标，得到目标坐标，根据目标坐标、预设的起跳线位置以及起跳方向，检测待测人员是否存在起跳踩线行为。在本技术方案中，通过结合目标坐标、预设的起跳线位置以及起跳方向多方面来检测待测人员是否存在起跳踩线行为，可以提高起跳踩线检测的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
其中：
图1为本发明实施例中一种起跳踩线检测方法的流程示意图；
图2为本发明实施例中一种卷积神经网络目标检测算法的网络结构；
图3为本发明实施例中一种方向判定图解；
图4为本发明实施例中一种起跳踩线检测装置的结构框图；
图5为本发明实施例中计算机设备的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本实施例提供了一种起跳踩线检测方法，该方法适用于判断运动员起跳时是否存在踩线行为的场景，比如三级跳比赛。
参照图1，图1为本发明实施例提供的一种起跳踩线检测方法的流程示意图，如图1所示，该方法具体步骤如下：
步骤S101、获取待测人员连续的视频帧，识别所述视频帧中待测人员的脚掌检测框，得到目标脚掌检测框，根据所述目标脚掌检测框，确定起跳帧。
其中，脚掌检测框为脚掌或鞋子的外接多边形，由于脚掌或鞋子会出现形变，因此，根据脚掌或鞋子得到的外接多边形有可能是四边形，也有可能是五边形等，起跳帧是待测人员起跳时的视频帧。
首先，由于本申请方案是从影像中判断待测人员是否踩线，因此在获取待测物体的连续视频帧之前，预先对待测人员的测试过程进行录像，从在录像视频中获取视频流的每一帧来得到视频帧，其中，待测人员可以为测试的运动员，视频帧可以理解为相机在某一时刻捕捉到的图像，在本实施例中，通过安装摄像设备从待测人员的侧面对待测人员进行拍摄，以获取待测人员在测试过程影像。本实施例可以采用高帧率相机进行图像捕捉，在一种可行的实现方式中，可使用支持最大1920×1080@60fps高清画面输出的海康DS-2PT7T20IW-DE，可以提高图像的高清度，从而提高图像捕捉的准确性。待得到每一帧视频帧后，识别视频帧中的脚掌检测框，该脚掌检测框为脚掌或鞋子的外接多边形，具体地，可以通过深度学习神经网络检测算法对视频帧进行处理，识别生成脚掌检测框，其中，该深度学习神经网络检测算法可以为卷积神经网络目标检测算法，参见图2，图2为卷积神经网络目标检测算法的网络结构，由BackBone、PANet以及Output三个部分组成。其中，BackBone为主干网络，用来做特征提取的网络，代表网络的一部分，一般是用于前端提取图片信息，生成特征图，供后面的网络使用；PANet为路径聚合网络PathAggregationNetwork，旨在促进信息的流动；Output为输出段。BottleneckCSP为瓶颈层，Conv为卷积层。SPP用于使输入图像尺寸不受限制。UpSample为上采样，用来在原有图像像素的基础上在像素点之间采用合适的插值算法插入新的元素。Concat为叠加层，为横向或纵向空间上的叠加。在使用卷积神经网络目标检测算法时，选择BackBone使用CSPDarknet，此网络具有参数少,卷积层数深等优点，能够提高检测精确度。在neck段使用PANet，使用特征金字塔方式，扩大特征层的感受野，使空间信息和语义信息相结合，生成更精确的检测框，在output段，三个不同尺寸的特征图，兼顾了不同分辨率的目标物检测。在本实施例中，可以使用上述的卷积神经网络目标检测算法，分别对连续视频帧中的各个视频帧进行检测，以生成脚掌检测框。
进一步地，由于视频帧中生成的脚掌检测框可能包含除待测人员以外其他人员的脚掌检测框，故待获取脚掌检测框后，通过预先设置的检测区域，判断生成的脚掌检测框是否属于检测区域内，将检测区域内的脚掌检测框确定为目标脚掌检测框，目标脚掌检测框即为待测人员的脚掌检测框，这样避免了场外人员对检测的干扰。其中，该预先设置的检测区域为需要进行检测判断的区域，通常可以设置为助跑跑道区域。
连接每一帧视频帧中目标脚掌检测框，形成目标脚掌检测框的运动轨迹。根据目标脚掌检测框的变化确定起跳帧，其中，该起跳帧为待测人员将要跳起却未完全跳起时刻对应的视频帧，可以理解为待测人员起跳时的视频帧。具体地，追踪目标脚掌检测框，生成目标脚掌检测框运动轨迹，分析目标脚掌检测框的横向速度变化，并分析目标脚掌检测框的形状变化。待测人员在起跳前后的目标脚掌检测框变化规律为：向前运动、停止向前并且检测框高度增加宽度减小、检测框高度达到最大宽度达到最小、检测框宽高基本不变并重新开始向前运动。其变化原因在于前期运动员仍在半空中飞行，故检测框向前，随后脚掌着地导致检测框停止向前，并且检测框底边达到最低位置。随后运动员蹬地，随运动员蹬地而导致脚掌绕地旋转，因此检测框宽高发生变化。随后运动员跳起，检测框随运动员向前。而其起跳帧则是在检测框停止向前，即横向速度为0，检测框底边位置最低、检测框高度达到最大、检测框宽度最小对应的视频帧。
在本实施例中，根据目标脚掌检测框确定起跳帧的具体步骤如下：
步骤S1011、按照预设规则，根据目标视频帧对应的目标脚掌检测框底边位置、目标脚掌检测框高度以及目标脚掌检测框宽度，对所述目标脚掌检测框进行打分，得到所述目标脚掌检测框对应的总得分。
其中，目标视频帧为目标时间段内的任一视频帧，目标时间段为从目标脚掌检测框的横向速度第一次小于速度阈值对应的视频帧开始，到目标脚掌检测框的横向速度第一次大于速度阈值对应的视频帧结束之间的时间段，其中，目标脚掌检测框的横向速度第一次大于速度阈值对应的视频帧处于目标脚掌检测框的横向速度第一次小于速度阈值对应的视频帧之后。比如，视频帧总数为5，分别排序记为第1个视频帧、第2个视频帧、第3个视频帧、第4个视频帧以及第5个视频帧，对视频帧依次分析，当分析到第3个视频帧目标脚掌检测框为横向速度第一次小于速度阈值的目标脚掌检测框时，则继续依次分析第3个视频帧后面的视频帧，当继第3个视频帧之后，分析到第5个视频帧目标脚掌检测框为横向速度第一次大于速度阈值的目标脚掌检测框时，则将第3个视频帧至第5个视频帧之间的时间段确定为目标时间段。
步骤S1012、将总得分最高的目标脚掌检测框对应的目标视频帧作为起跳帧。
连接每一帧视频帧中目标脚掌检测框，形成目标脚掌检测框的运动轨迹。根据目标脚掌检测框的变化确定起跳帧，其中，该起跳帧为待测人员将要跳起却未完全跳起时刻对应的视频帧，可以理解为待测人员起跳时的视频帧。具体地，追踪目标脚掌检测框，生成目标脚掌检测框运动轨迹，分析目标脚掌检测框的横向速度变化、分析目标脚掌检测框位置变化、分析目标脚掌检测框的形状变化。当目标脚掌检测的横向速度小于预设的速度阈值时，开始分析目标脚掌检测框位置变化和目标脚掌检测框的形状变化，对每一个目标脚掌检测框的分析结果生成一个总得分。其中，总得分由检测框底边的位置得分、检测框高度得分、检测框宽度得分三部分加权求和得到。其中，检测框底边的位置得分、检测框高度得分、检测框宽度得分可以根据预设规则得到，具体为，对于检测框底边位置得分部分，底边位置越低，得分越高；对于检测框高度得分部分，高度越大分数越高；对于检测框宽度得分部分，宽度越小得分越高。在本实施例中，可以设置检测框底边位置与分数之间的对应关系、检测框高度与分数之间的对应关系以及检测框宽度与分数之间的对应关系，可以基于检测框底边位置与分数之间的对应关系，根据检测框底边位置确定对应的分数，基于检测框高度与分数之间的对应关系，根据检测框高度确定对应的分数，基于检测框宽度与分数之间的对应关系，根据检测框宽度确定对应的分数。当目标脚掌检测的横向速度大于预设的速度阈值时，结束分析目标脚掌检测框位置变化和目标脚掌检测框的形状变化。取整个分析阶段中总得分最高的目标脚掌检测框对应的目标视频帧作为起跳帧。比如，视频帧总数为5，分别排序记为第1个视频帧、第2个视频帧、第3个视频帧、第4个视频帧以及第5个视频帧，其中，目标时间段为第3个视频帧至第5个视频帧之间的时间段，则第3个视频帧、第4个视频帧以及第5个视频帧为目标视频帧，计算第3个视频帧的目标脚掌检测框的总得分、第4个视频帧的目标脚掌检测框的总得分以及第5个视频帧的目标脚掌检测框的总得分，当第4个视频帧的目标脚掌检测框的总得分最高时，则将第4个视频帧确定为起跳帧。
在一种可能的实现方式中，检测框底边位置可以由底边中点的坐标确定。
在本实施例中，检测框底边、检测框高度以及检测框宽度的确定方法为：
将根据检测框得到的四边形的底边作为检测框底边，将根据检测框得到的四边形的高度作为检测框高度，将根据检测框得到的四边形的宽度作为检测框宽度。
其中，基于检测框得到的四边形，具体为，基于检测框确定第一顶点、第二顶点、第三顶点以及第四顶点，其中，第一顶点为检测框中位置处于最左端的顶点，第二顶点为检测框中位置处于最右端的顶点，第三顶点为检测框中位置处于最上端的顶点，第四顶点为检测框中位置处于最底端的顶点，比如，当图像坐标是以横向坐标为X轴，竖向坐标为Y轴时，若X轴以右为正，则将检测框中的x轴坐标最大的顶点作为第二顶点，将检测框中的X轴坐标最小的顶点作为第一顶点，若X轴以左为正，则将检测框中的x轴坐标最大的顶点作为第一顶点，将检测框中的x轴坐标最小的顶点作为第二顶点，若Y轴以下为正，则将检测框中的Y轴坐标最大的顶点作为第四顶点，将检测框中的Y轴坐标最小的顶点作为第三顶点，若Y轴以上为正，则将检测框中的Y轴坐标最大的顶点作为第三顶点，将检测框中的Y轴坐标最小的顶点作为第四顶点。分别过第一顶点、第二顶点作垂线，得到对应的第一垂线和第二垂线，分别过第三顶点、第四顶点作横线，得到对应的第一横线和第二横线，第一垂线分别与第一横线和第二横线相交，第二垂线分别与第一横线和第二横线相交，形成一个四边形。
在本实施例中，可根据上述方法确定目标脚掌检测框底边、目标脚掌检测框高度以及目标脚掌检测框宽度。
步骤S102、识别所述起跳帧中目标脚掌检测框内的脚尖位置的坐标，得到目标坐标。
待确定起跳帧后，识别起跳帧中待测人员的脚掌检测框内的脚尖位置的坐标，得到目标坐标，其中，为了提高目标坐标的获取精确度，在本实施例中，对目标脚掌检测框进行预处理，具体如下步骤S201-步骤S202：
步骤S201、对所述起跳帧的目标脚掌检测框进行放大处理，得到包含目标脚掌检测框的识别区域，对所述识别区域进行裁剪，得到局部图像，其中，所述局部图像包含目标脚掌检测框。
步骤S202、基于深度学习的神经网络算法对所述局部图像进行识别，得到目标坐标。
将目标脚掌检测框进行放大再进行裁剪得到局部图像，其中，该局部图像包含目标脚掌检测框，具体地，目标脚掌检测框进行放大为按照特定规则生成一个比原检测框更大的识别区域，其中，该识别区域包含目标脚掌检测框，然后对识别区域进行裁剪，得到局部图像，特定规则包括可以是通过检测框的长宽方向增加特定数量的像素点，也可以是对检测框的长宽乘以一个大于1的数值，但不限于上述两种方式。将目标脚掌检测框进行放大的核心在于确保待测人员的脚尖在放大后的检测框中，将局部图像送入第二个神经网络当中进行精细化的脚尖检测定位，以得到目标坐标。其中，该第二个神经网络为一种深度学习的神经网络算法，该第二个神经网络不同于步骤S101中使用的深度学习神经网络检测算法，步骤S101中使用的深度学习神经网络检测算法其核心在于对脚掌检测框进行检测定位，用于追踪脚掌检测框的运动和变化，该深度学习神经网络检测算法的检测定位为对全图像搜索得到的初步定位，其只生成脚掌检测框而不生成脚尖的定位，所述第二个神经网络则是对局部图像进行的高精度搜索和定位，其作用为对脚尖进行定位的高精度定位神经网络算法。
步骤S103、根据所述目标坐标、预设的起跳线位置以及起跳方向，检测所述待测人员是否存在起跳踩线行为。
待得到目标坐标后，将目标坐标、预设的起跳线位置以及起跳方向结合，共同检测待测人员是否存在起跳踩线行为，该预设的起跳方向用于判定前后关系的方向指标，可设置为与待测人员前进方向一致，其核心作用在于区分前后关系。预设的起跳线位置为程序开始检测前设置的参数，其作用在于划分踩线与不踩线的界限。
具体为通过判断目标向量与起跳方向是否同向，检测待测人员是否存在起跳踩线行为，其中，该目标向量为以目标坐标点为起点，目标坐标点垂直于起跳线位置的坐标点为终点构成的向量。具体地，若目标向量与起跳方向同向，则待测人员不存在起跳踩线行为，若目标向量与起跳方向反向，则待测人员存在起跳踩线行为。其中，根据目标向量与起跳方向之间构成的夹角是否小于90°，判断目标向量与起跳方向是否同向，若目标向量与起跳方向之间构成的夹角小于90°，则目标向量与起跳方向同向，若目标向量与起跳方向之间构成的夹角不小于90°，则目标向量与起跳方向反向。
具体地，参照图3，图3为本发明实施例提供的方向判定图解，如图3所示，方向判定图解是根据图像上的位置关系确定的，设目标坐标点在图像上为点p，起跳方向为向量i，由于相机经过畸变矫正后，起跳线在图像上呈现的是一条直线，d点为p点到起跳线最近点，因此pd垂直于起跳线，任取起跳线上的一点a，连接pa得到向量pa，再任取一点b连接ab得到向量ab，作辅助线pc与向量pa共线，c为延长线上一点，向量j的模长为ad，方向与ab同向。
向量pa和向量ab的夹角为∠bac，∠bac可通过向量pa和向量ab做向量点乘除以向量pa和向量a两个向量的模的方式计算，又∠bac等于∠pad，所以向量j的模可通过向量pa的模乘以cos∠pad得到，向量j等于向量da或向量ad(暂时还不能确定向量ab和向量da是否同向)。判断向量j等于向量da还是向量ad，可以通过向量ab和向量pa的夹角确定，若向量ab为指向d点，则∠pab大于90度，即向量ab和向量pa的夹角小于90度，若向量ab方向为远离d点方向，则∠pab小于90度，即向量ab和向量pa的夹角大于90度。
若向量ab为指向d点，则向量pd等于pa加上向量j；若向量ab方向为远离d点方向，则向量pd等于pa减去向量j。
若待测人员在起跳线前起跳，则向量pd应该和起跳方向大致相同，若待测人员在起跳线后起跳，则向量pd应该和起跳方向是相反。此时只需要计算向量pd和起跳方向的向量i的夹角大小，若向量pd和起跳方向的向量i的夹角小于90度，则向量pd和起跳方向同向，待测人员没有踩线，向量pd和起跳方向的向量i的夹角大于90度，则向量pd和起跳方向反向，待测人员存在踩线。
需要说明的是，若起跳方向与待测人员前进方向相反，则判断是否存在踩线的方法逻辑与上述方法逻辑相反。
基于上述方法，首先，通过在使用卷积神经网络目标检测算法时，选择BackBone使用CSPDarknet，此网络具有参数少,卷积层数深等优点，能够提高脚掌检测框的检测精确度。其次，分析其目标脚掌检测框的运动规律以及长宽变化确定起跳帧，利用多个判断条件综合分析，提高了判定准确性。最后，通过结合目标坐标、预设的起跳线位置以及起跳方向多方面来检测待测人员是否存在起跳踩线行为，可以提高起跳踩线检测的准确性。
为了更好地实现上述方法，本发明实施例提供了一种起跳踩线检测装置，参照图4，图4为本发明实施例提供的一种起跳踩线检测装置的结构框图，如图4所示，该装置40包括：
获取识别模块401：用于获取待测人员连续的视频帧，识别所述视频帧中待测人员的脚掌检测框，得到目标脚掌检测框，根据所述目标脚掌检测框，确定起跳帧，其中，所述脚掌检测框为脚掌或鞋子的外接多边形；所述起跳帧是待测人员起跳时的视频帧。
识别得到模块402：用于识别所述起跳帧中目标脚掌检测框内的脚尖位置的坐标，得到目标坐标。
检测踩线模块403：用于根据所述目标坐标、预设的起跳线位置以及起跳方向，检测所述待测人员是否存在起跳踩线行为。
在一种可能的设计中，获取识别模块401具体用于：按照预设规则，根据目标视频帧对应的目标脚掌检测框底边位置、目标脚掌检测框高度以及目标脚掌检测框宽度，对所述目标脚掌检测框进行打分，得到所述目标脚掌检测框对应的总得分；其中，所述目标视频帧为目标时间段内的任一视频帧，目标时间段为从目标脚掌检测框的横向速度第一次小于速度阈值对应的视频帧开始，到目标脚掌检测框的横向速度第一次大于速度阈值对应的视频帧结束之间的时间段；将总得分最高的目标脚掌检测框对应的目标视频帧作为起跳帧。
在一种可能的设计中，识别得到模块402具体用于：对所述起跳帧中的目标脚掌检测框进行放大处理，得到包含目标脚掌检测框的识别区域，对所述识别区域进行裁剪，得到局部图像；其中，所述局部图像包含目标脚掌检测框；基于深度学习的神经网络算法对所述局部图像进行识别，得到目标坐标。
在一种可能的设计中，检测踩线模块403具体用于：通过判断目标向量与所述起跳方向是否同向，检测所述待测人员是否存在起跳踩线行为；其中，所述目标向量为以目标坐标点为起点，目标坐标点垂直于起跳线位置的坐标点为终点构成的向量。
在一种可能的设计中，检测踩线模块403具体用于：若所述目标向量与所述起跳方向同向，则所述待测人员不存在起跳踩线行为；若所述目标向量与所述起跳方向反向，则所述待测人员存在起跳踩线行为。
在一种可能的设计中，检测踩线模块403具体用于：根据所述目标向量与所述起跳方向之间构成的夹角是否小于90°，判断所述目标向量与所述起跳方向是否同向。
在一种可能的设计中，检测踩线模块403具体用于：若所述目标向量与所述起跳方向之间构成的夹角小于90°，则所述目标向量与所述起跳方向同向；若所述目标向量与所述起跳方向之间构成的夹角不小于90°，则所述目标向量与所述起跳方向反向。
基于上述装置，通过获取待测人员连续的视频帧，识别视频帧中待测人员的脚掌检测框，根据待测人员的脚掌检测框，确定起跳帧，并识别起跳帧中待测人员的脚掌检测框内的脚尖位置的坐标，得到目标坐标，根据目标坐标、预设的起跳线位置以及起跳方向，检测待测人员是否存在起跳踩线行为。在本技术方案中，通过结合目标坐标、预设的起跳线位置以及起跳方向多方面来检测待测人员是否存在起跳踩线行为，可以提高起跳踩线检测的准确性。
图5示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是终端，也可以是服务器。如图5所示，该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现上述方法的全部步骤。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行上述方法的全部步骤。本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提出了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行前述方法的各个步骤。
在一个实施例中，提出了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行前述方法的各个步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种起跳踩线检测方法，其特征在于，所述方法包括：
获取待测人员连续的视频帧，识别所述视频帧中待测人员的脚掌检测框，得到目标脚掌检测框，根据所述目标脚掌检测框，确定起跳帧，其中，所述脚掌检测框为脚掌或鞋子的外接多边形；所述起跳帧是待测人员起跳时的视频帧；
识别所述起跳帧中目标脚掌检测框内的脚尖位置的坐标，得到目标坐标；
根据所述目标坐标、预设的起跳线位置以及起跳方向，检测所述待测人员是否存在起跳踩线行为。
2.根据权利要求1所述的方法，其特征在于，所述根据所述目标坐标、预设的起跳线位置以及起跳方向，检测所述待测人员是否存在起跳踩线行为，包括：
通过判断目标向量与所述起跳方向是否同向，检测所述待测人员是否存在起跳踩线行为；其中，所述目标向量为以目标坐标点为起点，目标坐标点垂直于起跳线位置的坐标点为终点构成的向量。
3.根据权利要求2所述的方法，其特征在于，所述通过判断目标向量与所述起跳方向是否同向，检测所述待测人员是否存在起跳踩线行为，包括：
若所述目标向量与所述起跳方向同向，则所述待测人员不存在起跳踩线行为；
若所述目标向量与所述起跳方向反向，则所述待测人员存在起跳踩线行为。
4.根据权利要求2所述的方法，其特征在于，所述判断目标向量与所述起跳方向是否同向，包括：
根据所述目标向量与所述起跳方向之间构成的夹角是否小于90°，判断所述目标向量与所述起跳方向是否同向。
5.根据权利要求4所述的方法，其特征在于，所述根据所述目标向量与所述起跳方向之间构成的夹角是否小于90°，判断所述目标向量与所述起跳方向是否同向，包括：
若所述目标向量与所述起跳方向之间构成的夹角小于90°，则所述目标向量与所述起跳方向同向；
若所述目标向量与所述起跳方向之间构成的夹角不小于90°，则所述目标向量与所述起跳方向反向。
6.根据权利要求1所述的方法，其特征在于，所述根据所述目标脚掌检测框，确定起跳帧，包括：
按照预设规则，根据目标视频帧对应的目标脚掌检测框底边位置、目标脚掌检测框高度以及目标脚掌检测框宽度，对所述目标脚掌检测框进行打分，得到所述目标脚掌检测框对应的总得分；其中，所述目标视频帧为目标时间段内的任一视频帧，目标时间段为从目标脚掌检测框的横向速度第一次小于速度阈值对应的视频帧开始，到目标脚掌检测框的横向速度第一次大于速度阈值对应的视频帧结束之间的时间段；
将总得分最高的目标脚掌检测框对应的目标视频帧作为起跳帧。
7.根据权利要求1所述的方法，其特征在于，所述识别所述起跳帧中待测人员的脚掌检测框内的脚尖位置的坐标，得到目标坐标，包括：
对所述起跳帧中的目标脚掌检测框进行放大处理，得到包含目标脚掌检测框的识别区域，对所述识别区域进行裁剪，得到局部图像；其中，所述局部图像包含目标脚掌检测框；
基于深度学习的神经网络算法对所述局部图像进行识别，得到目标坐标。
8.一种起跳踩线检测装置，其特征在于，所述装置包括：
获取识别模块：用于获取待测人员连续的视频帧，识别所述视频帧中待测人员的脚掌检测框，得到目标脚掌检测框，根据所述目标脚掌检测框，确定起跳帧，其中，所述脚掌检测框为脚掌或鞋子的外接多边形；所述起跳帧是待测人员起跳时的视频帧；
识别得到模块：用于识别所述起跳帧中目标脚掌检测框内的脚尖位置的坐标，得到目标坐标；
检测踩线模块：用于根据所述目标坐标、预设的起跳线位置以及起跳方向，检测所述待测人员是否存在起跳踩线行为。
9.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述方法的步骤。
10.一种计算机设备，包括存储器和处理器，其特征在于，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310152843.2A CN116343082A (zh) | 2023-02-16 | 2023-02-16 | 一种起跳踩线检测方法、装置、存储介质及计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310152843.2A CN116343082A (zh) | 2023-02-16 | 2023-02-16 | 一种起跳踩线检测方法、装置、存储介质及计算机设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116343082A true CN116343082A (zh) | 2023-06-27 |
Family
ID=86890669
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310152843.2A Pending CN116343082A (zh) | 2023-02-16 | 2023-02-16 | 一种起跳踩线检测方法、装置、存储介质及计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116343082A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116563950A (zh) * | 2023-07-07 | 2023-08-08 | 东莞先知大数据有限公司 | 一种跳远距离确定方法、装置、电子设备和存储介质 |
-
2023
- 2023-02-16 CN CN202310152843.2A patent/CN116343082A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116563950A (zh) * | 2023-07-07 | 2023-08-08 | 东莞先知大数据有限公司 | 一种跳远距离确定方法、装置、电子设备和存储介质 |
| CN116563950B (zh) * | 2023-07-07 | 2024-04-16 | 东莞先知大数据有限公司 | 一种跳远距离确定方法、装置、电子设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11789545B2 (en) | Information processing device and method, program and recording medium for identifying a gesture of a person from captured image data | |
| US9530071B2 (en) | Hierarchical interlinked multi-scale convolutional network for image parsing | |
| US9183431B2 (en) | Apparatus and method for providing activity recognition based application service | |
| US9437012B2 (en) | Multiple-object tracking and team identification for game strategy analysis | |
| RU2498404C2 (ru) | Способ и устройство для генерирования регистрационной записи события | |
| CN103295016B (zh) | 基于深度与rgb信息和多尺度多方向等级层次特征的行为识别方法 | |
| CN109960742B (zh) | 局部信息的搜索方法及装置 | |
| JP6924932B2 (ja) | 移動体追跡方法、移動体追跡装置、およびプログラム | |
| CN109726678B (zh) | 一种车牌识别的方法及相关装置 | |
| CN109145906B (zh) | 目标对象的图像确定方法、装置、设备及存储介质 | |
| CN108830185B (zh) | 基于多任务联合学习的行为识别及定位方法 | |
| Santhosh et al. | An Automated Player Detection and Tracking in Basketball Game. | |
| CN116343082A (zh) | 一种起跳踩线检测方法、装置、存储介质及计算机设备 | |
| KR102225753B1 (ko) | 딥러닝 기반 파노라마 영상의 품질 평가 방법 및 그 장치 | |
| CN107948586A (zh) | 基于视频拼接的跨区域运动目标检测方法和装置 | |
| US20120038602A1 (en) | Advertisement display system and method | |
| CN112183361A (zh) | 一种结合目标检测与动态差分的进球检测方法及系统 | |
| CN115797929A (zh) | 基于双注意力机制的小型农田图像分割方法、装置 | |
| CN109460724B (zh) | 基于对象检测的停球事件的分离方法和系统 | |
| CN112150464A (zh) | 一种图像检测方法、装置、电子设备及存储介质 | |
| CN116958872A (zh) | 一种羽毛球运动的智能化辅助训练方法及系统 | |
| CN115376210B (zh) | 泳池防溺水的溺水行为识别方法、装置、设备及介质 | |
| CN110516559A (zh) | 适用于精准监控的目标跟踪方法及装置、计算机设备 | |
| CN116258643A (zh) | 图像阴影消除方法、装置、设备及存储介质 | |
| CN110322479A (zh) | 一种基于时空显著性的双核kcf目标跟踪方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |