CN113177476A - 一种立定跳远脚后跟关键点的识别方法、系统及测试方法 - Google Patents
一种立定跳远脚后跟关键点的识别方法、系统及测试方法 Download PDFInfo
- Publication number
- CN113177476A CN113177476A CN202110474387.4A CN202110474387A CN113177476A CN 113177476 A CN113177476 A CN 113177476A CN 202110474387 A CN202110474387 A CN 202110474387A CN 113177476 A CN113177476 A CN 113177476A
- Authority
- CN
- China
- Prior art keywords
- foot
- heel
- image
- identifying
- human body
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000010998 test method Methods 0.000 title claims abstract description 11
- 230000011218 segmentation Effects 0.000 claims abstract description 57
- 238000010586 diagram Methods 0.000 claims description 76
- 238000012549 training Methods 0.000 claims description 53
- 238000012360 testing method Methods 0.000 claims description 45
- 230000006870 function Effects 0.000 claims description 38
- 238000000605 extraction Methods 0.000 claims description 21
- 238000013528 artificial neural network Methods 0.000 claims description 15
- 230000003287 optical effect Effects 0.000 claims description 8
- 238000010191 image analysis Methods 0.000 claims description 6
- 238000013135 deep learning Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 abstract description 3
- 238000005259 measurement Methods 0.000 abstract description 3
- 238000013527 convolutional neural network Methods 0.000 description 6
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明实施例公开了一种立定跳远脚后跟关键点的识别方法、系统及测试方法，该方法通过以含人图像和背景图像为输入，算法将脚后跟关键点的识别的问题，分解为三个步骤：人体识别，脚的框识别，和脚后跟关键点识别，并且每一步骤都用前一步的输出作为输入，逐步缩小问题的复杂度，算法利用脚后跟关键点是人体轮廓上的某个点的信息，算法在中间引入人体分割的特征信息，并将人体分割和关键点识别的特征在算法中进行了多次融合，辅助脚后跟关键点的识别，经过分析后，直接输出脚后跟关键点，提升立定跳远脚后跟识别的精度，确保立定跳远结果测距的有效性及可靠性。
Description
技术领域
本发明涉及图像分割和IT应用技术领域，尤其涉及一种立定跳远脚后跟关键点的识别方法、系统及测试方法。
背景技术
人体关键点识别和人体轮廓识别领域，包括人体骨骼关键点的识别和人体轮廓识别，算法的基本框架是将问题描述为对关键点的回归问题或者像素点的分类问题。算法模型参数的确定是基于监督学习，通过学习大量标注有关键点的图片，找到参数的最优或较优值。以上描述的关键点识别算法属于通用型算法。在特殊领域的关键点识别，可以结合应用场景，提升关键点识别的精度。
现有的关键点识别算法，较为经典的问题就是人体骨骼关键点，在这个问题上我们可以直接将脚后跟的关键点作为输出学习，但是这方案的问题是并没有利用立定跳远的场景和人做优化。
人体分割算法，输出人体掩码值，并非直接输出脚后跟关键点，因此需要引入其他的算法来确定脚后跟关键点。
因此，现有技术并未有一种针对立定跳远场景中脚后跟关键点的快速精准的识别方法，目前的脚后跟识别的精度不高，不能有效保证立定跳远结果测距的有效性及可靠性。
发明内容
本发明的目的在于提供一种立定跳远脚后跟关键点的识别方法、系统及测试方法，相比于通用型关键点识别算法，在立定跳远脚后跟识别的精度上有明显的提升，确保立定跳远结果测距的有效性及可靠性。
为达此目的，本发明采用以下技术方案：一种立定跳远脚后跟关键点的识别方法，其特征在于，包括以下步骤：
获取图像步骤，在立定跳远的场景中，采集测试区域内的含人图像和背景图像；
图像输入步骤，将获取的所述含人图像和所述背景图像输入；
快速识别人体框图步骤，使用所述含人图像和所述背景图像，通过光流算法估计出人体框图，识别人像并裁剪出人体框图以及人体对应的背景框图；
脚的框识别步骤，将所述快速识别人体框图步骤中输出的所述人体框图和所述背景框图输入，使用特征提取神经网络，提取差异物体分割特征，估计出脚的框，并输出所述脚的框；
脚后跟关键点识别步骤，将所述脚的框识别步骤中输出的所述脚的框图和所述差异物体分割特征输入，分析出脚轮廓掩码值，并在脚轮廓点钟搜索出脚后跟关键点。
进一步的，所述脚的框识别步骤，将所述快速识别人体框图步骤中输出的所述人体框图和所述背景框图输入之后，具体包括以下步骤：
通过差异物体分割特征提取算法，比较和分析所述人体框图和所述背景框图，提取差异物体分割特征，输出差异物体掩码值；
以所述差异物体分割特征为输入，对所述差异物体分割特征进一步分析并提取出脚特征，并分析出脚的框。
进一步的，所述脚后跟关键点识别步骤，将所述脚识别步骤中输出的所述脚的框图和所述差异物体分割特征输入之后，具体包括以下步骤：
以所述差异物体分割特征和所述脚的框为输入，提取出脚分割特征；
以所述脚分割特征为输入，进一步分析出脚轮廓掩码值；
以所述脚轮廓掩码值为输入，搜索脚轮廓点中距离起跳线最近的点，定为脚后跟关键点；
输出所述脚后跟关键点。
进一步的，所述特征提取神经网络是残差学习框架ResNet或者移动视觉卷积神经网络MobileNet或者深度学习Inception或者卷积神经网络VGG。
进一步的，还包括算法训练，包括以下步骤：
样本采集，采集背景图像和含任意物体图像，和采集所述脚的框训练的数据集，和采集脚的掩码值训练的数据集；
人工标注，通过人工标注所述脚的框和所述脚轮廓掩码值；
使用的损失函数联合学习。
进一步的，所述损失函数包括：所述差异物体掩码值的损失函数，定义为L1、所述脚的框的损失函数，定义为L2、所述脚轮廓掩码值的损失函数，定义为L3、以及所述脚的框和所述脚轮廓掩码值的联合损失函数L＝βL2+(1-β)L3，β用于调控L2和L3的权重；所述L1和所述L3的损失函数为物体分割的损失函数；所述L2的损失函数为物体检测的损失函数。
进一步的，所述算法训练包括：
对所述差异物体分割特征提取算法单独训练，作为预训练，训练中使用若干所述背景图像和若干对应含物体图像，训练任务的目标为输出差异物体掩码值。
进一步的，所述算法训练包括：
对所述脚的框和所述脚轮廓掩码值联合训练，使用所述脚的框和所述脚轮廓掩码值的数据集，进行训练。
一种立定跳远脚后跟关键点的识别方法的识别系统，包括：
获取图像装置，用于在立定跳远的场景中，采集测试区域内的含人图像和背景图像；
图像输入装置，用于将获取的含人图像和背景图像输入；
快速识别人体框图装置，用于使用所述含人图像和背景图像，通过光流算法估计出人体框图，识别人像并裁剪出人体框图以及对应的背景框图；
脚的框识别装置，用于将所述快速识别人体框图步骤中输出的所述人体框图和所述背景框图输入，使用特征提取神经网络，提取差异物体分割特征，估计出脚的框，并输出所述脚的框；
脚后跟关键点识别装置，用于将所述脚识别步骤中输出的所述脚的框图和所述差异物体分割特征输入，识别脚后跟关键点并输出。
一种立定跳远自助测试方法，包括如下步骤：
根据所述获取图像装置的采集范围，设定测试区域；
自动检测是否有人员进入所述测试区域；
对进入所述测试区域的人员进行人脸识别，人脸识别成功后，提示人员开始测试；
采集人员立定跳远测试的视频；
应用所述的测试方法，对视频进行图像分析对所述视频进行图像分析，以获得脚后跟关键点的位置，根据脚后跟关键点的位置对人员立定跳远的距离计算并输出结果；
将测试成绩保存并通告。
本发明的有益效果：本发明实施例提供了一种立定跳远脚后跟关键点的识别方法、系统及测试方法，该方法通过以含人图像和背景图像为输入，算法将脚后跟关键点的识别的问题，分解为三个步骤：人体识别，脚的框识别，和脚后跟关键点识别，并且每一步骤都用前一步的输出作为输入，逐步缩小问题的复杂度，算法利用脚后跟关键点是人体轮廓上的某个点的信息，算法在中间引入脚分割的特征信息，并在脚轮廓点钟直接搜索脚后跟关键点，提升立定跳远脚后跟识别的精度，确保立定跳远结果测距的有效性及可靠性。
具有以下优点：
1、本发明的算法是端到端算法，直接输出脚后跟关键点，并充分考虑脚后跟关键点是脚轮廓中的某个点。
2、本发明利用立定跳远场景，使用含人图像和背景图像，并通过三个步骤将脚后跟关键点识别的问题的复杂度逐步减小，有效提升算法的精度和性能。
3、本发明算法在训练时综合考虑脚识别和脚分割的损失函数，让脚后跟识别更加稳定。
4、后脚跟关键点是属于脚轮廓的点，算法利用含人图像和背景图像的联合信息，有利于算法更好找到人体的轮廓；后脚跟关键点又属于人体骨骼轮廓中的某一关键点，算法将人体轮廓信息和人体骨骼的关键信息融合，有助于算法更好的找到后脚跟关键点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的一种立定跳远脚后跟关键点的识别方法的步骤流程图；
图2为本发明实施例提供的一种立定跳远脚后跟关键点的识别方法中的脚的框识别步骤的具体步骤流程图；
图3为本发明实施例提供的一种立定跳远脚后跟关键点的识别方法中的脚后跟关键点识别步骤的具体步骤流程图；
图4为本发明实施例提供的一种立定跳远脚后跟关键点的识别方法中的训练算法的步骤流程图；
图5为本发明实施例提供的一种立定跳远脚后跟关键点的识别系统的模块示意图；
图6为本发明实施例提供的一种立定跳远测试方法的步骤流程图；
图7为本发明实施例提供的一种立定跳远脚后跟关键点的识别方法的流程图。
图中：1、获取图像装置；2、图像输入装置；3、快速识别人体框图装置；4、脚的框识别装置；5、脚后跟关键点识别装置。
具体实施方式
本发明实施例提供了一种立定跳远脚后跟关键点的识别方法、系统及测试方法。
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。
请参考图1，图1为本发明实施例提供的一种立定跳远脚后跟关键点的识别方法的步骤流程图；
实施例一：
本发明实施例的一种立定跳远脚后跟关键点的识别方法，包括以下步骤：
步骤101：获取图像步骤，在立定跳远的场景中，采集测试区域内的含人图像和背景图像；
具体的，通过摄像头采集测试人员进行立定跳远测试胡总恶化训练的全过程的视频，获取含人图像和背景图像，也可以先拍摄无人的背景图像，以及含人的背景图像。
步骤102：图像输入步骤，将获取的所述含人图像和所述背景图像输入；
具体的，将获取的所述含人图像和所述背景图像输入。
步骤103：快速识别人体框图步骤，使用所述含人图像和所述背景图像，通过光流算法估计出人体框图，识别人像并裁剪出人体框图以及人体对应的背景框图；
具体的，可以直接使用含人图像和背景图像，使用经典的光流算法，粗略估计出人的框图。步骤103为后续算法提供更加精准的人的图像进行识别，大大减低后续算法的复杂度。步骤103选择使用光流算法，主要是在立定跳远场景中，可以较为方便的得到背景的图像。步骤103的优势无需算法训练和数据采集，算法的速度也非常快，足以满足粗略估计人体框图的需求。
步骤104：脚的框识别步骤，将所述快速识别人体框图步骤中输出的所述人体框图和所述背景框图输入，使用特征提取神经网络，提取差异物体分割特征，估计出脚的框，并输出所述脚的框；
具体的，输入为步骤103输出的人的框图和人体对应的背景框图，经过基本的神经网络的分析，使用特征提取神经网络，提取差异物体分割特征，估计出脚的框图。通过直接使用步骤103输出的人的框图和对应的背景框图，可以大大降低神经网络的复杂度。
步骤105：脚后跟关键点识别步骤，将所述脚的框识别步骤中输出的所述脚的框图和所述差异物体分割特征输入，分析出脚轮廓掩码值，并在脚轮廓点钟搜索出脚后跟关键点。
具体的，将所述脚的框识别步骤中输出的所述脚的框图和所述差异物体分割特征输入，分析出脚轮廓掩码值，并在脚轮廓点钟搜索出脚后跟关键点。
进一步的，所述脚的框识别步骤，将所述快速识别人体框图步骤中输出的所述人体框图和所述背景框图输入之后，具体包括以下步骤：
步骤1021：通过差异物体分割特征提取算法，比较和分析所述人体框图和所述背景框图，提取差异物体分割特征，输出差异物体掩码值；
步骤1022：以所述差异物体分割特征为输入，对所述差异物体分割特征进一步分析并提取出脚特征，并分析出脚的框。
进一步的，所述脚后跟关键点识别步骤，将所述脚识别步骤中输出的所述脚的框图和所述差异物体分割特征输入之后，具体包括以下步骤：
步骤1051：以所述差异物体分割特征和所述脚的框为输入，提取出脚分割特征；
步骤1052：以所述脚分割特征为输入，进一步分析出脚轮廓掩码值；
步骤1053：以所述脚轮廓掩码值为输入，搜索脚轮廓点中距离起跳线最近的点，定为脚后跟关键点；
步骤1054：输出所述脚后跟关键点。
具体的，该搜索脚后跟关键点的方法简单，快速，且无需训练。直接搜索到起跳线距离最近的脚轮廓点。该搜索方法是需要摄像头摆放在起跳的后方，保证脚后跟点在图像成像中是距离起跳线最近的点。使用搜索方法的优势是，无需进一步标注数据，直接且精度高。
进一步的，所述特征提取神经网络是残差学习框架ResNet或者移动视觉卷积神经网络MobileNet或者深度学习Inception或者卷积神经网络VGG。
具体的，算法的选择可以根据实时性和精度的要求，选择合适的特征提取神经网络，例如优选残差学习框架ResNet或者移动视觉卷积神经网络MobileNet或者深度学习Inception或者卷积神经网络VGG等特征提取网络框架。本算法不对特征提取网络做特别定义。
进一步的，还包括算法训练，包括以下步骤：
步骤201：样本采集，采集背景图像和含任意物体图像，和采集所述脚的框训练的数据集和采集脚的掩码值训练的数据集；
步骤202：人工标注，通过人工标注所述脚的框和所述脚轮廓掩码值；
步骤203：使用的损失函数联合学习。
具体的，脚的框的数据和脚的掩码值的数据可以使用现有的人体分割的数据产生部分数据，也可以人工标注。
进一步的，所述损失函数包括：所述差异物体掩码值的损失函数，定义为L1、所述脚的框的损失函数，定义为L2、所述脚轮廓掩码值的损失函数，定义为L3、以及所述脚的框和所述脚轮廓掩码值的联合损失函数L＝βL2+(1-β)L3，β用于调控L2和L3的权重；所述L1和所述L3的损失函数为物体分割的损失函数；所述L2的损失函数为物体检测的损失函数。
具体的，为了提高精度，将所述差异物体分割特征提取算法输出所述差异物体掩码值的损失函数L1放入到整体算法的损失函数中一起训练，进一步修正以背景图像和对应含脚图像的精度。将所述脚的框的损失函数L2放入整体算法的损失函数中一起训练，联合修正脚框的识别。L1，L2，和L3的损失函数可以参考物体检测和物体分割的损失函数，如均方差。
进一步的，所述算法训练包括：
对所述差异物体分割特征提取算法单独训练，作为预训练，训练中使用若干所述背景图像和若干对应含物体图像，训练任务差异的目标为输出差异物体掩码值。
具体的，使用大量背景图像和对应含物体图像对，用于所述差异物体分割特征提取算法单独训练，训练任务以输出差异物体掩码值为目标。该处所述物体图像是任意物体图像也包括人图像。所述差异物体分割特征提取算法单独训练，可以认为是整体算法的部分算法的预训练。
进一步的，所述算法训练包括：
对所述脚的框和所述脚轮廓掩码值联合训练，使用所述脚的框和所述脚轮廓掩码值的数据集，进行训练。
算法训练过程可以对图像进行拉伸，裁剪，旋转，变形，变声，加噪声，等操作，提升算法的鲁棒性。算法可以选择在多块GPU的电脑上训练或者放在分布式电脑上训练。算法训练过程中的超参，例如学习率，轮数，属于经验值，可以参考关键点算法或者人体轮廓算法的训练超参设置。理论上，训练样本越多样本越丰富，算法的结果会越好。
推理过程：算法训练完成后，推理过程，直接输入含人图像和背景图像，输出直接使用脚后跟关键的输出就可以。
本发明的算法是端到端算法，输入立定跳远的含人图像和背景图像，输出脚后跟关键点。
脚后跟关键点是属于人体轮廓的点，算法利用含人图像和背景图像的联合信息，有利于算法更好找到人体的轮廓；脚后跟关键点又属于人体骨骼轮廓中的某一关键点，算法将人体轮廓信息和人体骨骼的关键信息融合，有助于算法更好的找到脚后跟关键点。
算法可以基于已有的大量训练图片，快速生成训练样本。
实施例二：
一种立定跳远脚后跟关键点的识别方法的识别系统，包括：
获取图像装置1，用于在立定跳远的场景中，采集测试区域内的含人图像和背景图像；
图像输入装置2，用于将获取的含人图像和背景图像输入；
快速识别人体框图装置3，用于使用所述含人图像和背景图像，通过光流算法估计出人体框图，识别人像并裁剪出人体框图以及对应的背景框图；
脚的框识别装置4，用于将所述快速识别人体框图步骤中输出的所述人体框图和所述背景框图输入，使用特征提取神经网络，提取差异物体分割特征，估计出脚的框，并输出所述脚的框；
脚后跟关键点识别装置5，用于将所述脚识别步骤中输出的所述脚的框图和所述差异物体分割特征输入，识别脚后跟关键点并输出。
实施例三：
基于以上提出的脚后跟关键点识别方法，将其应用在基于图像的立定跳远自助测试与成绩采集中，以提升测试成绩的准确率。
一种立定跳远自助测试方法，包括如下步骤：
步骤301：根据所述获取图像装置的采集范围，设定测试区域；
具体的，安装摄像头：选择指定立定跳远场地，安装固定摄像头，结合立定跳远测试区域标识装置，测试区域标识装置是一个支持活动拉伸标识装置，根据摄像头的图像范围，设定测试区域。
步骤302：自动检测是否有人员进入所述测试区域；
具体的，启用自助测试模式：例如教师或工作人员终端等人机交互模块中。人员进入测试区域：系统能自动检测人员进入测试区域。
步骤303：对进入所述测试区域的人员进行人脸识别，人脸识别成功后，提示人员开始测试；
具体的，测试人员在测试区域人脸朝摄像头进行人脸识别，通知人员进行测试：人脸识别成功后，提示测试人员开始考试。
步骤304：采集人员立定跳远测试的视频；
具体的，通过摄像头采集测试人员进行立定跳远测试的全过程的视频，直到测试人员离开立定跳远测试区域，系统通过摄像头视频信息，自动识别测试人员离开立定跳远测试区域。
步骤305应用所述的测试方法，对视频进行图像分析对所述视频进行图像分析，以获得脚后跟关键点的位置，根据脚后跟关键点的位置对人员立定跳远的距离计算并输出结果；
具体的，系统对立定跳远测试视频进行图像分析，基于以上提出的脚后跟关键点的识别方法，和标注的关键点，实现立定跳远的距离计算并输出结果，精度为厘米。
步骤306：将测试成绩保存并通告。
具体的，系统将测试成绩保存及通告给测试人员。
待上一人员完成训练或者测试后，通知下一人员进入所述测试区域，输出立定跳远训练报告或者测试报告。
综上所述，本发明实施例提供一种立定跳远脚后跟关键点的识别方法、系统及测试方法，该方法通过以含人图像和背景图像为输入，算法将脚后跟关键点的识别的问题，分解为三个步骤：人体识别，脚的框识别，和脚后跟关键点识别，并且每一步骤都用前一步的输出作为输入，逐步缩小问题的复杂度，算法利用脚后跟关键点是人体轮廓上的某个点的信息，算法在中间引入人体分割的特征信息，并将人体分割和关键点识别的特征在算法中进行了多次融合，辅助脚后跟关键点的识别，经过分析后，直接输出脚后跟关键点。
具有以下优点：
1、本发明的算法是端到端算法，直接输出脚后跟关键点，并充分考虑脚后跟关键点是人体分割轮廓中的某个点。
2、本发明利用立定跳远场景，使用含人图像和背景图像，并通过三个步骤将脚后跟关键点识别的问题的复杂度逐步减小，有效提升算法的精度和性能。
3、本发明算法在训练时综合考虑脚识别，人体分割，和脚后跟识别的损失函数，让脚后跟识别更加稳定。
4、后脚跟关键点是属于人体轮廓的点，算法利用含人图像和背景图像的联合信息，有利于算法更好找到人体的轮廓；后脚跟关键点又属于人体骨骼轮廓中的某一关键点，算法将人体轮廓信息和人体骨骼的关键信息融合，有助于算法更好的找到后脚跟关键点。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种立定跳远脚后跟关键点的识别方法，其特征在于，包括以下步骤：
获取图像步骤，在立定跳远的场景中，采集测试区域内的含人图像和背景图像；
图像输入步骤，将获取的所述含人图像和所述背景图像输入；
快速识别人体框图步骤，使用所述含人图像和所述背景图像，通过光流算法估计出人体框图，识别人像并裁剪出人体框图以及人体对应的背景框图；
脚的框识别步骤，将所述快速识别人体框图步骤中输出的所述人体框图和所述背景框图输入，使用特征提取神经网络，提取差异物体分割特征，估计出脚的框，并输出所述脚的框；
脚后跟关键点识别步骤，将所述脚的框识别步骤中输出的所述脚的框图和所述差异物体分割特征输入，分析出脚轮廓掩码值，并在脚轮廓点钟搜索出脚后跟关键点。
2.根据权利要求1所述的立定跳远脚后跟关键点的识别方法，其特征在于，所述脚的框识别步骤，将所述快速识别人体框图步骤中输出的所述人体框图和所述背景框图输入之后，具体包括以下步骤：
通过差异物体分割特征提取算法，比较和分析所述人体框图和所述背景框图，提取差异物体分割特征，输出差异物体掩码值；
以所述差异物体分割特征为输入，对所述差异物体分割特征进一步分析并提取出脚特征，并分析出脚的框。
3.根据权利要求2所述的立定跳远脚后跟关键点的识别方法，其特征在于，所述脚后跟关键点识别步骤，将所述脚识别步骤中输出的所述脚的框图和所述差异物体分割特征输入之后，具体包括以下步骤：
以所述差异物体分割特征和所述脚的框为输入，提取出脚分割特征；
以所述脚分割特征为输入，进一步分析出脚轮廓掩码值；
以所述脚轮廓掩码值为输入，搜索脚轮廓点中距离起跳线最近的点，定为脚后跟关键点；
输出所述脚后跟关键点。
4.根据权利要求1所述的立定跳远脚后跟关键点的识别方法，其特征在于，所述特征提取神经网络是残差学习框架ResNet或者移动视觉卷积神经网络MobileNet或者深度学习Inception或者卷积神经网络VGG。
5.根据权利要求3所述的立定跳远脚后跟关键点的识别方法，其特征在于，还包括算法训练，包括以下步骤：
样本采集，采集背景图像和含任意物体图像，和采集所述脚的框训练的数据集，和采集脚的掩码值训练的数据集；
人工标注，通过人工标注所述脚的框和所述脚轮廓掩码值；
使用的损失函数联合学习。
6.根据权利要求5所述的立定跳远脚后跟关键点的识别方法，其特征在于，所述损失函数包括：所述差异物体掩码值的损失函数，定义为L1、所述脚的框的损失函数，定义为L2、所述脚轮廓掩码值的损失函数，定义为L3、以及所述脚的框和所述脚轮廓掩码值的联合损失函数L＝βL2+(1-β)L3，β用于调控L2和L3的权重；所述L1和所述L3的损失函数为物体分割的损失函数；所述L2的损失函数为物体检测的损失函数。
7.根据权利要求5所述的立定跳远脚后跟关键点的识别方法，其特征在于，所述算法训练包括：
对所述差异物体分割特征提取算法单独训练，作为预训练，训练中使用若干所述背景图像和若干对应含物体图像，训练任务的目标为输出差异物体掩码值。
8.根据权利要求5所述的立定跳远脚后跟关键点的识别方法，其特征在于，所述算法训练包括：
对所述脚的框和所述脚轮廓掩码值联合训练，使用所述脚的框和所述脚轮廓掩码值的数据集，进行训练。
9.根据权利要求1所述的一种立定跳远脚后跟关键点的识别方法的识别系统，其特征在于，包括：
获取图像装置，用于在立定跳远的场景中，采集测试区域内的含人图像和背景图像；
图像输入装置，用于将获取的含人图像和背景图像输入；
快速识别人体框图装置，用于使用所述含人图像和背景图像，通过光流算法估计出人体框图，识别人像并裁剪出人体框图以及对应的背景框图；
脚的框识别装置，用于将所述快速识别人体框图步骤中输出的所述人体框图和所述背景框图输入，使用特征提取神经网络，提取差异物体分割特征，估计出脚的框，并输出所述脚的框；
脚后跟关键点识别装置，用于将所述脚识别步骤中输出的所述脚的框图和所述差异物体分割特征输入，识别脚后跟关键点并输出。
10.一种立定跳远自助测试方法，其特征在于，包括如下步骤：
根据所述获取图像装置的采集范围，设定测试区域；
自动检测是否有人员进入所述测试区域；
对进入所述测试区域的人员进行人脸识别，人脸识别成功后，提示人员开始测试；
采集人员立定跳远测试的视频；
应用权利要求1至8任一项所述的测试方法，对视频进行图像分析对所述视频进行图像分析，以获得脚后跟关键点的位置，根据脚后跟关键点的位置对人员立定跳远的距离计算并输出结果；
将测试成绩保存并通告。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110474387.4A CN113177476A (zh) | 2021-04-29 | 2021-04-29 | 一种立定跳远脚后跟关键点的识别方法、系统及测试方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110474387.4A CN113177476A (zh) | 2021-04-29 | 2021-04-29 | 一种立定跳远脚后跟关键点的识别方法、系统及测试方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113177476A true CN113177476A (zh) | 2021-07-27 |
Family
ID=76925310
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110474387.4A Pending CN113177476A (zh) | 2021-04-29 | 2021-04-29 | 一种立定跳远脚后跟关键点的识别方法、系统及测试方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113177476A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113792719A (zh) * | 2021-11-18 | 2021-12-14 | 成都怡康科技有限公司 | 一种对立定跳远的技术性进行分析的方法及装置 |
| CN116492634A (zh) * | 2023-06-26 | 2023-07-28 | 广州思林杰科技股份有限公司 | 基于图像视觉定位的立定跳远测试方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8837839B1 (en) * | 2010-11-03 | 2014-09-16 | Hrl Laboratories, Llc | Method for recognition and pose estimation of multiple occurrences of multiple objects in visual images |
| CN110909663A (zh) * | 2019-11-20 | 2020-03-24 | 北京奇艺世纪科技有限公司 | 一种人体关键点识别方法、装置及电子设备 |
| CN112381837A (zh) * | 2020-11-12 | 2021-02-19 | 联想(北京)有限公司 | 一种图像处理方法及电子设备 |
-
2021
- 2021-04-29 CN CN202110474387.4A patent/CN113177476A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8837839B1 (en) * | 2010-11-03 | 2014-09-16 | Hrl Laboratories, Llc | Method for recognition and pose estimation of multiple occurrences of multiple objects in visual images |
| CN110909663A (zh) * | 2019-11-20 | 2020-03-24 | 北京奇艺世纪科技有限公司 | 一种人体关键点识别方法、装置及电子设备 |
| CN112381837A (zh) * | 2020-11-12 | 2021-02-19 | 联想(北京)有限公司 | 一种图像处理方法及电子设备 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113792719A (zh) * | 2021-11-18 | 2021-12-14 | 成都怡康科技有限公司 | 一种对立定跳远的技术性进行分析的方法及装置 |
| CN116492634A (zh) * | 2023-06-26 | 2023-07-28 | 广州思林杰科技股份有限公司 | 基于图像视觉定位的立定跳远测试方法 |
| CN116492634B (zh) * | 2023-06-26 | 2023-09-26 | 广州思林杰科技股份有限公司 | 基于图像视觉定位的立定跳远测试方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110751022B (zh) | 基于图像识别的城市宠物活动轨迹监测方法及相关设备 | |
| CN106778595B (zh) | 基于高斯混合模型的人群中异常行为的检测方法 | |
| CN108549852B (zh) | 基于深度网络增强的特定场景下行人检测器自动学习方法 | |
| CN108416314B (zh) | 图片重要人脸检测方法 | |
| CN105469105A (zh) | 一种基于视频监控的香烟烟雾检测方法 | |
| CN105741375B (zh) | 一种大视场双目视觉的红外图像考勤方法 | |
| CN112580525B (zh) | 一种基于行人再识别的病例活动轨迹监测方法 | |
| CN104537356B (zh) | 利用瑞士轮排序进行步态识别的行人再标识方法和装置 | |
| CN107358141B (zh) | 数据识别的方法及装置 | |
| CN110991397B (zh) | 一种行进方向确定方法及相关设备 | |
| CN112560827B (zh) | 模型训练方法、装置、预测方法、电子设备及介质 | |
| CN113177476A (zh) | 一种立定跳远脚后跟关键点的识别方法、系统及测试方法 | |
| CN115138059B (zh) | 一种引体向上的规范计数方法、系统及其存储介质 | |
| CN109508648A (zh) | 一种人脸抓拍方法及设备 | |
| CN111080596A (zh) | 一种融合局部阴影与全局特征的尘肺病辅助筛查方法及系统 | |
| CN111126143A (zh) | 一种基于深度学习的运动评判指导方法及系统 | |
| CN112036328B (zh) | 银行客户满意度计算方法及装置 | |
| CN112308156A (zh) | 一种基于对抗学习的两阶段图像变化检测方法 | |
| CN111191531A (zh) | 一种快速行人检测方法及系统 | |
| CN111814690A (zh) | 一种目标重识别方法、装置和计算机可读存储介质 | |
| CN115482425A (zh) | 关键点识别方法、模型训练方法、装置及存储介质 | |
| CN105404682B (zh) | 一种基于数字图像内容的图书检索方法 | |
| CN112348011B (zh) | 一种车辆定损方法、装置及存储介质 | |
| CN112488165A (zh) | 一种基于深度学习模型的红外行人识别方法及系统 | |
| CN109711232A (zh) | 基于多目标函数的深度学习行人重识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |