CN113963206A - 一种基于姿态指引的速滑运动员目标检测方法 - Google Patents

一种基于姿态指引的速滑运动员目标检测方法 Download PDF

Info

Publication number
CN113963206A
CN113963206A CN202111224493.3A CN202111224493A CN113963206A CN 113963206 A CN113963206 A CN 113963206A CN 202111224493 A CN202111224493 A CN 202111224493A CN 113963206 A CN113963206 A CN 113963206A
Authority
CN
China
Prior art keywords
detection
posture
features
feature map
extracting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111224493.3A
Other languages
English (en)
Inventor
李宗民
王一璠
孙奉钰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Petroleum East China
Original Assignee
China University of Petroleum East China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Petroleum East China filed Critical China University of Petroleum East China
Priority to CN202111224493.3A priority Critical patent/CN113963206A/zh
Publication of CN113963206A publication Critical patent/CN113963206A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明结合深度学习与计算机视觉算法，具体公开了一种基于姿态指引的速滑运动员目标检测方法，该追踪方法包括如下步骤：s1、通过深度学习主干网络对输入图片进行特征提取得到特征图；s2、根据s1特征图提取特征图中的姿态特征；s3、根据姿态特征检测图片中存在的人物姿态关节点信息；s4、根据姿态特征的指引提取特征图中的人物检测特征；s5、根据人物检测特征提取图片中分类、位置以及边界框信息。本发明方法针对速滑运动员的检测问题，通过姿态信息对检测结果进行指引，缓解速滑运动员的漏检、误检等问题。

Description

一种基于姿态指引的速滑运动员目标检测方法
技术领域
本发明结合深度学习与计算机视觉算法，具体公开了一种基于姿态指引的速滑运动员目标检测方法。
背景技术
目标检测(ObjectDetection)的任务是找出图像中所有感兴趣的目标(物体)，确定它们的类别和位置，是计算机视觉领域的核心问题之一，是行人重识别、多目标追踪等任务的基础工作。由于各类物体有不同的外观、形状和姿态，加上成像时光照、遮挡等因素的干扰，目标检测一直是计算机视觉领域最具有挑战性的问题。
现有的目标检测的方法主要分为两类，二阶段方法和一阶段方法。二阶段方法先在待检测区域提取一定的候选框，然后对候选框进行分类，从而确定检测出来的物体。而一阶段的方法则是直接从网络中提取特征来预测物体的分类和位置。二阶段的方法整体上精度要高于一阶段的方法，但由于提取候选框后进行分类的大量计算，所以导致精度会有所下降。
而针对目标检测又会细分为人脸检测，行人检测，车辆检测等一系列的任务。而在本方法中针对速滑运动员提出了一种姿态指引的速滑运动员的目标检测方法，能够更好的解决速滑运动员误检、漏检等问题。
现有的目标检测算法多是针对多目标进行检测训练的，像使用较多的COCO数据集中，包含人、自行车、汽车等80个类别，而由于这些不同的类别在尺度、外观、姿态等的不同变化，现有的目标检测方法多会提出针对性的方案进行解决。其中像提过多尺度输出来解决尺度大小问题，以及使用不同的anchor形状来匹配不同的物体。而相比于现有的目标检测算法，针对速滑运动员的检测会有如下几个特点，首先由于速滑场地尺寸为30m*60m，速滑运动员尺度的差异性相比于多类目标检测会相对变小。即使在场地上发生一定的尺度变化，但是运动员的形状是会基本保持相对不变的，因此直接套用现有的目标检测算法仍会有一定的尺度差异；其次在做速滑运动员目标检测的时候，颜色差异体现的并不是那么明显，但是由于光照等因素仍会出现误检、漏检的情况。
本发明，结合深度学习与计算机视觉的方法，构建一个基于姿态指引的，针对速滑运动员的目标检测方法，能够很好解决由于光照、遮挡等引起的误检以及漏检的问题。
发明内容
本发明的目的在于提出一种基于姿态指引的速滑运动员目标检测方法，其采用如下方案：
一种基于姿态指引的速滑运动员目标检测方法，包括如下步骤：
s1、通过深度学习主干网络对输入图片进行特征提取得到特征图；
s2、根据s1特征图提取特征图中的姿态特征；
s3、根据姿态特征检测图片中存在的人物姿态关节点信息；
s4、根据姿态特征的指引提取特征图中的人物检测特征；
s5、根据人物检测特征提取图片中分类、位置以及边界框信息；
进一步，上述步骤s1中，通过深度学习主干网络，对输入图片进行特征提取得到特征图；
进一步，上述步骤s2中，在s1所得特征图的基础上，通过卷积神经网络做进一步的特征提取，获取图片中所需检测目标人物的姿态特征；
进一步，上述步骤s3中，在s2所得姿态特征的基础上，应用姿态估计检测头神经网络，对图片中人物姿态进行估计；
进一步，上述步骤s4中，依据s2姿态特征的指引提取特征图中的人物检测特征；
进一步，计算的过程为：
s41、在s1特征图的基础上，通过卷积神经网络做进一步的特征提取；
s42、在s2姿态特征的指引下，提取s41产生的特征；
s43、结合s41以及s42提取的特征，生成最后的人物检测特征；
进一步，上述步骤s5中，根据人物检测特征提取图片中分类、位置以及边界框信息；
进一步，计算的过程为:
s51、在s4人物检测特征的基础上，应用分类网络对于检测结果进行分类；
s52、在s4人物检测特征的基础上，应用检测网络生称检测结果的位置以及边界框信息；
本发明具有如下优点：
本发明方法在计算机视觉下使用深度神经网络，通过姿态特征的指引，对图片中的速滑运动员进行检测。本方法针对速滑运动员人物的特点，针对性的修改深度神经网络，使得能够更精确的，更快速的完成速滑运动员的检测任务。同时结合姿态特征的指引，能够更好的解决目标检测中存在的运动员漏检以及误检的问题，在尽可能不影响网络速度的情况下提高网络的检测性能。
附图说明
附图1为本发明中一种基于姿态指引的速滑运动员目标检测方法的流程框图；
具体实施方法
下面结合附图以及具体实施方式对本发明作进一步详细说明：
结合图1所示，一种基于姿态指引的速滑运动员目标检测方法，包括如下步骤：
s1、通过深度学习主干网络对输入图片进行特征提取得到特征图；
通过ResNet50-FPN、HRNet等基础骨干网络综合提取图片中的特征图。
s2、根据s1特征图提取特征图中的姿态特征；
在s1特征图的基础上，通过多层由卷积神经网络，Normalization层，激活函数组成的深度学习网络层对s1中得到的特征图做进一步的处理，提取更偏向于姿态信息的姿态特征。
s3、根据姿态特征检测图片中存在的人物姿态关节点信息；
在s2姿态特征的基础上，应用姿态估计检测头神经网络，对图片中人物姿态进行估计。其中姿态估计检测头神经网络，由多层的卷积神经网络、全连接神经网络、激活函数组成。经过姿态估计检测头神经网络，生成N×(17×2)的特征向量，其中N代表的预测结果特征图的大小，17代表每个人的关节点数量，2代表x、y坐标。
s4、根据s2姿态特征的指引提取特征图中的人物检测特征；
s41、在s1特征图的基础上，通过卷积神经网络做进一步的特征提取；
在s1特征图的基础上，通过多层由卷积神经网络，Normalization层，激活函数组成的深度学习网络层对s1中得到的特征图做进一步的处理，提取更偏向于目标检测的特征信息。
s42、在s2姿态特征的指引下，对s41产生的特征图进行特征提取；
根据s2姿态特征，通过卷积神经网络生成s41特征图中每一个样点的偏置，形成可变性卷积的卷积核，通过可变形卷积在s2姿态特征的指引下进一步提取s41中提取的特征。
s43、结合s41以及s42提取的特征，生成最后的人物检测特征；
通过卷积神经网络对s41产生的特征进行尺度的调整，通过残差模块融合s41以及s42 产生的特征，形成包含人物关键点信息的人物检测特征。
s5、根据人物检测特征提取图片中分类、位置以及边界框信息；
s51、在s4人物检测特征的基础上，应用检测分类网络对于检测结果进行分类；
根据s4产生的人物检测特征，应用检测分类网络产生检测结果的分类信息，其中检测分类网络由多层卷积神经网络以及激活函数组成，经过检测分类网络产生N×1的特征向量，其中N代表了预测结果特征图的大小，1代表是运动员的概率。
s52、在s4人物检测特征的基础上，应用检测分类网络生成检测结果的位置以及边界框信息；
根据s4产生的人物检测特征，应用检测分类网络产生检测结果的位置以及边界框信息，其中检测分类网络由多层卷积神经网络以及激活函数组成，经过检测分类网络生成N×(B× 5),其中N代表预测结果特征图的大小，B代表anchor的大小，5代表位置信息，分别为(x,y, w,h,confidence)。
当然，以上说明仅仅为本发明的整体的实施流程，本发明并不限于上述实施流程，应当说明的是，任何熟悉本领域的技术人员在本说明书的教导下，所做出的所有等同替代、明显变形形式，均落在本说明书的实质范围之内，理应受到本发明的保护。

Claims (3)

1.一种基于姿态指引的速滑运动员目标检测方法，其特征在于，包括如下步骤：
s1、通过深度学习主干网络对输入图片进行特征提取得到特征图；
s2、根据s1特征图提取特征图中的姿态特征；
s3、根据姿态特征检测图片中存在的人物姿态关节点信息；
s4、根据姿态特征的指引提取特征图中的人物检测特征；
s5、根据人物检测特征提取图片中分类、位置以及边界框信息。
2.根据权利要求1所述的一种基于姿态指引的速滑运动员目标检测方法，其特征在于，所述步骤s4中，使用姿态特征进行指引来提取特征信息，继而进行速滑运动员的目标检测。
3.根据权利要求1所述的一种基于姿态指引的速滑运动员目标检测方法，其特征在于，所述步骤s3中，使用人物关键点特征对速滑运动员的检测进行辅助监督。
CN202111224493.3A 2021-10-20 2021-10-20 一种基于姿态指引的速滑运动员目标检测方法 Pending CN113963206A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111224493.3A CN113963206A (zh) 2021-10-20 2021-10-20 一种基于姿态指引的速滑运动员目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111224493.3A CN113963206A (zh) 2021-10-20 2021-10-20 一种基于姿态指引的速滑运动员目标检测方法

Publications (1)

Publication Number Publication Date
CN113963206A true CN113963206A (zh) 2022-01-21

Family

ID=79465219

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111224493.3A Pending CN113963206A (zh) 2021-10-20 2021-10-20 一种基于姿态指引的速滑运动员目标检测方法

Country Status (1)

Country Link
CN (1) CN113963206A (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107832672A (zh) * 2017-10-12 2018-03-23 北京航空航天大学 一种利用姿态信息设计多损失函数的行人重识别方法
CN108960178A (zh) * 2018-07-13 2018-12-07 清华大学 一种人手姿态估计方法及系统
CN109344806A (zh) * 2018-10-31 2019-02-15 第四范式（北京）技术有限公司 利用多任务目标检测模型执行目标检测的方法和系统
CN110427813A (zh) * 2019-06-24 2019-11-08 中国矿业大学 基于姿态指导行人图像生成的孪生生成式对抗网络的行人重识别方法
CN111898614A (zh) * 2019-05-05 2020-11-06 阿里巴巴集团控股有限公司 神经网络系统以及图像信号、数据处理的方法
CN112257609A (zh) * 2020-10-23 2021-01-22 重庆邮电大学 一种基于自适应关键点热图的车辆检测方法及装置
CN112801051A (zh) * 2021-03-29 2021-05-14 哈尔滨理工大学 一种基于多任务学习的遮挡行人重识别方法
CN113052061A (zh) * 2021-03-22 2021-06-29 中国石油大学(华东) 一种基于人体姿态估计的速度滑冰运动员动作识别方法
CN113239825A (zh) * 2021-05-19 2021-08-10 四川中烟工业有限责任公司 一种复杂场景下高精度烟草甲虫检测方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107832672A (zh) * 2017-10-12 2018-03-23 北京航空航天大学 一种利用姿态信息设计多损失函数的行人重识别方法
CN108960178A (zh) * 2018-07-13 2018-12-07 清华大学 一种人手姿态估计方法及系统
CN109344806A (zh) * 2018-10-31 2019-02-15 第四范式（北京）技术有限公司 利用多任务目标检测模型执行目标检测的方法和系统
CN111898614A (zh) * 2019-05-05 2020-11-06 阿里巴巴集团控股有限公司 神经网络系统以及图像信号、数据处理的方法
CN110427813A (zh) * 2019-06-24 2019-11-08 中国矿业大学 基于姿态指导行人图像生成的孪生生成式对抗网络的行人重识别方法
CN112257609A (zh) * 2020-10-23 2021-01-22 重庆邮电大学 一种基于自适应关键点热图的车辆检测方法及装置
CN113052061A (zh) * 2021-03-22 2021-06-29 中国石油大学(华东) 一种基于人体姿态估计的速度滑冰运动员动作识别方法
CN112801051A (zh) * 2021-03-29 2021-05-14 哈尔滨理工大学 一种基于多任务学习的遮挡行人重识别方法
CN113239825A (zh) * 2021-05-19 2021-08-10 四川中烟工业有限责任公司 一种复杂场景下高精度烟草甲虫检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SHENHAN QIAN, AT EL.: "KGDet_ Keypoint-Guided Fashion Detection _ Request PDF", THE THIRTY-FIFTH AAAI CONFERENCE ON ARTIFICIAL INTELLIGENCE (AAAI-21), 31 May 2021 (2021-05-31), pages 2449 - 2457 *
张冬梅: "基于人体姿态估计算法的辅助运动训练系统的研究", 中国优秀硕士电子期刊网, no. 4, 15 April 2018 (2018-04-15) *

Similar Documents

Publication Publication Date Title
He et al. Visual recognition of traffic police gestures with convolutional pose machine and handcrafted features
Happy et al. Fuzzy histogram of optical flow orientations for micro-expression recognition
Tang et al. A real-time hand posture recognition system using deep neural networks
CN110659589B (zh) 基于姿态和注意力机制的行人再识别方法、系统、装置
CN110738101A (zh) 行为识别方法、装置及计算机可读存储介质
CN108256421A (zh) 一种动态手势序列实时识别方法、系统及装置
CN110991274B (zh) 一种基于混合高斯模型和神经网络的行人摔倒检测方法
Aurangzeb et al. Human behavior analysis based on multi-types features fusion and Von Nauman entropy based features reduction
Ahmad et al. Inertial sensor data to image encoding for human action recognition
CN108875586B (zh) 一种基于深度图像与骨骼数据多特征融合的功能性肢体康复训练检测方法
CN107832736B (zh) 实时人体动作的识别方法和实时人体动作的识别装置
Waheed et al. Exploiting Human Pose and Scene Information for Interaction Detection
CN114639117B (zh) 一种跨境特定行人追踪的方法和装置
Kim et al. Real-time facial feature extraction scheme using cascaded networks
CN115527269A (zh) 一种人体姿态图像智能识别方法及系统
Ahmed et al. Joint-triplet motion image and local binary pattern for 3d action recognition using kinect
Pang et al. Analysis of computer vision applied in martial arts
Huang et al. Whole-body detection, recognition and identification at altitude and range
Keceli et al. Recognition of basic human actions using depth information
Mesbahi et al. Hand gesture recognition based on various deep learning YOLO models
Zhang et al. Motion trajectory tracking of athletes with improved depth information-based KCF tracking method
Kishore et al. Spatial Joint features for 3D human skeletal action recognition system using spatial graph kernels
CN113963206A (zh) 一种基于姿态指引的速滑运动员目标检测方法
Saykol et al. Posture labeling based gesture classification for Turkish sign language using depth values
CN107451578A (zh) 基于体感设备的聋哑人手语机器翻译方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination