CN112241726B - 基于自适应感受野网络和关节点损失权重的姿态估计方法 - Google Patents

基于自适应感受野网络和关节点损失权重的姿态估计方法 Download PDF

Info

Publication number
CN112241726B
CN112241726B CN202011188660.9A CN202011188660A CN112241726B CN 112241726 B CN112241726 B CN 112241726B CN 202011188660 A CN202011188660 A CN 202011188660A CN 112241726 B CN112241726 B CN 112241726B
Authority
CN
China
Prior art keywords
receptive field
self
field network
adaptive receptive
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011188660.9A
Other languages
English (en)
Other versions
CN112241726A (zh
Inventor
骆炎民
欧志龙
林躬耕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian Gongtian Software Co ltd
Huaqiao University
Original Assignee
Fujian Gongtian Software Co ltd
Huaqiao University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian Gongtian Software Co ltd, Huaqiao University filed Critical Fujian Gongtian Software Co ltd
Priority to CN202011188660.9A priority Critical patent/CN112241726B/zh
Publication of CN112241726A publication Critical patent/CN112241726A/zh
Application granted granted Critical
Publication of CN112241726B publication Critical patent/CN112241726B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明提供了人体姿态估计技术领域的一种基于自适应感受野网络和关节点损失权重的姿态估计方法，包括：步骤S10、基于自适应感受野单元搭建自适应感受野网络；步骤S20、利用样本图像对所述自适应感受野网络进行训练；步骤S30、在训练所述自适应感受野网络时，计算得到所述样本图像包含的关节点以及各关节点的损失值；步骤S40、基于各关节点的所述损失值计算各关节点的损失权重；步骤S50、基于所述损失权重以及损失值计算得到最终损失值，基于所述最终损失值优化自适应感受野网络；步骤S60、将待测图像输入训练好的所述自适应感受野网络，计算关节点的位置并形成完整的人体姿态。本发明的优点在于：极大的提升了人体姿态估计的精度和效率。

Description

基于自适应感受野网络和关节点损失权重的姿态估计方法
技术领域
本发明涉及人体姿态估计技术领域，特别指基于自适应感受野网络和关节点损失权重的姿态估计方法。
背景技术
人体姿态估计是计算机视觉进一步理解人体行为的关键步骤，通过一张RGB图像有效预测出人体所有关节点并形成正确的姿态，而准确预测出人体姿态对更高级别的计算机视觉任务，如人的行为识别、人机交互、行人重识别、异常行为检测等有重要的意义。
尽管人体姿态估计的发展有一段时间了，但目前不论是自顶向下还是自底向上的方法，均存在关节点之间精度不平衡的问题，导致人体姿态估计整体精度不高。传统的姿态估计方法在计算损失函数时，只是简单的把各个关节点的损失相加，丢失了对关节点预测难度差异的考虑；传统的姿态估计方法对于相似关节点直接的区分程度不够，导致关节点预测错误，进而导致最后形成人体姿态时产生错误。
在网络结构设计方面，Xiang Li等人(2019IEEE Conference on ComputerVision and Pattern Recognition,2019,pp.510-519)在论文“Selective kernelnetworks”中提出了一种动态选择机制，允许每个神经元根据输入信息的多个尺度自适应地调整其感受野大小，设计了一种称为选择核(SK)单元的结构块，利用softmax attention对不同核大小的多个分支进行融合，对这些分支的不同attention产生融合层神经元有效感受野的不同大小。但是对于人体姿态估计技术领域而言，背景信息显著多于人体信息，而对不同大小的感受野进行融合，容易引入背景信息，导致关节点预测精度下降，甚至导致错误的预测。
在基于RGB图像的姿态估计工作中，Bin Xiao等人(18th European Conferenceon Computer Vision,2018,pp.466-481)在论文“Simple Baselines for Human PoseEstimation and Tracking”中提出一种基于ResNet的网络来进行姿态估计，通过源码发现该论文只是简单把每个关节点的权重设置为1来检测所有人体部位，同时网络结构简单丢失了空间信息与语义信息的流动，因此对于较难预测的关节点并不能充分利用空间信息来做整体的预测。
华中科技大学在其申请的专利“可自适应调节感受野大小的肺炎图片检定装置与方法”(专利公开号：CN111488794A)中公开了一种基于空洞卷积的自适应感受野人群密度估计方法，包括空洞卷积模块和分类模块；分类模块对切分后的图像块进行分类；空洞卷积模块根据分类模块输出的图像块类别,自适应选择对应感受野的空洞卷积子网络，对切分后的图像块进行特征提取，得到人群密度图。该方法对于网络选取感受野需要多个步骤才能有效的选取感受野，这对姿态估计领域而言效率相对较低。
因此，如何提供一种基于自适应感受野网络和关节点损失权重的姿态估计方法，实现提升人体姿态估计的精度和效率，成为一个亟待解决的问题。
发明内容
本发明要解决的技术问题，在于提供一种基于自适应感受野网络和关节点损失权重的姿态估计方法，实现提升人体姿态估计的精度和效率。
本发明是这样实现的：基于自适应感受野网络和关节点损失权重的姿态估计方法，包括如下步骤：
步骤S10、基于自适应感受野单元搭建自适应感受野网络；
步骤S20、利用样本图像对所述自适应感受野网络进行训练；
步骤S30、在训练所述自适应感受野网络时，计算得到所述样本图像包含的关节点以及各关节点的损失值；
步骤S40、基于各关节点的所述损失值计算各关节点的损失权重；
步骤S50、基于所述损失权重以及损失值计算得到最终损失值，基于所述最终损失值优化自适应感受野网络；
步骤S60、将待测图像输入训练好的所述自适应感受野网络，计算关节点的位置并形成完整的人体姿态。
进一步地，所述步骤S10具体包括：
步骤S11、创建一大小为7×7的卷积核，用于提取图像特征并改变图像的通道数；
步骤S12、在所述卷积核的输出端，依次设置若干个自适应感受野单元；
步骤S13、在最后一个所述自适应感受野单元的输出端，依次设置若干个转置卷积核组成转置卷积层，最后一个所述转置卷积核输出的特征图分辨率与第一个所述自适应感受野单元输出的特征图分辨率一致，完成自适应感受野网络的搭建。
进一步地，所述步骤S30具体包括：
步骤S31、获取数据集中的样本图像，将所述样本图像调整为大小为256×256的RGB图像后，输入搭建好的所述自适应感受野网络；
步骤S32、通过所述自适应感受野网络获取RGB图像中关节点的位置热图；
步骤S33、利用非极大值抑制算法查找所述位置热图中，各关节点的最大像素值位置；
步骤S34、以所述最大像素值位置为关节点位置的中心点，膨胀所述中心点生成半径为R个像素的圆，得到预测的关节点位置；
步骤S35、利用均方误差损失函数以及关节点位置计算得到各关节点的损失值：
Figure BDA0002752079480000031
其中M表示计算损失值；i表示人体的编号，j表示关节点的编号，且i和j均为正整数；Pi(pj)表示第i个人，第j个关节点的预测值；
Figure BDA0002752079480000032
为预测的关节点的热图，尺度为λ×64×64，λ表示关节点的个数；Gi(pj)表示第i个人，第j个关节点的真值；G＝{g1,...,gλ}，为高斯激活生成的各人体部位对应的真值热图。
进一步地，所述步骤S40中，所述损失权重的计算公式为：
Figure BDA0002752079480000041
其中Wi,j表示第i个人，第j个关节点的损失权重；Pi(pj)表示第i个人，第j个关节点的预测值；
Figure BDA0002752079480000042
为预测关节点的热图，尺度为λ×64×64，λ表示关节点的个数；Gi(pj)表示第i个人，第j个关节点的真值；G＝{g1,...,gλ}，为高斯激活生成的各人体部位对应的真值热图。
进一步地，所述步骤S50中，所述最终损失值的计算公式为：
Figure BDA0002752079480000043
进一步地，所述步骤S60具体包括：
步骤S61、获取待测图像，将所述待测图像调整为大小为256×256的RGB图像后，输入训练好的所述自适应感受野网络中；
步骤S62、通过所述自适应感受野网络获取RGB图像中关节点的位置热图；
步骤S63、利用非极大值抑制算法查找所述位置热图中，各关节点的最大像素值位置；
步骤S64、以所述最大像素值位置为关节点位置的中心点，膨胀所述中心点生成半径为R个像素的圆，得到预测的关节点位置；
步骤S65、基于预先标定各关节点的序号以及预测的关节点位置，依次连接各关节点形成完整的人体姿态。
本发明的优点在于：
1、通过自适应感受野单元搭建自适应感受野网络，实现深度卷积神经网络自动选择待测图像对应的卷积核来捕获不同关节点所需的感受野，有效改善相似关节点预测错误的问题；通过计算各关节点的损失权重，进而依据损失权重计算最终损失值，且损失权重通过不同关节点的计算损失值进行动态调整，平衡了各关节点之间的精度，进而极大的提升了人体姿态估计的精度。
2、通过采用恒等映射将第一个自适应感受野单元输出的特征图，输入转置卷积层进行相加操作，输出给第二个自适应感受野网络单元，最终加入最后一个自适应感受野网络单元，即将全局的空间信息加入到语义信息中，极大的提升了人体姿态估计的平均精度。
3、通过自适应感受野单元搭建自适应感受野网络，实现深度卷积神经网络自动选择待测图像对应的卷积核来捕获不同关节点所需的感受野，即仅需简单的步骤即可获得不同大小的感受野，极大的提升了人体姿态估计的效率。
附图说明
下面参照附图结合实施例对本发明作进一步的说明。
图1是本发明基于自适应感受野网络和关节点损失权重的姿态估计方法的流程图。
图2是本发明自适应感受野网络的示意图。
图3是本发明自适应感受野单元的示意图。
图4是本发明转置卷积层相加操作的示意图。
图5是本发明人体姿态估计的效果示意图。
具体实施方式
本申请实施例中的技术方案，总体思路如下：首先，基于自适应感受野单元搭建自适应感受野网络，使得深度卷积神经网络能够自适应的选择卷积核，获得不同的感受野；其次，在自适应感受野网络的第一个自适应感受野单元处使用恒等映射将该单元输出的特征图加入到深度卷积神经网络的最后一层，能充分利用空间信息，使得姿态估计结果更准确；然后，在自适应感受野网络训练阶段，根据损失值大小动态设置不同的关节点的损失权重，使得人体各关节点精度更加平衡，大大提高姿态估计的精度，为行为识别、行人重识别、异常行为检测等提供一个姿态参考。
请参照图1至图5所示，本发明基于自适应感受野网络和关节点损失权重的姿态估计方法的较佳实施例，包括如下步骤：
步骤S10、基于自适应感受野单元搭建自适应感受野网络；
步骤S20、利用样本图像对所述自适应感受野网络进行训练；
即事先获取大量的样本图像，对各样本图像的关节点进行标注后，划分为训练集、验证集和测试集，将训练集输入深度卷积神经网络进行训练，再利用验证集对训练后的深度卷积神经网络进行验证，判断损失值是否达到预设的阈值；
步骤S30、在训练所述自适应感受野网络时，计算得到所述样本图像包含的关节点以及各关节点的损失值；
步骤S40、基于各关节点的所述损失值计算各关节点的损失权重；所述损失权重用于平衡不同关节点之间的精度；
步骤S50、基于所述损失权重以及损失值加权求和计算得到最终损失值，基于所述最终损失值优化自适应感受野网络；具体实施时，可将所述最终损失值替换损失值，进行所述自适应感受野网络的迭代训练与优化；
步骤S60、将待测图像输入训练好的所述自适应感受野网络，计算关节点的位置并形成完整的人体姿态。
所述步骤S10具体包括：
步骤S11、创建一大小为7×7的卷积核，用于提取图像特征并改变图像的通道数；
步骤S12、在所述卷积核的输出端，依次设置若干个自适应感受野单元；
步骤S13、在最后一个所述自适应感受野单元的输出端，依次设置若干个转置卷积核组成转置卷积层，最后一个所述转置卷积核输出的特征图分辨率与第一个所述自适应感受野单元输出的特征图分辨率一致，完成自适应感受野网络的搭建。
所述步骤S12中，所述卷积核输入自适应感受野单元的特征图F会被默认分为两个分支进行卷积操作，具体包括：
步骤S121、所述卷积核将提取的特征图F输入自适应感受野单元，自适应感受野单元将特征图F分为两个分支，其中一个分支使用大小为3×3的卷积核进行卷积得到特征图
Figure BDA0002752079480000071
另一个分支使用大小为5×5的卷积核进行卷积得到特征图/>
Figure BDA0002752079480000072
(可根据深度卷积神经网络的深度以及输入的RGB图像来考虑是否增加一个分支使用大小为7×7的卷积核进行卷积)
步骤S122、对所述特征图
Figure BDA0002752079480000073
以及特征图/>
Figure BDA0002752079480000074
进行全局均值池化操作，得到一个/>
Figure BDA0002752079480000075
的特征s，其中c表示特征图F的通道数；
步骤S123、将每一分支的所述特征s输入一个全连接层，用来降低特征大小，提高深度卷积神经网络的训练效率，从而得到一个
Figure BDA0002752079480000076
的特征z，其中d＝max(C/r,L)，L＝32，r表示缩减率；
步骤S124、对每一分支的所述特征z求平均值，得到一个常数a；
步骤S125、对所述特征z使用softmax操作得到特征z'；
步骤S126、选取常数a取值最大的分支，将特征z'与特征图
Figure BDA0002752079480000077
以及特征图/>
Figure BDA0002752079480000078
做像素点乘操作，得到特征图V，特征图V即自适应感受野网络选择的感受野；
Figure BDA0002752079480000079
V＝z'·U；
其中b表示分支；i表示分支的编号，为正整数；U表示特征图
Figure BDA00027520794800000710
以及特征图/>
Figure BDA00027520794800000711
的像素值。
所述步骤S30具体包括：
步骤S31、获取数据集中的样本图像(RGB图像)，将所述样本图像调整为大小为256×256的RGB图像后，输入搭建好的所述自适应感受野网络；
步骤S32、通过所述自适应感受野网络获取RGB图像中关节点的位置热图；即通过所述深度卷积神经网络的第一个卷积核提取特征图F，同时改变RGB图像的通道数，再将特征图F输入自适应感受野网络的主干网络得到位置热图；
步骤S33、利用非极大值抑制算法查找所述位置热图中，各关节点的最大像素值位置；
步骤S34、以所述最大像素值位置为关节点位置的中心点，膨胀所述中心点生成半径为R个像素的圆，得到预测的关节点位置；
步骤S35、利用均方误差损失函数以及关节点位置计算得到各关节点的损失值：
Figure BDA0002752079480000081
通过修改均方误差损失函数能够平衡各关节点之间的精度；
其中M表示计算损失值；i表示人体的编号，j表示关节点的编号，且i和j均为正整数；Pi(pj)表示第i个人，第j个关节点的预测值；
Figure BDA0002752079480000082
为预测的关节点的热图，尺度为λ×64×64，λ表示关节点的个数；Gi(pj)表示第i个人，第j个关节点的真值；G＝{g1,...,gλ}，为高斯激活生成的各人体部位对应的真值热图。
所述步骤S40中，所述损失权重的计算公式为：
Figure BDA0002752079480000083
/>
其中Wi,j表示第i个人，第j个关节点的损失权重；Pi(pj)表示第i个人，第j个关节点的预测值；
Figure BDA0002752079480000084
为预测关节点的热图，尺度为λ×64×64，λ表示关节点的个数；Gi(pj)表示第i个人，第j个关节点的真值；G＝{g1,...,gλ}，为高斯激活生成的各人体部位对应的真值热图。
所述步骤S50中，所述最终损失值的计算公式为：
Figure BDA0002752079480000085
所述步骤S60具体包括：
步骤S61、获取待测图像，将所述待测图像调整为大小为256×256的RGB图像后，输入训练好的所述自适应感受野网络中；
步骤S62、通过所述自适应感受野网络获取RGB图像中关节点的位置热图；
步骤S63、利用非极大值抑制算法查找所述位置热图中，各关节点的最大像素值位置；
步骤S64、以所述最大像素值位置为关节点位置的中心点，膨胀所述中心点生成半径为R个像素的圆，得到预测的关节点位置；
步骤S65、基于预先标定各关节点的序号以及预测的关节点位置，依次连接各关节点形成完整的人体姿态。
综上所述，本发明的优点在于：
1、通过自适应感受野单元搭建自适应感受野网络，实现深度卷积神经网络自动选择待测图像对应的卷积核来捕获不同关节点所需的感受野，有效改善相似关节点预测错误的问题；通过计算各关节点的损失权重，进而依据损失权重计算最终损失值，且损失权重通过不同关节点的计算损失值进行动态调整，平衡了各关节点之间的精度，进而极大的提升了人体姿态估计的精度。
2、通过采用恒等映射将第一个自适应感受野单元输出的特征图，输入转置卷积层进行相加操作，输出给第二个自适应感受野网络单元，最终加入最后一个自适应感受野网络单元，即将全局的空间信息加入到语义信息中，极大的提升了人体姿态估计的平均精度。
3、通过自适应感受野单元搭建自适应感受野网络，实现深度卷积神经网络自动选择待测图像对应的卷积核来捕获不同关节点所需的感受野，即仅需简单的步骤即可获得不同大小的感受野，极大的提升了人体姿态估计的效率。
虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。

Claims (3)

1.基于自适应感受野网络和关节点损失权重的姿态估计方法，其特征在于：包括如下步骤：
步骤S10、基于自适应感受野单元搭建自适应感受野网络；
步骤S20、利用样本图像对所述自适应感受野网络进行训练；
步骤S30、在训练所述自适应感受野网络时，计算得到所述样本图像包含的关节点以及各关节点的损失值；
步骤S40、基于各关节点的所述损失值计算各关节点的损失权重；
步骤S50、基于所述损失权重以及损失值计算得到最终损失值，基于所述最终损失值优化自适应感受野网络；
步骤S60、将待测图像输入训练好的所述自适应感受野网络，计算关节点的位置并形成完整的人体姿态；
所述步骤S30具体包括：
步骤S31、获取数据集中的样本图像，将所述样本图像调整为大小为256×256的RGB图像后，输入搭建好的所述自适应感受野网络；
步骤S32、通过所述自适应感受野网络获取RGB图像中关节点的位置热图；
步骤S33、利用非极大值抑制算法查找所述位置热图中，各关节点的最大像素值位置；
步骤S34、以所述最大像素值位置为关节点位置的中心点，膨胀所述中心点生成半径为R个像素的圆，得到预测的关节点位置；
步骤S35、利用均方误差损失函数以及关节点位置计算得到各关节点的损失值：
Figure FDA0004142532330000011
其中M表示计算损失值；i表示人体的编号，j表示关节点的编号，且i和j均为正整数；Pi(pj)表示第i个人，第j个关节点的预测值；
Figure FDA0004142532330000012
为预测的关节点的热图，尺度为λ×64×64，λ表示关节点的个数；Gi(pj)表示第i个人，第j个关节点的真值；G＝{g1,K,gλ}，为高斯激活生成的各人体部位对应的真值热图；
所述步骤S40中，所述损失权重的计算公式为：
Figure FDA0004142532330000021
其中Wi,j表示第i个人，第j个关节点的损失权重；Pi(pj)表示第i个人，第j个关节点的预测值；
Figure FDA0004142532330000022
为预测关节点的热图，尺度为λ×64×64，λ表示关节点的个数；Gi(pj)表示第i个人，第j个关节点的真值；G＝{g1,K,gλ}，为高斯激活生成的各人体部位对应的真值热图；
所述步骤S50中，所述最终损失值的计算公式为：
Figure FDA0004142532330000023
2.如权利要求1所述的基于自适应感受野网络和关节点损失权重的姿态估计方法，其特征在于：所述步骤S10具体包括：
步骤S11、创建一大小为7×7的卷积核，用于提取图像特征并改变图像的通道数；
步骤S12、在所述卷积核的输出端，依次设置若干个自适应感受野单元；
步骤S13、在最后一个所述自适应感受野单元的输出端，依次设置若干个转置卷积核组成转置卷积层，最后一个所述转置卷积核输出的特征图分辨率与第一个所述自适应感受野单元输出的特征图分辨率一致，完成自适应感受野网络的搭建。
3.如权利要求1所述的基于自适应感受野网络和关节点损失权重的姿态估计方法，其特征在于：所述步骤S60具体包括：
步骤S61、获取待测图像，将所述待测图像调整为大小为256×256的RGB图像后，输入训练好的所述自适应感受野网络中；
步骤S62、通过所述自适应感受野网络获取RGB图像中关节点的位置热图；
步骤S63、利用非极大值抑制算法查找所述位置热图中，各关节点的最大像素值位置；
步骤S64、以所述最大像素值位置为关节点位置的中心点，膨胀所述中心点生成半径为R个像素的圆，得到预测的关节点位置；
步骤S65、基于预先标定各关节点的序号以及预测的关节点位置，依次连接各关节点形成完整的人体姿态。
CN202011188660.9A 2020-10-30 2020-10-30 基于自适应感受野网络和关节点损失权重的姿态估计方法 Active CN112241726B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011188660.9A CN112241726B (zh) 2020-10-30 2020-10-30 基于自适应感受野网络和关节点损失权重的姿态估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011188660.9A CN112241726B (zh) 2020-10-30 2020-10-30 基于自适应感受野网络和关节点损失权重的姿态估计方法

Publications (2)

Publication Number Publication Date
CN112241726A CN112241726A (zh) 2021-01-19
CN112241726B true CN112241726B (zh) 2023-06-02

Family

ID=74170271

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011188660.9A Active CN112241726B (zh) 2020-10-30 2020-10-30 基于自适应感受野网络和关节点损失权重的姿态估计方法

Country Status (1)

Country Link
CN (1) CN112241726B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113610015B (zh) * 2021-08-11 2023-05-30 华侨大学 基于端到端快速阶梯网络的姿态估计方法、装置及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017133009A1 (zh) * 2016-02-04 2017-08-10 广州新节奏智能科技有限公司 一种基于卷积神经网络的深度图像人体关节定位方法
CN108549844A (zh) * 2018-03-22 2018-09-18 华侨大学 一种基于多层分形网络和关节亲属模式的多人姿态估计方法
US10529137B1 (en) * 2016-11-29 2020-01-07 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Machine learning systems and methods for augmenting images
US10679046B1 (en) * 2016-11-29 2020-06-09 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Machine learning systems and methods of estimating body shape from images
CN111274954A (zh) * 2020-01-20 2020-06-12 河北工业大学 基于改进姿态估计算法的嵌入式平台实时跌倒检测方法
CN111652054A (zh) * 2020-04-21 2020-09-11 北京迈格威科技有限公司 关节点检测方法、姿态识别方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017133009A1 (zh) * 2016-02-04 2017-08-10 广州新节奏智能科技有限公司 一种基于卷积神经网络的深度图像人体关节定位方法
US10529137B1 (en) * 2016-11-29 2020-01-07 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Machine learning systems and methods for augmenting images
US10679046B1 (en) * 2016-11-29 2020-06-09 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Machine learning systems and methods of estimating body shape from images
CN108549844A (zh) * 2018-03-22 2018-09-18 华侨大学 一种基于多层分形网络和关节亲属模式的多人姿态估计方法
CN111274954A (zh) * 2020-01-20 2020-06-12 河北工业大学 基于改进姿态估计算法的嵌入式平台实时跌倒检测方法
CN111652054A (zh) * 2020-04-21 2020-09-11 北京迈格威科技有限公司 关节点检测方法、姿态识别方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Human Pose Estimation using Deep Structure Guided Learning;Baole Ai 等;《2017 IEEE Winter Conference on Applications of Computer Vision》;全文 *
基于图卷积神经网络的人体动作识别研究;李超龙;《硕士电子期刊》;全文 *

Also Published As

Publication number Publication date
CN112241726A (zh) 2021-01-19

Similar Documents

Publication Publication Date Title
CN112699847B (zh) 基于深度学习的人脸特征点检测方法
CN110276316B (zh) 一种基于深度学习的人体关键点检测方法
CN109858506B (zh) 一种面向卷积神经网络分类结果的可视化算法
CN109727246B (zh) 一种基于孪生网络的对比学习图像质量评估方法
CN109063724B (zh) 一种增强型生成式对抗网络以及目标样本识别方法
CN110879982B (zh) 一种人群计数系统及方法
WO2019136772A1 (zh) 一种模糊图像的复原方法、装置、设备及存储介质
CN112949678A (zh) 深度学习模型对抗样本生成方法、系统、设备及存储介质
CN108805151B (zh) 一种基于深度相似性网络的图像分类方法
CN113554156B (zh) 基于注意力机制与可变形卷积的多任务图像处理方法
CN111832228B (zh) 基于cnn-lstm的振动传递系统
US20210224647A1 (en) Model training apparatus and method
CN112489164A (zh) 基于改进深度可分离卷积神经网络的图像着色方法
CN112036260A (zh) 一种自然环境下多尺度子块聚合的表情识别方法及系统
CN112241726B (zh) 基于自适应感受野网络和关节点损失权重的姿态估计方法
CN112364747A (zh) 一种有限样本下的目标检测方法
CN112418070B (zh) 一种基于解耦阶梯网络的姿态估计方法
CN117131348B (zh) 基于差分卷积特征的数据质量分析方法及系统
CN114066812A (zh) 基于空间注意力机制的无参考图像质量评价方法
CN110738645A (zh) 基于卷积神经网络的3d图像质量检测方法
CN116258877A (zh) 土地利用场景相似度变化检测方法、装置、介质及设备
CN115760603A (zh) 一种基于大数据技术的干涉阵列宽带成像方法
CN115331021A (zh) 基于多层特征自身差异融合的动态特征提取与描述方法
CN117079058B (zh) 图像处理方法和装置、存储介质及电子设备
CN113610015B (zh) 基于端到端快速阶梯网络的姿态估计方法、装置及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant