CN112241726B - 基于自适应感受野网络和关节点损失权重的姿态估计方法 - Google Patents
基于自适应感受野网络和关节点损失权重的姿态估计方法 Download PDFInfo
- Publication number
- CN112241726B CN112241726B CN202011188660.9A CN202011188660A CN112241726B CN 112241726 B CN112241726 B CN 112241726B CN 202011188660 A CN202011188660 A CN 202011188660A CN 112241726 B CN112241726 B CN 112241726B
- Authority
- CN
- China
- Prior art keywords
- receptive field
- self
- field network
- adaptive receptive
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 19
- 230000003044 adaptive effect Effects 0.000 claims abstract description 37
- 238000012549 training Methods 0.000 claims abstract description 14
- 230000017105 transposition Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 230000001629 suppression Effects 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 206010000117 Abnormal behaviour Diseases 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 206010035664 Pneumonia Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了人体姿态估计技术领域的一种基于自适应感受野网络和关节点损失权重的姿态估计方法,包括:步骤S10、基于自适应感受野单元搭建自适应感受野网络;步骤S20、利用样本图像对所述自适应感受野网络进行训练;步骤S30、在训练所述自适应感受野网络时,计算得到所述样本图像包含的关节点以及各关节点的损失值;步骤S40、基于各关节点的所述损失值计算各关节点的损失权重;步骤S50、基于所述损失权重以及损失值计算得到最终损失值,基于所述最终损失值优化自适应感受野网络;步骤S60、将待测图像输入训练好的所述自适应感受野网络,计算关节点的位置并形成完整的人体姿态。本发明的优点在于:极大的提升了人体姿态估计的精度和效率。
Description
技术领域
本发明涉及人体姿态估计技术领域,特别指基于自适应感受野网络和关节点损失权重的姿态估计方法。
背景技术
人体姿态估计是计算机视觉进一步理解人体行为的关键步骤,通过一张RGB图像有效预测出人体所有关节点并形成正确的姿态,而准确预测出人体姿态对更高级别的计算机视觉任务,如人的行为识别、人机交互、行人重识别、异常行为检测等有重要的意义。
尽管人体姿态估计的发展有一段时间了,但目前不论是自顶向下还是自底向上的方法,均存在关节点之间精度不平衡的问题,导致人体姿态估计整体精度不高。传统的姿态估计方法在计算损失函数时,只是简单的把各个关节点的损失相加,丢失了对关节点预测难度差异的考虑;传统的姿态估计方法对于相似关节点直接的区分程度不够,导致关节点预测错误,进而导致最后形成人体姿态时产生错误。
在网络结构设计方面,Xiang Li等人(2019IEEE Conference on ComputerVision and Pattern Recognition,2019,pp.510-519)在论文“Selective kernelnetworks”中提出了一种动态选择机制,允许每个神经元根据输入信息的多个尺度自适应地调整其感受野大小,设计了一种称为选择核(SK)单元的结构块,利用softmax attention对不同核大小的多个分支进行融合,对这些分支的不同attention产生融合层神经元有效感受野的不同大小。但是对于人体姿态估计技术领域而言,背景信息显著多于人体信息,而对不同大小的感受野进行融合,容易引入背景信息,导致关节点预测精度下降,甚至导致错误的预测。
在基于RGB图像的姿态估计工作中,Bin Xiao等人(18th European Conferenceon Computer Vision,2018,pp.466-481)在论文“Simple Baselines for Human PoseEstimation and Tracking”中提出一种基于ResNet的网络来进行姿态估计,通过源码发现该论文只是简单把每个关节点的权重设置为1来检测所有人体部位,同时网络结构简单丢失了空间信息与语义信息的流动,因此对于较难预测的关节点并不能充分利用空间信息来做整体的预测。
华中科技大学在其申请的专利“可自适应调节感受野大小的肺炎图片检定装置与方法”(专利公开号:CN111488794A)中公开了一种基于空洞卷积的自适应感受野人群密度估计方法,包括空洞卷积模块和分类模块;分类模块对切分后的图像块进行分类;空洞卷积模块根据分类模块输出的图像块类别,自适应选择对应感受野的空洞卷积子网络,对切分后的图像块进行特征提取,得到人群密度图。该方法对于网络选取感受野需要多个步骤才能有效的选取感受野,这对姿态估计领域而言效率相对较低。
因此,如何提供一种基于自适应感受野网络和关节点损失权重的姿态估计方法,实现提升人体姿态估计的精度和效率,成为一个亟待解决的问题。
发明内容
本发明要解决的技术问题,在于提供一种基于自适应感受野网络和关节点损失权重的姿态估计方法,实现提升人体姿态估计的精度和效率。
本发明是这样实现的:基于自适应感受野网络和关节点损失权重的姿态估计方法,包括如下步骤:
步骤S10、基于自适应感受野单元搭建自适应感受野网络;
步骤S20、利用样本图像对所述自适应感受野网络进行训练;
步骤S30、在训练所述自适应感受野网络时,计算得到所述样本图像包含的关节点以及各关节点的损失值;
步骤S40、基于各关节点的所述损失值计算各关节点的损失权重;
步骤S50、基于所述损失权重以及损失值计算得到最终损失值,基于所述最终损失值优化自适应感受野网络;
步骤S60、将待测图像输入训练好的所述自适应感受野网络,计算关节点的位置并形成完整的人体姿态。
进一步地,所述步骤S10具体包括:
步骤S11、创建一大小为7×7的卷积核,用于提取图像特征并改变图像的通道数;
步骤S12、在所述卷积核的输出端,依次设置若干个自适应感受野单元;
步骤S13、在最后一个所述自适应感受野单元的输出端,依次设置若干个转置卷积核组成转置卷积层,最后一个所述转置卷积核输出的特征图分辨率与第一个所述自适应感受野单元输出的特征图分辨率一致,完成自适应感受野网络的搭建。
进一步地,所述步骤S30具体包括:
步骤S31、获取数据集中的样本图像,将所述样本图像调整为大小为256×256的RGB图像后,输入搭建好的所述自适应感受野网络;
步骤S32、通过所述自适应感受野网络获取RGB图像中关节点的位置热图;
步骤S33、利用非极大值抑制算法查找所述位置热图中,各关节点的最大像素值位置;
步骤S34、以所述最大像素值位置为关节点位置的中心点,膨胀所述中心点生成半径为R个像素的圆,得到预测的关节点位置;
步骤S35、利用均方误差损失函数以及关节点位置计算得到各关节点的损失值:
其中M表示计算损失值;i表示人体的编号,j表示关节点的编号,且i和j均为正整数;Pi(pj)表示第i个人,第j个关节点的预测值;为预测的关节点的热图,尺度为λ×64×64,λ表示关节点的个数;Gi(pj)表示第i个人,第j个关节点的真值;G={g1,...,gλ},为高斯激活生成的各人体部位对应的真值热图。
进一步地,所述步骤S40中,所述损失权重的计算公式为:
其中Wi,j表示第i个人,第j个关节点的损失权重;Pi(pj)表示第i个人,第j个关节点的预测值;为预测关节点的热图,尺度为λ×64×64,λ表示关节点的个数;Gi(pj)表示第i个人,第j个关节点的真值;G={g1,...,gλ},为高斯激活生成的各人体部位对应的真值热图。
进一步地,所述步骤S50中,所述最终损失值的计算公式为:
进一步地,所述步骤S60具体包括:
步骤S61、获取待测图像,将所述待测图像调整为大小为256×256的RGB图像后,输入训练好的所述自适应感受野网络中;
步骤S62、通过所述自适应感受野网络获取RGB图像中关节点的位置热图;
步骤S63、利用非极大值抑制算法查找所述位置热图中,各关节点的最大像素值位置;
步骤S64、以所述最大像素值位置为关节点位置的中心点,膨胀所述中心点生成半径为R个像素的圆,得到预测的关节点位置;
步骤S65、基于预先标定各关节点的序号以及预测的关节点位置,依次连接各关节点形成完整的人体姿态。
本发明的优点在于:
1、通过自适应感受野单元搭建自适应感受野网络,实现深度卷积神经网络自动选择待测图像对应的卷积核来捕获不同关节点所需的感受野,有效改善相似关节点预测错误的问题;通过计算各关节点的损失权重,进而依据损失权重计算最终损失值,且损失权重通过不同关节点的计算损失值进行动态调整,平衡了各关节点之间的精度,进而极大的提升了人体姿态估计的精度。
2、通过采用恒等映射将第一个自适应感受野单元输出的特征图,输入转置卷积层进行相加操作,输出给第二个自适应感受野网络单元,最终加入最后一个自适应感受野网络单元,即将全局的空间信息加入到语义信息中,极大的提升了人体姿态估计的平均精度。
3、通过自适应感受野单元搭建自适应感受野网络,实现深度卷积神经网络自动选择待测图像对应的卷积核来捕获不同关节点所需的感受野,即仅需简单的步骤即可获得不同大小的感受野,极大的提升了人体姿态估计的效率。
附图说明
下面参照附图结合实施例对本发明作进一步的说明。
图1是本发明基于自适应感受野网络和关节点损失权重的姿态估计方法的流程图。
图2是本发明自适应感受野网络的示意图。
图3是本发明自适应感受野单元的示意图。
图4是本发明转置卷积层相加操作的示意图。
图5是本发明人体姿态估计的效果示意图。
具体实施方式
本申请实施例中的技术方案,总体思路如下:首先,基于自适应感受野单元搭建自适应感受野网络,使得深度卷积神经网络能够自适应的选择卷积核,获得不同的感受野;其次,在自适应感受野网络的第一个自适应感受野单元处使用恒等映射将该单元输出的特征图加入到深度卷积神经网络的最后一层,能充分利用空间信息,使得姿态估计结果更准确;然后,在自适应感受野网络训练阶段,根据损失值大小动态设置不同的关节点的损失权重,使得人体各关节点精度更加平衡,大大提高姿态估计的精度,为行为识别、行人重识别、异常行为检测等提供一个姿态参考。
请参照图1至图5所示,本发明基于自适应感受野网络和关节点损失权重的姿态估计方法的较佳实施例,包括如下步骤:
步骤S10、基于自适应感受野单元搭建自适应感受野网络;
步骤S20、利用样本图像对所述自适应感受野网络进行训练;
即事先获取大量的样本图像,对各样本图像的关节点进行标注后,划分为训练集、验证集和测试集,将训练集输入深度卷积神经网络进行训练,再利用验证集对训练后的深度卷积神经网络进行验证,判断损失值是否达到预设的阈值;
步骤S30、在训练所述自适应感受野网络时,计算得到所述样本图像包含的关节点以及各关节点的损失值;
步骤S40、基于各关节点的所述损失值计算各关节点的损失权重;所述损失权重用于平衡不同关节点之间的精度;
步骤S50、基于所述损失权重以及损失值加权求和计算得到最终损失值,基于所述最终损失值优化自适应感受野网络;具体实施时,可将所述最终损失值替换损失值,进行所述自适应感受野网络的迭代训练与优化;
步骤S60、将待测图像输入训练好的所述自适应感受野网络,计算关节点的位置并形成完整的人体姿态。
所述步骤S10具体包括:
步骤S11、创建一大小为7×7的卷积核,用于提取图像特征并改变图像的通道数;
步骤S12、在所述卷积核的输出端,依次设置若干个自适应感受野单元;
步骤S13、在最后一个所述自适应感受野单元的输出端,依次设置若干个转置卷积核组成转置卷积层,最后一个所述转置卷积核输出的特征图分辨率与第一个所述自适应感受野单元输出的特征图分辨率一致,完成自适应感受野网络的搭建。
所述步骤S12中,所述卷积核输入自适应感受野单元的特征图F会被默认分为两个分支进行卷积操作,具体包括:
步骤S121、所述卷积核将提取的特征图F输入自适应感受野单元,自适应感受野单元将特征图F分为两个分支,其中一个分支使用大小为3×3的卷积核进行卷积得到特征图另一个分支使用大小为5×5的卷积核进行卷积得到特征图/>(可根据深度卷积神经网络的深度以及输入的RGB图像来考虑是否增加一个分支使用大小为7×7的卷积核进行卷积)
步骤S124、对每一分支的所述特征z求平均值,得到一个常数a;
步骤S125、对所述特征z使用softmax操作得到特征z';
V=z'·U;
所述步骤S30具体包括:
步骤S31、获取数据集中的样本图像(RGB图像),将所述样本图像调整为大小为256×256的RGB图像后,输入搭建好的所述自适应感受野网络;
步骤S32、通过所述自适应感受野网络获取RGB图像中关节点的位置热图;即通过所述深度卷积神经网络的第一个卷积核提取特征图F,同时改变RGB图像的通道数,再将特征图F输入自适应感受野网络的主干网络得到位置热图;
步骤S33、利用非极大值抑制算法查找所述位置热图中,各关节点的最大像素值位置;
步骤S34、以所述最大像素值位置为关节点位置的中心点,膨胀所述中心点生成半径为R个像素的圆,得到预测的关节点位置;
步骤S35、利用均方误差损失函数以及关节点位置计算得到各关节点的损失值:
其中M表示计算损失值;i表示人体的编号,j表示关节点的编号,且i和j均为正整数;Pi(pj)表示第i个人,第j个关节点的预测值;为预测的关节点的热图,尺度为λ×64×64,λ表示关节点的个数;Gi(pj)表示第i个人,第j个关节点的真值;G={g1,...,gλ},为高斯激活生成的各人体部位对应的真值热图。
所述步骤S40中,所述损失权重的计算公式为:
其中Wi,j表示第i个人,第j个关节点的损失权重;Pi(pj)表示第i个人,第j个关节点的预测值;为预测关节点的热图,尺度为λ×64×64,λ表示关节点的个数;Gi(pj)表示第i个人,第j个关节点的真值;G={g1,...,gλ},为高斯激活生成的各人体部位对应的真值热图。
所述步骤S50中,所述最终损失值的计算公式为:
所述步骤S60具体包括:
步骤S61、获取待测图像,将所述待测图像调整为大小为256×256的RGB图像后,输入训练好的所述自适应感受野网络中;
步骤S62、通过所述自适应感受野网络获取RGB图像中关节点的位置热图;
步骤S63、利用非极大值抑制算法查找所述位置热图中,各关节点的最大像素值位置;
步骤S64、以所述最大像素值位置为关节点位置的中心点,膨胀所述中心点生成半径为R个像素的圆,得到预测的关节点位置;
步骤S65、基于预先标定各关节点的序号以及预测的关节点位置,依次连接各关节点形成完整的人体姿态。
综上所述,本发明的优点在于:
1、通过自适应感受野单元搭建自适应感受野网络,实现深度卷积神经网络自动选择待测图像对应的卷积核来捕获不同关节点所需的感受野,有效改善相似关节点预测错误的问题;通过计算各关节点的损失权重,进而依据损失权重计算最终损失值,且损失权重通过不同关节点的计算损失值进行动态调整,平衡了各关节点之间的精度,进而极大的提升了人体姿态估计的精度。
2、通过采用恒等映射将第一个自适应感受野单元输出的特征图,输入转置卷积层进行相加操作,输出给第二个自适应感受野网络单元,最终加入最后一个自适应感受野网络单元,即将全局的空间信息加入到语义信息中,极大的提升了人体姿态估计的平均精度。
3、通过自适应感受野单元搭建自适应感受野网络,实现深度卷积神经网络自动选择待测图像对应的卷积核来捕获不同关节点所需的感受野,即仅需简单的步骤即可获得不同大小的感受野,极大的提升了人体姿态估计的效率。
虽然以上描述了本发明的具体实施方式,但是熟悉本技术领域的技术人员应当理解,我们所描述的具体的实施例只是说明性的,而不是用于对本发明的范围的限定,熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化,都应当涵盖在本发明的权利要求所保护的范围内。
Claims (3)
1.基于自适应感受野网络和关节点损失权重的姿态估计方法,其特征在于:包括如下步骤:
步骤S10、基于自适应感受野单元搭建自适应感受野网络;
步骤S20、利用样本图像对所述自适应感受野网络进行训练;
步骤S30、在训练所述自适应感受野网络时,计算得到所述样本图像包含的关节点以及各关节点的损失值;
步骤S40、基于各关节点的所述损失值计算各关节点的损失权重;
步骤S50、基于所述损失权重以及损失值计算得到最终损失值,基于所述最终损失值优化自适应感受野网络;
步骤S60、将待测图像输入训练好的所述自适应感受野网络,计算关节点的位置并形成完整的人体姿态;
所述步骤S30具体包括:
步骤S31、获取数据集中的样本图像,将所述样本图像调整为大小为256×256的RGB图像后,输入搭建好的所述自适应感受野网络;
步骤S32、通过所述自适应感受野网络获取RGB图像中关节点的位置热图;
步骤S33、利用非极大值抑制算法查找所述位置热图中,各关节点的最大像素值位置;
步骤S34、以所述最大像素值位置为关节点位置的中心点,膨胀所述中心点生成半径为R个像素的圆,得到预测的关节点位置;
步骤S35、利用均方误差损失函数以及关节点位置计算得到各关节点的损失值:
其中M表示计算损失值;i表示人体的编号,j表示关节点的编号,且i和j均为正整数;Pi(pj)表示第i个人,第j个关节点的预测值;为预测的关节点的热图,尺度为λ×64×64,λ表示关节点的个数;Gi(pj)表示第i个人,第j个关节点的真值;G={g1,K,gλ},为高斯激活生成的各人体部位对应的真值热图;
所述步骤S40中,所述损失权重的计算公式为:
其中Wi,j表示第i个人,第j个关节点的损失权重;Pi(pj)表示第i个人,第j个关节点的预测值;为预测关节点的热图,尺度为λ×64×64,λ表示关节点的个数;Gi(pj)表示第i个人,第j个关节点的真值;G={g1,K,gλ},为高斯激活生成的各人体部位对应的真值热图;
所述步骤S50中,所述最终损失值的计算公式为:
2.如权利要求1所述的基于自适应感受野网络和关节点损失权重的姿态估计方法,其特征在于:所述步骤S10具体包括:
步骤S11、创建一大小为7×7的卷积核,用于提取图像特征并改变图像的通道数;
步骤S12、在所述卷积核的输出端,依次设置若干个自适应感受野单元;
步骤S13、在最后一个所述自适应感受野单元的输出端,依次设置若干个转置卷积核组成转置卷积层,最后一个所述转置卷积核输出的特征图分辨率与第一个所述自适应感受野单元输出的特征图分辨率一致,完成自适应感受野网络的搭建。
3.如权利要求1所述的基于自适应感受野网络和关节点损失权重的姿态估计方法,其特征在于:所述步骤S60具体包括:
步骤S61、获取待测图像,将所述待测图像调整为大小为256×256的RGB图像后,输入训练好的所述自适应感受野网络中;
步骤S62、通过所述自适应感受野网络获取RGB图像中关节点的位置热图;
步骤S63、利用非极大值抑制算法查找所述位置热图中,各关节点的最大像素值位置;
步骤S64、以所述最大像素值位置为关节点位置的中心点,膨胀所述中心点生成半径为R个像素的圆,得到预测的关节点位置;
步骤S65、基于预先标定各关节点的序号以及预测的关节点位置,依次连接各关节点形成完整的人体姿态。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011188660.9A CN112241726B (zh) | 2020-10-30 | 2020-10-30 | 基于自适应感受野网络和关节点损失权重的姿态估计方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011188660.9A CN112241726B (zh) | 2020-10-30 | 2020-10-30 | 基于自适应感受野网络和关节点损失权重的姿态估计方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112241726A CN112241726A (zh) | 2021-01-19 |
CN112241726B true CN112241726B (zh) | 2023-06-02 |
Family
ID=74170271
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011188660.9A Active CN112241726B (zh) | 2020-10-30 | 2020-10-30 | 基于自适应感受野网络和关节点损失权重的姿态估计方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112241726B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113610015B (zh) * | 2021-08-11 | 2023-05-30 | 华侨大学 | 基于端到端快速阶梯网络的姿态估计方法、装置及介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017133009A1 (zh) * | 2016-02-04 | 2017-08-10 | 广州新节奏智能科技有限公司 | 一种基于卷积神经网络的深度图像人体关节定位方法 |
CN108549844A (zh) * | 2018-03-22 | 2018-09-18 | 华侨大学 | 一种基于多层分形网络和关节亲属模式的多人姿态估计方法 |
US10529137B1 (en) * | 2016-11-29 | 2020-01-07 | MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. | Machine learning systems and methods for augmenting images |
US10679046B1 (en) * | 2016-11-29 | 2020-06-09 | MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. | Machine learning systems and methods of estimating body shape from images |
CN111274954A (zh) * | 2020-01-20 | 2020-06-12 | 河北工业大学 | 基于改进姿态估计算法的嵌入式平台实时跌倒检测方法 |
CN111652054A (zh) * | 2020-04-21 | 2020-09-11 | 北京迈格威科技有限公司 | 关节点检测方法、姿态识别方法及装置 |
-
2020
- 2020-10-30 CN CN202011188660.9A patent/CN112241726B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017133009A1 (zh) * | 2016-02-04 | 2017-08-10 | 广州新节奏智能科技有限公司 | 一种基于卷积神经网络的深度图像人体关节定位方法 |
US10529137B1 (en) * | 2016-11-29 | 2020-01-07 | MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. | Machine learning systems and methods for augmenting images |
US10679046B1 (en) * | 2016-11-29 | 2020-06-09 | MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. | Machine learning systems and methods of estimating body shape from images |
CN108549844A (zh) * | 2018-03-22 | 2018-09-18 | 华侨大学 | 一种基于多层分形网络和关节亲属模式的多人姿态估计方法 |
CN111274954A (zh) * | 2020-01-20 | 2020-06-12 | 河北工业大学 | 基于改进姿态估计算法的嵌入式平台实时跌倒检测方法 |
CN111652054A (zh) * | 2020-04-21 | 2020-09-11 | 北京迈格威科技有限公司 | 关节点检测方法、姿态识别方法及装置 |
Non-Patent Citations (2)
Title |
---|
Human Pose Estimation using Deep Structure Guided Learning;Baole Ai 等;《2017 IEEE Winter Conference on Applications of Computer Vision》;全文 * |
基于图卷积神经网络的人体动作识别研究;李超龙;《硕士电子期刊》;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN112241726A (zh) | 2021-01-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112699847B (zh) | 基于深度学习的人脸特征点检测方法 | |
CN109858506B (zh) | 一种面向卷积神经网络分类结果的可视化算法 | |
CN109063724B (zh) | 一种增强型生成式对抗网络以及目标样本识别方法 | |
CN112489164B (zh) | 基于改进深度可分离卷积神经网络的图像着色方法 | |
CN110879982A (zh) | 一种人群计数系统及方法 | |
US20210224647A1 (en) | Model training apparatus and method | |
WO2021144943A1 (ja) | 制御方法、情報処理装置および制御プログラム | |
CN113554156B (zh) | 基于注意力机制与可变形卷积的多任务图像处理方法 | |
CN112580728B (zh) | 一种基于强化学习的动态链路预测模型鲁棒性增强方法 | |
CN111832228A (zh) | 基于cnn-lstm的振动传递系统 | |
CN112036260A (zh) | 一种自然环境下多尺度子块聚合的表情识别方法及系统 | |
CN112241726B (zh) | 基于自适应感受野网络和关节点损失权重的姿态估计方法 | |
CN113283524A (zh) | 一种基于对抗攻击的深度神经网络近似模型分析方法 | |
CN112364747A (zh) | 一种有限样本下的目标检测方法 | |
CN112418070B (zh) | 一种基于解耦阶梯网络的姿态估计方法 | |
CN110135428A (zh) | 图像分割处理方法和装置 | |
CN110738645A (zh) | 基于卷积神经网络的3d图像质量检测方法 | |
CN116258877A (zh) | 土地利用场景相似度变化检测方法、装置、介质及设备 | |
CN113610015B (zh) | 基于端到端快速阶梯网络的姿态估计方法、装置及介质 | |
CN115438575A (zh) | 一种用于高精度翼型流场预测的分析方法 | |
CN115239974A (zh) | 融合注意力机制的视觉同步定位与地图构建闭环检测方法 | |
CN115331021A (zh) | 基于多层特征自身差异融合的动态特征提取与描述方法 | |
Rahnamayan et al. | Image Thresholding Using Differential Evolution. | |
CN112464989A (zh) | 一种基于目标检测网络的闭环检测方法 | |
CN117079058B (zh) | 图像处理方法和装置、存储介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |